移动互联网用户生成内容质量评价系统研究_移动互联网论文

移动互联网用户生成内容质量评价体系研究，本文主要内容关键词为：互联网论文,评价体系论文,质量论文,内容论文,用户论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。

      1 问题的提出

      移动技术与互联网的融合开辟了广阔的移动交互空间，给人们的社会生活带来巨大的变革。移动互联网用户的规模不断地扩大，尤其在社会化媒体领域，相对于PC端，移动端的用户使用时间迅速增长。如今，人们置身于一个“认知盈余”的时代。认知盈余指有很多具有一定知识背景和强烈分享欲望的人们，这些人的自由时间汇聚在一起所产生的巨大社会效应。移动互联网用户生成内容(Mobile Internet User Generated Content，MIUGC)应运而生，为信息生产提供了一种新的方式。移动互联网(MI)是将移动通信和互联网二者结合起来，成为一体。用户生成内容(UGC)主要是用户在互联网中所产生的内容，主要包括在互联网中创作、编辑、转载、评论、补充信息内容等。由此，移动互联网用户生成内容指用户在移动互联网中进行创作、编辑、转载、评论、补充的信息内容，信息内容的载体有多种形式，包括文字、音频、图像、视频及其综合等。然而，由于移动互联网用户生成内容具有低门槛、开放性等特点，会对信息质量造成一定的影响。例如，百度百科APP中曾因为对“中国十大名校”这一词条激烈的编辑之争，而最终关闭了这一词条，杜绝来自民间的自发评判。由此可以看出，MIUGC质量在准确性、权威性等方面容易受到影响。低质量的MIUGC会使移动应用平台遭受严峻的威胁。高质量的用户生成内容才有利于提高MIUGC应用平台用户的忠诚度。因此，应建立对移动互联网用户生产内容的质量评价体系，有助于更好地把握各类MIUGC应用中信息内容的质量水平，对提高用户内容生成的积极性及生成内容的质量产生良好的促进作用，促进MIUGC平台中信息内容的优化。本研究力图从理论研究与实证分析的角度，构建移动互联网用户生成内容的评价体系，以期帮助移动用户识别利用更有价值的UGC，促进提高移动互联网中社会化媒体的信息质量，促进信息知识的共享及有效接收。

      2 文献回顾

      梳理国内外相关研究文献，发现学者们已多角度提出了多层面的信息质量评价维度与评价指标体系，在信息质量评价方面取得了一定的研究进展。Zeist和Hendricksy[1]对信息质量属性及潜在属性进行了识别，主要有功能性、可靠性、有效性、可用性、可维护性和可移植性等，并对每个特性进行了详细说明。Alexander和Tate[2]阐述了针对网络的质量框架，其中包含的变量有权威性、准确性、客观性、流通性、指向性和导航性。Strong等[3]明确了4个信息质量域，主要包括内部信息质量、可获得性信息质量、情境信息质量及表达信息质量。Katerattanakul和Siau[4]改进了Strong等提出的维度，针对个人网站提出了4个信息质量类别：固有信息质量，背景信息质量，描述信息质量，可获得信息质量。Klein[5]认为在网络环境下存在5个关键信息质量维度，分别是准确性维度、数据量维度、完整性维度、相关性维度和时间序列维度。Liu和Huang[6]则提出了信息源、信息内容、格式与描述、时效性、准确度和速度6个维度。Besiki等[7]通过将信息质量概念化，并将信息质量测量指标进行分类聚合，从“内在信息质量”“关联信息质量”和“声誉信息质量”3个角度建立了信息质量的新模型。Matthew[8]经过充分的数理统计分析，构建了信息质量测评模型，提出“可获得性”“可理解性”“关联性”和“完整性”4个一级指标。Zhu和Gauch[9]提出了构建信息质量评价方法的切实可行的模型方法，包括流通性、可用性、信噪比、权威性、流行性和内聚力。

      在国内的相关研究中，孙兰、李刚[10]在概括网络信息资源特点的基础上，提出图书馆在网络信息资源质量评价方面的主体作用。查先进等[11]从信息熵的概念出发，对信息质量研究进行了探索。对于Web 2.0和Web 3.0环境下的用户生成内容，赵宇翔、朱庆华[12]从学术和实用的视角，建立了用户生成视频内容质量测评框架。沈旺等[13]采用扎根理论，对网络社区的信息质量及可靠性进行了基于用户评论的内容分析，提出评价指标的消极性与积极性对信息质量评价的影响。林煜明等[14]对用户评论质量检测与控制进行了综述，认为评论质量受一系列因素影响，包括语法特征、语义特征、评论的元特征和文本的统计特征等。李妙玲[15]通过总结已有研究认为用户生成内容的评价指标通常包括以下内容：作者声望、信息内容的客观性、可信度、关联度、完整性、准确性、新颖性、流行程度、用户反馈、引用量、写作风格和拼写错误等。

      用户生成内容从广义上属于信息，信息质量评价指标的建立往往要依据不同的背景或过程而定。信息质量是对信息用户使用的满足程度。移动互联网用户生成内容的质量就是在移动互联网中内容生成主体所生成的信息对内容接收主体的满足程度。本研究力图建立符合移动互联网用户生成内容特点的质量评价指标体系。

      3 移动互联网用户生成内容质量评价要素分析

      首先，为探究移动互联网用户生成内容质量的评价要素，在相关的信息质量评价理论的基础上，本研究首先应用质性访谈方法，通过手机APP社交软件(主要包括微信和手机QQ)选取15位移动用户进行访谈，并应用扎根理论的方法对访谈数据进行编码整理。本研究采用较常用的以两人为单位的编码小组，由两名图书情报专业博士进行开放式编码和选择性编码。经过开放性编码和选择性编码，并依据Winter[16]的编码手册中的公式验证了两位编码者的编码信度，得到了如下的影响要素及信度分析结果，见表1。最终编码者的一致性系数结果均大于0.8，表明质性分析具有良好的信度。

      

      对于移动互联网用户生成内容质量的维度分类，本研究主要依据香农信息论[17]中Shannon给出的通信简化模型(见图1)，从信息传播的过程角度来划分。Shannon通信模型从理论上深刻地揭示了信息传递和处理的规律。信源是产生信息的来源。信息可以是文字、语言、图像等。信道是把载荷消息的信号从发射端传到接收端的媒质或通道。信宿是信息传送过程中的接收者，即接收消息的人或物[18]。

      

      图1 Shannon信息论中信息传播简化模型

      据此信息传播过程模型，在移动互联网中的用户生成内容过程中，信源就是指内容生成的主体，即在移动互联网中发布内容的源头；信道则代表进行MIUGC过程中所依托的传输媒介和载体；信宿则代表内容接收主体；在传播过程还有噪声等干扰因素从负面影响生成内容的质量，于是得到MIUGC的生成过程模型(见图2)。由于MIUGC的信息传播模式不同于传统信息服务中的信息传播特点，相比之下，更加体现了信源(即内容生成主体)的作用因素。因此，对于移动互联网用户生成内容质量的评价，本研究以生成内容的过程作为基本的维度划分，包括内容生成主体、MIUGC载体、生成的信息内容、内容接收主体。

      

      图2 MIUGC的生成过程模型

      3.1 内容生成主体

      内容生成主体是MIUGC平台中生成内容的终端用户，是内容传播的源头。内容从信源开始产生，这一过程将影响最终生成内容的质量，基于现有信息质量评价理论及用户访谈，这一维度的主要衡量要素包括内容生成主体发布数量、内容生成主体声誉、内容生成主体写作水平及其反馈量。

      内容生成主体发布数量指内容生成主体贡献信息数量多少，决定了其是否为网络的核心贡献者，也是对用户活跃度的考察。在访谈中，一些用户表示比较注重内容生成主体的发布数量，发布数量越大，表示其在该应用平台中与其他用户之间交互的内容也越多，从而越容易得到有价值的内容。内容生成主体声誉主要衡量者是否具有较高的声誉和影响力。例如，移动虚拟论坛中的版主、吧主，是虚拟社群中的有一定权限的管理者，这些人在虚拟社群中会显得更加有影响力，也会吸引更多的内容接收者去浏览他们发布的内容，并更加信任他们，从而相信他们生成内容的质量。内容生成主体写作水平这一指标强调的是内容生成主体自身的写作能力。MIUGC用户生成的原创内容质量，必然与其写作水平有关，在文字上有清楚的表达是基本原则，如何让受众觉得其生成的内容引人注意并有高度价值，使受众在阅读开头后便有继续浏览的欲望，使所生成内容在受众头脑中留存并有所思考，这也是影响生成内容质量的一个方面，但对内容生成主体来说，是因人而异的能力。反馈量主要指生成的内容被回复或转载的次数。访谈中的用户也表示，比较倾向于优先关注反馈量多的内容。

      3.2 MIUGC载体

      在MIUGC载体的维度中，主要评价在MIUGC传播的过程中，MIUGC所依托的网络、系统及应用平台等传播媒介，是否能够安全、快速地进行内容传播。安全可靠的MIUGC载体将保证用户在移动互联网中良好地输入、输出。基于现有信息质量评价理论及用户访谈，MIUGC载体这一维度的主要衡量要素包括网速、安全性和系统易用性。在MIUGC载体中同时还包括了信道中的噪声等干扰因素。在MIUGC传播过程中，干扰因素主要包括垃圾信息与信息过载问题。网速指用户访问相关的内容时，移动网络的速度情况。良好的网络接入及传输速度，才能作为用户在移动互联网中生成内容的载体保障。安全性指用户访问相关内容时，应用及系统是否具有安全性。系统易用性指手机用户访问相关内容时，是否容易操作。

      此外，还存在垃圾信息和信息过载等问题，严重影响MIUGC的质量。垃圾信息主要指一些广告、灌水、侮蔑性语言等垃圾类信息。一些移动互联用户为了生成内容而生成的灌水内容信息，没有阅读意义，影响了其他用户对有用信息的接收。还存在一些为主导舆论取向的网络水军，以及一些恶意诽谤、诋毁、骚扰的有害信息，造成了严重的负面影响。而信息过载问题主要指信息内容过量而导致不方便阅读。对于手机用户来说，由于手机屏幕大小所限，信息过载问题严重影响了用户阅读内容的效率。而且用户容易迷失在信息熵中，不易找到自己真正需要的内容。由此，以上这些干扰因素都会负向影响MIUGC的质量。

      3.3 生成的信息内容

      生成的信息内容主要是从生成的信息本身来探讨的。基于现有信息质量评价理论及用户访谈，这一维度的主要衡量要素包括完整性、真实性、准确性、简洁性、权威性、原创性。完整性指考察信息内容是否完整的指标。Katerattanakul和Siau等[4]对完整性的定义为信息无缺失的程度以及在深度及广度上适应手头任务的程度。信息内容的完整性可以使得内容接收主体更加清楚内容生成主体所要表达的完整含义。生成的内容意思是否清楚、全面，对于内容接收主体所感知的内容质量至关重要。在生成内容时，需要尽量把信息所包含的全部要点体现出来，这样才能更有信服力，让受众更加清楚信息的含义。真实性指MIUGC是否真实。众所周知，有很多虚假信息泛滥在移动互联网上，虚假信息是有害信息中数量最多且危害最大的信息类型之一，其中最为严重的是带有故意伤害性的欺诈信息。社会名人消息在移动互联网上的传播也相当广泛，捏造、杜撰、转发名人的“花边”信息成为移动互联网络虚假信息的主要成分。此外，还包括虚假的经济、政治消息，都造成了负面的社会影响。由此，真实性是MIUGC中重要的一个方面。准确性指信息内容具有准确及可靠的程度。内容接收主体必然希望内容来源方所生成的内容是准确可靠的，这样才是有价值的。简洁性指信息内容的表达是否切中要点，简明扼要。权威性是考察生成的内容来源是否权威。原创性指生成的内容是否由发布者原创的，而非转载的，它反映了内容生成主体的意识。

      3.4 内容接收主体

      由于对于移动互联网生成内容质量的评价，主要是考察对用户预期信息需求的满足程度。因此，在内容接收主体这个维度，主要从内容接收主体感知的效用角度来归纳相应的评价要素。效用信息是指信源发出的信息被信宿收到后所起的效果和作用。信源发出消息后，对不同的接收者、使用者，其效用或价值是不相同的，所以效用信息亦可称为相对信息。基于现有信息质量评价理论及用户访谈，这一维度的主要衡量要素包括易搜索性、时效性、可信性、易用性、有用性、相关性、可理解性和增值性。

      易搜索性主要考察信息内容是否方便手机搜索。搜索是移动互联网用户的常用功能，但移动互联网中的搜索与PC端的搜索也有一定的差异。PC端搜索主要集中在综合搜索引擎的使用，而移动互联网用户主要集中在各种APP的多种流量入口中，有些小型MIUGC客户端由于存在检索入口不明显、检索功能不完善等问题，在一定程度上阻碍了高质量生成内容的获取。时效性主要考察所生成的信息内容是否为最新的。有时信息就像水果，新鲜的才会更有价值，而过时的信息则像烂掉的水果，应及时摒弃。移动互联网中不乏存在很多过时、无效的内容，却被用户一而再再而三地传播，增加了冗余信息量。可信性是指信息内容是否可以信任。移动互联网络中生成的消息不计其数，然而哪些是值得信任的，这需要内容接收主体以自己的主观意识作出判断。易网性是指内容接收主体对信息内容是否方便利用的感知，强调的是内容方面，这与系统易用性指标强调的载体方面有所区别。有用性是指内容接收主体认为信息内容对自己是否有用的感知。相关性是指内容接收主体认为信息内容与自己所需信息是否相关的感知。可理解性是指内容接收主体认为信息内容是否易于理解的感知。移动网络信息的碎片化特性使得一些生成内容过于简洁、概括，对一些内容接收主体造成理解上的歧义。增值性是衡量内容接收主体认为使用信息内容可以获得多大程度的益处，使用信息是否可以给自己创造出更大的价值。

      4 移动互联网用户生成内容的质量评价指标体系构建

      4.1 评价指标体系的层次结构

      移动互联网用户生成内容质量的评价体系依据移动互联网用户生成内容的传播过程为基础架构进行设计。因此，本研究从传播过程中所包含的内容生成主体、MIUGC载体、生成的信息内容、内容接收主体这4个方面来选取相应的指标，对移动互联网用户生成内容的质量的评价标准进行描述。可以将指标体系划分为目标层、系统层、主题层、问题项层4个层级。目标层代表着评价的总体目标，用来综合反映移动互联网用户生成内容质量的总体度量。系统层为评级体系的总体维度划分。本研究按照移动互联网用户生成内容的传播过程将移动互联网用户生成内容质量评价划分为具有逻辑关系的4个维度：内容生成主体、MIUGC载体、生成的信息内容、内容接收主体，从而全面反映移动互联网用户生成内容的质量。主题层为具体的评价指标层，在每个系统层下进一步细分出若干个可以测量的二级指标。在内容生成主体的系统层中，划分出内容生成主体资历、内容生成主体写作水平、内容生成主体声誉及反馈量4个主题；在MIUGC载体的系统层中，划分出网络速度、安全性、系统易用性、信息垃圾和信息过载5个主题；在生成的信息内容系统层中，划分出完整性、真实性、准确性、简洁性、权威性和原创性6个主题；在内容接收主体的系统层中，划分出易搜索性、时效性、可信性、易用性、有用性、相关性、可理解性和增值性8个主题。问题项层是描述主题层中各个指标的具体问题，是对指标项目的直接测量手段。

      4.2 问卷设计

      为了使得测量指标更加科学与合理，本研究经过了前期的理论研究、用户访谈，构建了移动互联网用户生成内容的质量评价的各层级指标，通过问卷调查及数据分析方法，对设计的评价指标进行进一步的验证与权重分析。在设计移动互联网用户生成内容的质量评价调查问卷的过程中，首先设计问卷初稿，并经过焦点小组讨论、预测试与问卷修改的设计过程。最终，本研究将移动互联网用户生成内容的质量评价确定为4个维度，共包含23个指标。

      关于移动互联网用户生成内容的质量评价调查问卷共分为两部分，第一部分是对于评价指标的测试，考查用户认为每个指标对移动互联网生成内容质量的影响程度；第二部分是对被试人口统计学信息的了解。对于评价指标的测量，本研究仍然采用李克特量表的5点计量法。本次研究问卷采用网络发布方式，共收回有效问卷246份。

      4.3 信度和效度检验

      信度是指量表所测数据结果的稳定性及一致性。本研究采用李克特态度量表法中常用的Cronbach'α系数作为衡量信度的标准，α系数值越高，其内部一致性越高。首先对量表的全部题项进行α系数分析，结果显示总体的α系数值为0.921，说明量表的内部一致性非常理想。内容生成主体维度量表的α系数为0.794，载体维度量表的α系数为0.767，说明这两个量表的内部一致性为佳。生成的信息内容维度量表的α系数为0.806，内容接收主体维度量表的α系数为0.840，说明这两个量表的内部一致性甚佳。另外，通过分析分别删除每个题项时的各分量表Cronbach'α值，将删除后使量表的α系数值增高的1题从量表中删除。

      本研究采用内容效度和建构效度两个标准来判断问卷的效度。首先，本研究通过文献综述、深度访谈、焦点小组讨论等方式，最后形成量表的项目和维度，因此具有良好的内容效度。另外，通过进行KMO检验，根据变量间的相关性，来判断变量是否适合作因子分析，还通过Bartlett检验来检验各个变量是否各自独立。结果显示KMO值为0.915，达到十分理想的指标，Bartlett检验中，p=0.000＜0.01，适合作因子分析，从而保证了量表的建构效度。

      4.4 主成分分析

      主成分分析法的主要思想是通过降维把多个具有一定相关性的指标简化为少数几个综合指标，是一种简化数据集的统计分析方法，能够较好地保证指标评价结果的客观性，被广泛应用于指标合成。因此，本研究采用主成分分析方法作为指标权重的衡量方法。首先，在因子分析中，删除了因子载荷量较低的1个题目。修正后的KMO值为0.916，非常适合用主成分分析求权重，而且解释的总方差为57.476%，也基本符合主成分分析的标准。根据特征根大于1，可以提取4个主成分，来代替原来的21个变量，成分矩阵未进行因子旋转，输出结果见表2。

      进行主成分分析，首先应求出各指标在不同主成分线性组合中的系数，用各因子载荷数除以其对应的特征根的开方。由此得到4个主成分线性组合：

      

=0.224466Q1+0.239923Q2+0.202336Q3+0.191095Q4+0.204795Q5+0.213225Q6+0.238869Q7+0.207956Q8+0.2199Q9+0.227277Q10+0.225871Q11+0.198823Q12+0.204795Q13+0.221305Q14+0.21182Q15+0.203741Q16+0.230789Q17+0.227277Q18+0.221656Q19+0.221305Q20+0.230438Q21

      

=-0.31036Q1-0.23868Q2-0.26149Q3-0.28429Q4-0.26882Q5-0.20121Q6-0.14418Q7+0.079831Q8+0.180026Q9+0.378788Q10+0.344575Q11+0.385305Q12+0.135223Q13+0.075758Q14+0.180026Q15+0.140925Q16+0.028511Q17+0.088791Q18-0.06354Q19-0.08716Q20-0.13359Q21

      

=-0.11924Q1-0.24533Q2-0.24705Q3-0.22646Q4-0.0549Q5+-0.02488Q6+0.095217Q7-0.02573Q8+0.004289Q9-0.06434Q10-0.30538Q11-0.28737Q12-0.23418Q13-0.21703Q14+0.265921Q15+0.304522Q16+0.053184Q17+0.342266Q18+0.280503Q19+0.312242Q20+0.086639Q21

      

=-0.02671Q1-0.20509Q2-0.08871Q3-0.04674Q4+0.03434Q5-0.08585Q6-0.06963Q7-0.4531Q8-0.31765Q9-0.1965Q10+0.116375Q11+0.016216Q12+0.47504Q13+0.40636Q14-0.02957Q15-0.16789Q16-0.12496Q17+0.079173Q18+0.098251Q19+0.250875Q20+0.208903Q21

      

      方差贡献率越大则该主成分的重要性越强。因此，根据主成分的方差贡献率，求出所有指标在综合得分模型中的系数，具体计算是用第一主成分

中的每个因子系数乘以第一主成分

所对应的方差贡献率，加上第二主成分

中的每个因子系数乘以第二主成分

所对应的方差贡献率，加上第三主成分

中的每个因子系数乘以第三主成分

所对应的方差贡献率，再加上第四主成分

中的每个因子系数乘以第四主成分

所对应的方差贡献率，以上的相加之和再除以4个主成分的方差贡献率之和。由此得到指标的综合得分模型为： Y=0.095505Q1+0.084404Q2+0.066855Q3+0.062669Q4+0.100186Q5+0.106667Q6+0.145604Q7+0.104525Q8+0.140153Q9+0.172398Q10+0.168152Q11+0.148224Q12+0.16867Q13+0.168181Q14+0.189929Q15+0.171776Q16+0.151625Q17+0.207371Q18+0.179827Q19+0.193916Q20+0.165215Q21

      由于所有指标的权重之和为1，在此基础上将指标权重进行归一化处理，结果见表3，显示出了各指标最终的权重，由此也得到了移动互联网生成内容质量评价指标体系。

      

      5 结束语

      本研究在国内外信息质量评价相关研究的基础上，通过访谈法、主成分分析法，构建了移动互联网用户生成内容质量评价体系，依据生成内容的传播过程主要分为内容生成主体、MIUGC载体、生成的信息内容以及内容接收主体这4个维度，共计21个要素。通过权重系数可见，在内容生成主体维度中，要素生成主体的资历与写作水平的权重较高，说明对内容生成主体维度的影响力较大；在移动互联网UGC载体维度中，系统易用性与信息过载要素具有较高的影响力；在生成的信息内容维度中，完整性、真实性、简洁性是比较重要的指标；在内容接收主体维度中，要素易用性、相关性、易搜索性和有用性的权重较高，说明这些是特别被关注的指标。

      在对MIUGC质量评价研究中，主要是从用户的所感知的MIUGC质量满意程度来考察，反映出用户感知视角下MIUCC质量的指标，以期进一步提高移动互联网中社会化媒体的信息质量，帮助用户识别利用更有价值的UGC，改善移动互联网络信息环境，优化网络信息资源组织，促进信息知识的共享，提高用户信息及知识的有效接收，同时提高了MIUGC应用的用户忠诚度，并有利于服务商向目标用户提供更加精准和更具价值的信息产品和服务，提升信息服务的质量，在实践应用中形成良性循环，从而创造认知盈余时代移动互联网环境的社会价值。后续研究将选取现有典型的MIUGC客户端作为评价对象，以此评价体系为依据进行评价应用。

标签：移动互联网论文;  用户研究论文;  网络模型论文;  系统评价论文;  空间维度论文;  评价体系论文;  维度论文;