基于在线评论数据的众包服务商选择模型构建
卢新元1，2，李珊珊1，李杨莉1，卞春会1，张孜铭1
（1.华中师范大学信息管理学院，2.湖北省电子商务研究中心，湖北武汉 430079）
摘要： 针对众包模式下信用度缺乏带来的众包服务商选择困难问题，探讨利用众包平台上的在线评论数据选择服务商。基于胜任力模型，从接包方、平台和任务设计3个方面提出13个影响服务商选择的特征，构建基于在线评论数据的众包服务商选择模型，并利用分类算法实现模型。实验结果表明，基于接包方、平台和任务设计3类特征组合下的服务商选择效果最佳；模型选择的最佳服务商基本符合真实数据中发包方选择的中标服务商，验证了模型在实际应用中的有效性。
关键词： 众包；服务商选择；在线评论数据；分类
1 相关概念和研究思路
众包指的是一个公司或机构把过去由员工执行的工作任务以自由自愿的形式外包给非特定的（而且通常是大型的）大众网络的做法［1］。随着互联网的不断发展，众包模式的应用更加广泛。国内外众包平台有如Amazon的Mturk平台，为一些小任务需求例如图像识别、语言翻译等提供解决渠道；Foodpickl网站则是一个聚合众包的力量来实现的在线食品问答网站；猪八戒网是一个综合性任务的众包网站，其任务类型有软件编程类、logo设计类等；知乎是一个基于众包模式的在线知识问答平台。
众包平台记录着众包流程中每一主体的数据，如平台上发布任务的赏金数额、接包方收到的评论、接包方店铺等级等信息，本文将其定义为在线评论数据。在线评论数据不仅指众包平台上用户收到的评论，还包括平台上存在的其他任何与评论、用户、平台流程等有关的大量、有用的数据。在线评论数据在分类筛选、质量评估的应用研究中具有很大的作用。Jeon等人［2］利用问答社区中的非文本特征如点击次数来评估答案质量；Gao等［3］基于在线评论的证据来研究病人对医生的感知质量。尽管很多学者基于在线评论数据进行研究，但很少有探讨如何利用众包网站中丰富的特征数据来帮助发包方对接包方进行分类筛选。
我的眼睛火辣辣地盯着女人，女人的确很漂亮，黑黑的眸子，高高的鼻梁，白晰而细腻的皮肤把她柔润性感的嘴唇映衬得格外突出。女人既有北方女人的高贵气质，又有南方女人特有的妩媚婀娜。
本文系统性地结合众包网站的特征，从发包方、平台、接包方（服务商）3个主体出发，以胜任力理论模型为基础，构建基于在线评论数据的服务商选择模型，以国内某大型众包网站为实验对象，其记录着接包方评分、任务描述、任务中标情况等多样特征数据，因此能很好地用于实验。我们将解决以下两个问题：一是众包平台有哪些特征数据对服务商筛选是有用的、不同特征因子组合对服务商选择结果的影响是什么？二是如何选取合适的分类算法来实现服务商的分类筛选？
他进了我的院子，什么话也没说，握着刀子就朝我扑过来。我幸好是在猪圈里出粪，手里掂着一张铁锨。他一靠近我，我就用铁锨铲他。
大区域范围路网评价方面，基于严重拥堵比例的方法较基于行程时间比的方法对高峰道路拥堵变化更敏感，其原因是重点刻画了道路出行拥堵所占的比例[11-13]，而行程时间比的方法则计算了全部样本，属于均值类方法，评价范围越大，平滑的效果越明显. 图1对比了基于两种模型计算北京市中心城区周一和周五工作日的交通指数，严重拥堵里程比例方法更体现出周一早高峰通勤拥堵以及周五晚高峰交通拥堵特性. 在评价大范围路网区域时，应优先选用严重拥堵里程比例方法.
2 相关研究概述
在本研究中，我们将PCK更多地看成是个人知识，强调教师的教学建构及在这一过程中的反思.因此，本研究采用质性研究的方法，采取个案研究策略，对具有一定代表性的某教师在新课程背景下的PCK发展现状进行深描，旨在深度地描写现状和全面地发现问题，而不是定量研究所追求的推广性.
从接包方自身角度出发，阮闪闪等［4］提出基于证据理论信任模型评估接包方信誉以遏制恶意接包方；Allahbakhsh等［5］提出基于团队隐性协作理论来发现合适的工作者；Li等［6］通过计算工作者的可靠性来筛选最优工作者，即主要考量该工作者的历史信誉度及其提交的结果与其他工作者提交的结果相似度。但是这类研究只考虑了工作者信用度唯一因素，并不能很准确地筛选接包方。除此，Ipeirotis等［7］学者在最大期望算法（EM）的基础上提出了一种评价工作者的迭代算法，可有效地区分恶意工作者和正常工作者并发现和替换恶意用户，但该方法只适用于标签类任务，而标签类任务在众包平台任务类型中占比很少。
从众包任务设计角度出发的研究主要是对任务赏金和任务属性两方面进行探索。Sorokin等人［8］做了一项图像标注的众包应用实验，分析赏金奖励与结果质量之间的关系，最终发现较低薪酬发布的任务会导致很少人对此任务感兴趣，而较高薪酬发布的任务会吸引大量“欺骗类型”工作者；孟韬等［9］在对威客模式下的大众参与行为影响因素进行实证研究时发现，预期收益能显著地影响大众参与众包的意愿；Shao等［10］通过实证研究发现高额的奖励、时期短的任务会吸引大量的用户参与众包，同时高额的奖励、时期长的任务会吸引高水平的用户参与；Terwiesch等［11］用SERVQUAL模型测量服务质量时也发现，任务期限越长，用户的工作效率越低、用户的感知价值也会越低，相应的任务赏金越低；Feller等［12］提出影响接包方参与任务的主要原因是赏金数额、任务难易程度以及特定时间内竞争性任务的属性。因此，本文也将探讨众包任务设计特征对接包方筛选的影响。
本文的研究思路为：首先将胜任力理论模型与众包特征相结合，基于接包方（服务商）、任务设计、平台3个方面提出具体特征维度，构建基于在线评论数据的服务商选择模型；其次通过对决策树、k最近邻、朴素贝叶斯3种分类学习方法的性能进行比较，选取性能最佳的分类算法来实现服务商选择模型；最后基于实际众包数据对本文模型的性能进行验证。
从众包平台角度出发，林素芬等［13］通过实证研究发现网络平台的众包模式和参与众包人数均会影响接包方是否中标；Ganu［14］、Agichtein 等［15］和Jurczyk等［16］根据问答社区网站的统计信息如用户积分、答案票数、点击次数等来评价问答质量，而众包平台上也记录着这些平台的统计信息。因此，本文也会探讨众包平台上哪些统计信息对接包方筛选是有用的。
综上所述，已有研究多从接包方、任务设计或众包平台单一角度来考虑接包方筛选问题，很少有研究系统性地综合考虑所有特征来探讨其对接包方的影响；其次，目前的研究主要以实证研究的方式来探讨众包流程中各因素对接包方筛选的影响，很少有人将分类算法应用于接包方的分类筛选研究，而分类算法在其他类型的平台网站如问答社区平台被广泛应用于分类筛选和结果评估［14-16］；另外，大部分对接包方选择的研究主要是基于接包方内在特征来评估接包方，很少有人考量任务设计对接包方筛选的影响，也很少有研究考虑平台上一些投标统计信息对接包方的影响。因此，本文以胜任力理论为基础，结合相关研究文献，从接包方、任务设计、平台统计信息3个角度出发，来探讨哪些特征数据对于帮助发包方筛选接包方是有用的，构建基于在线评论数据的接包方选择模型。
3 研究模型构建
对于发包方发布的每一个任务，众包平台记录了接包方参与个数，并记录了每个接包方提交结果的时间，这些数据均为平台上任务投标的信息（S-I），我们认为其反映接包方在该任务中的能力水平。我们设计了接包方提交时间倒序的特征，即把该任务所有接包方提交时间按从晚到早的顺序排序后的顺序数，最后选取了参与接包方个数（S-I1）、接包方提交时间倒序（S-I2）两个特征变量。
图1 基于在线评论数据的众包服务商选择模型构建
3.1 特征提取
众包由发包方、接包方、任务平台三者构成，发包方在平台发布任务，接包方选择该任务并提交任务完成结果，然后发包方选取满意接包方中标，最后平台给予中标服务商奖励。上述流程中，接包方、发包方、众包平台三者交互连接、缺一不可，具有丰富的信息，因此本文也将从这3个方面来考虑在线评论数据的提取。
其次关于人才选择的研究，近年来很多学者基于胜任力理论模型得到了很好的解决。McClelland［17］最早提出胜任力的概念，指能够可靠测量并可以把高绩效员工与一般绩效员工区分开来的任何个体特征；胜任力模型是指担任某一特定的社会角色所需要具备的胜任特征总和。Mirabile［18］提出了胜任力KSAO模型，即通过人才所具备的知识、技能、能力和其他特征来衡量人才所具备的胜任能力。本文研究众包模式下接包方人才选择机制，则是传统人力资源管理理论在网络环境下的继承和发展，因此将胜任力模型与众包特征相结合，从众包流程中3个主体——接包方、发包方、平台出发来提取影响接包方选择的特征数据。胜任力模型中，知识水平指人才自身专业技能知识与完成企业任务所需求的专业知识相吻合的程度，众包中某些任务类型需要接包方具备相关知识；技能水平用来衡量知识型人才具有专业技能的高低程度；能力指与完成工作任务密切相关的人的各项素质和特质，众包环境下服务商信誉度是发包方关注重点。至此，我们纳入知识水平、技能水平和能力3个众包服务商人才评价维度，最终建立了包含5个维度和13项指标的接包方人才选择体系，从众包网站的在线评论数据中提取了13个筛选接包方的特征，如图2所示。
（2）对于编程开发类任务，主成分1主要为基于接包方的特征——好评计数、速度评分和接包方技能；主成分2为赏金大小和任务描述详细程度特征；主成分3为资历对应的接包方等级和是否有营业执照两个特征，但因子关系相比其他特征较弱。
图2 众包服务商人才选择指标体系
3.1.1 基于接包方的特征（U）
水库原设计标准为20年一遇洪水设计，100年一遇洪水校核。经过除险加固，防洪标准达50年一遇设计，1 000年一遇校核。总库容达2 300万m3，兴利库容1 315万m3，设计洪水位940.71 m，校核洪水位945.63 m，正常蓄水位942 m，汛限水位937 m。
在接包方的筛选过程中，我们首先考量的是接包方自身因素。接包方，也即用户利用信息技术进行沟通，并根据自己的兴趣爱好和个人能力等承接任务。Allahbakhsh等［19］提出从信用度和资历两个角度来评估工作者质量，信用度反映该接包方的服务能力，资历反映该接包方的技能水平。因此，本文选取了工作者信用度（U-C）和工作者资历（U-Q）两个因素。
（1）信用度（U-C）。信用度反映该工作者是否为诚信工作者。在众包平台，工作者信用度的具体特征主要考量该工作者完成任务质量评分、任务完成速度快慢及其收到的发包方评价情况。我们选取了工作者的质量评分（U-C1）、速度评分（U-C2）、工作者收到的好评计数（U-C3）来反映该信用度特征。质量评分、速度评分越高，表明该工作者的信用度越好；收到的好评计数越多，也表明该工作者的信用度越好。
（2）资历（U-Q）。资历指该工作者的工作经验和工作技能水平。我们主要考虑了接包方等级（U-Q1）、是否有店铺地址（U-Q2）、是否有营业执照（U-Q3）、接包方经验（U-Q4）、接包方技能（U-Q5）等特征变量。接包方等级指该接包方在众包网站上的店铺等级，反映其完成众包任务的经验，经验越丰富则等级越高。我们用0和1两个变量表示是否有店铺地址和是否有营业执照特征变量。接包方经验反映该工作者的工作经历和学习经历丰富程度，经历越丰富则得分越高，取值在0～10。接包方技能反映该工作者的技能水平和具备证书情况，其拥有的相关技能和证书越多则得分越高，取值在0～10。
3.1.2 基于任务设计的特征（T）
目前，关于接包方选择的研究主要集中在3个方面：（1）接包方（服务商）角度，主要是对接包方信用度进行评估，或者是通过各种方法对接包方提交的结果进行评估来筛选接包方；（2）众包任务设计角度，不同任务类型适合不同的接包方，这类研究主要探讨如何设计好的众包任务来吸引最优接包方；（3）众包平台角度，主要探讨平台网站信息、投标信息对接包方参与的影响。
详细的解读，深刻的剖析，专业的解答，《妈妈宝宝》杂志的专业性离不开这里每一位权威专家的支持。您的疑惑，请告诉xuliye0210@yahoo.co.jp，任何困难，我们帮您解答。
在接包方的筛选过程中，不同任务的设计也会影响接包方选择，即发包方会考虑接包方知识水平。关于任务设计，主要指任务赏金数额和任务属性设置。设置合理的激励政策有利于产生高质量的任务结果。Terwiesch等［11］采用SERVQUAL模型测量服务质量时也发现，任务期限越长，用户的工作效率越低，用户的感知价值也会越低；Karger等［20］指出乏味的众包任务和较低的报酬经常会使参与者出现错误。因此，我们选取赏金数额（T-R）、任务属性（T-A）两类特征变量。
（1）赏金数额（T-R）。赏金是指发包方在发布任务时承诺的物质奖励，当其他激励的效果不明显时，现金的激励会使用户更主动地参与众包。Sorokin等人［8］发现任务奖励与任务质量存在密切的关系，较低的奖励可能不会吸引大量的工作者，但较高的奖励会吸引大量的“欺骗工作者”参与任务。因此，本文选取平台任务赏金大小（T-R1）为特征变量。
（2）任务属性（T-A）。有趣、合适的任务是吸引用户参与众包的一个很重要原因。任务属性具体包括任务时间（T-A1）和任务描述详细程度（T-A2）两个特征变量。
3.1.3 基于平台的特征（S）
本文将筛选的结果分为两类：一类是与任务契合程度高的接包方，记为high类；另一类是与任务契合程度低或不契合的接包方，记为normal/low类。我们首先分别从接包方、任务设计、众包平台3个角度来提取影响接包方选择的特征因子，然后收集不同任务类型对应的中标服务商数据，通过探索性因子分析来探讨所提取的特征对接包方筛选是否有用，最后将接包方选择问题作为二分类问题来解决，通过选取合适的分类算法实现接包方筛选、预测最佳接包方，并验证模型选择的high类接包方是否为实际众包任务的中标服务商。本文构建的研究模型如图1所示。
综上，我们基于接包方、任务设计、平台3个方面，从信用度、资历、资金数额、任务属性、平台投标信息5个维度提取了质量评分（U-C1）、速度评分（U-C2）、好评计数（U-C3）、接包方等级（U-Q1）、是否有店铺地址（U-Q2）、是否有营业执照（U-Q3）、接包方经验（U-Q4）、接包方技能（U-Q5）、赏金大小（T-R1）、任务时间（T-A1）、任务描述详细程度（T-A2）、参与接包方个数（S-I1）、提交时间倒序（S-I2）共13个特征。
3.2 特征有用性分析
由于存在任务类型对所选最佳接包方的影响，我们选取了创意设计类、文案编辑类、编程开发类3种类型的众包任务来进行实验，收集了120个已有中标结果的众包任务，其中创意设计类、编程开发类、文案编辑类任务各40个，使用SPSS软件对该13个特征维度进行探索性因子分析。在实验过程中，我们基于主成分分析法抽取相关变量，并采用最大方差法进行因子分析矩阵旋转。最终，我们得到KMO值为0.886，sig值为0.000，表明样本数据适合做因子分析。采用最大方差法进行正交旋转，共析出特征值大于1的主成分有3个。各测项在其对应因子上的负载均大于0.7，在其他因子上的交叉负载均小于0.4，说明本研究的测量具有较好的收敛效度和判别效度。各任务类型的因子负载情况如表1所示，其中：
在临床上，急性阑尾炎属于常见急腹症，且患者发病后，临床多根据实验室检查、患者症状、体征等加以诊断，但由于其他疾病与其临床症状相同，或者患者缺乏典型临床症状，因而出现误诊、漏诊的几率较高[1-2]。近几年由于超声诊断技术以及超声诊断仪质量的提升，大多数正常的阑尾可经超声进行观察，特别是采用彩色多普勒超声，可对阑尾炎进行准确无误的诊断，且可获得十分清晰的声像图，因而为患者疾病诊治提供可靠依据[3]。因此本文选取我院2016年1月—2017年7月收治的经手术病理确诊的急性阑尾炎患者60例，回顾性分析其全部的临床资料，现报道如下。
（1）对于创意设计类任务，主成分1对应的特征变量主要为基于平台的特征——参与接包方个数和接包方提交时间倒序；主成分2对应的特征变量为工作者信用度特征——质量评分和速度评分；主成分3主要为基于任务设计的特征——赏金大小和任务时间。
刘婷婷，裴丽，王一群，等.基于光载波抑制调制的可调谐高倍频毫米波信号发生器[J].光子学报，2018，47(12)：1206003
召回率为预测为i类且预测正确的接包方数量与实际为i类的接包方数量的比值，反映该算法下模型对目标类别服务商的筛选能力，如公式（2）；
综上所述，基于接包方的特征和基于平台的特征与任务契合度高的接包方之间存在较强的因子关系，因此这两类特征数据对帮助发包方筛选接包方是最有用的；其次，本文所选取的3类特征数据对接包方选择均是有用的，其中工作者信用度特征、赏金大小和基于平台维度的特征对接包方选择影响最大。
表1 不同众包任务类型中各特征项对应因子负载
3.3 分类算法选择
本文把众包服务商选择问题作为二分类问题来解决。首先，关于众包服务商筛选的结果i，其可能取值有两种：一是与该任务契合程度高的接包方，定义为high类；二是与该任务契合程度低或不契合的接包方，定义为normal/low类。其次，我们选用朴素贝叶斯（Naive Bayes）、决策树（Decision Tree）和k最近邻（K-Nearest Neighbor）3种分类算法作为测试算法来建立二分类模型，分别以80%数据作为训练集、20%数据作为测试集，抽样10次取平均值，对3类算法在high和normal/low两种类别的性能进行测试。最后，我们使用准确率（P）、召回率（R）、F值（F）3个指标来衡量各分类算法在本文模型中的效果。关于这3个指标的定义，我们先假设本文模型中众包服务商筛选可能出现以下4种情形：预测为i类且预测正确的接包方数量（TP）、预测为i类且预测错误的接包方数量（FP）、实际为i类但未正确预测的接包方数量（FN）、实际不为i类但预测正确的接包方数量（TN）。
语境、修辞情境与语篇 ……………………………………………………………………………… 徐 永（3.31）
式中：为第v把刀具原材料单位内含能，为第v把刀具制造过程中的能耗，为第v把刀具的质量，为机床Mm上的刀具内含能，Vjilsma表示刀具集中的刀具数量。
则，准确率为预测为i类且预测正确的接包方数量与预测为i类的接包方数量的比值，反映该算法下模型筛选众包服务商的精度，如公式（1）：
（3）对于文案编辑类任务，主成分1为基于接包方的特征；主成分2为任务时间和参与接包方个数两个特征；主成分3为质量评分和基于平台的两个特征。
由图3可知，3种分类学习方法在normal类别中的准确率、召回率、F-Measure均比其在high类中的值更好，这表明这3种分类学习效果在normal类中的性能比high类更好，这是由于实际数据中normal类占比更多而影响的，因此我们的实验结果是符合实际情况的。其次，在normal类，我们可以看到朴素贝叶斯分类方法的准确率、召回率、F-Measure值分别为0.80、0.85、0.82，均高于决策树和k最近邻两种分类学习方法对应的结果，因此说明朴素贝叶斯分类方法在本文模型应用中性能更好。在high类，朴素贝叶斯的准确率、召回率、F-Measure值分别为0.80、0.74、0.77，而决策树的准确率、召回率、F-Measure值分别为0.59、0.64、0.60，k最近邻的值为0.55、0.50、0.51，说明朴素贝叶斯方法在准确率、召回率和综合性能上均优于决策树和k最近邻分类学习方法，在本文的算法选择测试中结果最好。因此，我们在接下来的实验中用朴素贝叶斯分类方法进行分类。
图3 分类算法性能对比
4 实验结果分析
我们用查准率、查全率、F-Measure来验证本研究所提出的模型在实际众包中的接包方分类筛选能力；除此，还验证所选取的特征的有用性。
据中国知网统计：中国医院知识仓库期刊全文数据库收录的我院医务人员近两年发表得学术论文2016年度为482篇、2017年度为557篇。有效提升了我院各类型读者的信息素养和科研产出能力，同时提高了医务人员的专业水平与技能。
在本文的实验中，在线评论数据均来自国内某大型众包平台网站，我们从创意设计类、编程开发类、文案编辑类众包任务中分别随机抽取了40个投标已结束的任务，因此共爬取了120个任务对应的2 224个接包服务商，将其中中标服务商标记为与任务契合程度高的接包方，未中标服务商标记为与任务契合程度低或不契合的接包方。在收集的数据中，中标服务商为120个，未中标服务商为2 104个，因此high类接包方与normal/low类接包方的比例为1∶19。对于每个接包方，我们爬取了其基于接包方、基于任务设计、基于平台等13个特征维度的在线评论数据，每个特征均转换为数值型变量，共爬取了28 912个特征值数据。本文研究随机抽取接包方在线评论数据80%作为训练集、20%作为测试集。
本文的实验首先测试了基于接包方、基于任务设计、基于平台3个方面提取的特征在接包方分类筛选中的有用性。把基于接包方的特征——U（信用度+资历）作为基准，与基于任务设计的特征（T）和基于平台的特征（S）进行随机组合，得到U、U+T、U+T+S 3种组合情形，并建立二分类模型，然后计算不同特征组合下模型的准确率、召回率和F-Measure，统计结果如图4所示。由图4可知，当只基于接包方（U）的特征进行接包方分类时，模型在normal类的准确率、召回率、F-Measure值分别为0.64、0.75、0.69，在high类的准确率、召回率、F-Measure值分别为0.66、0.53、0.59；当基于接包方和基于任务设计两种特征（U+T）组合进行接包方分类时，模型在normal类和high类中的准确率、召回率、F-Measure值均高于只基于接包方特征（U）进行分类的结果，说明两类特征组合时分类性能更好；最后我们发现，当基于3类特征（U+T+S）来对接包方筛选时，模型准确率、召回率、F-Measure值在normal类分别为0.80、0.85、0.82，在high类分别为0.80、0.84、0.81，均高于其他两种特征组合下的模型运行结果。因此，本文所提出的基于接包方的特征、基于平台的特征和基于任务设计的特征对发包方筛选接包方是有用的，且3类特征组合时模型分类性能最佳。
图4 不同特征组合下众包服务商选择模型实证结果
由于本文的实验主要关注high类模型的分类性能，我们将high类结果的所有抽样的分类效果点，在以准确率（precision）、召回率（recall）和F-Measure值（f1score）为坐标的空间指标系中得到的散点图来表示（如图5），其中“△”符号表示基于接包方、任务设计、平台组合（U+T+S）的分类效果，“□”符号表示基于接包方和基于任务设计的特征组合（U+T）分类效果，“○”符号表示基于接包方（U）分类效果。可以看到，“△”符号表示的分类效果主要位于三维图空间的左上区间对角线处，其准确率、召回率、F-Measure坐标值优于其他两类特征组合，表明能很好地实现对高任务契合度接包方的分类，帮助发包方筛选出最佳接包方。
图5 基于不同特征组合的众包服务商选择模型在high类中的分类效果散点图
其次，我们进一步比较和验证了本文模型在实际众包中的应用效果。我们将本文所提出的模型与文献提出的利用TOPSIS多指标决策算法进行众包人才排序筛选的方法（以下简称TOPSIS模型）和随机服务商人才筛选方法（以下简称随机模型）进行比较［21］，比较的依据为服务商人才筛选准确率。关于服务商人才筛选准确率的定义：（1）采用某一种模型筛选出的最佳服务商（例如本文模型筛选出的最佳服务商即分类结果为high类——与任务契合程度高的服务商）与实际该众包任务对应的中标服务商一致的服务商，即为该模型准确预测的服务商；（2）准确预测的服务商数与众包任务数的比值即为该模型的服务商人才筛选准确率。比较结果如表2所示，可以发现本文构建的模型的服务商人才筛选准确率在84%左右，远高于随机模型为30%左右的准确率，也优于TOPSIS模型为70%左右的准确率。
表2 众包服务商筛选模型的准确度比较结果
5 结论
本文基于以往研究基础，创新性地提出利用在线评论数据来帮助发包方筛选接包方，并将分类学习算法应用于所提出的接包方选择模型的实现。我们首先将胜任力理论模型与众包特征相结合，基于接包方、任务设计、平台3个方面提出了质量评分、速度评分、好评计数、接包方等级、是否有店铺地址、是否有营业执照、接包方经验、接包方技能、赏金大小、任务时间、任务描述详细程度、接包方参与个数、提交时间倒序排名13个影响接包方筛选的特征，构建基于在线评论数据的接包方选择模型；其次我们通过对决策树、k最近邻、朴素贝叶斯3种分类学习方法在本文所提出模型中的应用性能进行比较，发现朴素贝叶斯在众包服务商分类中的应用性能最佳，因此选取朴素贝叶斯分类算法来实现基于在线评论数据的众包服务商选择，并基于实际众包数据对本文所提出的模型性能进行了验证。
实验结果表明：（1）本文提出的13个特征维度对接包方筛选是有用的，13个特征维度与跟任务契合度高的接包方之间存在因子关系，其中基于接包方的两个特征——质量评分、好评计数和基于平台的两个特征——接包方参与个数、提交时间倒序排名和中标服务商之间的关联性最强，对于帮助发包方筛选接包方的作用最大，表明发包方筛选接包方时可参考众包平台网站上接包方收到的评论数据；除此，发包方也需考虑任务在该平台的接包人数等多种平台投标信息来综合衡量该接包方与任务的契合度，因此本研究对于发包方筛选接包方能提供有效的建议。（2）其次，基于接包方、任务设计、平台的特征组合情况下，接包方选择效果更好，表明在对接包方进行人才选择时，不仅需要对接包方进行评估，也需要考虑任务设计和平台投标信息等其他因素，才能为任务匹配最佳接包方。（3）最后，通过实际众包数据的验证，本文所提出的模型筛选的分类结果基本符合实际数据，模型筛选出的高任务契合度类别的接包方基本符合实际中该任务的中标服务商，因此，本文研究提出的模型能帮助众包平台和发包方识别出好的服务商，为发包方进行高效、准确的人才选择提供强有力的支持，能很好地应用于实践中。
综上，本文针对信用体系不健全、过度竞争环境下众包服务商人才筛选困难的问题，从平台在线评论数据角度为发包方筛选接包方提供了新颖的解决思路，基于在线评论数据综合发包方、任务设计、平台3个角度构建了众包服务商人才选择指标体系，并基于性能最好的朴素贝叶斯分类算法实现了众包服务商的人才筛选，从而为发包方选择合适的服务商人才提供有力的支持。这样既增强服务商参与众包的意愿，同时有效避免了人才的过度竞争，减少人力资源浪费，保障了众包这种开放式创新模式得以持续健康发展。
本文创新性地探索了接包方选择研究，但还存在有待完善的地方：（1）我们的数据来源比较单一，研究结论不一定具有普适性，未来将选取更多平台数据加强模型的通用性；（2）我们的模型在接包方选择的准确率上还不是很高，将深化算法学习，继续优化模型性能。随着互联网的发展，众包作为一种新颖的思维方式得到更广泛的应用，在线众包平台任务研究将越来越深入和广泛，因此关于众包服务商选择的研究是有意义的，在线众包还有很多方面值得研究，例如如何在保证众包任务结果质量的前提下预算最小、基于地理位置的众包系统研究等等［22-23］。
参考文献：
［1］HOWE J. The rise of crowdsourcing［J］.Wired Magazine,2006,14(6):1-5.
［2］JEON J, CROFT W B, LEE J H, et al. A framework to predict the quality of answers with non-textual features［C］//ACM.International ACM SIGIR Conference on Research and Development in Information Retrieval. Waco:ACM, 2006:228-235.
［3］GAO G, GREENWOOD B N, AGARWAL R, et al. Vocal minority and silent majority: how do online ratings reflect population perceptions of quality［J］.MIS Quarterly, 2015, 39(3):565-590.
［4］阮闪闪,王小平,薛小平.基于证据理论信任模型的众包质量监控［J］.计算机应用,2015, 35(8):2380-2385.
［5］ALLAHBAKHSH M, SAMIMI S, MOTAHARI-NEZHAD H R,et al.Harnessing implicit teamwork knowledge to improve quality in crowdsourcing processes［C］//IEEE.IEEE International Conference on Service-Oriented Computing and Applications.New York:IEEE Computer Society, 2014:17-24.
［6］LI Y L,DU N, LIU C C, et al Reliable medical diagnosis from crowdsourcing: discover trustworthy answers from non-experts［C］// ACM.Tenth ACM International Conference on Web Search and Data Mining. Waco: ACM, 2017:253-261.
［7］IPEIROTIS P G, PROVOST F, WANG J.Quality management on Amazon Mechanical Turk［C］//ACM.ACM SIGKDD Workshop on Human Computation.Waco: ACM, 2010:64-67.
［8］SOROKIN A, FORSYTH D. Utility data annotation with Amazon Mechanical Turk［C］//IEEE.IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. New York:IEEE, 2008:1-8.
［9］孟韬,张媛,董大海.基于威客模式的众包参与行为影响因素研究［J］.中国软科学,2014(12):112-123.
［10］SHAO B J, SHI L, XU B, et al. Factors affecting participation of solvers in crowdsourcing: an empirical study from China［J］.Electronic Markets, 2012, 22(2):73-82.
［11］TERWIESCH C, XU Y. Innovation contests, open innovation,and multiagent problem solving［J］.Management Science,2008,54(9):1529-1543.
［12］FELLER J, FINNEGAN P, HAYES J, et al. 'Orchestrating'sustainable crowdsourcing: a characterization of solver brokerages［J］.Journal of Strategic Information Systems, 2012,21(3):216-232.
［13］林素芬,林峰.众包参与者中标影响机理研究［J］.东南学术,2015(1):107-116.
［14］GANU G. Improving the quality of predictions using textual information in online user reviews［J］.Information Systems,2013,38(1):1-15.
［15］AGICHTEIN E, CASTILLO C, DONATO D, et al. Finding highquality content in social media［C］//ACM. WSDM' 08 Proceedings of the International Conference on Web Search and Web Data Ming.Waco: ACM, 2008:183-194.
［16］JURCZYK P, AGICHTEIN E. Discovering authorities in question answer communities by using link analysis［C］//ACM.Proceedings of the Sixteenth ACM Conference on Information and Knowledge Management.Waco: ACM, 2007:919-922.
［17］McCLELLAND D C. Testing for competence rather than for"intelligence"［J］. American Psychologist, 1973,28(1):1-14.
［18］MIRABILE R J. Everything you wanted to know about competency modeling［J］. Training & Development, 1997,51(8):73-77.
［19］ALLAHBAKHSH M, BENATALLAH B, IGNJATOVIC A, et al.Quality control in crowdsourcing systems:issues and directions［J］.IEEE Internet Computing, 2013,17(2):76-81.
［20］KARGER D R, OH S, SHAH D. Budget-optimal task allocation for reliable crowdsourcing systems［J］.Operations Research,2014,62(1):1-24.
［21］吕英杰,张朋柱,刘景方.众包模式中面向创新任务的知识型人才选择［J］.系统管理学报,2013,22(1):60-66.
［22］LI Q,MA F L, GAO J, et al.Crowdsourcing high quality labels with a tight budget［C］//ACM.Proceedings of the Ninth ACM International Conference on Web Search and Data Mining.Waco:ACM, 2016:237-246.
［23］KITTUR A, CHI ED H, SUH B.Crowdsourcing user studies with Mechanical Turk［C］ //ACM.Proceeding of the Twenty-sixth SIGCHI Conference on Human Factors in Computing Systems.Waco:ACM, 2008:453-456.
Crowdsourcing Service Provider Selection Model Construction Based on the Online Comment Data
Lu Xinyuan1,2, Li Shanshan1, Li Yangli1, Bian Chunhui1, Zhang Ziming1
（1. School of Information Management, Central China Normal University，2. Hubei Electronic Commerce Research Center, Wuhan 430079, China）
Abstract: In view of the difficulty of selecting crowdsourcing service providers caused by the lack of credit in crowdsourcing mode, this paper discusses how to select service providers by using online comment data on crowdsourcing platform. Based on competency model, 13 features that affect the selection of service providers are proposed from three aspects: service provider, platform and task design, the crowdsourcing service provider selection model based on online comment data is constructed, and the classification algorithm is used to implement the model.The experimental results show that，the service provider selection effect based on the combination of service provider,platform and task design is the best，and the best service provider selected by the model basically accords with the winning service provider selected by the contractor in the real data, so the validity of the model in practical application is verified.
Key words: crowdsourcing; selection of solvers; online comment data; classification
中图分类号： C93
文献标志码： A
文章编号： 1000-7695（2019）11-0211-08
doi: 10.3969/j.issn.1000-7695.2019.11.028
收稿日期： 2018-08-11，修回日期：2018-10-23
基金项目： 国家自然科学基金面上项目“众包模式下用户参与行为对企业创新绩效的影响研究”（71471074）；中央高校自主探索创新项目“社群3.0模式下用户交互行为及其作用机理研究”（CCNU18TS040）
作者简介： 卢新元（1973—），男，湖北黄冈人，教授，博士研究生导师，主要研究方向为知识管理、风险管理、决策理论与方法；李珊珊（1997—），女，四川资阳人，硕士研究生，主要研究方向为知识管理；李杨莉（1993—），女，湖北荆州人，硕士研究生，主要研究方向为知识管理；卞春会（1992—），女，江苏盐城人，硕士研究生，主要研究方向为知识管理；张孜铭（1998—），男，湖北武汉人，本科生，主要研究方向为知识管理。
标签：众包论文; 服务商选择论文; 在线评论数据论文; 分类论文; 华中师范大学信息管理学院论文; 湖北省电子商务研究中心论文;