从“证据”到“证明”——培训评估的思维新方向，本文主要内容关键词为：证据论文,思维论文,方向论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
一群客户关系经理参加了一个有关新销售技巧的培训项目。培训结束后六个月，销售额出现了增长，公司的培训团队很高兴地把这个成果汇报给销售副总裁。副总裁说：“销售增加了，这很棒，但是其中有多少增长是由新技能培训所贡献的呢？又有多少是其他因素导致的？”
我们从未像现在这样渴求在培训项目和企业绩效间建立可信的联结。仅仅证明培训对企业绩效的提高有贡献，已经无法为培训工作赢得应有的赞誉了，因为导致企业绩效改善的因素有很多，培训只是其中之一而已。
想要展示培训工作的真正贡献，关键在于向高管提供他们想要的东西——明确地、证据确凿地说明你的项目实现了应有的价值。他们希望你证明培训项目对企业绩效的“净影响”——排除其他所有因素之后，培训与绩效之间真正的相关性。那么，接下来，我们将告诉你这种做法的奥秘和诀窍，以及数以千计的培训人员是如何成功做到的。
应运而生的新思维
数十年前，T+D上有篇名为“证据对证明”（Evidence Versus Proof）的文章提到：我们永远不可能去证明培训对企业的真正影响。该文章称，最多只能做到从不同层级收集各种数据，来作为说明培训贡献的证据。
然而，尽管证据依然很重要，但在如今的经济环境之下，仅仅收集多层次的数据已经不足以显示培训的真正贡献了。如果你告诉高管人员（特别是掌握预算审批权的那些人）：“我们收集到一些证据，说明培训可能产生了效果，但我们无法完全肯定。”那么，你恐怕很快就会面临预算紧缩、项目缩减，甚至整个培训工作被外包出去的窘境。因此，我们务必要想出方法，主动在培训项目和企业产出之间找出真正的联系。
很久很久以前，经理人和高管们并不期望培训部门提供什么有关实际贡献的数据：培训是件好事，这点毫无疑问。随着时间流逝，高管们开始希望看到有关培训贡献的证据。那还是个“给我看点证据就行，什么都好”的美好时代，高管们只要了解学员们都很开心，也确实学到了技能，他们就很满意了。
然而时代已经变了，高管们对培训价值的要求从“拿数据来说话”到“拿钱来说话”，再到“拿‘真正的钱’来说话”。这里所谓“真正的钱”就是指特定培训项目和绩效改善之间真正的、清晰的联结（见图表1）。此外，正如你所想到的，当今的企业高管愈来愈希望看到培训的实际ROI（投资报酬率）。
在如今这个时代，用以说明培训项目和企业绩效之间关系的数据必须明确、清晰且有说服力。否则，培训部门很难在争夺信誉、支持、承诺与资金的内部竞争中胜出。
为了确保结果是可信的，很重要的一点是至少在第四和第五级分析当中，必须把培训项目对组织的效果从其他因素之间分离出来（见下页图表2）。
事实上，已经有很多培训与发展专业人士接受了这项挑战。他们通过这个分析和分离的过程，提高了培训评估的可信度（见下页图表3）。尽管一些传统上用来分离不同因素影响的办法（如设立实验组和对照组）未必能发挥作用，但有一些其他办法能够起到效果，而且这些办法在利益相关者的眼中是值得信赖的，特别在高管的眼中。
跨越六大障碍
近年来，尽管愈来愈多组织都迫切想要了解培训真正的贡献，但我们所提倡的评估方法（在评估中分离其他因素的影响，明确指出培训对企业绩效的净影响）的推动和应用却一直很缓慢。正如其他一切创新一样，总有些障碍在阻挠我们采用新方法。以下是一些最常见的障碍。
障碍一：
专家说“你不需要这样做”
也许最耐人寻味的障碍就来自培训评估专家本身——当这些人站在台上，声称没有必要把培训的效果从整体效果中分离出来时，其他人往往会不加考虑地接受这种说法。基于各种理由，评估专家们往往倾向于维持现状，并认为不需要去把培训的贡献和其他因素的影响加以区分，认为没有必要靠这一做法来提高培训评估的可信度。
不幸的是，这些“专家”中的许多人大概从未有机会面对过公司的高管班子。CFO、首席运营官或者CEO可不会这么想。没有一个CFO会说“了解我们资本投入和企业产出之间的关系”这件事是不必要的。那么，为什么非资本性的投入——例如培训与发展——就可以适用较低的标准呢？在许多企业里，高管们都是用同样严格的眼光审视所有投入的。
每年都有无数热血沸腾、易受影响的新人们进入培训与发展这个领域。当他们听到某个专家或者领导人说“不需要把培训的贡献与其他因素的影响加以区分”时，他们会以为这种说法必然是基于某些合乎逻辑的、理性的论据。十分遗憾的是，情况通常并非如此。
障碍二：我们无须区分彼此
有很多因素会对企业绩效产生影响，培训仅仅只是其中之一。因此有一种说法是，我们共同创造出组织的绩效，我们无须再去区分彼此；我们都作出了贡献，所以到底是哪些因素产生了贡献、哪些因素的贡献最大、每项因素做出了多少贡献，已经不再重要了。让我们共同庆贺吧！是我们一起造就了组织的成功，我们是一体的，一切成果都属于大家。
是的，有许多职能和流程共同造就了企业绩效的改善，这是事实；但这种说法并没有什么帮助。因为当你告诉负责分配资源和预算的高管“这是我们共同努力的成果”时，他们往往（事实上是通常，特别是在缺乏可靠数据的时候）会根据自己的判断，来决定什么因素起到了最大的作用。
我们在培训项目和组织绩效间建立的联结愈清晰、准确，决策者就愈能够妥善地分配资源。培训与发展部门需要与其他部门竞争预算和资源，而那些部门往往更善于说明自己的贡献。
例如，在前面提到的销售增长中，营销团队会声称是他们的努力提高了销售，而培训的影响其实——如果有的话——并没有那么大；IT部门也会声称是他们让市场数据的获取更快、更容易，从而提高了销售业绩；最后，薪酬小组也会跳出来，提出是报酬和激励措施（例如新的奖金结构）提高了销售人员的积极性，从而改善了业绩。
组织内部对于有限资源和预算的竞争是屡见不鲜的，许多竞争者们早已采取措施来证明他们对组织绩效的贡献；有些还会反过来声称培训其实没什么实际作用。是的，企业绩效是大家共同努力的结果，每个人都有贡献，但资源分配终究还是要有个标准。那么，为什么不主动去争取自己应得的东西，在承认其他部门贡献的同时，也把培训工作的贡献展现给别人，特别是高管们看呢？
障碍三：没有人需要
这一障碍近年来正在快速消失，特别是当企业高管团队正在用数十年来最苛刻的目光来审视每一笔预算时。如果你无法用高管们能够理解的方式说明你的贡献，那么就会失去支持、影响力、承诺，还有最重要的——预算。公司高层希望看到是哪些工作为绩效作出了贡献、贡献是如何作出的以及贡献了多少。如果我们拿不出证明来，他们会认为我们自己也不知道、做不到，或者根本无从下手。无论是何者，显然都不是好事。
障碍四：我们做不到
有些人认为，如果我们无法应用传统的实验组/对照组安排，或者采用某种类型的回归分析的话，我们根本无法把培训的影响分离出来。
我们不同意这种说法。尽管我们最喜爱的实验研究法难以在这种情境下发挥作用，但还有其他做法能起到效果。举例来说，在适当的情况下，一个简单的趋势线分析（Trend Line Analysis）就足以有效地显示培训项目和组织绩效的关系。即使在最差的情况下，我们依然可以让培训参与者做出估计，在进行纠错调整后，形成有意义的信息。所以，如果有人问“我们能否做到”，我的答案永远是“能”。你总是能够把培训项目的效果给分离出来；你所需要做到只是根据情况选择最适当、最可靠的评估技术。
障碍五：这太困难了
如果想把所有影响企业绩效的因素放在一起进行统计分析，也许是极为困难的。对许多培训与发展人员而言，也许连采用传统的实验组/对照组实验设计都已经超出了他们的能力范围。但记住，尽管统计学和实验设计都是极为重要且可靠的技术，但它们却并不是最主流的方法。在培训评估这方面，占主导地位的方法是从可靠的消息来源那里收集估计数据，再进行纠错调整，最后形成结论。在许多情况下，最佳的消息来源就是培训学员本身，而这种途径并不困难。
想要展示培训工作的真正贡献，关键在于向高管提供他们想要的东西——明确地、证据确凿地说明你的项目实现了应有的价值。
障碍六：人员估计是不可靠的
如果没有任何其他方法能发挥作用的话，你就必须信任人员估计。而且，估计可以是可靠的。想象一下，一个销售团队参加了销售技巧培训项目，而六个月后，销售额增长了15%；在这段时间，公司也推出了新的促销方案、提高了佣金比例，同时新的IT技术也使销售人员获得信息的速度更快。到底是哪项因素对销售增长做出了最大贡献？
没有人比销售人员自身更了解这些因素的影响——他们亲身经历了所有改变，最接近市场，因此他们也许是最有资格评价每一项改变对销售增长影响的一群人了。这精确吗？不，但是他们确实了解每一项因素的影响，而我们作为培训评估者，可以把评估建立在他们的理解上。下面是具体的步骤：
首先，我们必须以不带威胁、不偏不倚的方式，从销售团队那边直接收集数据。在理想情况下，我们应该采用焦点团体（Focus Group）方式来收集数据，让销售团队成员在不受干扰和监控的情况下畅所欲言，讨论各种可能影响销售额增长的因素。
接着，参与者们要具体讨论每一项因素（培训、新的佣金制度、促销方案、IT等）对销售额增长的贡献程度。每位成员都拥有平等的时间来陈述自己的看法。在讨论结束后，根据讨论的内容罗列出所有对销售有影响的因素，然后让参与者们评估每一项因素对销售增长贡献了多少百分比。
然后，为了提高估计的可信度，参与者还要对每一项因素的估计给出自己的“信心指数”。从0%到100%，0%代表毫无信心，100%则代表信心满满、毋庸置疑。这个百分数值被用作折扣因素或纠错因素，进行进一步的调整。
例如，假设销售团队估计销售额的增长中有30%是由正式培训项目所贡献的，但他们对这项估计的信心指数只有80%，则最后调整过的估计值就是24%（30%×80%=24%）。因此我们可以声称，至少有24%的销售增长是与培训和发展工作直接相关的。
记住，这项估计之所以有意义，是因为它最可靠的消息来源是第一线销售团队本身。销售团队创造了销售业绩的增长（这是事实），他们了解所有可能的原因（影响因素）。讨论是在不受干扰的情况下，由完全中立的人员协助展开的。团队成员通过畅所欲言的讨论，进一步了解那些可能影响到销售增长的因素，以及其中的因果关系。他们给培训项目分配了一个贡献值，最后再根据他们的信心指数，对估计做出调整。而且，整个信息收集和分析过程都是在不受威胁的、不偏不倚的环境下进行的。
我们常常把这种估计得出的结果，和其他更可靠的分析方法——例如实验组/对照组设计——的结论进行比较。我们发现，人员估计得出的贡献值，往往比其他方法计算出来的更为保守。此外，我们的客户经常会发现，这种评估方法更容易被CFO、CEO等高管人员所接受。高管们都了解想单独评估每一项因素对绩效的贡献有多么困难，因此当你按照前面的步骤做出估计后，他们会接受并且赞赏你的努力。
每一次给培训项目做评估的时候，你都可以照前述的方法来估计培训对组织的贡献。正如你所见的，整个程序并不困难。这种可靠的做法很容易被管理团队接受，而且研究表明，估计的结果并不会夸大贡献，反而显得保守。当然如果可以的话，应该优先考虑其他更严谨的方法（如实验法和统计分析），但那些方法在实践中往往难以发挥。
令人振奋的好消息
新思维面对的不仅有障碍，也有令人振奋的好消息。许多勇于接受挑战的培训和发展人员，都已经开始设法证明培训项目对组织绩效的“净影响”了。这些培训专业人员在与其他部门竞争资源和预算的过程中，正在逐渐扬弃旧的思维模式。他们用各种方式展现培训对组织的直接贡献，从而引发了一场巨大的变革，并带来了更多的好消息。
数以千计的人都做到了
有些知名的“专家”声称不可能证明培训对组织的直接贡献。然而，事实绝非如此。
从1995年至今，已经有超过3000人被授予了“认证ROI专业人员”的称号。他们在获得认证前，都必须满足ROI研究院的严格考察标准；而其中一条考察标准就是，在他们评估培训项目的过程中，必须运用至少一种技术来证明培训对组织绩效的净影响。如果这一步骤被忽略了（或者运用不当），他们的认证申请就会被拒绝。因此，光看这一数字，我们就知道至少有3000人已经能够证明培训对组织的直接贡献了。
多种方法综合运用
关于我们前面所陈述的评估步骤，有一些批评的声音，他们认为这种方法完全基于人员的主观估计，因此不够客观。这种说法对于那些兢兢业业、不断想方设法来提高评估可靠性和有效性的专业人士而言，是一种侮辱。无论是学术界还是实务界，都有很多人不断贡献他们的智慧，协助我们开发更有效的评估方法。我们经常（同时也鼓励别人这样做）在同一研究中运用多种不同的技术。在运用各种方法的过程中，我们发现了两条最基本的指导原则。
原则一：应该使用最可靠的方法。当然关于何谓“可靠”的方法，每个人有不同的看法，但考虑到培训人员所处的情境，选用的应该是那些能够被高管层所接受、信赖的方法。
如果有两种方法同样可靠，那么第二条原则就要注意了：计算出来投资报酬率数字愈保守的方法就愈好。一般而言，汇报的数字愈保守愈容易被人们接受，从而也更容易获得高管的支持。
培训专业人员在与其他部门竞争资源和预算的过程中，正在逐渐扬弃旧的思维模式。
这是一种可行且可靠的方法
当你决定接受挑战，采用我们所说的方法来证明培训的贡献后，你会发现结果比想象的还要好。采用我们ROI办法的专业人员——特别是采用人员估计法的——经常给我们提供反馈。有两个重要的发现经常令他们吃惊：
一是参与者非常热情，而且会以最大程度的关注和努力投入到整个评估工作中。
因为我们的评估程序把参与者都当作专家来看待。根据定义，我们找他们，是因为我们认为他们是最专业、最可靠的信息来源。参与者们很看重我们的认可，因为并不是每个人都把他们当作专家。他们很享受这种被重视的感觉，所以会认真看待整个工作。
二是当评估信息汇报给高管团队后，几乎不会受到刁难。
高管们非常容易接受它。他们了解整个程序的意义，也明白要证明培训对组织的直接贡献有多么困难。结果培训评估人员往往惊喜地发现，他们最后所获得的支持比原先预想的还要多。
总而言之，我们所说的这种方法是可行的，而且所需的资源和预算极为有限，并不需要劳师动众。而它又具备足够的可靠性，无论如何，比完全忽略这个问题要好得多。
产生变革
我们还收到这样的反馈，当培训与发展部门把评估的结果呈现给高管团队时，这一小小的工作却产生了巨大的影响。这使高管们大为振作——他们找到了培训和绩效之间的联结，找到可接受的证明。合乎逻辑的数据表明培训工作确实产生了效果，高管再也不需要去怀疑培训项目的作用，培训人员也不再需要担心得不到支持。所以，现在是从“证据”转向“证明”，去展现培训对企业真正贡献的时候了。
培训管理者面临的挑战
分离培训工作与其他因素的影响，明确培训的直接贡献，这件事是如此重要，以至于我们甚至把它写进ROI方法学——一种系统性的数据收集、分析和汇报程序——当中。正如图表3所展示的模型，整个过程当中有一个环节就是要把培训的影响和其他因素的影响给区隔开来。ROI的评估过程必然会经过这一步骤，没有例外。
最后，我们还把这一步骤写进了ROI评估的标准当中。ROI方法学里面用十二条指导原则来概括整个程序的质量标准。其中第五条就是“必须采用至少一种方法来证明培训项目的‘净影响’”。培训管理者必须认真考虑这个议题。他们必须在企业影响层级（Business Impact Level）利用这个步骤来评估培训的效果；此外，在应用层级（Application Level，第三级）也应该运用这一方法。
当我们开始有意识地把“证明培训项目的净影响”这一步运用到实践中时，它就会逐渐变成整个评估过程不可或缺的、例行性的重要环节。
例如，当培训学员开始运用从课程当中学会的技巧时，问题就变成“这是因为他们参加了培训，还是因为其他因素所导致的”。这时，我们已经在第三个层级（应用层）区隔培训和其他因素的影响了。然而，到了第四个层级（企业影响层），相关的问题显得更为突出而激烈，更需要我们运用所学的方法。当我们开始有意识地把“证明培训项目的净影响”这一步运用到实践中时，它就会逐渐变成整个评估过程不可或缺的、例行性的重要环节。这将能够证明培训与发展部门的真正价值，而非只是提供证据。
标签：培训评估论文; 组织绩效论文; 销售培训论文; 绩效反馈论文; 工作绩效论文; 思维障碍论文; 预算调整论文; 项目组织论文; 项目评估论文; 销售预算论文; 工作方向论文; 项目预算论文; 绩效奖金论文;