登陆注册
4855900000029

第29章 评鉴中心的准确性(2)

毋庸置疑,某些评鉴中心确实存在一些问题。测评结果只是人们制定晋升决策的部分依据(实际上,这正是我们希望的)。但是,在衡量评鉴中心的质量水平时,就算上面提到的把测评结果用错地方的情况不存在,预测效度是不是就没问题呢?Thornton和Byham1982年的研究给出了肯定的答案。

1987年,Gaugler等人也设计了各种方案(如,研究无结果反馈的情况下评鉴中心效度如何,同步验证以及研究测评结果如何应用于决策等)。结果表明,预测效度的平均水平都差不多(见表9.3)。

他们的研究还指出,预测效度的高低并不受测评效标类型的影响。测评结果不仅能够预测晋升或加薪等前景,还能预测岗位工作业绩和培训效果等效标。当然,并不是所有效标都会受到严重影响。

Gaugler等人(1987)对前人的研究进行了总结和评价,并提出了质量指数的概念。这里的质量指数和准确程度正向相关,换句话说,质量指数越高,预测效度就越高。

接下来要讨论的几个例子并不存在现实的效标污染。AT&T的评鉴中心是这一领域的一个里程碑。企业中的任何个人(包括测评对象本人)都对评分过程一无所知,测评结果则存放在公司以外的地方。另一个是晋升案例,目的是挑选出中层管理岗位的候选人。在评鉴中心结束较长一段时间后(这时,基层管理人员的业绩表现已经显露得比较充分了),真正的晋升决策才诞生。这种情况下,我们完全可以认为晋升的依据不是测评结果而是业绩表现。

另外,根据Tziner,Ronen和Hacohen(1990)的研究结果,评鉴中心可以对某些效标(如上级对测评对象业绩的评价,测评对象未来的发展情况等)进行预测。这种预测的准确性绝对可靠。Gluski和Sherman(1989)也得出了类似的结论。

总而言之,虽然预测准确程度可能被人为地提高了,但是还有一些研究证明,并不是所有效标都会受到测评结果的影响。况且,有的研究认为测评结果不容易在企业里传播开来,因此“现实的效标污染”似乎还不足以解释评鉴中心的有效性。

潜在的效标污染

这种观点认为评鉴中心的效标本身(业绩评估和晋升情况)可能和工作效果发生了混淆。有人认为警署的官员们看上去就是做警官的料,比如说“他们的个头都比较高”

(Guion,1987)。这种印象甚至影响到了某警署评鉴中心的评分,也影响到了警察们的业绩评估。于是,就有人说,正是由于都受到这种偏见的影响,评鉴中心的评分和实际效标才会趋于一致。这种说法的破绽有三:

首先,评鉴中心的效标多种多样,绝不仅仅是上级的业绩评估和晋升意向。表9.4表明,综合考虑不同的效标,评鉴中心的预测准确性完全可以得到验证(Gaugleretal.,1987)。这里的效标包括独立第三方观察员的评价(Bray&Campbell,1968)、下属的评价(McEvoy&Beatty,1989;Schmittetal.,1990)、所辖部门员工流动率(K.C.Ague,1971)、600位中高层管理人员在目标管理体系中的业绩(Britz,1989)以及若干电话销售代理商的销售业绩(Squires,1988)等。

所有效标不可能都受到某种所谓的“好员工”印象的影响。研究评鉴中心的人饱受效标问题的折磨(产业与组织心理学家也有这种经历)(Smith,1976),并且找到了目前为止可能是最好的衡量工作业绩的方法。

因此,我们可以说,评鉴中心在这方面的研究水平不低于产业心理学和人力资源管理的其他任何领域。

总之,对于个别测评指标而言,效度系数可能的确被高估了。但是,另外一些测评指标则不存在这种情况。

其次,每一个评鉴中心都有多名测评师参加。这些人包括企业中的高级管理人员,人力资源工作者、产业和组织心理学家、临床和咨询心理学家、管理咨询顾问以及来自其他企业的管理人员。目前还没有研究能够表明上述所有测评师的测评结果是否具有同样的预测效度。但我们还是找到了部分意义上的研究成果。说这是部分意义上的,因为它只对部分测评师做了比较。Gaugler等人(1987)研究了心理学家和管理人员这两类测评师,结论是,在心理学家和管理人员共同担任测评师的情况下,预测效度最高。

第三,就算个别管理者对“什么样的人会成为优秀管理者”有某种刻板印象,没有评鉴中心的帮助,他还是很难准确地预测其他人未来的业绩水平。另外,就算测评对象的直接上级能够预见到下属未来的业绩,他们也不能就更高级的管理岗位做出预测(Bernardin&Beatty,1984;McEvoy&Beatty,1988;Murphy&Cleveland,1991)。因此,企业往往还是要转向评鉴中心。

自我证明

有证据表明,上级对下属的业绩期望会促进下属更加自信并不断提高其业绩水平(Eden,1990)。当然,我们对于为什么上级的期望会影响到下属的业绩水平还不是特别清楚。有一种解释叫做“皮革马立翁效应”

(Eden,1984):如果上级认为下属很有能力,他就会对他特别关照,他的业绩也就很可能会有所提高;另一方面,任何人得知自己在别人眼中是一个很有能力的人以后,都会变得更加自信,并且努力做得更好。研究了大量的相关文献以后,Eden得出结论,评鉴中心也存在这种效应。Turnage和Muchinski(1984)也认为评鉴中心存在皮革马立翁效应,但是,他们未能提供相应的证据。在我看来,这很值得进一步探索。同样,我也试图在实践中通过评鉴中心强化测评对象的自信心。

显然,自我证明的现象并不会对评鉴中心的有效性造成太大的影响(Thornton&Byham,1982)。事实上,有研究表明,即使测评对象和他们的直接上级都没有得到任何反馈,评鉴中心的预测效度还是很高(Gauglereral.,1987)。这就是说,尽管测评对象怎样看待自己的才能水平可能会影响到他们的实际工作表现,但是如果我们不给测评对象任何反馈,即在不会影响他的自信水平的情况下,评鉴中心仍然能够预测到未来的成就。

业绩持续性

第一种观点认为,根据对测评对象的背景调查或者其以前的工作业绩,测评师能够预测其未来的绩效。这些信息可能有助于预测,但在许多评鉴中心中,测评师并不知道测评对象的姓名和背景。实际上,测评对象经常戴上不同颜色的袖标,以隐藏其真实身份。这种方法起源于战略服务办公室对(OfficeofStrategicServices,1948)对间谍的挑选,并且被业界长期使用。

第二种观点认为,情境模拟中的行为可以用来预测未来工作中的行为,因而就没有进行指标评价的必要。尽管这种观点并没有说明如果不进行指标评价,应该用哪种方法来替代它,但我们可以认为在逻辑上有两种可能。测评师可能会:(1)对每一项测评练习做出总体评价,或者(2)把不同的行为分配入不同的逻辑块(例如工作任务)中。第一种技巧已被人们所使用,第六章提出了有关的研究结论。我们的结论是:每项练习可以具有持续性和准确性,但在总体上不具有持续性,因而不可预测随后的工作业绩。然而,指标评价却具有总体上的持续性和准确性。这条证据本身既不能支持也不能反对业绩持续性的观点,因为所有的评鉴中心都把特质作为工作分析、练习设计、测评师培训和分类观察的原则。更重要的是,没有一个评鉴中心是单纯以测评练习作为评价的基础,而不把测评指标作为测评师观察的框架的。因而,我们可以推测,这种替代方法是有效的。

有证据表明,测评练习评价和测评指标共同使用比用单一方法更有效(Wollowick&McNamara,1969)。因而丢弃指标评价方法,采用其他不成熟的程序是不合适的。

没有证据表明,工作任务分类有助于行为观察。Adams(1990a)的实验表明,在准确性方面,工作任务分类与特质分类方法没有明显的不同。

其他的研究也证明了这一点。

管理智力

毋庸置疑,管理活动需要智力。能力和智力测验可以预测管理者成功与否,这些测验与评鉴中心的表现是吻合的(Klimoski&Brickner,1987;Thornton&Byham,1982)。真正的问题在于,情境练习能否比智力测验得到更多的东西。Wollowick和McNamara(1969)的研究证明了这一点。

他们发现,智力测验和测评指标共同使用,在预测方面要比使用单一方法更有效。我们可以得出结论,这种共同使用可以预测管理者是否能够成功。

结论

两种评鉴中心有效性的解释都有一点道理,但它们都不能充分揭示评鉴中心的准确性。与此同时,关于评鉴中心的研究显示:有充分的证据可以反驳以上两种观点。作者认为:测评师可以观察到情境练习中的行为,把这些行为进行分类以代表不同的特质,对总体表现作出判断,从而进行准确预测。因而,评鉴中心是有效的。

评鉴中心的效用:成本收益分析

使用某种人力资源管理工具的收益超过了成本,就能产生效用。

Cascio认为(1982)效用是对各种成本和收益的综合比较。这里的收益是指将人力资源管理工具应用于人事选拔或培训时所带来的好处。效度(validity)考察的是测验在多大程度上与实际的工作要求相吻合,效用(utility)考察的则是采用评鉴中心选拔雇员前后,提高的这部分工作业绩能否弥补相应的的成本(包括实施评鉴中心的管理成本)。在进行效用分析时,我们需要比较评鉴中心和原有的人事选拔程序的成本利润率。

效用分析中最重要的环节就是从经济的角度来界定人事选拔程序的价值。效用分析领域的最新研究成果使得人们有可能以美元为单位估算工作方法改善所带来的经济利益。

效用分析的方法可以说是多种多样(Boudreau,1983;Cascio,1982,1987)。在这里,我们不妨采用Schmidt,Hunter,McKenzie和Muldrow在1979年提出的模型。这一模型清楚地揭示了效用分析的关键要素。目前人们已经广泛应用这一模型来评价各种人事选拔工具(包括评鉴中心)。该模型如下:

U=tNs(r1-r2)SDyL/SR-Ns(c1-c2)/SR

其中,t=员工平均任职期限,Ns=筛选出的人数,r1=新工具的效度,r2=旧工具的效度,SDy=以美元计算的工作业绩的标准差,L=呈正态分布的中选率曲线纵坐标,SR=中选率(即实际聘用人数除以申请人数),c1=新工具的成本,c2=旧工具的成本。

Cascio和Ramos(1986)以及Burke和Frederick(1986)都作了评鉴中心的效用分析。他们的主要分析内容如表9.5所示。两次研究都在实践的基础上比较了评鉴中心和面试这两种管理人员选拔工具。结果表明,评鉴中心能给企业带来很高的回报:采用这种方法找到的管理人员平均每人每年能给企业带来2500至21000美元的利润。所以说,虽然评鉴中心的成本明显高于面试成本,但与收益的增加相比,这点成本又算得了什么呢?在人事选拔工具上的投资绝对可以给企业带来丰厚的回报。当然,我们接受这些数据的前提是对公式中用到的各种原始数据要有信心。

效度估算

同类推荐
  • 品牌资产生成路径

    品牌资产生成路径

    本书将企业与消费者联系起来,通过对企业的品牌理念与品牌管理等一系列内在因素及消费者对品牌认知度与忠诚度等一系列外在因素的分析,探索企业和消费者对品牌认识的异同及其关系,构建一种新的企业—品牌—消费者关系模型,并揭示企业品牌资产来源和生成路径。
  • 新任销售经理的11项修炼

    新任销售经理的11项修炼

    本书针对新任销售经理任职初期可能面临的困难,从销售谈判技能、市场调研能力、销售计划制定能力、销售人员管理能力、客户管理能力、销售管理控制能力、信息沟通能力、制定产品销售策略能力、制定价格策略能力、分销渠道建设能力、促销组合策划能力等11个方面,详细介绍了新任销售经理应掌握的基本技能、应知道的技巧、应学会的工作方法。
  • 决定成就的66条营销警示

    决定成就的66条营销警示

    本书从营销人员经常遇到的66个问题入手,分析了目前营销人员遇到的一些实际问题。
  • 谈判力:非常说服与赢取的智慧

    谈判力:非常说服与赢取的智慧

    由文成蹊编著的本书用平实的语言和丰富的事例介绍了谈判力的重要作用、原理以及怎样获得谈判力等问题,结合生活中的各种场景来讲解提升谈判力的技巧,力图通过这样的方式让读者在短时间内提升自己的谈判力。本书帮助读者在人生每一场谈判中都能有效说服他人,实现自己的愿景,成为真正的赢家。
  • 用经济头脑经营人生

    用经济头脑经营人生

    本书用80个小故事方方面面地揭示了如何经营生活中的财富,有助于提高人们的生活质量,全文通俗易懂,简单明了,适合中小学生阅读。
热门推荐
  • 轮回有神白无常

    轮回有神白无常

    21世纪信息时代,有个小孩,他叫谢必安。当然,他也叫白无常,前任的。
  • 乱世诀之救世主

    乱世诀之救世主

    一位来自地球的少年,为了拯救美好家园。不知是被命运指引,还是被人无知利用。来到未知世界,开启另类修行。看少年如何挣脱束缚,打破命运,掌控一切生死。
  • 赏金猎人在都市

    赏金猎人在都市

    意外获得一支笔,没想到那支笔可以实现我的愿望!
  • GT终结梦幻

    GT终结梦幻

    这是一个来自远古的神话故事,2514年,当地球的人类因为战争而引起临近灭亡阶段,有一部分的人为了得到大自然奇异的力量,所以迈向艰苦的修炼道路,直到地球要灭亡的一瞬间,主角法玛因通过修炼入定,基本可以看清人世间的轮回现象,他深深知道人类死了之后还会来到其它世界继续生存,因为坚定不变的意念推动他来到了一个神秘的地方。从此,宇宙各个善神将与他并肩作战对付地狱魔界之众。
  • 招魂使

    招魂使

    孤儿林乔木在一次世纪大厦天台的时候意外跌落百层高楼,可醒来后去发现自己被一个自称天使的黑袍人所救。从此他的生活发生了翻天覆地的变化,他在黑衣使的努力下一步步摆脱废材的称号。让那些曾经欺辱他的人受到惩罚。他不在迷茫,不在孤单,不在受人欺压。
  • 深心成林

    深心成林

    时光的脚步是否能带我遇见唯美和温暖?程昕和林深的故事。
  • 我的男神张艺兴:偶像万岁万万岁

    我的男神张艺兴:偶像万岁万万岁

    『初见。』她为他解围,在他心中留下淡淡的痕迹。“表哥,你等下,我去买单!”『表白。』他喜欢她,一把把她抱在怀里,鼓起勇气表白,却弄得她哭笑不得,“男神,你是在演戏吧!”『离开。』她心痛了,悄无声息地离开了他的世界,什么都没留下,只是在她家里的桌子上,用小刀深深地刻了一个“我爱你,对不起。”『结婚。』他等她四年,却等来了她要结婚的消息。身心俱惫的他颓废不已,是他放走了他最爱的天使,他将自己日夜灌醉,躺在冰冷的地板上笑着流泪,“我爱你。”『抢婚。』她婚礼当天,他盛装出席,即将宣誓之际,他上台一把她拥入怀中,“有一个一直爱你的人叫张艺兴,你愿意和他走吗?”
  • 红台楼主

    红台楼主

    一场奇遇将他彻底的改变!他曾是一个普通人,而如今却是一个拥有神秘身份的法师,他看破红尘却又堕入红尘,他最终的归宿将会是何处......红台楼主(修心)----本故事根据真实故事改编而成!亦真亦假
  • 寻柠泽诺

    寻柠泽诺

    寻,这是一个什么人。柠泽诺,又是一个什么人。两个人什么关系?有什么故事,跟着我走进书中的世界。(改编于作家真实故事)
  • 妖月诛仙

    妖月诛仙

    中原大陆存在五种神力,由五大势力秘密守护,千年前异族入侵,五种神力相机现世,力退异族,千年后异族太子受人迫害流落人间,在动荡的大陆上无意间集齐五种神力,超脱五行之外,当得知自己竟是异族太子时,掌控着天下命运的他会做出怎样的选择?