登陆注册
4855900000028

第28章 评鉴中心的准确性(1)

关键内容:评鉴中心的效度;为什么说评鉴中心有效;成本收益分析。

前面几章详细介绍了评鉴中心方法的几个关键要素。我们已经讨论了如何选择测评指标以及怎样设计测评项目以产生与测评指标相关的行为;总结了单个测评师如何观察和评价行为,测评师团队如何形成一致、准确的评判;我们还谈到了高层管理人员如何在测评信息的帮助下做出组织决策,测评对象及其上级如何利用这些信息提高他的管理和专业技能。

现在,让我们从细节讨论中跳出来。以整体的眼光再度审视评鉴中心。在我们回答评鉴中心是不是一种有效的人力资源管理工具的时候,必须提到下面几个问题:

评鉴中心测量什么?

为什么说评鉴中心有效?

与其他测评方法相比,评鉴中心有什么优缺点?

实施一个评鉴中心要花多少成本?

评鉴中心效用如何,即收益能否弥补(超过)成本?

测评参与者如何看待评鉴中心?

其实,这些问题的核心就是评鉴中心的效度(validity)。这里的效度是指评鉴中心在多大程度上能够实现其既定目标。从技术上讲,任何测评工具都有可能在一定程度上实现人们的目标。而我们所关注的是,所有的证据加起来能不能满足本书对评鉴中心提出的3个要求:界定高级管理岗位所需要的潜能、诊断与工作相关的各种技巧和资质、提供管理培训。

实际上,在前面几章里,我们已经回答了这些问题。例如,在第七章里我们已经说过,评分标准从整体上揭示了管理取得成功所需要的潜能。

各测评指标上的得分准确地诊断出个人的优劣势,这也就在另一方面构成了培训发展的基础。现在,让我们讨论一些更加深入、更加困难的问题。

评鉴中心的各种效度

要回答“评鉴中心测量什么”,必须从经验主义的研究中寻找答案。

我们不能根据一次相关检验或一次文献研究的结果就得出“评鉴中心有/没有价值”的结论。我们必须仔细回顾大量的文献,这些文献的研究内容包括:测评数据与各种参数(包括工作绩效)的关系;不同测评工具对测评结果的影响;时间对测评结果的影响;性别、种族、年龄、评分模式对测评结果的影响等。

为了更好地理解评鉴中心的效度,我们不妨把他们简单分为三类:一是内容效度(contentvalidity);二是效标效度(criteriavalidity);三是建构效度(constructvalidity)。

内容效度

与内容效度相关的信息包括各种测评活动。这里有两个要点:(1)测评材料能否代表员工在现实工作中遇到的情况;(2)在测评过程中应该表现出来的能力是不是现实工作中所要求的。典型的内容效度检测过程就是由专家来评估这两个要求是否得到了满足。检测过程不必涵盖所有的工作内容,只要考察那些重要的和主要的工作范围即可(工业与组织心理学协会,1987)。

在讨论应用于私人企业的评鉴中心的效度问题时,最通常的做法是判断测评演练材料与实际的工作情景的相似性(Gaugleretal.,1990)。扞卫评鉴中心的企业通常都会说:(1)他们在工作分析的基础上选取了测评指标;(2)测评演练活动代表了经常发生的重要工作场景;(3)在测评演练活动中表现出来的行为能够被归入相应的测评指标(当然,这些测评指标都与工作业绩相关);(4)测评师都经过培训,他们能够准确一致地观察测评对象的各种行为表现。收集证据来验证内容效度并不是一件容易的事情。1987年,Sackett指出,在验证评鉴中心的内容效度的时候,我们不能只关注前面这几点,以下内容也得重视:向测评对象介绍的各种背景信息;测评时使用的评分系统;测评结果的解释方法等。之所以要强调这些内容,是因为它们会对评分产生影响。

如果人们希望通过测评来了解测评对象的知识技能水平,内容代表性就可能很高。因此用于诊断当前培训发展需求的评鉴中心(比如,第2章提到的金波利兄弟制造厂)和用于衡量候选人工作能力的评鉴中心的内容效度相对较高。

《评鉴中心操作指南和伦理问题》(TaskForce,1989,参见附录)所设计的评鉴中心充分考虑了内容效度问题。这篇文章的作者是研究和应用评鉴中心的顶尖高手。他们代表了这个领域的最新进展。这篇文章向我们介绍了评鉴中心应有的操作规范,尽管早期的评鉴中心——甚至包括某些最近实施的评鉴中心,有许多都并没有这样做。评鉴中心的设计人员在设计时遵循以下工作步骤显得至关重要:详细的工作分析,界定测评指标,设计能够体现出相应测评指标的演练情境,培训测评师,建立评分系统,最后是设计信息整合系统。这些步骤对于内容效度是至关重要的。

Sackett(1987)对评鉴中心用于测量管理潜能时的内容效度检验程序提出了质疑,随后,又有人站出来反对他的观点(如,Norton,1981)。在我看来,要检验内容效度就必须先了解评鉴中心的操作过程。况且,统计研究的结果也表明,评鉴中心能够准确预测对象未来的管理业绩。

预测效度

即使是最严厉的批评者也不能否认,总的来说评鉴中心的测评结果能够预测未来的管理成就。表9.1总结了若干关于测评总结果预测效度的研究结果。其中,最早的是1970年Byham发表在《哈佛商业评论》上的一篇研究论文,最晚的是1987年Gaugler,Rosenthal,Thornton和Bentson发表的的一份统计分析报告。

总而言之,对测评总结果预测效度的评价为0.40。这就表明,在评鉴中心里得分较高的人通常会在工作中比较成功,而得分较低的人则反之。表9.2清楚地说明了评鉴中心的预测效度。1965年起的研究表明,测评结果认为能够升到中层管理岗位的大学毕业生里,有48%的人的确坐到了这个位置上;测评结果认为不能升到这种岗位的大学毕业生里,只有11%的人升到了这个位置。在未接受大专院校教育的人群里,这两个数字OAR能够找出那些步步高升的管理者。从测评结果来看,成功管理者的得分高于不成功的管理者。OAR与业绩的相关系数范围从0.27到0.64。

OAR与业绩的相关系数为0.33,与潜能的相关系数为0.63,与职业晋升的相关系数为0.40。

OAR能够预测职业晋升情况、业绩水平等。

统计分析的结果表明OAR与工作业绩的相关系数为0.43。

统计分析的结果表明OAR与一系列才能指标的相关系数为0.41。

统计分析的结果表明OAR与晋升、工作业绩评价等的相关系数为0.37。

更加戏剧化:分别为32%和5%。8年甚至16年后,预测效果愈加显得准确,也就是说,越来越多的据说能够升到中层管理岗位的人被说中了。当然,16年后,也有许多原来不被看好的大学毕业生得到了提拔。

这里纯粹是对预测效度的研究。在研究过程中,测评结果并未泄漏给任何企业,也从没有人根据它来制定人员晋升决策。

这些数据清楚地说明了评鉴中心是有效的,换句话说,测评总结果与现实成就高度相关。需要说明的是,上面用到的研究结果有的已经公开出版了,有的则没有;有些研究是出于纯粹的学术研究目的,有的是出于个别企业的使用目的;某些研究还包括了许多因素,既有管理级别的提升情况,也有培训效果或工作业绩的评价,甚至还有独立研究人员对工作效率的观察和研究。因此,我们无需怀疑这些研究的代表性和公正性。

评鉴中心效度差异研究

并不是所有的评鉴中心都具有相同的预测效度水平。现在,人们还无法确定究竟是什么原因使得评鉴中心显得比其他测评方法更加有效。1987年,Gaugler等人对评鉴中心效度的统计研究给我们提供了非常有价值的信息。正如我们在第7章中讲到的,测评结果的预测效度为0.37,这里充分考虑了不同的研究方法以及统计方法(如样本量)带来的影响。需要着重强调的是,有效水平在0.37上下浮动的空间很大:有的仅仅0.25或0.15,也有的高达0.55或0.65,标准差(standarddeviation)为0.12。标准差是对相关系数差异的研究,它表明相关系数在多大程度上偏离了0.37这一平均值。我们在0.37周围建了一个置信区间(confidenceinterval)。例如,下限0.21与上限0.53之间确立出90%的置信区间。这就意味着,我们可以在90%的程度上相信测评结果与实际成就的相关系数不低于0.21。

如果评鉴中心设计得好,我们可以认为它的准确性达到0.53,甚至更高。

我们可以从上述事实中总结出两点结论。一是对测评总结果的预测效度的肯定,换言之,我们可以通过研究大量的评鉴中心来得出这种测评方法有效的结论;二是从过去的研究结果来看,测评总结果的预测准确度差异很大。这表明,影响评鉴中心预测准确度的主要因素并不是研究方法本身。

那么,究竟是什么因素影响了评鉴中心的准确性呢?1987年,Gaugler等人深入地研究了这个问题。他研究了与效度相关的各种变量(当然,某些变量很难研究清楚)。从图9.1可以看出,随着演练项目数量的增加,评鉴中心的整体效度水平也有所上升。这种趋势非常明显。当然了,即使评鉴中心采用了多种演练形式,其效度水平似乎还是不太让人满意。

大量研究表明,评鉴中心的若干特征都与它的效度有关。用到的测评手段越多,评鉴中心就越有效。由心理学家和管理人员共同担任测评师,或者在测评中包含同级评价,都会提高其有效性。这些研究结果既能够告诉我们哪些因素会影响到评鉴中心的效度,又指出了评鉴中心之所以有效的原因。

另外,Schmitt等人在1990年发表的研究报告中说,情境变量也会影响到评鉴中心的效度。他们研究了一个用评鉴中心在某行政区域(由若干个分区构成)范围内选拔中学校长的案例。这项研究指出,评鉴中心的执行质量对效度有重要影响。具体地说,在本案例中,下列做法都有助于提高评鉴中心的效度:更多地由校长而不是大学教授担任测评;把测评的实施放在几个而不是一个分区内进行;尽量避免与测评对象有过密切工作关系的人担任测评师等。

建构效度

考察建构效度就是要了解测评工具是否反映了企业利益的心理学特征(AmericanEducationalResearchAssociation,1985)。尚没有人对测评内容进行专门的研究,但是,为了揭示测评分数所代表的实际含义,我们还是要回顾大量的相关研究文献。目前能够找到的任何关于测评内容代表性问题和预测准确性问题的研究以及我们在第六、七章已经介绍过的研究成果都是我们要考虑的对象。

读者或者还记得,在第六章里我们说过,测评师要观察测评对象在测评时表现出来的各种行为现象,并把这些行为归入相应的测评指标范围。

任何测评师个人就某一项测评指标在单项测评演练工具的基础上做出的评价都可能不准确。不可否认,用同一个测评演练工具测量不同的指标,所得到的分数难免会相互影响,而且这种影响程度往往会超过我们的心理预期。测评师在各项指标上的打分很容易被“这个人表现不错”或“不好”

的总印象左右。这种情况之所以会发生是由于我们要求测评师在单项测评演练活动结束后就给出分数。这种做法正是行为报告法所不取的。

相反地,如果测评师在完成若干项测评演练活动后才进行打分,其准确性和一致性都会高很多。进一步说,在第七章里我们已经讨论过,测评师之间经过信息汇总和讨论,他们给出的分数就更加趋于一致,也更加准确。最终,我们就会发现,综合了所有测评师在全部测评项目中的意见以后,测评总结果就能准确地预见到未来的管理业绩和晋升情况。

现在,让我们考虑这样一个基本问题:“为什么说评鉴中心有效”。这个问题是Klimosli和Briskner在1987年提出来的。对它的回答可以帮我们清楚地界定下面要讨论的问题。Klimosli和Briskner指出,由于评鉴中心能够预测未来,于是人们就普遍地认为它很有效。但是,为什么这么有效呢?

除了传统的解释,Klimosli和Briskner又总结出了5条理由。

传统的解释:测评师判断出哪些测评指标与工作相关,然后得出一个总的测评结果,这一结果能准确预测未来的管理业绩。

现实的效标污染:评鉴中心花费不菲,于是人们就会想尽一切办法利用现有的发现。测评总结果不可能一直不公布,这些结果需要成为现实工作中的决策依据。各种管理决策,比如晋升、薪,甚至业绩评估都要参考测评结果。如此一来,就人为地提升了测评结果与实际业绩的相关性。

潜在的效标污染:由于测评师常常又是企业管理人员,他们往往和那些搞绩效评估的管理人员持有相同的看法或偏见。测评师或许做出了错误的评价,搞绩效评估的人评价的也许并不是真正的工作业绩。所以,预测效度的计量就难免受到“污染”,以至于这一效度被拔高了。

自我证明:那些被挑出来参加评鉴中心的人多少觉得自己有能力,所以才被选中。他们在测评的时候通常都发挥得很好,接下来又获得了正面的反馈。于是,他们会在工作中进一步提高自己的管理才能,从而证实了测评师当初的判断。

业绩持续性:这里有两种观点。一种观点认为,测评师从测评对象背景资料中获知其过去的业绩信息,这些信息能够预测预测未来的业绩状况。另一种观点是,测评时可以通过测评对象在工作样本中的表现来预测未来的业绩水平。因此,我们完全可以舍弃那些抽象的概念,比如测评指标之类。

管理智力:测评结果反映了测评对象的智力水平,并不是对管理业绩指标的衡量。

评鉴中心有效性的几种解释

接下来,我们要逐一讨论Klimosli和Briskner对评鉴中心有效性的各种解释。同样,也有人反对他们的观点,拥护传统的解释。

现实的效标污染

同类推荐
  • 销售沟通术

    销售沟通术

    十年积累,提示成功奥秘;一书在手,成就销售高手。在商业竞争日趋激烈的今天,要想真正做到『以客户为中心』,就要经常换位思考,站在客户的立场上考虑问题。如果销售人员能站在客户的角度,按照客户的要求去考虑问题,提供服务,将心比心,以心换心,客户是永远不会将你拒之门外的。
  • 体验营销

    体验营销

    体验营销是个新概念。实施推广体验营销,应该从企业内部营销入手,企业内部营销是一个连续不间断的过程。体验营销并不完全是一种廉价的营销方式,它是一种更高级的服务营销,很值得我们关注。本书就如何框定体验营销战略、如何精心设计顾客体验、如何去体验营销策略、如何进行顾客体验管理四部分进行了详细的阐述。
  • 解悟名家:与中联重科一起聆听

    解悟名家:与中联重科一起聆听

    与国务院国资委研究中心王忠明主任相识相交,是一种机缘。首先是久闻其名,待真正相识后,更加叹服其学识、才情与人格,再是荣幸约请其作中联重科的独立董事,继而促成了中外名家讲座全国首个企业分场在中联重科落户。于是,中外名家中联重科分场论道,一论三年多,场场爆满,数十位名家激荡思想,字字玑珠。一月一次的聆听成了中联人的心灵契约,成为中联人争相品评的精神盛宴。
  • 互联网思维:传统行业如何做电商

    互联网思维:传统行业如何做电商

    这是一个互联网的时代。传统行业的困境和出路在哪里?电商模式下,传统行业将何去何从?他们的创造力与执行力又在哪里?只有转变思维和观念,转型才能成功。本书是企业成长的必备参考书,系统阐述和解读在电商模式下,不同行业所面临的现状及应对策略,深入浅出,通俗易懂,适合个人及面临向互联网转型的传统行业的朋友们研读。
  • 企业战略联盟论

    企业战略联盟论

    本书的基本思路和逻辑体系本书的基本研究思路是:从企业战略联盟的内涵、性质、作用入手,形成了企业战略联盟的概念、特征、发展、运作、效应、经验、我国企业战略联盟的应用实践的逻辑体系。
热门推荐
  • 萌爱:殿下要耍赖

    萌爱:殿下要耍赖

    一次偶遇,她认识了他;一次偶然,她住进了他的家;一次赌约,她陷入他的怀里,“走远,我不想理你。”她又一次发脾气了,她只不过是一个普通的不能再普通的黄毛丫头,怎么就惹到了这位妖孽?“可是,书呆子,你输了……”恶魔般的他再一次让她中计了……一场车祸,让她回到了原本的家,普通的丫头,一夜之间变成了刘氏的千金,做梦都想不到的事,竟然成真了……什么都变了,却因一场娃娃亲,两人再次相遇。他想:原来的她会回来吗?她想:他为什么要缠着她?
  • 穿越之武侠世界纵横

    穿越之武侠世界纵横

    失业又失恋的于宽一觉醒来穿越到武侠世界,在这里,他要重新了解一切并寻找回去的方法结果发现自己不仅要勤练武功,还要理清原来这具身体混乱的男女关系魔教大小姐拼命粘上来,天生薄情的于宽要怎么办?而于宽与那位名门正派的季小姐又会发生什么?
  • 蔷薇盛放,年华落尽

    蔷薇盛放,年华落尽

    十九岁那年与顾之森的相遇,在李清晨心头烙下了永远的印记。 年少的爱情是盛开的蔷薇花,我们都曾在荒芜的青春里,近乎偏执疯狂地用小小的身躯为它挡住一切狂风骤雨,天真望着彼此薄凉的温柔便觉得得到了整个世界。 直到时光打磨了我们年少时锐利的棱角,被年华遗忘后抛弃的蔷薇在安静哭泣,又是谁漠然视之,任它花落凋零,任它烟火般凉。
  • 与TFBOYS的相遇

    与TFBOYS的相遇

    本人是一名四叶草,第一次写有关TFBOYS的小说,写的不太好,别介意哈!当然,行星饭的也可以进来看看,或许就能化解矛盾啦。但始终如此,行星饭和四叶草,TFBOYS和EXO都是一家人。我们都是一群理智粉。
  • 穿越之墨上天华

    穿越之墨上天华

    她是由现代穿越而来的灵源幻世家小姐到了古代,她集万千宠爱于一身,可她不能做她,只能做“他”为了现代的亲人,古代的至爱,她将如何在这陌生的时空,秀手乾坤,倾尽天下,墨上天华!————————————小说原创,首发潇湘书院。
  • 梅满天下

    梅满天下

    幽幽庭院深,萧萧寒风吹,漫漫梅花落,处处如雪堆。梅花不只是花,是傲雪凌霜之志气,是香远益清之涵养,而留空白之处,乃是永远不自满的谦冲。
  • 青少年应该知道的光

    青少年应该知道的光

    本书为青少年介绍了丰富神奇的光,内容包括光的形成、本质、速度、介质,以及光在层状分布等非均匀介质中的传播,光的运用及光电反应等。
  • 戚小五自传

    戚小五自传

    以第一人称写的一本传记,本书最大的坑就是带手机穿越的。穿之前兄宠,穿之后父宠,母宠,两兄宠,弟也宠,结婚之后,三夫比着宠。。“我要独立!我要自主!我不要当米虫!呀!!!”小五抓狂。“别闹。”众人:“来,吃橘子。”
  • tfboys之你是我的一切

    tfboys之你是我的一切

    不在同一个城市,却拥有着同一个偶像。3个好闺蜜,来到这人生地不熟的城市,发生了好多有趣的故事……
  • 快穿之恶毒女配逆袭攻略

    快穿之恶毒女配逆袭攻略

    一路脑残的作死,好不容易恢复理智,却发现自己的人生就是一个笑话,自己也是别人手上的一颗棋子。亿万年身不由己的恶毒女配生涯,君清歌对幕后黑手恨之入骨。满怀怨气的死亡,却意外绑定系统,开始一次又一次的穿越之旅,消除“恶毒”女配的怨气,完成任务,获得能量和属性。。。PS:女主不良善,作者玻璃心,不喜勿喷!