为了降低耗时并将评分程序标准化,人们正在进行一些通过电脑施测和评分的公文筐实验(Heine&Struth,1989)。使用这种方法,测评对象将在显示器上看到问题,并从几种行动中选择一种。每一种选择都被预先设定,在所测维度上对应好或差的表现。电脑接下来将所有回答进行计分并对指标给出得分。这种方法在时间上的优势毋庸置疑,但这种方法的准确性迄今尚未证明。允许测评对象从几个选项中选择一个和让测评对象用自己的语言做出和执行回答完全是两回事。这种选择式的公文筐也许能够预测管理上的成功,但在我看来它不足以被称为一个评鉴中心演练,因为它并不要求复杂、外显的行为。
商业游戏
游戏有多种不同的复杂程度。以下是几个典型的例子:
一个2小时的情境模拟,由六个部门领导组成的团队进行生产操作;
一个4小时的情境模拟,一个三人团队进行股票交易;
8小时的模拟电脑游戏,20名经理运作一个大型的集团组织.
这些游戏的共同的特质是:测评对象之间相对非结构化的人际交往以及各种可能被一个或所有测评对象采取的行动(Jones,1972)。当一个复杂的游戏展开时,它往往类似于一系列的情境演练:开始是一个无领导小组讨论,然后是一些一对一的互动练习,接下来某人做一个演讲,其他人则进行事实发现,然后整个团队再次集合在一起做决策,以此类推。
商业游戏的交互式特点提供了评估一些指标(如战略规划,团队协作和领导力等)的机会。游戏的内容能够调整为测量金融分析、市场意识或生产控制方面的能力。
商业游戏都比较复杂,即便是其中相对简单的,其复杂性也有利有弊。积极的一面是,游戏更接近组织中“真实的生活”。对于测评对象而言,商业游戏比一般的情境模拟看上去更为真实,并且它们能够帮助有经验的管理者学习技巧。游戏也能够使测评对象感到开心和兴奋。不利的一面是,当测评对象从这个房间到那个房间或呆在一个小组中时,他们的行为常常难于观察。当用商业游戏来培训时,有时其情境可能过于复杂,以至于没有人能表现得很好,造成测评对象很难学到什么东西(Thornton&Cleveland,1990)。有意思的是,根据Gaugler等(1990)的调查,复杂的商业游戏只在25%的评鉴中心中使用,这表明它们可能存在施测上的困难。
整合演练
至此,本章列举的这些演练似乎是独立且彼此泾渭分明的。另一种办法是把两个或更多的演练串联起来。有几种方法可以达到这一点,例如一系列关于模拟演练所处的公司、行业和环境的指示语。公文筐演练中的背景信息能够提供许多操作性程序和问题,而这些可以在一个小组讨论中进行更深入的探讨。类似的,一个演练的结果可以作为另一个演练的起始材料,例如:一个候选人在书面报告中的建议可以作为一个小组讨论的出发点。
不同的整合演练之间有许多共同特点:对组织的描述、操作的规则和规范、多个职位上的不同人物、岗位说明等等。测评对象在起初的演练中学到的东西将会在之后的演练中同样起作用。
Gaugler等(1990)曾调查了超过200个评鉴中心。他们发现,其中的20%使用整合演练——包括四个可定义的部分。整合演练在不同的工作级别上都使用得非常成功:Adams和Thornton(1988)发展了一套三个测验来筛选飞行指导员;Slivinski等(1977)开发了一整套演练用于测评加拿大公众服务委员会的一线管理层;Spangenberg等(1989)在南非的组织中使用了整合演练来测评中层管理者。
整合演练的支持者认为,这种安排更为真实(Slivinskietal,1977;Spangenbergetal,1989)。接近真实生活中的组织背景能使测评对象随着时间进程同环境不断契合,在一次互动演练中获取的信息将有助于他们的下一个演练。事实上,整合演练实际上可以测量对象利用这些集合信息的能力,而非整合演练无法做到这一点。如果测评对象在先前的演练中表现不佳,整合演练也可以测量测评对象返回原先测验的能力。
这种方法的另一个优点是表面效度很高。它非常近似于真实的工作和企业。这一特点意味着员工可能会更愿意投入到评鉴中心中,并且对于结果和反馈会更有自信。
那么,又有什么样的观点反对在管理评鉴中心里使用这种整合演练呢?一种观点是,管理者的职责非常的零碎,是由短暂、分离的交互过程构成的(Mintzberg,1975)。管理者可能在某一分钟的电话中谈论一个金融问题,在下一分钟回复一份关于生产问题的会议记录,几分钟后则就一个纪律问题向一个主管提出建议。一个任务涉及的背景信息、任务以及需要的技能可能完全不同于下一个任务。因此,一系列独立、无关的评鉴演练实际上可能更类似于管理者生活中一个非常重要的部分。
第二个反对整合演练的观点和动机有关。当演练是非连续的、无关的活动时,测评对象将在每一个演练中获得一个“新奇的开始”。例如,如果某人在公文筐演练中表现差劲,那么他(她)将有机会在小组讨论中重新开始,这样在一个演练中不理解信息将不会影响对象在下一个演练中的表现。
和第二个观点相关的是如下观点:单独的演练能够给出对测评维度的独立测量。这是好事,因为测量的原则告诉我们:如果评估基于几种不同的,彼此并非虚假相关的观察之上,那么它会更稳定和准确(Nunnally,1978)。整合演练可能会导致一个演练中的表现“传染”到另一个演练中,如果一个测评对象在第一个演练中表现差劲,那么他或她可能不会获得下一个演练的正确信息,使用独立的演练则不可能出现这种情况。
我对于演练是否应当是整体性的这一问题的确有自己的观点。如果整个项目要求对于管理技巧有一个准确的测评,那么我倾向于让演练保持独立,这样我们能够获得若干个独立的测量;如果在项目中有必要让所有测评对象和企业中的其他人接受测评,那么我倾向于建立一整套类似于在企业中一天生活的演练。
评估演练的作用
我们有证据(Thornton&Byham)支持本章讨论过的每一种类型演练的价值。如前所述,演练的内容、难度以及和真实工作的相似性必须得到仔细的规定,从而使它们适用于不同类型的评鉴中心。尽管不同的演练在不同的评鉴中心里得到了成功的应用,但很少有证据来评估它们的相对价值。我们似乎不太可能说某一个演练比其他“更好”或“更差”。
“哪一个更好”的问题很容易提出却很难回答。答案取决于研究所针对的岗位类型,评鉴中心的目的所在以及测评过程所能利用的资源。这个问题可以通过工作分析得到部分的回答。工作分析不仅能给出测评的指标,也能够得出测评对象通常所需面对的情境。例如,一个一线主管可能在和下属一对一的讨论、解决工作问题中花了很多时间,但是他很少和其他主管开非结构化的团体会议,这样,在这种情境里,面试模拟是合适的,无领导小组讨论则不太合适;另一方面,专业人员(例如工程师和成本会计)可能常常需要在团队中工作,这些工作中的活动需要稳定的领导技巧,而这可以在无领导小组讨论中得到测量。
关于这一问题的回答也要看企业是否愿意开展某项演练。公文筐和商业游戏需要对测评师进行额外的训练,且需要较长时间来观察、回顾和评判复杂的行为。如果企业愿意采取这些复杂演练,这些演练就很有可能变得非常有用,如果不是这样,那么最好还是提供简单一些的演练。
决定演练的数量
关于评鉴中心恰当的演练数量的研究相对而言显得比较清晰和具有指导性。使用大量和多样的演练的评鉴中心准确性会更高(Gaugleretal,1988)。最近的一个对超过两百个评鉴中心的研究表明,一个典型的评鉴中心使用5项左右的演练,但有些则使用了多达10项或11项演练(Gaugleretal,1988)。这一发现必须和另一个似乎矛盾的发现结合起来看:评鉴中心的长度并不影响它的预测准确性(Gaugleretal,1988)。两个发现间并非难以调和:有理由认为使用多种演练是有必要的,但是并没有证据表明需要2个以上的同一种类型演练。例如,使用两组小组讨论、一组公文筐和一组面试模拟要比用四组小组讨论更好。
目前还没有关于“多少种类型和数量的演练相组合才是最理想的”方面的研究。对于多种类型的演练的理论支持来自于交互推断理论(Jones&Davis,1965)。这一理论认为我们通过寻找他人行为中固定的、跨情境的品质来解释行为。当我们看到个体在多个不同情境中表现出同样模式的行为时,我们推断该行为反映了个体一些稳定的特质而非外部情境。例如,假如我观察到Tom被弄糊涂了,在跟他人对话时,在小组讨论中以及对很多人说话时都难以解释他的决策,那么我有理由下结论:Tom在言语沟通技巧上有所欠缺。
在这一点上的启示是,我们应当使用若干个更短的不同类型的演练——有些是口头的,有些是书面的,有些是个体的、有些是团体的——而不是同一类型的几个演练。有了这些演练,我们对于人们的稳定特征的推断将使我们能够预测他们未来的行为。多样化的演练让测评师有机会来做出关于这些指标的解释并且预测对象未来的管理成就。
测评演练的模型
对于测评演练的回顾表明,有两种演练的特征能够决定它们的复杂性:1)呈现材料的标准化;2)测评对象被要求的反应的结构化。标准化指的是测验环境的正式程度和封闭性。在一个高度标准化的测验中,所有测评对象都应面对相同的指导语和问题,例如一个书面的多项选择测验就是高度标准化的。结构化则是指测评对象必须以非个人的方式进行反应。
而在一个非结构化的测验里,测评对象可以决定他或她怎么反应,例如,一个无领导小组讨论是非结构化的。
通常这两个因素是相互关联的,换言之,标准化的测验需要清除个人化的反应,而非标准化的测验很少对需要的反应提供结构模式(我们可以再次对比一下一个典型的多项选择测验和一个无领导小组讨论之间的区别)。需要指出的是,测验刺激的复杂性和要求反应的复杂性并不是直接相联系的。例如,一个简单的书面测验可能需要复杂的决策过程和书面反应,而一个复杂的组织游戏可能需要一个相对简单的选择或行动。
表5.4列出了大量现有演练的两个变量——标准化和结构化。空白的部分代表可以构建的测评程序。例如,表格的右上部分(例如,结构化反应,非标准化刺激)表明一个要求测评对象填一些复杂的社会交际问卷的演练,表格左下部分指的是一些对于录像影碟中的社会性刺激的言语反应。Frank(1990)描述了这种演练基本效果的一些例子,他开发了和下属以及客户之间交际的电脑模拟。另一个使用影像技术的新型演练是由Cascio(1989)开发的,它被用来模拟消防员的工作学习,这种演练可能适合于表格的左上角。这种演练呈现一个有经验的消防员在一系列设备上的训练,影带停止后,测评对象被要求在纸上就是否影带中的受训者采取了正确的行动作答。
对于评鉴中心里的电脑技术的评价
随着个人电脑的出现,在评鉴中心演练里出现了一些创造性的变革。
在一个典型的电脑化的演练里,电脑里出现某个员工谈论一个工作场景的电影画面。录像停止,然后一个提问者询问测评对象:电影里的人接下来会说些什么。此时电脑中呈现四个选项,测评对象按键选择其一。在一些演练中还会有分支出现,如选择A会导致该员工出现一系列反应,而选择B则会导致其出现另外一系列反应。随着该员工给出更多的叙述,测评对象也会面对更多的反应选择。这些选择被认为反应了与管理才能相关的有效或不太有效的行为。最后电脑会自动计算测评对象的得分。这种呈现方式是一个高度标准化和结构化的例子。录像化的员工反映杜绝了真实的角色扮演者可能造成的问题——角色扮演者不能同等地对待所有测评对象。
但是必须指出,测评对象对电脑反应的方式和典型的评鉴中心演练大为不同。评鉴中心的一个基本特征是测评对象需要展现复杂和外显的行为,而在一个电脑化的演练中,反应仅仅是按一个键。电脑化的演练可能有很高的预测准确性,如果事实的确如此,那么它们可能会在人力资源管理者们能够得到的一整套评价技术中占有一席之地。但关于这一点,已有文献中基本没有能够证明它们预测准确性的经验性证据。