평가제도를 운영할 때 인사담당자들이 가장 신경을 쓰는 것 중에 하나는 평가자들이 범하는 평가 오류를 어떻게 막느냐는 문제입니다. 평가의 오류란 평가자가 피평가자를 지나치게 관대하게 평가하거나(관대화), 반대로 지나치게 가혹하게 평가하거나(가혹화), 또는 모든 피평가자들을 중간 점수로 평가하는 것(중심화) 등이죠.
이런 평가 오류를 100% 완벽하게 막는 방법은 현실적으로 존재하지 않습니다. 최대한 평가자들이 공정하고 냉정하게 평가하도록 유도하는 방법이 최선입니다.
이를 위해 두 가지 방법을 쓸 수가 있습니다. 첫 번째 방법은 평가자 교육입니다. 이 교육은 평가에 들어가기 전에 실시하는 것으로서, 평가자들이 평가를 실시할 때 동일한 평가 기준을 갖게 만드는 것이 교육의 목적이 되어야 합니다.
5점 척도(S-A-B-C-D)로 역량을 평가하는 경우일 때, 어떤 평가자는 ‘미흡하다’는 평가를 내릴 때 중간점수인 ‘B’를 매기기도 하고, 또 어떤 평가자는 ‘D’를 매기기도 할 겁니다. 각자의 평가기준이 상이하기 때문입니다. 그러므로 평가자 교육은 평가자별로 제각각인 평가기준을 통일시키는 데 중점을 두어야 합니다. 단순하게 평가제도 운영 방법만 설명하면 안 되겠죠.
하지만 평가자 교육만 가지고는 부족합니다. 평가자가 고의적으로 범하는 오류까지 막을 수는 없습니다. 따라서 약간의 강제가 필요합니다. 어떤 평가자가 관대화, 가혹화, 중심화 등의 경향을 보이며 평가를 진행한다면, 평가 시스템에서 주의나 경고를 주는 방법을 취하는 방법입니다.
회사마다 다르겠지만, 역량평가는 하나의 역량에 대하여 보통 3~5개 정도의 행동지표로 평가를 진행합니다. 이를 BOS(Behavioral Observation Scale)이라고 합니다. 피평가자자 1인당 10개의 역량을 평가해야 한다면, 마킹해야 할 행동지표 개수는 30~50개 정도가 됩니다. 그리고 평가자가 모두 5명의 피평가자들을 평가한다면, 마킹해야 할 총 행동지표 개수는 150 ~ 250개가 되겠죠.
평가자가 모든 피평가들에게 행동지표 단위로 S-A-B-C-D 등급을 각각 몇 퍼센트씩 부여했는지를 가지고 관대화, 가혹화, 중심화 경향을 파악하는 겁니다. 예를 들어 평가자가 70% 이상의 행동지표에 S나 A등급을 줬다면, 평가자가 관대화의 경향을 보이고 있는 것으로 판단하여 ‘주의’하라는 표시를 평가시스템 상에 표현합니다.
그리고 90% 이상의 행동지표에 S나 A등급을 준다면 지극히 관대한 평가이기 때문에 ‘경고’ 사인을 줍니다. 그런 다음 더 이상 프로세스가 진행되지 못하도록 막는 거죠. 그리고 평가자가 꼭 그렇게 평가해야 할 납득할 만한 이유를 제시할 때에 한하여 프로세스를 풀어줍니다. 중심화와 가혹화 경향에도 동일한 방법으로 논리를 적용하면 됩니다.
이렇게 관대화, 중심화, 가혹화를 판단할 수 있는 로직을 만들어 평가시스템이 판단할 수 있도록 하면, 평가자의 평가 오류는 상당 부분 막을 수 있을 겁니다.
물론 100% 완벽하게 막을 수는 없습니다. 평가자가 의도적으로 평가하는 것까지 자동으로 차단할 수 있는 방법은 없겠죠. 평가 단계에서 오류를 줄이려는 노력보다는, 평소에 평가자가 피평가자의 역량 계발 노력과 업적 달성 과정을 면밀하게 관찰하고 기록하는 등 '근거를 가지고' 평가하는 관행을 정착시키는 것이 더 중요하겠죠.
비록 오래 걸리고 힘든 일이지만, 그게 옳은 길입니다.
슬라이드-020-망원경 오류와 현미경 오류.pdf