어떤 IT회사에서 KY라고 불리는 가상의 컴퓨터 언어를 능숙하게 다를 줄 아는 프로그래머 1명을 채용하려고 합니다. 동일한 대학교의 전산학과 학사 학위를 가진 두 명의 지원자가 서류를 제출했는데, 그들의 이력서에는 각각 다음과 같은 정보가 씌여 있습니다.

지원자 A : 최근 2년간 KY 프로그램 70개 작성,  대학교 평점 3.0 (5.0만점)
지원자 B : 최근 2년간 KY 프로그램 10개 작성,  대학교 평점 4.9 (5.0만점)

여러분이 지원자의 연봉을 결정하는 위치에 있다면, 그리고 서류에 적힌 이 정보만을 가지고 A와 B에게 적당한 연봉을 정해야 한다면 어떻게 하겠습니까? 아마도 여러분 대부분은 지원자 A가 B보다 더 많은 연봉을 받을 자격이 있다고 생각할 겁니다. 충원하려는 직무가 요구하는 조건이 KY언어를 능숙하게 다루느냐의 여부이기 때문이겠죠. 대학교 때의 평점이 얼마인가는 그리 중요하지 않다고 생각할 겁니다. 어제 올린 포스팅에서 소개한 크리스토퍼 흐시가 112명의 실험참가자에게 2만 달러에서 4만 달러 사이에서 지원자 각각에게 얼마씩의 연봉을 줄 의향이 있는지를 물었을 때도 동일한 결과가 나왔습니다. 참가자들은 지원자 A에게는 33,200 달러를 주겠다고 했으나 지원자 B에게는 31,200달러의 연봉을 주겠다고 답했습니다.

하지만 지원자 A와 B를 비교 평가하도록 하지 않고, 지원자 각각을 독립적으로 평가하도록 하자 지급하고 싶은 연봉 수준이 뒤바뀌는 결과가 나왔습니다. 지원자 A의 연봉만을 가늠하도록 요청 받은 참가자들은 겨우 26,800달러를 주겠다고 했고, 지원자 B의 연봉만을 산정한 참가자들은 32,700달러를 지급하겠다고 답했습니다. 지원자끼리 서로 비교하지 못하게 하고 각각을 독립적으로 평가하도록 하자 지원자에게 느끼는 가치(즉 연봉)가 역전되고 만 것입니다.

왜 그럴까요? 흐시는 연봉에 대해 묻기 전에 참가자들에게 KY언어 프로그래밍 경력과 대학교 평점 중에서 무엇이 더 평가하기 쉬운 요소인지를 질문했습니다. 그랬더니 참가자들은  연봉을 결정하는 데에 평점이 더 쉽게 인지된다는 의견을 뚜렷하게 밝혔습니다. 평점은 0.0에서 5.0점 사이의 범위가 주어지는 반면, KY언어는 실체가 불문명한 프로그래밍 언어인데가 어느 범위의 경력이 적절한지 쉽게 인지되지 않기 때문이겠죠.

취할 수 있는 두 개의 대안을 따로 평가할 때 '선호'가 역전됐다는 이 실험의 결과는 사람들이 상대적으로 쉬운 척도에 가중치를 더 많이 부여하는 경향이 있음을 우리에게 일러줍니다. 두 가지의 평가 요소 중 분명히 KY언어가 더 중요함에도 불구하고 다른 대안(여기서는 다른 지원자)이 비교 대상으로 제시되지 않으면 쉽게 인지되는 요소(여기서는 평점)를 더 중요시하는 모순이 발생하는 것입니다.

물론 서로 비교하지 않고 모든 직원을 독립적으로 평가하는 경우(한 사람의 평가자가 오직 한 사람의 피평가자를 평가하는 경우)는 그리 많지 않습니다. 그렇다고 모든 평가 요소를 가지고 모든 직원들을 완벽하게 비교 평가하는 경우도 드뭅니다. 현실에서 벌어지는 평가는 두 극단 사이에 어딘가에 위치하죠. 상대적으로 중요한 평가 요소가 상대적으로 낮은 가중치를 가진 채 평가될 우려가 없다고는 말할 수 없습니다. 특히 어떤 직무를 수행하는 직원이 오직 1명이거나, 그 직무에 둘 이상이 존재해도 서로를 비교 대상으로 삼기 어려운 경우에는 위 실험에서 나타난 '가중치 절하' 현상이 뚜렷하게 나타날 가능성이 큽니다.

어제 올린 포스팅에서는 상사의 기대를 충족시키지 못하는 직원의 성과가 비록 절대적으로 볼 때 더 우수하더라도 자신의 역량 이상의 성과를 내는 직원의 성과보다 낮은 평가를 받을 수 있다는 점, 더 우수한 성과를 보이는 직원에게 결점으로 느껴지는 무언가가 있다면 그 직원의 성과를 평가절하할 위험이 있다는 점을 지적했습니다. 오늘의 글은 직무 수행에 상대적으로 더 중요한 요소임에도 불구하고 쉽게 평가하기 어렵다는 이유만으로, 쉽게 머리 속에 '박히지 않는다'는 이유만으로 '가중치 절하' 효과를 일으킨다는 것으로 정리됩니다. 이것 역시 객관적인 평가가 얼마나 요원하고 불가능한 일임을 보여주는 또 하나의 증거입니다. 

평가하기 어려운 요소(실력, 경력, 잠재력 등)로 올바로 평가 받지 못한 채 평가가 쉬운 요소(출신 학교나 학점, 외모, 소문, 사적인 의견 등)에 의해 나쁘게 평가 받는 일, 여러분의 조직에는 과연 없습니까?


(*참고 논문)
The Evaluability Hypothesis: An Explanation for Preference Reversalsbetween Joint and Separate Evaluations of Alternatives

누군가 여러분에게 확신에 찬 어조로 어떤 사실을 전달할 때 그 말을 믿어야 할까요? 똑같은 내용을 전달하더라도 우리는 자신감에 없는 듯한 사람의 말보다는 확신에 찬 목소리로 말하는 사람을 신뢰하는 경향이 있습니다. 이를 '자신감 휴리스틱'이라고 말합니다. 하지만 자신감이 과도한 사람의 말은 수용하기 전에 한번쯤 의심해 보는 필터링 과정이 필요합니다. 피시호프(Baruch Fischhoff), 슬로빅(Paul Slovic), 리히텐슈타인(Sarah Lichtenstein)은 확신의 타당성을 의심해 봐야 한다는 시사점을 일련의 실험을 통해 얻었습니다. 

그들은 실험참가자들에게 역사, 음악, 지리, 자연, 문학 등 다양한 주제에 관한 질문을 제시했습니다. 연구자들은 실험참가자들에게 4가지 형태로 질문을 던졌습니다. 첫 번째 형태는 주관식이었는데, '압셍트는 ________이다'란 문제의 빈칸을 채우도록 한 다음 그 답이 맞을 확률을 쓰게 했습니다. 두 번째 질문 형태는 '압셍트는 보석의 일종이다'와 같은 문장을 제시하고 진술의 내용이 옳을 확률을 쓰도록 하는 형식이었죠. 세 번째 질문 형식은 2개의 문장을 주고 어느 것이 옳은지를 고르게 하는 객관식이었습니다. 예를 들어 '압셍트는 술이다'와 '압셍트는 보석이다' 중에서 옳은 것을 선택한 다음 그것이 맞을 확률을 0.5에서 1.0까지의 범위로 적게 했습니다.



마지막 질문 형식은 세 번째 질문 방식과 마찬가지로 두 개 중 하나를 고르는 문제였지만, 연구자가 임의로 둘 중 하나를 선택한 다음 '이것이 맞을 확률을 0부터 1.0까지의 범위로 제시하라'고 실험참가자에게 요청했습니다. 연구자들은 오레곤 대학교에 재학 중인 361명의 학생들을 4개 그룹으로 나눈 다음, 각 그룹에게 4가지 질문 형식 중 한 가지만을 제시했습니다. 

연구자들은 실험참가자들이 자신의 답을 확실하게 옳다고 생각하는지, 다시 말해 답이 맞을 확률을 1.0 혹은 0.0으로 생각하는지와 실제로 답을 맞힌 비율을 비교 분석해 보았습니다. 그랬더니 맞을 확률을 1.0으로 생각하여 제시한 답이 실제로 옳은 경우는 대략 20퍼센트에서 30퍼센트 밖에 되지 않았습니다. 자신이 선택한 답이 확실하게 맞다고 생각할 때 그 답이 틀리는 경우가 꽤 많다는 의미였습니다. 

연구자들은 이 결과를 다시 확인하기 위해 변형된 실험을 추가로 실시했습니다. 이번엔 41개의 사망 원인들을 둘 씩 짝을 지은 다음에 참가자들에게 "두 개의 사망 원인 중에서 미국에서 더 자주 발생하는 것은 무엇이라고 생각하는가?"란 질문을 제시했습니다. 그리고 자신이 선택한 답이 옳을 확률을 '10 : 1', '10000 : 1'과 같은 비율로 표시하도록 했습니다. 예를 들어 '10:1'은 선택한 답이 옳을 확률이 틀릴 확률보다 10배 더 크다는 의미였습니다. 10 : 1보다는 10000 : 1이 자신의 답을 더욱 확신한다는 뜻이겠죠.

이렇게 총 106개의 질문을 66명의 실험참가자에게 제시했더니, 자신의 답을 확신하는 경우(50:1 이상으로 판단하는 경우)이 51퍼센트나 됐고, 1000 :1로 생각하는 경우도 거의 25퍼센트에 이르렀습니다. 하지만 전체적으로 답을 맞힌 경우는 71퍼센트에 불과했습니다. 자신의 답을 매우 확신하는 경우(예를 들어 1,000,000 : 1)에도 답이 틀리는 경우가 10퍼센트나 됐습니다. 이는 확신이 정확함을 보장하지 못한다는 의미로 해석되는 결과였죠. 사람들은 자신이 맞다고 확신할 때 그 믿음이 옳지 않은 경우가 생각보다 잦다는 것을 보여줍니다. 연구자들이 뒤이어 실행한 3개의 추가실험을 통해서도 이런 결과를 얻었죠.

이 실험은 어떤 결정에 대한 확신을 강하게 표현하는 것은 스스로를 안도시키기 위한 동기가 숨어있기 때문임을 시사합니다. 실제로 어떤 문제의 원인이나 해법에 대해 잘 알기 때문에 확신을 드러내는 것일 수도 있지만, 자신의 무지를 감추기 위해서 혹은 '긴가민가'해 하는 자신의 부정확함을 감추기 위해 다른 사람들에게 확신에 찬 모습을 보여주는 것일지도 모릅니다. 확신을 가진다고 해서 현실이 바뀌지 않지만 '그렇게 믿으면 실제로 그리 된다'는 여기는 경우는 의외로 많을 수 있다는 것이죠.

다른 사람의 확신, 그리고 자신의 확신을 한번쯤 의심해 보고 수정한다면, 보다 나은 의사결정의 기회를 가질 수 있을 겁니다. 지금 여러분은 어떤 사실을 확신하고 있습니까? 그 확신이 과연 옳을까요? 확신의 감정이 여러분 자신을 속이고 있는 건 아닐까요?


(*참고 논문)
Knowing with Certainty: The Appropriateness of Extreme Confidence

아래에 짧은 평을 달았으니 여러분들의 독서생활에 참조하기 바랍니다.




부동의 심리학 : 머리 좋고 실력 있는 사람들이 극도로 압박적인 상황에 놓였을 때 어이 없는 실수를 하는 현상인 '초킹'을 집중적으로 다루는 책입니다. 결정적인 순간에 실수하지 않는 심리학적 방어법을 이 책을 통해 알아 보세요. 추천합니다.




배드 사이언스 : 사이비 건강지식, 엉터리 과학기사를 특유의 발랄한 필체로 통렬하게 폭로하는 책입니다. 도처에 사기꾼들이 참 많습니다. ^^ 이 책이 과학적 사기를 경계하고 타파하는 계기가 될 것입니다. 과학 이야기라 약간 어려울 수 있으나 내용보다는 과학적 사기의 유형과 패턴을 파악하는 데 초점을 맞추면 쉽게 읽힙니다.




비합리성의 심리학 : 인간이 비합리적인 판단을 내릴 수밖에 없는 심리학적 이유를 여러 가지 실험적 근거를 통해 실증하는 책입니다. 비합리성의 심리학은 행동경제학과 맞닿아 있는 영역이죠. 저는 읽는 내내 재미있었습니다. 추천합니다.




가격은 없다 : 가격은 재화의 진정한 가치를 나타내는 수치가 아님을 중점적으로 파헤치는 행동경제학 책입니다. 약간 어려울 수 있지만 가격이 정해지는 매커니즘에 대한 행동경제학적 관점을 이해하려는 분들께 추천합니다.




욕망의 진화 : 남자와 여자의 성 차이를 진화심리학의 관점으로 상세하게 풀어냅니다. 약간 두꺼운 책이지만, 진화심리학의 입문서로도 추천할 만한 책입니다. 성적 질투에 관한 한국인들의 생각이 포함되어 있는 것도 흥미로웠습니다. 








경쟁에 반대한다 : 처음엔 몰랐으나 미국에서 꽤 유명한 교육 심리학자가 쓴 책입니다. 육아, 교육, 직장생활, 스포츠 등에서 벌어지는 경쟁의 폐해를 보여주는 이 책은 경쟁은 좋은 것이고 권장해야 한다는 기존의 통념에 반기를 듭니다. 저는 상당히 통쾌했습니다. 이 책을 꼭 읽어 볼 것을 권합니다.




많아지면 달라진다 : critical mass 를 넘은 '인지 잉여'와 그로 인한 대중의 지혜에 주목하라는 책입니다. 워낙 많이 들어온 이야기이고 책의 내용도 익숙한 터라 저에겐 좀 진부한 느낌이었습니다. 또 개별 장들의 주제가 하나로 통합되지 못한다는 생각이 들더군요. 




협력하는 유전자 :진화론의 맹점을 지적하고' 이기적 유전자' 개념을 분자생물학 관점으로 비판하는 책입니다. 생물체의 주인은 유전자가 아니라 세포라고 주장합니다. 분자생물학의 연구 내용들이 나와 좀 어려울 수 있지만 모두에게 일독을 권합니다.




인간 욕구를 경영하라 : 인본주의 심리학의 거두 매슬로의 경영철학이 녹아있습니다. 60년대에 나온 책이지만 여전히 현재진행형으로 읽히는 책입니다. 인간의 기본적인 욕구를 무시하거나 경시하는 경영방식에서 벗어나라는 강력한 경고를 이 책에서 느낄 수 있습니다. 피터 드러커를 능가하는 경영철학을 이 책에서 접할 수 있습니다. 추천합니다.




리틀 벳 : 불확실성이 큰 환경에서 기업들이 의지나 배짱으로 전략을 실행에 옮기기보다 '작은 실험'을 통해 돌다리도 두드려 볼 것을 강조하는 책입니다. 기업의 혁신을 추구하는 분들께 멋진 통찰력을 주는 실천적 책입니다. 추천합니다. ^^




긍정적 이탈 : 조직의 변화를 위해 긍정적으로 이탈하는 사람들이 보여주는 독특한 행동에 집중하라는 교훈을 생생한 사례로 서술합니다. 조직의 변화를 추구하는 이들에게 적극 추천합니다




Punished by Rewards : 얼마 전 구입한 킨들로 처음 읽은 책입니다. 위에서 소개한 '경쟁에 반대한다'의 저자가 쓴 책입니다. 당근과 채찍은 다른 게 아니라 결국 똑같고, 성과에 따른 보상이 얼마나 사람들의 내적 동기를 갉아 먹고 문제를 일으키는지를 설명합니다. 강추합니다.








손자, 이기는 경영을 말하다 : 전략의 고전, 손자병법의 교훈을 기업의 경쟁전략의 관점으로 해석하는 책입니다. 한권으로 손자병법을 기업의 관점으로 빨리 체득하고자 하는 분들께 추천합니다. 이 책의 서평을 따로 썼으니 참조하기 바랍니다. (여기를 클릭!)




Scenario Planning in Organizations : 킨들로 읽었습니다. 시나리오 플래닝의 개념과 방법을 개괄하고 싶은 분들께 추천합니다. 원서가 어려우시면, 제가 쓴 '시나리오 플래닝'을 추천합니다 ^^




우리는 왜 빠져드는가? : 발달심리학자가 감각적 쾌락이 아니라 본질주의적 쾌락에 관하여 철학적, 예술심리학적으로 접근합니다. 약간 어려운 책이지만 생각을 많이 하게 됩니다. 일독을 권합니다.




드라이브 : 동기 유발의 원천이 자발성, 숙련, 목적의식에 있음을 역설합니다. 자기계발서처럼 보이려고 한 것이 옥에 티로 느껴지만, 조직의 관리자들이 꼭 읽어야할 책입니다. 그리 길지 않으니 편안하게 읽을 수 있습니다. 




전략의 적은 전략이다 : 제대로 된 경영전략서를 찾아보기 힘든 상황에 이 책의 출간이 반가웠습니다. 좋은전략과 나쁜전략을 비교하면서 전략에 대해 가지고 있던 기존의 시각을 수정케 하는 유용한 책입니다. 전략의 기본을 다시금 새기게 됩니다. 추천합니다.

W. 에드워즈 데밍(W. Edwards Deming)은 품질경영의 전설적인 대가로 널리 알려져 있지만 원래는 예일 대학교에서 수학과 수리물리로 박사학위를 받고 나서 미국 농무부 등에서 물리학자로 일하던 사람이었습니다. 그는 여러 문헌을 통해 직원이 조직 내에서 달성하는 성과가 직원 개인의 역량이나 노력만으로 이루어지지 않는다는 생각을 밝히곤 했습니다. 관리 감독, 교육훈련, 도구와 방법론, 가용 자원 등과 관련된 조직의 시스템이 받쳐주지 못한다면 직원 개개인이 제아무리 역량이 뛰어나고 헌신한다 하더라도 탁월한 목표 달성은 요원할 것이라고 강하게 주장했습니다. 

그는 자신의 물리학적 배경을 발휘하여 간단한 방정식을 통해 이러한 주장을 다음과 같이 표현했습니다. 



여기에서 X는 개인의 기여이고 Y는 내외부 시스템의 효과를 나타냅니다. 직원의 기여(역량, 업적, 헌신 등)만으로 직원의 성과가 결정되는 것이 아니라, 내외부 시스템 상태와 변화가 직원의 기여와 승수 효과를 일으켜 결정된다는 점을 간단히 표현한 방정식이죠.

이 방정식의 미지수는 X와 Y, 이렇게 두 개입니다. 알다시피 미지수가 2개이면 방정식의 개수도 2개여야만 미지수를 구할 수 있습니다. "불행히도 방정식이 하나 밖에 없기 때문에 아무도 X를 풀 수 없다는 사실은 6학년 짜리 학생도 다 안다"라고 데밍은 말했습니다.

z = x + yx 를 나타낸, 말 안장 모양의 그래프

이 방정식은 조직에서 실시하는 인사 평가제도의 실효성에 의문을 던집니다. 평가제도는 개인의 기여(역량, 업적, 헌신 등)을 측정하면 직원 개인이 실제로 조직을 위해 달성한 성과를 알 수 있다고 전제합니다. 이를 식으로 표현하면 다음과 같죠.


그러나 데밍이 지적했듯이 개인의 기여는 직원 혼자만의 힘으로 절대 이루어지지 않습니다. 제도적, 시스템적 뒷받침은 물론이고 다른 직원들의 협력 없이는 불가능합니다. 또한 외부환경의 변동도 직원의 실제 성과에 큰 영향을 미칩니다. 그러한 내외부적 시스템의 변화는 무작위하게 일어나기 때문에 예측이 불가능할 뿐더러 사후적으로도 변동의 영향을 측정하는 것은 매우 어려운 일입니다. 혼자서 '영업을 뛰는' 영업사원들조차 시스템적인 도움이 없이는 제대로 된 성과를 내기가 힘듭니다.

그러니 YX를 무시한 채 이루어진 평가 결과를 보상에까지 활용한다면, 직원들은 실제 기여한 것보다 부당하게 많은 보상을 받거나 반대로 탁월한 기여를 했음에도 불구하고 정당한 보상으로 인정 받지 못하는 직원들이 매번 생길 수밖에 없음을 인지해야 합니다. 요컨대 YX를 고려하지 않는 평가는 의미가 없을 뿐더러 오히려 해악일 수 있음을 경계해야 합니다. 결국 데밍이 말하고자 했던 논지는 YX를 구하기가 현실적으로 불가능하기 때문에 평가제도를 '버려야' 한다는 것입니다. 

하버드 경영대학원 교수인 마이클 비어(Michael Beer)도 직원들이 제대로 성과를 내지 못하는 원인은 직원 개인에게 있는 것이 아니라 '잘못된 회사'에서 '잘못된 직무'를 수행하는 데에 있다고 말합니다. 그는 평가제도가 효과적인 성과 창출에 별로 도움이 되지 못한다고 지적하면서 평가제도가 직원들의 사기를 떨어뜨릴 뿐만 아니라 그들을 방어적으로 만든다고 경고하기도 합니다.

여러분 조직의 평가제도는 YX를 반영하고 있습니까? 그렇지 않다면, 그 평가제도를 계속 끌고가야 할까요? 대안이 없으니 그냥 운영할 수밖에 없다는 말은 그저 명분이거나 '용기 없음'의 다른 표현일지 모릅니다. 데밍의 방정식은 부당한 제도가 있다면 없애는 게 차라리 낫다는 점을 우리에게 일깨웁니다. 깊이 숙고할 문제이고 지나치지 말아야 할 문제입니다.

오늘은 제 개인적인 사정이 있어서 글을 짧게 남깁니다. 즐거운 월요일 되세요.


(*참고 도서 : Abolishing Performance Appraisals )
(*참고 도서 : The New Economics for Industry, Government, Education p.25~26)