노벨 경제학상을 수상한 심리학자 다니엘 카네만이 아직 햇병아리 심리학자였던 1955년의 일이었습니다. 당시 21살이었던 그는 심리학 학사 학위를 취득하자마자 이스라엘 군에 배속되어 지원병들을 대상으로 한 '적성 인터뷰'를 총괄하게 되었습니다. 어떻게 보면 이 임무는 대학을 갓 졸업한 햇병아리에게 맡기기엔 중책이었지만 1955년은 이스라엘이 새로 건국한지 겨우 7년 밖에 안 된 터라 카네만 같이 심리학 학사 학위 밖에 없는 사람조차 중용될 수밖에 없었죠.

그가 담당한 적성 인터뷰의 목적은 심리적 측정 테스트와 면담을 통해 지원병들의 특성을 파악하고 전투 임무를 수행하기에 적정한지를 평가하기 위함이었습니다. 이런 과정을 통해 지원병 개개인이 보병, 포병, 장갑병 등과 같은 병과(兵科)에 얼마나 적합한지 점수를 매겨야 했죠. 먼저 카네만은 대부분 젊은 여성으로 구성된 인터뷰어 그룹을 조직하여 몇 주 동안 인터뷰에 관련한 교육을 실시했습니다. 인터뷰는 지원병 1명 당 15~20분 정도 소요하기로 했는데, 지원병이 군대에서 얼마나 적응을 잘 할지에 관한 전반적인 인상을 파악하는 데 초점이 모아졌습니다.



그러나 이 시도는 거의 효과를 거두지 못했다고 카네만은 후에 자신의 책 'Thinking, Fast and Slow'에서 밝힙니다. 지원병이 군대에서 얼마나 임무를 잘 수행할지를 예측하는 데에 인터뷰는 아무런 도움이 되지 못했던 겁니다. 카네만은 이런 상황을 시정하라는 독촉을 받았지만 인터뷰 방식을 개선하기 위한 충분한 시간은 주어지지 않았습니다. 주변의 아랍국가와의 '2차 중동 전쟁'을 앞두던 때였기 때문입니다. 햇병아리 심리학자로서는 아주 난감한 상황이었겠죠.

고심을 거듭하던 카네만은 폴 밀(Paul Meehl)이 쓴 'Clinical vs. Statistical Prediction'이란 책을 1년 전에 읽었다는 것을 기억해 냅니다. 그 책에서 밀은 통계적 공식을 기반으로 한 판단이 직관적인 판단보다 우수함을 여러 가지 증거로 증명해 보였습니다. 예를 들어, 전문 면접관들로 하여금 대학교 신입생을 45분간 인터뷰하여 그 해 말의 성적을 예상하도록 하는 연구가 있었습니다. 물론 면접관들에게 각 학생의 고등학교 성적, 적성검사 결과, 자기소개서 등이 주어졌죠. 허나 그들의 예측력은 실망스러운 수준이었습니다. 단순하게 신입생의 고등학교 성적과 적성검사 점수만 가지고 공식을 만들어 예측한 결과보다 못했기 때문입니다. 통계 공식을 통한 예측은 14명의 면접관 중 11명의 것보다 더 정확했습니다. 

카네만은 밀의 연구로부터 인터뷰 개선의 방향을 명확히 정할 수 있었습니다. 인터뷰어에게 주관적 판단을 폭넓게 인정한 것이 실패의 원인이었고 그들의직관적인 판단이 개입될 여지를 최소화할 '공식'을 찾아 적용하는 것이 문제의 해법이었던 겁니다. 인터뷰어가 개인적으로 무엇에 더 관심을 두고 무엇에 더 많은 흥미를 느끼느냐에 따라 예측의 결과가 왜곡될 가능성이 높았기 때문이죠. 그는 지원병의 특성을 '책임감', '사회성', '남성으로서의 자존심' 등 6개의 항목으로 구분하여 항목별로 구조화된 질문을 설계한 다음, 인터뷰어들이 각 항목을 독립적으로 평가하도록 절차를 변경했습니다. 그리고 지원병을 어느 병과에 배속시킬지를 최종 결정하는 권한은 인터뷰어들에게 허용하지 않고 오직 각 항목의 점수들을 합산하여 결정하는 방식을 취했습니다.

인터뷰어들은 자신들의 권한이 사라지는 데 대해 약간 반발하긴 했지만, 이렇게 개선된 방법은 확실히 효과가 있었습니다. 인터뷰가 끝나고 몇 개월 후에 지원병이 배속된 각 지휘본부의 평가 기록을 살펴보니, 과거에 했던 인터뷰 방식보다 훨씬 예측력이 높은 것으로 나타났습니다. 물론 예측이 완벽하지는 못했지만 6개 항목으로 지원병의 특성을 각각 계량화하여 측정한 방식이 인터뷰어가 직관에 의해 총점을 매기는 방식보다 훨씬 정교했던 겁니다. 카네만은 이러한 개인적 경험을 통해 직관적 판단을 묵살해서는 안 되지만 그것을 믿지는 말아야 함을 깊이 깨달았습니다. 

노벨상을 타고 유명해진 그가 45년만에 자신이 근무했던 육군 기지에 초대됐을 때 그는 자신이 개선했던 인터뷰 방식이 거의 그대로 쓰인다는 사실을 발견하고 감회에 젖습니다. 이렇게 크게 변화되지 않고 오랫동안 쓰인다는 것 자체가 직관보다 데이터를 바탕으로 한 '공식'이 더욱 우수함을 알리는 또 하나의 증거라고 그는 말합니다.

카네만의 사례는 비록 오래 전의 에피소드이지만 기업이 인터뷰를 통해 지원자를 평가하고 선별하는 방식을 어떻게 개선해야 할지를 분명하게 보여줍니다. 인터뷰 전에 충원하고자 하는 직무를 성공적으로 수행하기 위해 필요한 특성(역량)들을 결정해야겠죠. 이때 너무나 많은 특성을 설정하는 것은 금물입니다. 카네만이 했듯이 6개 내외가 적절합니다. 또한 각 특성은 서로 겹치는 부분 없이 배타적이어야 합니다. 그런 다음, 각 특성별로 서너 개의 구조화된 질문을 설정하고 5점 척도나 7점 척도로 측정할 준비를 갖춰야 합니다.

인터뷰에 임할 때 반드시 하나의 특성에 대한 점수를 평가하고나서 다음 특성의 평가를 위한 질문으로 넘어가야 합니다. 한 지원자의 인터뷰가 끝나고 다른 지원자가 들어오기 전의 토막 시간에 모든 특성을 몰아서 측정하면 흔히 말하는 '후광 효과'에 의해 평가가 왜곡될지 모르기 때문입니다. 카네만은 이 점을 특히 강조하면서 주의를 당부합니다. 

지금 여러분 조직에서 실시하는 면접의 방식이 카네만이 초기에 멋모르고 실시했던 방법과 비슷하다면, 면접관(보통 조직 내의 관리자나 경영자)들의 직관을 과대평가한다는 것입니다. 밀을 위시한 여러 명의 학자들이 이미 밝혔듯이, 경험 많은 전문가들의 '눈'은 의외로 정확하지 못합니다. 물론 직관이 우수할 때도 있습니다. 하지만, 인상(impression)이나 감각에 의해 평가가 크게 좌우될 우려가 있을 때, 기존의 데이터가 많이 존재하거나 과정을 진행하는 가운데 데이터를 충분히 생성할 수 있을 때, 현재 확보할 수 있는 데이터와 미래의 사건 사이의 인과관계가 어느 정도 존재할 때, 직관은 데이터에 자리를 내주어야 옳습니다.

직관보다는 데이터를 중시하고 그것에 근거하여 판단을 내리는 것이 실수를 줄일 수 있는 방법입니다. 겉으로 보기에 복잡한 주관적 판단보다는 단순하게 숫자 몇 개를 더하거나 빼서 결과를 추측하는 것이 더 정확할 때가 많다는 점을 염두에 둔다면, 여러분 조직의 면접 관행을 어떻게 개선해야 하는지 초점을 명확히 할 수 있을 겁니다.

면접은 지원자의 인상을 평가하기 위한 자리가 아닙니다. 면접은 최대한 과학적이어야 합니다. 감으로 하는 면접은 버리세요.


(*참고 도서) 
Thinking, Fast and Slow
Clinical vs. Statistical Prediction

볼펜 끝을 입에 무는 방법은 2가지가 있습니다. 하나는 이빨로 무는 것이고, 다른 방법은 이빨이 닿지 않게 조심한 상태에서 입술로만 무는 것입니다.  여러분 옆에 연필이나 볼펜이 있다면 두 가지 방법을 따라해보기 바랍니다.  이빨만을 사용해 볼펜 끝을 물 때는 어쩔 수 없이 입이 옆으로 벌어지고, 입술로만 물 때는 입이 앞으로 나오면서 볼이 홀쭉해질 겁니다.

이때 실험 진행자가 나타나서 볼펜을 입에 문 채 종이 위에 찍힌 두 점을 직선으로 연결하라는 요청을 여러분에게 합니다. 또 종이 위에 무작위하게 찍힌 점들을 1번부터 10번까지 순서대로 연결하라고도 합니다. 작업을 마치고 나니 진행자는 여러분에게 그 작업들이 얼마나 어렵게 느껴졌는지를 10점 척도(0점부터 9점까지)로 평가하라고 말합니다. 아마 손이 아닌 입으로 점을 연결하는 작업이 그리 쉽지는 않을 겁니다.



어렵게 작업을 끝내고 나니 진행자는 추가로 두 가지 작업이 더 있다는 말을 전합니다.  8개의 자음과 9개의 모음이 무작위로 인쇄된 종이를 주며 그가 요청한 세 번째 과제는 입에 볼펜을 문 채(입술로만 혹은 이빨로만) 모음에 밑줄을 치라는 것입니다. 작업을 끝내고 얼마나 어려웠는지를 역시 10점 척도로 평가해야 합니다.

네 번째 과제는 지금까지의 과제와는 다릅니다. 진행자는 여러분에게 잡지에 나올 법한 만화 4편을 건네면서 각 만화가 얼마나 재미있는지를 10점 척도(0점은 재미없다, 9점은 매우 재미있다)로 평가해 달라고 말합니다.  4편의 만화들은 게리 라르손(Gary Larson)의 'The Fair Side'라는 시리즈에서 발췌한 것들로서 사전 평가에 의해 평균 6.61이란 점수를 얻은 것들입니다. 여러분이 주의할 점은 만화를 보며 재미의 수준을 평가할 때도 항상 입에 볼펜을 물고 있어야 한다는 것입니다.

눈치가 빠른 분들은 심리학자 프리츠 스트랙(Fritz Strack), 레오나르드 마틴(Leonard  L. Martin), 새빈 스테퍼(Sabine Stepper)가 수행했던 이 실험의 목적이 무엇인지 간파했을 겁니다. 이 실험은 얼굴 표정이 판단에 얼마나 영향을 미치는가 하는 것이었습니다. 볼펜 끝을 입술로만 물 때의 얼굴은 찡그린 표정( '뚱한' 표정과 같음)과 유사하고, 이빨로 물 때는 입이 옆으로 벌어지기 때문에(즉 웃을 때 움직이는 근육을 동일하게 사용하기 때문에) 웃는 표정과 비슷합니다. 볼펜을 입에 무는 방법으로 얼굴 표정에 조작을 가하면 실제로 기분이 언짢거나 좋을 리 없더라도 그런 감정을 유발되고, 그렇게 변화된 감정 상태가 판단에 상당한 영향을 미친다는 것이 연구자들이 내린 결론이었습니다.

모두 4가지 과제를 수행했지만 연구자들의 관심은 만화의 재미 수준을 평가하게 한 네 번째 과제에 있었습니다. 앞의 3가지 과제는 실험 참가자들이 볼펜을 입에 문 상태에 익숙해지도록 하기 위함이었죠. 실험 결과, 참가자들은 전체적으로 만화의 재미를 사전 평가 점수보다 전체적으로 낮게 평가했습니다. 아마도 입에 볼펜을 물고 있는 불편함이 만화를 실제보다 재미 없게 평가한 이유라고 추측됩니다.

하지만 이보다 더 중요한 사실은 이빨만으로 볼펜을 문 사람들(웃는 표정)이 입술로만 볼펜을 문 사람들(뚱한 표정)보다 상대적으로 만화를 더 재미있게 여긴다는 것이었습니다. 전자의 참가자들은 만화의 재미를 평균 5.14로 평가한 반면, 후자의 참가자들은 평균 4.32라고 평가했던 겁니다. 볼펜을 입술로 물든 이빨로 물든 참가자들이 느낀 불편함은 거의 비슷했기에 만화의 재미에 영향을 미친 조건은 바로 볼펜으로 조작된 얼굴 표정에 있었습니다. 장애인의 고충을 측정하려 한다는 엉뚱한 실험 목적을 사전에 듣고 과제를 수행한 참가자들은 이런 영향을 감지할 수 없었겠죠.

얼굴 표정의 인위적인 변화가 감정의 변화로 이어지고 그 감정이 판단에 상당한 영향을 끼친다는 이 실험의 결과는 이성적 판단의 어려움을 보여줍니다. 이성적 판단은 감정에 크게 좌우되고 그 감정은 별것 아닌 조작으로 바뀔 수 있기 때문입니다. 볼펜을 무는 것 같은 행위로 조작된 얼굴 표정(얼굴 근육)이 감정에 피드백되고 그 감정은 다시 판단 매커니즘에 피드백되면서 판단 오류의 가능성을 키우는 것이죠.

무언가를 판단하거나 평가할 때 객관적 평가 능력을 과신하지 말고 자신의 감정이 큰 영향을 끼칠 수 있다는 점을 경계해야 한다는 의미로 이 실험을 해석할 수 있습니다. 판단을 내려야 하는 순간 자신의 감정 상태가 어떤지를 자문하고 그 감정으로 판단 결과가 왜곡될지도 모른다는 점을 인식하더라도 판단의 질을 높일 수 있습니다. 감정이 고조되거나 저하되어 있을 때는 판단을 미루는 것도 좋은 해법이겠죠. 지난 번에 올린 '밥 먹고 합시다라고 말해야 하는 이유?'란 글과 마찬가지로 인간은 이성적이기 이전에 감정과 본능의 동물이기도 합니다. 이것을 염두에 두어야겠습니다.

여러분은 지금 무언가를 판단하거나 의사결정자에게 판단을 요청하려 합니까? 판단을 위한 근거와 자료도 중요하지만 여러분 자신과 의사결정자의 감정 상태도 중요하지 않을까요? 결재 받을 때 상사의 표정을 잘 살피세요.


(*참고 논문)
Inhibiting and facilitationg conditions of the human smile

어떤 IT회사에서 KY라고 불리는 가상의 컴퓨터 언어를 능숙하게 다를 줄 아는 프로그래머 1명을 채용하려고 합니다. 동일한 대학교의 전산학과 학사 학위를 가진 두 명의 지원자가 서류를 제출했는데, 그들의 이력서에는 각각 다음과 같은 정보가 씌여 있습니다.

지원자 A : 최근 2년간 KY 프로그램 70개 작성,  대학교 평점 3.0 (5.0만점)
지원자 B : 최근 2년간 KY 프로그램 10개 작성,  대학교 평점 4.9 (5.0만점)

여러분이 지원자의 연봉을 결정하는 위치에 있다면, 그리고 서류에 적힌 이 정보만을 가지고 A와 B에게 적당한 연봉을 정해야 한다면 어떻게 하겠습니까? 아마도 여러분 대부분은 지원자 A가 B보다 더 많은 연봉을 받을 자격이 있다고 생각할 겁니다. 충원하려는 직무가 요구하는 조건이 KY언어를 능숙하게 다루느냐의 여부이기 때문이겠죠. 대학교 때의 평점이 얼마인가는 그리 중요하지 않다고 생각할 겁니다. 어제 올린 포스팅에서 소개한 크리스토퍼 흐시가 112명의 실험참가자에게 2만 달러에서 4만 달러 사이에서 지원자 각각에게 얼마씩의 연봉을 줄 의향이 있는지를 물었을 때도 동일한 결과가 나왔습니다. 참가자들은 지원자 A에게는 33,200 달러를 주겠다고 했으나 지원자 B에게는 31,200달러의 연봉을 주겠다고 답했습니다.

하지만 지원자 A와 B를 비교 평가하도록 하지 않고, 지원자 각각을 독립적으로 평가하도록 하자 지급하고 싶은 연봉 수준이 뒤바뀌는 결과가 나왔습니다. 지원자 A의 연봉만을 가늠하도록 요청 받은 참가자들은 겨우 26,800달러를 주겠다고 했고, 지원자 B의 연봉만을 산정한 참가자들은 32,700달러를 지급하겠다고 답했습니다. 지원자끼리 서로 비교하지 못하게 하고 각각을 독립적으로 평가하도록 하자 지원자에게 느끼는 가치(즉 연봉)가 역전되고 만 것입니다.

왜 그럴까요? 흐시는 연봉에 대해 묻기 전에 참가자들에게 KY언어 프로그래밍 경력과 대학교 평점 중에서 무엇이 더 평가하기 쉬운 요소인지를 질문했습니다. 그랬더니 참가자들은  연봉을 결정하는 데에 평점이 더 쉽게 인지된다는 의견을 뚜렷하게 밝혔습니다. 평점은 0.0에서 5.0점 사이의 범위가 주어지는 반면, KY언어는 실체가 불문명한 프로그래밍 언어인데가 어느 범위의 경력이 적절한지 쉽게 인지되지 않기 때문이겠죠.

취할 수 있는 두 개의 대안을 따로 평가할 때 '선호'가 역전됐다는 이 실험의 결과는 사람들이 상대적으로 쉬운 척도에 가중치를 더 많이 부여하는 경향이 있음을 우리에게 일러줍니다. 두 가지의 평가 요소 중 분명히 KY언어가 더 중요함에도 불구하고 다른 대안(여기서는 다른 지원자)이 비교 대상으로 제시되지 않으면 쉽게 인지되는 요소(여기서는 평점)를 더 중요시하는 모순이 발생하는 것입니다.

물론 서로 비교하지 않고 모든 직원을 독립적으로 평가하는 경우(한 사람의 평가자가 오직 한 사람의 피평가자를 평가하는 경우)는 그리 많지 않습니다. 그렇다고 모든 평가 요소를 가지고 모든 직원들을 완벽하게 비교 평가하는 경우도 드뭅니다. 현실에서 벌어지는 평가는 두 극단 사이에 어딘가에 위치하죠. 상대적으로 중요한 평가 요소가 상대적으로 낮은 가중치를 가진 채 평가될 우려가 없다고는 말할 수 없습니다. 특히 어떤 직무를 수행하는 직원이 오직 1명이거나, 그 직무에 둘 이상이 존재해도 서로를 비교 대상으로 삼기 어려운 경우에는 위 실험에서 나타난 '가중치 절하' 현상이 뚜렷하게 나타날 가능성이 큽니다.

어제 올린 포스팅에서는 상사의 기대를 충족시키지 못하는 직원의 성과가 비록 절대적으로 볼 때 더 우수하더라도 자신의 역량 이상의 성과를 내는 직원의 성과보다 낮은 평가를 받을 수 있다는 점, 더 우수한 성과를 보이는 직원에게 결점으로 느껴지는 무언가가 있다면 그 직원의 성과를 평가절하할 위험이 있다는 점을 지적했습니다. 오늘의 글은 직무 수행에 상대적으로 더 중요한 요소임에도 불구하고 쉽게 평가하기 어렵다는 이유만으로, 쉽게 머리 속에 '박히지 않는다'는 이유만으로 '가중치 절하' 효과를 일으킨다는 것으로 정리됩니다. 이것 역시 객관적인 평가가 얼마나 요원하고 불가능한 일임을 보여주는 또 하나의 증거입니다. 

평가하기 어려운 요소(실력, 경력, 잠재력 등)로 올바로 평가 받지 못한 채 평가가 쉬운 요소(출신 학교나 학점, 외모, 소문, 사적인 의견 등)에 의해 나쁘게 평가 받는 일, 여러분의 조직에는 과연 없습니까?


(*참고 논문)
The Evaluability Hypothesis: An Explanation for Preference Reversalsbetween Joint and Separate Evaluations of Alternatives