반응형

 

요즘 많은 기업들이 '평가'의 폐해를 절감하고 이를 대신할 방법으로 '피드백' 방식을 채택 중이거나 앞으로 대체할 시기를 저울질하고 있는 것 같다. 평가의 본래 목적이 구성원의 역량 개발과 동기부여, 이를 통한 조직성과의 창출인 것은 다 알고 있을 것이다. 하지만 기존의 '사정형 평가'로는 그 목적을 달성하기가 현실적으로 매우 어려울 뿐만 아니라 오히려 구성원의 동기를 떨어뜨리는 부작용이 심각하다는 지적을 숱하게 받아왔다.

나는 그동안 사정형 평가의 문제점과 피드백의 중요성을 설명해 왔기에 다시 반복하지는 않겠다. 다만, 기존 평가를 대체할 수 있는 대체물로 '활발한 피드백 제도'를 도입하고자 한다면, 또 당초에 바라던 효과(구성원의 역량개발 등)를 구현하고자 한다면, 리더를 포함한 직원들에게 피드백을 일종의 '평가' 개념으로 인식되지 않도록 주의를 기울여야 한다는 점을 강조하고 싶다. 평가를 없애는 대신에 피드백을 강화하겠다고(혹은 새로 도입하겠다고) 하면, 구성원들은 '아, 이제 피드백 방식으로 직원들을 평가하는 것이구나'라고 인식하기 십상인데, 그렇게 되면 큰 효과를 발휘하기가 어려울 수도 있다.

왜 그럴까? 하버드 경영대학원 박사과정 학생인 윤재원(Jaewon Yoon)은 피드백이 평가의 개념으로 사람들에게 인식되면, 개선해야 할 영역, 개선할 수 있는 방법과 제안 등을 구체적으로 제공하는 효과가 떨어진다는 실험 결과를 내놓았다. 본래 피드백은 상대방이 무엇을 잘했고, 무엇을 개선해야 하며, 장점을 어떻게 발전시키고, 단점을 또 어떻게 개선해야 하는지에 관한 구체적인 의견을 전달하는 행위인데, ‘피드백하라'는 말은 그런 행위를 오히려 소극적으로 만들고 상대방을 '평면적'으로 평가만 하려고 한다고 윤재원은 지적한다. 

 



그는 피드백의 효과를 제대로 발휘토록 하려면 피드백이라는 말보다는 '상대방에게 조언(advise)하라'는 말을 사용해야 한다고 말한다. 그가 어떻게 이런 결론에 도달했을까? 윤재원은 200명의 실험 참가자들에게 교사직을 희망하는 지원자가 쓴 가상의 지원서를 읽고서 지원서 내용에 대해 '피드백해 달라' 혹은 '조언해 달라'고 요청했다. 그랬더니, 피드백을 요청 받은 그룹보다 조언을 요청 받은 그룹이 가상의 지원자에게 부족한 부분을 구체적으로 지적하고, 개선할 수 있는 방법을 더 많이 제안하는 경향을 보였다.

예를 들어, 피드백 요청 그룹은 "이 사람은 지원조건을 아주 충족시키고 있다. 아이들과 함께 한 경험이 있고, 가르치는 스킬을 적절하게 갖추었다"는 식으로 두루뭉술한 코멘트를 쓴 반면, 조언 요청 그룹은 지원서에서 무엇이 부족한지, 어떻게 지원서를 보완할지를 상세하게 코멘트하는 경향이 상대적으로 강하게 나타났다. 통계적으로, 조언 요청 그룹은 피드백 요청 그룹보다 '개선 영역'을 34퍼센트 많게 코멘트하고 '개선 방법'을 56퍼센트 많게 제안했다.

직장인들을 대상으로 한 실험에서도 이와 동일한 결과가 나왔다. 윤재원은 194명의 정규직 직원들에게 동료의 최근 업무성과에 대해 '피드백' 혹은 '조언'을 해달라고 부탁했는데, 실험을 해보니 피드백을 요청 받은 직원들은 구체적이지 못하고 실천가능하지 못한 코멘트를 많이 제시했다. 이를테면 "업무에 대해 불평 한마디 없이 아주 좋은 성과를 냈다"는 식이었다. 이런 피드백을 받으면 칭찬이라서 기분은 좋겠지만, 앞으로 무엇을 어떻게 잘해야 하는지에 관해서 아무런 도움을 받을 수가 없다. 

'피드백해 달라'는 말과 '조언해 달라'는 말이 이렇게 의외의 차이를 보이는 까닭은 무엇일까? 피드백하라는 말을 들으면 사람들은 대부분 상대방의 '과거 상황과 과거의 성과'를 떠올리는 경향을 보인다. 이는 피드백을 상대방의 성과를 '심사(judge)'하는 행위로 인식한다는 뜻이다. 피드백이란 말이 미래지향적 코멘트를 덜하게 만들어 버린다. 반면, 조언해 달라는 말을 들으면 자신도 모르게 '상대방이 앞으로 이렇게 저렇게 하면 좋겠다'는 식으로 말할 준비를 하게 된다. 심사하기보다는 '기회'를 더 알려줘야겠다는 마음이 들도록 넛지가 일어나는 것이다.

 



이렇게 피드백하기보다 조언하는 게 낫다고 해서 평가를 대체하는 공식적 제도로 피드백이라는 말을 쓰지 말라는 소리는 아니다. 피드백이라는 말을 쓰되 그것이 과거의 성과를 평가하거나 심사하는 것이 아님을 구성원들에게 잘 인식시키면 된다. '직원들의 성과를 피드백하라'고 단순하게 말하지 말고 '직원의 개선점, 발전 가능성을 피드백하라'고 말하면 '직원에게 조언하라'고 말할 때와 동일한 효과를 얻을 수 있기 때문이다. 이는 윤재원이 실시한 후속실험에서 나온 결과인데, 가상의 지원자가 쓴 지원서를 이번에는 "개선점에 초점을 맞춰 피드백해 달라"고 요청하자 조언을 요청할 때와 거의 동일한 효과가 나왔다. 

예전에 나는 모 기업에 피드백을 중심으로 기존의 평가제도를 대체하라고 조언한 적이 있는데, 그때 어떤 사람이 "피드백이란 말을 들으면 부정적인 뜻이 연상됩니다."라고 말했다. 왜 그렇게 생각하냐고 물으니, 
그는 피드백이 '상대방이 했던 잘못을 지적하는 것'으로 느껴진다고 답했다. 또한 누군가가 자신에게 피드백할 것이 있다면 내용과 상관없이 일단 기분부터 나빠진다고도 고백했다. 여러 사람들의 의견을 취합해 보니 그사람만 그런 생각을 가지고 있는 게 아니었다. 그래서 나는 '피드백'이라는 단어를 양식에 표기하지 않고 대신에 '개선해야 할 점', '개선을 위한 나의 제안'이라는 두 개의 기입란을 남기도록 조정했다. 그렇게 하니까  보다 건설적인 조언이 제시되는 효과를 경험했다.
 
평가를 피드백으로 대체한다고 해서 모든 문제가 해결되는 것은 아니다. 피드백은 절대 만능이 아닐뿐더러 어떨 때는 오히려 직원의 동기를 꺾어 놓기도 한다. 그렇기에 리더들에게 '직원들의 성과를 피드백하라'는 점을 강조할 때는 구체적으로 누구에게 언제 무엇을 어떻게 피드백해야 하는지를 가이드하는 것이 훨씬 더 중요하다. 피드백은 과거를 심사하는 것이 아니라 미래지향적인 조언이어야 함을 늘 염두에 두어야 할 것이다.

반응형

Comments

반응형

 

 

평가에 불만을 제시하는 대부분의 직원들은 ‘평가가 공정하게 이루어지지 않는다’는 의견을 제일 많이 제기한다. 공정성(fairness)이란 '직원이 창출한 성과에 상응하도록 평가가 이루어진다고 믿는 정도'를 뜻한다. 평가지표 개선, 피드백 강화 등 많은 평가제도가 공정성을 높이는 쪽으로 개선이 이루어짐에도 불구하고 왜 평가에 대한 공정성 이슈는 사라지지 않는 걸까? 왜 직원들은 평가제도에 계속해서 불만을 느끼는 것일까?

그것은 바로 직원들이 실제로 어떻게 공정성을 인식하는지를 대수롭지 않게 생각하기 때문이라고 전진석(Jinseok Chun)등 콜럼비아 경영대학원의 연구자들은 지적한다. 전진석은 평가에 대한 공정성 인식은 평가자가 직원의 성과를 평가할 때 사용하는 ‘기준점’에 좌우된다는 연구 결과를 발표했다. 다시 말해, 상사가 어떤 기준점을 가지고 직원의 성과를 평가하냐에 따라 직원이 평가에 대해 가지는 공정성 여부가 결정된다는 것이다.

 



연구자들은 두 가지의 기준점을 가지고 평가에 대한 공정성 인식도를 분석했다. 하나의 기준점은 ‘해당 직원의 과거 성과’로서, 평가자가 직원을 평가할 때 과거의 성과와 비교하여 현재 얼마나 나아졌는지를 평가하는 방식이었다. 이를 시간적 비교(temporal comparison)라고 부른다. 또 다른 기준점은 ‘다른 직원의 성과’로서, 해당 직원의 성과를 다른 직원의 성과와 비교하여 상대적으로 얼마나 나은지를 평가하는 방식이었는데, 사회적 비교(social comparison)라고 한다. 간단히 말하면, 자기 자신과 비교할 때와 남들과 비교할 때, 이 중 어떨 때 평가가 공정하다고 느끼는지 살펴보기로 했다.

전진석은 모두 4번의 실험을 진행했다. 그 중 한 실험에서 실험 참가자들은 과제를 두 번 수행한 다음 평가자로부터 평가를 받았는데, 참가자들 중 A그룹은 2라운드의 성적을 1라운드와의 비교로 평가 받은 반면, B그룹의 참가자들은 1라운드와 2라운드의 성과를 다른 참가자와의 비교로 평가를 받았다.

과제를 수행한 후에 공정성에 대한 참가자들의 인식도를 조사하니, 본인의 과거 성과와 비교하여 평가 받은 A그룹이 타 직원과의 비교로 평가 받은 B그룹에 비해 평가가 더 공정했다고 밝혔다. “전보다 잘했다”라는 평가가 “다른 사람보다 잘했다”라는 평가보다 ‘절차적으로’ 더 공정하다고 느낀다는 뜻이었ㄷ. 또한, 평가자가 적합한 정보를 가지고 평가를 내린다고 믿었으며, 직원 각자의 상황을 충분히 배려하여 평가가 이루어진다고 평했다. 아래의 그래프에서 보듯이, 절차상의 공정성과 대인관계상의 공정성에서 모두 시간적 비교가 사회적 비교에 비해 높은 점수를 기록했다.

 

그림 출처: 아래에 명기한 논문

 


연구를 주도한 전진석은 중국의 정보통신업체 화웨이의 예를 든다. 이 회사는 시간이 흐름에 따라 직원들의 역량이 어떻게 향상되는가가 중요하다는 철학을 지니고 있다. 비록 사회적 비교 방식이 일부 사용되긴 하지만, 평가의 주된 초점은 각 직원이 얼마나 성장하고 계발되었는가, 즉 시간적 비교에 맞춰져 있다. 창업자 렌 쳉페이는 이렇게 말한 바 있다고 한다. “나는 어느 팀이 잘 하는지 못하는지를 신경쓰지 않을 것이다. 모두가 앞으로 전진한다면 상관없다. 다른 사람보다 더 빨리 달리고 더 많이 달성하면 영웅이 될 것이다. 하지만 느리게 달린다고 해서 나는 그를 부진한 사람으로 보지 않는다.”

미국의 리서치 업체 CEB(Corporate Executive Board)가 1,000여개의 기업을 대상으로 한 설문조사를 벌였는데, 직원들 중 무려 66퍼센트가 현재 조직에서 운영 중인 성과평가에 대해 ‘강한 불만’을 표했다고 한다. 성과평가에 쏟아 붓는 돈이 직원 1인당 매년 평균 3천 달러에 달하기 때문에 이런 설문결과는 경영자 입장에서 힘이 빠지는 일이라 할 수 있다. 성과평가에 대한 불만은 비단 미국의 경우에만 국한되지 않는다.

이런 불만을 줄이기 위한 조치로 상대평가에서 절대평가로 평가 방식을 변경하는 기업들이 늘어나고 있다. 그런데 절대평가를 진행할 때 무엇을(혹은 누구를) 기준점으로 직원에게 피드백할지 어려움을 겪는다는 목소리가 나온다. 다른 직원과 비교해야 올바르게 평가할 수 있지 않겠냐는 의견도 만만치 않다. 

그렇다면 이제부터 직원의 과거를 기준점으로 삼으면 어떨까? 그러기 위해서는 사실 평가자(상사)가 해야 할 일들이 조금 많아지긴 한다. 직원 각자의 역량 개발 및 성과 창출의 과정을 기록하고 피드백한 내용도 역시 기록을 해야 가능하기 때문이다. 번거롭다고 여길지 모르지만, 직원의 과거를 기준으로 평가하는 것이 타인과의 비교를 통한 평가보다 훨씬 큰 공정성을 확보할 수 있다는 점을 기억하기 바란다. 직원들을 상대평가를 하되 비교대상은 자기자신이어야 한다.


(*참고논문)
Chun, J. S., Brockner, J., & De Cremer, D. (2018). 

How temporal and social comparisons in performance evaluation 

affect fairness perceptions. 

Organizational Behavior and Human Decision Processes, 145, 1-15.

반응형

Comments

반응형

 

 

요즘 많은 기업들이 '평가'의 폐해를 절감하고 이를 대신할 방법으로 '피드백'을 채용 중이거나 앞으로 대체할 시기를 놓고 저울질을 하고 있다. 평가의 본래 목적이 구성원의 역량 개발과 동기부여, 이를 통한 조직성과의 창출인데, 기존의 '사정형 평가'로는 그 목적을 달성하기가 현실적으로 매우 어려울 뿐만 아니라 오히려 구성원의 동기를 떨어뜨리는 부작용이 심각하다는 지적을 숱하게 받아왔다. 

그동안 이 블로그를 통해서 사정형 평가의 문제점과 피드백의 중요성을 설명해 왔기에 다시 반복하지는 않겠다. 다만, 기존 평가를 대체할 수 있는 대체물로 '활발한 피드백 제도(보통은 'check-in'이라고 명명하는 것 같다)'를 도입하고자 한다면, 또한 당초에 바라던 효과(구성원의 역량개발 등)를 구현하고자 한다면, 리더를 포함한 직원들에게 피드백을 일종의 '평가' 개념으로 인식되지 않도록 주의를 기울여야 한다는 점을 강조하고 싶다. 평가를 없애는 대신에 피드백을 강화하겠다고(혹은 새로 도입하겠다고) 하면, 구성원들은 '아, 이제 피드백 방식으로 직원들을 평가하는 것이구나'라고 인식하기 십상인데, 그렇게 되면 큰 효과를 발휘하기가 어려울 수도 있다는 뜻이다.

왜 그럴까? 하버드 경영대학원 박사과정 학생인 윤재원(Jaewon Yoon)은 피드백이 평가의 개념으로 사람들에게 인식되면, 개선해야 할 영역, 개선할 수 있는 방법과 제안 등을 구체적으로 제공하는 효과가 떨어진다는 실험 결과를 내놓았다. 본래 피드백은 상대방이 무엇을 잘했고, 무엇을 개선해야 하며, 장점을 어떻게 발전시키고, 단점을 또 어떻게 개선해야 하는지에 관한 구체적인 의견을 전달하는 행위인데, '피드백하라'는 말은 그런 행위를 오히려 소극적으로 만들고 상대방을 '평면적'으로 평가만 하려고 한다고 윤재원은 지적한다. 그는 피드백의 효과를 제대로 발휘토록 하려면 피드백이라는 말보다는 '상대방에게 조언(advise)하라'는 말을 사용해야 한다고 말한다.

 

 

 



그가 어떻게 이런 결론에 도달했을까? 윤재원은 200명의 실험 참가자들에게 교사직을 희망하는 지원자가 쓴 가상의 지원서를 읽고서 지원서 내용에 대해 '피드백해 달라' 혹은 '조언해 달라'고 요청했다. 그랬더니, 피드백을 요청 받은 그룹보다 조언을 요청 받은 그룹이 가상의 지원자에게 부족한 부분을 구체적으로 지적하고, 개선할 수 있는 방법을 더 많이 제안하는 경향을 보였다. 

예를 들어, 피드백 요청 그룹은 "이 사람은 지원조건을 아주 충족시키고 있다. 아이들과 함께 한 경험이 있고, 가르치는 스킬을 적절하게 갖추었다"는 식으로 두루뭉술한 코멘트를 쓴 반면, 조언 요청 그룹은 "나라면 아이들을 가르쳤던 과거의 경험을 구체적으로 서술하겠다. 본인의 '가르치는 스타일'을 자세하게 서술하고 왜 그런 스타일을 가지게 됐는지 더 설명하면 좋겠다. 왜 아이들을 가르치고 했는지, 무엇을 최종 목표로 생각하는지 등을 추가하면 좋지 않을까?"라는 식으로 지원서에서 무엇이 부족한지, 어떻게 지원서를 보완할지를 상세하게 코멘트하는 경향이 상대적으로 강하게 나타났다. 통계적으로, 조언 요청 그룹은 피드백 요청 그룹보다 '개선 영역'을 34퍼센트 많게 코멘트하고 '개선 방법'을 56퍼센트 많게 제안했다.

직장인들을 대상으로 한 실험에서도 이와 동일한 결과가 나왔다.  윤재원은194명의 정규직 직원들에게 동료의 최근 업무성과에 대해 '피드백' 혹은 '조언'을 해달라고 부탁했는데, 동료의 업무는 '제품에 라벨을 붙이는 일'에서부터 '마케팅 전략을 수립하는 일'에 이르기까지 난이도를 달리했다. 실험 결과, 피드백을 요청 받은 직원들은 조언을 요청 받은 직원들보다 구체적이지 못하고 실천가능하지 못한 코멘트를 더 많이 제시했다. 이를테면 "업무에 대해 불평 한마디 없이 아주 좋은 성과를 냈다"는 식이었다. 이런 피드백을 받으면 칭찬이라서 기분은 좋겠지만, 앞으로 무엇을 어떻게 잘해야 하는지에 관해서 아무런 도움을 받을 수가 없다. 강사의 강의가 끝나고 '피드백' 혹은 '조언'을 해달라고 교육생들에게 요청했던 실험도 결과는 비슷했다. 피드백을 요청 받은 교육생들은 "이 강사의 교육내용과 강의 스타일이 아주 좋았다"라는 식으로 두루뭉술하게 코멘트했던 것이다. 

 

 

 



'피드백해 달라'는 말과 '조언해 달라'는 말이 이렇게 의외의 차이를 보이는 까닭은 무엇일까? 피드백하라는 말을 들으면 사람들은 거의 모두가 상대방의 '과거 상황과 과거의 성과'를 떠올리는 경향을 보인다. 이는 피드백을 상대방의 성과를 '심사(judge)'하는 행위로 인식한다는 뜻이다. 피드백이란 말이 이런 방향의 '넛지(nudge)'가 되어 무엇을 어떻게 개선해야 한다는 미래지향적 코멘트를 덜하게 만들어 버린다. 반면, 조언해 달라는 말을 들으면 자신도 모르게 '상대방이 앞으로 이렇게 저렇게 하면 좋겠다'는 식으로 말할 준비를 하게 된다. 심사하기보다는 '기회'를 더 알려줘야겠다는 마음이 들도록 넛지가 일어나는 것이다. 

피드백보다는 조언이라는 말을 쓰는 것이 피드백을 통해 얻고자 하는 효과를 더 크게 얻을 수 있다는 것이 조금은 아이러니하게 느껴지는데, 그렇다고 해서 평가를 대체하는 공식적 제도로 피드백이라는 말을 쓰지 않을 필요는 없다. 피드백이라는 말을 쓰되 그것이 과거의 성과를 평가하거나 심사하는 것이 아님을 구성원(상사와 직원 모두)에게 잘 인식시키면 된다. '직원들의 성과를 피드백하라'고 단순하게 말하지 말고 '직원의 개선점, 발전 가능성을 피드백하라'고 말하면 '직원에게 조언하라'고 말할 때와 동일한 효과를 얻을 수 있기 때문이다. 이는 윤재원이 실시한 후속실험에서 나온 결과인데, 가상의 지원자가 쓴 지원서를 이번에는 "개선점에 초점을 맞춰 피드백해 달라"고 요청하자 조언을 요청할 때와 거의 동일한 효과가 나왔다(아래의 그래프 참조). 피드백 제도를 운용할 때 '평가하거나 심사하려는 마인드'를 제거해 주는 것이 키포인트라는 의미다.

 

 

 

출처: 아래 명기된 논문



예전에 나는 모 조직에 동료들의 피드백을 중심으로 기존의 평가제도를 대체하라고 조언한 적이 있는데, 그때 어떤 사람이 "피드백이란 말을 들으면 부정적인 뜻이 연상됩니다."라고 말했다. 왜 그렇게 생각하냐고 물으니, 그는 피드백이 '상대방이 했던 잘못을 지적하는 것'으로 느껴진다고 답했다. 그래서 누군가를 피드백하고 싶어도 잘못을 지적하는 것만 같아서 되도록이면 기분 나쁘지 않은 말을 쓰려고 한다고 덧붙였다. 또한 누군가가 자신에게 피드백할 것이 있다면 그 내용과 상관없이 일단 기분부터 나빠진다고도 고백했다. 의견을 취합해 보니 그사람만 그런 생각을 가지고 있는 게 아니었다. 그래서 나는 '피드백'이라는 단어를 양식에 표기하지 않고 대신에 '개선해야 할 점', '개선을 위한 나의 제안'이라는 두 개의 기입란을 남기도록 조정했다. 그렇게 하니, 좋은 게 좋은 거라는 식의 '해도 그만, 안 해도 그만'인 코멘트가 사라지고 보다 건설적인 조언이 제시되는 효과를 경험했다.

평가를 피드백으로 대체한다고 해서 문제가 해결되는 것은 아니다. 피드백은 절대 만능이 아닐뿐더러 어떨 때는 오히려 직원의 동기를 꺾어 놓기도 한다(피드백이 단점 지적이라고 직원들이 오해할 때 그렇다). 그렇기에 리더들에게 '직원들의 성과를 피드백하라'는 점을 강조할 때는 구체적으로 누구에게 언제 무엇을 어떻게 피드백해야 하는지를 가이드하는 것이 훨씬 더 중요하다. 피드백은 과거를 심사하는 것이 아니라 미래지향적인 조언이어야 함을 늘 염두에 두어야 할 것이다.


*참고논문
Yoon, J., Blunden, H., Kristal, A., & Whillans, A. (2019). Framing Feedback Giving as Advice Giving Yields More Critical and Actionable Input. Harvard Business School Working Paper, No. 20-021

 

 

반응형

Comments

반응형



이런 상황을 머리 속에 그려보자. 당신이 마이크로맥(MicroMac Inc.)라는 가상의 회사에 입사하고자 하는데, 이 회사는 전반적인 지능 테스트, 인성 테스트, 수학 및 계산 스킬 테스트, 언어 구사 능력 테스트, 성취 동기 테스트, 인사 담당자와의 면접 등을 지원자들에게 요구한다고 가정해 보자. 당신은 이 회사에 들어가고자 하는 욕구가 큰 나머지  부담을 감수하고 여러 가지 테스트를 받았다. 테스트를 마치고 1주일이자 지나자 마이크로맥은 당신에게 '불합격'이라는 아쉬운 결과를 통보했다. 하지만 그렇게 많은 테스트를 받았는데도 어떤 테스트에서 어떤 결과가 나왔는지에 대해서는 아무런 설명이 없었다. 


그런데 한 달이 지나 이메일을 열어보니 생뚱맞게시리 테스트에 대한 상세한 결과가 도착해 있었다. '떨어뜨려 놓고서 이제 와서 이건 뭐지?'라며 혼란스러워 하는 당신 앞에 갑자기 '펑' 소리를 내며 심리학자가 나타나는 것이 아니겠는가? 심리학자는 아무런 말없이 미소를 지으며 당신에게 설문지를 내민다. 설문지에는 "이 입사 절차가 얼마나 공정했다고 생각하십니까? 7점 척도로 답해 주세요."라는 문항이 적혀 있었다. 당신은 이 질문에 어떻게 답할까? 공정했다고 답할까, 아니면 전혀 그렇지 않다고 쓸까? 




이 장면은 네덜란드 레이덴 대학교(Leiden University)의 심리학자 키스 반 덴 보스(Kees van den Bos)와 동료들이 실시한 실험에서 참가자들에게 주어진 상황이었다. 164명의 참가자들 중에서 이렇게 불합격 통보를 먼저 받고 나중에야 입사 테스트 결과를 받는 상황에 처해진 참가자들은 이 입사 절차가 대체적으로 공정하지 않았다고 답했다(3.6점). 하지만, 먼저 각각의 테스트 결과를 받고난 다음에 불합격을 통보 받은 참가자들은 비록 불합격이라는 아쉬운 통보를 받았지만 입사 절차의 공정성을 상대적으로 높게 평가했다(5.2점).


연구자들은 실험 참가자들이 직접적으로 절차의 공정성을 경험하도록 후속 실험을 진행했다. 참가자들은 모니터에 나타난 180개의 정사각형으로 이루어진 물체를 보고 그 중 검은색 정사각형의 수를 어림짐작으로 맞혀야 했다. 이런 테스트를 모두 10회 진행한 다음, 합격/불합격 여부를 알려주고 합격한 자에게는 상금을 주었는데(사실, 합격/불합격 여부는 무작위로 결정했다), 첫 번째 실험과 마찬가지로 결과를 통보하는 순서를 다르게 해보았다. 자세히 말해, 합격/불합격 여부를 먼저 통보하고 테스트별 점수를 알려주는 경우와, 테스트별 점수를 일러주고 그 다음에 합격/불합격 여부를 통보하는 경우로 나눠서 실험을 진행했다.


절차의 공정성에 대한 질문을 던져보니, 불합격한 참가자들은 첫 번째 실험과 마찬가지로 중간 과정보다 결과를 먼저 통보받을 때 공정성에 대한 의심을 드러냈고(3.8점) 테스트에 대해 낮은 만족도(3.4점/7점)를 보였으며 이의를 제기하고 싶다는 욕구를 상대적으로 더 많이 표출했다. 하지만 불합격했다 하더라도 중간 과정(테스트별 점수)을 먼저 받고 그 다음에 불합격 결과를 통보받으면 절차가 꽤 공정했다고 평가했다(6.5점). 여기서 한 가지 흥미로운 점은 합격을 통보 받은 참가자들의 경우, 과정을 먼저 알려주든 나중에 알려주든 공정성 점수가 높았다는 것이다(6.5점으로 동일). 합격의 기쁨이 공정성 이슈를 '덮어버리는(override)' 셈이었다.




이 연구는 조직에서 매년 적어도 한 번 이상 실시하는 평가의 공정성에 대해 분명한 시사점을 전달해 준다. 공정한 평가가 되려면, 아니 더 정확히 말해, 직원들에게 '평가가 공정하다'는 인식을 높이려면, 평가 결과를 통보하기 전에(혹은 연봉 인상 결과를 통보하기 전에) 중간 과정을 상세하게 피드백해야 한다는 점이다. 연중에 별다른 피드백이 없다가 연말에 가서야 "자네는 C야. 왜냐하면 이러저러 해서야."라고 알려주면, 평가 결과가 그렇게 나온 이유를 아무리 설명해도 직원들은(특히 평가 결과가 낮게 나온 직원들은) 평가의 공정성에 강한 의심을 품게 된다. 또한 이 실험에서처럼, 평가 결과를 수용하지 않고 이의를 더욱 강하게 제시하려 할 것이다. 평가 결과가 잘 나온(S나 A) 직원들은 기쁨 때문에 평가가 공정하게 이루어진다고 여기겠지만 미심쩍은 마음을 지울 수는 없을 것이다. 올해 한번만 평가 받고 마는 게 아니기 때문이다.


평가의 공정성은 평가지표의 객관성에서 오지 않는다는 점을 이 연구를 통해 다시 한번 확인할 수 있다. "내가 어느 정도의 평가를 받겠구나"하는 예측 가능성을 높이는 것이 평가의 공정성으로 가는 유일한 길이고, 그러기 위해서는 지속적인 피드백을 통해 목표 달성 과정을 점검하는 노력이 필수적이다. 그런 노력없이는 공정한 평가는 절대 이루어질 수 없다. 하지만 이처럼 평가의 공정성을 높이는 간단한 방법이 있을까? 계량적이고 객관적인 평가지표를 만드는 것보다 훨씬 쉽지 않은가? 요즘 평가 시즌이라 평가의 공정성 이슈가 조직 전체를 흔들어 대는 조직들이 많을 것이다. 미안하지만, 평가 시즌이 도래한 지금, 이제와서 공정성 이슈를 해결하기에는 좀 늦었다. 이 연구가 시사하는 바를 곰곰이 음미하여 내년부터라도 평가의 공정성을 높이는 일상적인 노력을 경주하기 바란다.



*참고문헌

Van den Bos, K., Vermunt, R., & Wilke, H. A. (1997). Procedural and distributive justice: What is fair depends more on what comes first than on what comes next. Journal of Personality and Social Psychology, 72(1), 95.



반응형

Comments

반응형



자신을 가장 잘 아는 사람은 자기 자신일까, 아니면 다른 사람일까? 우리는 자기 자신을 항상 관찰하고 느끼기 때문에 다른 사람들보다 자기 자신을 더 잘 안다고 믿는 경향이 있다. 그래서 다른 사람이 나에게 무언가를 지적하면 그 내용이 맞건 틀리건 간에 일단 '당신이 나에 대해 뭘 안다고?'라는 감정이 일어나곤 한다. 하지만 우리는 내가 모르는 것을 다른 사람이 정확하게 지적하고 있다는 사실에 또한 놀라기도 한다. 그래서 때로는 나 자신을 가장 잘 아는 사람이 바로 나인지 아니면 다른 사람인지 명확하게 분간이 되질 않는다.




사이민 바지르(Simine Vazire)는 나 자신의 여러 가지 특성 중에 내가 잘 아는 부분이 따로 있고 다른 사람이 잘 아는 부분이 따로 있을 거라는 가설을 세우고 실험을 진행했다. 그는 165명의 학생들을 모은 다음 서로 잘 아는 친구끼리 5명씩 그룹을 이루도록 했다. 그런 다음 자기 자신을 포함해서 멤버들의 성격 특성들을 평가하게 했다. 이 과정이 끝나고 바지르는 이번에는 서로 모르는 사람끼리 그룹을 이루도록 한 다음에 역시 다른 멤버의 성격 특성을 평가하도록 요청했다. 평가 전에 10분 동안 각자 대화할 시간을 줌으로써 성격 특성을 파악하도록 했다. 


이렇게 자기 자신, 친구, 모르는 사람이 각각 평가한 결과의 정확도를 계산해 보니 흥미로운 사실이 발견되었다. 먼저 신경증적 성질(neurotism)과 같이 알아차리기 어렵고 측정하기도 어려운 특성들은 자기 자신이 가장 정확하게 평가했다. 반면, 알아차리기는 어렵더라도 측정하기 쉬운 특성(예 : 지적능력(intellect))들은 친구가 가장 정확한 평가를 내렸다. 그리고 외향성(Extraversion)과 같이 겉으로 드러나서 알아차리기는 쉽지만 측정하기는 어려운 특성들에 대해서는 정확도가 모두 비슷했다. 이것으로 나 자신에 대해 내가 잘 아는 부분과 친한 사람이 잘 아는 부분이 같지 않다는 점이 분명해졌다.


알아차리기 어렵고 측정하기 어려운 특성 --> 본인이 더 잘 안다

알아차리기 어렵지만 측정하기 쉬운 특성 --> 타인이 더 잘 안다

알아차리기 쉽지만 측정하기 어려운 특성 --> 본인이 타인이 비슷하게 안다




이 실험 결과는 평가 결과에 대해 평가자와 피평가자 간에 시각 차이가 존재함을 시사한다. 피평가자가 실제보다 높게 평가하는 특성에 대해 평가자는 다른 판단을 내릴 수 있다는 점, 평가자의 입장에서는 피평가자의 실제 특성을 정확히 평가할 수도 있다는 점을 이 실험이 보여준다. 요약하면, 창의력과 지능 등의 지적능력은 평가자가, 자존감과 불안감 같은 신경증적 성질은 피평가자 자신이 잘 평가한다고 볼 수 있다. 그리고 달변, 지배력, 리더십과 같은 외향성은 피평가와 평가자가 공히 잘 평가하는 특성이다. 


이런 차이를 숙지한다면 상대방에 대해 알기 어려운 특성을 내가 잘 안다고 믿거나, 상대방이 나보다 더 잘 아는 나의 특성을 지적할 때 거부감이 드는 경우를 경계해야 할 것이다. 나에 대해 상대방이 잘 아는 특성이 따로 있고 내가 잘 아는 특성이 따로 있음을 평가자와 피평가자가 유념해야만 엉뚱한 피드백이 오고 가는 일이 적어지고 평가에 대한 불만도 줄어들지 않을까? 상사가 나보다 나에 대해 더 잘 알까? 이 질문에 대한 답은 '더 잘 아는 부분도 있고 더 모르는 부분이 있다.'이다. 



(*참고논문)

Vazire, S. (2010). Who knows what about a person? The self–other knowledge asymmetry (SOKA) model. Journal of personality and social psychology, 98(2), 281.



반응형

Comments

반응형




'아메리칸 텔레폰 앤 텔레그래프(AT&T)'의 신입사원 62명을 대상으로 5년간 실험을 진행한 사례가 있다. 이 실험을 주도한 데이비드 벨류와 더글러스 홀은 입사하고 나서 첫해에 받은 평가 결과가 향후에 어떤 영향을 미치는가를 실험의 주제로 삼았다. 


그들은 먼저 회사가 각 신입사원들에게 거는 기대를 독립변수로 삼은 후에 세부적으로 18가지 항목으로 나누고 1점부터 3점까지의 스케일로 측정하게 했다. 18개 항목에는 기술적 역량, 학습 능력, 의사결정력, 감독 스킬 등이 포함되어 있었다. 연구자들은 쉬운 업무보다는 어려운 업무에 배치된 직원일수록 회사가 높은 기대감을 갖을 거라고 추정했다. 


그런 다음, 종속변수로 모두 7가지의 변수를 택했다. 연봉, 전반적 평가, 평균 업적 등이 그것이었다. 변수마다 다르긴 하지만, 1점부터 10점까지의 스케일로 결과를 측정하게 했다.


이렇게 해서 5년간의 데이터를 분석해 보니, '처음에 높은 기대를 받은 직원들이 낮은 기대를 받은 직원들보다 계속해서 높은 성과를 거두고 조직 내에서 더 성공한다'는 가설을 뒷받침하는 결과가 나왔다. 이상하게도 '첫 해'에 직원이 얼마나 회사로부터 기대를 받았는지, 그리고 그 '첫 해'에 얼마나 기대에 부응하는 성과를 냈는지가 5년 후의 평가나 연봉 등에 영향을 미쳤다. 첫 해 이후의 기대와 첫 해 이후의 성과는 그보다는 관련성이 적었다.




이 결과가 의미하는 바가 무엇일까? 그렇다. '첫 해'가 가장 중요하다는 것입니다. 첫 해에 회사에게 어떤 인상을 주느냐(그래서 좋은 기대를 받느냐), 그리고 첫 해에 얼마나 성과를 높게 내느냐가 관건이라는 것이다. 첫 해에 회사로부터 높은 기대를 받은 직원이 그에 부응하는 높은 성과를 거두면 그것이 향후(실험에서는 향후 5년)의 보상에 영향을 미쳐 계속해서 높은 보상을 받을 가능성이 크다. 만일 회사가 어떤 직원에게 별다른 기대를 하지 않았다면 그 직원이 나름대로 높은 성과를 거뒀다고 해도 그저 그런 보상을 받을 수밖에 없음을 의미한다.


어떤 직원이 첫 해에 높은 기대를 받고 첫 해에 그에 상응하는 높은 성과를 거두면, 그에게 각종 지원이 따라 붙는다. 교육 기회부터 시작해서 고위 관리자가 멘토나 코치로 따라 붙는다. 게다가 자신이 최대로 역량을 발휘할 수 있는 업무를 부여 받는다. 또한 다른 사람에게 미치는 영향력도 커진다. 이렇게 되면 그 이후로도 그 직원은 높은 성과를 거둘 가능성이 커지게 되어 나중에 높은 연봉과 승진 기회를 거머쥘 수 있을 것이다. 


이 실험의 의미를 정리하면 다음과 같다.


1. 첫 해에 높은 기대감을 받을 경우

  (1) 높은 기대감에 부응한 성과를 냈을 경우 --> 높은 보상 --> 계속해서 높은 보상 & 빠른 승진

  (2) 부응하지 못했을 경우 --> 보상 없음 --> 보통 수준의 보상 & 평균적인 속도로 승진



2. 첫 해에 낮은 기대감을 받을 경우

  (1) 낮은 기대감에 부응한 성과를 냈을 경우 --> 낮은 보상 --> 보통 수준의 보상 & 평균적인 속도로 승진

  (2) 부응하지 못했을 경우 --> 연봉 감액과 같은 징계 --> 낮은 수준의 보상 & 승진 누락




어떤 직원이 첫 해에 어떤 기대감을 받고 어떤 성과를 내느냐가 5년이란 시간 동안 계속해서 영향을 준다는 사실은 그만큼 객관적인 평가가 어렵다는 점을 다시 한번 일깨운다. '가진 자는 더 많은 것을 가진다'는 마태효과(Matthew Effect)를 떠올리게도 한다. 적어도 위의 실험은 어떤 조직에 들어가서 일을 시작할 때 가능하면 회사로부터 높은 기대감을 얻고 첫 해에 높은 성과를 올리는 것이 중요하다. '일 못하는 직원'이라는 '확신의 덫'에 빠지지 않는 것, 신입사원이나 경력입사자들이 알아둬야 할 중요한 팁이다.


평가는 인상에 의해 크게 좌우되고 오래 간다는, 이런 왜곡 현상을 어떻게 하면 최소화할 수 있을까? 어쩔 수 없이 평가에는 사람의 심리가 크게 작용을 하고, 인간의 심리는 본질적으로 불완전하기 때문에 그걸 이겨낼 방법을 찾기란 매우 어렵고 불가능할지 모른다.


최선의 방법은 이러한 평가의 불완전성을 인정하는 것이다. 과학적이고 계량적인 도구를 더 열심히 찾으면 객관적 평가가 가능하리라는 이루기 힘든 꿈을 꾸는 것보다, 평가는 본질적으로 불완전한 사람들이 행하는 것이기 때문에 완벽하지 못하다는 사실을 인정한 채 서로 한발 물러서서 평가(남을 평가할 때나 자신을 스스로 평가할 때) 결과를 되짚어 보고 잘못된 평가 결과를 수정하는 과정이 평가의 왜곡을 막을 수 있는 최선의 방법은 아닐까?


*참고논문 :

Berlew, D. E., & Hall, D. T. (1966). The socialization of managers: Effects of expectations on performance. Administrative Science Quarterly, 207-223.



반응형

Comments

반응형


2017년 9월 4일(월) 유정식의 경영일기


최근에 나는 차를 바꿨다. 장기렌트 방식으로 자동차를 빌려 타고 있었는데, 연희동으로 이사를 오고 나니 그 차가 골목이 많은 동네 특성상 부담스럽게 느껴졌다. 비록 크기는 준중형 자동차(아반테 정도) 정도였지만, 코너를 돌거나 요철 많은 골목길을 갈 때 적잖이 조심스러웠다. 다음에 차를 바꾸게 되면 필히 작은 차로 하겠다는 마음이 절실할 정도였으니까. 다행히 장기렌트카 반납 시점이 도래했고 때마침 모 자동차 동호회에서 괜찮아 보이는 중고차 매물이 나왔기에 곧바로 거래를 했다. 돌이켜보니 대학교 다닐 때 ‘프라이드’를 첫차로 구매한 이래로 첫 번째 중고차다.


나온 지 7년된 중고차(수입차이지만 연식이 오래돼 국산 소형차 가격보다 싸다)이고 크기도 내가 딱 원하던, 전장 4미터 미만의 작은 차다. 골목 모퉁이에서 속도를 많이 줄이지 않아도 스티어링 휠을 돌리기만 하면 쏙쏙 빠져나가고, 양쪽에 불법주차를 해 놓아서 좁아진 길도 여유있게 지나갈 만큼 작은 차다. 일렬주차를 해도 앞뒤가 넉넉하게 남아 그다지 애쓰지 않고 바로 주차를 할 수 있다. 그 동안 주차해 놓으면 전봇대 위에 앉은 새들의 ‘똥 세례’를 많이 받아서 새똥 닦아내느라 스트레스가 이만저만이 아니었는데, 이 차는 앞뒤가 짧은 덕에 새똥을 받아내는(?) 면적이 작아서 그런지 새똥이 피해가는 느낌이다(물론 몇번 맞기는 했다). 그러니 이 차야말로 연희동 환경에 딱 맞는 ‘좋은 차’가 아닌가? 




하지만 이 차는 누군가에겐 ‘안 좋은 차’이기도 하다. 동호회를 통해 차를 구매하기 전에 매물을 알아보러 중고차 전문 매장을 둘러보기도 했는데, 이 차와 같은 차종을 발견하고 딜러에게 이런저런 질문을 하던 중이었다. 나이가 50대 후반으로 보이는 부부가 곁으로 오더니 자기들끼리 그 차에 대해 평을 주고 받기 시작했다. 부인이 그 차의 깜찍하고 귀여운 모습을 마음에 들어하자 남편이 가볍게 핀잔을 주었다. “당신이 차를 몰라서 그래. 승차감이 정말 나쁜 차야. 예쁜 것만 보고 샀다가 실망하지. ‘객관적’으로 정말 꽝이야.” 그는 차를 향해 손가락으로 X자를 그려가며 싫은 표정을 지엇다. 부인에 비해 차를 잘 안다는, 약간의 거만함이 섞인 얼굴이었다. 이 차에 관심을 가지고 있는 사람(바로 나)이 옆에서 딜러와 이야기를 하고 있든 말든 상관없는 건가? 나 들으라고 하는 소리 같았다. ‘이보게, 친구. 자네가 차를 몰라서 그런 모양인데, 이 차 샀다가 후회할 거야.’라고 말이다. 나는 머쓱해지려다가 살짝 기분이 상했다.


궁동산에서 내려다 본 연희동



그 아저씨가 왜 그런 말을 하는지 모르는 바는 아니다. 예전부터 그 차의 ‘악명 높은’ 승차감은 실제의 오너들로부터 들어왔기 때문이다. 서스펜션이 아주 ‘딱딱해서’ 길바닥의 크고 작은 요철에도 통통 튀고 휠베이스(축거, 앞뒤 바퀴 사이의 거리)와 윤거(좌우 바퀴 사이의 거리)가 짧은 탓에 바닥에서 오는 충격이 더 크게 느껴지는 게 사실이다. 차를 인수하고 며칠 타고 다녀보니 ‘엉덩이로 길바닥을 스캔한다’는 말이 무슨 뜻인지 대번에 알게 됐다. 게다가 서스펜션이 딱딱해서 타이어가 노면을 ‘타는’ 경우도 많다. 약간 굴곡이 있는 도로면을 지날 때 약간씩 차가 휘청거리는 느낌이 있고 어떨 때는 ‘토크 스티어(핸들이 약간 돌아가는 현상)’도 발생하기도 한다. 이 차의 동호회 회원들은 뭐라 말할지 모르지만(그것마저 이 차의 매력이라고 할 것 같다) 아저씨의 말처럼 승차감이 꽝인 차임은 분명하다. 


하지만 아저씨의 악평에 할말이 없는 것은 아니다. 승차감 저하는 차 자체의 특성도 한몫 하지만 우리나라 도로가 정말로 형편없다는 게 더 큰 이유이니까 말이다. 운전을 하는 사람이라면 모두 알듯이 깨끗한 노면을 만나기가 드물다. 보수한 흔적(소위 ‘땜빵’)이 없는 구간이 없을 정도다. 특히 비가 많이 오고 나면 아스팔트가 떨어져 나가 길이 패이기도 해서 여간 조심스러운 게 아니다. 골목길은 상황이 더 심각하다. 평탄 작업을 제대로 하지 않았는지 육안으로 봐도 ‘주름진’ 길도 있고, 조각보처럼 ‘땜빵’이 더 많은 곳도 있다. 이런 길을 가야 하니 승차감이 좋을 리가 있나? 


외국 이야기를 해서 좀 미안하지만, 매끈하게 깔린 독일과 일본의 도로와 비교하지 않을 수 없다. 간선도로뿐만 아니라 이면도로, 골목길도 철저하다 싶을 정도로 ‘땜빵’ 하나 없이 깔려 있는 도로는 엉덩이에 별로 스트레스를 주지 않는다. 아우토반에서 속도 무제한으로 달릴 수 있는 이유는 노면이 그만큼 매끄럽기 때문이다. 짐작컨대 도로 포장이 우수한 독일과 일본에서는 이 차(내가 소유한 차)가 승차감이 나쁜 차로 그렇게 지탄을 받을 만하지는 않을 것이다. 우리나라 토목기술이 세계적이라고 자화자찬하던데, 길 하나 매끈하게 깔지 못하는 ‘기본기 부족’에도 왜 그런 소리가 나오는지 모르겠다. 이런 도로 환경 때문에 국산차의 서스펜션은 상대적으로 물렁물렁할 수밖에 없고 그런 쿠션감을 ‘승차감 좋다’라고 느끼는 소비자들이 많다. 번외로 말하는 건데, 승차감은 상당히 광범위한 뜻을 담고 있는 말이라서 차가 푹신푹신하다, 서스펜션이 부드럽다 등으로만 정의 내릴 수 없다.


아우토반.



서론이 좀 길었는데 내가 하려는 말은 이렇다. 우리는 무언가를 평가할 때 그것을 둘러싼 환경에 따라 평가가 크게 달라지는 오류에 빠진다. 그것 자체를 객관적으로 평가해야 한다고 말은 하지만, 환경이 그것에 미치는 영향을 간과한다. 똑같은 차가 어느 환경에 있는가에 따라 ‘좋은 차’가 되고 ‘안 좋은 차’가 되듯이 말이다. 차 자체의 특성은 변함이 없지만 우리나라 여느 도로처럼 울퉁불퉁한 도로를 달리면 ‘안 좋은 차’로, 쭉쭉 뻗은 아우토반을 달릴 수 있는 이와 골목길 운전과 주차 편의성을 우선으로 여기는 이에게는 ‘좋은 차’로 뇌리에 박히는 것이다. 각자가 어느 환경과 어느 조건 하에 있는가에 따라 평가는 이처럼 극과 극으로 갈리기 때문에 ‘내 평가는 객관적이야’라고 장담하는 태도는 때로는 위험한 판단으로 이어질 수 있다.


사람을 평가할 때도 마찬가지다. 그가 어떤 일을 맡고 있는지, 그를 둘러싼 상사와 동료들은 어떤 능력을 지녔는지, 예산은 얼마나 주어지는지, 제품이나 서비스의 품질은 어떤지 등 수많은 환경 요소가 한 사람에 대한 평가에 영향을 미친다. 그를 다른 곳에 데려다 놓으면 ‘일 잘하는 직원’이 될 수도 있지만 ‘일 못하는 직원’으로 낙인을 찍을 수 있다. 바로 그런 평가를 내리는 상사와 동료들 자체가 그 직원을 둘러싼 ‘환경’의 일부라는 걸, 자신들이 그 직원의 ‘일 못함’에 크고 작은 영향을 끼치는 요인일지도 모른다는 걸 인식하지 못한 채 말이다. 


무언가에 대한 평가는 반드시 그것을 둘러싼 환경 조건에 영향을 받는다. 어찌보면 당연한 말이다. 추운 날씨에 아이스 아메리카노를 마시는 것과 뜨거운 여름 한 낮에 같은 음료를 마시는 것을 생각해 보면 단박에 알 수 있지 않는가? 이 말을 평가의 객관성을 높이라는 뜻으로 해석하지 않기를 바란다. 물론 환경요소를 최대한 배제하고 그것 자체의 특성과 장단을 평가하려는 마인드를 가져야 하지만, 그럼에도 환경요소의 영향을 100% 없앨 수는 없다. 그렇기 때문에 누군가가 ‘나는 이렇게 평가해’라고 말할 때 그가 어떤 환경요소의 영향을 받았는지를 이해하고 그의 평가를 존중하는 태도가 더 중요하다고 나는 생각한다. 또한 ‘나는 객관적으로 평가해’라고 자신만만해하기보다 본인 주위의 환경이 평가에 많은 영향을 끼치고 있음을 인정하고 겸손한 마음을 가지는 것이 중요하지 않을까?


각자의 ‘입장(立場)’은 각자가 처한 환경에 따른 평가이다. 상대방의 입장을 이해한다는 것은 상대방의 환경을 이해하고 수용한다는 뜻이다. “이 차는 객관적으로 꽝이야”라고 대번에 평가 내리기 전에 말이다. 


(*덧붙이는 글)

이 글을 읽고 내가 소유한 차를 ‘옹호’한다고 느낄지도 모르겠다. 물론이다. 나는 ‘이 차를 소유한’ 환경 조건 하에 있으니까 팔이 안으로 굽을 수 밖에… ^^




반응형

Comments