오늘은 당초 '인과분석(Causality Analysis)'에 대하 설명하려 했으나, 그 내용이 좀 방대하여 정리 중에 있습니다. 그래서 오늘은 잠시 쉬어가는 의미로 문제해결 과정의 '분석' 단계로 다시 돌아가서 미처 설명하지 못한 '정성적 분석'과 '정량적 분석'의 차이를 살펴보겠습니다.

 

여러분은 이 둘을 한 마디로구분해서 표현할 수 있습니까? 아마도 많은 분들이 아래와 같이 '대충 그럴 것 같다' 수준으로만 알 뿐 자세한 정의를 금세 대답하지 못하리라 짐작되는군요.

 

 

 

 

이런 정도만 알아도 일상생활을 영위하는 데에는 아무런 지장이 없지만, 문제를 눈 앞에 둔 문제해결사는 이 둘의 차이를 명확히 인식할 필요가 있습니다. 문제해결 과정에서 이 두 가지 분석이 항상 앞서거니 뒷서거니 하며 나타나기 때문입니다.

 

정성적 분석과 정량적 분석이란 말은 원래 화학(化學, Chemistry)에서 나온 용어인데요, 화학에서 어떤 의미로 쓰이는지 알아보면 차이를 명확히 파악하는 데 도움이 될 겁니다. 화학에서는 이 둘을 다음과 같이 정의합니다. 써놓고 보면 그리 어려운 정의가 아니구나 느낄 겁니다. 

 

화학에서 말하는

정성적 분석(Qualitative Analysis)     = 물질의 성분이나 성질을 밝히기 위한 분석

정량적 분석(Quantitative Analysis)   = 성분과 성질의 양적 관계를 밝히기 위한 분석

정성적 분석의 세부 단계

1) 먼저 분석 대상의 '성분(component)'을 밝힌다

2) 각 성분의 '성질(nature, character)'을 밝힌다

  판매관리비

         = 급여성 지출 + 감가상각비 + 수수료 일체 + 유지비 + 광고선전비 + 잡비

'급여성 지출' 성분의 성질

- 과거부터 현재까지의 추이

- 과거부터 현재까지의 증가율 추이 (그냥 추이와는 다름)

- 총 금액이 아닌, 1인당 급여성 지출액의 추이

- 경쟁사 A사와의 Gap 또는 추이

....

 

 

<유정식의 경영일기>를 구독하세요

- '유정식의 경영일기' 구독은 무료입니다. - 2023년 1월 2일부터 매일 오전 9시에 발행됩니다. - 2022년 12월 31일 24시까지 구독 신청하신 분들 중 10명을 추첨하여 제 책 '일이 끊겨서 글을 씁니다'를

page.stibee.com

여러분이 모든 분석(실증)을 끝내고 나면 가설 목록에 적힌 가설들 중 어떤 것은 X표가, 어떤 것은 O표가 돼 있을 겁니다. 기각되거나 채택됐다는 의미죠. 이제 여러분은 이 결과를 토대로 해결책을 구상하는 단계로 넘어가야 합니다. 

하지만 그 전에 또 하나의 중요한 과정이 있다는 점을 잊지 말아야 합니다. 문제해결사는 실증이 끝내면 곧바로 해결책 수립에 임하겠다는 조급한 마음을 가라앉히고 시간을 들여서 분석의 결과를 '해석(interpretation)'하는 시간을 가져야 합니다. 아무리 문제해결이 시급하다고 해도 생략하지 말아야 할 중요한 단계입니다.

해석이 올바로지 않으면 기껏 분석을 잘 해놓고서 효과가 적은 해결책을 수립한다든지, 쓸데없이 여러 가지 해결책들을 늘어놓아서 인력과 시간을 낭비한다든지, 해결책이 오히려 더 문제를 야기하는 원인으로 비화된다든지의 오류에 빠지기 쉽습니다. 해석에 얼마나 공을 들였느냐에 따라 해결책의 품질이 달라집니다. 오늘은 '해석'하는 방법에 대해 알아보겠습니다.

가설은 목적에 따라 2개의 종류로 구분됩니다. 문제의 원인을 밝히기 위한 가설과 문제의 해결책을 구체화하기 위한 가설로 나뉘는데요, 만일 전자의 경우라면 인터뷰, 자료 분석, 설문 등의 실증 과정이 끝나고 난 후에 살아남은(즉 참인) 가설들은 문제의 근본원인이라 말할 수 있습니다. 

"직원들이 태만하고 불평불만이 많다"라는 문제를 일으키는 원인들을 가능한 한 밑바닥까지 내려가서 탐색하고 검증하면 "팀장이 CEO의 수행비서 노릇을 하느라 팀 업무를 등한시한다", "임원들이 자기 사업부만을 챙기는 데 연연한다", "서비스에 실망한 고객들이 계약을 대거 해지하는 바람에 업무가 확 줄었다" 등의 근본원인들과 만날 겁니다. 

이러한 근본원인들은 해결책의 단초를 제공하는 귀중한 결과입니다. 운이 좋다면 각 근본원인을 뒤집어 보면 해결책이 금세 눈에 띄기 때문입니다. "팀장이 CEO가 지시한 일을 하느라 팀을 등한시한다"라는 게 직원들이 태만하게 된 근본원인 중 하나라면 "팀장이 팀 관리에 전념하게 한다" 또는 "다른 사람을 팀장으로 영입한다" 등의 해결책을 궁리할 수 있겠지요. 물론 근본원인을 뒤집어본다고 해서 항상 해결책을 뚝딱 만들지 못하지만, 적어도 해결책의 실마리를 얻을 수 있습니다.

근본원인들(가설 목록에서 살아남은 제일 밑단의 가설들)이 5개라면 일단 5개의 서로 다른 해결책을 구상할 수 있습니다. 팀장을 다른 사람으로 교체하거나, 임원평가를 도입해서 기강을 확립하고, 고객들이 이탈하지 못하게 서비스의 질을 향상시키거나 하는 잠정적인 해결책이 나오겠지요. 이 단계에서 문제해결사는 이렇게 생각을 해야 합니다. "이 잠정적인 해결책을 모두 실행에 옮길 수 있을까? 모두 하려면 얼마나 비용(시간,인력,돈)이 소요될까?" 

하지만 문제해결사가 던져야 할 무엇보다도 가장 중요한 질문은 "이 해결책들 중에서 하나만 실행에 옮긴다면 무엇을 선택해야 하나?" 입니다. 이 말을 바꿔 생각하면, "근본원인 중의 근본원인은 무엇인가?"라는 질문과 같습니다. 여러 근본원인들 중에 그것 하나만 해소하면 나머지 근본원인가지 술술 풀리는 것이 존재하는 경우가 많기 때문입니다. 

"직원들의 태만하고 불평불만이 많다"라는 게 의뢰인이 문제해결사에게 요청한 문제일 때, 다음의 근본원인 중에서 가장 핵심이 되는 근본원인이 무엇인지 추측해 보기 바랍니다. 분석 과정을 통해 참임이 증명된 가설들이라고 가정하겠습니다(아래의 내용은 가상이 아니라 제가 실제의 사례에서 인용한 것입니다).

무엇인지 감이 잡힙니까? 무엇이 근본원인 중의 근본원인일까요? "전반적으로 이 회사의 기강 체계가 무너졌네"라고 느꼈다면 여러분은 문제해결사로서 충분한 자질을 보유했다고 자찬해도 좋습니다. 엄연히 규정된 업무가 있는데 임의대로 일을 시키는 CEO, 회사 목표를 등한시하고 자기 밥그릇 챙기기에 연연하는 임원들, CEO의 리더십을 인정하지 않는 직원들, 업무분장과 인력 운용에 문제가 있음을 알아도 관성에 따라 경영하는 태도, 혁신의 의지가 매도 당하는 분위기, 이런 분위기 속에서 경쟁사보다 낙후되는 서비스의 질과 고객의 소리 없는 이탈 등은 회사의 관리시스템의 기반이 붕괴됐음을 알리는 지표들이기 때문입니다.

그리고 그 붕괴의 중심에는 CEO가 떡 하니 존재합니다. 바로 근본원인 중의 근본원인이 CEO라는 의미입니다. CEO의 리더십이 와르르 무너졌거나 애초부터 지극히 약한 탓에 관리시스템이 제대로 운영되지 못하고 임원과 직원들의 기강이 해이해졌으며 '대충주의' 마인드가 고객서비스의 질을 낮추는 등의 현상이 나타난 겁니다. 그리고 결국 직원들이 대체로 태만하고 불평불만이 많은 '나쁜 문화'가 형성되고만 거죠.

문제의 입장에서 보면 위의 7가지가 모두 근본원인이지만, 근본원인들 중에서도 다시 파고 들어가면 핵심이 되는 근본원인은 하나입니다. 이를 근본원인(Root Cause)과 구분하기 위해서 제 마음대로 '핵심원인(Core Cause)'이라고 명명하겠습니다. 일반적으로 문제헤결사가 의뢰 받은 문제 하나에 1~2개의 핵심원인이 존재합니다. 해석의 과정은 바로 이 핵심원인을 규명하기 위한 단계입니다. 

해석이 올바르게 되면 한방에 모든 표적을 쓰러뜨릴 수 있는, 문제를 일시에 해결할 수 있는 '핵심해결책(Core Solution)'에 근접할 수 있습니다. 위의 예에서는 CEO의 리더십 부재가 핵심원인이므로 CEO의 리더십을 어떤 식으로든 확립하는 것이 핵심해결책의 근간을 이룰 겁니다. CEO를 교체하거나 리더십을 함양하도록 교육시키는 직접적인 방법도 있고, CEO가 임원들과 직원들을 효과적으로 관리할 도구(조직구조, 제도, 시스템 등)를 전면적으로 개편해서 CEO의 리더십을 강화하는 등의 간접적인 방법도 있습니다. 또는 직접적인 방법과 간접적인 방법을 적절하게 혼합하는 방법도 있겠군요.

그런데 아마 여러분은 의뢰인인 CEO에게 '당신이 바로 문제이니 변화해야 한다고 말하는 식의 해결책이 과연 가당키나 한가 의심할지도 모르겠습니다. 더욱이 CEO가 회사의 오너라면 여간한 강심장이 아니고는 이렇게 해결책을 내놓기 힘들 겁니다. 하지만 여기서는 핵심해결책이 물리적으로 실현 가능하냐의 여부는 나중에 다루기로 하고, 실현 가능하도록 만드는 것 역시 문제해결사의 능력이라고만 짧게 언급하고 넘어가겠습니다.

위의 예를 보고 어쩌면 여러분은 곧바로 'CEO가 근본원인의 핵심이구나'라고 간파했을지도 모르겠습니다. 항상 이런 예시처럼 쉬우면 좋겠지만 실제 문제해결사가 접하는 문제들은 핵심원인을 꽁꽁 감추는 바람에 쉽게 파악하기가 어렵습니다. 이럴 때는 '인과분석(Causality Analysis)'라는 시각적 도구를 사용해야 합니다. 이것에 대한 설명은 다음에(혹은 내일) 자세히 하겠습니다.

비가 많이 옵니다. 문제해결사 여러분의 보송보송한 하루 되십시오.

【한RSS로 편하게 제 블로그를 구독하세요】  

문제가 발생하는 원인이 무엇인지 파악하려면, 잠정적인 원인들을 이슈 트리(issue tree) 형태의 가설 목록으로 만든 후에 관찰과 분석을 통해 가설을 증명(실증)해야 합니다. 지난 글에서 계속 논의해왔던 내용이라 이제는 숙지돼 있으리라 생각됩니다.

그런데 문제의 원인을 밝히기 위한 가설들 중에서 옳은지 그른지 실증하기가 어려운 가설이 생기기 마련입니다. 'A 때문에 B가 발생한다'라는 가설이라고 할 때, 여러 가지 이유로 인해 A가 과연 B의 원인인지를 알아내기가 힘든 경우가 종종 발생합니다.

물리적으로 원인 파악이 어려운 경우가 있습니다. 만일 문제해결사가 "CEO의 공공연한 비리가 직원들의 나태한 근무태도를 야기했다"라는 말을 인터뷰에서 듣고 이를 가설로 설정했다고 하겠습니다. 문제해결사가 이 가설의 진위 여부를 증명하려고 한다면 'CEO'라는 물리적인 벽에 봉착할 가능성이 클 겁니다.

공공연하다고는 하지만 CEO의 비리를 캐려면 CEO 자신이나 측근들의 도움이 필요한데, 그들이 조사를완강히 거부할지도 모릅니다. 또한 의뢰인이 CEO라면 감히 "의뢰인인 바로 당신 때문에 직원들이 근무를 게을리하게 된 건 아닐까요?"라고 말하는 문제해결사는 그리 많지 않을 겁니다. 웬만한 강심장이 아니라면요. 문제해결사가 내부직원이라면 해고를, 외부 컨설턴트라면 계약 파기(혹은 Fee지급 거부)라는 불이익을 각오해야 하겠지요. 직원들 사이에서 CEO의 비리를 소리 높여 외치는데, 막상 조사하기가 불가능하니 문제해결사로서는 난감하기 그지 없을 겁니다.

자료와 근거가 부족하여 가설의 진위를 가리지 못하는 경우도 문제해결사가 심심찮게 봉착하는 어려움입니다. 이것은 '심증은 가는데 물증이 없다'라는 상황과 비슷합니다. 예를 들어 "경쟁사의 '저가 마케팅'으로 우리의 고객들이 많이 이탈했다"라는 가설이라고 가정해보죠. 고객 이탈의 원인 중 하나가 경쟁사의 공격적인 마케팅이라는 소리인데, 경쟁사가 정말로 마케팅을 공격적으로 한다는 증거와 그것이 고객들을 유인한다는 인과관계를 밝혀야 합니다.

문제해결사가 자신만의 조사 채널을 가동하거나 "요원'들을 풀어서 경쟁사의 마케팅 실태를 파악하는 노력을 기울여도 경쟁사(혹은 경쟁사로부터 서비스 받은 고객들이)가 비밀을 꽁꽁 감추는 바람에 마케팅 전략의 세부 내용은커녕 신문에 나올 법한 피상적인 데이터만 얻게 될지 모릅니다. '그렇게 할 것 같다'는 정도로 조사를 끝낼 수밖에 없다면 가설 실증은 미궁에 빠지고 맙니다.

이렇게 여러 이유로 가설의 검증이 난항에 봉착한다면 문제해결사는 어떻게 이를 타개해야 할까요? 논리적으로 완벽하지 않지만(오히려 논리적인 허점이 존재하지만), 가설을 우회적으로 검증하는 차선의 방법을 적용하면 어떨까요? 서론이 좀 길었지만 오늘은 이에 대해 알아보겠습니다. 그 방법의 얼개는 다음과 같습니다.

'어, 이상하네?'라며 눈치 빠른 독자분들은 이 흐름에서 논리적인 문제점을 발견할 겁니다. "C의 원인이 A라고 해서, A가 B의 원인이라고 말하지는 못하잖습니까"라고 말입니다. 아래의 예를 보면 쉽게 알 수 있습니다.

옷이 젖은 이유가 반드시 비 때문일까요? 일상에서는 '그렇겠지'라고 말하겠지만, 논리적으로는 옳지 않습니다. 옷이 방안에 곱게 놓여있다가 젖었다고 해보죠. 그렇다면 그 이유를 비 때문이라고 말할 수 있을까요? 아마도 방안에 있던 사람이 물을 먹다가 재채기를 하는 바람에 옷이 젖었을 가능성이 더 크겠지요. 따라서 이런 흐름의 가설 실증은 잘못된 결론을 이끌게 됩니다.

그러나 이 방법은 '비가 왔는지, 오지 않았는지' 파악하기 어려울 때에 차선책으로 문제를 해결할 수 있는 방법입니다. 비가 오는 동안 다른 일에 몰두해 있어서 비가 오는지 전혀 알지 못했다면, 그리고 누구에게 물어볼 수도 없다면, 대체 왜 옷이 젖었는지도 알아내기 어려울 겁니다. 이럴 때 땅이 젖었는지를 살펴보고서 옷이 젖은 이유가 바로 비 때문이구나, 라는 결론을 낸다면 '뭐, 그렇겠지'라는 반응을 얻어낼 수 있습니다.

물론 옷이 집안이 아니라 마당에 설치한 빨래줄에 걸려 있을 때에만 이런 흐름의 증명은 용인됩니다. 이 말은 위의 박스에서 실증과 결론 사이에 한정된 상황이 전제되어야 함을 의미합니다. 그 전제(premise)를 만족할 때만 결론이 옳다고 말할 수 있지요. 이 예에서의 전제는 '옷이 (지붕이 없는) 마당의 빨래줄에 걸려 있다'입니다.

이렇게 전제를 여러 개 두면 논리적 허점을 상당 부분 보완할 수 있습니다. 물론 이렇게 해도 논리의 결점을 완벽히 해소하기는 어렵습니다. 비가 오기 전에 누군가가 옷에 물을 끼얹었다면 옷이 젖은 최초의 원인은 비가 아니기 때문입니다. 하지만 완벽한 증명하기 어려울 때 문제해결사가 차선책으로 택할 수 있고, 보고 받는 사람을 충분히 납득시키기에는 좋은 방법입니다.

이 방법의 성공 포인트는 어떤 전제를 두느냐에 달렸습니다. 실무적으로 전제는 하나보다는 2~3개 정도가 설득력을 높이는 데 좋습니다. 그리고, 누구나(혹은 대부분이) 참이라고 여기는 사실이 전제로 채용될 때만 이 방법은 설득력을 얻습니다. 전제 그 자체가 별도의 실증을 거쳐야 하는 것이라면 문제해결사가 할일도 많아질 뿐더러 문제해결의 흐름도 복잡해서 상대방을 이해시키기 어렵습니다. 이 점을 기억해 두십시오.

이 방법대로 "경쟁사의 '저가 마케팅'으로 우리 고객들이 많이 이탈했다"라는 가설을 풀어보면 다음과 같을 겁니다. 노파심이지만 어디까지나 예시이니 실제의 문제를 해결할 때는 내용이 다를 거라는 점을 언급해 둡니다.

이 예는 경쟁사가 저가 마케팅을 시도하는지 알기 어렵고, 대신에 부품회사의 납품단가 정보는 비교적 용이하게 파악할 수 있을 때를 가정한 것입니다. 여러분이 문제해결사라고 생각하고 문제해결사로부터 이렇게 보고를 받는다면 '아, 정말 그렇군'이라고 동의하겠습니까? 논리를 일일이 따지는 깐깐한 사람이라면 허점을 날카롭게 지적하면서 자리를 파할지도 모르겠군요. "재료비를 깎지 않고 운영비용(임금, 광열비 등)을 절감해서 가격을 내릴 수 있는 것 아니냐?"라고 말입니다.

누차 언급했듯이 이 방법은 논리적으로 완전무결한 방법은 아닙니다. 그러나 문제해결의 목적은 완벽한 논리 체계를 갖추는 데 있지 않습니다. 물론 최대한 논리적이려고 노력해야겠지만, 해결책을 통해 조직(혹은 개인)의 변화를 추구하는 것이 문제해결의 목적임을 잊지 말아야 합니다. 이런 관점에서 볼 때, 위에서 설명한 방법은 상당히 유용하고 설득력이 있습니다. 다만 문제해결 과정에서 미궁에 빠져 더 이상 진전되기 어려운 상황에 봉착했을 때 최후의 카드로 선택해야 함을 기억해 두기 바랍니다.

【한RSS로 편하게 제 블로그를 구독하세요】  

바다로 갈 때마다 난 설레인다. 밤새 차를 달려갔던, 다양한 얼굴의 바다들. 부윰하고 무거운 회색하늘 아래 꿈틀거리던 파도와 하얀 포말과 갈매기가 이따금 수평선을 가로지르는 바다의 풍경은 언제나 나를 사로잡는다.

때로는 배낭 속에 1/2 전지 크기의 스케치북과 잘 깍은 세자루의 4B연필을 넣고 곧장 바다로 달려가 바다의 얼굴을 그리고 싶은 욕망에 사로잡힌다. 솜씨좋은 그림은 아니지만 내 그림 속에 바다의 냄새를 가득 담아 오고싶어 발가락이 간지럽다.

그림 오른편 아래에는 귀에 대면 바람소리가 들리는 소라고동을 그려 넣고, 위편엔 갈매기들의 낮은 날갯죽지를 그려 볼까, 멀리 수평선을 향해 이국으로 떠나는 배의 뒷모습을 그려 볼까? 바다를 마주보고 앉아 그림을 그리는 내 모습도 그릴 수 있다면....그렇게 지난 날의 나를 용서받을 수 있다면...

머지않아 바다에 가보련다. 언제나 나를 용서해 주는 바다를 스케치하며 바다와 이야기하련다. 무슨 이야기인지는 좀 비밀이다.

이미 언급했듯이 실증은 가설의 참/거짓 여부를 증명하기 위한 과정입니다. 과학에서 말하는 '실험'이 실증이라면, 문제해결과정에서는 '분석'이 실증에 해당됩니다. 따라서 문제해결사가 어떻게 분석을 진행할까를 고민할 때 과학의 실험 설계 방법을 응용하는 것이 도움이 됩니다. 오늘은 이에 대해 알아보겠습니다.

과학에서의 실험 설계는 다음과 같은 과정을 거칩니다. A라는 가설이 이미 수립된 상태라고 가정하겠습니다. 과학이라고 말하면 굉장히 어렵다는 선입견을 가지는데요, 실험 설계 과정 자체는 매우 간단합니다.

르네상스 시대의 과학자 갈릴레오 갈릴레이가 피사의 사탑에서 실시했다고 알려진 '물체 낙하 실험'은 근대 과학사에서 중요한 의미를 가집니다. 과학에서 실험이 얼마나 중요한지 일깨우는 일화이기 때문입니다. 알다시피 갈릴레오는 '물체의 무게가 달라도 동일한 속도로 낙하한다'라는 가설이 맞는지 틀리는지를 낙하 실험을 통해 실증하려 했습니다.

그 시대의 사람들은 무거운 물체가 가벼운 물체보다 빨리 떨어진다고 주장한 아리스토텔레스의 이론을 신봉했습니다. 아리스토텔레스는 물체가 땅으로 떨어지는 이유는 우주에서 정당한 자기 위치를 찾아가기 때문이고, 물체가 하늘로 날아가는 이유는 물체 앞에 있던 공기가 물체 뒤로 순식간에 자리를 이동하기 때문이라는, 지금 생각하면 황당하기 그지 없는 주장을 폈습니다. 

아리스토텔레스는 100파운드 짜리 공이 100큐빗(약 53미터)에서 떨어져 땅에 닿는다면 1파운드 짜리 공은 1큐빗(약 53센티미터)의 거리를 낙하할 것이라고 장담했습니다. 실험도 하지 않은 채 말입니다. 그럼에도 그의 이론은 그가 죽은 후 2천년이 지났는데도 여전히 중세인들의 사고를 지배했습니다.

갈릴레오가 실제로 낙하 실험을 했는지에 관해서는 역사학자들 사이에서 논란이 분분합니다. 하지만 여기서는 실험 설계를 어떻게 하는지를 배우는 게 목적이므로 논란 여부는 무시하겠습니다. 비비아니가 쓴 전기에 나온 갈릴레오의 실험 내용을 실험 설계 과정에 대입해 보겠습니다.

물체 낙하 실험은 간단한 실험이라서 실험 설계 방법도 단순하다고 생각할지 모르지만, 아무리 복잡하고 까다로운 실험도 이 3단계 실험 설계 과정을 벗어나지 못합니다.

이제 문제해결의 관점에서 분석 설계 과정을 논의하겠습니다. 위의 실험 설계 과정을 차용하면, 분석 설계 과정은 다음과 같습니다.

'실험과 분석이 엄연히 다른데 왜 차용을 하는가?'라는 의문을 던질지도 모르겠군요. 맞습니다. 실험과 분석은 동일하지 않습니다. 과학의 실험에서는 실험자가 실험 대상을 실험군과 대조군으로 나눕니다. 그리고 실험군에게는 뭔가의 조치를 취하고, 대조군에는 조치를 취하지 않습니다. 이렇게 해서 양쪽에서 나온 결과가 확연히 다름을 보임으로써 가설을 증명합니다. "조치를 취하니까 이렇게 다르지 않습니까? 그러니 가설은 참(혹은 거짓)입니다"라고 말입니다.

분석이 실험이 아닌 이유는 분석 대상을 '분석군'과 '대조군'으로 나누지 않을 뿐더러 분석군에게 조치를 취하지도 않습니다. 실험처럼 행해지는 분석이 있긴 하지만 문제해결 과정에서는 자주 벌어지지 않습니다. '급여가 작아 직원들이 불만이 크다'라는 가설을 증명하려고 분석군에는 급여를 올려주고 대조군은 그대로 유지한 후에 불만의 크기를 비교 조사하면 좋겠지만, 현실적으로 이런 모험을 감행할 조직은 드뭅니다. 만약 급여가 직원들의 불만과 아무 상관이 없다는 결론을 얻었다면 이미 올려준 급여를 다시 내리기가 여간 어렵지 않겠죠.

따라서 분석은 실험을 통한 가설 실증이라기보다, 관찰과 측정을 통한 실증이라고 말해야 정확합니다. 분석과 실험을 동일한 개념으로 보기 어렵지만, 분석이 문제해결 과정에서 실증의 과정이므로 과학에서의 실증 과정인 실험과 동일한 위상으로 간주할 수 있습니다. 그래서 실험 설계 과정을 차용하여 분석 설계 과정을 알아보자는 겁니다.

위의 3번째 단계가 실험 설계 과정과 다르다는 것을 유의하십시오. 측정 방법이 아니라 '표현 방법'입니다. 문제해결의 세계에서는 분석 절차와 방법을 정할 때 측정 방법도 동시에 결정되는 것이 대부분입니다. 또한 해결책이 의뢰인에게 효과적으로 전달되어 실행되도록 하는 것이 문제해결의 최종목적이므로 분석 결과를 어떻게 효과적으로 표현하느냐가 중요한 관건입니다. 따라서 분석을 설계할 때부터 결과를 어떻게 하면 깔끔하게 표현할지 고려해야 합니다.

'직원들이 태만하다'라는 가설을 실증하기 위해 분석을 실시한다고 가정하겠습니다. 그렇다면 여러분은 위의 3단계 분석 설계 과정을 자동적으로 머리 속에 떠올려야 합니다. 무엇을(분석 대상) 어떻게(절차/방법) 분석하고 어떻게 표현할지를 구상해야 합니다. 여러 형태로 분석을 설계할 수 있겠지요. 다음의 예가 그 중 하나입니다., 예를 들어 다음과 같은 방법으로 분석을 진행할 수 있습니다.

위의 '2) 분석 방법을 정한다'를 좀더 구체적으로 설명하겠습니다. 

'좋은 분석'이 되려면 첫째, 반증가능성을 꼭 따져봐야 합니다. 지난 글에서 좋은 가설이 되려면 가설 그 자체가 반증가능하도록 설정되어야 한다고 언급했습니다. 분석도 마찬가지입니다. 잠정적으로 선택된 하나의 분석 방법이 가설의 입증과 반증이 동시에 가능한지의 여부를 따져봐야 합니다. 만일 그 분석 방법이 오로지 가설을 입증하는 데에만 초점이 맞춰져 있다면, 반증하기 위한 또다른 분석 방법을 찾아내어 균형을 이루도록 해야 합니다.

예를 들어 '잡담 시간'을 측정하는 분석 방법으로 직원들의 태만함 여부를 가리겠다고 하겠습니다. 아무리 열심히 일하고 생산성이 높은 직원들도 잡담을 어느 정도 하기 마련이고 또 잡담 속에서 업무에 관한 아이디어를 얻기도 합니다. 잡담 시간을 측정하면 오로지 '직원들이 태만하구나'라는 생각만 들게 됩니다. 잡담 그 자체가 부정적인 뉘앙스를 띠기 때문입니다. 측정하는 자가 잡담을 부정적인 요소로만 본다면 '잡담을 많이 하더라도 저건 직원들의 태만함과는 무관해'라는 반증으로 생각을 전환하기 어렵겠죠. 그리므로 '잡담 시간 측정'이라는 분석 방법은 폐기되거나 반증가능한 다른 분석 방법으로 보완돼야 합니다.

둘째, 가설을 '한 방에' 입증하는 분석이 좋은 분석입니다. 분석을 했는데 뭔가 미진해서 남들에게 공격 당할 것 같다는 느낌이 들면 좋은 분석 방법이 아닙니다. 팀장들과 인터뷰를 해서 직원들의 태만한지를 알아보는 분석 방법을 취했다고 가정하겠습니다. 팀장들은 항상 직원들의 동태를 살피고 아웃풋을 점검하는 위치에 있기 때문에 직원들의 태만함을 어느 정도 감지할 겁니다. 하지만 팀장들의 말을 토대로 보고서를 썼다가는 직원들의 원성에 직면합니다. 직원 입장에서 전혀 고려하지 않았다는 이유겠죠. 

이렇게 분석 결과가 공격을 받으면 아무리 좋은 해결책이 나와도 수용되기 어렵습니다. 분석 방법을 택할 때는 '한 방에 하나씩'이라는 말을 기억하십시오. 해당 가설을 입증하거나 반증하는 분석 방법들을 가능한 한 많이 생각해 본 다음에, 가설을 한방에 실증할 만한 방법 1~2가지를 골라내서 구체적인 분석 절차를 수립하기 바랍니다.

셋째, 동일하게 분석 결과가 재현되어야 좋은 분석입니다. 과학자가 연구 결과를 논문으로 발표하면 자신이 어떤 절차와 방법으로 실험을 수행했는지 기록해야 합니다. 자신의 연구가 사실임을 증명하기 위해서입니다. 만일 다른 사람이 똑같이 실험을 재현해보니까 엉뚱한 결과가 나오거나 아예 결과가 나오지 않는다면 그의 연구는 의심의 대상이 되거나 급기야 논문 수록이 취소되기까지 합니다(황우석 사태를 떠올려 보세요).

분석은 문제해결의 세계에서 행해지는 실험이므로, 절차에 따라 분석을 반복하면 동일한 결과를 얻을 수 있어야 합니다. 분석할 때마다 오차의 범위를 벗어나는 결과를 얻는 분석 방법이라면 당초에 가설을 증명했더라도 폐기해야 마땅합니다. 예를 들어 '스톱워치를 가지고 직원들의 잡담시간을 측정'하는 분석 방법은 측정하는 사람의 자의적인 해석('아 저건 잡담인가 아닌가')이 크게 반영되므로 비슷한 분석 결과를 기대하기가 어려울 겁니다. 그래서 분석 방법을 최초 선택할 때 머리 속으로 가상의 분석을 해봄으로써 분석 결과가 재현될지를 충분히 따져봐야 하고, 분석을 하고 나서는 한두 차례의 검증을 꼭 거쳐서 이론의 여지를 차단해야 합니다.

정리하면, 좋은 분석의 조건은 다음과 같이 3가지입니다.

지금까지 과학의 실험 설계 과정을 참고해서 바람직한 분석 설계 과정을 알아봤습니다. '자, 봐라. 꼼짝 못하지?'라고 '적확한' 결과를 보이는 실험이 좋은 실험이듯이, 문제해결 과정을 지켜보는 사람들이 감히 반박하지 못하도록 만드는 분석이 좋은 분석입니다. 문제해결사 여러분들은 부디 갈릴레오도 울고 갈 분석 방법을 선택해서 의뢰인에게 '꼼짝마!'라고 외치는 희열을 경험하기 바랍니다.

【한RSS로 편하게 제 블로그를 구독하세요】