갈릴레오도 울고 가는 '좋은 분석'에 대해

이미 언급했듯이 실증은 가설의 참/거짓 여부를 증명하기 위한 과정입니다. 과학에서 말하는 '실험'이 실증이라면, 문제해결과정에서는 '분석'이 실증에 해당됩니다. 따라서 문제해결사가 어떻게 분석을 진행할까를 고민할 때 과학의 실험 설계 방법을 응용하는 것이 도움이 됩니다. 오늘은 이에 대해 알아보겠습니다.

과학에서의 실험 설계는 다음과 같은 과정을 거칩니다. A라는 가설이 이미 수립된 상태라고 가정하겠습니다. 과학이라고 말하면 굉장히 어렵다는 선입견을 가지는데요, 실험 설계 과정 자체는 매우 간단합니다.

1) 실험 대상을 선정한다

2) 실험 방법을 정한다

3) 결과 측정 방법을 정한다

르네상스 시대의 과학자 갈릴레오 갈릴레이가 피사의 사탑에서 실시했다고 알려진 '물체 낙하 실험'은 근대 과학사에서 중요한 의미를 가집니다. 과학에서 실험이 얼마나 중요한지 일깨우는 일화이기 때문입니다. 알다시피 갈릴레오는 '물체의 무게가 달라도 동일한 속도로 낙하한다'라는 가설이 맞는지 틀리는지를 낙하 실험을 통해 실증하려 했습니다.

그 시대의 사람들은 무거운 물체가 가벼운 물체보다 빨리 떨어진다고 주장한 아리스토텔레스의 이론을 신봉했습니다. 아리스토텔레스는 물체가 땅으로 떨어지는 이유는 우주에서 정당한 자기 위치를 찾아가기 때문이고, 물체가 하늘로 날아가는 이유는 물체 앞에 있던 공기가 물체 뒤로 순식간에 자리를 이동하기 때문이라는, 지금 생각하면 황당하기 그지 없는 주장을 폈습니다. 

아리스토텔레스는 100파운드 짜리 공이 100큐빗(약 53미터)에서 떨어져 땅에 닿는다면 1파운드 짜리 공은 1큐빗(약 53센티미터)의 거리를 낙하할 것이라고 장담했습니다. 실험도 하지 않은 채 말입니다. 그럼에도 그의 이론은 그가 죽은 후 2천년이 지났는데도 여전히 중세인들의 사고를 지배했습니다.

갈릴레오가 실제로 낙하 실험을 했는지에 관해서는 역사학자들 사이에서 논란이 분분합니다. 하지만 여기서는 실험 설계를 어떻게 하는지를 배우는 게 목적이므로 논란 여부는 무시하겠습니다. 비비아니가 쓴 전기에 나온 갈릴레오의 실험 내용을 실험 설계 과정에 대입해 보겠습니다.

1) 실험 대상을 선정한다

알다시피 갈릴레오는 모양이 똑같지만 무게가 다른 금속공 2개를 실험 대상으로 삼았습니다. 조수들이 탑의 꼭대기까지 공을 들고 가느라 낑낑댔다고 비비아니의 전기는 말합니다.

2) 실험 방법을 정한다

동시에 떨어지는지, 아니면 시차를 가지고 떨어지는지 육안으로 관찰하려면 충분히 높은 곳에서 떨어뜨려야 했습니다. 그때는 정밀한 측정 장치가 없었으니까요. 그래서 피사의 사탑을 선택했죠. 사람들의 관심을 주목시키는 효과도 얻기 위해 피사에 가장 높은 곳에 올라가 사람들이 지켜보는 가운데 두 개의 금속공을 낙하시키기로 한 것이죠.

3) 결과 측정 방법을 정한다

두 개의 금속공이 정말로 동시에 떨어졌는지를 측정해야 가설의 옳고 그름을 가릴 수 있겠죠. 언급했듯이, 측정 도구가 변변치 않았기 때문에 육안으로 측정할 수밖에 없었습니다. 갈릴레오는 군중의 '눈'들이 결과를 측정하는 방법이라 여겼던 게 분명합니다. 실험을 하기 전에 관중들을 끌어모았으니까요. "자, 여러분이 직접 관찰해 보십시오!"

물체 낙하 실험은 간단한 실험이라서 실험 설계 방법도 단순하다고 생각할지 모르지만, 아무리 복잡하고 까다로운 실험도 이 3단계 실험 설계 과정을 벗어나지 못합니다.

'침대는 과학이다'는 가설은 참일까요, 거짓일까요?

이제 문제해결의 관점에서 분석 설계 과정을 논의하겠습니다. 위의 실험 설계 과정을 차용하면, 분석 설계 과정은 다음과 같습니다.

1) 분석 대상을 선정한다

2) 분석 방법을 정한다

3) 분석 결과에 대한 표현 방법을 정한다

'실험과 분석이 엄연히 다른데 왜 차용을 하는가?'라는 의문을 던질지도 모르겠군요. 맞습니다. 실험과 분석은 동일하지 않습니다. 과학의 실험에서는 실험자가 실험 대상을 실험군과 대조군으로 나눕니다. 그리고 실험군에게는 뭔가의 조치를 취하고, 대조군에는 조치를 취하지 않습니다. 이렇게 해서 양쪽에서 나온 결과가 확연히 다름을 보임으로써 가설을 증명합니다. "조치를 취하니까 이렇게 다르지 않습니까? 그러니 가설은 참(혹은 거짓)입니다"라고 말입니다.

분석이 실험이 아닌 이유는 분석 대상을 '분석군'과 '대조군'으로 나누지 않을 뿐더러 분석군에게 조치를 취하지도 않습니다. 실험처럼 행해지는 분석이 있긴 하지만 문제해결 과정에서는 자주 벌어지지 않습니다. '급여가 작아 직원들이 불만이 크다'라는 가설을 증명하려고 분석군에는 급여를 올려주고 대조군은 그대로 유지한 후에 불만의 크기를 비교 조사하면 좋겠지만, 현실적으로 이런 모험을 감행할 조직은 드뭅니다. 만약 급여가 직원들의 불만과 아무 상관이 없다는 결론을 얻었다면 이미 올려준 급여를 다시 내리기가 여간 어렵지 않겠죠.

따라서 분석은 실험을 통한 가설 실증이라기보다, 관찰과 측정을 통한 실증이라고 말해야 정확합니다. 분석과 실험을 동일한 개념으로 보기 어렵지만, 분석이 문제해결 과정에서 실증의 과정이므로 과학에서의 실증 과정인 실험과 동일한 위상으로 간주할 수 있습니다. 그래서 실험 설계 과정을 차용하여 분석 설계 과정을 알아보자는 겁니다.

위의 3번째 단계가 실험 설계 과정과 다르다는 것을 유의하십시오. 측정 방법이 아니라 '표현 방법'입니다. 문제해결의 세계에서는 분석 절차와 방법을 정할 때 측정 방법도 동시에 결정되는 것이 대부분입니다. 또한 해결책이 의뢰인에게 효과적으로 전달되어 실행되도록 하는 것이 문제해결의 최종목적이므로 분석 결과를 어떻게 효과적으로 표현하느냐가 중요한 관건입니다. 따라서 분석을 설계할 때부터 결과를 어떻게 하면 깔끔하게 표현할지 고려해야 합니다.

'직원들이 태만하다'라는 가설을 실증하기 위해 분석을 실시한다고 가정하겠습니다. 그렇다면 여러분은 위의 3단계 분석 설계 과정을 자동적으로 머리 속에 떠올려야 합니다. 무엇을(분석 대상) 어떻게(절차/방법) 분석하고 어떻게 표현할지를 구상해야 합니다. 여러 형태로 분석을 설계할 수 있겠지요. 다음의 예가 그 중 하나입니다., 예를 들어 다음과 같은 방법으로 분석을 진행할 수 있습니다.

1) 분석 대상을 선정한다

회사 내에도 여러 단위조직이 있습니다. 이 가설을 어느 조직을 대상으로 검증할지를 선정합니다. 분석 대상의 범위는 문제 정의시에 의뢰인에 의해 이미 정해지지만 경우에 따라서 각 가설에 따라 다르게 지정할 경우도 있습니다.

2) 분석 방법을 정한다

이 가설을 증명하려면 직원들의 '태만함의 정도'를 측정하기 위한 방법을 연구해야 합니다. 태만함의 정도는 경우에 따라 매우 자의적으로 해석되므로 분석하는 방법을 정하기가 녹록하지 않습니다. 최대한 객관적인 방법을 택해야 하는데요, 스톱워치를 가지고 직접 체크하는 분석, 업무량 조사서를 작성하게 하는 분석, 직원들이 산출하는 아웃풋의 질과 양을 따져보는 분석 등을 생각할 수 있습니다. 

3) 분석 결과에 대한 표현 방법을 정한다

어떤 분석 방법을 사용했는지에 따라 효과적으로 표현하는 방법도 달라집니다. 만일 업무량 조사서를 가지고 하루 동안 어떤 업무에 얼마만큼의 시간을 소요하는지 분석했다면, 근무시간(8시간)과 대비하여 실제업무시간을 표현하기 위해 워터폴(waterfall) 차트 형태의 그래프가 무난합니다. 또는 직원별로 유휴율 데이터를 표로 나타낼 수도 있습니다. 

누구나 즉각적으로 이해가 가능하도록 분석 결과를 표현했는지가 관건입니다. 분석을 실시하기 전에 분석결과를 어떻게 표현할지를 미리 구상하기 바랍니다.

위의 '2) 분석 방법을 정한다'를 좀더 구체적으로 설명하겠습니다. 

'좋은 분석'이 되려면 첫째, 반증가능성을 꼭 따져봐야 합니다. 지난 글에서 좋은 가설이 되려면 가설 그 자체가 반증가능하도록 설정되어야 한다고 언급했습니다. 분석도 마찬가지입니다. 잠정적으로 선택된 하나의 분석 방법이 가설의 입증과 반증이 동시에 가능한지의 여부를 따져봐야 합니다. 만일 그 분석 방법이 오로지 가설을 입증하는 데에만 초점이 맞춰져 있다면, 반증하기 위한 또다른 분석 방법을 찾아내어 균형을 이루도록 해야 합니다.

예를 들어 '잡담 시간'을 측정하는 분석 방법으로 직원들의 태만함 여부를 가리겠다고 하겠습니다. 아무리 열심히 일하고 생산성이 높은 직원들도 잡담을 어느 정도 하기 마련이고 또 잡담 속에서 업무에 관한 아이디어를 얻기도 합니다. 잡담 시간을 측정하면 오로지 '직원들이 태만하구나'라는 생각만 들게 됩니다. 잡담 그 자체가 부정적인 뉘앙스를 띠기 때문입니다. 측정하는 자가 잡담을 부정적인 요소로만 본다면 '잡담을 많이 하더라도 저건 직원들의 태만함과는 무관해'라는 반증으로 생각을 전환하기 어렵겠죠. 그리므로 '잡담 시간 측정'이라는 분석 방법은 폐기되거나 반증가능한 다른 분석 방법으로 보완돼야 합니다.

둘째, 가설을 '한 방에' 입증하는 분석이 좋은 분석입니다. 분석을 했는데 뭔가 미진해서 남들에게 공격 당할 것 같다는 느낌이 들면 좋은 분석 방법이 아닙니다. 팀장들과 인터뷰를 해서 직원들의 태만한지를 알아보는 분석 방법을 취했다고 가정하겠습니다. 팀장들은 항상 직원들의 동태를 살피고 아웃풋을 점검하는 위치에 있기 때문에 직원들의 태만함을 어느 정도 감지할 겁니다. 하지만 팀장들의 말을 토대로 보고서를 썼다가는 직원들의 원성에 직면합니다. 직원 입장에서 전혀 고려하지 않았다는 이유겠죠. 

이렇게 분석 결과가 공격을 받으면 아무리 좋은 해결책이 나와도 수용되기 어렵습니다. 분석 방법을 택할 때는 '한 방에 하나씩'이라는 말을 기억하십시오. 해당 가설을 입증하거나 반증하는 분석 방법들을 가능한 한 많이 생각해 본 다음에, 가설을 한방에 실증할 만한 방법 1~2가지를 골라내서 구체적인 분석 절차를 수립하기 바랍니다.

셋째, 동일하게 분석 결과가 재현되어야 좋은 분석입니다. 과학자가 연구 결과를 논문으로 발표하면 자신이 어떤 절차와 방법으로 실험을 수행했는지 기록해야 합니다. 자신의 연구가 사실임을 증명하기 위해서입니다. 만일 다른 사람이 똑같이 실험을 재현해보니까 엉뚱한 결과가 나오거나 아예 결과가 나오지 않는다면 그의 연구는 의심의 대상이 되거나 급기야 논문 수록이 취소되기까지 합니다(황우석 사태를 떠올려 보세요).

분석은 문제해결의 세계에서 행해지는 실험이므로, 절차에 따라 분석을 반복하면 동일한 결과를 얻을 수 있어야 합니다. 분석할 때마다 오차의 범위를 벗어나는 결과를 얻는 분석 방법이라면 당초에 가설을 증명했더라도 폐기해야 마땅합니다. 예를 들어 '스톱워치를 가지고 직원들의 잡담시간을 측정'하는 분석 방법은 측정하는 사람의 자의적인 해석('아 저건 잡담인가 아닌가')이 크게 반영되므로 비슷한 분석 결과를 기대하기가 어려울 겁니다. 그래서 분석 방법을 최초 선택할 때 머리 속으로 가상의 분석을 해봄으로써 분석 결과가 재현될지를 충분히 따져봐야 하고, 분석을 하고 나서는 한두 차례의 검증을 꼭 거쳐서 이론의 여지를 차단해야 합니다.

정리하면, 좋은 분석의 조건은 다음과 같이 3가지입니다.

1) 반증가능성을 지닌다

2) 가설을 한방에 입증한다

3) 동일한 결과를 재현한다

지금까지 과학의 실험 설계 과정을 참고해서 바람직한 분석 설계 과정을 알아봤습니다. '자, 봐라. 꼼짝 못하지?'라고 '적확한' 결과를 보이는 실험이 좋은 실험이듯이, 문제해결 과정을 지켜보는 사람들이 감히 반박하지 못하도록 만드는 분석이 좋은 분석입니다. 문제해결사 여러분들은 부디 갈릴레오도 울고 갈 분석 방법을 선택해서 의뢰인에게 '꼼짝마!'라고 외치는 희열을 경험하기 바랍니다.

【한RSS로 편하게 제 블로그를 구독하세요】