실험을 해야 할 때와 그렇지 않을 때

지난 번 포스트에서 "문제해결 과정에서의 '분석'과 과학에서의 '실험'은 모두 '실증'을 위한 활동이므로 개념적으로는 동일하지만 완전히 똑같지는 않다"고 언급한 적이 있습니다. 인과관계를 밝히기 위한 과학 실험들은 일반적으로 실험군과 대조군을 설정한 후에 실험군에게는 어떤 조치를 취하고 대조군에는 취하지 않는 방법으로 진행됩니다. 

인과관계를 증명하기 위한 과학 실험

1) 실험 대상을 실험군과 대조군으로 나눈다

2) 실험군에는 계획된 조치를 취하고, 대조군은 그대로 유지되도록 통제한다

3) 실험군과 대조군에서 보이는 결과를 서로 비교한다

4) 통계적으로 유의한지의 여부를 따져 가설의 증명 여부를 판단한다

문제해결 과정에서도 과학 실험처럼 분석을 할 수 없을까요? 예를 들어 "직급체계가 너무나 세분되어 의사결정 속도가 느리다"는 가설을 분석을 통해 실증한다고 가정하겠습니다. 과학에서 하듯이 실험군과 대조군으로 나눈 다음에 실험군에는 직급체계를 3단계(이를 테면, 주니어-시니어-매니저)로 단순화해서 운영하고 대조군은 예전과 동일하게 유지해서 어떤 일이 벌어지는지 살펴보면 가설을 실증할 수 있습니다. 

직급체계를 3단계로 단순화한 실험군에서는 하나의 결재가 완료되는 평균시간을 따져보니 예전에 비해 30%나 향상된 반면, 대조군은 변화가 거의 없다는 결과를 얻었다고 해보죠. 만약 그 차이가 통계적으로 유의하다면, "세분된 직급체계가 의사결정 속도를 늦춘다"는 가설이 멋지게 입증됩니다. 이런 결과를 얻으면 실험군 뿐만 아니라 전사적으로 직급체계를 단순화하자는 전략을 곧바로 실행할 수 있습니다.

문제해결력이 솟구치지 않습니까?

그러나 아쉽게도 실험군의 의사결정 속도가 빨라지기는커녕 오히려 더 느려졌다는 결과를 얻었다면 어떻게 될까요? 과거(세분된 직급체계)에는 결재 건에 대한 자기책임이 덜해서 바로바로 윗사람에서 넘겨버리고 다른 일에 집중하면 그만이었는데, 직급단계가 줄다보니 결재 건의 리스크 부담 때문에 검토하고 또 검토하다가 의사결정이 오히려 느려질 가능성도 배재할 수 없습니다.

만약 이런 결과를 얻었다면 여러분은 어떻게 하시겠습니까? "실험이 실패했으니 축소된 직급체계를 원래대로 되돌리자" 라고 간단히 말할 사안일까요? 아마도 그렇지 않을 겁니다. 탄력적으로 조직을 운영하는 것도 좋지만 확증되지 않은 가설을 증명하기 위해 매번 이랬다저랬다를 반복하면 경영시스템이 누더기가 될 뿐더러 구성원의 신뢰와 로열티를 얻지 못합니다.

이렇듯 문제해결 과정의 분석은 과학의 실험처럼 실제의 세계를 마음대로 조치하고 조작하기 어렵다는 한계를 지녔습니다. 만약 과학 실험처럼 여러 가지의 시도가 가능하면 최고의 분석 결과를 얻을 수 있겠지만, 문제해결사가 취할 수 있는 최선의 방법은 직급체계를 줄여서 의사결정 속도를 빠르게 한 타사의 사례를 실험군으로 설정해서 우리 회사(대조군)의 경우와 비교하는 것입니다.

그러나 경우에 따라서는 과학의 실험 방법을 들여오는 것이 분석의 효과를 높이는 좋은 방법이 되기도 합니다. 이를 의류 회사의 사례를 들어 설명하겠습니다. 다음의 예시를 읽어보기 바랍니다(상세한 내용은 생략했습니다).

상황 : 이 회사는 각 점포의 매출액이 급감하는 문제에 봉착해 있다. 반면에 경쟁사들의 매출액은 지속적으로 성장하고 의류시장 전체의 규모도 커지는 상황이기 때문에 경영진들은 문제의 원인이 외부가 아니라 내부에 있다는 판단을 내렸다.

가설 : 문제해결사는 이 회사의 매출이 줄어드는 원인으로 "매장의 디스플레이가 통일적이지 못해서 내점 고객들의 시선을 끌지 못한다"라는 가설을 내놓았다. 이를 해결하기 위한 대안으로 문제해결사는 통일적이지 못하고 난삽한 디스플레이를 개선하면 매출액이 늘어나거나 적어도 더이상 떨어지지 않으리란 새로운 가설을 수립했다.

분석 : 

1) 이 가설의 참/거짓 여부를 증명하기 위해 문제해결사는 전국에 흩어진 매장들 중 20개를 골라서 실험군(10개)과 대조군(10개)으로 구분했다. 또한 각각에 포함되는 매장은 서로 규모나 지역이 비슷하도록 적절하게 안배했다.

2) 문제해결사는 실험군에 속한 매장의 디스플레이를 통일성 있게 교체하는 작업을 진행했다. 이 작업을 진행하기 위해 외부에서 VMD(visual merchandise) 전문가를 영입했다. 반면, 대조군에게는 아무런 조치를 취하지 않았다.

3) 디스플레이 교체 후에 3개월 간 실험군과 대조군의 매출액 증가율을 각각 수집하고 비교했다.

결과 : 실험군이 디스플레이 교체 이후에 25%의 매출액 증가율을 기록했다. 이 기간 동안 대조군의 매출액은 5% 증가에 그쳤다. 이 차이는 통계적으로 매우 유의했다. 따라서 "디스플레이가 통일적이지 못한 것"이 매출액 감소의 원인 중 하나임이 입증됐다.

문제해결사가 실험을 통해 이런 결과를 내놓는다면 의뢰인을 충분히 설득시킬 수 있습니다. 조치를 취한 실험군과 그렇지 않은 대조군 사이의 차이가 크고 명확할수록 분석의 설득력은 커집니다. 아마도 많은 문제해결사들은 "이런 방식으로 가설을 입증하면 논란도 반론도 없으니 얼마나 좋을까" 란 생각이 들 겁니다.

하지만 설득력을 높이는 데에는 그만큼 돈과 시간이 소요됩니다. 위의 예시에서 매장 디스플레이를 바꾸려면 전문가에게 지급할 수수료 뿐만 아니라 공사비가 꽤나 많이 지출됩니다. 게다가 공사를 진행하려면 최소한 2주 가까운 시간이 들고 그 기간엔 고객을 맞을 수 없기 때문에 기회비용 또한 만만찮습니다. 만약에 디스플레이를 교체했는데도 매출액이 개선되는 조짐이 보이지 않는다면 그 돈과 시간은 공중으로 사라져 버립니다.

위에서 든 사례(직급체계 축소, 매장 디스플레이 개선)들이 문제해결사에게 주는 시사점이 무엇일까요? 그것은 가설 입증을 위해 분석을 행할 때 과학적인 실험 방법을 적용하려면 다음의 3가지를 떠올리십시오. 이 3가지 요소는 실험 결과가 현재의 상태를 변경시켜야만, 즉 가상이 아니라 실제의 것을 다뤄야만 가설의 진위 여부를 가릴 수 있을 때 반드시 충분히 고려해야 합니다.

1) 가역성

2) 비용

3) 윤리

가역성이란 말 그대로 '되돌리기가 가능한가'란 의미입니다. 가역성이 높은 실험이라야 문제해결사는 그것을 분석의 방법으로 채택할 수 있습니다. 직급체계를 축소했다가 다시 원래대로 복구해도 별다른 문제가 발생하지 않는다면(혹시 그런 조직이 있다면) 실험을 해보는 것이 가장 좋은 분석 방법입니다. 허나 실제로 직급체계 변경 실험은 매우 '비가역적'이기 때문에 문제해결사는 가설 증명을 위해 실험이 아니라 다른 분석 방법을 찾아야 합니다.

비용이란 실험을 하는 데 드는 돈, 시간, 인력 등을 말합니다. 앞서 언급했듯이 매장의 디스플레이를 바꾸는 일은 비용을 많이 소요하기 때문에 현금이 많지 않은 한 적절하지 못한 분석 방법입니다. 상품의 위치와 순서를 다르게 배치하는 것이 매출에 어떤 영향을 미치는지 알아보는 실험이라면 매장의 디스플레이를 대대적으로 공사하는 일보다는 비용이 매우 적게 들기 때문에 실험으로 적절합니다.

윤리는 실험을 위해 취하는 조치가 윤리적이고 도덕적인 문제를 야기하느냐의 여부를 뜻합니다. 과학에서 윤리 문제를 야기하는 실험이 종종 회자되는데요, 줄기세포와 인간 배아 연구가 대표적입니다. 예를 들어 "직원들의 업무태도를 감시하지 않아서 생산성이 떨어진다. 그러므로 팀장에서 직원들의 일거수 일투족을 모니터링하도록 하면 생산성이 증가할 것이다"라는 가설을 증명하기 위해 실험을 실시한다고 가정하죠. 

직원들이 업무 외의 사적인 일을 하지 못하도록 감시해서 생산성을 측정하겠다는 것인데요, 상상해봐도 이러한 조치는 직원들의 인권을 압박해서 심각한 스트레스를 야기해서 정신적, 신체적 건강이 훼손될 가능성이 있습니다. 또한 팀장과 팀원 사이의 반목과 갈등을 야기하기 때문에 극단적 상황이 발생할지도 모르는 일입니다. 비록 실험일지라도 이러한 방식의 실증은 배제돼야 합니다.

이 3가지 요소를 만족한다면, 즉 가역성이 높고 비용이 낮으며 부정적 기대효과가 적다면, 과학 실험처럼 실험군과 대조군을 나눠 분석을 실행하는 방법을 채택하기 바랍니다. 조치를 취한 쪽과 그렇지 않은 쪽 간의 명확한 차이는 가설 입증의 효과 뿐만 아니라 의뢰인을 포함한 여러 이해관계자에게 해결책을 수용하게 만드는 힘을 뿜어내기 때문입니다.

오늘도 즐겁게 문제를 해결하기 바랍니다.