샴페인을 일찍 터뜨리지 마세요

---

어떤 제도에 대하여 고객들이 매우 불만인 상태입니다. 고객의 불만은 제품의 판매에 큰 영향을 미치기 때문에 당연히 뭔가 조치를 취해야 하겠죠. 경영진은 고심 끝에 고객만족을 높이기 위한 제도(예를 들어 무상보증기간을 1년에서 2년으로 확대)를 실시하기로 했다고 가정해 보죠.

제도를 실시하고나서 고객만족에 대한 설문을 진행했더니, 다음과 같이 예전보다 만족도가 높아지는 결과를 얻었습니다

	만족	불만족	합계	'만족'의 비율
기존	11	59	70	0.16
제도 실시 후	23	63	86	0.27
합계	34	122	156

이 표를 보고 경영진은 '우리의 무상보증기간 연장 제도가 고객만족을 향상시켰다'란 결론을 내리고 성공을 자축할 겁니다. 보다시피 만족의 비율이 0.16에서 0.27로 상승했기 때문입니다.

하지만 기뻐하기엔 이릅니다. 모든 고객을 다 조사할 수 없어 표본을 사용했기 때문에 통계적으로 유의한지, 유의하지 않은지 판단해야 합니다. 다시 말해, 순전히 우연에 의해서 위와 같이 개선된 것처럼 보이는 결과가 나올지도 모르기 때문에 유의성 여부를 따져봐야 합니다.

이때 사용되는 통계적인 테스트 방법을 '사분법 테스트'라고 합니다. 이 방법은 '검사의 크기값'를 구한 다음에, 검사의 크기값이 3.84보다 작으면 '통계적으로 유의하지 않다'고, 3.84보다 크거나 같으면 '통계적으로 유의하다'고 판정하는 방법입니다.

검사의 크기 < 3.84    : 유의하지 않다

검사의 크기 ≥ 3.84   : 유의하다

그렇다면, 검사의 크기는 어떻게 구할까요? 구하는 방법이 좀 복잡합니다. 표의 값을 알파벳 소문자로 대치해서 공식을 적어 보겠습니다.

	만족	불만족	합계
기존	a	b	c
제도 실시 후	d	e	f
합계	g	h	i

검사의 크기 = {(i-1)*(a*e-d*b)^2}  / (g*h*c*f)

이 공식에 의해서 위의 예에 대한 검사의 크기를 구하면 2.74 입니다. 이 값은 3.84보다 작기 때문에 통계적으로 유의하지 않다는 결론을 얻을 수 있습니다. 따라서 고객만족을 위해 실시했던 제도가 언뜻 보기엔 만족도를 올린 것처럼 보이지만, 어쩌다가 우연에 의해 이와 같은 결과를 얻을 확률이 존재한다는 것입니다.

조금 전문적으로 말하면, 3.84란 값은 우연에 의해 발생할 확률(이를 p-value라고 함)이 5%일 때의 값입니다. 우리가 보통 95% 신뢰도라고 이야기하면 5%보다 같거나 작은 오류를 수용하겠다는 뜻이죠. 검사의 크기가 3.84보다 작으면, 우연일 확률이 5%보다 커지기 때문에 95% 신뢰도에서는 '유의하지 않다'는 판단을 내리게 되는 것이죠.

단순하게 '만족'의 비율이 커졌다고 해서 제도나 조치가 효과가 있다고 섣불리 판단해서는 안 된다는 것을 이 사례가 보여줍니다. 위와 같은 '사분법 테스트'를 통해서 제도의 효과가 통계적으로 유의한지 꼭 확인해보기 바랍니다. 그렇지 않으면 '샴페인을 일찍 터뜨리는' 오류를 범할지도 모르니까요.

오늘의 포스팅은 좀 전문적인 내용이지만 여러분의 편의를 위해 공식을 넣어놓은 엑셀 파일을 첨부하니, 활용하기 바랍니다. 숫자만 집어 넣으면 됩니다. ^^

사분법테스트.xlsx

(*참고도서 : '알을 낳는 개')

인퓨처컨설팅 & 유정식의 포스트는 아이폰 App으로도 언제든지 볼 수 있습니다.  여러분의 아이폰에 inFuture App(무료)을 설치해 보세요. (아래 그림 클릭!)