한방에 보내버리는 해결책을 찾자   

2009. 7. 14. 11:20
반응형

여러분이 모든 분석(실증)을 끝내고 나면 가설 목록에 적힌 가설들 중 어떤 것은 X표가, 어떤 것은 O표가 돼 있을 겁니다. 기각되거나 채택됐다는 의미죠. 이제 여러분은 이 결과를 토대로 해결책을 구상하는 단계로 넘어가야 합니다. 

가설 목록의 예(또는 이슈 트리)


하지만 그 전에 또 하나의 중요한 과정이 있다는 점을 잊지 말아야 합니다. 문제해결사는 실증이 끝내면 곧바로 해결책 수립에 임하겠다는 조급한 마음을 가라앉히고 시간을 들여서 분석의 결과를 '해석(interpretation)'하는 시간을 가져야 합니다. 아무리 문제해결이 시급하다고 해도 생략하지 말아야 할 중요한 단계입니다.

관찰 --> 분석 --> 해석 --> 해결

해석이 올바로지 않으면 기껏 분석을 잘 해놓고서 효과가 적은 해결책을 수립한다든지, 쓸데없이 여러 가지 해결책들을 늘어놓아서 인력과 시간을 낭비한다든지, 해결책이 오히려 더 문제를 야기하는 원인으로 비화된다든지의 오류에 빠지기 쉽습니다. 해석에 얼마나 공을 들였느냐에 따라 해결책의 품질이 달라집니다. 오늘은 '해석'하는 방법에 대해 알아보겠습니다.

가설은 목적에 따라 2개의 종류로 구분됩니다. 문제의 원인을 밝히기 위한 가설과 문제의 해결책을 구체화하기 위한 가설로 나뉘는데요, 만일 전자의 경우라면 인터뷰, 자료 분석, 설문 등의 실증 과정이 끝나고 난 후에 살아남은(즉 참인) 가설들은 문제의 근본원인이라 말할 수 있습니다. 

"직원들이 태만하고 불평불만이 많다"라는 문제를 일으키는 원인들을 가능한 한 밑바닥까지 내려가서 탐색하고 검증하면 "팀장이 CEO의 수행비서 노릇을 하느라 팀 업무를 등한시한다", "임원들이 자기 사업부만을 챙기는 데 연연한다", "서비스에 실망한 고객들이 계약을 대거 해지하는 바람에 업무가 확 줄었다" 등의 근본원인들과 만날 겁니다. 

이러한 근본원인들은 해결책의 단초를 제공하는 귀중한 결과입니다. 운이 좋다면 각 근본원인을 뒤집어 보면 해결책이 금세 눈에 띄기 때문입니다. "팀장이 CEO가 지시한 일을 하느라 팀을 등한시한다"라는 게 직원들이 태만하게 된 근본원인 중 하나라면 "팀장이 팀 관리에 전념하게 한다" 또는 "다른 사람을 팀장으로 영입한다" 등의 해결책을 궁리할 수 있겠지요. 물론 근본원인을 뒤집어본다고 해서 항상 해결책을 뚝딱 만들지 못하지만, 적어도 해결책의 실마리를 얻을 수 있습니다.

근본원인들(가설 목록에서 살아남은 제일 밑단의 가설들)이 5개라면 일단 5개의 서로 다른 해결책을 구상할 수 있습니다. 팀장을 다른 사람으로 교체하거나, 임원평가를 도입해서 기강을 확립하고, 고객들이 이탈하지 못하게 서비스의 질을 향상시키거나 하는 잠정적인 해결책이 나오겠지요. 이 단계에서 문제해결사는 이렇게 생각을 해야 합니다. "이 잠정적인 해결책을 모두 실행에 옮길 수 있을까? 모두 하려면 얼마나 비용(시간,인력,돈)이 소요될까?" 

하지만 문제해결사가 던져야 할 무엇보다도 가장 중요한 질문은 "이 해결책들 중에서 하나만 실행에 옮긴다면 무엇을 선택해야 하나?" 입니다. 이 말을 바꿔 생각하면, "근본원인 중의 근본원인은 무엇인가?"라는 질문과 같습니다. 여러 근본원인들 중에 그것 하나만 해소하면 나머지 근본원인가지 술술 풀리는 것이 존재하는 경우가 많기 때문입니다. 

"직원들의 태만하고 불평불만이 많다"라는 게 의뢰인이 문제해결사에게 요청한 문제일 때, 다음의 근본원인 중에서 가장 핵심이 되는 근본원인이 무엇인지 추측해 보기 바랍니다. 분석 과정을 통해 참임이 증명된 가설들이라고 가정하겠습니다(아래의 내용은 가상이 아니라 제가 실제의 사례에서 인용한 것입니다).

1) 팀장이 CEO의 수행비서 노릇을 하느라 팀 업무를 등한시한다
2) 임원들이 회사보다 자기 사업부의 목소리만을 대변한다
3) CEO의 리더십에 대한 평가가 매우 나쁘고 매년 하락한다
4) 서비스에 실망한 고객들이 계약을 대거 해지하는 바람에 업무가 확 줄었다
5) IT시스템이 확충되어 허드렛일이 줄었다
6) 업무량이 늘지 않았는데 매년 일정 규모의 직원을 채용한다
7) '총대 맨 사람'에게 책임을 중하게 묻는 분위기가 팽배하다

무엇인지 감이 잡힙니까? 무엇이 근본원인 중의 근본원인일까요? "전반적으로 이 회사의 기강 체계가 무너졌네"라고 느꼈다면 여러분은 문제해결사로서 충분한 자질을 보유했다고 자찬해도 좋습니다. 엄연히 규정된 업무가 있는데 임의대로 일을 시키는 CEO, 회사 목표를 등한시하고 자기 밥그릇 챙기기에 연연하는 임원들, CEO의 리더십을 인정하지 않는 직원들, 업무분장과 인력 운용에 문제가 있음을 알아도 관성에 따라 경영하는 태도, 혁신의 의지가 매도 당하는 분위기, 이런 분위기 속에서 경쟁사보다 낙후되는 서비스의 질과 고객의 소리 없는 이탈 등은 회사의 관리시스템의 기반이 붕괴됐음을 알리는 지표들이기 때문입니다.

그리고 그 붕괴의 중심에는 CEO가 떡 하니 존재합니다. 바로 근본원인 중의 근본원인이 CEO라는 의미입니다. CEO의 리더십이 와르르 무너졌거나 애초부터 지극히 약한 탓에 관리시스템이 제대로 운영되지 못하고 임원과 직원들의 기강이 해이해졌으며 '대충주의' 마인드가 고객서비스의 질을 낮추는 등의 현상이 나타난 겁니다. 그리고 결국 직원들이 대체로 태만하고 불평불만이 많은 '나쁜 문화'가 형성되고만 거죠.

해결책을 얼른 던져주고 놀러가고 싶으시죠?


문제의 입장에서 보면 위의 7가지가 모두 근본원인이지만, 근본원인들 중에서도 다시 파고 들어가면 핵심이 되는 근본원인은 하나입니다. 이를 근본원인(Root Cause)과 구분하기 위해서 제 마음대로 '핵심원인(Core Cause)'이라고 명명하겠습니다. 일반적으로 문제헤결사가 의뢰 받은 문제 하나에 1~2개의 핵심원인이 존재합니다. 해석의 과정은 바로 이 핵심원인을 규명하기 위한 단계입니다. 

핵심원인(Core Cause) 
= 근본원인 중의 근본원인
= 핵심해결책(Core Solution)의 실마리를 제시하는 원인

해석이 올바르게 되면 한방에 모든 표적을 쓰러뜨릴 수 있는, 문제를 일시에 해결할 수 있는 '핵심해결책(Core Solution)'에 근접할 수 있습니다. 위의 예에서는 CEO의 리더십 부재가 핵심원인이므로 CEO의 리더십을 어떤 식으로든 확립하는 것이 핵심해결책의 근간을 이룰 겁니다. CEO를 교체하거나 리더십을 함양하도록 교육시키는 직접적인 방법도 있고, CEO가 임원들과 직원들을 효과적으로 관리할 도구(조직구조, 제도, 시스템 등)를 전면적으로 개편해서 CEO의 리더십을 강화하는 등의 간접적인 방법도 있습니다. 또는 직접적인 방법과 간접적인 방법을 적절하게 혼합하는 방법도 있겠군요.

그런데 아마 여러분은 의뢰인인 CEO에게 '당신이 바로 문제이니 변화해야 한다고 말하는 식의 해결책이 과연 가당키나 한가 의심할지도 모르겠습니다. 더욱이 CEO가 회사의 오너라면 여간한 강심장이 아니고는 이렇게 해결책을 내놓기 힘들 겁니다. 하지만 여기서는 핵심해결책이 물리적으로 실현 가능하냐의 여부는 나중에 다루기로 하고, 실현 가능하도록 만드는 것 역시 문제해결사의 능력이라고만 짧게 언급하고 넘어가겠습니다.

위의 예를 보고 어쩌면 여러분은 곧바로 'CEO가 근본원인의 핵심이구나'라고 간파했을지도 모르겠습니다. 항상 이런 예시처럼 쉬우면 좋겠지만 실제 문제해결사가 접하는 문제들은 핵심원인을 꽁꽁 감추는 바람에 쉽게 파악하기가 어렵습니다. 이럴 때는 '인과분석(Causality Analysis)'라는 시각적 도구를 사용해야 합니다. 이것에 대한 설명은 다음에(혹은 내일) 자세히 하겠습니다.

비가 많이 옵니다. 문제해결사 여러분의 보송보송한 하루 되십시오.

【한RSS로 편하게 제 블로그를 구독하세요】  


반응형

  
,

미궁에 빠진 문제해결사를 구하는 방법   

2009. 7. 13. 10:59
반응형

문제가 발생하는 원인이 무엇인지 파악하려면, 잠정적인 원인들을 이슈 트리(issue tree) 형태의 가설 목록으로 만든 후에 관찰과 분석을 통해 가설을 증명(실증)해야 합니다. 지난 글에서 계속 논의해왔던 내용이라 이제는 숙지돼 있으리라 생각됩니다.

그런데 문제의 원인을 밝히기 위한 가설들 중에서 옳은지 그른지 실증하기가 어려운 가설이 생기기 마련입니다. 'A 때문에 B가 발생한다'라는 가설이라고 할 때, 여러 가지 이유로 인해 A가 과연 B의 원인인지를 알아내기가 힘든 경우가 종종 발생합니다.

물리적으로 원인 파악이 어려운 경우가 있습니다. 만일 문제해결사가 "CEO의 공공연한 비리가 직원들의 나태한 근무태도를 야기했다"라는 말을 인터뷰에서 듣고 이를 가설로 설정했다고 하겠습니다. 문제해결사가 이 가설의 진위 여부를 증명하려고 한다면 'CEO'라는 물리적인 벽에 봉착할 가능성이 클 겁니다.

공공연하다고는 하지만 CEO의 비리를 캐려면 CEO 자신이나 측근들의 도움이 필요한데, 그들이 조사를완강히 거부할지도 모릅니다. 또한 의뢰인이 CEO라면 감히 "의뢰인인 바로 당신 때문에 직원들이 근무를 게을리하게 된 건 아닐까요?"라고 말하는 문제해결사는 그리 많지 않을 겁니다. 웬만한 강심장이 아니라면요. 문제해결사가 내부직원이라면 해고를, 외부 컨설턴트라면 계약 파기(혹은 Fee지급 거부)라는 불이익을 각오해야 하겠지요. 직원들 사이에서 CEO의 비리를 소리 높여 외치는데, 막상 조사하기가 불가능하니 문제해결사로서는 난감하기 그지 없을 겁니다.

문제의 바다로 나갑시다


자료와 근거가 부족하여 가설의 진위를 가리지 못하는 경우도 문제해결사가 심심찮게 봉착하는 어려움입니다. 이것은 '심증은 가는데 물증이 없다'라는 상황과 비슷합니다. 예를 들어 "경쟁사의 '저가 마케팅'으로 우리의 고객들이 많이 이탈했다"라는 가설이라고 가정해보죠. 고객 이탈의 원인 중 하나가 경쟁사의 공격적인 마케팅이라는 소리인데, 경쟁사가 정말로 마케팅을 공격적으로 한다는 증거와 그것이 고객들을 유인한다는 인과관계를 밝혀야 합니다.

문제해결사가 자신만의 조사 채널을 가동하거나 "요원'들을 풀어서 경쟁사의 마케팅 실태를 파악하는 노력을 기울여도 경쟁사(혹은 경쟁사로부터 서비스 받은 고객들이)가 비밀을 꽁꽁 감추는 바람에 마케팅 전략의 세부 내용은커녕 신문에 나올 법한 피상적인 데이터만 얻게 될지 모릅니다. '그렇게 할 것 같다'는 정도로 조사를 끝낼 수밖에 없다면 가설 실증은 미궁에 빠지고 맙니다.

이렇게 여러 이유로 가설의 검증이 난항에 봉착한다면 문제해결사는 어떻게 이를 타개해야 할까요? 논리적으로 완벽하지 않지만(오히려 논리적인 허점이 존재하지만), 가설을 우회적으로 검증하는 차선의 방법을 적용하면 어떨까요? 서론이 좀 길었지만 오늘은 이에 대해 알아보겠습니다. 그 방법의 얼개는 다음과 같습니다.

[가설] A 때문에 B가 발생한다
[미궁] A가 B의 원인인지 알기 어렵다

[가정] A가 사실이라면, 반드시 C가 나타나야 한다
[실증] C가 나타나는지 살펴본다

[결론] C가 나타나면, A가 B의 원인이다

'어, 이상하네?'라며 눈치 빠른 독자분들은 이 흐름에서 논리적인 문제점을 발견할 겁니다. "C의 원인이 A라고 해서, A가 B의 원인이라고 말하지는 못하잖습니까"라고 말입니다. 아래의 예를 보면 쉽게 알 수 있습니다.

[가설] 비 때문에 옷이 젖었다
[미궁] 비 때문에 옷이 젖었는지 알기 어렵다

[가정] 비가 오면, 반드시 땅이 젖는다
[실증] 땅이 젖었는가 살펴보자. 맞다. 땅이 젖었다

[결론] 땅이 젖었다면, 비 때문에 옷이 젖은 것이다

옷이 젖은 이유가 반드시 비 때문일까요? 일상에서는 '그렇겠지'라고 말하겠지만, 논리적으로는 옳지 않습니다. 옷이 방안에 곱게 놓여있다가 젖었다고 해보죠. 그렇다면 그 이유를 비 때문이라고 말할 수 있을까요? 아마도 방안에 있던 사람이 물을 먹다가 재채기를 하는 바람에 옷이 젖었을 가능성이 더 크겠지요. 따라서 이런 흐름의 가설 실증은 잘못된 결론을 이끌게 됩니다.

그러나 이 방법은 '비가 왔는지, 오지 않았는지' 파악하기 어려울 때에 차선책으로 문제를 해결할 수 있는 방법입니다. 비가 오는 동안 다른 일에 몰두해 있어서 비가 오는지 전혀 알지 못했다면, 그리고 누구에게 물어볼 수도 없다면, 대체 왜 옷이 젖었는지도 알아내기 어려울 겁니다. 이럴 때 땅이 젖었는지를 살펴보고서 옷이 젖은 이유가 바로 비 때문이구나, 라는 결론을 낸다면 '뭐, 그렇겠지'라는 반응을 얻어낼 수 있습니다.

물론 옷이 집안이 아니라 마당에 설치한 빨래줄에 걸려 있을 때에만 이런 흐름의 증명은 용인됩니다. 이 말은 위의 박스에서 실증과 결론 사이에 한정된 상황이 전제되어야 함을 의미합니다. 그 전제(premise)를 만족할 때만 결론이 옳다고 말할 수 있지요. 이 예에서의 전제는 '옷이 (지붕이 없는) 마당의 빨래줄에 걸려 있다'입니다.

[가설] 비 때문에 옷이 젓었다
[미궁] 비 때문에 옷이 젖었는지 알기 어렵다

[가정] 비가 오면, 반드시 땅이 젖는다
[실증] 땅이 젖었는가 살펴보자. 맞다. 땅이 젖었다

[전제] 옷은 마당의 빨래줄에 걸려 있다
[결론] 땅이 젖었다면, 비 때문에 옷이 젖은 것이다

이렇게 전제를 여러 개 두면 논리적 허점을 상당 부분 보완할 수 있습니다. 물론 이렇게 해도 논리의 결점을 완벽히 해소하기는 어렵습니다. 비가 오기 전에 누군가가 옷에 물을 끼얹었다면 옷이 젖은 최초의 원인은 비가 아니기 때문입니다. 하지만 완벽한 증명하기 어려울 때 문제해결사가 차선책으로 택할 수 있고, 보고 받는 사람을 충분히 납득시키기에는 좋은 방법입니다.

이 방법의 성공 포인트는 어떤 전제를 두느냐에 달렸습니다. 실무적으로 전제는 하나보다는 2~3개 정도가 설득력을 높이는 데 좋습니다. 그리고, 누구나(혹은 대부분이) 참이라고 여기는 사실이 전제로 채용될 때만 이 방법은 설득력을 얻습니다. 전제 그 자체가 별도의 실증을 거쳐야 하는 것이라면 문제해결사가 할일도 많아질 뿐더러 문제해결의 흐름도 복잡해서 상대방을 이해시키기 어렵습니다. 이 점을 기억해 두십시오.

이 방법대로 "경쟁사의 '저가 마케팅'으로 우리 고객들이 많이 이탈했다"라는 가설을 풀어보면 다음과 같을 겁니다. 노파심이지만 어디까지나 예시이니 실제의 문제를 해결할 때는 내용이 다를 거라는 점을 언급해 둡니다.

[가설] 경쟁사의 저가 마케팅 때문에 우리 고객들이 많이 이탈했다
[미궁] 경쟁사가 정말로 저가 마케팅을 하는지 알기 어렵다

[가정] 저가 마케팅을 한다면, 보통 부품회사에게 낮은 납품단가를 요구한다
[실증] 부품회사에게 납품단가 인하를 요구하는지 살펴보자. 맞다. 사실이다

[전제 1] 우리 업계의 비용구조는 재료비가 60% 이상을 차지한다
[전제 2] 우리회사는 가격을 내릴 때 재료비 절감을 최우선으로 고려한다
[전제 3] 경쟁사도 우리와 입장이 같을 것이다 

[결론] 부품회사에게 낮은 납품단가를 요구하고 있으니, 경쟁사의 저가 마케팅은 사실이다

이 예는 경쟁사가 저가 마케팅을 시도하는지 알기 어렵고, 대신에 부품회사의 납품단가 정보는 비교적 용이하게 파악할 수 있을 때를 가정한 것입니다. 여러분이 문제해결사라고 생각하고 문제해결사로부터 이렇게 보고를 받는다면 '아, 정말 그렇군'이라고 동의하겠습니까? 논리를 일일이 따지는 깐깐한 사람이라면 허점을 날카롭게 지적하면서 자리를 파할지도 모르겠군요. "재료비를 깎지 않고 운영비용(임금, 광열비 등)을 절감해서 가격을 내릴 수 있는 것 아니냐?"라고 말입니다.

누차 언급했듯이 이 방법은 논리적으로 완전무결한 방법은 아닙니다. 그러나 문제해결의 목적은 완벽한 논리 체계를 갖추는 데 있지 않습니다. 물론 최대한 논리적이려고 노력해야겠지만, 해결책을 통해 조직(혹은 개인)의 변화를 추구하는 것이 문제해결의 목적임을 잊지 말아야 합니다. 이런 관점에서 볼 때, 위에서 설명한 방법은 상당히 유용하고 설득력이 있습니다. 다만 문제해결 과정에서 미궁에 빠져 더 이상 진전되기 어려운 상황에 봉착했을 때 최후의 카드로 선택해야 함을 기억해 두기 바랍니다.


【한RSS로 편하게 제 블로그를 구독하세요】  


반응형

  
,

바다를 그리는 마음   

2009. 7. 13. 00:28
반응형

소매물도에 갔을 때 찍은 사진을 보고 그린 그림입니다


바다로 갈 때마다 난 설레인다. 밤새 차를 달려갔던, 다양한 얼굴의 바다들. 부윰하고 무거운 회색하늘 아래 꿈틀거리던 파도와 하얀 포말과 갈매기가 이따금 수평선을 가로지르는 바다의 풍경은 언제나 나를 사로잡는다.

때로는 배낭 속에 1/2 전지 크기의 스케치북과 잘 깍은 세자루의 4B연필을 넣고 곧장 바다로 달려가 바다의 얼굴을 그리고 싶은 욕망에 사로잡힌다. 솜씨좋은 그림은 아니지만 내 그림 속에 바다의 냄새를 가득 담아 오고싶어 발가락이 간지럽다.

그림 오른편 아래에는 귀에 대면 바람소리가 들리는 소라고동을 그려 넣고, 위편엔 갈매기들의 낮은 날갯죽지를 그려 볼까, 멀리 수평선을 향해 이국으로 떠나는 배의 뒷모습을 그려 볼까? 바다를 마주보고 앉아 그림을 그리는 내 모습도 그릴 수 있다면....그렇게 지난 날의 나를 용서받을 수 있다면...

머지않아 바다에 가보련다. 언제나 나를 용서해 주는 바다를 스케치하며 바다와 이야기하련다. 무슨 이야기인지는 좀 비밀이다.


반응형

'유정식의 서재 > [사진] 그리고 삶' 카테고리의 다른 글

inuit님의 출판기념회 '요트 파티'를 다녀와서  (10) 2009.09.27
일식 사진을 찍다  (8) 2009.07.22
비교체험, 극과 극!  (10) 2009.06.21
졸작 전시회  (10) 2009.06.20
사진 전람회 : part 2-2  (6) 2009.06.14

  
,

갈릴레오도 울고 가는 '좋은 분석'에 대해   

2009. 7. 10. 13:00
반응형

이미 언급했듯이 실증은 가설의 참/거짓 여부를 증명하기 위한 과정입니다. 과학에서 말하는 '실험'이 실증이라면, 문제해결과정에서는 '분석'이 실증에 해당됩니다. 따라서 문제해결사가 어떻게 분석을 진행할까를 고민할 때 과학의 실험 설계 방법을 응용하는 것이 도움이 됩니다. 오늘은 이에 대해 알아보겠습니다.

과학에서의 실험 설계는 다음과 같은 과정을 거칩니다. A라는 가설이 이미 수립된 상태라고 가정하겠습니다. 과학이라고 말하면 굉장히 어렵다는 선입견을 가지는데요, 실험 설계 과정 자체는 매우 간단합니다.

1) 실험 대상을 선정한다
2) 실험 방법을 정한다
3) 결과 측정 방법을 정한다

르네상스 시대의 과학자 갈릴레오 갈릴레이가 피사의 사탑에서 실시했다고 알려진 '물체 낙하 실험'은 근대 과학사에서 중요한 의미를 가집니다. 과학에서 실험이 얼마나 중요한지 일깨우는 일화이기 때문입니다. 알다시피 갈릴레오는 '물체의 무게가 달라도 동일한 속도로 낙하한다'라는 가설이 맞는지 틀리는지를 낙하 실험을 통해 실증하려 했습니다.

그 시대의 사람들은 무거운 물체가 가벼운 물체보다 빨리 떨어진다고 주장한 아리스토텔레스의 이론을 신봉했습니다. 아리스토텔레스는 물체가 땅으로 떨어지는 이유는 우주에서 정당한 자기 위치를 찾아가기 때문이고, 물체가 하늘로 날아가는 이유는 물체 앞에 있던 공기가 물체 뒤로 순식간에 자리를 이동하기 때문이라는, 지금 생각하면 황당하기 그지 없는 주장을 폈습니다. 

아리스토텔레스는 100파운드 짜리 공이 100큐빗(약 53미터)에서 떨어져 땅에 닿는다면 1파운드 짜리 공은 1큐빗(약 53센티미터)의 거리를 낙하할 것이라고 장담했습니다. 실험도 하지 않은 채 말입니다. 그럼에도 그의 이론은 그가 죽은 후 2천년이 지났는데도 여전히 중세인들의 사고를 지배했습니다.

갈릴레오가 실제로 낙하 실험을 했는지에 관해서는 역사학자들 사이에서 논란이 분분합니다. 하지만 여기서는 실험 설계를 어떻게 하는지를 배우는 게 목적이므로 논란 여부는 무시하겠습니다. 비비아니가 쓴 전기에 나온 갈릴레오의 실험 내용을 실험 설계 과정에 대입해 보겠습니다.

1) 실험 대상을 선정한다
알다시피 갈릴레오는 모양이 똑같지만 무게가 다른 금속공 2개를 실험 대상으로 삼았습니다. 조수들이 탑의 꼭대기까지 공을 들고 가느라 낑낑댔다고 비비아니의 전기는 말합니다.

2) 실험 방법을 정한다
동시에 떨어지는지, 아니면 시차를 가지고 떨어지는지 육안으로 관찰하려면 충분히 높은 곳에서 떨어뜨려야 했습니다. 그때는 정밀한 측정 장치가 없었으니까요. 그래서 피사의 사탑을 선택했죠. 사람들의 관심을 주목시키는 효과도 얻기 위해 피사에 가장 높은 곳에 올라가 사람들이 지켜보는 가운데 두 개의 금속공을 낙하시키기로 한 것이죠.

3) 결과 측정 방법을 정한다
두 개의 금속공이 정말로 동시에 떨어졌는지를 측정해야 가설의 옳고 그름을 가릴 수 있겠죠. 언급했듯이, 측정 도구가 변변치 않았기 때문에 육안으로 측정할 수밖에 없었습니다. 갈릴레오는 군중의 '눈'들이 결과를 측정하는 방법이라 여겼던 게 분명합니다. 실험을 하기 전에 관중들을 끌어모았으니까요. "자, 여러분이 직접 관찰해 보십시오!"

물체 낙하 실험은 간단한 실험이라서 실험 설계 방법도 단순하다고 생각할지 모르지만, 아무리 복잡하고 까다로운 실험도 이 3단계 실험 설계 과정을 벗어나지 못합니다.

'침대는 과학이다'는 가설은 참일까요, 거짓일까요?


이제 문제해결의 관점에서 분석 설계 과정을 논의하겠습니다. 위의 실험 설계 과정을 차용하면, 분석 설계 과정은 다음과 같습니다.

1) 분석 대상을 선정한다
2) 분석 방법을 정한다
3) 분석 결과에 대한 표현 방법을 정한다

'실험과 분석이 엄연히 다른데 왜 차용을 하는가?'라는 의문을 던질지도 모르겠군요. 맞습니다. 실험과 분석은 동일하지 않습니다. 과학의 실험에서는 실험자가 실험 대상을 실험군과 대조군으로 나눕니다. 그리고 실험군에게는 뭔가의 조치를 취하고, 대조군에는 조치를 취하지 않습니다. 이렇게 해서 양쪽에서 나온 결과가 확연히 다름을 보임으로써 가설을 증명합니다. "조치를 취하니까 이렇게 다르지 않습니까? 그러니 가설은 참(혹은 거짓)입니다"라고 말입니다.

분석이 실험이 아닌 이유는 분석 대상을 '분석군'과 '대조군'으로 나누지 않을 뿐더러 분석군에게 조치를 취하지도 않습니다. 실험처럼 행해지는 분석이 있긴 하지만 문제해결 과정에서는 자주 벌어지지 않습니다. '급여가 작아 직원들이 불만이 크다'라는 가설을 증명하려고 분석군에는 급여를 올려주고 대조군은 그대로 유지한 후에 불만의 크기를 비교 조사하면 좋겠지만, 현실적으로 이런 모험을 감행할 조직은 드뭅니다. 만약 급여가 직원들의 불만과 아무 상관이 없다는 결론을 얻었다면 이미 올려준 급여를 다시 내리기가 여간 어렵지 않겠죠.

따라서 분석은 실험을 통한 가설 실증이라기보다, 관찰과 측정을 통한 실증이라고 말해야 정확합니다. 분석과 실험을 동일한 개념으로 보기 어렵지만, 분석이 문제해결 과정에서 실증의 과정이므로 과학에서의 실증 과정인 실험과 동일한 위상으로 간주할 수 있습니다. 그래서 실험 설계 과정을 차용하여 분석 설계 과정을 알아보자는 겁니다.

위의 3번째 단계가 실험 설계 과정과 다르다는 것을 유의하십시오. 측정 방법이 아니라 '표현 방법'입니다. 문제해결의 세계에서는 분석 절차와 방법을 정할 때 측정 방법도 동시에 결정되는 것이 대부분입니다. 또한 해결책이 의뢰인에게 효과적으로 전달되어 실행되도록 하는 것이 문제해결의 최종목적이므로 분석 결과를 어떻게 효과적으로 표현하느냐가 중요한 관건입니다. 따라서 분석을 설계할 때부터 결과를 어떻게 하면 깔끔하게 표현할지 고려해야 합니다.

'직원들이 태만하다'라는 가설을 실증하기 위해 분석을 실시한다고 가정하겠습니다. 그렇다면 여러분은 위의 3단계 분석 설계 과정을 자동적으로 머리 속에 떠올려야 합니다. 무엇을(분석 대상) 어떻게(절차/방법) 분석하고 어떻게 표현할지를 구상해야 합니다. 여러 형태로 분석을 설계할 수 있겠지요. 다음의 예가 그 중 하나입니다., 예를 들어 다음과 같은 방법으로 분석을 진행할 수 있습니다.

1) 분석 대상을 선정한다
회사 내에도 여러 단위조직이 있습니다. 이 가설을 어느 조직을 대상으로 검증할지를 선정합니다. 분석 대상의 범위는 문제 정의시에 의뢰인에 의해 이미 정해지지만 경우에 따라서 각 가설에 따라 다르게 지정할 경우도 있습니다.

2) 분석 방법을 정한다
이 가설을 증명하려면 직원들의 '태만함의 정도'를 측정하기 위한 방법을 연구해야 합니다. 태만함의 정도는 경우에 따라 매우 자의적으로 해석되므로 분석하는 방법을 정하기가 녹록하지 않습니다. 최대한 객관적인 방법을 택해야 하는데요, 스톱워치를 가지고 직접 체크하는 분석, 업무량 조사서를 작성하게 하는 분석, 직원들이 산출하는 아웃풋의 질과 양을 따져보는 분석 등을 생각할 수 있습니다. 

3) 분석 결과에 대한 표현 방법을 정한다
어떤 분석 방법을 사용했는지에 따라 효과적으로 표현하는 방법도 달라집니다. 만일 업무량 조사서를 가지고 하루 동안 어떤 업무에 얼마만큼의 시간을 소요하는지 분석했다면, 근무시간(8시간)과 대비하여 실제업무시간을 표현하기 위해 워터폴(waterfall) 차트 형태의 그래프가 무난합니다. 또는 직원별로 유휴율 데이터를 표로 나타낼 수도 있습니다. 
누구나 즉각적으로 이해가 가능하도록 분석 결과를 표현했는지가 관건입니다. 분석을 실시하기 전에 분석결과를 어떻게 표현할지를 미리 구상하기 바랍니다.

위의 '2) 분석 방법을 정한다'를 좀더 구체적으로 설명하겠습니다. 

'좋은 분석'이 되려면 첫째, 반증가능성을 꼭 따져봐야 합니다. 지난 글에서 좋은 가설이 되려면 가설 그 자체가 반증가능하도록 설정되어야 한다고 언급했습니다. 분석도 마찬가지입니다. 잠정적으로 선택된 하나의 분석 방법이 가설의 입증과 반증이 동시에 가능한지의 여부를 따져봐야 합니다. 만일 그 분석 방법이 오로지 가설을 입증하는 데에만 초점이 맞춰져 있다면, 반증하기 위한 또다른 분석 방법을 찾아내어 균형을 이루도록 해야 합니다.

예를 들어 '잡담 시간'을 측정하는 분석 방법으로 직원들의 태만함 여부를 가리겠다고 하겠습니다. 아무리 열심히 일하고 생산성이 높은 직원들도 잡담을 어느 정도 하기 마련이고 또 잡담 속에서 업무에 관한 아이디어를 얻기도 합니다. 잡담 시간을 측정하면 오로지 '직원들이 태만하구나'라는 생각만 들게 됩니다. 잡담 그 자체가 부정적인 뉘앙스를 띠기 때문입니다. 측정하는 자가 잡담을 부정적인 요소로만 본다면 '잡담을 많이 하더라도 저건 직원들의 태만함과는 무관해'라는 반증으로 생각을 전환하기 어렵겠죠. 그리므로 '잡담 시간 측정'이라는 분석 방법은 폐기되거나 반증가능한 다른 분석 방법으로 보완돼야 합니다.

둘째, 가설을 '한 방에' 입증하는 분석이 좋은 분석입니다. 분석을 했는데 뭔가 미진해서 남들에게 공격 당할 것 같다는 느낌이 들면 좋은 분석 방법이 아닙니다. 팀장들과 인터뷰를 해서 직원들의 태만한지를 알아보는 분석 방법을 취했다고 가정하겠습니다. 팀장들은 항상 직원들의 동태를 살피고 아웃풋을 점검하는 위치에 있기 때문에 직원들의 태만함을 어느 정도 감지할 겁니다. 하지만 팀장들의 말을 토대로 보고서를 썼다가는 직원들의 원성에 직면합니다. 직원 입장에서 전혀 고려하지 않았다는 이유겠죠. 

이렇게 분석 결과가 공격을 받으면 아무리 좋은 해결책이 나와도 수용되기 어렵습니다. 분석 방법을 택할 때는 '한 방에 하나씩'이라는 말을 기억하십시오. 해당 가설을 입증하거나 반증하는 분석 방법들을 가능한 한 많이 생각해 본 다음에, 가설을 한방에 실증할 만한 방법 1~2가지를 골라내서 구체적인 분석 절차를 수립하기 바랍니다.

셋째, 동일하게 분석 결과가 재현되어야 좋은 분석입니다. 과학자가 연구 결과를 논문으로 발표하면 자신이 어떤 절차와 방법으로 실험을 수행했는지 기록해야 합니다. 자신의 연구가 사실임을 증명하기 위해서입니다. 만일 다른 사람이 똑같이 실험을 재현해보니까 엉뚱한 결과가 나오거나 아예 결과가 나오지 않는다면 그의 연구는 의심의 대상이 되거나 급기야 논문 수록이 취소되기까지 합니다(황우석 사태를 떠올려 보세요).

분석은 문제해결의 세계에서 행해지는 실험이므로, 절차에 따라 분석을 반복하면 동일한 결과를 얻을 수 있어야 합니다. 분석할 때마다 오차의 범위를 벗어나는 결과를 얻는 분석 방법이라면 당초에 가설을 증명했더라도 폐기해야 마땅합니다. 예를 들어 '스톱워치를 가지고 직원들의 잡담시간을 측정'하는 분석 방법은 측정하는 사람의 자의적인 해석('아 저건 잡담인가 아닌가')이 크게 반영되므로 비슷한 분석 결과를 기대하기가 어려울 겁니다. 그래서 분석 방법을 최초 선택할 때 머리 속으로 가상의 분석을 해봄으로써 분석 결과가 재현될지를 충분히 따져봐야 하고, 분석을 하고 나서는 한두 차례의 검증을 꼭 거쳐서 이론의 여지를 차단해야 합니다.

정리하면, 좋은 분석의 조건은 다음과 같이 3가지입니다.

1) 반증가능성을 지닌다
2) 가설을 한방에 입증한다
3) 동일한 결과를 재현한다

지금까지 과학의 실험 설계 과정을 참고해서 바람직한 분석 설계 과정을 알아봤습니다. '자, 봐라. 꼼짝 못하지?'라고 '적확한' 결과를 보이는 실험이 좋은 실험이듯이, 문제해결 과정을 지켜보는 사람들이 감히 반박하지 못하도록 만드는 분석이 좋은 분석입니다. 문제해결사 여러분들은 부디 갈릴레오도 울고 갈 분석 방법을 선택해서 의뢰인에게 '꼼짝마!'라고 외치는 희열을 경험하기 바랍니다.

【한RSS로 편하게 제 블로그를 구독하세요】  


반응형

  
,

매트릭스, 숨겨진 문제의 본질을 찾아라   

2009. 7. 9. 10:00
반응형

오늘은 문제해결 과정에서 많은 공을 들이는 '분석'에 관해 이야기해 보겠습니다. 분석이라고 말하면 여러분의 머리 속에는 어떤 이미지가 그려집니까? 어떤 분은 엑셀(excel) 시트를 떠올리고 다른 분은 막대 그래프나 선 그래프를 떠올릴 거라 짐작됩니다. 그것들이 분석의 과정에서 여러분이 손으로 직접 다루는 도구이고 아웃풋이기 때문입니다.

하지만 분석은 하나의 과정이지 눈에 보이는 결과물이 아닙니다. 분석을 한마디로 정의하면 가설의 참/거짓 여부를 정량적이거나 정성적인 방법으로 증명하는 과정입니다. 인터뷰가 관찰의 도구이기도 하지만 가설의 진위 여부를 가리는 실증 도구로도 쓰인다고 언급했는데요, 인터뷰만 가지고 완벽하게 증명이 되지 않는 가설들은 분석이라는 관문을 통과하면서 참 또는 거짓의 꼬리표를 확정적으로 달게 됩니다.

분석에는 여러 가지 도구들이 동원됩니다. 그래프 분석, 통계 분석, 설문 분석 등 매우 다양한 도구들이 가설에 따라 제각각 적용되므로 '분석이란 모름지기 이렇게 하는 것이다'라고 꼬집어 말하기가 어렵습니다. 지난 글에서 언급한 이슈 트리 모양의 '가설 목록'에 근거해서 가설별로 참과 거짓 여부를 밝혀내는 데에 가장 효과적인 분석 도구를 골라야 합니다.

이 때 한 가지 주의할 점은 가설을 참이라(혹은 거짓이라)가정한 상태에서 분석을 시도하지 말아야 한다는 것입니다. 이런 선입견 때문에 가설이 참(혹은 거짓)임을 증명하는 방향으로 분석이 왜곡되기 쉽기 때문입니다. 분석 도구를 선택할 때도 이 점을 유의해야 합니다.


분석 도구가 아주 다양하기 때문에 모두를 다 설명한다는 건 불가능하고 또 그럴 필요도 없기 때문에 '무엇을 말씀드릴까' 고민을 좀 했습니다. 그러다가 '아, 바로 그거야!'란 아이디어가 생겨나더군요. 그것은 바로 2X2 매트릭스입니다.

아래의 그림처럼 두 개의 축이 있고 4개의 분면으로 나뉜 모양을 한 2X2 매트릭스는 모양이 굉장히 단순합니다. 그렇지만 그것이 내뿜는 '공력'은 상상 그 이상임을 많은 분들이 간과합니다.

 
2

 
3


2X2 매트릭스는 다음과 같이 3가지의 장점이 있습니다. 

1) 복잡한 현상을 단순화한다
2) 문제의 현상을 일목요연하게 보여준다
3) 문제해결의 바람직한 방향을 제시한다

첫째, 2X2 매트릭스는 문제의 복잡한 현상을 단순화해서 표현합니다. 이것이 가장 큰 장점입니다. 그런데 여기서 '단순화'라는 말의 의미를 오해하지 말기 바랍니다. 복잡한 것을 단순하게 표현하면 문제의 '원형'이 훼손되는 것 아니냐, 단순화시킨 대상을 가지고 구상한 해결책이 효과적일 거라고 어떻게 장담하느냐, 라는 의심이 들지도 모릅니다. 그러나 단순화는 문제해결 과정에 피해야 할 것이 아니라 오히려 적극적으로 권장해야 할 과정입니다.

여러분이 나무를 보고 그림을 그린다고 상상해 보십시오. 먼저 줄기를 그린 다음에 가지를 치고 가지에 매달린 잎사귀들을 그려 나갑니다. 다 완성된 그림과 실제의 나무를 서로 비교하면 어떻습니까? 여러분이 뛰어난 '극사실주의' 화가가 아니라면 여러분의 그림은 실제의 나무를 단순화한 형태일 겁니다. 모양도 다르고 색깔도 다릅니다. 그러나 여러분이 그림을 아주 엉망으로 그리지 않았다면 누군가가 그림을을 보고 '아, 이 그림은 나무를 그린 것이구요'라고 말할 겁니다. 왜냐하면 여러분의 그림이 실제의 나무는 아니지만 줄기, 가지, 잎사귀 같은 나무의 특징을 고스란히 담아놓았기 때문입니다. 

단순화는 바로 이와 같습니다. 복잡하게 보이는 현상이지만 그 안에 존재하는 특징을 잘 잡아내어 표현하면 어떤 현상을 이야기하는지 누구나 알도록 만드는 것이 단순화입니다. 문제와 현상의 핵심만을 간결하게 표현한다는 의미입니다. '단순화하는 과정에서 떨어져 나간 것들 속에 핵심이 담겨있으면 어떻게 하나'라는 완벽주의자적인 태도를 견지한다면 문제해결사로서 바람직하지 않습니다. 

단순화를 용인하지 않을 것같은 극사실주의 화가나 사진사들조차도 3차원의 나무를 2차원에 투영하는 단순화를 통해 작품을 만듭니다. 논의가 잠시 옆으로 흘렀는데요, 2X2 매트릭스는 관찰이나 분석의 대상에 내재된 핵심을 꺼내어 단순화함으로써 문제해결을 용이하게 만드는 도구 중에 막강한 힘을 지녔습니다.

대상의 본질과 핵심을 훼손하지 않고 단순화가 잘 됐는지 검토하려면 만들어진 2X2 매트릭스가 거꾸로 대상을 잘 설명하는지를 검토하면 됩니다. 그림으로 비유하면, 나무를 그린 그림이 실제의 나무를 충분하게 나타내는지를 살펴보라는 말과 같습니다. 만일 실제의 나무 줄기는 상당히 두꺼운데 그림 속 나무의 줄기는 가늘다면 '이 그림이 저 나무를 그린 게 맞아?'란 의심을 받습니다. 

마찬가지로 2X2 매트릭스가 문제의 현상을 일부만을 설명한다면 '문제의 핵심은 전혀 다루지 못했군'이라는 공격을 받습니다. 그러므로  2X2 매트릭스를 그릴 때 뿐만 아니라, 복잡한 대상을 단순화한 후에는 항상 '검산'을 반드시 해야 함을 기억해 두기 바랍니다. 단순화한 2X2 매트릭스로 본래의 현상을 항상 되짚어 봄으로써 2X2 매트릭스를 갱신해 가야 합니다.

둘째, 2X2 매트릭스는 문제의 현상을 일목요연하게 보여줍니다. 핵심요소 2개를 하나는 가로축에, 또 하나를 세로축에 세운 다음 각 사분면의 의미만 살펴보면 '문제가 이런 여러 양상을 보이는구나'라고 보는 사람들이 빨리 이해합니다. 말로 주저리주저리 서술하면 의사소통의 과정에서 이해가 잘 안 될 뿐더러 오해가 발생할 가능성이 큽니다. 2X2 매트릭스로 간단하게 표현하면 그럴 위험을 대폭 줄일 수 있습니다. 2X2 매트릭스는 단순화의 효과도 크지만 문제를 '시각화'하는 효과도 뛰어납니다. '시각화'의 개념은 아주 중요하기 때문에 다음에 별도로 다룰 예정입니다.

셋째, 2X2 매트릭스는 문제해결의 바람직한 방향을 제시합니다. 매트릭스를 꼼꼼히 살펴보면 '현재 우리가 문제일 수밖에 없구나'라는 자괴감이 들지만 '현 상황이 이렇게 부정적이니 앞으로 이러 방향으로 가야겠구나'라는 통찰을 동시에 얻을 수 있습니다. 아래의 매트릭스를 보십시오.


위의 매트릭스는 '직원들이 태만하고 불평불만이 많다'라는 문제의 현상을 표현한 것입니다. (설명을 위한 것이니 조금 작위적이라 느껴지더라도 양해 바랍니다.) 현 상황이 3사분면에 위치한다면 '직원들이 팀장의 리더십을 부정적으로 평가하고, 직원들에게 주어진 업무량이 충분치 않아서 생산성이 낮으며, 이로 인해 직원들의 태만과 불평불만이 극대화되었다'라고 해석할 수 있습니다.

그렇다면 또 이렇게도 해석이 가능합니다. '팀장의 리더십을 끌어올리고 직원들에게 충분한 업무량을 부여한다면 직원들의 태만함과 불평이 적어질 가능성이 있겠구나'라고 말입니다. 즉 3사분면에서 1사분면으로 옮겨가야 한다는 당위성을 제안할 수 있습니다. 그리고 정기적으로 팀장 리더십에 관한 의견을 물어보고 생산성을 측정함으로써 직원들의 태만함과 불평불만이 얼마나 감소되는지 그 모습을 2X2 매트릭스로 평가해 볼 수 있겠지요.

복잡한 현상을 단순화하고 시각화하며 동시에 문제해결의 통찰력이 큰 2X2 매트릭스를 만들려면 어떻게 해야 할까요? 열쇠는 바로 두 개의 핵심요소, 즉 두개의 축을 무엇으로 설정하느냐에 달렸습니다. 문제해결사가 다루는 문제의 내용이 다르고 분석의 대상도 매번 바뀌기 때문에 '이것들은 고정적으로 항상 축으로 사용된다'라고 말하기 어렵습니다. '축 설정'은 대상의 본질을 얼마나 잘 꿰뚫어 보느냐는 문제해결사의 능력에 달렸지요.

하지만 자주 쓰이는 2X2 매트릭스의 형태가 있으니, 참고하기 바랍니다.

- 성장 vs 이익 매트릭스
- 비용 vs 편익 매트릭스
- 중요도 vs 시급도 매트릭스
- 중요도 vs 난이도 매트릭스
- 영향도도 vs 불확실성 매트릭스   (시나리오 플래닝에서 쓰는 매트릭스)
- 품질 vs 가격 매트릭스
- 결과 vs 과정 매트릭스
- SWOT 매트릭스 (기회/위협  vs  강점/약점)
- BCG 매트릭스 (시장점유율 vs 시장성장률)

위의 예는 어디까지나 자주 쓰이는 것일 뿐 문제해결 때마다 항상 써야 하는 것은 아닙니다. 문제해결사는 복잡한 문제를 어떻게 하면 두 개의 축으로 단순화할 수 있을까를 항상 고민해야 하고, 경험을 통해 만든 2X2 매트릭스들을 데이터베이스화해서 항상 꺼내보고 갱신하는 습관을 들여야 합니다.

좋은 2X2 매트릭스를 그리려면, 첫째 두 개의 축이 서로 배타적이어야 합니다. 예를 들어 하나의 축을 '장기(長期)'로, 다른 축을 '단기(短期)'로 설정했다면, 이는 좋은 매트릭스가 아닙니다. 서로 '기간'이라는 차원이 동일하기 때문입니다. 서로 다른 축으로 만들 것이 아니라, '기간'이라는 축에 '단기'와 '장기'로 설정하면 그만입니다.

그리고 '업무량 vs 생산성' 매트릭스 역시 좋은 매트릭스는 아닙니다. 생산성은 업무량을 업무시간으로 나눈 값이므로 이미 업무량이라는 요소가 반영돼 있기 때문에 매트릭스는 '동어반복'의 오류에 빠집니다. 각 축의 내용을 따져보고 서로 공유하는 부분이 없도록, 즉 서로 배타적이 되도록 두 개의 축이 설정됐는지 항상 검토하기 바랍니다.

둘째, 두 개의 축은 비중이 서로 비슷해야 합니다. 이 말은 중요도가 유사해야 한다는 말입니다. '고객만족을 최대한 끌어올리려면 어떤 냉장고를 만들어야 하나?'라는 문제를 풀어야 한다고 가정하겠습니다. 이때 문제해결사가 하나의 축을 '가격'으로, 다른 축을 손에 느껴지는 '질감'으로 해서 매트릭스를 그렸다면 어떨까요? 옳은 것고 같고 틀린 것도 같습니다. 문제해결사는 두 개의 축이 고객만족이라는 관점에서 얼마나 중요한지를 따져보고 중요도의 크기가 서로 엇비슷하다고 판단 내린 후에야 이 매트릭스를 그릴 수 있습니다. 고객들이 '질감'에 대해 아무런 니즈가 없다면 이 매트릭스는 제품 개발에 대한 잘못된 방향을 제시하고 말겠지요.

그렇다면, 대상 속에 숨은 수많은 본질 중에서 어떤 것이 가장 중요한지 어떻게 끄집어낼 수 있을까요? 줄기와 가지, 그리고 잎사귀가 나무의 특징을 말해준다면, 그것들을 어떻게 찾을 수 있을까요? 직감 말고 다른 방법은 없을까요? 이는 수많은 대안 중에 가장 좋은 대안을 선택하는 과정과 동일한 방법을 사용하는데요, 나중에 설명할 예정이니 기다려 주십시오(나중에 설명할 것이 엄청 많군요. -_-';)

오늘은 분석 과정에서 자주 쓰이고 또 자주 활용되어야 하는 2X2 매트릭스에 대해 알아봤습니다. 문제의 대상이 무엇이든 항상 2X2 매트릭스를 활용하려면 습관을 들이십시오. 2X2 매트릭스를 사용해서 '트위터 사용의 어려움'을 설명한 inuit님의 글을 읽어보면, 얼마나 2X2 매트릭스가 유용한지 깨달을 겁니다.

다음 포스트에서는 무슨 이야기를 할까 고민 중입니다. 혹시 문제해결 과정과 기법 중에 '이것을 알고 싶다'는 아이디어가 있으면 가차없이(?) 댓글 남겨주시면 고맙겠습니다.


【한RSS로 편하게 제 블로그를 구독하세요】  


반응형

  
,