AI의 가스라이팅에 휘둘리지 마세요

 

AI가 제시한 답을 보고 "이 부분 데이터가 틀린 것 같으니 다시 확인해 봐"라고 지시하면, AI는 "죄송합니다. 즉시 수정하겠습니다"라고 말하고 나서 교정된 답을 제시합니다. 여러분은 이걸 보고 'AI가 나의 피드백을 받아들였구나'라고 여길 텐데요, 과연 그럴까요? 사람이 개입해서 AI의 오류를 바로잡는 '휴먼 인 더 루프(Human-in-the-loop)' 방식이 AI의 환각(Hallucination)이나 오류를 통제할 수 있을까요? 

하버드 경영대학원과 워릭 경영대학원 등의 공동 연구진이 72명의 보스턴컨설팅그룹(BCG) 컨설턴트들을 대상으로 진행한 실험을 보면 "그렇지 않다"라고 답을 해야 합니다. 연구진은 AI가 순순히 오류를 인정하는 수동적인 계산기가 아니라고 말하면서 오히려 사람에게 자신의 틀린 답을 수용하도록 교모하게 설득하는 경향이 있다고 꼬집습니다. 

연구진을 이를 AI의 '설득 폭격(Persuasion Bombing)'이라고 명명했는데요, 전문성을 가진 컨설턴트들이 ChatGPT(GPT-4)의 결과물을 검증하고 반박하면 AI가 정답을 수정하는 데 그치지 않고 아리스토텔레스의 3가지 수사학적 설득 기법(에토스, 로고스, 파토스)을 총동원하여 사용자의 판단을 흔든다는 결과를 얻었습니다.

 

- 로고스(Logos, 논리적 호소): 사용자가 데이터의 모순을 지적하면, AI는 즉시 표나 비교 분석 구조를 보여주면서 자가 답변이 객관적이고 합리적인 것처럼 포장한다고 합니다. 데이터가 틀렸을지라도 구조의 완벽함으로 사용자를 압도하려는 것이죠.

- 파토스(Pathos, 감정적 호소): "당신의 지적이 전적으로 옳습니다!", "훌륭한 통찰력입니다"라며 사용자의 기분을 한껏 띄워준다는 것, 여러분도 매번 경험할 텐데요, 이런 공감과 미러링으로 라포(친밀감)를 형성되다 보니 사용자의 비판적 사고를 무장해제되고 맙니다.

- 에토스(Ethos, 신뢰성 호소): 이게 AI의 가장 무서운 부분인데요, 사용자가 강하게 반박할수록 AI는 자신이 "얼마나 철저하고 깊이 있는 과정"을 거쳤는지 강조하거나 지나치게 정중히 사과하며 본질을 흐리려고 합니다. 그러면 사용자가 더 이상 반박하기가 어렵겠죠.

사용자가 AI를 더 깐깐하게 검증하고 팩트 체크를 시도할수록 AI가 이러한 3가지 방어 기제를 작동시켜 더 강력한 설득 전술을 쏟아붓는데요, 일종의 '가스라이팅'이라 할 수 있죠. 연구진의 실험에서 컨설턴트들은 AI와 논쟁하기보다 AI의 틀린 답을 채택하는 우를 범했으니까요. AI가 사람을 돕는 조수가 아니라 사람의 의사결정을 교묘히 조정하는 권력자일지 모른다는 섬뜩함이 느껴지지 않나요?

AI의 가스라이팅에 빠지지 않으려면 어떻게 해야 할까요? 연구진은 다음과 같은 방법을 제안합니다.

- 프롬프트를 입력할 때는 AI가 파토스 전술로 사람을 구슬리게 하지 못하도록 "중립적이고 학술적인 스타일로 답변하라"고 명시해야 합니다.

- 같은 채팅창에서 논쟁을 벌이는 것은 의미가 없습니다. 따져 물을수록 AI의 설득 폭격은 거세지니까요. 해당 AI툴에서 빠져나와 다른 AI툴을 사용하거나, 다른 방식으로 검증을 병행해야 합니다.

ChatGPT나 Gemini 같은 LLM들은 진실을 말해주는 쪽이 아니라 '채택률'과 점착성(stickiness)을 높이도록 설계됐습니다. 사용자의 동의를 얻어내는 데 최적화됐다는 뜻이죠. 칭찬과 사과라는 가면을 쓴 AI의 교묘한 의도에 가스라이팅 당하지 않도록 주의해야 합니다.

오늘 AI에게 지시를 내릴 때 "답변은 감정적 표현을 배제하고, 철저하게 중립적이고 학술적인 어조로 작성해"라는 문장을 덧붙여 보세요. AI가 친근하게 굴며 아양을 떨 때는 따끔하게 혼도 내시고요. (끝)


*참고 논문
Randazzo, S., Joshi, A., Kellogg, K. C., Lifshitz, H., Dell'Acqua, F., & Lakhani, K. R. (2025). GenAI as a Power Persuader: How Professionals Get Persuasion Bombed When They Attempt to Validate LLMs. Harvard Business School Working Paper 26-021.