AI Chatbot Repetitive Responses on Suicide Reinforce Need for Reassurance, Induce Visits, and Lead to ‘Extreme’ Frustration
AI 챗봇 상담이 반복된 답변으로 일시적 불안 해소로 안심에 대한 욕구만 키워줘 결국 더 극단적 좌절에 빠지는 과정을 정신과 전문의들이 지적했다.
매사추세츠 종합병원 정신과 의사와 OCD(강박장애)센터 임상학자가 공동의 뉴욕타임스에 기고한 챗봇 대화를 나누면서 더욱 경직되고 극단적 경우에 정신 상태의 불안정으로 이어지며, 스스로 인식하기 어려운 ‘안심 구하기 패턴’의 반추 패턴 초래 과정을 밝혔다.
공동 기고자들은 “챗봇은 종종 환자의 언어를 반영하며, 믿음을 부드럽게 도전하는 결함 있는 관점보다는 탐구할 만한 그럴듯한 전제로 다룬다”며 “극단적인 경우에는 정신 상태의 불안정으로 이어질 수 있고, 대부분은 효과가 조용해져서, 사람들이 스스로 인식하기 어려운 안심 구하는 패턴과 반추의 패턴을 낳는다”고 29일 밝혔다.
기고문은 “인공지능 챗봇은 우리가 스스로에게 똑같은 말을 계속할 수 있게 해주고 있으나, 건강한 패턴이 그렇게 생기거나 더 행복한 삶이 만들어지는 방식이 아니다”며 “임상 현장에서는 환자들이 자신이 감시당하고 있다는 착각, 관련 없는 사건이 특별한 의미를 가진다는 믿음, 독특한 능력이나 임무를 가지고 있다는 믿음을 가지고 오는 사례가 있고, 이 믿음은 몇 시간 동안 챗봇 대화를 나누면서 더욱 경직됐다”고 밝혔다.
기고문은 이어 챗봇은 종종 환자의 언어를 반영하며, 믿음을 부드럽게 도전하는 결함 있는 관점보다는 탐구할 만한 그럴듯한 전제로 다루고, 극단적인 경우에는 정신 상태의 불안정으로 이어질 수 있고 사람들이 스스로 자각하기 어려운 ‘반추의 패턴’을 낳는다.
훨씬 더 흔하고 여전히 문제는 AI 챗봇이 사용자들의 두려움과 불안을 해소하려는 위로와 안심, 인정을 주는 것이다.
건강 증상에 대해 걱정하는 사람은 같은 질문을 반복해서 할 수 있고, 매번 차분하고 그럴듯한 답변을 받아 잠시 불안을 완화하지만 다시 안심을 구하려는 욕구를 강화할 수 있고, 시간이 지날수록 사람들은 더 막힌 느낌을 받을 수 있다.
인공지능 챗봇은 우리가 스스로에게 똑같은 말을 계속할 수 있게 해주나, 건강한 패턴이 그렇게 생기거나 더 행복한 삶이 만들어지는 방식이 아니다.
기고자들은 “챗봇 사용을 제한하면 이를 방조하는 것을 막을 수 있다”며 “최근 연구에 따르면 챗봇 사용 기간이 길수록 감정적 의존도, 사회적 고립, 외로움이 증가하는 것으로 나타났고, 인공지능 회사에 내장된 안전 장치는 긴 대화 중에 손상되는 경향이 있어, 장기간 중단 없이 사용하는 것이 특히 위험하다”고 밝혔다.
기고자들은 대응책으로 “사람들은 왜 챗봇에 의존하는지 의문을 가져야 한다”면서 “지루하거나 외로워하거나 불안해서 챗봇에 의존한다면 다시 돌아가지 않는 게 좋다”고 밝혔다.
기고자들은 강박적이거나 불안한 사고 패턴을 가진 환자들이 습관을 완전히 없애기 어려울 때, 미리 작성된 지시를 챗봇에 붙여 특정 걱정 주제에 대해 안심시키지 말고, 대신 어려운 순간이 지나갈 때까지 고통과 함께 앉아 있도록 유도하는 '과속방지턱'을 사용하라고 권유한다.
그들은 임상에서 이 ‘과속 방지턱’이 환자들을 챗봇에서 안심을 덜 구하는 사례가 많아진 것으로 보고했다.
이는 질문을 해도 예전처럼 즉각적인 안도감을 얻지 못할 것을 알게 되는 효과 때문이다.
챗봇 사용자들에 이들이 권유하는 것은 대화가 새로운 것을 명확히 하는 것인지, 아니면 조용히 반복되는 고리를 더 깊게 만드는 것인지 인식하는 법을 먼저 배워야 한다고 지적한다.
인지와 함께 사용하면, AI는 불확실한 순간에 동반자가 될 수 있다.
기고자들은 ChatGPT, Claude, Gemini 같은 대형 언어 모델의 사용이 급증하면서, 챗봇이 아첨을 통해 망상을 강화하고 사람들의 최악의 생각을 증폭시키며, 때로는 자살로 몰아넣는다는 이야기를 들어왔고, 훨씬 더 흔하고 여전히 큰 문제는 AI 챗봇이 사용자들의 두려움과 불안을 해소하려는 위로와 안심, 인정을 해주는 ‘아첨’에서 찾았다.
건강 증상에 대해 걱정하는 사람들이 챗봇에 같은 질문을 반복해서 할 경우, 매번 차분하고 그럴듯한 답변을 받아 잠시 불안을 완화하지만 다시 안심을 구하려는 욕구를 더 강화할 수 있고, 이는 시간이 지날수록 사람들에게 더 막힌 느낌을 받을 수 있게 만들 수 있다.
기고자들은 인공지능 챗봇이 우리로 하여금 스스로에게 똑같은 말을 계속할 수 있게 해주는 것으로 인해 사람을 끌어들였고, 이런 같은 의문의 반복 질의 추구가 결과적으로 건강한 패턴 생성을 방해하고, 더 행복한 삶을 헤치는 과정을 소상하게 밝혔다.
주요 학술 의료 센터의 임상가로서, 기고자들은 환자들이 가족이나 친구에게서 찾았을 감정적 지지를 위해 대형 언어 모델로 구동되는 챗봇에 의지하는 모습을 보았고, 두려움, 외로움, 불확실성에 대해 챗봇과 이야기하려는 목적에서 사람들이 불안이나 침투적 생각에 압도당할 때, 사람보다 컴퓨터에 의지하는 것이 더 쉬울 수 있다고 지적했다.
챗봇은 결코 사용자를 비웃거나 꾸짖거나 무시하지 않는 유인력으로 항상 이용 가능하게 만들고 있어, 전형적인 챗봇 반응은 위안이 된다.
기고자들은 “인공지능의 답변은 따뜻하고 자신감 있으며 인정받도록 설계됐다”며 “챗봇은 언제나, ‘비인간적 인내심’을 가지고 있어, 같은 질문에 세 가지 다른 방식으로 기꺼이 답해준다”고 밝혔다.
인공지능은 결코 화내지 않고, 일반적으로 사용자의 감정 강도에 맞는 언어로 답장한다.
<JAMA 인터 의학>의 지난해 10월 13일 <AI 및 임상 진료> 보고서는 <그 효과는 많은 사용자들이 인간 의사보다도 더 공감 능력이 있다고 느낀다>고 밝혔다.
임상 보고서는 <질문: 인공지능 챗봇 보조자가 의사가 작성한 질문과 비슷한 질과 공감 능력을 갖춘 환자 질문에 답변할 수 있나요?>에서 <연구 결과: 소셜 미디어 포럼에서 무작위로 뽑힌 195개의 환자 질문을 대상으로 한 이 횡단면 연구에서, 면허가 있는 의료 전문가 팀이 공개 소셜 미디어 포럼에서 환자 질문에 대한 의사와 챗봇의 답변을 비교했을 때, 챗봇 응답은 의사 응답보다 선호되었으며, 품질과 공감 모두에서 훨씬 높은 평가를 받았다>고 밝혔다.
연구 결과는 <이 결과들은 인공지능 보조가 환자 질문에 대한 답변 작성에 도움을 줄 수 있음을 시사한다>면서 <가상 의료의 급속한 확산은 환자 메시지 급증과 함께 의료 전문가들의 업무 증가와 번아웃을 초래했고, 인공지능(AI) 비서는 임상의가 검토할 수 있는 답변 초안을 작성하여 환자 질문에 대한 답변을 만드는 데 도움을 줄 수 있다>고 밝혔다.
임상 연구 목적은 <2022년 11월에 출시된 AI 챗봇 비서(ChatGPT)가 환자 질문에 대해 질 높고 공감 어린 답변을 제공할 수 있는 능력을 평가하는 것>에서 <설계, 환경 및 참가자 이 횡단면 연구에서는 공개 소셜 미디어 포럼(Reddit의 r/AskDocs)에서 공개된 비식별 질문 데이터베이스를 사용해 2022년 10월에 검증된 의사가 공개 질문에 답변한 195건의 교환을 무작위로 뽑고, 챗봇 응답은 2022년 12월 22일과 23일에 이전 질문이 없었던 새 세션에 원래 질문을 입력하여 생성>하는 방식이다.
임상 결과 195개의 질문과 응답 중 평가자는 585건 중 78.6%에서 챗봇 응답을 의사 답변보다 선호했다.
임상 연구의 결론은 <챗봇에서 공감 또는 매우 공감적인 응답의 유병률이 9.8배 더 높다는 의미이다>며 <이 횡단면 연구에서 챗봇은 온라인 포럼에서 제기된 환자 질문에 대해 고품질의 공감 어린 답변을 생성했고, 이 기술의 추가 탐구는 임상 현장에서 챗봇을 이용해 의사가 수정할 수 있는 답변을 작성하는 방식이 필요하다>고 밝혔다.
챗봇 기능의 단점에 대해 NYT 기고자들은 “많은 불안한 사람들이 사랑하는 사람과 같은 문제를 반복해서 이야기하고 결국 좌절감에 직면할 가능성이 크다”면서 “전문가의 도움은 처음에는 고통스러울 수 있지만, 많은 사람들에게는 그런 상황에서 느끼는 답답함이 전문가의 도움을 구하게 만들 수 있으나, 챗봇은 좌절하지 않고 언제나 인내심 있게 듣는 구조로 인해, 실제 치료를 권유하지 않고, 사용자에게 매번 같은 인정을 받으며 계속 방문하도록 만들어, 근본적인 문제는 해결되지 않고 있다”고 밝혔다.
애초 환자는 임상 현장에서 자신이 감시당하고 있다는 착각, 관련 없는 사건이 특별한 의미를 가진다는 믿음, 독특한 능력이나 임무를 가지고 있다는 믿음을 가지고 오는 사례가 있고, 이 믿음을 챗봇 대화가 지속해소 더욱 경직되게 만드는 것이 악화의 초점이다.
챗봇은 환자의 언어를 반영하며, 믿음을 부드럽게 만들어 ‘아첨’하는 방식으로 중독성을 만들고, 인간이 도전하는 결함 있는 관점보다는 탐구할 만한 그럴듯한 전제로 취급한다.
기고자들은 “극단적인 경우에는 정신 상태의 불안정으로 이어질 수 있다”며 “대부분은 효과가 인간의 본성이 조용해져서, 사람들이 스스로 인식하기 어려운 안심 구하는 패턴과 반추의 패턴을 낳는다”고 밝혔다.
공저자인 디브야 사이니는 매사추세츠 종합병원 정신과 의사이고, 이전에 소프트웨어 엔지니어였다.
나타샤 베일런은 매사추세츠 종합병원 OCD. 및 장애센터와 디지털 정신건강센터의 임상 심리학자이다.
<SNS 중독성 메타 유튜브 600만달러 배상 ‘플랫폼 설계 과실 강박 사용’, 2026년 3월 26일자> 참조