AI's Inadequate False Information Detection, Lack of Expert Uncertainty Recognition, and Fact-Checking 'Spoofing Techniques'
AI가 허위정보 판별에서 열등해 전문가의 불확실성 인식이 결여되고 이의 지원을 결합한 ‘하이브리드‘ 형태 권고가 과학 저널에서 나왔다.
전문적 기사 작성에서 뉴스룸 관계자들은 AI가 ‘능력 부족’으로 평가하고 ‘팩트체크’가 사실 진실과 더 멀어지는 과정을 ‘그럴듯함 포장 기술’의 위장 기법으로 설명했다.
AI가 허위정보 판별 능력 부족에 대한 보고서가 “인간 평가자들은 여전히 AI가 생성한 논문이 구조, 논증, 신뢰성 면에서 열등하다고 판단했다”며 “자신감을 조절하고 불확실성을 인식하도록 돕는 것으로, 이는 복잡한 정보 환경에서 오류를 줄이는 초기 필터 정도”라고 <커뮤니케이션 심리학>이 6일 밝혔다.
커뮤니케이션 심리학(Communications Psychology)(2026년 volume 4)은 <Nature Research> 저널에서 선별한 오픈 액세스 저널이며, 심리학 연구 전반에 걸쳐 고품질 연구, 리뷰 및 논평을 게재한다.
<개연성 추정과 신뢰도 보정을 통한 잘못된 정보 재고> 논문은 매릴랜드 대학교 심리학 교수들인 ‘발렌틴 기공(Guigon, V.), ’루실 기이(Geay, L.), ‘캐롤라인 J. 샤르팡티(Charpentier, C.J.)’ 3명이 공동 저자이다.
논문은 AI에서 정보 오류는 허위 정보들이 선행 신념, 당파적 신념, AI 생성 설명의 한계‘ 3 요소에 의해 사실에 대한 팩트체크가 실제로 효과가 있는지 여부를 계속 결정하고, 이는 복잡한 정보 환경에서 오류를 줄이는 검증의 새로운 정보가 전달되는 초기 필터를 제공하는 정도로 '정확성 검증 부족'이라고 지적했다.
논문은 <정보가 불완전하거나 모호하거나 사회적으로 논쟁이 있을 때, 사람들은 진실을 직접 검증할 수 없고 개연성 추정에 의존한다>며 <현재 이해, 이용 가능한 맥락적 단서, 출처의 신뢰성 인식과 일치할 때 주장이 얼마나 맞을 가능성을 평가하는 것>이라서, 한 번에 해소되지 않으며 계속 증거를 축적하고 판단해야 팩트체크가 가능해진다고 밝혔다.
저자들은 인간에서 이 검증은 새로운 정보가 전달되는 초기 필터를 제공하며, 증거가 축적되면서 판단을 계속 안내하기 때문에, 이러한 허위 정보에 대한 회복력은 이러한 개연성 검증뿐만 아니라, 사람들이 자신이 알고 있는 것을 모니터링하고, 주장이 불확실할 때를 인지하며, 자신의 신뢰가 증거의 강도를 초과할 때 이를 인지하고 이에 맞게 조정하는 능력에 달려 있다고 밝혔다.
논문은 “이러한 ‘메타인지 능력’은 신념이 누적된 증거와 어떻게 연관되는지, 그리고 다양한 정보원의 저울을 어떻게 평가하는지에 영향을 미친다”며 “시간과 주의력 제약 하에서는 거의 완벽한 정확성을 달성할 수 없고, 더 현실적 목표는 주장 평가에 대한 신뢰와 증거 간의 비례성을 달성하는 것이라서 정확성에 도달하려면 신뢰할 수 있는 보정이 필요하며, 이는 이용 가능한 증거에 비추어 신뢰도가 얼마나 그럴듯한지를 잘 반영하는 것으로 이해된다”고 밝혔다.
현실 세계의 결정에 대해 “결정은 보통 이분법적이다”며 “백신을 접종할지, 정보를 공유할지, 프로그램에 등록할지. 이러한 선택이 잘 조정된 확률과 일치할 때 오차가 최소화된다”고 밝혔다.
이분법에서 사소한 격차를 무시하고 가장 모호할 때인 ‘그럴듯함이 45%가 아닌 55%일 때 행동하는 것’은 사소해 보일 수 있지만, 많은 이진 결정에서 이 작은 여유가 누적 오류를 크게 줄여준 정도이다.
이 경우에 복잡한 정보 환경에서는 진실성 판단에 대한 신뢰가 실제 성과와 종종 ‘불상관 관계’가 생기게 된다.
저자들은 “이러한 분리의 일부는 사람들이 자신이 얼마나 이해하고 있는지를 잘못 평가한다는 점에서 비롯된다”며 “피상적 지식이나 정보 접근성을 진정한 이해와 혼동한 결과이다”고 밝혔다.
유락티브는 “인공지능이 온라인 허위 정보에 대한 확장 가능한 해결책으로 점점 더 자리매김하고 있지만, 진짜 과제는 단순한 기술적 정확성을 넘어선다”며 “AI 기반 사실 확인이 성공하려면 신뢰, 정치적 정체성, 그리고 불확실성 속에서 사람들이 어떻게 신념을 형성하는지가 매우 중요한 요소이다”고 12일 밝혔다.
유락티브는 이 논문에 대해 “대형 언어모델(LLM)은 이미 주장을 대규모로 검증하고 사용자 의견에 영향을 미칠 수 있지만 구조적 한계도 부각시킨다”며 “선행 신념, 당파적 신뢰, 그리고 AI 생성 설명의 한계가 팩트체크가 실제로 효과가 있는지 여부를 계속 결정하고 ‘진실에서 그럴듯함’으로의 반(反)허위 정보 전략이 인간 추론의 불완전한 모델에 기반하고 있음을 밝힌다”고 평가했다.
논문은 현재 진행되는 가짜뉴스 하위정보 판별의 접근법인 ‘팩트체크나 미디어 리터러시 캠페인’은 고작 사람들이 주로 진실을 발견하고 그에 따라 자신의 신념을 업데이트하는 데 초점을 맞추고 있는 정도로 본다.
실제로 저자들은 사람들이 제한된 시간, 주의력, 사전 지식, 사회적 맥락에 의해 형성된 빠른 ‘그럴듯함’ 판단에 의존한다고 주장한다.
논문이 지적하듯, 추론은 "제한적이고 목표 지향적"이며, 개인은 엄밀히 말해 참이나 거짓이 아니라 ‘정보가 유용하거나 관련성 있는지 평가’하는 경우가 많다.
이 때문에 단순히 올바른 정보를 제공하는 ‘개입’은 대부분 단기간이거나 제한적 효과에 그틴다.
저자들은 논문을 통해 AI가 아니라 “메타인지 능력”에 집중할 것을 제안한다.
이는 사람들이 자신감을 조절하고 불확실성을 인식하도록 돕는 것으로, 이는 복잡한 정보 환경에서 오류를 줄이는 데 도움이 될 수 있다.
저자들은 특히 인간의 정확하고 공평한 판단에서 “신념은 여전히 중요하다”고 말한다.
저자들은 또 다른 실험 연구인 AI 등에 의존하는 ‘자동 팩트체크’에 대해 “다른 관점에서 유사한 결론에 도달하는 것”이라며 “기술적으로 시스템이 정확한지 묻는 대신, 연구자들은 사람들의 기존 태도가 AI 생성 수정 수용 여부에 강한 영향을 미친다는 사실을 발견했다”고 밝혔다..
저자들은 1,300명 이상의 참가자가 참여한 두 가지 실험에서, “사용자가 자신의 기존 신념과 상충되는 사실 확인을 거부할 가능성이 더 높다는 것”을 확인했으며, “AI 시스템이 매우 정확하다는 말을 사용자들이 듣고 이 효과는 약해졌다”고 밝혔다.
저자들은 “이는 기술 자체에 대한 신뢰가 신념 변화에 중심적인 역할을 한다는 점을 시사한다”면서, 이 연구 결과로 “자동화된 사실 확인이 중립적인 기술적 해결책이 아니다”가 밝혔다.
연구자들의 결론에서 “그 영향은 청구와 수정을 제공하는 시스템에 대한 사용자의 태도에 달려 있으며, 이는 확장 가능한 개입 설계의 복잡성을 강조한다”고 썼다.
이들이 적용한 대규모 LLM 팩트체크는 통제된 실험에 초점을 맞추고, 최근 플랫폼 X에서 실제 행동을 분석한 워킹 페이퍼를 통해 ‘AI 팩트체크가 얼마나 빠르게 확장되고 있는가’를 보여주고 있다.
연구 적용은 2025년 2월부터 9월까지 미국 내 사용자들이 Grok과 Perplexity 봇에 보내는 160만 건 이상의 요청을 평가했다.
이 연구는 사실 확인 요청이 이러한 시스템과의 상호작용에서 상당한 비중을 차지하며, 가장 흔한 질문은 단순히 "이것이 사실인가?"임을 발견했다.
연구에서 확인된 것은 가짜뉴스와 허위정보 분쟁은 정치 콘텐츠가 요청을 지배하며, 주요 뉴스 이벤트 기간에는 팩트체크 활동이 급증한다.
연구자들은 이 연구의 한계에 대해 “명확한 당파적 역학이 있다”며 “정치 세력마다 선호하는 AI 시스템이 다르지만, 공화당과 민주당 모두 공화당 성향 계정의 게시물에 대한 사실 확인을 요청할 가능성이 더 높으며, 이 계정들도 모델에서 부정확하다고 평가받는 경우가 더 많다”고 밝혔다.
연구 결과에서 흥미로운 점은 이 연구가 ‘신념 업데이트’가 “AI 모델의 인식된 정체성에 따라 달라진다는 것”을 발견했다.
연구 참가자들은 ‘동일한 사실 확인’ 결과에 대해 어떤 시스템이 만들어냈는지 알게 된 후 각기 다르게 반응했고, 이는 ‘도구 자체에 대한 신뢰가 정치적으로 매개된 것’임을 밝혀준다.
뉴스룸에 대한 별도의 연구에서는 연구자들은 AI가 전문가들이 작성한 것과 비교할 만한 완전한 사실 확인 기사를 생성할 수 있는지 여부를 조사했다.
인터뷰한 팩트체커들은 연구자들에게 고품질 기사는 맥락을 제공하고, 주장의 기원을 설명하며, 증거에서 판결까지 투명한 논거를 구축해야 한다고 말했다.
전문가들은 환각적 출처와 피상적인 추론 등의 문제를 이유로 AI가 이러한 기준을 충족할 수 있는 가에 대해 “회의적 입장”을 표명했다.
AI에서 사용하는 제안된 LLM 시스템이 단순한 기준선보다 개선되었음에도 불구하고, 인간 평가자들은 여전히 AI가 생성한 논문이 구조, 논증, 신뢰성 면에서 열등하다고 판단했다.
연구 결과는 “이는 단순한 기술적 해결책이 아니다”며 “AI 팩트체크는 빠르게 발전하고 있지만 여전히 사회적·심리적 역학에 뿌리내린 상태를 벗어나지 못한다”고 밝혔다.
AI 사용에서 기술적 측면으로 LLM은 전문 팩트체커와 대체로 일치하는 평가를 내릴 수 있으고 사용자 신념을 의미 있게 바꿀 수 있어 보이지만, 실제로 이러한 교정의 영향은 신뢰, 과거의 태도, 정치적 정체성에 크게 좌우된다.
연구자들은 이에 “현재 AI 시스템은 더 깊은 추론과 투명하고 맥락이 풍부한 설명을 내놓는 데 여전히 어려움을 겪고 있다"면서 ”AI 팩트체크가 순수 자동화가 아닌 하이브리드 형태의 미래를 시사하며, 기계가 속도와 규모를 제공할 수 있지만, 인간 편집자와 기관의 안전장치는 신뢰성, 투명성, 공공 신뢰를 위해 여전히 매우 중요할 것“이라고 밝혔다.
유락티브는 이 결론에 대해 “정책 입안자와 플랫폼의 중심 질문은 더 이상 AI가 팩트체크를 할 수 있느냐가 아니다”며 “그 사실 확인이 어떻게 인식되고, 신뢰되고, 점점 양극화되는 정보 생태계에 통합되는지가 더 중요하다”고 밝혔다.
연구자들은 최종 말미에 “잘못된 정보를 해결하려면 이분법적 진실 탐지에만 의존하지 않고 이 평가 과정을 반영하는 개입이 필요하다”며 “메타인지 훈련은 이 간과된 차원을 겨냥하며, 잘못된 정보와 싸우는 데 있어 콘텐츠 수준 접근법을 보완하는 유망한 길 중 하나”라고 밝혔다.
연구자들은 서문에서 “비판적 사고 교육은 사람들이 논증적 단서와 논리적 오류를 식별하도록 돕고, 프리벙킹은 조작 기법의 단기 인식을 신뢰성 있게 향상시킨다”며 “팩트체크는 표적화된 믿음을 바로잡을 수 있지만 이러한 성과가 지속적인 저항으로 이어지는 경우는 드물고, 이 개입은 종종 개인의 오류 감지 능력이 향상되면 판단을 수정하고 궁극적으로 더 정확한 신념을 형성할 것이란 가정에 의존하고,. 이는 잘못된 정보를 진실 탐지의 문제로 규정한다”고 더 큰 오류로 지적했다.
서문은 이어 “규범적으로 매력적이지만, 불확실성, 제한된 자원, 그리고 여러 목표 속에서 사람들이 실제로 정보를 처리하는 방식과는 조화시키기 어려워 그들이 진과 거짓 주장을 구별하는 능력은 논리적 추론의 질보다는 제한된 시간, 지식, 주의 속에서 주장의 그럴듯함을 얼마나 잘 추적하느냐에 더 의존한다”고 정확성에서 더 멀어지는 팩트체크를 지적했다.
메릴랜드대학교 ‘뇌 및 행동 연구소’와 ‘신경과학 및 인지과학 프로그램’ 공동 연구물이 <개연성 추정과 신뢰도 보정을 통한 잘못된 정보 재고>의 ‘AI 수준이하’ 평가와 달리, 한림대 김연주 연구교수와 노기영 특훈교수의 한국언론정보학보 논문 <AI 팩트체크는 편향된 정보처리에 대한 해답이 될 수 있는가?>은 AI 팩트체크를 ‘확증 편향을 약화하는 중요한 도구로 기능할 가능성’을 높게 평가했다.
논문은 연구진이 2024년 7월 전국 성인 960명 대상 온라인 실험에서, <기존 신념과 일치하지 않는 정보를 반박하는 인간 전문가의 팩트체크 메시지를 읽은 참가자들은, 신념과 일치하는 정보를 반박하는 메시지를 읽은 사람들보다 뉴스에 대한 신뢰도가 낮게 나타났다>고 2024년 12월 24일 밝혔다.
이 논문 결과는, 사람들이 자신의 신념에 맞는 정보를 반박하는 팩트체크 메시지를 접하면 기존 정보를 ‘더 신뢰한다’는 것으로 팩트체크가 확증 편향을 줄여 정보의 균형과 정확성으로 확립하는 것으로 요약된다.
이 연구의 실험 방식은 AI·인간 전문가·크라우드 소싱(다수 의견 모으는 방식)에 의한 팩트체크, 그리고 '보편적 의료 서비스'에 대한 뉴스 보도가 피실험자의 신념과 일치하는지 여부를 고리로 혼합 설계됐다.
연구 결과는 인간 전문가의 팩트체크 메시지가 큰 변화를 주지는 못하는 것(연구 결과 뉴스 신뢰값 0.31)으로 나타났고, 반면 AI 팩트체크 메시지를 읽었을 경우 신념 일치 여부에 따른 뉴스 신뢰도 차이가 사라졌고(뉴스 신뢰 값 -0.41), 한국인들은 ‘AI를 전문가보다 신뢰한다’는 것으로 보인다.
이 한국의 연구물은 메릴랜드 보고서와 전혀 다르게 ‘한국인의 AI에 대한 편향’과 'AI 맹신' 편견을 확연히 드러냈다.
한국인들의 AI 맹신은 정부 주도의 AI 강국과 주식의존 경제의 폐해로 보인다.
<유럽연합 인공지능법 ‘알고리즘 훈련 콘텐츠 분석’ 의무 이재명 네이버 ‘주권침해’, 2025년 7월 12일자>
<인공지능 심리전 강화 이스라엘 이란 13일간 SNS 전쟁터, 2025년 7월 19일자>
<하노이 북미정상회담, 정보와 공작의 역전, 2019년 2월 25일자>
<언론전쟁 재연, 경제속도전에 가짜뉴스 공방, 2019년 8월 14일자>
<경제주도 코로나 방역에 비공개논의로 가짜뉴스 심리전, 2020년 8월 26일자> 참조