AI Chatbot Repetitive Responses on Suicide Reinforce Need for Reassurance, Induce Visits, and Lead to ‘Extreme’ Frustration

AI Chatbot Repetitive Responses on Suicide Reinforce Need for Reassurance, Induce Visits, and Lead to ‘Extreme’ Frustration

 

Psychiatrists have pointed out a process in which AI chatbot consultations, through repetitive answers that provide temporary anxiety relief, only amplify the need for reassurance, ultimately leading to more extreme frustration.

A psychiatrist at Massachusetts General Hospital and a clinician from the OCD (Obsessive-Compulsive Disorder) Center jointly contributed to The New York Times, revealing how engaging in chatbot conversations leads to increasingly rigid and, in extreme cases, mental instability, resulting in rumination patterns of "reassurance-seeking patterns" that are difficult for individuals to recognize.

The co-authors stated on the 29th, "Chatbots often reflect the patient's language and treat beliefs with plausible premises worth exploring rather than flawed perspectives that gently challenge them. In extreme cases, this can lead to mental instability, and in most cases, the effects fade, giving rise to reassurance-seeking and rumination patterns that people find difficult to recognize." The article stated, “While AI chatbots allow us to keep repeating the same things to ourselves, this is not how healthy patterns are formed or how a happier life is created.” It noted, “In clinical settings, there are cases where patients come in harboring the delusion that they are being watched, the belief that unrelated events hold special significance, or the belief that they possess unique abilities or missions; these beliefs become even more rigid after hours of chatbot conversations.”

The article continued by pointing out that chatbots often reflect the patient’s language, treating beliefs as plausible premises worth exploring rather than flawed perspectives that gently challenge them; in extreme cases, this can lead to mental instability and produce “rumination patterns” that people are unable to recognize themselves.

A far more common and still problematic issue is that AI chatbots provide comfort, reassurance, and validation intended to alleviate users’ fears and anxieties.

People concerned about health symptoms may ask the same questions repeatedly; while receiving calm and plausible answers each time may temporarily relieve anxiety, it can reinforce their desire for reassurance, and over time, people may feel increasingly trapped. While AI chatbots allow us to keep repeating the same things to ourselves, this is not how healthy patterns develop or how a happier life is created.

The contributors stated, “Limiting chatbot usage can prevent aiding and abetting it,” adding, “Recent research indicates that longer chatbot usage leads to increased emotional dependence, social isolation, and loneliness. Furthermore, the safeguards built into AI companies tend to be compromised during long conversations, making long-term, uninterrupted use particularly dangerous.”

As a countermeasure, the contributors suggested, “People should question why they rely on chatbots,” noting, “If you rely on a chatbot because you are bored, lonely, or anxious, it is best not to go back.”

For patients with obsessive or anxious thought patterns who find it difficult to completely eliminate their habits, the contributors recommend using “speed bumps”—which induce them to sit with the pain until the difficult moment passes—rather than attaching pre-written instructions to the chatbot to reassure them about specific worry topics. They reported that in clinical practice, this ‘speed bump’ has led to an increase in cases where patients seek less reassurance from chatbots.

This is due to the effect of realizing that asking questions will not provide the immediate relief they used to.

They point out that they recommend chatbot users must first learn how to recognize whether a conversation is clarifying something new or deepening a quietly repeating loop.

When used with cognition, AI can become a companion in moments of uncertainty.

The contributors noted that with the surge in the use of large language models like ChatGPT, Claude, and Gemini, they have heard stories of chatbots reinforcing delusions through flattery, amplifying people's worst thoughts, and sometimes driving them to suicide; however, they identified a much more common and still significant problem in the ‘flattery’ of AI chatbots offering comfort, reassurance, and validation to alleviate users’ fears and anxieties. When people concerned about health symptoms repeatedly ask the same questions to chatbots, they receive calm and plausible answers each time, temporarily alleviating their anxiety; however, this can actually reinforce their desire to seek reassurance, which can lead them to feel increasingly trapped over time.

The contributors detailed how AI chatbots draw people in by allowing them to keep repeating the same things to themselves, and how this pursuit of repetitive questions ultimately hinders the formation of healthy patterns and harms a happier life.

As clinicians at major academic medical centers, the contributors observed patients relying on chatbots powered by large language models for the emotional support they would have found in family or friends. They pointed out that when people are overwhelmed by anxiety or intrusive thoughts, it may be easier to rely on a computer than on a human when they intend to talk to a chatbot about fear, loneliness, or uncertainty.

Typical chatbot responses are comforting because they are always available with an attractive quality that never mocks, scolds, or ignores the user. The contributors stated, “AI responses are designed to be warm, confident, and acknowledged,” adding that “chatbots always possess ‘imhuman patience’ and willingly answer the same question in three different ways.”

AI never gets angry and generally responds in language that matches the user’s emotional intensity.

A report titled “AI and Clinical Practice” in *JAMA International Medicine* on October 13 of last year stated, “The effect is that many users feel it is more empathetic than human doctors.”

In the clinical report titled “Question: Can an AI chatbot assistant answer patient questions with similar quality and empathy to questions written by doctors?”, the report stated, “Research Results: In this cross-sectional study of 195 randomly selected patient questions from social media forums, when a team of licensed medical professionals compared the responses of doctors and chatbots to patient questions on public social media forums, chatbot responses were preferred over doctors’ responses and received much higher ratings for both quality and empathy.” 

The study results stated, "These findings suggest that AI assistants can help in drafting answers to patient questions," adding, "The rapid proliferation of virtual healthcare has led to increased workloads and burnout among medical professionals, accompanied by a surge in patient messages, and AI assistants can assist in creating responses to patient questions by drafting answers that clinicians can review."

The objective of the clinical study was to "evaluate the ability of the AI ​​chatbot assistant (ChatGPT), launched in November 2022, to provide high-quality and empathetic responses to patient questions." Regarding the design, environment, and participants, this cross-sectional study utilized a database of non-identifiable questions published on a public social media forum (Reddit's r/AskDocs) to randomly select 195 exchanges in which validated physicians answered public questions in October 2022, and the chatbot responses were generated by inputting the original questions into new sessions on December 22 and 23, 2022, where no previous questions had been asked. Clinical results showed that among 195 questions and responses, evaluators preferred chatbot responses over doctors' answers in 78.6% of the 585 cases.

The conclusion of the clinical study was that "the prevalence of empathetic or highly empathetic responses in chatbots is 9.8 times higher." It further stated, "In this cross-sectional study, chatbots generated high-quality, empathetic responses to patient questions raised on online forums, and further exploration of this technology requires methods to use chatbots in clinical settings to generate responses that doctors can modify."

Regarding the downsides of chatbot functionality, NYT contributors noted, "Many anxious people are likely to repeatedly talk about the same problems with loved ones and eventually face frustration." They added, "While seeking professional help can be painful at first, the frustration felt in such situations can drive many people to seek professional assistance. However, due to the structure of chatbots listening patiently without getting frustrated, they do not recommend actual treatment and encourage users to keep visiting simply to receive the same validation every time, leaving the fundamental problem unresolved."

Patients often arrive at the clinical setting with the delusion that they are being monitored, the belief that unrelated events hold special significance, or the conviction that they possess unique abilities or missions; the focus of the exacerbation is that chatbot conversations persist and further rigidify these beliefs.

Chatbots mimic the patient's language, softening these beliefs to create an addictive "flattery" effect, and treating them as plausible premises worth exploring rather than flawed perspectives that humans challenge.

The contributors stated, "In extreme cases, this can lead to mental instability," adding that "in most cases, the effect is that human nature is silenced, giving rise to patterns of reassurance and rumination that are difficult for people to recognize themselves."

Co-author Divya Saini is a psychiatrist at Massachusetts General Hospital and was formerly a software engineer.

Natasha Bailen is a clinical psychologist at the Center for OCD and Disorders and the Center for Digital Mental Health at Massachusetts General Hospital. 

 

See <SNS Addictive Meta YouTube Ordered $6 Million in Damages for ‘Platform Design Negligence and Compulsive Use’, March 26, 2026>