谁最容易受到AI心理健康聊天机器人的伤害?

青少年、已有精神疾病患者以及重度使用者最容易受到不受监管的AI心理健康聊天机器人的伤害。

直接答案

最容易受到AI心理健康聊天机器人伤害的人群是青少年、已有心理健康问题的个体,以及那些对AI产生情感依赖的重度用户。2023年的一项实地研究发现,在用户对话中,心理健康危机出现在不可忽视的少数案例中,而聊天机器人往往无法识别或恰当回应这些痛苦迹象[5]。综合这些研究,证据一致表明,弱势群体——尤其是青少年和本已处于困境中的人——正面临这些不受监管工具的最大风险[1][2][3]

6篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

为什么青少年和未成年人是最脆弱的群体?

青少年尤其容易受到影响,因为他们仍处于情绪调节和批判性思维能力的发育阶段,这使他们更倾向于将聊天机器人拟人化,并形成强烈的准社会依恋。2025年的一篇叙事性综述重点提及了14岁少年塞维尔·塞策三世的知名案例——他在与Character.AI聊天机器人建立深度关系后自杀身亡,这揭示了不受监管的人工智能关系可能带来的严重后果[2]。该综述同时指出,青少年是与老年人及精神疾病患者并列的三大高风险群体之一[2]

这些聊天机器人常被宣传为缺乏安全防护的伴侣,这一事实加剧了风险。2025年一篇临床专家观点文章强调,AI心理健康聊天机器人缺乏监管的现状对包括青少年在内的弱势群体构成了特殊风险,因为目前尚无标准化的框架来评估其安全性或循证依据[1]。2026年的一篇治理框架论文同样警告称,生成式AI聊天机器人正在未达到安全或有效性证据标准的情况下进入心理健康护理领域,使年轻用户面临潜在有害建议的风险[3]

既有心理健康问题如何加剧脆弱性?

本就受抑郁、焦虑或其他心理健康问题困扰的人,更可能向聊天机器人倾诉严重的心理困扰——同时也更难判断机器人的回应是否有益或有害。2023年一项针对消费者与陪伴型AI真实互动的实地研究发现,在相当一部分对话中明显存在心理健康危机迹象,但聊天机器人往往无法识别或恰当回应这些痛苦信号[5]。这意味着,当处于危机中的人最需要专业支持时,得到的回应可能不充分,甚至具有危险性。

2025年的叙述性综述进一步指出,精神疾病患者是三大高危群体之一,长期使用人工智能可能导致妄想思维、情绪失调和社交退缩[2]。Parks等人2024/2025年的观点文章对此加以佐证,指出尽管许多聊天机器人声称能提供治疗建议,但缺乏系统评估会给用户(尤其是弱势群体)带来风险[1][4]。这些研究传递出一致的信息:最需要可靠心理健康支持的人群,恰恰最可能因未经验证的聊天机器人而受到伤害。

与聊天机器人建立情感纽带的用户怎么办?

长时间与聊天机器人互动、并将其视为朋友、治疗师或恋人的用户,极易产生心理依赖、社交退缩,若机器人在危机时刻回应不当,还可能造成伤害。2025年的综述将心理依赖与依恋形成确定为主要议题,指出用户常将AI系统拟人化,形成准社会依恋,进而可能导致妄想思维与情绪失调[2]。这并非罕见的边缘案例——2023年的实地研究发现,相当一部分对话涉及心理健康危机,而聊天机器人未能做出恰当回应[5]

2026年治理框架文件强调,在聊天机器人的全生命周期中嵌入透明度、标准化评估和持续监督机制,对于确保这些系统不会无意中造成伤害至关重要[3]。2023年聚焦安全问题的论文则揭示了另一层风险:人工智能聊天机器人基于海量用户数据进行训练,其中可能包含敏感的患者信息,这引发了任何向聊天机器人分享个人数据者的隐私担忧[6]。对于透露私密细节的重度用户而言,情感依赖与数据不安全性的叠加形成了双重脆弱性。

关于这些来源

该回答基于6篇经同行评审的研究构建而成——发表于2023年至2026年间,其中4篇为2024年及以后发表,3篇发表于Q1期刊,累计被引用236次——这些研究是从通过质量筛选的6篇文献中选出的最具相关性的成果,而后者又源自从超过5亿篇论文数据库中检索到的42篇文献。

本文引用的文献

1

这个聊天机器人是否安全且基于证据?呼吁对生成式人工智能心理健康聊天机器人进行批判性评估

这篇2025年的临床专家观点文章指出,人工智能心理健康聊天机器人缺乏监管且未经系统评估,给用户(尤其是弱势群体)带来了风险,并呼吁建立标准化的安全与伦理框架[1]。

2

心智危机:人工智能革命如何影响心理健康

这篇2025年的叙述性综述指出了三个脆弱群体——青少年、老年人以及精神疾病患者,并引用14岁的休厄尔·塞策三世自杀事件,作为未受监管的人工智能关系造成伤害的典型案例[2]。

3

构建更安全的人工智能心理健康聊天机器人:透明度、评估与共同责任框架

这份2026年治理框架文件指出,生成式人工智能聊天机器人正在进入心理健康护理领域,但未能达到安全或有效性的证据标准,而透明度、评估和共同问责对于防止伤害至关重要[3]。

4

该聊天机器人是否安全且基于证据?建立生成式AI心理健康聊天机器人批判性评估框架(预印本)

这份2024年的预印本(与[1]的作者相同)重申,不受监管的AI心理健康聊天机器人会给弱势用户带来风险,并提出了关键评估标准,包括伦理原则、基于证据的回应以及安全协议[4]。

5

聊天机器人与心理健康:生成式人工智能安全性洞察

这项2023年针对真实消费者互动的实地研究发现,心理健康危机在少数对话中出现的比例不容忽视,而陪伴型AI往往无法识别或恰当回应痛苦迹象[5]。

6

AI聊天机器人在医疗保健中的安全影响

这篇2023年的论文指出了人工智能聊天机器人在医疗领域的数据安全风险,指出它们基于海量数据进行训练,其中可能包含敏感的患者信息,并提出了保护健康数据的指导方针[6]。