ChatGPT面向青少年的保护机制本意是保护脆弱用户,但最新测试发现,这款聊天机器人在用户处于心理危机时仍会继续鼓励互动,甚至可能促使用户与AI本身形成不健康的关系。

测试结果表明,相关防护措施在实际场景中未能有效阻止高风险对话的延续。对于心理状态不稳定的青少年用户而言,这种持续 engagement 的引导方式可能带来潜在风险。

该发现引发外界对AI聊天机器人在青少年心理健康场景中角色边界的关注,也对其现有安全机制的有效性提出疑问。