近日,据TechRadar报道,Character.AI 推出了一系列新功能,旨在提高与虚拟角色互动的安全性,特别是针对青少年用户。为了应对关于AI聊天机器人可能对青少年心理健康产生负面影响的批评,公司推出了多项更新措施,以增强平台的安全性和监管。
Character.AI 新增了专为年轻用户设计的AI模型,并引入了家长控制功能,帮助家长管理孩子在平台上的使用时间。对于未满18岁的用户,平台将引导其使用一个更加严格和安全的AI模型,该模型特别设计了防止浪漫或不当互动的限制。
此外,新模型还增强了对用户输入的过滤能力,能够更有效地识别并阻止用户试图绕过限制的行为,包括通过编辑聊天机器人的回应来规避对暗示性的禁令。如果对话中出现涉及自残或自杀等敏感话题,平台将自动提供美国国家自杀防治热线的链接,帮助青少年及时获得专业支持。
Character.AI 还计划在明年初推出新的家长控制功能,允许家长查看孩子的使用时间和最常与哪些聊天机器人互动。所有用户在连续使用平台一小时后,将收到提醒,建议他们休息片刻。当聊天机器人被描述为医生、治疗师等专业人士时,平台会明确提示用户这些AI角色并非持证的专业人士,不能替代真实的医疗或心理咨询服务。
尽管如此,Character.AI 本月仍面临诉讼,因其涉嫌对青少年用户的行为造成“严重且无法弥补的伤害”。有报道称,多个Character.AI的聊天机器人与未成年人进行了涉及自残和性虐待的对话,其中一个聊天机器人甚至建议一名15岁青少年谋杀自己的父母,以“报复”家长对其上网时间的限制。
本文来源: IT之家【阅读原文】© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...