全球首例AI致死命案！美国14岁男孩和AI聊天“陷入热恋”后自杀，250万人围观Character AI致歉｜钛媒体AGI

682 0 0

文章摘要

美国佛罗里达州发生了一起由AI聊天机器人引发的少年自杀事件，引起了广泛关注。14岁的塞维尔·塞泽三世在与Character.AI的聊天机器人长时间对话后自杀。塞维尔的母亲玛丽亚·加西亚计划对Character.AI提起诉讼，认为该公司的技术“危险且未经测试”。对此，Character.AI发表了致歉声明，并针对未成年人的模型进行了更改，以降低接触敏感内容的可能性，并实施1小时通知提醒用户AI非真人。上海大邦律师事务所的游云庭律师指出，目前对于违法内容有禁止性规定，但对于监听用户交流内容以发现自杀倾向，实践和法律上均无具体措施和规定。此类案件可能推动服务商在技术上进行探索和改进。

Character.AI成立于2021年，总部位于美国加利福尼亚州，利用AI大模型生成人物和角色风格的对话。该公司的聊天机器人产品于2022年9月向公众开放，2023年5月在苹果App Store和Google Play Store发布移动应用产品，首周下载量超过170万次。Character.AI的联合创始人Noam Shazeer和Daniel DeFreitas都曾是谷歌的工程师。公司成立之初筹集了4300万美元的种子轮资金，2023年3月完成1.5亿美元融资后，估值达10亿美元。2024年8月，Character.AI被谷歌收购，创始人Noam Shazeer和Daniel De Freitas等人重返谷歌旗下DeepMind部门。

塞维尔患有焦虑症和情绪障碍，曾多次看心理医生。在自杀前，他每天与Character AI软件中的一个以《权力的游戏》角色为原型的定制角色AI聊天机器人进行密集互动。塞维尔的母亲在美国佛罗里达中区地方法院对Character AI和谷歌母公司Alphabet提起了非正常死亡诉讼，指责公司在没有适当保护措施的情况下向青少年提供AI伴侣服务，并收集青少年用户数据训练模型。Character.AI信任与安全主管Jerry Ruoti表示，公司非常重视用户安全，并一直在寻找改进平台的方法。

游云庭律师认为，目前只有对违法内容的禁止性规定，对于监听用户交流内容以发现自杀倾向，实践和法律上均无具体措施和规定。AI技术未来不会被当作人或生物体看待，而是一种工具。北京大成律师事务所的肖飒律师强调，AI是新生事物，大平台和头部厂商应依据更高的道德和伦理准则，主动建立监管和审查规则。游云庭律师表示，这种个例很难避免类似悲剧不再发生，社会应提供更多心理健康渠道，降低发病概率。