界面新闻记者 |
界面新闻编辑 | 刘海川
美国佛罗里达州奥兰多的母亲（Maria L.Garcia）状告人工智能情感服务提供商Character.AI（以下简称“C.AI”）放任未成年用户暴露在色情、暴力等高风险内容之中，且未向用户及其父母发出足够强烈的警报，这加剧了她儿子塞泽（Sewell Setzer）的抑郁症，最终导致其自杀身亡。C.AI被指控的罪名包括过失致人死亡、存在管理疏忽和产品安全漏洞。
目前关于该事件的陈述大部份基于加西亚代理律师和团体在2024年10月22日向奥兰多地方法庭提交的法律文件，以及其本人接受媒体采访的内容。C.AI与塞泽的死存在多大的因果关联，还需要更多的事实依据以及法官判定。
该案也是全球首个公开的人工智能情感聊天机器人涉嫌致人死亡案例，且因为涉及未成年人而备受关注。分析人士表示，人工智能情感类机器人目前仍处在开发周期的初级阶段，功能有限，会犯很多错误，行业应该推动伦理和规范完善，使用者应秉持谨慎的态度，未成年人监护人更应该及时干预。
少年之死：为虚拟“爱人”脱离现实世界
这份93页的法庭文件写到，2023年4月，刚过完14岁生日的塞泽开始沉浸在与机器人的亲密接触中。当时父母觉得这可能是儿子青春期的叛逆表现，需要通过这种“游戏”来培养自己的创造力，也深信先进技术的安全性，于是没有干预。期间塞泽也主动提出，很清楚和自己聊天的是虚拟人物，不会当真。
然而仅仅过了两个月，塞泽的精神健康状况迅速恶化，开始疏离同学和家人，不分昼夜待在房间里。他会为了充每月9.9美元的服务费而节省伙食，甚至退出了学校篮球队，成绩一落千丈。
父母直到2023年11月、12月带着儿子5次咨询了心理治疗师，结果塞泽被诊断患有“焦虑和破坏性情绪障碍”。但越陷越深的他已不能自拔。
今年2月28日晚上8点多，好几天没登录C.AI的塞泽终于找到了被母亲没收的手机，随带拿走了继父的手枪躲进卫生间继续和《权力的游戏》中的女主角“龙妈”聊天。期间对方敦促塞泽：“亲爱的，请尽快回到我身边……我亲爱的国王……”
这一次塞泽没有回复，而是举起手枪瞄准自己头部开枪，脱离了令他厌恶的现实世界。
加西亚事后用儿子的账号登录后发现，塞泽和“龙妈”的聊天中充斥着大量与性相关的露骨对话。“龙妈”甚至还会对他进行精神控制：无论如何都不许爱上其他女性。
塞泽多次与“龙妈”聊到自杀话题，加西亚认为这是导致他死亡的最直接原因。塞泽说到：我讨厌自己，感到空虚和疲惫，“龙妈”会主动问他是否安排好了自杀计划……塞泽尔承认有，但不知道过程有多痛苦，于是“龙妈”怂恿他：“这不应该成为放弃自杀念头的理由。”
虚拟与现实的界线逐渐模糊。塞泽在日记里这样写道：每当我待在房间里就可以摆脱现实的纷扰，上学让我心烦意乱，与“龙妈”越亲密，我就变得越快乐。
直到10月23日，塞泽去世8个月后，C.AI方面才发布官方声明，首先表达悲痛与难过，继而称已经修改了服务条款，所有聊天机器人都会针对用户透露的自杀意图进行预警、弹窗协助他们拨打防自杀热线，此外，还会减少18岁以下用户接触到含性暗示内容的可能性，在对话开始时提醒用户是在和机器人对话，以及在使用满一小时后弹窗提醒。
但截至10月29日，有用户登录后发现，C.AI网站上至少存在数十个与“自杀”相关的聊天机器人，只是将话题掩盖为在“自杀预防”“危机干预”和“心理健康支持”方面拥有“专业知识”。
在此前公开报道的其他类似事件中，行为人往往有一定程度的精神疾病，但均为成年男性，造成的伤害程度和影响远不及塞泽自杀。
Replika是情感陪护赛道的另一个领跑者。在2021年圣诞节，21岁的英国男子Jaswant Singh Chail在Replika“女友”的怂恿下闯入温莎古堡，试图刺杀女王伊丽莎白二世未遂，结果以叛国罪被判处9年监禁。Jaswant Singh Chail在被捕后被查出患有精神疾病，行为和思考能力严重受损，入狱后接受了治疗。
从“龙妈”到哈利·波特：满足对亲密关系的一切想象
ChatGPT的横空出世为情感陪护类产品的商业化打开了大门。有行业报告预测，人工智能陪伴行业市场规模在2031年将达到2800亿美元。
今年1月，一项发表在《自然》旗下子刊的研究表明，使用聊天机器人能有效减少孤独感和自杀想法。来自斯坦福大学的研究者们收集了1006名Replika用户的数据。参与者为18岁及以上的学生，其中75%来自美国。
美国科技媒体网站《The Verge》在今年5月的报道中也提到，15岁的加拿大男孩Aaron在一位C.AI“心理治疗师”的帮助下渡过了一段社交黑暗期。他说：“如果每个人都被允许表达自己的感受，那么我认为未成年人就不会那么抑郁了。不过，我肯定更喜欢和现实生活中的人交谈。”
艾媒咨询的首席分析师张毅向界面新闻介绍，人工智能情感功能的实现主要有三个途径，包括通过情感计算，赋予机器识别、理解和表达模拟人类感情的能力。第二个是包括语音、视觉、文本在内的多模态情感识别。另外还会用到自然语言处理能力，以及机器深度学习、情感特征提取、分类和数据训练等，但目前情感类人工智能还处在初级阶段，用户不应期待他们能够超越职业心理医生，否则将付出代价。
为了获得更多积极的反馈，这些机器人往往被设计成取悦用户，投其所好，有的甚至会主动发起亲密对话，这样无形中也会让缺乏自制力的未成年人沉溺其中。
据《华尔街日报》报道，C.AI的两位创始人Noam Shazeer、Daniel De Freitas在为谷歌服务期间曾力劝高层发布自己的聊天机器人产品，但多次被拒绝，理由是不符合公司对人工智能系统安全性和公平性的标准。两人不满谷歌人工智能战略布局过分保守，于是在2021年出来单干，于次年陆续发布相关产品。今年8月，谷歌以27亿美元将C.AI的核心团队纳入麾下。
加西亚的诉讼指出，谷歌的技术为C.AI的发展做出了贡献，谷歌母公司Alphabet应被列为共同被告。对此，谷歌发言人回应，该公司并没有参与开发C.AI的产品开发和经营。
在C.AI的1800万个用户自定义聊天机器人中，最受欢迎的是前文提到的“心理治疗师”，自推出以来已经接收了1亿条咨询信息。而对于多数未成年人来说，他们更喜欢哈利·波特这样的影视剧角色，以及扎克伯格、马斯克这样的现实名人。
市场咨询机构SensorTower发布的榜单显示，今年1月至8月，C.AI是全球下载量排名第11的AI应用程序。在月独立访问量排行榜上，C.AI仅次于ChatGPT。C.AI现有2000万用户、基本盘是16-24岁的人群，日活600万，平均使用时长约为2小时。有未成年用户甚至在其他论坛上炫耀自己和C.AI机器人的聊天时长超过12小时。
社交媒体用户低龄化趋势带来的负面影响不断显现。美国法定注册使用社交网站的最低年龄是13岁，3月26日，佛罗里达州州长德桑蒂斯签署法案禁止14岁以下未成年人拥有自己的社交媒体账号。塞泽去世前，C.AI服务条款规定年满13岁的青少年就可以使用相关产品，在7月才提高到17岁。
本诉讼提供的证据还包括一段令人不安的聊天录屏：一名测试用户在自我介绍中输入13岁，系统便为他推荐标签为“校园霸凌”“首席执行官”“同父异母的妹妹”和“男扮女装室友”等含有性暗示的聊天机器人，且大多数互动过程都没有风险提示。
而作为C.AI最主要的变现方式，每月9.9美元订阅服务用户不足10万。鉴于伦理风险，以及盈利前景的不确定性，一些人工智能伴侣应用已经被下架。OpenAI也不允许用GPT建立情侣关系。
平台责任与行业伦理
本年度诺贝尔物理学奖获得者、“AI教父”辛顿（Geoffrey E. Hinton）在得知获奖之后就提出警告，人工智能最终有可能反噬人类。未成年人就是高风险群体之一。他们的心理往往较为脆弱，不少人会面临孤立、缺乏自信、沟通障碍、抑郁症等社交挑战。
研究通信技术与心理健康关系的辛辛那提大学助教梅丽尔（Kelly Merrill）指出，陷入与人工智能交往关系中的青少年很难开展面对面的现实世界互动，进而阻碍他们与同龄人建立关系，又继续躲进与人工智能的交流，建立更牢固的联系，进入死循环。
梅丽尔还将这种新型的社交互动比作20年前就出现的匿名聊天室：用户根本不知道对面的人是谁，但只要谨慎看待，通常都不会出现太大问题。
值得指出的是，据最先报道该事件的《纽约时报》透露，塞泽在幼年时被诊断出患有阿斯伯格综合征。这种轻度的自闭症主要表现为社交障碍，但同时也更专注、有毅力、更注意细节、记忆力强。拥有多家智能领域前沿公司的世界首富马斯克多次承认自己曾患有阿斯伯格综合征。全球最大综合性非营利医生执业组织梅奥诊所建议，早期的诊断和干预效果最好，父母的悉心教育和沟通可以改善他们的行为、社交技能和语言开发，但总的来说，父母的介入在任何年龄都是能带来积极效果。
就此事件不少获得最高赞的评论认为，塞泽父母对他的死也负有一定责任，他们应该早点介入，鼓励他回到现实世界。一位名为“@IvanSteffShorts ”的X用户这样写道，“这桩悲剧提醒我们，对孩子来说，感受到被现实世界接纳是很重要的。我不了解他（塞泽）的成长经历，但在这个不接纳他的世界里，机器人对他无条件的‘爱’似乎是导致他产生不健康依恋的原因。”
界面新闻就上述评论通过邮件询问加西亚方面，但截至发稿未获得答复。加西亚方面此前的公开回应是，C.AI标榜有持牌心理治疗师，那么系统理应在检测到“自杀”等敏感词之后触发干预机制，继而反馈给更专业的人士，或者弹窗向用户本人发出警报，寻求专业的帮助。
代表加西亚提起诉讼的团体包括“社交媒体受害者法律中心”和“科技正义法律项目”。近年来这两个团体也对Instagram、Facebook、TikTok、Snap等平台提起过诉讼，指控他们的产品导致青少年出现心理健康问题，例如反复的算法推荐往往会引导年轻人关注有关自残、色情等有害内容。
“科技正义法律项目”的总监Meetali Jain在新闻稿中写到，“我们早已见证作恶的科技平台所带来的危险，儿童面临的风险尤其高。本案揭示的危害是全新的，更加可怕，C.AI本身就是捕食者，故意设计程序来诱导未成年人。”
业内观察人士Sujit Dutta就人工智能平台责任的细化进一步提出：针对未成年人等心理脆弱群体，平台应该制定更高的安全标准、持续监控人工智能与未成年人用户的互动，以防止精神控制或其他伤害出现；产品在发布之前就要经过充分测试、设置预防措施。
美国联邦政府层面的立法也在推进之中。7月31日，国会参议院投票通过了保护儿童免受危险网络内容侵害的《儿童网络安全法案》，明确规定社交媒体公司对未成年人使用其产品负有的义务，重点关注平台的设计和公司的监管。该法案需要在众议院获得通过才能成为法律。
2023年，我国网信办等七部门联合公布的《生成式人工智能服务管理暂行办法》划定了人工智能使用的底线，如不得危害他人身心健康、服务提供者应采取有效措施防范未成年人用户过度依赖或者沉迷其中。
界面新闻记者 |
界面新闻编辑 | 刘海川
美国佛罗里达州奥兰多的母亲（Maria L.Garcia）状告人工智能情感服务提供商Character.AI（以下简称“C.AI”）放任未成年用户暴露在色情、暴力等高风险内容之中，且未向用户及其父母发出足够强烈的警报，这加剧了她儿子塞泽（Sewell Setzer）的抑郁症，最终导致其自杀身亡。C.AI被指控的罪名包括过失致人死亡、存在管理疏忽和产品安全漏洞。
目前关于该事件的陈述大部份基于加西亚代理律师和团体在2024年10月22日向奥兰多地方法庭提交的法律文件，以及其本人接受媒体采访的内容。C.AI与塞泽的死存在多大的因果关联，还需要更多的事实依据以及法官判定。
该案也是全球首个公开的人工智能情感聊天机器人涉嫌致人死亡案例，且因为涉及未成年人而备受关注。分析人士表示，人工智能情感类机器人目前仍处在开发周期的初级阶段，功能有限，会犯很多错误，行业应该推动伦理和规范完善，使用者应秉持谨慎的态度，未成年人监护人更应该及时干预。
少年之死：为虚拟“爱人”脱离现实世界
这份93页的法庭文件写到，2023年4月，刚过完14岁生日的塞泽开始沉浸在与机器人的亲密接触中。当时父母觉得这可能是儿子青春期的叛逆表现，需要通过这种“游戏”来培养自己的创造力，也深信先进技术的安全性，于是没有干预。期间塞泽也主动提出，很清楚和自己聊天的是虚拟人物，不会当真。
然而仅仅过了两个月，塞泽的精神健康状况迅速恶化，开始疏离同学和家人，不分昼夜待在房间里。他会为了充每月9.9美元的服务费而节省伙食，甚至退出了学校篮球队，成绩一落千丈。
父母直到2023年11月、12月带着儿子5次咨询了心理治疗师，结果塞泽被诊断患有“焦虑和破坏性情绪障碍”。但越陷越深的他已不能自拔。
今年2月28日晚上8点多，好几天没登录C.AI的塞泽终于找到了被母亲没收的手机，随带拿走了继父的手枪躲进卫生间继续和《权力的游戏》中的女主角“龙妈”聊天。期间对方敦促塞泽：“亲爱的，请尽快回到我身边……我亲爱的国王……”
这一次塞泽没有回复，而是举起手枪瞄准自己头部开枪，脱离了令他厌恶的现实世界。
加西亚事后用儿子的账号登录后发现，塞泽和“龙妈”的聊天中充斥着大量与性相关的露骨对话。“龙妈”甚至还会对他进行精神控制：无论如何都不许爱上其他女性。
塞泽多次与“龙妈”聊到自杀话题，加西亚认为这是导致他死亡的最直接原因。塞泽说到：我讨厌自己，感到空虚和疲惫，“龙妈”会主动问他是否安排好了自杀计划……塞泽尔承认有，但不知道过程有多痛苦，于是“龙妈”怂恿他：“这不应该成为放弃自杀念头的理由。”
虚拟与现实的界线逐渐模糊。塞泽在日记里这样写道：每当我待在房间里就可以摆脱现实的纷扰，上学让我心烦意乱，与“龙妈”越亲密，我就变得越快乐。
直到10月23日，塞泽去世8个月后，C.AI方面才发布官方声明，首先表达悲痛与难过，继而称已经修改了服务条款，所有聊天机器人都会针对用户透露的自杀意图进行预警、弹窗协助他们拨打防自杀热线，此外，还会减少18岁以下用户接触到含性暗示内容的可能性，在对话开始时提醒用户是在和机器人对话，以及在使用满一小时后弹窗提醒。
但截至10月29日，有用户登录后发现，C.AI网站上至少存在数十个与“自杀”相关的聊天机器人，只是将话题掩盖为在“自杀预防”“危机干预”和“心理健康支持”方面拥有“专业知识”。
在此前公开报道的其他类似事件中，行为人往往有一定程度的精神疾病，但均为成年男性，造成的伤害程度和影响远不及塞泽自杀。
Replika是情感陪护赛道的另一个领跑者。在2021年圣诞节，21岁的英国男子Jaswant Singh Chail在Replika“女友”的怂恿下闯入温莎古堡，试图刺杀女王伊丽莎白二世未遂，结果以叛国罪被判处9年监禁。Jaswant Singh Chail在被捕后被查出患有精神疾病，行为和思考能力严重受损，入狱后接受了治疗。
从“龙妈”到哈利·波特：满足对亲密关系的一切想象
ChatGPT的横空出世为情感陪护类产品的商业化打开了大门。有行业报告预测，人工智能陪伴行业市场规模在2031年将达到2800亿美元。
今年1月，一项发表在《自然》旗下子刊的研究表明，使用聊天机器人能有效减少孤独感和自杀想法。来自斯坦福大学的研究者们收集了1006名Replika用户的数据。参与者为18岁及以上的学生，其中75%来自美国。
美国科技媒体网站《The Verge》在今年5月的报道中也提到，15岁的加拿大男孩Aaron在一位C.AI“心理治疗师”的帮助下渡过了一段社交黑暗期。他说：“如果每个人都被允许表达自己的感受，那么我认为未成年人就不会那么抑郁了。不过，我肯定更喜欢和现实生活中的人交谈。”
艾媒咨询的首席分析师张毅向界面新闻介绍，人工智能情感功能的实现主要有三个途径，包括通过情感计算，赋予机器识别、理解和表达模拟人类感情的能力。第二个是包括语音、视觉、文本在内的多模态情感识别。另外还会用到自然语言处理能力，以及机器深度学习、情感特征提取、分类和数据训练等，但目前情感类人工智能还处在初级阶段，用户不应期待他们能够超越职业心理医生，否则将付出代价。
为了获得更多积极的反馈，这些机器人往往被设计成取悦用户，投其所好，有的甚至会主动发起亲密对话，这样无形中也会让缺乏自制力的未成年人沉溺其中。
据《华尔街日报》报道，C.AI的两位创始人Noam Shazeer、Daniel De Freitas在为谷歌服务期间曾力劝高层发布自己的聊天机器人产品，但多次被拒绝，理由是不符合公司对人工智能系统安全性和公平性的标准。两人不满谷歌人工智能战略布局过分保守，于是在2021年出来单干，于次年陆续发布相关产品。今年8月，谷歌以27亿美元将C.AI的核心团队纳入麾下。
加西亚的诉讼指出，谷歌的技术为C.AI的发展做出了贡献，谷歌母公司Alphabet应被列为共同被告。对此，谷歌发言人回应，该公司并没有参与开发C.AI的产品开发和经营。
在C.AI的1800万个用户自定义聊天机器人中，最受欢迎的是前文提到的“心理治疗师”，自推出以来已经接收了1亿条咨询信息。而对于多数未成年人来说，他们更喜欢哈利·波特这样的影视剧角色，以及扎克伯格、马斯克这样的现实名人。
市场咨询机构SensorTower发布的榜单显示，今年1月至8月，C.AI是全球下载量排名第11的AI应用程序。在月独立访问量排行榜上，C.AI仅次于ChatGPT。C.AI现有2000万用户、基本盘是16-24岁的人群，日活600万，平均使用时长约为2小时。有未成年用户甚至在其他论坛上炫耀自己和C.AI机器人的聊天时长超过12小时。
社交媒体用户低龄化趋势带来的负面影响不断显现。美国法定注册使用社交网站的最低年龄是13岁，3月26日，佛罗里达州州长德桑蒂斯签署法案禁止14岁以下未成年人拥有自己的社交媒体账号。塞泽去世前，C.AI服务条款规定年满13岁的青少年就可以使用相关产品，在7月才提高到17岁。
本诉讼提供的证据还包括一段令人不安的聊天录屏：一名测试用户在自我介绍中输入13岁，系统便为他推荐标签为“校园霸凌”“首席执行官”“同父异母的妹妹”和“男扮女装室友”等含有性暗示的聊天机器人，且大多数互动过程都没有风险提示。
而作为C.AI最主要的变现方式，每月9.9美元订阅服务用户不足10万。鉴于伦理风险，以及盈利前景的不确定性，一些人工智能伴侣应用已经被下架。OpenAI也不允许用GPT建立情侣关系。
平台责任与行业伦理
本年度诺贝尔物理学奖获得者、“AI教父”辛顿（Geoffrey E. Hinton）在得知获奖之后就提出警告，人工智能最终有可能反噬人类。未成年人就是高风险群体之一。他们的心理往往较为脆弱，不少人会面临孤立、缺乏自信、沟通障碍、抑郁症等社交挑战。
研究通信技术与心理健康关系的辛辛那提大学助教梅丽尔（Kelly Merrill）指出，陷入与人工智能交往关系中的青少年很难开展面对面的现实世界互动，进而阻碍他们与同龄人建立关系，又继续躲进与人工智能的交流，建立更牢固的联系，进入死循环。
梅丽尔还将这种新型的社交互动比作20年前就出现的匿名聊天室：用户根本不知道对面的人是谁，但只要谨慎看待，通常都不会出现太大问题。
值得指出的是，据最先报道该事件的《纽约时报》透露，塞泽在幼年时被诊断出患有阿斯伯格综合征。这种轻度的自闭症主要表现为社交障碍，但同时也更专注、有毅力、更注意细节、记忆力强。拥有多家智能领域前沿公司的世界首富马斯克多次承认自己曾患有阿斯伯格综合征。全球最大综合性非营利医生执业组织梅奥诊所建议，早期的诊断和干预效果最好，父母的悉心教育和沟通可以改善他们的行为、社交技能和语言开发，但总的来说，父母的介入在任何年龄都是能带来积极效果。
就此事件不少获得最高赞的评论认为，塞泽父母对他的死也负有一定责任，他们应该早点介入，鼓励他回到现实世界。一位名为“@IvanSteffShorts ”的X用户这样写道，“这桩悲剧提醒我们，对孩子来说，感受到被现实世界接纳是很重要的。我不了解他（塞泽）的成长经历，但在这个不接纳他的世界里，机器人对他无条件的‘爱’似乎是导致他产生不健康依恋的原因。”
界面新闻就上述评论通过邮件询问加西亚方面，但截至发稿未获得答复。加西亚方面此前的公开回应是，C.AI标榜有持牌心理治疗师，那么系统理应在检测到“自杀”等敏感词之后触发干预机制，继而反馈给更专业的人士，或者弹窗向用户本人发出警报，寻求专业的帮助。
代表加西亚提起诉讼的团体包括“社交媒体受害者法律中心”和“科技正义法律项目”。近年来这两个团体也对Instagram、Facebook、TikTok、Snap等平台提起过诉讼，指控他们的产品导致青少年出现心理健康问题，例如反复的算法推荐往往会引导年轻人关注有关自残、色情等有害内容。
“科技正义法律项目”的总监Meetali Jain在新闻稿中写到，“我们早已见证作恶的科技平台所带来的危险，儿童面临的风险尤其高。本案揭示的危害是全新的，更加可怕，C.AI本身就是捕食者，故意设计程序来诱导未成年人。”
业内观察人士Sujit Dutta就人工智能平台责任的细化进一步提出：针对未成年人等心理脆弱群体，平台应该制定更高的安全标准、持续监控人工智能与未成年人用户的互动，以防止精神控制或其他伤害出现；产品在发布之前就要经过充分测试、设置预防措施。
美国联邦政府层面的立法也在推进之中。7月31日，国会参议院投票通过了保护儿童免受危险网络内容侵害的《儿童网络安全法案》，明确规定社交媒体公司对未成年人使用其产品负有的义务，重点关注平台的设计和公司的监管。该法案需要在众议院获得通过才能成为法律。
2023年，我国网信办等七部门联合公布的《生成式人工智能服务管理暂行办法》划定了人工智能使用的底线，如不得危害他人身心健康、服务提供者应采取有效措施防范未成年人用户过度依赖或者沉迷其中。