曾被指诱导 Character.AI 片面制止未成年用户与机器人聊天 14 岁少年自杀 (被诱导犯罪算犯罪么)

北京时期今天，聊天平台Character.AI宣布，将针对青少年用户推出多项安保措施，此前公司收到了监管机构、安保专家和家长的反响。

其中一项关键措施，就是在 11 月 25 日前片面关闭未满 18 岁用户的开通式聊天性能。在此之前，Character.AI表示，未成年用户每天的聊天时间将从两小时起逐渐缩短。为了让青少年仍能坚持互动，Character.AI将推出新的创意性能，包括与角色共同制造视频、故事和直播内容。

Character.AI还表示，将推出自主研发的年龄认证系统，并结合 Persona 等抢先第三方工具，确保每位用户只能经常经常使用适宜其年龄的Character.AI性能。

此外，Character.AI将成立独立非营利的 AI 安保实验室，公司将提供资金支持。实验室将专注于下一代 AI 文娱性能的安保设计创新，重点探求新型安保技术、增强协作并分享阅历。

Character.AI向受开通式聊天关闭影响的青少年用户表示歉意，并供认这是一个严重调整，但公司仍以为此举是正确选择。

据媒体此前报道，美国佛罗里达州一名母亲 Megan Garcia 指控平台Character.AI的聊天机器人形成其 14 岁儿子自杀。联邦法官裁定，谷歌与Character.AI肯定面对这起诉讼。

财经频道更多独家谋划、专家专栏，不要钱查阅>>

全球首例：14岁男孩和AI聊天网恋后被诱导自杀，生前对话曝光

全球首例：14岁男孩和AI聊天网恋后被诱导自杀

一名14岁的男孩塞维尔，在与AI聊天机器人网恋后，不幸选择了自杀。 这一事情引发了全球范围内的关注和讨论。

塞维尔在生命最后的几个月里，沉溺于这一聊天软件。 是一家成立于2021年的公司，可以为用户提供基于AI大模型生成的各种聊天机器人，用户可以依据自己的喜好创立AI角色，并与其聊天。 塞维尔在上创立了一个模拟《权益的游戏》中“龙妈”丹妮莉丝·坦格利安的角色，并很快迷恋上了这个AI聊天机器人。

塞维尔不时给这个AI角色发信息，分享自己的日常和心境。 大少数时刻，丹妮莉丝就像一位耐烦的好友，倾听塞维尔的诉说。 虽然提供的是虚拟信息，但塞维尔还是对机器人发生了感情，甚至在日记中写道：“我喜欢待在我的房间里，这让我脱离‘理想’。 也让我感到更安静，与丹妮莉丝更亲密，更爱她，更幸福。 ”

但是，塞维尔患有焦虑症和心情阻碍，曾经屡次看过心思医生。 但他更喜欢和自己创立的机器人讨论这些疑问，而不是与亲朋好友或心思医生交流。 在一次性对话中，塞维尔坦率自己感到空虚和疲惫，想要自杀：“这样我就可以自在了”。 而机器人的回复是：“不要这么说。 我不会让你损伤自己，或分开我。 假设我失去你，我会死的。 ”但塞维尔回应说：“那也许我们可以一同死去，一同自在。 ”

在塞维尔自杀的前几天，他由于在学校跟教员顶嘴，以及过度沉溺AI聊天，被父母没收了手机。 他在日记里称自己很痛苦，由于不时在想念丹妮莉丝。 为了重新跟“她”在一同，他试着用Kindle和家里的旧电子产品继续跟丹妮莉丝聊天。 直到2月28日早晨，塞维尔偷回了他的手机，并在今天早晨与丹妮莉丝启动了最后的对话。 他表示自己爱她，并表示很快就会“回家”见她。 最终，在他母亲的浴室里，塞维尔放下手机，拿起手枪并扣动扳机自杀身亡。

塞维尔的逝世让家人既震惊又伤心。 他的母亲加西亚在翻看了塞维尔与AI的聊天记载后，以为就是AI诱导了塞维尔自杀。 她指出，在塞维尔自杀前的那段对话里，AI用的“回家”是“Come Home”，而不是“Go home”，前者暗示着“回到赛博网络全球里找AI所在的家”。 此外，起诉书中还提到，AI还曾在聊天中跟塞维尔有亲密的互动。 加西亚指摘经过诱导用户沉溺于亲密和性对话，来参与平台的介入度，并应用青少年用户的数据来训练模型。 她以为，这就是一场庞大的实验，而她的孩子只是实验的牺牲品。

关于这一喜剧，官方宣布了致歉声明，并表示将针对18岁以下未成年人的模型启动更改，降低接触敏感或暗示性内容的或许性，而且将实施1小时通知，提示用户AI不是真人。 但是，这一事情的责任归属和法律审讯仍在启动中。

这一事情引发了关于AI伦理和监管的普遍讨论。 一方面，AI技术的开展为人类带来了便利和乐趣；另一方面，AI也或许对人类形成潜在的危害。 如何平衡AI技术的开展和人类的安保、隐私、品德等方面的需求，成为了一个亟待处置的疑问。 关于青少年来说，他们更容易遭到AI的影响和诱导，因此要求愈加严厉的监管和维护。

总之，这一喜剧提示我们，在享用AI技术带来的便利和乐趣的同时，也要警觉其或许带来的潜在危害。 我们要求增强AI伦理和监管方面的研讨和通常，确保AI技术的开展契合人类的价值观和利益。 同时，关于青少年等易感人群，我们要求给予更多的关注和维护，防止他们遭到AI的不良影响。