聲明：該文章來自（映象網(wǎng)）版權(quán)由原作者所有，K2OS渲染引擎提供網(wǎng)頁加速服務。

當?shù)貢r間22日，美國佛羅里達州奧蘭多地方法院受理了一起開創(chuàng)先例的訴訟：梅根·加西亞起訴Character.ai公司存在管理疏忽，使得其旗下的聊天機器人產(chǎn)品“讓青少年暴露在色情材料的環(huán)境下，遭受性虐待和引誘”。

法庭文件顯示，梅根14歲的兒子塞維爾·塞澤在去年開始沉迷于和Character.ai的多個AI角色聊天，他甚至為了每月續(xù)訂AI聊天訂閱費而省去餐費，導致上課注意力不集中。今年2月28日，塞維爾在和AI進行了最后一次聊天后，用手槍瞄準自己的頭部開槍自殺。

▲梅根14歲的兒子塞維爾·塞澤

阿斯伯格癥少年用AI尋求溫暖

越陷越深最終開槍自殺

據(jù)悉，梅根指控Character.ai的罪名包括過失致人死亡、管理疏忽和產(chǎn)品安全漏洞。根據(jù)Character.ai的產(chǎn)品條款，年滿13歲的美國青少年就可以使用相關(guān)AI產(chǎn)品，但梅根認為，這些聊天工具使得很多未滿18歲的青少年過多地暴露在色情、血腥暴力等高風險素材之下。

Character.ai的聊天工具在美國深受青少年歡迎，它允許用戶設(shè)置虛擬角色并進行對話，AI能夠自動代入角色的設(shè)定，以特定的語言風格陪伴用戶。這些角色包括影視劇中的人物，丘吉爾、莎士比亞這樣的歷史名人，以及泰勒·斯威夫特這樣的現(xiàn)實名人等。

此前，這一設(shè)定就引發(fā)過法律糾紛，一些娛樂明星控訴該公司未經(jīng)自己同意就設(shè)定了AI角色，另外還有一些惡趣味用戶將過去的殺人案受害者等設(shè)為AI扮演的角色。

起訴書顯示，塞維爾小時候患有阿斯伯格癥，今年在健康檢查中被確診為焦慮癥和破壞性情緒失調(diào)癥。自從去年他年滿13歲以后，他最喜歡的事情就是待在房間里和AI聊天，而他“最好的朋友”是《權(quán)力的游戲》中的著名角色“龍媽”丹妮莉絲·坦格利安。為此，塞維爾甚至疏遠了現(xiàn)實中的好友，他還省吃儉用續(xù)交AI聊天的月度訂閱費用，學習成績也直線下滑。

聊天記錄顯示，塞維爾不僅和“龍媽”的虛擬角色分享心事，還多次談到了自殺的念頭。當他表示想要自殺時，“龍媽”曾勸阻他不要做傻事，“如果你死了，我也會傷心而死。”塞維爾當時稱，“那為什么我不能自殺以后來到死后的世界和你在一起？”

今年2月28日，塞維爾在家里的浴室中和“龍媽”進行了最后的聊天，他表示自己很快要“回家了”。在結(jié)束聊天之后，塞維爾使用父親的大口徑手槍，瞄準自己頭部開槍自殺。

▲塞維爾與“龍媽”的聊天記錄

此外，在另一個聊天中，機器人扮演了一位名叫“巴恩斯夫人”的高中老師?！鞍投魉狗蛉恕痹诮o塞維爾“額外學分”之前，“用性感的眼神低頭看著塞維爾”，并且“用手撫摸塞維爾的腿，誘惑地靠過去”。梅根認為，如此露骨的性描述語言對未成年人的身心傷害很大。

涉事公司稱用戶修改了AI聊天記錄

已推出多項青少年保護措施

Character.ai公司目前拒絕對案件本身進行評論，也拒絕透露18歲以下的用戶數(shù)量。公司通訊主管切爾西·哈里森只是在給媒體的一封電子郵件中表示：“我們的一位用戶不幸離世讓我們心碎，向其家人表示最深切的哀悼。”

公司發(fā)言人羅蒂表示：“Z世代和千禧一代構(gòu)成了我們社區(qū)的很大一部分，年輕用戶喜歡角色體驗，既可以進行有意義且有教育意義的對話，也可以享受娛樂。”他還指出，平均每個用戶每天在該平臺上花費的時間超過一個小時。

有用戶介紹，該平臺的AI聊天角色非常豐富，設(shè)定很符合青少年的心理需求。比如一個人設(shè)為“你最好的朋友也暗戀著你”的虛擬角色很受歡迎，總共接收了1.76億條聊天信息，像“治療師”“咄咄逼人的高中老師”這樣的角色同樣受到未成年人歡迎。

Character.ai公司此前調(diào)閱了塞維爾的聊天記錄，發(fā)現(xiàn)一些“最露骨”的聊天語言是經(jīng)過用戶本人修改過的。相關(guān)聊天平臺允許用戶修改AI角色的聊天回復內(nèi)容，但用戶手動修改后會留下“已修改”的標記。

Character.ai公司的官方公告顯示，所有的聊天角色都會針對用戶吐露的自殺意圖進行干預，并彈出窗口協(xié)助用戶撥打自殺干預熱線電話。此外，針對18歲以下青少年用戶還有很多專門的保護措施，包括在使用滿一小時后彈窗提醒，并在用戶每次啟動聊天時提醒用戶是在和AI而非真實的人對話。

來源：紅星新聞

責編：路風浩

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務市場：https://www.ijiandao.com/