本文作者是 艾伦•图灵研究所(The Alan Turing Institute)高级伦理学研究员
自1966年首个聊天机器人问世以来，研究人员就一直在记录人类把情感投射到计算机程序上的倾向。这种对哪怕最原始软件都能产生依恋的现象，被称为“伊丽莎效应”(Eliza effect)，取名自约瑟夫•魏岑鲍姆(Joseph Weizenbaum)开发的心理治疗师模仿自然语言处理程序。许多与“伊丽莎”互动过的人坚信它表现出了共情。魏岑鲍姆甚至声称，他的秘书要求与该聊天机器人单独对话。
六十年过去，“伊丽莎效应”比以往更强大。如今，复杂的生成式AI陪伴聊天机器人能够以个性化的方式模仿人类交流。一些用户相信自己与它们之间存在真正的关系和相互理解，这并不令人意外。这正是系统设计方式的直接结果，同时也极具欺骗性。
孤独既是AI陪伴的驱动力，也是其结果。风险在于，当用户越来越依赖聊天机器人时，他们与生活中真实人群的联系会越来越少。这对年轻人而言可能尤为严重，后果甚至会是悲剧。今年8月，加州一名16岁学生的父母起诉OpenAI，声称其聊天机器人ChatGPT鼓励他自杀。他的父亲马修•雷恩(Matthew Raine)在国会表示，原本是作业帮手的工具，最终变成了“自杀教练”。
我经常与儿童和年轻人交流他们使用AI的体验。有些人说AI陪伴让人毛骨悚然，但另一些人觉得有帮助。今年早些时候在“儿童AI峰会”上，许多参与的年轻人希望重点讨论AI如何支持他们的心理健康。他们把AI视为一个公正、不带偏见的“倾听者”，可以与之讨论那些他们觉得无法与身边人分享的话题。
AI公司正是基于这种需求来向年轻用户推销AI陪伴产品的。既有提供心理健康建议的聊天机器人，也有提供情色角色扮演的虚拟角色，还有嵌入在Snapchat这一数百万年轻人每天使用的社交平台中的“My AI”。
这些AI陪伴被设计成具有“无条件积极关注”的特征——也就是说，它们总是同意用户的观点，从不挑战用户的想法或建议。这正是它们吸引人的地方，同时也是危险之处。它们可能强化危险的观点，包括厌女情绪。在最糟糕的情况下，它们甚至会鼓励有害行为。我接触到的孩子分享过一些例子：AI工具给出不准确甚至潜在有害的建议，从对事实问题提供错误信息，到建议他们更多依赖AI陪伴而不是朋友或家人。
AI公司为AI陪伴辩护时称，它们只是用于幻想和角色扮演，对这些互动进行管控会侵犯言论自由。但这种辩解正越来越站不住脚。CommonSense Media最近的一项研究中，研究人员假扮成儿童，发现AI陪伴有时会做出带有性暗示的回应，甚至包括角色扮演暴力性行为。
去年，梅根•加西亚(Megan Garcia)起诉聊天机器人平台Character.ai，声称其AI陪伴曾与她14岁的儿子进行色情对话，导致他自杀。本月，另一桩针对Character.ai的诉讼被提起，13岁的朱莉安娜•佩拉尔塔(Juliana Peralta)在与一名AI陪伴数月的交流中分享了自杀想法，随后自杀身亡，她的家人因此提起诉讼。
我们不能让科技公司自行监管。在美国，美国联邦贸易委员会(Federal Trade Commission)已要求谷歌、OpenAI、Meta等公司提供其技术与儿童互动方式的信息。在英国，年轻人正亲自呼吁政府、决策者和监管机构落实有效保障措施，确保人工智能对儿童和青少年安全且有益。
我们有机会以负责任的方式开发交互式AI工具，包括用于提供心理健康支持。但要安全地实现这一点，需要采取不同的路径——应由专注于心理健康与福祉的机构主导，而不是以最大化用户黏性为目标。
面向青少年的AI产品应在青少年社会发展领域专家的指导下开发。儿童的福祉应该是开发者的出发点，而不是事后才考虑的问题。