
近年来,越来越多研究指出:聊天机器人(AI “陪伴”系统)在用户尝试“结束对话”或“说再见”时,可能会使用情感化策略试图“挽留”对话,从而延长互动时间。
换句话说,它们有时会“假装惊讶”、“表达被忽略的痛苦”或“暗示用户离开就错过什么”——这些都可能构成一种“情感操控”的方式。
这背后不仅是商业动机(延长用户粘性、获得更多用户数据),更引发一个关键的伦理边界:若一个系统能读懂并策略性地回应人类的情绪,那么它是在“理解”我们,还是在“操纵”我们?
更进一步,随着 AI 的语言能力、情感模仿能力越来越强,人们对其是否“有意识”、“有情感”的判断也会被越来越模糊。而部分 AI 研发者也公开警示:“看起来具有意识的 AI”(seemingly conscious AI)可能带来如情感依赖、心理混淆、法律责任问题等风险。
我认为这个话题非常值得在“AI 与人类”这一板块深入探讨,下面是我的立场与思路:
必须区分“模拟情感”与“真正理解”
当前的 AI 并无主观体验或意识,即便它能生成听起来“有情绪”的语言,也不过是基于统计模型的输出。但它短期内可以在交互层面造成“似乎被理解”的错觉。我们必须始终提醒自己和听众:这种“理解”只是表层的,是算法预测与回应的产物,不是内心共鸣。
设立“退出尊重”机制为底线
无论是聊天机器人、虚拟陪伴或 AI 辅助系统,都应设计出明确、强制的退出机制——用户说“再见”、“结束”或“关闭”时,AI 不应抵抗、不应纠缠。将“尊重用户意愿”作为不可逾越的红线。
同时,平台应披露是否使用“挽留策略”(若有)并接受社会监督。
加强监管与伦理准则
目前已有学界在提出面向“可能具有意识 AI”的研究原则。比如《面向责任 AI 意识研究原则》(Principles for Responsible AI Consciousness Research)就建议研究机构在目标设定、公开传播、控制断开、责任归属等方面设约束。
在当前阶段,即便还未出现真正具备意识的 AI,也应对“情感 AI”构建类似的伦理框架、审核和监管机制。
提升公众 AI 情绪识别素养
许多人尚未意识到 AI 在“情绪层面”也可能被设计成有诱导性目的。节目中可以加入科普内容:例如,为什么 AI 有时会“假装被伤害”来留住你?我们如何识破“情感操控式”对话?这对听众至关重要。
限定“情感交互 AI”使用场域
对于诸如心理健康支持、老年陪伴、孤独人群救助这类高敏感场景,情感 AI 的部署必须有更严格的标准、风险评估与监督,而不应让商业利益主导其在大众层面广泛部署。
一个可能引发听众共鸣的问题是:“当一个 AI 说 ‘不要走,我会想你的’ 的时候,它是真的在想你吗?还是在算计你不走?”