研究:对话机器人错误资讯 77% 成使用者记忆,人类应适度怀疑 AI 内容

生成式 AI(人工智慧)逐渐普及,台大团队研究发现,对话机器人的讯息中有 77% 的错误词汇会成为参与者的记忆,加注警语也难以避免,提醒人类应对 AI 输出内容保持适度怀疑。

台湾科技媒体中心发布新闻讯息指出,随着生成式AI普及,大家对使用AI越来越熟悉,但不可避免AI系统与使用者互动时,会产生错误资讯来回答使用者;若生成式AI带有错误资讯,是否会在人机互动时,潜移默化的影响使用者,是大家必须重视的事。

根据台湾大学心理学系副教授黄从仁的团队於11月20日在「美国心理学家」期刊发表最新研究指出,对话机器人的讯息中有77%的错误词汇会成为参与者记忆,即使加注一次性警语,也无法减少错误的记忆,就算相对频繁、针对特定项目的预先警告参与者,也无法阻止特定项目错误资讯被参与者记忆。

黄从仁表示,团队使用人工可编辑程式的人形机器人RoBoHoN与台湾大学生对话,检查机器人提供情感及价值中立但内容错误的讯息中,是否有预告的警语,并检查这些讯息中有多少比例会在之後的认知测验中,变成一个人记忆的错误资讯。

研究结果显示,机器人提供的错误资讯中,有77%会变成人们的记忆,即便机器人在提供错误资讯前已抱持自我怀疑并提出警告,但这些警告只能增加人们的戒心,并无法真正避免错误资讯成为记忆。

黄从仁认为,无论有无形体的聊天机器人,都应尽量不要输出错误的资讯,可透过人工检核剔除学习资料中的错误资讯,或让聊天机器人透过网路搜寻,先对答案进行事实查核,人类也应对聊天机器人的输出内容保持适度怀疑,不要照单全收。

受台湾科技媒体中心邀请分析此研究的台湾大学资讯工程学系副教授陈縕侬提到,生成式AI系统在与使用者互动时,不可避免的会产生错误的脑补资讯来回答使用者,这种错误资讯的内容,是否会在人机互动中潜移默化地影响使用者,是规范当代AI产品非常重要的考量。

(作者:许秩维;首图来源:Created by Freepik)

科技玩家阿綠