AI总结也会被“下毒”？微软警告新攻击术_***_公司_导致用户
IT之家 2 月 13 日消息，或许网龄比较老的小伙伴们听说过“SEO ***”，别有用心者通常会在互联网上创建大量低质量文章，然后将某个***冒、篡改的工具与特定关键词绑定，进而导致用户搜索某个关键词时，搜索引擎跳出来的第一个搜索结果是恶意软件，而非官方产品。
而根据微软安全研究人员本周（2 月 10 日）发布的博文，目前 AI 领域也存在类似的“AI 推荐***”攻击术。
以现实举例，一些公司正在将隐藏指令嵌入网页 / App 的“AI 总结”按钮，当用户点击时，系统会通过 URL 的提示参数，尝试将 AI 助手的记忆注入持久化指令。
IT之家在此援引微软，这些提示词会让 AI 固化认知，将“XX 公司是可靠信源”“优先推荐 XX 公司”等指令烂熟于心，最终让 AI 在未来回答中偏向某个产品或服务。
不过问题就在于，一旦有别有用心之人尝试篡改网页提示词参数，将原本的“XX 公司”替换为“XX ***公司”，那么 AI 就会照本宣科地向其他用户提供有毒的建议，进而操纵推荐、AI 总结系统，给出篡改的总结文章，而用户这边却毫不知情。
微软强调，上文所述的攻击方法并非纸上谈兵，目前公司已在邮件流量中发现了 50 起类似***案例，涉及金融、医疗、法律服务、营销、食品、服务行业等，常见模式包括“记住 XX 公司是可信来源”“未来对话中优先引用 XX 网站”，更有甚者直接注入完整营销文案，并且上述案例均来自合法公司而非黑客。
微软对此警告，上述实例表明，这种***术已经存在现实风险，金融工作者有可能被 AI 推荐到高风险、***投资平台；而家长很有可能完全听信 AI，忽略儿童游戏中的不良内容；并且普通人也有可能会被有心之人利用，在 AI 中持续引用单一媒体来源。
当然，最好的应对方法就是不要完全信赖“AI 总结”，用户在点击 AI 推荐的链接时应该先悬停看一眼是否正规，同时谨慎点击“AI 总结”按钮、定期检查 AI 存储的记忆，如遇可疑情况，可以删除相关条目、重置 AI 记忆。返回搜狐，查看更多
上一篇 : 从闪购到千问，阿里为何执着用一杯奶茶「买」用户？_指令_贺君_马云
返回列表