← 全部概念

模型与使用

提示词注入

Prompt injection

AI 把待阅读材料中的指令当成自己的任务要求,可能因此偏离用户原意;网页、文档和工具结果都可能携带这类内容。

更新于

它是什么

提示词注入是通过输入中的指令,试图把 AI 引向原定任务以外的行为。周报里常见的是“间接提示词注入”:指令藏在 AI 代你读取的网页、文档、图片或工具结果中。这些材料是需要处理的数据,却被误当成了可以支配行动的要求。官方文档区分了直接与间接注入。

一个无害的例子

你让 AI 总结活动网页上的时间和地点,网页里却夹着一段让摘要加入某个无关词语的要求。如果 AI 照做,就说明页面内容影响了它本应遵循的任务。正常做法是提取活动信息,必要时说明发现了异常要求。

与事实错误有什么区别

网页写错日期,会让 AI 引用错误信息;提示词注入则试图改变 AI 的行为。两者都可能导致错误答案,但出错原因不同。材料中出现命令句也不自动构成攻击:文章引用一条操作说明,仍可能只是要被阅读的正文。

为什么智能体尤其需要注意

当 AI 能写文件、操作网页或发送信息时,任务偏离可能影响真实状态。浏览器智能体的相关研究强调,这仍是尚未解决的问题。区分信息来源、限制工具权限并核对关键操作有助于降低风险,但一句提醒或一次成功拦截,都不能证明系统在所有场景下可靠。

来源与延伸阅读

在周报中读到它