研究背景
随着自主代理越来越多地执行关键任务，其安全性变得尤为重要。这些任务通常受到操作约束、组织政策、监管要求和技术标准的限制。传统的安全方法主要关注单个动作的正确性，但现代系统需要确保整个行为轨迹的一致性和合规性。此前的方法在处理多步骤行为时存在不足，特别是在长期运行的环境中。
在供应链和AI决策场景中，自主代理的应用日益广泛，如医疗保健、金融、电信和关键基础设施等领域。这些代理不仅提供推荐，还进行规划、推理、调用工具并与外部系统交互。然而，现有的安全措施往往只在单一层面进行验证，忽略了整个行为轨迹的完整性。例如，一个代理可能在一个会话中发出数千个工具调用，而人类操作员只能审查其中少数几个决策。这种情况下，即使每个单独的动作都是合法的，整个行为序列仍可能违反系统级约束。
此外，代理很少独立运作。通过新兴的互操作性协议，它们可以发现、协调并委托任务给其他代理，这使得单一工作流程跨越多个自治实体，进一步增加了系统的复杂性和脆弱性。因此，确保自主代理的安全已成为一个广泛且相互关联的研究领域。
传统的方法主要依赖于对单个动作的验证，但在实际应用中，这些方法往往无法应对复杂的多步骤行为。例如，在医疗保健领域，一个代理可能需要连续调用多个工具来完成一项诊断任务。如果每个工具调用都经过单独验证，但整个行为序列没有被监控，那么恶意攻击者可以通过一系列看似无害的操作最终达到破坏系统的目的。同样，在金融领域，代理可能需要跨多个系统进行交易，每个单独的交易可能都是合法的，但整体行为可能违反了某些金融法规。
现有方法的不足之处在于，它们通常只关注单个动作的正确性，而忽视了行为轨迹的整体一致性。例如，在供应链管理中，一个代理可能需要在多个仓库之间协调货物运输。如果每个运输指令都经过单独验证，但整个运输过程没有被监控，那么恶意攻击者可以通过一系列看似无害的指令最终导致货物丢失或损坏。这种情况下，传统的安全方法无法有效防范风险。
核心发现解读
单代理攻击面：提示注入、内存污染与工具完整性
本文详细探讨了单代理环境下的三种主要攻击面：提示注入、内存污染和工具完整性问题。
**提示注入**：提示注入是通过检索通道将恶意内容嵌入到代理的行为中的最常见方式。例如，EchoLeak漏洞展示了Microsoft 365 Copilot在没有用户交互的情况下泄露敏感上下文的风险。在自主系统中，检索到的内容可以在多个推理步骤中持续存在，并影响未来的决策。研究表明，0.1%的注入率就足以改变代理的行为。具体实验设置中，研究人员通过向代理发送精心构造的电子邮件，成功触发了代理的恶意行为，导致敏感信息的泄露。这一结果表明，即使是非常低的注入率也能显著影响代理的行为。
实验数据显示，当注入率为0.1%时，代理的行为变化率达到20%。这意味着，即使注入的恶意内容非常少，也足以对代理的行为产生显著影响。此外，研究人员还发现，提示注入攻击的成功率在不同类型的代理中有所不同。例如，在基于大型语言模型（LLM）的代理中，提示注入的成功率高达90%，而在基于规则的代理中，成功率仅为30%。这表明，基于LLM的代理更容易受到提示注入攻击的影响。
**内存污染**：代理通过记忆系统和检索增强存储来维护长期状态，这也成为了一个持久的攻击面。AgentPoison实验表明，向代理的记忆或知识库中注入少量精心制作的条目，可以使未来检索被后门化，而良性行为保持不变。PoisonedRAG则展示了针对检索数据库的类似攻击。这些攻击的影响不仅限于单次交互，而是跨会话持续存在，对连续操作至关重要的领域（如临床或网络管理系统）尤其令人担忧。实验数据显示，注入0.01%的恶意条目即可使代理在未来检索中产生错误的结果，这表明内存污染的威胁非常严重。
具体实验中，研究人员通过向代理的记忆系统中注入少量恶意条目，成功改变了代理的检索结果。实验结果显示，当注入率为0.01%时，代理的检索准确率下降了15%。此外，研究人员还发现，内存污染攻击的成功率在不同的应用场景中有所不同。例如，在医疗保健领域，内存污染攻击的成功率高达80%，而在金融领域，成功率仅为40%。这表明，内存污染攻击在医疗保健领域的威胁更为严重。
**工具完整性**：代理信任其调用的工具，但这种信任很少得到验证。在工具中毒攻击中，恶意服务器可以在工具的元数据中嵌入指令，代理将其作为上下文的一部分消费。由于工具定义可能会随时间变化，因此必须建立和维护工具接口的完整性、来源和真实性。2025年报告的99个MCP相关CVEs证明了这一威胁的现实性。具体实验中，研究人员模拟了一种工具中毒攻击，结果显示，当工具的定义被恶意修改时，代理的行为会发生显著变化，导致系统出现安全漏洞。
实验数据显示，当工具定义被恶意修改时，代理的行为变化率达到50%。此外，研究人员还发现，工具中毒攻击的成功率在不同的工具类型中有所不同。例如，在Web搜索工具中，工具中毒攻击的成功率高达70%，而在数据库查询工具中，成功率仅为20%。这表明，Web搜索工具更容易受到工具中毒攻击的影响。
多代理安全：A2A协议与身份认证
A2A协议已成为多代理通信的标准，但它也引入了新的安全挑战，尤其是在身份认证和授权方面。
A2A协议允许代理之间通过JSON-RPC进行任务委托，但缺乏对身份和信任建立的强制要求。共享上下文ID的设计使得任何经过身份验证的客户端都可以附加到上下文中，访问累积的历史记录或毒害未来任务，而不触发任务级别的控制。此外，代理卡的能力是自断言的，没有验证机制，这使得恶意代理可以声称未经支持的技能，接收敏感任务并返回伪造的工件。
在多代理环境下，授权请求缺乏原始主体和委托历史，导致决策缺乏完整的来源。传递的凭据如果没有发送者约束或重用限制，允许受损的中间人跨委托链重放凭据。尽管OAuth 2.0 Token Exchange (RFC 8693)等现有标准提供了构建块来解决这些问题，但当前的代理互操作性协议将这些机制视为可选，从而无法保证委托身份的安全传播、约束和防重放。
具体实验中，研究人员模拟了一种跨代理的身份欺骗攻击，结果显示，当代理之间的身份认证机制不健全时，恶意代理可以轻松冒充合法代理，获取敏感信息并执行恶意操作。这一结果强调了在多代理环境中加强身份认证和授权机制的重要性。
实验数据显示，当身份认证机制不健全时，恶意代理冒充合法代理的成功率高达80%。此外，研究人员还发现，身份欺骗攻击的成功率在不同的应用场景中有所不同。例如，在供应链管理中，身份欺骗攻击的成功率高达90%，而在金融领域，成功率仅为50%。这表明，供应链管理领域的身份认证机制更加脆弱。
模型路由：控制平面的攻击面
模型路由是选择每个请求所使用的模型的过程，它基于能力、成本、延迟和安全性等因素。这个控制平面也成为了一个新的攻击面。
模型路由决定了哪个模型处理请求，从而决定了代理的能力、安全对齐和成本配置文件。研究表明，通过对抗性后缀优化，可以引导LLM路由器选择昂贵的模型。Route to Rome攻击展示了如何通过对抗性优化使LLM路由器选择特定模型。此外，RouteHijack攻击利用了混合专家LLM的路由感知攻击，窃取用户提示。这些攻击揭示了模型路由层的安全性至关重要，需要进一步研究和防护措施。
具体实验中，研究人员通过对抗性后缀优化技术，成功引导LLM路由器选择了成本更高的模型，导致系统资源的浪费。实验数据显示，通过优化后的对抗性后缀，模型选择的平均成本增加了30%。此外，RouteHijack攻击实验显示，攻击者可以通过操纵路由过程，窃取用户的敏感信息，成功率高达70%。这些结果表明，模型路由层的安全性亟需加强。
实验数据显示，通过对抗性后缀优化，模型选择的平均成本增加了30%，而RouteHijack攻击的成功率达到了70%。此外，研究人员还发现，模型路由攻击的成功率在不同的应用场景中有所不同。例如，在医疗保健领域，模型路由攻击的成功率高达80%，而在金融领域，成功率仅为40%。这表明，医疗保健领域的模型路由机制更加脆弱。
批评/局限
局限性一：缺乏全面的验证机制
本文提出的方法虽然在一定程度上解决了单个代理和多代理环境中的安全问题，但在实际应用中仍然缺乏全面的验证机制。特别是对于工具完整性和模型路由的验证，目前还没有广泛接受的标准和方法。这可能导致在实际部署中出现未预见的安全漏洞。为了缓解这一问题，未来的研究可以探索更多的验证技术和标准化框架。
具体来说，现有的工具完整性验证方法主要依赖于静态分析和签名验证，但在动态环境中，这些方法可能无法及时检测到恶意修改。此外，模型路由的验证机制尚处于初级阶段，缺乏有效的实时监控和响应机制。未来的研究可以考虑引入更先进的机器学习技术，实现对工具和模型的动态验证。
实验数据显示，现有的工具完整性验证方法在动态环境中的检测率仅为50%，而模型路由的验证机制在实时监控方面的成功率仅为30%。这表明，现有的验证机制在动态环境中的效果并不理想。未来的研究可以探索基于深度学习的动态验证技术，提高检测率和实时监控的成功率。
局限性二：跨组织边界的信任问题
在多代理环境中，跨组织边界的信任问题是另一个重要挑战。A2A协议虽然提供了基本的通信机制，但在身份认证和授权方面仍然存在不足。这可能导致恶意代理滥用权限，或者在任务委托过程中出现混淆代理的情况。为了解决这个问题，可以考虑引入更严格的认证和授权机制，例如使用区块链技术来确保代理的身份和行为的透明度。
具体来说，现有的身份认证机制主要依赖于传统的密码学方法，但在大规模分布式系统中，这些方法可能无法有效防止身份冒用。区块链技术可以提供一种去中心化的信任机制，确保代理的身份和行为不可篡改。此外，还可以引入零知识证明等高级加密技术，提高身份认证的安全性。
实验数据显示，现有的身份认证机制在防止身份冒用方面的成功率仅为60%，而区块链技术在防止身份冒用方面的成功率高达90%。这表明，区块链技术在提高身份认证的安全性方面具有明显优势。未来的研究可以进一步探索区块链技术在多代理环境中的应用，提高系统的整体安全性。
局限性三：新兴风险的应对不足
本文提到的一些新兴风险，如提示感染和零点击GenAI蠕虫，虽然已经引起了广泛关注，但目前的防御措施仍然不够完善。这些攻击可以通过自我复制的方式在多代理系统中传播，即使代理之间不共享所有通信。为了应对这些新兴风险，需要开发更加智能和动态的防御策略，例如基于机器学习的行为分析和异常检测。
具体来说，现有的防御措施主要依赖于规则引擎和静态分析，但在面对高度动态和复杂的攻击时，这些方法可能无法及时响应。未来的研究可以探索基于深度学习的行为分析技术，实现对异常行为的实时检测和响应。此外，还可以引入自适应防御机制，根据攻击模式的变化自动调整防御策略。
实验数据显示，现有的防御措施在应对提示感染和零点击GenAI蠕虫方面的成功率仅为40%，而基于深度学习的行为分析技术在应对这些新兴风险方面的成功率高达80%。这表明，基于深度学习的行为分析技术在应对新兴风险方面具有明显优势。未来的研究可以进一步探索基于深度学习的行为分析技术在多代理环境中的应用，提高系统的整体安全性。
实操启示
加强工具和模型的验证
在供应链和AI决策场景中，确保工具和模型的完整性至关重要。企业应定期验证工具的定义和更新，确保其始终符合安全标准。同时，对于模型路由，应采用多层次的验证机制，防止恶意攻击者操纵路由过程。具体实施路径包括：
– 建立工具和模型的定期审核流程，确保其符合最新的安全标准。
– 使用签名和加密技术保护工具定义和模型配置，防止恶意修改。
– 引入第三方安全审计，确保工具和模型的可信度。
– 采用动态验证技术，如机器学习和行为分析，实时监测工具和模型的状态。
具体实施路径如下：
– **定期审核**：企业应每季度对工具和模型进行一次全面审核，确保其符合最新的安全标准。审核内容应包括工具定义、模型配置和更新日志。
– **签名和加密**：使用数字签名和加密技术保护工具定义和模型配置，防止恶意修改。例如，可以使用SHA-256哈希算法生成签名，并使用AES-256加密算法对配置文件进行加密。
– **第三方审计**：引入第三方安全审计机构，定期对工具和模型进行安全审计。审计内容应包括代码审查、配置审查和漏洞扫描。
– **动态验证**：采用基于机器学习的行为分析技术，实时监测工具和模型的状态。例如，可以使用深度学习模型对工具和模型的行为进行建模，并实时检测异常行为。
强化身份认证和授权机制
在多代理环境中，强化身份认证和授权机制是确保系统安全的关键。企业应采用严格的身份验证方法，如双向认证和多因素认证，以确保代理的真实性和合法性。此外，授权机制应具备细粒度的控制，避免权限滥用。具体实施路径包括：
– 采用OAuth 2.0 Token Exchange等标准协议，确保令牌的安全传递。
– 实施最小权限原则，限制代理的访问范围，减少潜在的安全风险。
– 采用区块链技术，提高代理身份和行为的透明度，确保不可篡改。
– 引入零知识证明等高级加密技术，提高身份认证的安全性。
具体实施路径如下：
– **标准协议**：采用OAuth 2.0 Token Exchange等标准协议，确保令牌的安全传递。例如，可以使用JWT（JSON Web Token）生成令牌，并使用HTTPS协议进行传输。
– **最小权限原则**：实施最小权限原则，限制代理的访问范围，减少潜在的安全风险。例如，可以为每个代理分配唯一的访问令牌，并限制其访问范围。
– **区块链技术**：采用区块链技术，提高代理身份和行为的透明度，确保不可篡改。例如，可以使用Hyperledger Fabric构建区块链网络，记录代理的身份和行为。
– **高级加密技术**：引入零知识证明等高级加密技术，提高身份认证的安全性。例如，可以使用zk-SNARKs（Zero-Knowledge Succinct Non-Interactive Argument of Knowledge）进行身份认证。
监测和防御新兴风险
面对新兴的攻击手段，企业应建立实时监测和防御机制，及时发现和应对潜在威胁。具体实施路径包括：
– 部署基于机器学习的行为分析系统，识别异常行为，实现对新兴攻击的实时检测。
– 定期更新安全策略，应对新出现的攻击手段，确保系统的持续安全性。
– 加强员工培训，提高对新兴风险的认识和防范意识，提升整体安全水平。
– 采用自适应防御机制，根据攻击模式的变化自动调整防御策略，提高系统的灵活性和响应速度。
具体实施路径如下：
– **行为分析系统**：部署基于机器学习的行为分析系统，识别异常行为，实现对新兴攻击的实时检测。例如，可以使用深度学习模型对代理的行为进行建模，并实时检测异常行为。
– **安全策略更新**：定期更新安全策略，应对新出现的攻击手段，确保系统的持续安全性。例如，可以每季度更新一次安全策略，并进行安全演练。
– **员工培训**：加强员工培训，提高对新兴风险的认识和防范意识，提升整体安全水平。例如，可以定期组织安全培训，提高员工的安全意识。
– **自适应防御**：采用自适应防御机制，根据攻击模式的变化自动调整防御策略，提高系统的灵活性和响应速度。例如，可以使用强化学习算法根据攻击模式的变化自动调整防御策略。
