微软开源两款新工具，助力智能体开发安全
为保障智能体开发全生命周期的安全，微软开源了两款新工具，图片来源为 Shutterstock。这两款名为 Rampart 和 Clarity 的工具于本周发布，旨在将 AI 安全检查提前到智能体开发周期中，是微软推动智能 AI 安全工程落地的重要举措。微软 AI 红队创始人 Ram Shankar Siva Kumar 在一篇安全博客文章中表示：“我们开发这些工具，是因为我们认为 AI 安全必须成为一门持续的工程学科，而不是一个阶段性的检查点。我们觉得实现这一目标的最佳方式，是将实用的开源工具交到开发者手中。”
应对新风险，两款工具应运而生
随着 AI 智能体从聊天机器人式的助手演变为具有实际操作权限的系统，微软发布了这两款工具。据微软称，这些新型智能体带来了传统应用安全工作流程无法应对的风险，包括提示注入、不安全的工具使用、权限提升和意外的自主行动等。目前，Rampart 和 Clarity 均已作为开源项目在微软上线。
Rampart：实现 AI 红队持续测试
微软将 Rampart 定位为两款工具中更具操作性的一个。该框架旨在帮助开发者将红队测试结果转化为可重复的测试，以便在开发和部署流程中持续运行。Rampart 基于微软用于红队测试生成式 AI 系统的开源自动化框架 PyRIT 构建，旨在让团队能够以结构化和自动化的方式对 AI 智能体执行对抗性和良性测试场景。其目标是超越一次性的安全审查，将持续检查直接纳入 CI/CD 工作流程。Kumar 解释道：“PyRIT 是为安全研究人员在系统构建完成后进行黑盒发现而优化的，而 Rampart 则是为系统构建过程中的工程师设计的。”该框架能够在应用进入生产环境之前，发现与跨提示注入、不安全的数据处理、不安全的工具执行以及其他智能体特定攻击路径相关的问题。此外，Rampart 还能让组织将 AI 红队测试结果转化为可重复的自动化测试，帮助工程师在智能体不断发展的过程中持续检查是否出现问题。
Clarity：聚焦 AI 智能体设计假设
Rampart 侧重于对正在构建的系统进行测试，而 Clarity 则将关注点提前到代码编写之前的工作流程。微软将 Clarity 描述为一种用于检查和验证 AI 智能体设计决策背后假设的工具。这可能包括评估智能体的预期行为、应具备的权限、与工具和外部系统的交互方式以及信任边界的位置等。Kumar 表示：“Clarity 可以作为桌面应用程序、Web UI 运行，也可以直接嵌入到编码智能体中。它引导工程师进行结构化对话，涵盖问题澄清、解决方案探索、故障分析和决策跟踪等方面。”他补充说，这些对话会以 Markdown 文件的形式写入存储库的 ".clarity - protocol/" 目录中，可以像源代码一样进行提交、在拉取请求中进行审查和比较。
两款工具是广泛战略的一部分
过去几个月里，微软一直在构建一个开源的 “智能体治理” 和安全堆栈，Rampart 和 Clarity 是这一广泛战略的一部分，而非独立发布的工具。上个月，微软推出了智能体治理工具包，专注于日常控制、策略执行以及与 OWASP 标准对齐的 AI 智能体保护措施。
关键词：开发工具；软件开发；代码安全；安全保障
