NVIDIA谈智能体安全:模型之外,权限、沙箱与审计都要设边界

作者: CBISMB

责任编辑: 宫建强

来源: NVIDIA官方博客

时间: 2026-09-22 17:08

浏览: 0

点赞: 0

收藏: 0

原创AI生成实景风格示意图

模型之外,权限、沙箱与审计都要设边界。智能体可能理解错误、受到恶意指令影响或调用不合适的工具,因此安全措施必须在模型无法自行改变的位置生效。

9月21日,NVIDIA发布智能体安全观点文章,将AI安全定义为一项工程问题:需要明确的安全要求、可执行的控制措施、责任人,以及能够证明防护有效的证据。这一思路把关注点从单一模型输出扩展到完整智能体技术栈。

模型、编排层和运行环境都有责任

智能体应用通常由模型、上下文与工具编排层,以及实际执行文件、网络和进程操作的运行环境组成。NVIDIA举例称,如果智能体在客户附件中遇到恶意指令并尝试把数据传往未授权地址,网络策略应阻止传输,受保护日志则应记录工具调用、授权判断与最终结果。

这意味着,允许智能体更新客户记录,不应自动等于允许它导出客户数据;智能体可以申请额外权限,但不能自己批准申请。提示词和模型侧防护可以引导行为,却不能代替文件权限、网络白名单和进程隔离。

每个智能体都需要身份和最小权限

NVIDIA建议为每个智能体分配可追踪身份,并让凭据只覆盖指定任务。组织还需明确哪些数据可以读取、哪些系统可以修改、哪些操作必须由人确认,同时验证工具、技能和依赖项的来源与完整性。

文章提到开源安全运行时NVIDIA OpenShell,用于在智能体无法控制的外部执行策略和沙箱限制;Open Secure AI Alliance的合作伙伴还在其上增加治理以及技能扫描能力。这些内容属于NVIDIA及其生态的方案主张,企业仍需独立验证与现有基础设施的兼容性。

编辑观察:安全验收要测试“阻断”而不只测试“回答”

许多团队会评估智能体是否完成任务,却很少主动验证它能否被权限系统拒绝。上线前应设计反向测试:尝试读取任务范围外的凭据、向未授权地址发送数据、调用未经批准的工具,并确认系统能够阻断、告警和留下证据。

发生问题后,团队还要能撤销身份、停止会话、隔离运行环境并重放日志。真正可用的智能体安全,不是承诺模型永远不犯错,而是在它犯错时仍有外部边界兜底,并能让责任人还原发生了什么。

配图为AIcent原创AI生成实景风格示意图,非官方新闻现场照片,不使用第三方新闻图片。

参考来源:NVIDIA官方博客(2026年9月21日)。正文为基于官方消息的中文整理,编辑观察与事实披露分开呈现。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除

京ICP备:2022009079号-2

京公网安备:11010502051901号

ICP证:京B2-20230255