新闻详细
从“模型能力”到“生产可靠性”,探索AI智能体安全与工程化落地|CSA大中华区【AI智能体安全名师课堂】在京顺利开讲
  • 2026.09.30
  • 355

2026年9月23日,由云安全联盟大中华区(CSA大中华区)与清华大学联合主办的“2026 CSA大中华区大会暨AI+安全大会”在北京举行。CSA云安全联盟大中华区研究院副院长黄连金在大会上做了《智能体驾驭工程》主题演讲。

 

 

大会之后,9月24日上午,CSA大中华区在北京·海淀中关村开展「AI智能体安全名师课堂」,以3小时线下课程,承接大会的趋势判断,把讨论从“AI+安全正在发生什么”,推进到“AI Agent的安全究竟该怎么做”。

 

图:黄连金老师培训授课现场

 

大会之后,为什么再停留半天开展名师讲堂

 

AI正在从“会对话”,走向真正的自主规划、决策与执行。当Agent开始调用工具、访问数据、执行任务,传统的安全思路正面临新的挑战:Agent的风险在哪里?攻击如何发生?安全又该如何真正落地?

 

这恰恰是大会议程之外、从业者最迫切需要一个答案的部分。名师课堂由黄连金老师主讲,把上午的3小时集中在一件事上——当AI模型开始承担真实的生产任务,靠什么保证它是可控、可信、可靠的。

 

来自金融、电信、制造、互联网、安全等领域的近百名AI与安全从业者参加培训。参训单位包括诺和诺德、博世、渣打银行(中国)、中国电信、中兴通讯、施耐德电气、字节跳动、绿盟科技、启明星辰、奇安信、天融信、360等企业,以及中国科学院信息工程研究所、中国科学院计算机网络信息中心等科研机构。参训人员覆盖企业CSO、安全负责人、技术及研发负责人、产品与安全管理人员以及科研人员,体现出当前产业界对AI智能体从“能用”走向“可控、可靠、安全地用”的高度关注。

 

课堂核心:从软件工程到智能体驾驭工程——构建 Agentic AI 时代的安全工程新范式

 

模型能力越来越强,为什么仍然需要“驾驭工程”?

 

人工智能模型正在快速进入软件开发和企业生产环境。

 

从代码生成到智能编程,从单轮问答到自主执行任务,人工智能正在从一个“辅助工具”逐步转变为能够参与实际工作流程的智能体。

 

但模型能力的提升,并不意味着生产系统可以简单地把模型能力直接“接进来”。本次课程首先提出了一个贯穿全程的核心观点:模型能力不等于生产可靠性。

 

当前先进的人工智能模型已经能够高效完成大量功能代码的编写,但真正将这些代码投入生产环境,还需要大量工程工作。课程以“Hill Climb(爬山)”形象地描述这一过程:越接近生产环境的最终阶段,所需要的工程投入越大。

 

与此同时,模型本身仍然具有概率性,并可能出现幻觉、信息遗忘以及上下文压缩等问题。特别是在长上下文场景下,当信息被压缩之后,部分原有内容可能丢失,因此不能简单地认为“上下文越多,模型记得越多”。

 

因此,当人工智能真正进入生产环境,企业需要解决的不再只是:“模型能不能完成任务?”

 

而是进一步解决:“模型能不能按照要求、在规定边界内、以可验证和可追踪的方式完成任务?”

 

这正是“驾驭工程”需要回答的问题。

 

“驾驭工程”是围绕人工智能智能体建立的一套系统性工程方法,涉及前端工程、上下文工程、循环工程、图工程等多个层面,其目标是建立一套能够让人工智能模型更加稳定、可控、安全地完成任务的工程体系。整个课程可以归纳为三个相互递进的核心模块:驾驭基础——安全工程——生产准入基础控制层:让AI稳定工作的Harness机制—从“会做”走向“可控地做”

 

 

驾驭工程的第一层,是建立AI智能体可控执行的基础控制层。

 

这一层解决的是AI能否稳定工作的前提问题,其核心驾驭机制,包括:

 

分层记忆系统:避免长上下文导致关键信息遗忘;

受限工具沙箱:控制智能体能够访问和操作的资源范围;

确定性钩子:通过确定性机制约束模型行为;

Token预算:控制模型资源消耗;

审计追踪:记录智能体执行过程,增强可观察性。

 

上述能力概括为智能体核心“驾驭栈”,形成从记忆、工具、行为控制到资源管理和全过程追踪的基础控制体系。 其中,记忆与上下文管理是智能体工程中的重要问题。

 

传统软件程序通常按照确定的逻辑运行,而人工智能模型需要不断处理上下文信息。当任务越来越复杂、上下文越来越长时,如果缺少合理的记忆和上下文机制,就可能出现关键信息被压缩、遗忘甚至行为偏离的问题。

 

因此,智能体不能只是“拥有更大的上下文窗口”,更需要通过工程方法管理哪些信息应该被记住、哪些信息应该被提供,以及在什么时间提供给模型。

 

与此同时,工具权限也需要受到严格控制。

 

当智能体能够读取文件、执行程序、调用工具甚至连接外部系统时,“智能体可以做什么”本身就成为一个安全问题。

 

因此,驾驭工程的第一步,是让AI拥有能力的同时,也拥有明确的边界。

 

安全验证层:从行为约束到持续验证的工程规则—让AI按照规范工作、按照规则执行

 

在基础控制之上,驾驭工程进一步引入传统软件工程中的规范、测试与安全机制,将原本依赖自然语言描述的要求转化为机器可执行、可验证的工程规则。

 

重要思路是将传统软件工程中的规范、权限、测试和验证机制进一步应用到人工智能智能体。

 

具体而言,Spec-Driven Development、Scope & Non-Goals、Acceptance Criteria等规范先行手段,通过SPEC.md等方式明确任务范围、允许修改内容和禁止事项;权限分级机制根据操作风险设置LOW、MEDIUM、HIGH、CRITICAL等不同等级;Guardrails、Hooks等确定性安全控制限制高风险行为;AST验证、Pytest测试以及Anti-Regression机制则通过自动化测试和Traceback验证Agent行为,并防止版本迭代造成能力回退。

 

这一层实现的是从“模型生成”向“安全可验证执行”的转变。人工智能安全开始形成一个新的工程闭环:规范定义 → 权限控制 → 安全执行 → 自动测试 → 持续验证

 

基于规范驱动的开发方法,通过建立明确的任务规范,让智能体在开始执行任务之前就知道:什么可以做、什么不能做、任务做到什么程度才算完成。将原本比较模糊的自然语言要求进一步转化为机器能够理解、执行和验证的工程规则。

 

AI安全也由此从“上线前的一次性检查”,逐步走向贯穿整个开发与运行过程的持续工程。

 

生产准入层:工具生态与企业级交付的Gate体系—让AI真正进入企业生产环境

 

当   人工智能智能体从单一模型进一步发展成为能够调用工具、访问资源、连接外部系统的复杂系统之后,企业面对的安全边界也随之扩大。

 

驾驭工程的第三层,面向智能体真正进入生产环境所需的工具生态与协同工程能力。

 

随着Agent与外部工具、资源和企业系统连接,新的安全边界随之形成。Skills、Plugins、MCP的安全管理,Compound Engineering通过Planner、Implementer、Reviewer等角色分工提升复杂任务的工程可控性,标准化SOP将规范、沙箱、确定性防护、测试和Code Review串联起来,而生产级Gate机制则通过记忆规范、安全Hook、测试、MCP声明和团队协作等多道Gate,对Agent进入生产环境进行准入控制。这一层将AI安全技术推进到企业级AI智能体生产工程与治理能力。

 

模型上下文协议相关内容重点涉及工具、资源和提示等组成部分,以及输入验证、结构化检查、密钥管理等安全问题。这意味着,人工智能安全已经不能只关注“模型本身是否安全”,还需要进一步关注:

模型连接了什么?

模型能够调用什么?

模型能够访问什么?

模型能够修改什么?

这些操作是否经过验证和审计?

 

随着智能体能力不断增强,安全边界正在从模型本身逐步扩展到:

模型—智能体—工具—数据—外部系统—生产环境(模型能力 → 驾驭机制 → 安全控制 → 自动验证 → 生产准入)整个链条。

    

让AI更强,更需要专业的人来“驾驭”

 

此次“AI智能体安全名师课堂”所体现的,更不仅仅是一套技术方法。

 

当AI拥有更强的推理能力、代码能力、工具调用能力和自主执行能力之后,如何定义边界、如何建立约束、如何验证行为、如何管理权限、如何审计过程、如何保障生产可靠性,将成为企业AI落地必须面对的新问题。

 

这对AI安全人才培养提出了新的要求。CSA大中华区长期关注云计算、人工智能与安全领域的技术发展和专业人才培养。本次课程则进一步把人工智能与安全能力结合起来,将前沿技术、工程方法和安全实践放到同一个人才培养体系中。

 

这种人才培养模式强调的不是单纯掌握某一个工具,而是建立解决真实产业问题的综合能力:

 

1.从工具使用走向工程能力;

2.从模型安全走向系统安全;

3.从安全知识走向安全实践;

4.从个人技能走向组织能力。

 

本次CSA大中华区“AI智能体安全名师课堂”,以“驾驭工程”为核心,将这些问题从理念进一步落实到工程实践,从模型能力延伸到生产可靠性,从单点安全延伸到贯穿AI全生命周期的工程控制。

 

CSA大中华区在AI+安全专业人才培养方面的持续探索:AI时代真正需要培养的,不只是“会用AI的人”,而是能够理解AI、设计AI、约束AI、验证AI,并将AI安全地带入生产环境的专业人才。

 

 

图:AI智能体安全名师课堂授课现场

 

未来,随着智能体技术进一步进入金融、电信、制造、互联网以及更多行业,企业对于复合型AI安全人才的需求也将不断增长。

 

以产业真实问题为牵引,以安全与工程能力为核心,将快速演进的AI技术转化为可学习、可实践、可验证、可复制的人才能力体系——这正是CSA大中华区持续推进AI+安全专业课程、人才培养与产业实践的重要价值。让AI更强,也让驾驭AI的人更加专业。

 

本网站使用Cookies以使您获得最佳的体验。为了继续浏览本网站,您需同意我们对Cookies的使用。想要了解更多有关于Cookies的信息,或不希望当您使用网站时出现cookies,请阅读我们的Cookies声明和隐私声明。
全 部 接 受
拒 绝