当AI开始雇佣AI:企业如何用“算法”治理失控的智能体
今年,澳大利亚多家大型银行已经开始大规模部署自主式AI,当地众多大型企业也在同步推进,这些不再只是概念验证或试点项目,而是真正运行在生产环境中的企业级系统,而这仅仅是全球AI智能体浪潮的开始。
研究机构Gartner预测,到2026年底,40%的企业将在业务应用中嵌入AI智能体,而这一比例在2025年还不足5%。短短一年时间,企业级AI智能体的普及率预计将增长8倍。
然而,企业治理体系的演进速度,却远远跟不上AI的发展。
面对AI智能体,大多数企业仍沿用传统IT治理模式:成立委员会、制定管理制度、设置审批流程、开展定期审计。这套模式建立在两个前提之上——绝大多数决策由人完成,以及所有治理规则都由中心化管理部门统一制定和执行。
但在自主式AI时代,这两个前提都已经不复存在。
AI智能体正在自主规划、自主决策、自主协作,治理对象已经从"系统"变成了"数字员工"。许多企业今天还在制定的AI治理制度,等到正式落地时,很可能已经过时。
未来真正有效的AI治理,必须完成三项根本性的转变。
首先,企业必须具备观察AI智能体行为的能力。
管理学有一句广为流传的话:"无法衡量,就无法管理。"放在AI时代,同样适用。
遗憾的是,大多数企业至今仍不知道应该如何衡量AI智能体的行为。
什么才算正常行为?哪些信号意味着AI智能体开始偏离原有职责?如果一次风险事件不是一次明显违规,而是几百次看似合理的微小决策最终叠加成一个企业绝不会批准的结果,又该如何识别?
这些问题,目前几乎没有标准答案。
现实情况是,企业一边快速部署AI智能体,一边却缺乏真正理解这些AI智能体行为的能力。
Gravitee在2026年的调查显示,仅24.4%的企业表示能够完整掌握AI智能体之间的通信情况,过去一年中,88%的企业已经遭遇过或怀疑遭遇过AI智能体安全事件,然而,即便如此,仍有82%的企业高管相信,现有治理政策足以防止AI智能体未经授权采取行动。
这反映出一个越来越明显的问题:企业的治理信心正在不断增强,而实际风险却增长得更快。
造成这一现象的原因,并非治理团队能力不足。
事实上,大多数治理团队依旧在按照过去成功的方法开展工作。真正的问题在于,他们面对的系统已经发生了根本变化,而治理工具却仍停留在传统IT时代。
没有行为数据,就谈不上真正的AI治理。
治理政策、控制框架、伦理委员会,这些都只是治理体系的"骨架"。如果没有能够持续采集、分析和解释AI行为的数据,再完善的治理体系也只是空谈。
如果企业不知道AI智能体什么情况下属于正常运行,就无法制定真正有效的治理规则,如果无法追踪和理解AI智能体的决策过程,也就无法开展真正意义上的审计。
因此,AI时代的"可观测性",已经不仅意味着监控系统运行状态,而是能够持续采集AI智能体行为数据,建立行为基线,识别异常模式,并将这些遥测信息转化为人能够理解和采取行动的治理依据。
然而,看得见只是第一步。
真正困难的是,当企业部署几十个、上百个甚至数百个AI智能体时,如何持续进行治理。
Salesforce《2026年连接性报告》显示,目前普通企业平均运行约12个AI智能体,这一规模仍然可以依赖人工监督。
但行业领先企业已经进入完全不同的阶段。
例如,IQVIA目前部署的AI智能体数量已经超过150个。在这样的规模下,依靠人工审批、人工监控、人工响应已经不再现实。
企业未必需要推倒重建整个安全体系,但治理模式必须发生变化。
未来,AI必须开始治理AI。
这是唯一既能够支撑大规模运行,又具有经济可行性的治理方式。
新的自主式AI治理体系,需要持续监测AI智能体行为,并能够在毫秒级完成风险识别和响应,它不仅要实时掌握整体运行态势,还需要持续输出关键洞察,帮助企业进行治理决策。
在这种模式下,人类的角色也将发生变化。
人负责制定治理原则、风险边界和运行规则,而日常治理工作则主要由AI完成。治理人员更多承担的是持续优化治理模型、不断提升治理智能体能力的职责,而不是每天处理具体事件。
与此同时,组织治理模式也必须同步调整。
传统企业普遍采用中心化治理架构:法务制定制度,安全团队负责运行监控,研发团队负责在AI智能体内部植入控制机制。
但在自主式AI时代,这种模式已经暴露出明显短板。
安全团队虽然能够监测运行数据,却不了解每一个AI智能体真正承担什么业务,因此难以建立针对性的异常检测机制,研发团队了解智能体如何构建,却往往无法从企业整体治理角度发现系统性风险。
因此,AI治理不能继续依赖某一个部门,而必须采用分布式责任体系。
开发团队需要在AI智能体中预埋关键指标采集接口,持续向统一治理平台上报行为数据,治理团队则负责建立统一的AI治理层,对所有AI智能体进行持续分析和全局态势感知。
尤其值得注意的是,不能把AI智能体自身内置的防护边界当作最终保障。
实践已经证明,这些防护机制仍然容易受到提示词注入攻击的影响。
因此,企业需要建立一个独立于AI智能体之外、由AI驱动的治理平台,对所有AI智能体实施统一监督,并持续向管理层、安全团队和业务部门提供关键指标和治理洞察。
当然,这样的分布式治理体系并不容易建立。
它不仅需要多个部门重新划分职责边界,还需要建立统一的话语体系和协同机制,明确出现问题时由谁负责决策、谁承担责任。
但对于未来大规模部署AI智能体的企业而言,这是唯一具备可持续性的治理模式。
如果把今天的AI智能体浪潮与十几年前的云计算发展相比,会发现两者十分相似。
当年,那些率先建立云治理体系的企业,不仅降低了风险,也获得了持续的竞争优势。
如今,同样的故事正在AI时代再次发生,只不过变化速度更快、影响范围更广,未来的部署规模也将远超云计算时代。
如何在机器速度下,同时管理安全、合规、隐私、负责任AI、质量和成本,这是一项前所未有的新挑战。
软件供应商能够提供部分基础能力,但企业仍需要结合自身业务流程,构建大量AI驱动的定制化治理能力,补齐流程和可观测性的短板。
因此,未来的AI治理团队,不仅要懂治理,更要具备工程能力,能够构建和运营AI治理平台,并将其与现有AI安全、合规体系深度融合。
从目前整个行业的发展来看,真正缺少的并不是治理专家,而是治理思维的转变。
企业必须认识到,过去依赖集中控制的治理模式已经无法适应自主式AI时代。
长期以来,优秀的治理实践始终围绕人员、流程和技术三大要素展开,而这一原则在AI时代依然成立。
不同的是,现在企业需要尽快为自己的AI治理体系确立清晰的发展方向和长期目标。因为等到AI智能体全面铺开之后,再去补建治理能力,所付出的成本和承担的风险,都将远高于今天。