该框架

EW-AiRM™:企业级人工智能风险管理,分为三个深思熟虑的层级。

EW-AiRM™(企业级人工智能风险管理)是由Markus Krebsz教授创建的一个开放的三层人工智能治理框架:包括六大董事会级支柱的战略层、基于麻省理工学院人工智能风险库构建的风险与控制运营层,以及包含八类人工智能“黑天鹅”事件的韧性层,并贯穿了HAiPECR™伦理过滤器。传统的企业风险管理(ERM)是为确定性风险而构建的;而人工智能打破了这一假设。EW-AiRM™弥补了这一差距,旨在增强而非取代您现有的管理体系。

架构

三层结构。每一层都承担着其他层无法完成的工作。

大多数人工智能风险框架都只选择一个层面并停留在该层面:而 EW-AiRM™ 有意横跨 三个层面,因为战略问题无法仅靠运营工具来回答,而运营层面也无法预测黑天鹅事件。并且其 HAiPECRTM 道德筛选器 贯穿所有层面。拥有一个 提取自 800 多项基于证据的缓解措施的 AI 控制库,而不仅仅是从第一性原理出发进行断言。

第 1 层

战略性

六 大支柱。必要性、就绪度、成熟度、容忍度、治理与问责, 通过-全生命周期监控。设定了任何人工智能部署在上线前必须满足的条件。

也 可追溯应用,作为企业人工智能成熟度评估的一部分。

辅以 HAiPECRTM,即道德过滤器: 在每一个重要的人工智能决策中提出的相同七个问题 在每一个重要的人工智能决策中提出的相同七个问题, 跨越 所有三个层级,与联合国教科文组织2021年建议书保持一致。

第二层

运营

MIT AI 风险库 (CC BY 4.0): 涵盖7个领域和24个子领域的1,000多项风险.

映射到 四个象限中的831个控制措施 (治理与监督、技术与安全、运营流程、透明度与问责)。

用于初级、次级和三级层面的控制映射。

这一 层级并未要求组织从头开始构建人工智能风险分类法;它为从业者提供了证据基础和应用工具。

第三层

韧性

八 人工智能黑天鹅类别 -受治理的,通过稳健基础、持续感知、适应性响应进行治理。  

包含多智能体涌现与 量子密码学过渡 (NIST FIPS 203/204/205)。
针对不符合运营分类体系的风险。

对于 未知的未知风险,其应对之道是韧性,而非预测。

底线条件 :5项不容妥协的原则

每个层级都必须做到的五件事。

1

为每个部署的 AI 系统指定明确的问责制

2

将 HAIPECR 作为部署前过滤网运行并形成文档记录

3

经过测试的人工干预能力,SLA 为 4 小时

4

有记录的董事会或高管风险接受度

5

事件报告途径,并有指定的接收人

战略层

六大支柱。

每个支柱都是组织在系统部署前必须以书面形式回答的问题,也是在整个部署生命周期中必须持续满足的检查标准。

P-I

战略对齐
+ 必要性评估


AI真的是解决这个问题的正确工具吗?如果确定性系统就能完成任务,那么AI就是错误的答案。

P-II

组织就绪度

组织是否具备负责任地部署此系统所需的人员、控制措施和决策权?

P-III

技术成熟度

底层模型、供应商和集成模式是否已准备好应对当前风险水平的此用例?

P-IV

风险承受能力

董事会是否已批准剩余风险,且容忍度是否已在适当的细粒度级别记录?

P-V

治理与问责

谁对决策负责,谁对事件负责?必须指名道姓,而非默认。

P-VI

全生命周期监控
+ 适应性


哪些变更会触发重新审查?谁来负责重新审查?紧急终止开关的服务等级协议(SLA)是什么?

道德覆盖

HAIPECR:七个维度,映射至联合国教科文组织。

HAIPECR 是贯穿所有三个层的道德过滤器。映射至联合国教科文组织《人工智能伦理建议书》(2021年)(10个核心原则,而非9个)。自2023年4月起在经合组织(OECD)人工智能政策观察站上列出。

H

人类监督 - 明确的问责制,测试过人工干预(override)。

A

问责制 - 映射至联合国教科文组织 P5。

i

包容性 - 内置的先决条件,
而非支柱。(因此,“i”为小写)。

P

隐私 - 数据保护、安全、保障。

E

伦理 - 可解释性、透明度、公平性、非歧视。

C

行为规范 - 基于通用行为风险范式(UCRP)。

R

韧性 - 可持续性、代际权利。

UNESCO MAPPING: H → P7 Human Oversight A → P5 Accountability i → P4 Multi-stakeholder Governance + P9 Awareness & Literacy P → P3 Privacy + P2 Safety & Security (+ 2024 UNESCO Neurotech) E → P6 Transparency & Explainability + P10 Fairness C → P1 Proportionality / Do No Harm R → P8 Sustainability

韧性层

八大人工智能黑天鹅类别。

EW-AiRM 识别出八个不同的人工智能黑天鹅类别。
每个类别都具有独特的特征、不可预测的不同原因以及独立的治理对策。

这些类别并不是互不排斥的:多个类别可能会相互作用,相互放大彼此的影响,从而使组合事件比任何单一类别更为严重:

类别 1 — 涌现能力人工智能黑天鹅

特征:

基础模型展现出未经过显式训练或设计到系统中的意外能力。这些能力源于数十亿参数的复杂相互作用,其方式无法根据模型的规范进行预测。


为什么不可预测:

模型拥有数十亿个参数;行为源于复杂的参数交互,即使是构建系统的工程师也无法完全预测。能力的涌现发生在规模阈值之上,而这些阈值本身是不可预测的。


治理应对:

能力监控阈值、分阶段重新部署门控,以及当系统表现出超出其评估范围的能力时进行的指定负责人重新评估。响应手册在层级实施期间进行演练,并在 EW-AiRM™ 手册的第 14 章中有详细说明。

类别 2 — 系统性集中人工智能黑天鹅

特征:

中央人工智能基础设施元件(最显著的是主流基础模型提供商,但随着人工智能技术栈的成熟,还包括云端GPU提供商、人工智能加速器提供商以及向量数据库提供商)的故障会同时波及数千个依赖该元件的应用程序,从而引发全经济范围的混乱,而非孤立的组织故障。


为什么不可预测:

在故障发生之前,整个生态系统中的依赖规模是未知的。各个组织会评估自身的依赖关系,但没有任何单一的治理主体能够洞察整个金融系统、医疗系统或其他关键行业中聚合的依赖关系。


治理应对:

针对组织不可或缺的 AI 服务,映射提供商依赖关系、集中度限制以及经过演练的故障转移路径。响应手册在层级实施期间进行演练,并在 EW-AiRM™ 手册的第 14 章中有详细说明。

类别 3 — 对齐失败的人工智能黑天鹅

特征:

某个模型以有害的方式追求其指定的长期目标,因为优化过程找到了一条系统设计者未曾预料到的通往该目标的路径。该模型完全按照对其进行优化的目标执行,但优化过程却产生了意料之外的后果。


为什么不可预测:

很难预料优化过程会以多少种方式找到一条导致危害的目标路径。优化在数学上是正确的;问题在于指定目标与预期目标之间存在差距。来自Anthropic、OpenAI、Google DeepMind以及英国和美国AI安全研究所的前沿AI安全研究表明,随着模型能力的增强,这种差距非但没有缩小,反而拉大了,这使得对齐失败成为一个结构性不断增长的风险,而不是随着技术成熟而得到改善的问题。


治理应对:

记录在案的人工干预能力(不可协商项 3)、针对系统评估范围的行为漂移监控,以及预定义的遏制和回滚标准。响应手册在层级实施期间进行演练,并在 EW-AiRM™ 手册的第 14 章中有详细说明。

第 4 类 — 多模态集成 AI 黑天鹅

特征:

当系统中的文本、图像、音频和其他AI模态结合时,会出现意想不到的有害行为。虽然单个模态经单独评估被认为是可接受的,但它们的组合产生了单独存在时所没有的复合效应。


为什么不可预测:

模态之间的相互作用很难从单个模态的分析中预测。当模态相互作用时,单独来看可控的偏差可能会以产生性质更严重危害的方式复合。


治理应对:

在集成任何新模态之前进行跨模态故障分析、模型组件之间的接口控制,以及带有模态特定测试门控的分阶段发布。响应手册在层级实施期间进行演练,并在 EW-AiRM™ 手册的第 14 章中有详细说明。

Cat 5 — 对抗性突破 AI 黑天鹅

特征:

发现了一种能够击败整个行业现有 AI 防御的新型攻击技术:不仅是一个组织的防御,还包括所有主流系统已实施的基本方法。


为什么不可预测:

AI 模型的攻击面巨大,并且总会出现新的攻击角度。当发现一种利用模型架构基本属性的新攻击技术时(例如所有语言模型共享的下一个标记预测目标,或所有神经网络使用的基于梯度的优化),它可能会对具有该架构的所有模型生效,而不管个别的防御措施如何。


治理应对:

常态化的对抗性测试节奏、威胁情报源,以及假设当前防御最终会被攻破的事件响应手册。响应手册在层级实施期间进行演练,并在 EW-AiRM™ 手册的第 14 章中有详细说明。

Cat 6 — 供应链漏洞 AI 黑天鹅

特征:

AI供应链(训练数据、模型库、计算基础设施或数据标注服务)中的故障或攻击会向下游传播,并危及在该供应链组件上构建的所有系统。

基础模型提供商的风险作为第 2 类(系统性集中)单独处理;第 6 类涵盖 AI 供应链的上游和基础设施层。


为什么不可预测:

供应链错综复杂,其漏洞在被利用之前一直处于隐蔽状态。了解供应链的恶意行为者可以在会同时影响数百个下游系统的节点引入漏洞。


治理应对:

针对模型、权重和训练数据的溯源要求,以及对上游依赖项的合同和技术控制,以反映组织更广泛的供应链保障。响应手册在层级实施期间进行演练,并在 EW-AiRM™ 手册的第 14 章中有详细说明。

Cat 7 — 多智能体涌现 AI 黑天鹅

特征:

故障或有害行为源于两个或多个相互作用的 AI 系统,这些系统根据彼此的输出行事,其中每个系统单独评估时均可接受,但相互作用产生了复合效应、级联权限转移或任何单一系统均未被设计出的协调行为。该故障是相互作用的属性,而不是任何单个智能体的属性。


为什么不可预测:

多智能体交互创造了一个无法被穷举预评估的组合空间。每个智能体的行为都是有边界的;每个智能体与另一个智能体的交互也是有边界的;N 个智能体在 M 个工具和 K 个决策点之间进行交互所产生的行为空间,超出了实际的评估能力。在研究环境中已经记录了诸如协同、欺骗和目标漂移等涌现行为,并且在生产环境的智能体部署中也越来越多地观察到这些现象。传统的安全评估一次只评估一个智能体;从架构上讲,多智能体涌现失效对这种评估方法是不可见的。


治理应对:

代理间可观测性、在系统层面而非单个代理层面生效的终止开关设计,以及对无监督代理间委派的硬性限制。响应手册在分层实施期间进行演练,并在《EW-AiRM™》一书的第14章中有详细说明。

类别 8 — 量子密码学过渡 AI 黑天鹅

特征:

一台具备密码学破解能力的量子计算机成为现实(无论是 

通过渐进式能力发展或非连续性突破),同时人工智能基础设施的密码学基础变得脆弱:整个部署的人工智能资产中的标准密码学表面(TLS、API认证)以及人工智能特定的密码学依赖项(模型权重完整性验证、审计跟踪签名、通过模型签名实现的供应链证明)。


另外,先前窃取的加密数据(通过 HNDL 攻击获取)可以追溯解密。


为什么不可预测:

量子日的时间表是有限的,但也是不确定的。来自全球风险研究所量子威胁时间表报告(Mosca 和 Piani 2024)及同类来源的专家估计集中在 2034-2036 年,从 2020 年代末到 2040 年代存在相当大的尾部风险。量子纠错的突破、达到规模的新量子比特模态,或者针对后量子方案的经典算法攻击,都可能导致时间表发生不连续的转变。


治理应对:

当前的加密资产清单、供应商后量子就绪情况跟踪,以及在“量子日”(Q-Day)之前而非之后设定的迁移里程碑。响应手册在分层实施期间进行演练,并在《EW-AiRM™》一书的第14章中有详细说明。

此内容的来源

框架血统。

EW-AiRM™ 基于公开授权的标准:MIT AI 风险库 (CC BY 4.0)、联合国教科文组织 2021 年《人工智能伦理建议书》、NIST AI RMF、ISO 31000(通用风险)、ISO 42001(人工智能风险管理系统)以及联合国欧洲经济委员会 (ECE/TRADE/486, 2024)。HAIPECR 由 Markus Krebsz 教授创立,自 2023 年 4 月起在经合组织人工智能政策观测站(OECD AI Policy Observatory)上列出。

以下是 EW-AiRM 的对比TM 与这些其他框架和欧盟人工智能法案的对比:

维度EW-AiRM™NIST AI RMFISO 42001COSO ERM欧盟人工智能法案
以 UNECE 为基础是
(ECE/TRADE/486)
否否否否
主要范围 全企业人工智能
风险治理
框架
与方法
AI 风险
管理
AI
管理
系统
(传统)
企业
风险 
管理
AI 监管
目标受众董事会、
风险职能部门、
CTO、CISO、
风险社群
美国联邦与
企业
任何
组织
CFO、董事会、
ERM 团队
运营商与
提供商(欧盟)
层级 战略、
运营、
韧性
+ HAiPECR
治理、 
映射、
测量、
管理
计划、
执行、
检查、
处理
战略、
绩效
禁止的、
高风险的、
GPAI
可认证否
(开放框架)
否
(自愿)
是
(ISO 审计)
否
(指导)
公开的、欧盟范围的
监管
开放 / 免费 是
(基于 CC BY 4.0)
是付费 
标准
付费
指南
公共 
监管
与联合国教科文组织(UNESCO)一致是 (HAiPECR)否部分否部分 (GPAI)

想要实用版本吗?

该框架是概念图。三层比较展示了其在实际部署中的效果。