弁言
人工智能监管，体系繁杂。
“蛇打七寸”：创新和监管的抵牾永久存在，环球AI运用与AI监管之间永久在平衡提高，而监管的资源总是有限且稀缺，因此监管如何做到商业的2/8理论，做到蛇打七寸？我们认为欧盟的这部法案充分表示了这种聪慧。
AI运用海内公开惩罚首案：5月29日，海内最新一起天生式人工智能（AIGC）平台被罚案件信息公开。“开山猴AI写作大师”网站被九龙坡区网信办给予行政警告惩罚，责令限期全面整改，加强信息内容审核，停息网站信息更新及AI算法天生式写作功能15日。
AI法案环球首例：5月21日，欧盟《人工智能法案》历时3年正式批准通过。作为环球首部人工智能专项规制法案，在布鲁塞尔效应的加持下，其突出的示范性不言而喻。
“他山之石，可以攻玉。”本文将通过透视欧盟《人工智能法案》的精华部分，解析该法案提出的风险分级体系和对高风险AI 系统的强监管哀求，为我国AI监管和合规供应指引。
一、风险“金字塔”：欧盟《人工智能法案》风险分级体系解读
基于风险的方法，是欧盟AI监管的核心与根本。类似于电影分级制度，《人工智能法案》将不同AI 系统依据风险大小进行分级设计，构建了四层制的风险“金字塔”，对不同场景、领域下的AI系统研发和运用供应有针对性的指引。
（图源自European Commission官网）
（一）不可接管的风险（unacceptable risk）
第一层为“红线区”，乃不可接管的风险，由于它们违反了“人的肃静、自由、平等、民主和法治的欧盟代价不雅观以及欧盟规定的基本权利，包括不受歧视的权利、数据保护权、隐私权以及儿童权利”[1]。
[1] 欧盟《人工智能法案》媒介第 28 条。
具有不可接管的风险的AI 系统被禁止利用。
根据法案第5条规定，被禁止的AI 实践（prohibited AI practices）包括潜意识操纵、利用人的弱点、基于社会行为和个人特性的社会评分、调查个人刑事犯罪的可能性、创建面部识别数据库、剖析人的感情、根据生物信息对人进行分类、“实时”远程生物识别系统。
（二）高风险（high risk）
第二层对应的是高风险，即“对康健、安全和基本权利造成重大影响”[2]。
[2]欧盟《人工智能法案》第6条第3款。
高风险AI系统（high-risk AI systems）只有在符合特定逼迫性哀求的情形下才能进入欧盟市场、供应做事或加以利用。
根据法案第6条规定，两种类型的AI系统被认定为高风险：
将用作产品（或产品的安全组件）且须根据特定欧盟立法接管第三方合格性评估的AI系统；法案附件三所列领域的AI系统，不构成重大危害风险的除外（但对自然人进行画像的始终视为高风险）。例外情形的存在，给高风险的剖断带来不愿定性。对此，欧盟委员会估量在法案生效后18个月内发布关于详细履行的指南，并以实例清单的形式来解释如何区分AI系统高风险和非高风险利用。
（三）有限风险（limited risk）
第三层代表有限风险，指向特定的操纵风险。而为了使自然人免于被操纵，能够以自由意志做出决定，这些特定AI 系统（certain AI systems）的供应者和支配者负有透明度哀求和提示责任，“能够检测和表露这些系统的输出是人为天生或操纵的”[3]。
[3] 欧盟《人工智能法案》媒介第136条。
根据法案第52条规定，特定AI系统包括：
意图与自然人直接互动的AI系统；天生合成音频、图像、视频或文本内容的AI 系统；情绪识别系统或生物特色分类系统；天生或操纵构成深度假造的图像、音频或视频内容的AI 系统。（四）最小风险（minimal risk）
第四层则是最小风险。未归类在不可接管的风险、高风险或有限风险类型的其他AI系统，均属于最小风险类型。譬如，AI驱动的电子游戏或垃圾邮件过滤等系统。由于风险极低，法案许可自由利用此类AI系统，无需过多限定。
二、监管“长链条”：高风险AI系统的监管哀求剖析
对高风险AI系统的监管，是欧盟《人工智能法案》的重头戏。这不只表现为上文所提的对高风险详细且繁芜的判断标准，更反响在对高风险AI 系统的“长链条”监管。
所谓“长链条”监管，是任务链的延长，既指向监管工具的增多，也指向监管阶段的全覆盖。
（一）多主体责任，任务细化
AIGC 的规模化运用使得人工智能以技能、行业、运用为核心的分层业态愈发凸显，并形成更为繁芜的生态系统，涵涉多元任务主体。尼森鲍姆指出的信息社会的“多手问题”，在AI 领域同样显著，系统繁芜性的提升加剧任务归属的模糊性，末了导致的结果每每难以预见。对此，欧盟《人工智能法案》明确了五类主体，包括AI 系统供应者（providers）[4]、支配者（deployers）[5]、授权代表（authorized representatives）[6]、入口商（importers）[7]、分销商（distributors）[8]和产品制造商（product manufacturers）[9]，并对其设置了相应的责任哀求。
[4] “供应者”是指开拓人工智能系统或通用人工智能模型，或已开拓人工智能系统或通用人工智能模型，并将其投放市场或以自己的名义或牌号供应做事的自然人或法人、公共机关、机构或其他团体，无论有偿还是无偿。
[5] “支配者”是指在其授权下利用人工智能系统的任何自然人或法人、公共机关、机构或其他团体，但在个人非职业活动中利用人工智能系统的情形除外。
[6] “授权代表”是指位于或设立在欧盟的任何自然人或法人，他们接管了人工智能系统或通用人工智能模型供应者的书面授权，分别代表实在行和实行本条例规定的责任和程序。
[7] “入口商”是指位于或设立于欧盟的任何自然人或法人，将带有在欧盟以外设立的自然人或法人的名称或牌号的人工智能系统投放市场。
[8] “分销商”是指供应链中除供应者或入口者之外，在欧盟市场上供应人工智能系统的任何自然人或法人。
[9] “产品制造商”将人工智能系统投放市场或将其与其产品一起供应做事，并利用自己的名称或牌号。个中，供应者的责任哀求最为繁多，大约涉及29 条，表明供应者在AI生态系统中的核心地位和其对系统安全、性能及合规性的重大影响。这些责任涉及系统设计、开拓、测试、支配、监控、更新等多个环节，旨在从源头上保障AI系统的安全性和可信任。
（二）全流程监管，环环相扣
来源：European Commission官网
对高风险AI 系统的监管，自研发设计阶段伊始。这一阶段，AI系统供应者应建立、履行风险管理体系，评估可能涌现的风险，进行测试以确定最适当和最有针对性的风险管理方法；将系统研发的技能文件按哀求进行体例；对系统生命周期内的事宜进行记录留存；使系统达到适当的准确性、稳健性和网络安全水平等。
在上市准备阶段，AI系统供应者应按哀求进行合格性评估，起草欧盟合格性声明，以证明AI系统的性能始终符合其预期目的及各项管理哀求；在系统上明显、清晰且不可擦除地粘贴欧洲共同市场安全标志（“CE标志”），并在欧盟数据库中进行登记等。支配者还需在规定情形下进行基本权利影响评估，确定可能受影响的个人或个人群体的权利所面临的详细风险，并确定在这些风险详细化的情形下应采纳的方法。
投放市场或供应做事后，AI系统供应者应该建立入市后监测体系，网络、记录和剖析运营过程中的潜在风险，并及时采纳纠正方法。支配者应根据利用解释监测高风险AI系统的运行情形，并在必要时关照供应者；指派具备必要能力、培训和权力以及必要支持的自然人进行人类监督等。
从系统的早期研发，到市场运用的现实，欧盟监管跬步不离。合格性评估、CE标志认证、技能文档完好，还有入市后的持续监测，构成全面的监管链条。
三、合规“指南针”：对我国AI 监管和合规的镜鉴
有很多事情要做，但韶光却很少。
AI系统的全面落地运用早已蓄势待发，“科技异化”的问题却一贯跬步不离、难以忽略。在AI 发展的十字路口，如何做出明智的选择，是监管机构和企业均须要共同思考的问题。欧盟通过《人工智能法案》给出了自己的回答。以其为鉴，我们也可创设我们的解法：
（一）基于风险的监管思路
所谓风险，描述的是危害发生的可能性及其严重性。风险分级，分级是手段，终极目的是要对不同场景、领域的人工智能系统开拓和运用供应参考依据，以把握安全与发展的动态平衡。这一规制思路在我国立法已有表示，如《天生式人工智能做事管理暂行办法》第 3 条强调“对天生式人工智能做事实施原谅谨严和分类分级监管”。在详细设计上，可借鉴欧盟《人工智能法案》的风险“金字塔”模型，根据明确的列示（如AI 系统的实际用场、运用处景等）来确定风险等级，并规定与风险等级相适应的风险管理责任。绝对安全是永久无法企及的状态，对可预见、可避免的风险，恰当的做法是接管风险的存在，通过“事前-事中-事后”环环相扣的风险管理体系以达到可控状态。
（二）风险路径下企业的合规要点
1. 前置问题：风险等级的判断和企业的定位
在以风险为核心的监管路径下，对风险等级的判断，是AI 企业合规的第一步，也是关键一步。以欧盟《人工智能法案》的风险分级体系为例，高风险AI 系统的责任哀求与有限风险AI 系统相差甚大。
明确企业自身在AI 系统全生命周期中的角色定位，则是另一个关键。AI 百口当链涵盖“根本层-模型层-运用层”，涉及数据网络、模型演习、内容天生等多个步骤，个中主体包括上游供应者、下贱支配者等。纵然在同一风险等级下，不同的主体的责任存在差异。譬如，依据欧盟《人工智能法案》，高风险AI 系统供应者应该承担更多风险管理、数据管理、质量管理责任。
只有弄清“哪一种风险”和“哪一类主体”问题，企业才能对号入座，针对性开展合规应对。
2. 要点剖析：高风险AI系统经营者的合规应对
高风险AI系统经营者每每负有严苛的责任哀求。作为应对，企业可从以下四个维度入手，进行合规应对。
（1）风险管理（risk management）
风险管理系统的建立、履行、记录和掩护，是风险规制路径的一大合规要点。风险管理系统应涵盖一个连续的、迭代的过程，在高风险AI系统的全体生命周期中进行方案和运行，根据AI 系统的预期目的和可合理预见的滥用情形（包括AI 系统与其运行环境之间的相互浸染可能产生的风险）识别风险或不利影响，并针对已知和可合理预见的风险履行缓解方法。这一方面是要在系统投放市场前做好测试和选择，另一方面也要考虑到后市场监测，由支配者与供应者共同承担主动创造责任，共享信息，并做好风险应对设计。
（2） 数据与数据管理（data and data governance）
数据是AI 的燃料。高质量的数据对确保AI 系统性能至关主要。用于演习、验证和测试的高质量数据集须要履行适当的数据管理和管理实践。涉及个人数据的，应考虑到所有类型的个人数据，重视数据网络原始目的的透明性、数据处理的最小化原则等，从数据保护影响评估、隐私设计、数据权限管理等方面遵照数据保护法的规定。此外，还应把稳数据偏差问题。早前面世不敷 24h即下架的运用“Genderify”，号称能通过AI 剖析姓名、用户名或邮箱地址来判断用户性别，但其系统更方向于将添加“Dr”的标签用户识别为男性而非女性，引发市场强烈抵触。在此背景下，审查数据偏差是否可能会影响个人的康健和安全、对基本权利产生负面影响，或导致法律禁止的歧视，是必要的，特殊是数据输出影响未来运营投入的情形下。
（3）技能文件（technical documentation）
在欧盟《人工智能法案》中，技能文件是证明高风险AI 系统符合法案规定哀求的主要文件，是进行合格性评估的紧张依据。根据欧盟《人工智能法案》附件四的解释，技能文件应包含：AI 系统的总体描述，详细描述的AI 系统的要素及其开拓过程，关于AI 系统的监测、运作和掌握的详细资料，对风险管理系统、后市场监测操持的详细解释等。在系统投放市场或供应做事之前，技能文件就应进行体例，并应不断更新。此类的文件记录和信息供应，是上游供应者与下贱支配者进行风险沟通和信息共享的根本，一方面有助于帮助理解系统演习支配和运行输出的事理，增强系统可阐明性；另一方面也是企业自证明净的主要凭据。但在信息供应的范围上，还需考虑技能信息共享与商业秘密保护之间的平衡问题。
（4） 人类监督（human oversight）
担保系统能在利用期间由自然人进行有效监督，也是供应者在设计和开拓高风险AI 系统必须考虑的。支配者应指派具备必要能力、培训和权力以及必要支持的自然人进行人类监督。人类监督，其紧张目的在于防止或者最大限度地减少AI 系统在按其预期目的利用时或在可合理预见的滥用条件下利用时可能造成的风险。而为了更好达到这一目标，高风险AI 系统应内置一些机制，以辅导和关照进行人类监督的自然人，使其在知情的情形下决定是否、何时以及如何进行干预，以避免负面后果或风险，或在系统未按预期运行时停滞运行。
结语
风险是人工智能监管的关键词，风险分级的标准和相应责任的设置，是风险规制路径设计的重中之重。欧盟风险“金字塔”提出的四层风险等级以及相应的AI 系统分类，是很好的指引。
对企业来说，风险等级的判断是合规的出发点，企业角色的对号入座则是必要条件。AI 高速发展的同时，“科技异化”的问题也必须重视。加强人工智能的透明度、可阐明性，是夯实AI可信任的根本。为此，需从风险管理、数据管理、技能文件的体例以及人类监督等方面不断努力，确保AI 产品合法合规，助力企业在AI浪潮中稳健前行。
作者简介
高亚平 | 上海段和段状师事务所
权柄合资人
数据合规业务部主任
办公地点：上海
veragao@duanduan.com