欧盟人工智能法案:其要求及适用范围

天平平衡着一个闪闪发光的大脑和欧盟标志

欧盟人工智能法案((EU) 2024/1689 号条例)是全球首部全面涵盖人工智能的法律。该法案于 2024 年 8 月 1 日生效,分阶段实施。由于它是一项法规,因此无需荷兰政府制定任何法律条文即可在荷兰直接生效。其逻辑基于风险:少数人工智能实践被彻底禁止;特定高风险系统被赋予沉重的义务;与人互动或生成内容的系统承担透明度义务;其余一切则不受限制。

欧盟人工智能法案的内容及其各部分适用时间

现代化的办公环境,专业人员在数字屏幕上讨论图表和图形,象征着技术与欧盟人工智能法案等法律框架的交汇。

该法案对投放欧盟市场或在欧盟境内投入使用的AI系统和通用AI模型进行监管,其监管依据是角色而非行业。对大多数组织而言,最重要的两个角色是提供商和部署者。提供商是指开发AI系统或委托开发AI系统并以自身名义投放市场的实体;部署者是指以自身授权在专业领域使用AI系统的实体。进口商和分销商则承担较为宽松的义务。例如,一家荷兰公司从美国供应商处购买筛选工具,则属于部署者;而一旦该公司将该工具冠以自己的名义或出于自身目的对其进行实质性修改,则该公司就变成了提供商。

该法案也具有域外效力。如果一家欧盟以外的供应商将系统投放欧盟市场,则该供应商将受其约束;同样,如果一家欧盟以外的供应商或部署商的系统产生的输出在欧盟境内使用,也将被纳入该法案的管辖范围。其实际效果与《通用数据保护条例》(GDPR)相同:与非欧盟供应商签订的合同必须履行相关义务,因为荷兰部署商无法仅凭其并不具备的法律文件来履行义务。

申请时间表

分阶段实施是该法案中最容易被误解的部分,部分原因是时间表在通过后进行了修改。禁止使用人工智能以及确保人工智能素养的义务已于2025年2月2日起生效。通用人工智能模型的规则、治理结构和处罚机制已于2025年8月2日起生效。其余大部分条款,包括与人交互或生成合成内容的系统的透明度义务,已于2026年8月2日起生效。

高风险监管机制是此次调整的部分。根据数字综合方案,附件三所列高风险系统(例如用于就业、教育、信贷和基本服务等领域的独立系统)的义务自2027年12月2日起生效。附件一所列高风险人工智能(作为欧盟产品法规已涵盖产品的安全组件)的义务自2028年8月2日起生效。该法案的其他条款均未推迟:禁令、通用示范规则和透明度义务保持不变。

什么是适用范围
禁止的人工智能实践和人工智能素养义务2 February 2025
通用人工智能模型、治理和惩罚2年八月2025日
透明度义务和该法案的总体内容2年八月2026日
附件三所列的高风险系统2 December 2027
高风险人工智能作为附件一产品法下的安全组成部分2年八月2028日

推迟并不意味着无关紧要。采购周期、模型培训以及针对高风险运行多年的系统的供应商合同,都需要时间。而今天购买的系统,在义务生效时仍能正常运行。推迟只是争取了实施时间,并不能免除设计方面的要求。

四个风险等级

流程图式的图形显示了四个风险等级,从顶部的“不可接受”到底部的“最低”,说明了欧盟人工智能法案基于风险的方法。

分类至关重要,因为层级决定了义务。分类错误或过度都会付出高昂代价:分类不足会使组织面临执法风险,分类过度则会给原本不需要的工具强加合规性要求。

禁止的行为

第五条明确禁止一系列特定做法,该禁令自2025年5月起生效。这些做法包括:利用潜意识或蓄意欺骗手段操纵行为,造成重大伤害的人工智能;以及利用与年龄、残疾或社会经济状况相关的弱点的人工智能。此外,该条款还禁止公共或私人机构进行社会评分,如果由此产生的待遇不合理或与所评估的行为不成比例。该条款还禁止仅基于人格特征或画像预测犯罪行为的系统;禁止从互联网或闭路电视监控录像中无目的地抓取面部图像以构建识别数据库;禁止在工作场所和教育领域(非医疗或安全用途)进行情绪识别;以及禁止利用生物特征进行分类以推断种族、政治观点或性取向等特征。除事先获得授权的特定情况外,禁止执法部门在公共场所进行实时远程生物特征识别。

其中两项与普通雇主直接相关。例如,将情绪识别应用于员工,比如在呼叫中心使用软件对员工的语气或会议中的注意力进行评分,这并非灰色地带,而是被禁止的做法。而且,这方面的执法风险也是该法案中最严重的。

高风险系统

系统高风险性体现在以下两个方面:一是它是欧盟产品法规附件一所列产品的安全组件,例如医疗器械、机械、电梯或车辆,且该产品需要第三方合格评定;二是它属于附件三所列领域之一,包括生物识别技术、关键基础设施、教育和职业培训、就业和员工管理、获得基本公共和私人服务(包括信用评估和人寿及健康保险定价)、执法、移民和边境管制,以及司法和民主进程。

附件三并非一概而论。如果某个系统执行的是一项狭窄的程序性任务、改进先前已完成的人工活动的结果、在不取代人工评估的情况下检测决策模式,或执行准备性任务,则该系统不属于高风险系统。依赖此例外情况的服务提供商必须记录其评估结果,而对自然人进行画像分析则始终将系统归类为高风险系统。对荷兰雇主而言,实际结果是:对求职者进行排名或筛选、分配任务或监控和评估绩效的工具属于高风险工具,而仅对招聘信息文本进行格式化或拼写检查的工具则不属于高风险工具。

透明度义务

第50条适用于所有风险等级,并自2026年8月起生效。与人直接交互的系统必须明确告知用户其正在与人工智能系统交互,除非上下文显而易见。合成音频、图像、视频和文本内容必须以机器可读的方式标记为人工生成或篡改。发布深度伪造内容(即与真实人物、地点或事件高度相似且看似真实的内容)的部署者必须披露其为人工生成;发布人工智能生成的文本以告知公众公共利益事项的部署者也必须披露,除非该文本已由人工审核且有人对其承担编辑责任。情感识别和生物特征分类系统(如获准使用)负有告知接触者的义务。

其他一切

绝大多数商业用途的人工智能,从垃圾邮件过滤器、需求预测到文档搜索,都不属于上述任何范畴,因此除了普遍的人工智能素养义务外,不受该法案的任何约束。该法案本身并未对人工智能设立许可要求,也不要求任何人注册普通商业软件。

高风险系统提供商必须做什么

一块精密电路板的特写,上面有发光的数据流,代表着需要仔细导航和遵守的高风险人工智能系统的复杂内部工作原理。

高风险监管机制的构建方式与欧盟产品法类似,而这正是理解它的关键。供应商必须在系统上市前证明其符合相关法规,并在上市后持续证明其符合法规要求。这些要求列于该法案的第9至15条,每条都针对人工智能系统可能出现的特定故障类型。

风险管理系统必须贯穿整个生命周期,识别对健康、安全和基本权利的合理可预见风险,并采取相应措施,包括应对可预见的滥用行为。培训、验证和测试数据必须符合数据治理要求:相关性、代表性、偏差审查以及适用于预期用途的适当统计特性。技术文档必须在系统投放市场前准备就绪,且必须足够详细,以便主管机构评估其合规性。系统必须自动记录事件,以便追踪其运行情况。使用说明必须告知部署人员系统的功能、准确度、已知局限性以及如何进行监督。系统设计必须允许人为干预,包括提供停止功能。此外,系统必须达到使用说明中规定的适当准确度、稳健性和网络安全水平。

围绕这些实质性要求的是整个流程。供应商维护质量管理体系,进行合格评定(对于大多数附件三系统而言,合格评定属于内部控制程序,但对于某些生物识别系统,则需要公告机构的参与),编制欧盟合格声明,加贴CE标志,并在投入使用前将系统注册到欧盟数据库中。系统上线后,供应商会制定上市后监测计划,收集实际应用经验,并且必须在短时间内向市场监管机构报告重大事件。

人工监督值得单独关注,因为它是纸面合规与实际合规的分野所在。一个无人接受过培训的手动操作按钮,或者一个每小时批准上百条算法建议的审核员,都不能称之为监督。该法案要求负责监督的人员必须了解系统的功能和局限性,警惕自动化带来的偏差,能够正确解读输出结果,并有权决定是否使用。这不仅影响界面,还会影响人员配备和工作量。

部署人员必须做什么

大多数荷兰机构永远不会成为人工智能服务提供商。他们购买并使用人工智能,这使他们成为部署者,而第26条中规定的部署者义务最容易被忽视。高风险系统的部署者必须按照说明使用该系统,指派具备相应能力、培训和权限的人员进行人工监督,确保其控制的输入数据具有相关性和足够的代表性,监控系统运行并在发现风险时暂停使用并通知服务提供商,以及将自动生成的日志保存适当的期限。

有两项义务是工作场所特有的。在将高风险人工智能系统投入使用之前,部署方必须告知员工代表和受影响的员工,他们将受到该系统的影响。如果该系统用于对自然人做出或辅助决策,则必须告知相关人员。在荷兰公司,这直接与员工委员会相关,处理员工个人数据的安排以及用于观察或检查出勤、行为或绩效的设施都需要获得员工委员会的同意。对员工进行评分或排名的人工智能工具则需要同时涉及这两项义务。我们在关于荷兰劳动法中人工智能和自动化的文章中更详细地阐述了这方面的就业问题。

某些部署者还必须在首次使用前进行基本权利影响评估:包括受公法管辖的机构、提供公共服务的私营实体,以及评估信用度或在人寿和健康保险中进行风险评估和定价的系统部署者。该评估描述了系统的使用流程、受影响人群的类别、具体的损害风险以及人工监督和补救措施。它与《通用数据保护条例》(GDPR)下的数据保护影响评估并行,而非取而代之。

无论风险等级如何,所有组织都必须履行一项义务,该义务自2025年2月起生效:供应商和部署方必须采取措施,确保代表其操作人工智能系统的员工具备足够的人工智能素养,并充分考虑员工的培训、经验和使用环境。这并非认证要求,而是确保工具使用者了解工具功能及其局限性的义务。这也是最容易证明的义务,但也最容易失职。

最后,任何受基于高风险系统所作出的、具有法律效力或对其产生类似重大影响的决定影响的人,均有权获得关于该系统在决定中所起作用的清晰明确的解释。任何人均可向国家市场监管机构提出投诉。

通用人工智能模型

该法案第五章规范了通用人工智能模型,即目前大多数人工智能产品底层的大型模型,这些规则自2025年8月起生效。此类模型的提供商必须编制并保存技术文档,向基于该模型构建系统的下游提供商提供信息,制定遵守欧盟版权法的政策(包括保留对文本和数据挖掘的权利),并发布用于训练的内容的足够详细的摘要。存在系统性风险的模型提供商还需承担额外的义务,包括模型评估、对抗性测试、跟踪和报告严重事件以及确保网络安全。

对于一家普通的荷兰企业而言,这种关联是间接的,但却是实实在在的。如果你基于他人的模型开发产品,你就必须依赖他们有义务提供的信息,而你的合同中也应该明确这一点。如果你对模型进行了大幅调整,那么你自身就可能扮演起模型提供者的角色。如果你的应用场景涉及模型的训练数据或版权归属,那么模型提供者发布的摘要现在就成了你可以直接询问的文件。

在荷兰,谁负责执行人工智能法案?

一张现代政府大楼的建筑照片,象征着监督欧盟人工智能法案的结构化治理和执法机构。

执法工作由布鲁塞尔和成员国共同负责。在欧洲层面,欧盟委员会下属的人工智能办公室直接监​​管通用人工智能模型,制定实践准则和指南,并与汇集成员国的欧洲人工智能委员会以及一个独立的科学专家小组进行协调。除通用模型外,其他所有人工智能模型均由各成员国指定的市场监管机构在国家层面进行执法,并由公告机构在法律要求的情况下开展第三方合格评定。

荷兰的立场仍在确定中。该法案本身直接适用,因此企业已受已生效条款的约束,但指定监管机构及其权力的国家实施法案尚未生效。该草案于2026年春季进行公众咨询,目前正在立法程序中,这意味着最终的指定和具体的权力分配仍有可能发生变化,因此不应预设任何生效日期。

草案中的模型是一种混合模式。现有的行业监管机构在其各自领域内成为市场监管机构,例如,医疗保健人工智能由医疗保健监察局监管,工作场所人工智能由劳动监察局监管,以此类推。荷兰数据保护局(Autoriteit Persoonsgegevens,简称AP)和荷兰数字基础设施监察局(Rijksinspectie Digitale Infrastructuur,简称RDI)被赋予协调角色,其中AP作为高风险系统的剩余监管机构,负责监管那些没有明确行业监管机构的系统,而RDI则作为国家联络点。对于企业而言,这意味着实际问题不仅在于某个系统是否属于高风险系统,还在于哪个监管机构将对其进行监管。

处罚制度分级且严厉。最严厉的处罚级别以固定最高限额或全球年营业额的百分比(以较高者为准)表示,适用于违反第5条所列禁令的行为。中等处罚级别适用于违反大多数其他义务的行为,包括高风险要求和透明度义务。较低处罚级别适用于向公告机构或主管机构提供不正确、不完整或误导性信息的行为。目前的最高处罚限额载于条例第99条,中小企业和初创企业适用较低的处罚上限。然而,执法不仅限于罚款:市场监管机构可以要求采取纠正措施,限制或禁止提供相关系统,并责令撤回或召回该系统。

《人工智能法案》与数据保护和责任之间的关系

《人工智能法案》并未取代任何现有法律。它是对现有法律体系的补充,在大多数荷兰人工智能项目中,《通用数据保护条例》(GDPR)仍然是更具直接约束力的法律工具。任何基于个人数据进行训练或应用于个人数据的人工智能系统仍然需要法律依据,仍然需要履行透明度义务,并且如果数据处理可能造成高风险,仍然需要进行数据保护影响评估。GDPR关于自动化个人决策的规定独立于《人工智能法案》适用,并赋予相关人员获得人工干预和对决策提出异议的权利。我们对《通用数据保护条例》的概述阐述了这一框架。

在责任领域,人们的期望往往与现实存在较大偏差。旨在统一人工智能造成的损害民事索赔的《人工智能责任指令》草案已被撤回。目前仅剩两条途径。第一条途径是适用国内法:在荷兰,可根据《民法典》第6:162条提起侵权诉讼,或对供应商提起合同诉讼,并适用关于因果关系和举证责任的一般规则进行评估。第二条途径是改革后的欧洲产品责任制度,该制度明确将软件(包括人工智能系统)纳入产品概念,并简化了索赔人的举证责任;成员国必须将其转化为本国法律,在荷兰的实施立法生效之前,适用《民法典》现有的产品责任条款。

刑事责任是另一个独立的问题,也是《人工智能法》完全没有解答的问题。当自主系统造成损害时,荷兰刑法会寻找具有故意或过失的自然人或法人,这与监管合规截然不同。我们在关于人工智能与刑法的文章《机器犯罪时谁该负责》中对此进行了探讨。

实现合规的切实途径

这项工作分为四个步骤,即使是那些确信自己没有任何高风险的组织,也值得去做前两个步骤。

首先进行盘点。列出组织开发、购买、嵌入或试用的所有人工智能系统,包括通过部门订阅而非采购方式获得的工具。记录每个系统的功能、供应商、使用的数据、操作人员以及影响的决策。大多数分类上的意外情况都源于缺乏集中监督的团队所采用的“影子人工智能”。

然后,按顺序确定您的角色以及每个系统的风险等级,因为同一工具在您是提供者还是部署者时会产生不同的义务。记录您的理由,尤其是在您得出结论认为附件三系统属于例外情况时;这份记录是主管首先会要求查看的内容。

接下来,对实际存在的义务进行差距分析。对于高风险系统的部署者而言,这意味着监督安排及其执行人员的资质、输入数据质量、日志保存、向员工及其代表提供的信息,以及在适用情况下进行基本权利影响评估。对于服务提供商而言,这意味着完整的第9至15条文件,以及质量管理体系和符合性认证途径。

最后,完善合同和治理机制。供应商协议应规定供应商必须提供使用说明、部署人员所需的技术信息、事件通知和监管要求支持,并在系统被错误分类时明确责任归属。在内部,指定专人负责人工智能合规,将其与现有的隐私和安全治理体系衔接起来,而不是构建独立的体系,并将人工智能素养培训纳入培训计划。我们的IT法律业务团队正是通过这一系列步骤为企业提供支持。

五个值得澄清的误解

几乎每次客户接洽都会出现同样的误解,而每一次误解都会导致组织把精力浪费在错误的地方。

首先,有人认为该法案禁止或允许通用人工智能的使用。但实际上,它既没有禁止也没有允许通用人工智能的使用。使用商业聊天助手起草内部备忘录,除了人工智能素养之外,不会触发任何其他义务;如果最终成果被公开发布,则需承担信息披露义务。真正触发严格监管的是系统所服务的用途,而非其背后的技术。

第二点是,人为签名可以消除高风险标签。事实并非如此。对于执行特定程序或准备任务的系统,豁免条款的界定非常严格,即使有人签名,对候选人进行排名或标记文件以便进一步审查的工具也会影响最终决定。橡皮图章并非人为监督,也无法规避附件三的规定。

第三点是,只有开发者受到监管。部署者的义务是真实存在的,可以对使用系统的组织强制执行,而且其中一些义务,例如告知员工及其代表、指定合格的监督人员、保存日志等,根本无法委托给供应商。

第四点是,所有已安装的系统都享有豁免权。在适用高风险规则之前投放市场的系统,原则上只有在之后设计发生重大变更时才会被纳入监管范围,但这种豁免范围比听起来要窄:模型更新、重新训练和重新定位恰恰是会使系统重新纳入监管范围的变更类型。公共机构使用的系统适用另一项更为严格的规则。任何计划依赖过渡性条款的人员都应记录其当前的配置情况。

第五点是,《人工智能法》凌驾于现有法律之上,它凌驾于现有法律之上。数据保护法、反歧视法、消费者权益保护法、行业监管法、劳动法以及职工委员会的权利仍然完全适用。在荷兰,通常情况下,第一个具体的投诉并非针对《人工智能法》本身,而是针对上述法律中的某一项。一个符合《人工智能法》但不符合《通用数据保护条例》(GDPR)的人工智能项目是不合规的,反之亦然。

常见问题

以下问题几乎在每次关于该法案的首次谈话中都会出现。

什么是高风险人工智能系统?

简而言之,高风险人工智能系统是指任何可能对个人健康、安全或基本权利构成严重威胁的系统。该法案列出了几个具体的类别,例如用于交通运输等关键基础设施、医疗设备以及招聘或员工管理系统的人工智能。

例如,用于筛选简历以选出面试候选人的算法被认为是高风险的。为什么?因为它的决策会对一个人的职业生涯和生计产生巨大影响。这类系统必须通过严格的合格评定才能进入欧盟市场。

如果我的小企业只使用其他公司的AI工具,AI法案会对我的企业产生影响吗?

是的,几乎可以肯定。《人工智能法案》的规则并非仅仅针对构建人工智能的大型科技公司。虽然“提供商”(创建人工智能的公司)承担着最重的合规负担,但“用户”(也就是部署系统时的公司)也承担着明确的责任。

如果您使用高风险系统,您有责任确保系统按照供应商的指示运行,并进行人工监督和性能监控。即使是风险较低的系统,例如客服聊天机器人,您仍然有义务保持透明,让用户清楚地了解他们正在与人工智能交互。

我的组织需要做哪些准备工作?

最关键的第一步是创建一份详细的清单,列出贵组织当前正在使用或计划采用的每个人工智能系统。将此审计视为整个合规策略的基础。

对于每个系统,你需要做的不仅仅是列出它的名称。你必须记录它的用途,然后根据《人工智能法案》的风险类别对其进行分类:不可接受、高风险、有限风险或最低风险。

一旦识别出任何高风险系统,下一步就是进行差距分析。这需要将您当前的实践与该法案在数据治理、技术文档和人工监督等方面的具体要求进行比较。现在就启动这一流程至关重要,因为完全合规是一项细致且耗时的工作。

Law & More 我们为供应商和部署商提供人工智能法案分类方面的咨询,协助他们制定确保供应链合规的合同,并探讨其与数据保护和责任的重叠之处。如果您正在研究您构建或使用的系统应承担哪些义务,我们很乐意与您一起探讨。

需要法律援助吗?

联系我们 Law & More 需要法律方面的专家指导?我们的多语种团队随时准备为您提供帮助。

相关文章

欧洲法规要求中介机构——包括顾问、会计师、银行和律师——进行报告。

探讨失去居留许可的后果,并了解这对个人为何如此重要。

未经他人同意发布其性照片本身就是一种刑事犯罪。

根据荷兰法律,未经授权的声音采样,只要是现有作品的片段,都构成侵权。

算法偏见责任是指当自动化系统产生错误信息时,组织所承担的法律责任。

根据荷兰法律,去中心化的自治组织本身没有法律形式。

随时了解荷兰法律的最新动态

订阅我们的新闻简报,获取最新的法律见解、监管动态和实用建议。