高风险人工智能系统:人工智能法案对贵组织的要求

专业人士在会议上审查高风险人工智能系统合规性仪表板

高风险人工智能系统是欧盟人工智能法规( (EU) 2024/1689 号条例,通常被称为《人工智能法》)的重点,该法规引入了基于风险的框架,用于规范人工智能(AI)系统的开发、供应和使用。对健康、安全和基本权利构成风险越高,相关义务就越重。

因此,对于组织而言,合规并非始于编写技术文档,而是始于正确的分类。首先要确定组织内部开发、购买或使用的AI系统有哪些。然后评估该系统是否属于禁用系统、高风险系统、受透明度义务约束的系统,或者是否超出任何特定义务的范围。

本文阐述了人工智能系统何时可能被认定为高风险系统、提供商和部署者应承担哪些义务,以及组织现在可以采取哪些措施。文章还涵盖了当前的进度安排,包括“数字综合法案”(Digital Omnibus)流程下的变更。本文的参考日期为2026年7月25日。

人工智能系统何时会被视为高风险系统?

对高风险人工智能系统的评估主要依据《人工智能法》第6条及其附件一和附件三进行。评估途径有两种。

第一种途径涉及构成附件一所列欧洲产品法规涵盖产品组成部分的AI系统,这些产品需要第三方合格评定。例如某些医疗器械、机械、电梯和玩具。对于这些系统,《人工智能法案》是在现有合格评定程序的基础上制定的。

第二条途径涉及附件三所列领域中使用的AI系统:生物识别、关键基础设施、教育和职业培训、就业和劳动力管理、获取基本公共和私人服务、执法、移民、庇护和边境管制,以及司法和民主进程。并非此类领域内的每一种使用都会自动导致AI系统被归类为高风险系统:还必须评估系统的具体功能以及第六条规定的条件。

第 6(3) 条的例外情况

属于附件三领域的系统并非自动被归类为高风险人工智能系统:如果该系统不会对人的健康、安全或基本权利构成重大风险,也不会对决策结果产生实质性影响,则不会被归类为高风险人工智能系统。例如,如果系统仅执行一项狭窄的程序性任务,仅仅改进了人类已完成的活动,仅标记与先前人类决策的偏差而不取代该评估,或者仅执行一项准备性任务,则可能属于这种情况。

援引此项例外必须经过仔细论证并做好记录。组织不仅要记录结论,还要记录结论所依据的事实和评估。如果供应商认为附件三系统不属于高风险人工智能系统,则必须在系统投放市场或投入使用前记录该评估结果,并且还需遵守第49条第(2)款规定的注册义务。

该条例在某一方面具有绝对性。第6条第3款规定,附件三所述的人工智能系统,如果对自然人进行画像分析,则始终被视为高风险人工智能系统。在这种情况下,不得援引例外条款。

贵组织扮演什么角色?

《人工智能法案》区分了产业链中的几个角色。其中两个角色对大多数组织至关重要。开发人工智能系统或以自有名称或商标将其投放市场的当事方,属于提供商。在自身业务过程中使用人工智能系统但并非由其开发的当事方,通常属于部署方。

这种角色分配并非一成不变。如果一个组织对购买的系统进行实质性修改,以自己的名义或商标继续销售该系统,或者改变其预期用途,则仍可能被视为供应商,从而承担更重的义务。请确定您在每个系统中扮演的角色,并记录评估结果。

主要义务

高风险人工智能系统的提供商须承担包括第 8 至 17 条、第 43 条和第 47 至 49 条规定的义务:

  • 涵盖整个生命周期的风险管理系统
  • 数据治理,包括检测和纠正所用数据(包括训练数据、验证数据和测试数据)中的偏差。
  • 符合附件四规定的技术文档和事件日志记录
  • 为部署人员提供清晰的使用说明
  • 一种能够有效进行人工监督的设计
  • 对准确性、稳健性和网络安全的要求
  • 质量管理体系、合格评定、欧盟合格声明、CE标志和欧盟数据库注册

对于附件三第1(a)点所述的用于远程生物识别的高风险人工智能系统,第14(5)条对人工监督提出了额外要求:除非至少两名具备必要能力、培训和权限的自然人分别核实和确认,否则不得基于该识别结果采取任何行动或做出任何决定。这被称为“四眼原则”。

部署者须遵守第26条和第27条规定的较轻但同样重要的义务:按照使用说明使用系统;进行合格人员的监督;监控系统运行;报告风险和严重事故;以及至少保留六个月的日志。必须事先告知将要使用该系统的员工以及系统适用对象。

某些部署者还必须进行基本权利影响评估,即《第 27 条》规定的基本权利影响评估。无论如何,这都适用于受公法管辖的机构、公共服务的私人提供者以及使用信用评分系统或评估人寿和健康保险风险的部署者。

时间线和当前状态

《人工智能法》于2024年8月1日生效,并将分阶段实施。在实践中,区分已生效的义务、未来生效的义务以及已公布但尚未正式生效的修正案至关重要。

禁止行为(第5条):自2025年2月2日起适用

人工智能素养(第4条):自2025年2月2日起适用

通用人工智能模型:自2025年8月2日起适用

透明度义务(第50条):自2026年8月2日起适用;不予延期

高风险(通过附件三):正式生效日期仍为2026年8月2日;一旦综合法案生效,最迟为2027年12月2日。

附件一所列高风险法案:正式生效日期仍为2027年8月2日;一旦综合法案生效,最迟生效日期为2028年8月2日。

2025年11月19日,欧盟委员会发布了《数字综合方案》,提议推迟对高风险人工智能系统实施相关义务。2026年5月7日,各方达成临时政治协议。欧洲议会于2026年6月16日予以批准,欧盟理事会于2026年6月29日最终批准该协议。

截至本文撰写之日,该修正案尚未在《欧盟官方公报》上正式公布。该修正案将于公布后的第三天生效。在此之前,原《人工智能法》的实施时间表仍然有效,附件三规定的高风险义务的适用日期为2026年8月2日。虽然普遍预期会在该日期之前公布,但尚未得到确认。

此外,延期是有条件的。高风险人工智能系统义务的适用取决于欧盟委员会的决定,该决定需确认必要的协调标准和配套工具已到位,之后还有一个过渡期。2027年12月2日和2028年8月2日这两个日期是最后期限,而非简单的延期。

有两点需要分别说明。首先,第50条规定的透明度义务和第4条规定的人工智能素养义务并未推迟,仍按原计划执行。其次,该方案在第5条中新增了一项禁令,旨在禁止人工智能应用生成未经同意的私密图像以及人工智能生成的儿童性虐待材料。

对于各组织而言,这意味着以 2027 年 12 月为基准进行规划是明智的,但目前记录保存应按照 2026 年 8 月仍然有效的方式进行安排,直到官方公报另有规定为止。

监管与处罚

截至本文撰写之日,荷兰尚未出台人工智能法案的实施细则。荷兰数字基础设施管理局和荷兰数据保护局预计将发挥核心协调作用,而各行业监管机构仍将在其各自领域内承担责任。然而,具体的权力分配及其法律依据,最终仍需根据荷兰的实施细则来确定。

《人工智能法》第99条规定了若干最高处罚等级。处罚力度取决于违法行为的性质,并在相关情况下,还取决于企业的全球年营业额。最高处罚适用于违反第5条所列禁止行为;较低的最高处罚适用于违反其他义务的行为,包括高风险人工智能系统提供商和部署者的义务;最低处罚适用于向主管机关提供不正确、不完整或误导性信息的行为。中小企业(包括初创企业)可享受更为优惠的待遇。实际处罚金额将根据适用的处罚规则和案件的具体情况确定。

实用路线图

  • 清点贵组织开发、购买或使用的所有人工智能系统。
  • 确定每个系统扮演的角色:提供者还是部署者。
  • 确定每个系统的风险类别,并记录该评估,包括对第 6(3) 条例外情况的任何依赖。
  • 建立人工智能治理机制并任命负责人。
  • 确保使用这些系统的员工具备人工智能素养;这项义务已经存在。
  • 根据第 50 条,制定透明度措施,目标是在 2026 年 8 月 2 日之前完成。
  • 及时开始编制技术文档,并在需要时进行基本权利影响评估。
  • 审查供应商合同中关于角色分配、信息提供和审计权限的规定。
  • 密切关注《官方公报》上公布的综合拨款方案,并据此调整您的计划。

结语

《人工智能法案》从根本上影响着各组织机构开发、购买和使用人工智能的方式。虽然宣布推迟高风险义务的实施提供了额外的时间,但该法案尚未生效,因此已生效或将于2026年8月2日生效的义务不受其影响。因此,审慎的做法是,在做好应对原有日期准备的同时,也根据新的日期进行规划。如需更全面地了解该法规,请参阅我们的《欧盟人工智能法案完整指南》,该指南是对本文重点关注高风险人工智能系统的补充。

Law & More 我们帮助企业清点和分类其人工智能系统,确定自身作为提供商或部署者的角色,审查并起草与人工智能供应商的合同,并建立人工智能治理体系。您想了解贵组织目前有哪些义务需要履行,以及哪些步骤应该优先进行吗?欢迎随时联系我们,进行免费咨询。

常见问题

下面我们回答关于这个主题最常被问到的问题。

什么是《人工智能法案》?

欧洲人工智能法规((EU) 2024/1689 号法规)。该法规于 2024 年 8 月 1 日生效,并将分阶段实施,随着人工智能系统带来的风险增加,相关义务也会相应加重。

人工智能系统何时会被视为高风险系统?

通过两种途径:一是作为附件一所列产品法规涵盖的产品的一部分,二是通过使用附件三所列领域之一。在后一种情况下,仅领域本身并非决定性因素;具体功能和第六条规定的条件也同样重要。

附件三体系是否有可能不属于高风险类别?

是的,如果该系统不构成重大风险,且不会对决策产生实质性影响,例如仅执行有限的程序性或纯粹的准备性任务,则可以例外。此类评估必须记录在案。如果该系统对自然人进行个人信息分析,则此例外情况不适用。

我是提供者还是部署者?

如果您开发系统或以您自己的名义或商标将系统投放市场,则您是供应商;如果您使用购买的系统,则通常情况下您是部署者。如果您对购买的系统进行实质性修改或以您自己的名义转售,您仍然可能成为供应商。

医疗服务提供者应承担哪些义务?

其中包括风险管理、数据治理、技术文档、日志记录、使用说明、人工监督、准确性和网络安全要求、质量管理体系、合格评定、CE 标志和在欧盟数据库中注册。

部署方需要承担哪些义务?

必须按照说明使用,并由合格的人员进行监督、监控、报告风险和重大事故,且日志至少保留六个月。相关员工和系统适用对象必须事先知情。

何时必须进行基本权利影响评估?

第 27 条规定,除其他外,受公法管辖的机构、公共服务的私人提供者以及使用信用评分系统或评估人寿和健康保险风险的部署者必须遵守此规定。

高风险债务是否已被延期?

一项已通过的修正案将附件三的适用日期推迟至最迟 2027 年 12 月 2 日,将附件一的适用日期推迟至最迟 2028 年 8 月 2 日。截至本文引用日期,该修正案尚未在官方公报上公布,因此原定的 2026 年 8 月 2 日的适用日期在形式上仍然适用。

目前哪些做法已经适用?

第五条禁止的行为和人工智能素养义务自 2025 年 2 月 2 日起生效,通用人工智能模型的规则自 2025 年 8 月 2 日起生效。第 50 条规定的透明度义务自 2026 年 8 月 2 日起生效,并未推迟。

在荷兰,谁负责监督人工智能法案的执行?

目前仍缺乏实施细则。荷兰数字基础设施管理局和荷兰数据保护局预计将与各行业监管机构共同发挥核心协调作用。最终的权力分配将由荷兰的实施细则决定。

我的组织现在应该怎么做?

首先,清点所有您开发、购买或使用的AI系统。记录每个系统的角色、适用的风险类别以及相应的义务。同时,建立AI治理机制,确保AI素养,并审查供应商合同中关于角色分配、信息提供和审计权限的条款。

需要法律援助吗?

联系我们 Law & More 需要法律方面的专家指导?我们的多语种团队随时准备为您提供帮助。

相关文章

勒索软件、网络钓鱼、DDoS攻击和计算机入侵等网络攻击很少只影响组织本身。
网络安全不再仅仅是技术问题,它也涉及法律和治理层面。
IT律师帮助企业处理IT合同、GDPR合规、人工智能法案、网络安全等事宜。

随时了解荷兰法律的最新动态

订阅我们的新闻简报,获取最新的法律见解、监管动态和实用建议。