人工智能与刑法:算法是否可能负有部分责任?

电路板背景上,正义的天平旁边是一个闪闪发光的数字指纹

根据荷兰和欧洲法律,算法本身不承担刑事责任。刑事责任的成立需要法律认可的自然人作为行为主体,而《欧洲人权公约》第51条第s款仅将自然人和法人视为犯罪主体。人工智能系统是客体,而非嫌疑人。因此,实践中的关键问题不在于算法是否负有部分责任,而在于究竟是哪个人或哪家公司对其行为负有全部责任。

这个问题在荷兰刑法中已有完善的解答。功能性犯罪(functioneel daderschap)和企业刑事责任原则正是针对这种情况而设立的:损害并非由被告人自身造成,而是由工具、组织或流程造成。本文阐述了这些原则如何适用于人工智能,欧盟人工智能法案如何改变监管标准,算法输出如何作为证据,以及辩护和合规方案应包含哪些内容。关于在开发者、供应商和用户组成的供应链中如何分配责任的更广泛问题,请参阅我们关于“机器犯罪时谁应承担责任”的姊妹篇。

为什么算法不可能是嫌疑对象

一个金属质感的人形机器人坐在法庭的证人席上,灯光效果十分强烈。

根据荷兰法律,刑事犯罪需要满足以下条件:存在符合法定犯罪定义的、违法的、且可归咎于行为人的作为或不作为。这些要素均假定行为人具有意志。算法通过对数据执行代码来产生输出;它没有形成意志,无需承担任何责任,也无法受到刑事制裁。第51条第S款之所以将公司与个人并列,正是因为公司是通过人来行事的;目前尚无针对软件的类似规定,而制定此类规定则需要立法机关创设一种新的法人类别。

这样做也无法达到刑法认可的任何目的。刑罚存在的目的是惩罚、威慑,并在可能的情况下进行矫正。这些功能都无法在模型上实现。删除神经网络的权重惩罚的是其所有者,而不是网络本身。当人工智能系统造成伤害时,刑法想要达到的所有目的都必须通过其背后的人员和组织来实现,这就是为什么荷兰的实践并不认为这是法律漏洞。

下表列出了犯罪行为的构成要素与人工智能系统实际构成要素之间的不匹配之处。

元素刑法要求人工智能系统的位置
犯罪者自然人,或根据第 51 条规定属于法人的人。都不是。该系统是其他人拥有和运营的。
行为可归咎于该行为人的作为或应受谴责的不作为。代码生成的输出。可归因的行为是决定构建、部署或使其运行。
故意还是过失Opzet,包括有条件的意图,或 culpa,指严重的疏忽。完全不存在任何精神状态。如果说存在任何故意或疏忽,那也只存在于配置和监管该系统的人员身上。
制裁监禁、罚款、社区服务或其他措施。软件本身不受任何制裁,制裁对象是运营商。

谁应承担责任:实际实施和第51条

一把法槌放在一本法律书籍上,旁边是一个闪闪发光的抽象人工智能网络模型。

荷兰刑法有两种机制可以追究某人对其未实际实施的行为的责任。这两种机制都远早于机器学习的出现,并且无需修改即可适用于人工智能案件。

功能性犯罪

功能性父权制允许将某人视为由他人或物实际实施的犯罪行为的实施者。最高上诉法院在IJzerdraad判决中制定的标准仍然是检验标准:被告必须有权决定该行为是否发生(beschikken),并且必须接受该行为,或习惯性地接受此类行为(aanvaarden)。

应用于人工智能系统时,第一个标准通常比较直接,而第二个标准则决定了最终结果。处置权体现在配置系统、设定运行限制、更新或重新训练系统,以及最重要的——关闭系统的能力上。很少有运营商能够令人信服地声称自己缺乏这种能力。接受度则是一个更难的问题,也是证据的关键所在:运营商对系统的故障模式了解多少?测试或之前的事故报告了什么?风险评估结果如何?以及采取了哪些应对措施?接受度并不意味着运营商希望出现某种结果。只要运营商明知故犯地接受了相当大的风险就足够了,这符合荷兰对“有条件意图”(voorwaardelijk opzet)的通常标准。

公司责任和实际领导

如果运营者是公司,则适用第51条第s款。犯罪行为可归因于该法人,因为该行为发生在其业务范围内。德国最高上诉法院(Hoge Raad)通过Drijfmest判决中列出的因素对此进行了解释:该行为由公司员工实施;该行为符合公司的正常业务范围;该行为对公司有利;并且公司能够确定该行为是否发生,并接受或习惯性地接受该行为。公司部署用于执行其工作的AI系统,根据定义,符合上述大部分条件。

第51条第s款还允许对下令实施犯罪行为的人以​​及实际领导犯罪行为的人(feitelijk leidinggeven)提起诉讼。这项规定直接针对董事和高级管理人员。它不仅仅要求在组织架构图中占有一席之地:相关人员必须知晓被禁止的行为,至少在某种意义上,他们必须认为该行为很有可能正在发生,并且必须未能采取他们有能力且有合理义务采取的措施。在人工智能案件中,这直接转化为关于谁收到了模型验证报告、谁签署了部署文件以及谁决定接受已知的偏差或错误率的证据。

过失犯罪承担了大部分工作。

在实践中,涉及自动化系统的诉讼更倾向于基于过失而非故意。如果人工智能驱动的车辆、机器或医疗设备造成死亡,则相关罪行是《荷兰刑法》第307条规定的过失致人死亡罪;如果造成严重伤害,则适用《荷兰刑法》第308条。在荷兰刑法中,“过失”(Culpa)指的是实质性的疏忽,其判断标准是该情况下合理操作者应尽的义务。这正是人工智能案件的诉讼依据,因为部署自动化系统的注意义务标准正日益明确:在《人工智能法》、行业法规、技术标准以及操作者自身的操作规程中均有体现。如果操作者违反了其自身制定的标准,则构成过失的最有力证据。

歧视是第二个反复出现的类别。在商业或职业活动中进行歧视属于《荷兰刑法典》(Wetboek van Strafrecht)规定的刑事犯罪,既有故意歧视,也有过失歧视。因此,系统性地使受保护群体处于不利地位的模式,不仅是数据保护和平等对待法下的行政问题;在严重的情况下,它还构成刑事问题。我们的荷兰刑事诉讼程序指南解释了此类案件从调查到判决的整个流程。

《人工智能法案》设定的是护理标准,而不是惩罚措施。

欧盟《人工智能法》是一项行政法规。它不创设刑事犯罪,也不将任何人列为嫌疑人。它对刑事责任的重要性是间接的,但却不容忽视:它以具有约束力的条款,明确规定了谨慎的人工智能系统提供者或部署者应尽的义务。一旦谨慎标准被明确规定,任何违反该标准的行为都构成过失,而遵守该标准则构成谨慎行为。

该法案按风险对系统进行分类。少数做法被明令禁止,包括公共机构的社会评分、无目的地抓取面部图像以构建识别数据库、在工作场所和教育中使用情绪识别,以及在少数例外情况下,执法部门在公共场所进行实时远程生物识别。更大范围的做法被归类为高风险,涵盖受监管产品的安全组件以及该法案附件中列出的用途,其中包括招聘、信用评分以及在执法、移民和司法行政中的应用。与人交互或生成合成内容的系统负有透明度义务。其余部分基本上不受监管。

提供者或部署者:角色决定职责

该法案根据角色分配义务,而角色误判是合规中最常见的错误之一。供应商开发系统或委托开发系统,并以自己的名义投放市场;部署方则在其业务活动中以自身授权使用系统。供应商承担繁重的设计义务,部署方则承担正确使用、人工监督和监控的义务。陷阱在于,如果部署方将自己的名称用于系统、对其进行实质性修改,或以某种方式改变其预期用途,使其进入高风险类别,则部署方将变成供应商,并承担相应的所有义务。如果组织利用自身数据对购买的模型进行微调,然后将其用于供应商从未设想过的用途,则可能悄无声息地越过这条界限。在刑事调查中,同样的区分再次出现,即谁拥有处置权的问题,因此,角色应以书面形式记录并在合同中体现。

现在适用的是什么

时间表已有所调整,有必要明确其现状。禁止不可接受风险行为和确保人工智能素养的义务已生效。通用人工智能模型的相关规则也已生效。第50条规定的透明度义务,包括明确标明内容系人工生成或处理,也已生效。数字综合方案推迟的是高风险制度的实施:附件三所列系统的义务将于2027年12月2日生效,附件一所列系统的义务将于2028年8月2日生效。此外,拟议的人工智能责任指令已被撤回,因此人工智能损害的民事责任仍由各国国内法决定,在荷兰,这意味着适用侵权责任和产品责任的普通规则。

根据该法案,处罚属于行政处罚,最高可达3500万欧元或全球年营业额的7%(以较高者为准),适用于从事违禁行为的情况;其他违法行为的处罚上限则较低。荷兰的监管工作由现有监管机构负责,其中荷兰个人数据管理局(Autoriteit Persoonsgegevens)和荷兰数字基础设施监管局(Rijksinspectie Digitale Infrastructuur)发挥协调作用。我们关于《人工智能法案》下违禁人工智能行为和高风险人工智能系统的文章详细阐述了相关义务,而我们对欧盟《人工智能法案》的概述则涵盖了整个框架。

检察官将如何使用它

设想一下,如果部署方在未检查训练数据是否存在偏差、未按照相关法律规定进行人工监督、也未按规定提交文档的情况下,就将筛查工具投入使用。如果该工具最终导致了犯罪结果,检察官无需从根本上论证其应尽的注意义务。因为相关义务已明确规定,违规行为也已记录在案,而部署该工具本身就构成了功能性犯罪。反之亦然,而这一点往往被董事会忽略:一家公司如果能够提供风险评估、验证结果、监督协议和事件日志,那么在问题发生之前,它就已经构建了自身辩护的核心。

算法输出作为证据

人工智能进入刑事法庭的第二种方式并非造成损害,而是作为证据来源。人脸识别匹配、车牌自动识别、通信数据网络分析、欺诈风险模型、语音比对以及日益自动化的查获数据分类,都能产生检方希望依赖的证据。荷兰刑事诉讼程序采用封闭的证据分类体系,算法输出本身并不构成一个独立的类别。它以官方报告或专家意见的形式提交给法庭,并与其他证据一样接受审查。

辩方工作的重点就在于对证据的仔细审查。三个问题决定了证据的分量:该方法是否经过验证?由谁验证?该方法在什么情况下会失效?这些条件是否实际存在?辩方能否对其进行检验?这意味着辩方需要获得足够的信息,包括系统的训练数据、错误率和配置,以便提出有效的质疑。如果一个匹配结果被当作事实呈现,却没有错误率,也无法验证,那么它就不能作为法庭定罪的证据。提出这一点本身就是一种合法且往往有效的辩护理由。

专家证据有其自身的框架。法院可以指定专家,辩方也可以要求提供专家,而法院专家名录的存在旨在为其涵盖的领域设定质量门槛。如果人工智能方法超出任何公认的领域,这本身就构成对其结果可靠性的质疑。此外,值得注意的是,2026年2月24日由荷兰第一院通过并于2026年3月在《荷兰官方公报》(Staatsblad)上公布的新版《刑事诉讼法典》(Wetboek van Strafvordering)将通过皇家法令逐章生效;在此之前,现行条款及其编号仍然有效。

数据保护角度

如果仅通过自动化方式做出影响个人的决定,GDPR赋予该个人不受该决定约束的权利,以及获取有关相关逻辑的有意义的信息的权利。在刑事执法中,适用实施警方数据指令的类似法律规则。这具有双重意义。对于嫌疑人而言,这是一条获取有关当局可能不愿解释的系统信息的途径。对于公司而言,在没有合法依据和保障措施的情况下部署自动化决策,构成违规行为,并将与任何刑事指控一并考虑。

为一起涉及人工智能的案件进行辩护

这种本能的辩护——即系统是个黑箱,谁也无法预知其运行规律——远比表面看起来要站不住脚。它回答了错误的问题。荷兰刑法并不考察被告是否预见到了具体的后果,而是考察被告是否有权决定该行为是否发生,以及是否接受了该行为发生的风险。不透明性可能对被告不利:在可能造成严重伤害的环境中部署一个行为无法解释的系统,本身就是一种决定,法院可能会将其视为被告接受了风险。

有效的辩护理由较为狭窄且注重证据。首先是真正的控制缺失:系统是作为成品采购的,由供应商配置和维护,被告既没有相关信息,也没有技术能力进行干预。这种辩护将注意力转移到供应商身上,其成败取决于合同内容以及实际向部署方报告的信息。其次是运营商履行了谨慎运营商应尽的职责:记录风险评估、部署前验证、由具有相应权限和能力的人员进行明确的人工监督、部署后监控以及对事件的及时处理。第三是因果关系,这一论点经常被低估。在从训练数据经模型到人为决策再到最终结果的链条中,控方必须证明被告的行为导致了结果,而复杂的链条往往会断裂。

接下来是两点实用建议。首先,务必尽早保存所有资料:日志、模型版本、配置信息、事件报告以及部署决策相关的往来函件都是双方的证据,而且这些资料经常会被覆盖。其次,请记住,刑事诉讼程序的常规保障措施同样适用于技术复杂的案件,包括嫌疑人保持沉默的权利;我们关于刑事案件中保持沉默权的文章解释了该权利在荷兰调查中的运作方式。如果指控涉及使用自动化工具实施欺诈,我们的荷兰欺诈和金融犯罪指南涵盖了相关罪行。

儿童保育福利事件的真正含义

一家人在复杂的算法数据流背景下显得神情忧虑。

荷兰托儿福利丑闻(Toeslagenaffaire)是荷兰所有关于算法问责制讨论的焦点,但人们通常错误地引用它。它的教训并非在于某个算法犯了罪,而在于一个自动化风险选择系统,加上机构不愿质疑其结果,导致数万个家庭遭受了多年的严重伤害,却无人为此承担刑事责任。

税务部门利用风险分类来筛选福利申请进行调查。一些本不该使用的指标,例如国籍,却被纳入筛选范围。哪怕是轻微的行政违规,都可能被认定为故意欺诈,并被要求全额退还福利金。受访家庭无法理解自己为何被选中,官员们将分类结果视为结论而非信号,而反驳无人愿意解释的指控的举证责任却落在了被指控者身上。荷兰数据保护机构认定处理国籍数据的行为违法,并处以罚款。2021年1月,相关政府辞职。

结果并非如此,这本身就具有启发意义。没有人因此受到刑事起诉。责任分散在整个组织、一项政策、一款软件以及一套将福利追回视为行政事务的法律框架中。这种责任分散正是功能性犯罪和《美国法典》第51条第1款旨在防范的风险,也解释了为什么《人工智能法》坚持要求可识别的人工监督和文件记录。问责制要求找到本可以阻止此事的人,并记录下他们所了解的情况。

有三个失败之处值得一提,因为它们会直接导致任何组织面临法律风险。决策无法解释,因此无法质疑。纸面上存在人工监督,但实际上形同虚设,因为相关人员既没有权限也没有信息来推翻系统。标记机制的作用是颠倒举证责任,即便在法律上并非如此。任何人工智能部署,只要重现这三个特点,无论其背后的技术是什么,都将是一个潜在的法律问题。政府的应对措施,包括关于设计中不歧视原则和公共机构算法登记的指导意见,正是针对这三个方面。

既能合规又能起到防御作用的方案

一位身着商务套装的专业人士正在与一个未来主义的全息界面互动,该界面显示合规性检查清单和风险评估数据。

公司为遵守《人工智能法案》而采取的每一项措施,都能在出现问题时提供所需的证据。正是这种双重目的,使得认真履行法案义务而非敷衍了事成为必要,也使得后续步骤的付出物有所值。

首先要进行清单编制。没有列出的东西就无法分类,而且大多数组织发现人工智能并非通过项目,而是通过采购流程引入的:例如招聘平台中的筛选功能、信用申请中的评分模块、安全软件中的监控功能。根据相关法律法规对每个系统进行分类,记录分类理由,并在系统发生实质性变更时重新进行分类,因为用途的改变可能会导致系统被归入不同的类别。

然后,将责任明确分配给具体人员,而不是部门。职能上的过错和实际的领导力都取决于谁有权判断违规行为是否发生。一个组织如果找不到责任人,并不能免除责任;它只会暴露最高层人员的罪责。明确每个系统的所有者、部署授权人、监督人和关闭权限,并确保指定人员拥有相应的权限和技术能力。

真正落实人工监督。这并非指某个人必须参与决策过程,而是指这个人必须能够理解决策结果,有权拒绝决策,并且其考核指标不应以吞吐量为导向,否则拒绝决策将变得不切实际。记录所有否决行为,因为一份显示监督功能实际运作的日志比任何政策文件都更有价值。

记录技术立场:训练数据的来源和验证方式,进行了哪些测试及其结果,已知的错误率和故障情况是什么,以及针对这些情况采取了哪些措施。如果需要评估对数据保护或基本权利的影响,则应在部署前进行评估并保持评估结果的更新。部署后进行监控,记录事件,并以清晰可见的方式采取相应措施。

最后,务必确保合同条款正确无误。如果系统是购买而非自行构建,供应商和部署方之间的责任划分将决定风险承担方。务必索取法律规定的技术文档、使用说明、已知局限性信息,以及了解安全事件和重大变更的权利。我们的IT法律团队负责处理这些事宜。

当人工智能成为犯罪分子的工具,而不是企业失败的原因时,情况就不同了。

本文目前讨论的是公司出于合法目的部署人工智能系统所造成的损害。另一方面,人工智能被蓄意用于犯罪,而这种情况的答案则更为简单:犯罪就是犯罪,技术本身只是加重情节,而非法律问题。荷兰刑法注重结果和行为,而非手段,因此几乎不需要新的条款。

使用克隆语音或合成视频(例如导演指示付款的视频)实施的欺诈行为,构成《刑法》第326条规定的欺骗罪,与伪造信件的性质相同。使用模型生成的文件来支持虚假声明,构成《刑法》第225条规定的伪造罪。使用他人身份信息冒充他人,构成《刑法》第231b条规定的犯罪行为。未经他人同意传播他人的性露骨图像属于违法行为,自2024年7月1日起生效的《性犯罪法》对《刑法》的这一部分进行了现代化修订;合成图像并非因为是生成而非录制而属于该法的例外情况。通过自动化账户持续进行骚扰,构成《刑法》第285b条规定的骚扰罪,该罪名仅在受害者提出控告后才会被起诉。

人工智能改变的是规模、可信度和取证难度。逼真的合成语音消除了以往用于防范支付欺诈的障碍,录音的真实性不再能被轻易假定。由此产生两个实际后果。对于受害者和公司而言,不依赖于语音或面部识别的验证程序如今已成为基本控制手段,而非锦上添花。对于刑事诉讼而言,音频和视频材料的真实性已成为必须证明而非假定的问题,辩方有权对其进行检验。

监管正在发挥作用。《人工智能法》第50条规定的透明度义务(该条款已生效)要求服务提供商以机器可读的方式标记合成内容,并要求部署者披露图像、音频或视频在描绘真实人物或事件时是人工生成或篡改的。合规并不能阻止蓄意违法者,但它加强了其他所有人的权益:它使未披露的合成内容本身构成违规行为,并为调查人员和法院提供了线索。我们关于在荷兰证明数字欺骗的文章探讨了此类案件的证据方面。

关于人工智能和刑事责任的常见问题

如果公司的人工智能存在歧视行为,该公司是否需要承担刑事责任?

是的,绝对有可能。虽然人工智能系统本身不会被告上法庭,但根据荷兰公司刑事责任原则,使用人工智能的公司肯定会因歧视性结果而面临刑事指控。如果公司领导层明知人工智能可能存在偏见却不采取任何措施,或者在监管方面存在严重疏忽,那么刑事指控的可能性非常大。欧盟《人工智能法》也为高风险系统制定了严格的反偏见规则。未能达到这些标准将构成任何刑事案件中过失的有力证据。法律的聚光灯始终会聚焦于人工智能的创建、训练和部署过程中所做的人为决策。

人工智能中的黑箱问题是什么?

“黑箱”问题指的是复杂的人工智能模型,即使是构建这些模型的人也无法完全追踪特定输出结果的生成过程。当人工智能与刑法交锋时,这会成为一个棘手的问题。在法庭上,这甚至可以成为辩护的基石。律师可以辩称,有害后果完全不可预见,这意味着被告缺乏必要的犯罪意图(opzet)。论点很简单:他们怎么可能预料到自己根本无法预测的结果呢?但检方也有强有力的反驳。他们可以辩称,在缺乏适当保障措施的情况下部署强大且不可预测的系统,本身就是一种鲁莽或严重疏忽的行为。而这足以满足刑事责任所需的主观要件。这就为一场关于可预见性和注意义务的高风险法律之争埋下了伏笔。

开发人员降低法律风险的最佳方法是什么?

开发者保护自身免受法律风险的最有效方法,就是在人工智能生命周期的每个阶段都保持详尽透明的文档记录。这可以看作是创建一份详细的“审计追踪”,它将成为你最关键的证据。这份文档必须涵盖从开始到结束的所有内容:数据来源:训练数据来自哪里?如何检查其质量和是否存在偏差?偏差缓解:采取了哪些具体步骤来查找和消除数据集中的偏差?设计原理:关键架构选择和算法背后的逻辑是什么?测试结果:每次测试运行的完整记录,包括失败情况以及修复方法。建立清晰的人工监督框架同样至关重要。如果发生调查,这些文档将成为尽职调查的无可辩驳的证据。它有助于证明造成的任何损害都是真正无法预见的意外,而不是疏忽造成的——而这正是坚实法律辩护的基石。

根据荷兰和欧盟现行法律,算法是否可以被追究刑事责任?

不。根据现行法律,算法不能被追究刑事责任。诸如犯罪意图(opzet)和法人资格等核心法律概念仅适用于人类,在某些情况下也适用于公司。

为什么人工智能系统不能像人一样接受审判呢?

算法缺乏受审所需的基本特征:它没有意识,没有可被扣押的个人资产,也没有可被剥夺的自由,这与自然人或被认可为法人的公司不同。

这是否意味着人工智能与刑事案件无关?

不,恰恰相反。虽然算法本身可能没有罪,但它的行为却成为证明创建、部署和监管该算法的人是否有罪的关键。

哪个法律概念最难应用于人工智能系统?

犯罪意图(opzet)尤其难以确定,因为检察官通常必须证明犯罪意图,例如意图、鲁莽或明知故犯,而算法只是根据其程序和数据输入运行,缺乏意识、信念或欲望。

创新中心 Law & More 可以帮助

Law & More 我们为公司、董事和个人提供关于自动化系统引发的刑事责任方面的咨询服务。我们根据《欧洲人权公约》第51条第s款和功能性犯罪原则评估风险,构建并审查人工智能治理体系,确保其能够作为尽职调查的证据,在刑事诉讼中质疑算法证据,并在公共检察机关和监管机构的调查中为公司及其高管提供辩护。如果您的组织在可能出现错误并造成后果的环境中部署人工智能,请在事故发生之前联系我们。

Jade 范尼尔德韦格
Jade Vaneerdewegh 是一名执业律师。 Law & More in Eindhoven 和 Amsterdam她从事刑事和行政法律事务,在对事实和法律进行透彻分析的基础上提出建议。

需要法律援助吗?

您是否收到过信函、传票或判决书?请将文件发送给我们。我们将核实适用的截止日期以及您的选择。

本文仅提供一般信息,不能替代针对您具体情况的建议。

相关文章

诉讼程序协议(procesafspraak)是检控署与辩方之间的一项安排。

布雷恩波特地区正在蓬勃发展。ASML等行业巨头引领潮流,充满活力。

对于普通公民而言,打击有组织犯罪主要意味着你可能会受到影响。

欧盟人工智能法((EU) 2024/1689 号条例)并未明确要求提供一份名为“人工智能”的文件。

在荷兰保护自己免受网络犯罪侵害!了解荷兰法律,理解您的权利并学习相关知识

远程工作纠纷是指雇主与雇员之间或同事之间发生的冲突。

随时了解荷兰法律的最新动态

订阅我们的新闻简报,获取最新的法律见解、监管动态和实用建议。