在荷兰，人工智能系统的责任始终落在个人或公司身上，软件本身则无需承担责任。实践中，有两个角色至关重要：用户，即部署系统并利用系统做出决策的个人或组织；以及生产者，即开发、投放市场或提供系统的当事方。究竟由哪一方承担损失，取决于故障发生的位置、双方各自的认知以及合同条款。本文将探讨这两个角色；至于刑法框架本身，从功能性犯罪到《刑法》第51条规定的公司责任，则详见我们另一篇关于算法是否可能承担部分责任的文章。
为什么体制永远不是被告？
荷兰法律承认两种人：自然人和法人。人工智能系统既非自然人也非法人。它不享有任何权利，不能被传唤，不能被罚款，也不能被责令支付赔偿金，因为它不拥有任何财产，也不具备独立于运营它的公司的法人资格。关于设立第三类人格（有时被称为电子人格）的提议曾在欧洲层面进行过讨论，但最终无果而终。其原因更多是出于实际考虑而非哲学思考：一个没有资产且无法改变自身行为的责任主体，会将风险从真正能够防止损害的各方转移出去。
因此，问题从来不在于机器是否应承担责任，而在于链条中哪个人或企业未能履行其职责。这条链条的结构是可以预见的：构建模型的一方、将其转化为产品的一方、提供或集成该模型的一方、部署该模型的组织，以及按下按钮的个人。人工智能系统的责任认定，就是在这条链条中找到过失点，并将其与法律依据相匹配。
其中两项法律基础占据主导地位。对用户而言，是侵权法以及在使用强大工具为他人服务时所应承担的注意义务。对生产者而言，是产品责任，而产品责任的认定并不需要过错。其他一切，包括刑事责任，都是建立在这些法律基础之上的。
用户位置
用户低估了自身面临的风险，因为他们将系统视为他人构建的黑匣子。但在法律上，选择部署工具、配置工具、输入数据并根据其输出采取行动的人，实际上是在实施某种行为，而这种行为本身就应受到评判。
当系统仅仅是犯罪的工具时
最容易处理的案例是故意使用人工智能系统的情况。根据《刑法》第326条，生成足以欺骗公司的虚假发票构成欺诈，无论发票是由真人还是模型生成；伪造文件也构成《刑法》第225条规定的伪造罪，无论使用何种工具。使用模型编写入侵系统的代码仍然构成《刑法》第138ab条规定的计算机入侵罪。生成和传播篡改过的真实人物图像可能构成诽谤，如果内容涉及性，则适用自2024年7月1日起生效的《性犯罪法》的相关规定。持续利用人工智能辅助骚扰个人可能构成《刑法》第285b条规定的跟踪罪，该罪名只有在受害者提出控告后才会被起诉。
这些都不是什么新法律。技术改变的是欺骗行为的规模和可信度，而不是犯罪的构成要件。它改变的是证据：提示信息、账户日志、模型输出以及文件创建时间等才是将犯罪与个人联系起来的关键材料，而那些认为人工智能生成的内容无法追踪的用户通常都错了。
疏忽使用：更常见的风险
因疏忽而非故意而陷入困境的组织远比因粗心而陷入困境的组织多得多。这种模式并不陌生：购买一套系统是为了一个目的，却被用于另一个目的；其输出结果被视为决策而非信号；由于操作人员从未被告知系统的错误率或故障点，因此无人检查错误情况。当损害发生时，组织才发现他们根本没有决策过程的记录。
从民事角度来看，这属于直接侵权行为：《民法典》第6:162条规定，任何人对其造成的损害承担责任。违反社会中的注意义务属于违法行为的范畴，而该义务的内容取决于处于相同位置的谨慎行为者会如何行事。此外，根据第6:170条，雇主还需对其雇员的过错承担责任；而根据第6:76条，使用辅助机构履行合同义务的一方也需对该辅助机构承担责任，该条款专门针对采用供应商模式提供自身服务的机构。
谨慎义务不再完全由法院来界定。欧盟人工智能法案赋予高风险系统部署者具体的义务：按照说明使用系统；指派具备相应能力和权限的人员进行监督；确保其控制下的输入数据具有相关性；监控系统运行并在出现风险时暂停使用；保存日志；并在工作场所部署此类系统前告知员工及其代表。这些义务具有监管性质，但法院在评估过失时会将其解读为谨慎行为的描述。忽视使用说明的组织不仅仅是不合规，它实际上已经将诉讼拱手让给了原告。
自动化偏见值得单独讨论，因为它体现了监督机制的悄然失效。如果审核员几乎批准了系统提出的所有建议，那就称不上是在履行监督职责；而以工作量衡量员工绩效的组织，实际上也正是有意设计了这种结果。法律问题的关键在于，决策是否真正由人做出，而橡皮图章式的批准显然不符合要求。
用户无法将风险转嫁给
有三点常常让那些认为供应商承担风险的企业感到意外。
首先，对于受害第三方而言，用户是直接的受害方。例如，客户被拒贷、员工被筛选工具拒绝、病人被错误分诊：他们都与服务提供商签订合同或接受服务提供商的服务，因此他们会起诉服务提供商。服务提供商能否从其供应商处获得赔偿是另一个问题，取决于合同条款，并且不会影响针对服务提供商的索赔。
其次，通用数据保护规则独立于其他一切规定而适用。如果系统处理个人数据，部署方通常是数据控制者，负责法律依据、透明度、影响评估和安全性。完全由自动化方式做出的、产生法律效力或对个人产生类似重大影响的决定，则受单独监管，并赋予该个人获得人工干预和对结果提出异议的权利。我们对《通用数据保护条例》的概述阐述了这一制度。
第三，修改会改变你的角色。部署者如果将自己的名称添加到系统上、改变系统的预期用途或对其进行实质性修改，就会成为《人工智能法案》下的服务提供商，并承担服务提供商的义务。将通用模型微调成受监管决策的筛选工具，正是越过这条界限的典型例子。基于他人模型进行开发的组织应该在发布之前，而不是在发生事故之后，明确自身所处的角色。
制片人的地位
生产者的责任适用不同的法律路径，且更为严格。《民法典》第6:185条及后续条款规定的产品责任，使得生产者对其产品缺陷造成的损害承担责任，而无需受害方证明生产者存在过错。当产品未能提供人们根据其外观、合理预期用途以及投入使用时间所应享有的安全保障时，即构成缺陷。索赔人必须证明损害的存在、产品缺陷以及二者之间的因果关系，而这在人工智能案件中才是真正的争议所在。
该制度设有明确的时效限制。索赔必须在受害方知悉或应当知悉损害、缺陷及生产者身份之日起三年内提出，且索赔权在特定产品投入流通十年后失效。该制度下的责任不得通过合同排除或限制，其涵盖死亡、人身伤害以及私人使用的其他财产的损害，但需满足较低的赔偿门槛。生产者可援引有限的抗辩理由，包括研发风险抗辩，该抗辩适用于产品流通时科学技术水平不足以发现缺陷的情况。
改变软件地位的改革
根据荷兰现行法律体系，产品属于可移动物，而独立软件是否符合这一定义多年来一直存在争议。如今，这场争论即将结束。修订后的产品责任指令（欧盟指令2024/2853）已于2024年12月8日生效，并须于2026年12月9日前转化为各国国内法；该指令适用于在此日期之后投放市场或投入使用的产品，因此，在此日期之前流通的产品仍适用现行的《民法典》条款。其中四项变化对人工智能系统的责任认定至关重要。
软件，包括人工智能系统和数字制造文件，明确属于产品。责任方的范围不仅限于制造商，还包括在制造商控制范围之外对产品进行实质性修改的当事方、授权代表、进口商，以及在特定情况下，还包括物流服务提供商和在线平台。可追偿的损失范围扩大到非专业用途的数据的损毁或损坏，这在软件故障中属于实际存在的损失类别。此外，产品缺陷也可能源于其投放市场之后的情况：例如，必要的软件更新存在缺陷、未能提供安全更新，或者在制造商保留控制权的情况下，持续学习的影响。
这项改革也直接针对证据问题。法院可以应原告要求命令被告披露相关证据，如果被告不予配合，则推定证据存在缺陷。如果由于技术或科学上的复杂性，原告在证明证据时面临过大的困难，且原告能够使证据具有合理性，则适用可反驳的缺陷推定和因果关系推定。对于面对一个无人能够完全解释的模型的原告而言，这正是案件能否成立的关键所在。
合同、符合性及免责条款的局限性
在商业往来中，首要的战场通常是合同而非法规。人工智能系统供应商有义务履行其承诺：交付的系统必须符合合同约定，并具备买方有权期望的各项特性。如果供应商承诺了准确率、可用性或符合人工智能法案的要求，则未能交付即构成违约，在发出正式的违约通知后，买方可采取履行合同、赔偿损失和解除合同等常规补救措施。
供应商通常会以限制和免责条款作为回应，这些条款通常在商业交易双方之间有效。但这些条款并非不受限制。如果依赖该条款会违反合理性和公平性标准，法院可以撤销该条款。在供应商存在故意鲁莽或严重过错的情况下，法院通常会采取这种做法。如果条款措辞笼统，而另一方从未有机会真正了解这些条款，则该条款可能无效。根据产品责任制度，受害方的责任不能通过合同免除。实际上，谈判的重点在于赔偿上限、数据泄露和知识产权侵权的例外情况、监管罚款的赔偿，以及供应商提供客户进行辩护所需的文档和记录的义务。我们的损害赔偿请求页面详细阐述了如何构建此类请求。
《人工智能法案》的作用和局限
《人工智能法》是一项监管工具。它规定了服务提供商和部署者应遵循的规则，并赋予监管机构强制执行的权力；但它并未赋予因人工智能系统而受到伤害的人获得赔偿的权利。此前提出的《人工智能责任指令》旨在统一民事索赔，并全面引入信息披露和推定机制，但该指令已被撤回。目前保留的是上述组合：国家侵权法和合同法，加上改革后的产品责任制度。
但这并不意味着《人工智能法》与责任认定无关。它的重要性体现在三个方面。首先，它明确了注意义务的标准，因此不遵守该标准即构成过失。其次，它生成了相关文件，因为技术文档、使用说明、日志和上市后监测文件均依法存在，并可在诉讼程序中被要求提供。最后，它明确了角色划分，使得过去争论不休的“谁是提供者，谁是部署者”的问题有了法律上的答案。我们的IT法律业务正是在这些分类问题演变为争议之前就对其进行处理。
用户与生产者相遇的地方
大多数实际事故并非由供应链中某一环节的单一故障造成。它们往往是由于以下原因造成的：模型训练所用的数据并不能代表其应用的目标人群；供应商集成该模型时并未在实际环境中进行测试；组织部署该模型时将其用于说明书未涵盖的用途；以及操作人员从未被告知该模型的局限性。荷兰法律对此并无异议：多个当事方可能对同一损害承担责任，每个当事方均须对受害方承担全部责任，事后各当事方根据各自的贡献自行协商分摊责任。
下表列出了责任通常归属何处以及归属依据。
| 党 | 典型的责任基础 | 什么决定了结果 |
|---|---|---|
| 供应商或制造商 | 无过错产品责任；对客户的合同责任。 | 该系统是否提供了预期的安全保障，以及相关文档和说明的实际内容。 |
| 实质性修改的一方 | 扮演改良产品的生产者角色。 | 这项改动是否超出了预期目的，或者是否超出了原制作人的控制范围。 |
| 部署组织 | 侵权行为，违反自身注意义务，对雇员和辅助人员承担责任。 | 按照说明使用，保证人工监督的质量，输入数据，进行记录和监控。 |
| 个体经营者 | 个人责任很少见；只有故意滥用该系统才会面临刑事责任。 | 是否存在故意或严重过错，以及雇主是否应承担责任。 |
荷兰的儿童保育福利事件是所有荷兰相关讨论的焦点，它揭示的是一种模式而非法律规则：一套不透明的风险分类系统，决策依据其结果而非真正的个人评估做出，最终所有后果都由受益人承担。其法律后果主要体现在行政和政治层面，而非刑事层面。我们在关于人工智能与刑法的文章中探讨了该事件对刑事责任的启示和不足。
证据问题及其变化
提起诉讼的一方必须举证，而在人工智能案件中，举证往往是最难的部分。原告必须说明系统做了什么，为什么这样做是错误的，以及这个错误导致了损失。所需的信息掌握在被告手中，而且在复杂的模型中，即使在内部，也很难完全重现这些信息。
有三项进展正在改变这种平衡。日志记录现在已成为高风险系统的法律要求，因此过去可选项的记录现在必须存在。在产品责任索赔中，根据改革后的制度，证据披露成为可能，如果被告不遵守规定，则推定产品存在缺陷。此外，荷兰民事诉讼程序已经允许当事人要求提供其具有合法利益的特定文件，这通常用于获取测试报告、事故日志和内部风险评估。
对被告而言，实际结论虽然令人不快，但却很明确：你保留的文档将被用来指控你，而你未能保留的文档也同样会被用作对你不利的证据。完整、注明日期且真实的测试记录、已知局限性记录、事件记录及其处理方式是最有力的辩护理由，因为这些记录表明组织机构运用了判断力，而非仅仅寄希望于运气。如果事件还涉及刑事犯罪，例如未经授权访问系统或篡改数据，那么荷兰的计算机犯罪和网络犯罪刑事框架将与民事诉讼同时适用，刑事调查也会搜集完全相同的材料。
物理世界中的自主系统
如果人工智能系统用于驾驶车辆、操控无人机或移动机械臂，则会适用另一层责任，而且通常比之前讨论的任何责任都更为严格。造成人身伤害会引发风险责任，而风险责任并不涉及是否存在过失。
对于机动车辆，1994年《道路交通法》第185条规定，除非存在不可抗力（这一标准极难达到），否则机动车辆的所有人或保管人应对行人或骑自行车者遭受的损害承担责任。该规则不区分驾驶员是人还是驾驶辅助系统：保管人首先承担责任，之后才能对软件制造商提起诉讼。在公共道路上测试真正的自动驾驶车辆需要根据荷兰专门的实验法规获得许可，而该许可所附带的条件，包括监督人员的在场和职责，都构成了注意义务标准的一部分。
无人机受欧洲无人机法规管辖，在荷兰，操作员注册和类别相关的要求由荷兰国家数字基础设施监察局 (Rijksinspectie Digitale Infrastructuur) 负责管理。操作员若在超出其所属类别或不具备所需资质的情况下飞行，不仅违反了航空规则，而且其行为也不符合法院所认定的谨慎标准，这在关于自动驾驶仪的技术争论开始之前，就已经解决了过失问题。
除了上述制度之外，还有关于缺陷物品的一般规则。如果可移动物品不符合既定标准，并因此造成特定危险，则其所有者应对该危险造成的损害承担责任。即使根本缺陷在于软件，该规则也适用于物理机器本身。这也是为什么工业机器人或自动化仓库系统的所有者不能简单地将责任推卸给供应商的原因之一。在产品责任制度适用的情况下，这两个系统相互作用，受害方通常会选择最容易举证的途径。
对于运营具有自主功能的机械设备的组织而言，实际后果是，保险和合同必须围绕严格责任制而非过错分析制来制定。虽然向供应商追索是值得的，但这并不能阻止索赔首先找上门来。
减少双方的风险敞口
降低人工智能系统责任的措施与使系统正常运行的措施相同，因此无论监管时间表如何，这些措施都值得去做。
对于部署机构而言，首先要清点系统：哪些系统正在使用，由谁提供，它们负责哪些决策或影响，以及由谁操作。明确每个系统的角色，因为供应商和部署者的职责有所不同。然后，写下预期用途并严格遵守；造成可避免责任的最常见原因就是将工具用于未经验证的用途。赋予系统操作人员真正的权限，让他们可以随时更改系统设置，并以判断力而非工作量来衡量他们的表现。保留日志，并保存足够长的时间，以便在发生纠纷时能够提供证据。记录所有事件，包括险些发生的事件，并记录针对这些事件采取的措施。
对于生产商或供应商而言，类似的清单贯穿产品生命周期：有据可查的风险管理、能够向监管机构解释的数据治理、针对系统实际使用人群的测试、如实说明局限性和错误率而非一味保证的使用说明、供客户报告问题的渠道，以及明确规定安全补丁责任方和维护期限的更新政策。改革后的产品责任制度使最后一点更加明确：未能履行承诺提供的更新本身就可能构成产品缺陷。
双方应将合同视为风险分配机制，而非形式主义。关键条款包括：对预期用途的描述、关于合规性和履约的保证、移交文档和日志的义务、双方的事故通知义务、责任上限及其例外情况、第三方索赔和监管罚款的赔偿，以及终止合作关系时模型和数据的处置安排。如果责任上限的协商脱离实际系统决策，则无法保护任何人。
最后，即使直接风险是民事方面的，也应考虑刑事责任。因人工智能故障而起诉公司的情况仍然不多见，但构成要件与普通案件并无二致：存在责任、违反责任、造成可预见的损害，以及能够证明组织已接受该风险。如果系统被用于明显违法的行为，或者公司明知系统会造成损害却继续运营，则可提起刑事诉讼。关于荷兰刑法以及算法与刑事责任的配套文章中，对此分析已进行了详细阐述。
常见问题
人工智能可以作为证人在法庭上作证吗？
简而言之，答案是否定的，至少在当前的法律环境下并非如此。证人的概念本质上是人性的。要成为证人，一个人必须能够宣誓，承诺说实话。他们还需要对相关事件有切身的了解，并能够经受盘问，在盘问中，他们的记忆、感知和可信度都会受到严格审查。
人工智能显然不符合这些标准。它没有意识，不能宣誓，也不具备人类意义上的个人记忆。充其量，它只能呈现自己处理过的数据。这使得它更像是证据，例如监控录像，而不是真正的证人。人工智能的输出结果当然可以在法庭上展示，但真正作为证人出庭作证的，是解释这些数据的人类专家。
人工智能领域的民事责任和刑事责任有何区别？
每当人工智能造成伤害时，这种区别就至关重要。虽然民事和刑事案件都涉及法律责任，但它们的目的、举证责任和处罚却截然不同。
一个简单的思考方式是这样的：
- 民事责任： 这旨在帮助受害者恢复正常生活。重点在于赔偿损失，例如因算法缺陷造成的经济损失或自动驾驶汽车造成的伤害。举证标准较低，通常只需“可能性权衡”即可。
- 刑事责任： 这关乎对社会本身所犯错误的惩罚。它要求“排除合理怀疑”地证明有罪——这是一个更高的门槛——并可能导致监禁或巨额罚款等严厉处罚。
当人工智能介入时，公司可能面临民事诉讼，需赔偿其产品造成的损失。但要构成刑事指控，检察官必须证明行为人具有“犯罪意图”（mens rea）。这正是责任追溯到人而非机器的原因所在。
我的组织应该如何为欧盟人工智能法案做好准备？
鉴于欧盟人工智能法案等法规已经生效并分阶段实施，等到所有义务全部生效才采取行动是一种冒险的策略。积极主动地遵守法规才是有效降低法律风险的唯一途径。
以下是帮助您入门的几个关键步骤：
- 对你的人工智能系统进行分类： 首先，您需要确定您的AI应用程序属于哪个风险类别——不可接受、高风险、有限风险还是极低风险。此分类将决定您的具体合规义务。
- 进行风险评估： 对于任何高风险系统，都必须进行全面评估，以识别和解决可能对基本权利造成的损害。这并非走过场，而是要深入剖析系统的影响。
- 确保透明度和文档： 详细记录你的人工智能设计、用于训练的数据集及其决策过程。这些记录对于在发生事故时证明合规性和责任至关重要。
Law & More 我们为构建人工智能系统的机构和使用人工智能系统的机构提供咨询服务，内容涵盖合同中的风险分配、人工智能法案下的分类和责任，以及在系统造成损失时如何提起或抗辩索赔。请告诉我们您的情况，我们将在一个工作日内告知您可行的方案。
