2015年2月,英国首例机器人“达芬奇”心瓣修复手术进行中,不仅把病人的心脏“放错位置”,还戳穿大动脉血溅摄像头,致使该患者在术后一周去世。美国2000年至2013年间,在“达芬奇”机器人手术中致死的患者已达144人,其中不乏“机器人短路走火”“零件掉入体内”等原因[1]。国内近年来也多次出现“达芬奇”手术机器人相关医疗事故①。2016年1月20日,河北邯郸发生了一起装有自动驾驶设备的特斯拉汽车未能有效识别突然进入车道的白色车辆,而致驾驶员死亡的交通事故[2]。该案也是全球第一例因自动驾驶汽车致人死亡而导致的产品责任诉讼案件[3]。而后,美国加利福尼亚州、亚利桑那州、宾夕法尼亚州,以及中国北京[4]陆续出现了不同损害程度的交通事故。以医疗机器人、自动驾驶汽车为代表的人工智能产品责任问题至今没有“标准答案”[5-6]。产品缺陷的司法认定是人工智能相应主体责任承担的基础,也是规制人工智能发展以及维护社会和谐运作的关键一环,具有决定性意义[7]。但由于人工智能产品的自主性,使其在司法环节认定缺陷时比普通产品更为复杂,也即,“旧的认定规则与表达方式不能够适应新问题的出现”。但我们依然可以试图从产品责任框架内去寻求解释的空间,在原有的基础上更新表达方式,清晰界定人工智能产品缺陷的司法认定标准。这对于人工智能产品责任制度的完善具有重要意义。
① 笔者在北大法宝查询到12份因“达芬奇”手术机器人致损的医疗侵权相关判决书,北大法宝网,http://www.pkulaw.cn/Case/,2020年6月7日访问。
一、现有规则表达在人工智能产品缺陷的司法认定上存在困境 (一) 人工智能产品与普通产品的区别人工智能是指能够感知其所处环境,从环境中获取数据,并对这些数据推理从而进行自主决策和动作的程序或者设备系统[8],并具有以下特征:(1)通过搜索数据解决问题,人工智能在遇到问题时,通常是根据设计研发者事先向其输入的数据进行分析和判断来确定解决方案; (2)能够独立从数据中学习新的规则与知识,并将学习的内容转化为下一步行动的规则; (3)能够理解自然语言,通过对人类语言的理解和学习进行人机交互,完成人工智能与人类的实时对话; (4)可以根据外界环境、信息的变化而作出相应的反应,不需要人类对每一个判断和每一个行为下达指令[9]。采用了人工智能技术为主要性能支持的产品即为人工智能产品。人工智能产品与普通产品的最大区别在于其自主性,具体体现在以下几个方面。
1.人工智能产品的运作方式更具复杂性
基于连接主义的人工智能通过复杂的模型构建,关注于拟合已有数据输入与输出的统计意义上的相关性,而对输入和输出的因果性缺乏理解与分析,故而其运行过程是一个“黑箱”操作。质言之,人工智能产品具有一定的自主性,能够自适应学习,其作出决策和行为的思维路径很难为人类所探究,它们通过自我学习和判断并根据环境变化调整行为,处于“感知—分析—行动”模式,因此,不能简单地将它们看作是人类使用的工具。人类对人工智能行为的预判是有限的。例如英格兰麦格纳科学中心设计研发的机器人,其功能设定为“捕食”,但却在无人看管的情况下,偷偷逃离研究所并去到高速公路上[10]。即使当初设计研发者并没有给其设计这一技能,它也能通过自主学习获得。在用户使用人工智能的过程中,人工智能能够自主地进行学习和思考,随着其数据的累积,人工智能的行为会越来越难以判断。在2016年3月,微软设计的聊天机器人Tay与不同的人聊天并保存聊天数据,不到24小时就被“教坏”并开始散布各种不良言论[11]; 2016年6月,视频游戏“Elite Dangerous”配备了人工智能系统,该系统居然创造出了游戏设定之外的超级武器,破坏了游戏的平衡与规则[9]。虽然人类设计、制造并部署了人工智能[12],但它们的行为却不受人类的直接指令约束,而是基于其所获取的信息作出的分析和判断,也即“算法与行为的分离”[13]。故而,设计研发者在开发人工智能产品的过程中可能并不能准确预知某一产品可能存在的风险②,他们只能保证产品的首次运算规则按照他们的设定进行,同时在之后的过程中不断进行监控和调试,以降低人工智能产品“出轨”的可能性。而普通产品相对来说较为简单,从被设计出来至使用期内,除了正常损耗降低性能及不正常操作等人为因素外,理论上不会出现与其设计偏离的情况,也不需要对其进行跟踪观察。从这一角度看,人工智能产品的运作方式相较于普通产品更具复杂性。
② 参见《人工智能标准化白皮书(2018版)》3.3.1人工智能的安全问题。
2.人工智能产品的致害主体更具多元性
人工智能产品致害涉及的主体包括设计研发者、生产者、销售者,甚至人工智能产品本身。这就突破了普通产品仅包括生产者和销售者的责任维度。全球上千台“达芬奇”手术系统投入使用,而其存在明显缺陷——该手术机器人没有“触觉反馈”,使医生无法感知[14]。2016年5月,美国一辆自动驾驶汽车在公路上行驶时发生车祸,车主当场死亡。从调查中可知,事故是由于该车的自动驾驶系统Autopilot对相近颜色的分辨能力低下。这对于驾驶避障系统来说是一个巨大的缺陷,设计研发者却没有对此进行改进再投入市场,甚至没有做出警示,间接导致了悲剧的发生。设计研发环节是人工智能产品产生的首要环节,产品安全的第一道保障即来源于设计研发者,若设计研发环节出现问题,则后面的各个环节也将偏离正确轨道。
对于人工智能产品本身,学术界关于其是否具有法律主体地位的探讨如火如荼。笔者认为,不论其是否应当具有法律主体地位,基于其自主性特质[15],往往会出现无法辨认产品缺陷的成因或产品不存在缺陷但产生了损害结果的情况,若仅按照当前法律规定追究生产者及销售者责任有失公允,会出现“行为—评价”不一致的情况,也将大大阻碍人工智能产业的发展。对于普通产品来说,产品从设计到制造再到检验始终掌握在生产者手里[16],产品本身不会对产品是否致害有任何影响,理论上普通产品将按照设计路径进行运作。因此,在产品本身是否有可能成为致害主体的问题上,二者也有很大的不同。从致害主体角度看,人工智能产品相较于普通产品的生产者与销售者来说,更突出了设计研发者与产品本身对产品致害的影响。
(二) 人工智能产品缺陷司法认定的困境1.现有判断标准在人工智能产品视域下缺乏适应性
其一,“不合理危险”具有抽象性、复杂性,“标准”具有应急性、不确定性,使得对人工智能产品缺陷的司法认定陷入困境。
司法实践中,往往以《产品质量法》第46条的“不合理危险”与国家标准及行业标准相结合的方式来判断普通产品是否存在缺陷[17],即“不合理标准”与“技术标准”相结合。但我国现有法律对“不合理危险”没有制定统一的认定标准,在普通产品缺陷认定时,主要依据大众对产品的基本认知和了解来进行分析判断,如产品的性能、使用方式、使用领域、使用年限事故发生的可能性③。人工智能的出现是一种尝试和突破,是人类向另一个新时代迈进的探索,大众对人工智能产品的理解和认知都极其有限,更遑论判断其危险是否合理。事实上,对人工智能产品存在的“危险是否合理”的思考涉及计算机学、脑科学、仿生学、控制学、数学、哲学,相关领域的专家都很难对此作出相对完善的结论。该标准在司法实践中的难度可想而知。
③ 参见临海市美尼特电动车辆制造有限公司与卢全奇产品责任纠纷上诉案,浙江省宁波市中级人民法院(2013)浙甬民一终字第628号。
对于普通产品缺陷判断具有重要作用的“技术标准”,在人工智能产品领域存在应急性与不确定性。技术标准是一种必须遵循的技术依据,包括基础技术标准、安全标准、环保标准、工艺标准、检测标准等,需要经过各级政府部门的层层审批,耗时较长。而人工智能产品的发展与更新速度远超于普通产品,传统技术标准的制定方式显然不合适,《人工智能标准化白皮书(2018版)》(以下简称“白皮书”)应运而生。根据《白皮书》规定,围绕人工智能标准化需求,按照“急用先行、成熟先上”的原则,展开重点急需标准的研制。这一规定能够解决传统技术标准的短板,但也增加了新标准的“不确定性”与“应急性”。《白皮书》中数据表明,已发布的标准不足一半④,其中有不少标准是遵循“急用先行”的原则而发布,应急性特征明显,这些标准的成熟度和完善度有待考证。而剩下过半的标准还未发布,这对于人工智能产品缺陷的司法认定又是一大掣肘。在遇到未制定标准的情况时,只能依据没有统一标准且抽象复杂的“不合理危险”来进行判断,无疑会使人工智能产品缺陷的司法认定陷入困境。
④ 根据《人工智能标准化白皮书(2018版)》,目前共有200项国家/行业标准计划号,包括已发布、在研及拟研制三种状态。其中,已发布82项,拟研制31项,在研87项。
其二,除标准自身存在的不足外,将两个标准相结合的判断方式在逻辑上存在矛盾。按照《产品质量法》第46条规定,当产品不符合国家或行业标准时,即可认为该产品存在缺陷。反之,若该产品符合国家或行业标准时,是否说明该产品不存在缺陷?若产品符合国家或行业标准但存在不合理危险时,应当如何认定?事实上,在司法实践中,由于这两个标准同时存在并适用,使得不同的法官对类似案件作出不同判决⑤,致使法律的严肃性与规范性受到质疑,不利于保护消费者权益,也不利于人工智能产业的良性发展。在人工智能产品中,由于标准的应急性与技术认识的边界性,更有可能出现符合国家、行业标准但依然会危及人身、他人财产安全的产品,此时是否应当认定为缺陷产品?从以上分析可得出,现有的判断标准无法解决人工智能产品缺陷的司法认定问题。
⑤ 参见马水法诉陕西重型汽车有限公司等因产品缺陷致人身损害赔偿纠纷案,江苏省南京市中级人民法院(2014)宁民终字第613号; 靳蕾诉北京德奥达汽车进出口有限公司等公司产品责任纠纷案,北京大兴区人民法院(2017)京0115民初12674号。
2.未将缺陷类型化是我国人工智能产品缺陷认定困境的根源
现有产品缺陷认定模式之所以难以适用于人工智能产品,根源在于我国《侵权责任法》和《产品质量法》并未直接对产品缺陷进行分类,而是采用笼统的标准来判断产品缺陷。在复杂的人工智能产品视域下,未将缺陷类型化的判断模式显然无法解决人工智能产品缺陷的认定问题。尽管侵权法理论通常将产品缺陷分为设计缺陷、制造缺陷及警示缺陷[18],有关产品缺陷的部分规章也提及了缺陷的类型化⑥,但在法律层面仍未对产品缺陷类型作出明确规定,主要原因是部分学者认为对某些概念作过细、过于具体的规定,有可能会限制产品的更新与发展[19]。但笔者认为,若不将产品缺陷进行类型化分析,则在人工智能产品缺陷认定问题上会陷入桎梏,导致产品侵权制度不完善,也无法发展。
⑥ 如2007年《儿童玩具召回管理规定》第3条第2款规定、2012年《缺陷汽车产品召回管理条例》第2条第1款规定。
鉴于人工智能的复杂性与特异性,设计研发者在产品质量中具有举足轻重的作用,其不同于传统产品,设计研发者与生产者的责任不可混为一谈。在人工智能产品视域下,生产者仅是既有设计的执行者,其难以理解或辨认设计的正确与否,对产品设计上的缺陷也不具有控制力。若按照我国目前法律规定,生产者则需要承担产品设计环节产生的缺陷所带来的产品责任,但“对自己无法控制的事情需要承担责任”是否缺少法理基础?事实上,除了设计研发者,生产者与销售者等责任主体对于产品缺陷的控制力也是不同的,不同环节所造成的缺陷从归责原则、判断方法乃至认定标准都应有不同。若不区分缺陷类型,单以某一缺陷为标准进行规制都显得捉襟见肘,在责任承担时也有失公允。因此,结合人工智能产品的特性,对人工智能产品缺陷进行类型化分析实为必要。
二、人工智能产品缺陷类型及相关主体义务分析 (一) 人工智能产品缺陷类型的划分产品缺陷的分类始于美国,《侵权法重述之产品责任(第三版)》明确将产品缺陷分为设计缺陷、制造缺陷和警示缺陷三种,德国在此基础上增加了一种新的缺陷类型,即“观察缺陷”。虽然我国没有对产品缺陷进行明确的划分,但从《产品质量法》和司法实践上看,我国倾向于德国的缺陷类型。对于我国是否应当明确摒弃“不合理危险”与“技术标准”相结合的二元缺陷判断模式有诸多争议,但如何借鉴缺陷类型化判断模式还需要在特定的语境中进行考量,人工智能产品的发展和应用为这个问题提供了一个绝佳的思考视角和尝试契机[3]。笔者认为可参照当前司法实践对缺陷类型的划分,在现有规则框架中结合人工智能产品的特性,在人工智能产品缺陷领域形成设计缺陷、制造缺陷、警示缺陷和跟踪观察缺陷四种缺陷类型。该分类与产品从设计至使用的主要环节相对应,也与各个主体的义务相关。通过对各个环节主体义务的分析,界定出相对合理且可操作的判断标准,以期采用“切割分解”的方式降低人工智能产品缺陷司法认定的复杂性,提高人工智能产品责任认定的可能性与合理性。
其一,该分类有利于人工智能产品归责原则的重构。从对法条和实践经验的理解来看,我国产品责任采用严格责任的归责原则⑦。但我国并没有对产品缺陷类型进行分类,也即,无论什么缺陷导致的产品责任,都采用严格责任的归责原则。制造缺陷里适用严格责任并无不妥,但在设计缺陷或警示缺陷的情况下,一味追究严格责任缺乏正当性[20],事实上,严格责任的衰弱与过错责任的回归,已经是公开的秘密[21]。我国统一适用严格责任的归责原则主要是将设计研发者与生产者混同,并以保护消费者权益为出发点而制定的,但忽略了导致产品存在缺陷的多个环节,也忽略了人工智能产品生产者对于非制造缺陷的不可控力。首先,在人工智能语境下,生产者能力有限,但却面临过于苛刻的严格责任,是否会使权利的天秤过于倾斜导致不公?若按照我国仅把生产者与销售者纳入产品责任主体的法律现状来假设,人工智能产品的设计研发环节出现问题,生产者需要承担严格责任,岂不荒谬[22]?再者,对于警示环节出现问题而导致的产品缺陷也承担严格责任未免有适用标准错位的嫌疑。警示行为主要关注的是生产者、销售者警告的内容是否充分合理,实际上是针对人的行为,不是针对产品本身,而严格责任作为一种刚性的产品责任,关注的是产品本身存在的缺陷,按此逻辑,采用严格责任也实为不妥。最后,统一适用严格责任原则容易导致消费者道德偏差。在严格责任的保护下,消费者的举证负担大大减轻,这很可能导致消费者在使用产品时存在侥幸或放任的心理,在未尽注意义务受到损害时依然可以获得赔偿,这一原则会间接促使更多消费者肆意对产品进行不合理的使用,这样打击了生产者的生产积极性,最终将不利于人工智能产业的发展。综上,对人工智能产品责任的归责原则进行重构以适应其特异性势在必行。
⑦《产品质量法》第41条规定:因产品存在缺陷造成人身、缺陷产品以外的其他财产损害的,生产者应当承担赔偿责任。
按照设计缺陷、制造缺陷、警示缺陷和跟踪观察缺陷这几种缺陷类型来划分,与产品从设计至使用的几个主要环节相对应,不同环节对产品质量的影响与控制力不同。如设计研发环节是决定人工智能产品质量的关键与基础,对产品的安全与性能有着根源性的影响,但基于人工智能产品的特异性,设计环节对产品依然没有完全的控制能力; 制造环节是设计环节的执行步骤,与普通产品无异,不存在过多困难[23]; 警示缺陷与跟踪观察缺陷主要是在产品生产完成后,对人的行为进行评价,而不过多关注产品本身的质量问题。不同缺陷类型所对应的各个环节对产品的控制力不同,根据控制能力与责任相匹配的基本原理,此时按照不同的缺陷类型采取不同的归责原则更为恰当。
其二,该分类使责任认定要素相互对应形成逻辑闭环,有利于人工智能产品责任的认定。在认定产品侵权时,除了产品缺陷,还需要着重关注归责原则与责任主体。该缺陷分类不仅利于归责原则的重构以适应人工智能产品特性,还与责任主体相对应,形成“产品缺陷—归责原则—致害主体”产品责任的认定逻辑⑧。每个环节与产品缺陷、归责原则、致害主体相对应,环环相扣,即,以上文提及的“分解切割”方式来增强产品责任认定的可操作性与合理性。在实际操作中可以按照如下步骤进行切分:首先,利用设计方案、制造技术、工艺报告、各项数据监控,以及流转凭证等信息判断产品在什么环节出现问题,若是设计环节则考虑是否存在设计缺陷,制造环节则考虑是否存在制造缺陷,以此类推; 其次,在锁定某一可能缺陷类型的情况下,根据该缺陷类型的认定标准判断是否存在产品缺陷; 再次,确定存在产品缺陷后对不同缺陷类型采用不同的归责原则,如设计缺陷采用过错责任原则,制造缺陷采用严格责任原则进行责任的确定⑨; 最后,结合各个缺陷类型下对应的归责原则和致害主体,如“设计缺陷—过错责任—设计研发者”,以明确承担人工智能产品责任的主体⑩。在此种分类下,人工智能产品责任的判断逻辑清晰、有据可循,而不是按照现有法律规定的“不合理危险”与严格责任这样笼统划一的方式来进行产品责任认定,这样的判定路径将复杂的人工智能产品责任进行拆分,提高了产品缺陷司法认定的可操作性与合理性,也是我国《产品质量法》相关规则修改的一种更现实可行的路径。
⑧ 因“损害结果”与“因果关系”在人工智能产品与普通产品中无太大区别,文章不作过多探讨,故而在此闭环中也未体现。
⑨ 该原则为根据不同缺陷下主体对产品质量的可控制力为基础大致拟定,主要作用为举例说明,不作为笔者的探讨结论。
⑩ 由于文章主题与篇幅的限制,在此没有考虑免责事由以及其他承担责任的方式和机制。
(二) 缺陷类型化下有关主体的义务分析在对人工智能产品缺陷类型进行分类后,为了更好地判断产品缺陷,应当分析各个缺陷类型对应主体的义务,以作为产品缺陷认定的参考因素。
1.设计缺陷:设计研发者
在产品责任法上,设计缺陷是指在设计环节出现问题,使得产品具有给使用者造成不合理危险的内在缺陷[24]。设计缺陷的责任主体是设计研发者,其应当履行如下义务:(1)安全保障[25]。程序及算法应当遵循欧盟“可信赖人工智能伦理准则”(Ethics Guidelines For Trustworthy AI)的设定规制,在产品正常使用情况下不会对使用者或者他人的生命健康权、财产权造成损害。在存有已知风险情况下,应当对该产品设计保护、防范措施,使风险发生概率降到最低。(2)性能平衡。人工智能产品的安全性、稳定性与智能性、功能性是相互牵制的。设计研发者在进行系统和程序设计时,应当注重上述特性的平衡[26],在保障相对安全稳定的基础上再追求功能性,这也是侵权责任体系公平有效的客观要求。(3)全面测试。人工智能应用程序具有不确定性和概率性、对大数据的依赖性,以及难以预测所有应用场景及需要从过去的行为不断进行学习等特性。因此,在产品设计研发过程直至进入市场前,应当多次进行算法、程序和产品的测试。通过对数据的采集、加工、处理、分析和挖掘,形成符合设计要求的信息流和认识模型⑪。同样,对于产品入市前也应当进行全面的功能性测试。
⑪参见《人工智能标准化白皮书(2018)》2.2人工智能的特征。
2.制造缺陷:制造者
在人工智能产品视角下,制造缺陷理应排除设计环节。生产者的主要义务是将设计研发者的构思、程序、方案、图样等设计变成产品。(1)配合设计预期效果进行制造。如保障人工智能产品能够提供清楚易懂的语言,在遇到自动系统难以应对的情况时能清晰地提示使用者,以采取相应手动控制措施; 保证简易按钮的灵敏性与抗干扰性,在复杂环境下,能够瞬间停止“自动化模式”而恢复人类对产品的控制权[27]。(2)严格按照设计方案进行制造。制造需达到设计对原材料、零部件加工,装配和工艺的精密要求。例如,对于特种极限机器人,无人机、无人潜水艇等人工智能产品,主要在极端气候或高空、深海等环境下工作,其制作原材料、零部件和制造工艺都是产品安全和性能的重要保障之一。若不按照原设计的材料及工艺进行制造,必然导致产品安全和性能的减损。
3.警示缺陷:制造者、销售者
我国《产品质量法》虽然涉及警示缺陷的内容,但仅对产品标识和外包装进行规定[28]。针对我国司法实践中出现的警示缺陷纠纷,有学者将产品警示缺陷定义为:由于未对产品的正确使用方式和使用危险进行适当的警告和说明造成的不合理危险[29]。结合现有法律规定、司法实践情况及人工智能产品特性,笔者认为人工智能产品警示义务应当包含以下几个要素:(1)警示内容的充分性。其一,警示应当对合理可预见的危险进行说明,“威胁和危险均指造成这种现实损害的可能性,它必须是即将来临的或真实的,而不是臆想的,也不是没有任何实际根据的猜测和担忧”[30]; 其二,警示应当着重于对其决策的原理、路径和安全使用方式,如前文的“河北邯郸案”发生后,特斯拉车载系统将“Autopilot”的中文翻译从“自动驾驶”改为“自动辅助驾驶”,并要求销售人员严格将这一系统表述为驾驶辅助系统,从而对该系统的功能与使用方式进行重新定位说明。(2)警示时间的更迭性。人工智能产品的更新迭代飞速,故而需标明警示时间。这样不仅可以令使用者有计划地自查产品的最新状况,也可以在出现产品侵权纠纷时作为有效证据,有助于裁判者定纷止争。若因科技发展可预见新的风险,则生产者、销售者需及时通知消费者并更新警示说明书等附随产品。(3)警示语言的简明醒目性。警示语言必须简洁明了、通俗易懂,要使普通人能够理解该产品的使用方式和风险。警示图示和字体应当采用鲜明的设计,使用户在第一时间注意到警示所要传达的信息。
4.跟踪观察缺陷:设计研发者、制造者、销售者
产品跟踪观察缺陷是指在产品投入流通以后,生产者、销售者没有对产品进行持续性观察并了解是否存在未知的危险,或已知存在危险未采取警示、召回等措施。在人工智能视域下的产品跟踪观察义务应当在原有基础上相应变更及细化以适应新情况。(1)应当增加设计研发者为跟踪观察义务的主体。设计研发者对人工智能产品的理解力和控制力强于其他主体,是人工智能产品生产的源头,理应成为义务主体。(2)明确跟踪观察义务包括消极义务与积极义务[31]。消极义务是指生产者及销售者应当接受消费者对产品致损与风险的投诉,并将信息传递至设计研发者,由其对人工智能产品进行检查与测验,确认是否存在风险。积极义务是指设计研发者应当定期对自己研发出的产品进行数据监控和检查,防止出现人工智能异变的情况,并对本领域的最新科技高度关注,以便及时更新技术降低产品使用风险。(3)完成跟踪观察后的反应义务。从实践中看,警示和召回是最重要的反应行为,警示反应要求义务主体对消费者、使用者发出警示消息,可以通过发送邮件、拨打电话及借助大众媒体等方式发出警示; 召回反应要求责任主体通过免费维修、更换、回购等方式来排除产品的危险。(4)确定跟踪观察义务的存续期间。实践中,普通产品的跟踪观察义务存在1~5年的保修期。对于人工智能产品而言,生产者因将产品投入流通而开启了潜在危险,且该危险较难预测。因此,跟踪观察期应当扩张至产品的应然使用寿命年限。
三、人工智能产品缺陷司法认定标准的规则表达任何规则的表达都是在给定条件下进行的,在人工智能视域下,产品缺陷的司法认定在原有框架下也应当有新的规则表达。
(一) 设计缺陷:“风险—效用”规则在美国法上,法院最早以“消费者预期”作为设计缺陷的判断标准。根据该标准,产品设计缺陷是否存在不合理的危险,取决于该产品能否符合普通消费者对于此种产品特性的正当预期。也就是说,造成损害的产品缺陷必须具有普通消费者可以预见的不合理危险。但在现代社会,随着科技的发展,产品类型逐渐丰富,结构也日益复杂,有学者认为在涉及具体产品设计方案上,消费者所期待的安全性程度无法定义[32]1236-1237,难以形成合理正当的期待,也有学者与法官开始对该标准的模糊性与不确定性进行质疑[32]1217,该标准适用困难。
为了弥补消费者预期标准的不足,美国法院开始尝试采用“风险—效用”标准对设计缺陷进行判断[33]。所谓“风险—效用”标准,也被称为“成本效益标准”,就是通过产品有用性与危险性的比较,检查设计研发者是否采取了适当的安全保障措施,以判定产品是否存在设计缺陷[34]。在产品设计缺陷中的判断可以描述为:若改进该产品的成本低于维持现有状态的效益及现有风险或危险,则存在设计缺陷; 若改进该产品的成本高于维持现有状态存在的效益及现有风险或危险,则不存在设计缺陷。到目前为止,“风险—效用”规则已经成为美国、德国等许多国家采用判断产品设计缺陷的重要标准。
对于普通产品而言,“消费者预期”标准或许能够立足于“以消费者为本”这一理念而得以运行,而在人工智能视域下,普通消费者对人工智能的理解极其有限,高于平均产品使用人对该产品的认识水平的,不在“消费者预期”标准考虑之列[35]。如前所述,人工智能是一项新兴科技,人类对该技术的探索在不断突破我们的认知边界,试问采用这样一种技术的产品,我们普通大众如何对其形成合理的消费者预期?如Doctor AI可以通过利用递归神经网络建立预测模型以辅助诊断[36],“嬉戏式监督智能空间”游戏行为疗法能够辅助特殊儿童的治疗⑫ ,[37],普通消费者应对医疗AI抱以何种期待?也即,采用消费者预期标准的前提不存在,不具有可操作性。再者,消费者预期标准为一种整体性分析,属于定性分析,只有存在“符合预期”或者“不符合预期”这两种结果。而受到人工智能产品特异性的限制,我们很难对其作出定性结论,只能是在各个功能价值之间寻求平衡。
⑫ 包括自闭症谱系障碍(ASD)、注意力缺陷多动障碍(ADHD)、唐氏综合征或精神分裂症等特殊儿童。
反观“风险—效用”标准,虽然存在着操作较为繁琐,价值单一等弊端,普通产品不具有自主决策与交互协同的特性,对普通产品使用该标准有“损益比失衡”之嫌,但在人工智能产品中,却更加符合其集合风险(自主性)与效用(智能性)于一身的特质。人工智能产品设计综合了计算机学、数学、脑科学、经济学、哲学、伦理学、美学、心理学等学科,不仅要满足消费者对产品安全、功能的刚性需求,更要满足消费者心理上和情感上的精神需求,由于人工智能产品的自主性会导致用户较高的情感反应,人与自主系统的交互中需要更多地考虑社交和心理因素[38]。上述几种需求之间往往是相互牵制的,任何一种功能的改变都有可能影响到其他功能的实现,从而引起整个产品的变化。以“风险—效用”规则作为判断设计缺陷的综合标准,不仅映衬了人工智能的发展是人类社会在进步过程中的一步“险棋”,还是提高人类工作生活效率的一种尝试,更是与人工智能产品设计“多元化”、产品运行“自主化”特征紧密相连。“风险—效用”规则属于一种定量分析,不是非此即彼,而是对人工智能产品设计方案的综合考察,相较于定性分析更具有可操作性,更适合对人工智能产品缺陷的判断。
我国在处理人工智能产品设计缺陷案件时,可以采用“风险—效用”标准。从美国的司法实践看,绝大多数州法律及判例在面对产品设计缺陷案件时都要求原告提供合理的替代设计,并通过“风险—效用”标准予以分析和判断。对于该规则而言,重点在于如何平衡产品的风险与效用,合理的替代设计就是该标准的内在要求[39]。人工智能产品的设计缺陷有别于传统产品,主要有以下几类缺陷:算法设计缺陷、样本标记缺陷、样本不平衡缺陷、软件设计缺陷、硬件设计缺陷[40]。在判断是否存在设计缺陷时可以上述类别为参考。但由于人工智能产品的复杂性,原告只需提出初步的设计不合理证据,由设计研发者对设计合理进行证明,必要时可由法院邀请专家来说明是否存在“合理的可替代设计”,具体表述为“该产品的设计是否已经采用了业内最安全、最先进的技术,或以现有技术标准,是否可以提出更高的设计要求”[41],并对替代设计的边际收益与边际成本予以分析,以证明产品是否存在设计缺陷。
(二) 制造缺陷:“对预期设计的偏离”标准1973年,James Henderson教授首次将产品的制造缺陷定义为“对预期设计的偏离”[42]。目前,该标准已经成为美国等国家判断产品制造缺陷的主流标准,即产品在生产者投入流通时,在某些重要方面存在不符合设计的性能标准或设计说明的问题,或者同一生产线上的同类产品存在差异则为制造缺陷。在人工智能产品中,主要由设计研发者把控产品的安全与功能,而制造者只是产品设计的执行者,结合制造者在制造环节需要承担“将设计转化为产品”的这一核心义务,采用“对预期设计偏离”标准,能够体现出认定制造缺陷的逻辑性与严谨性,在实践中也更具可操作性。
由于人工智能产品与普通产品在制造环节差异不大,故而该标准在二者的制造缺陷中都可适用⑬。从产品侵权缺陷认定的体系看,尽管“对预期设计偏离”为认定制造缺陷提供了一个直观的标准,但在产品出故障损毁时,仍存在认定缺陷的问题。此时需要借助另一个标准——故障理论来进行产品制造缺陷的认定。在产品因事故损毁、灭失的情况下,原告可以通过间接证据来证明产品缺陷[43]。结合《美国统一产品责任示范法》与人工智能产品特性,在产生纠纷时可按照以下思路对制造缺陷进行认定:原告申请法院调取该人工智能产品的设计方案或报告,将致害人工智能产品与设计方案进行比较,查明是否有不符合原有设计的情况。若存在不符合原有设计的情况,则属于制造缺陷,若该产品符合原有设计,则不属于制造缺陷,需要考虑是否存在设计缺陷等其他缺陷。在人工智能产品出现损毁、灭失的情况下,原告首先需要证明该产品确实发生了故障或事故,并且导致了人工智能产品的损毁、灭失; 其次证明该故障或事故的发生不是由于非正常使用造成的,也没有被其他人进行过改动。上述两项若都符合,则可以推定该人工智能产品存在缺陷。但是这种缺陷有可能是设计缺陷、制造缺陷、警示缺陷或跟踪观察缺陷,要进一步对比产品设计方案、警示语标识及跟踪观察记录来判断是否属于其他三种缺陷,若不属于,则可判断为是制造缺陷。
⑬ 本文阐述该标准意图有二:一是逻辑严密性,文章通过“分解切割”方式将产品缺陷分为四大类,在论述体系中应当全面体现; 二是表述的确定性,我国目前依然采取“不合理危险”与“标准”相结合的判断方式,若因理论上可采用一致标准而不加以阐述,则容易导致笔者思想传递的混乱。
(三) 警示缺陷:“合理充分”标准美国和欧盟在判断警示缺陷时,主要采用的是消费者预期标准[44]; 日本的警示缺陷诉讼主要在医药品方面,一般也是以消费者预期为标准[45],然而,消费者预期主观性过强,不同的消费者预期不同,在司法实践中具有偏差性,且人工智能产品属于新兴科技,消费者对其理解不足,更遑论产生合理预期。如前所述,警示义务要求警示在内容、形式与时间上都应当“充分合理”,对人工智能产品的警示缺陷判断采用“充分合理”标准,一方面符合正常理性人的思维,另一方面也更具可操作性与统一性。
在人工智能语境下,判断是否“充分合理”应当以前文所述警示义务的具体要求为基础,但更应该考虑如何界定不可预见的危险。与普通产品不同,人工智能产品的自主性与主动交互性,使人类很难控制与预测其行为,不能排除人工智能产品自身成为致害主体的可能性,如何增强人工智能产品的可解释性,是当下人工智能学科研究的重大挑战之一[36]。在这种情况下,警示语不可能出现设计研发者、生产者等无法预知的情况,而这又与人工智能产品频频侵权的根源也是其本质——人工智能的自主性相冲突,是无法克服的。因而,在判断是否为可预见的危险时,以标明警示语的时间为节点来进行判断似乎是当下较合理的可行之法。在警示时间点前的科学水平能够预见还未投入市场的人工智能产品存在何种可预知危险,并将其充分写为警示语,投入市场后的产品在技术发展或系统升级后,能够预见其他风险或解决先前的潜在危险时,应当及时更新警示标语,这也是与普通产品在警示方面的最大区别。如此,则尽到了充分合理的警示义务。反之,则没有尽到充分合理的警示义务。另外,不需要对众所周知的危险作出警示,也即对于任何荒诞或显而易见的危险与不当使用方式,生产者和销售者并不承担预见或提出警示的义务,否则会导致消费者受到过度无意义警示的轰炸后很可能会放弃阅读产品的全部警示,以至于忽略了其中的重要警示,而出现产品致害事件。
(四) 跟踪观察缺陷:“个案认定,综合判断”原则虽然我国《侵权责任法》肯定了跟踪观察义务,但没有明确规定具体如何判断责任主体是否履行了跟踪观察义务。在人工智能产品的跟踪观察义务中涉及的主体包括设计研发者、制造者与销售者,中间也可能产生很多阻断因素,归纳出一个具体的判断标准较为困难。因此,笔者认为,在判断是否履行了跟踪观察义务,应当依据个案的情况,综合考虑前述义务是否妥善履行来予以认定,但需特别注意的是,由于人工智能产品的交互性与自主性特征,对其的跟踪观察期限与时间点应有别于普通产品,应当在人工智能产品的整个使用期限内进行跟踪观察,并设置固定的检测时间点,以防止其多次采集数据后自我学习而导致异化,这是“综合判断”标准的重要内容。
在具体操作中,可以参考以下判断标准:首先,设计研发者对产生的风险是否预见或应当预见,一方面可以从人工智能技术当前成果判断能否预见该风险,应当以上一次检测产品的时间为准。若同类产品已经发生类似的缺陷问题,该产品的设计研发者依然没有任何反应,则可以判断设计研发者应当预见风险而没有预见。另一方面从设计研发者是否履行了关注和定时检测义务来进行判断,每次检测都应当有检测记录并进行上传至数据库。其次,生产者和销售者是否开通了产品反馈管道并完成信息搜集传递工作。生产者与销售者需建立和完善产品使用意见反馈机制,及时接受用户的反馈,继而将问题反馈给设计研发者,在这两个中转环节都应当做好书面记录并签字存档,以起到完整程序、保留证据及责任转移的作用。最后,是否有警示或召回等反应行为。如前所述,当发现产品存在缺陷时,视情况严重程度采取警示或召回等行为是跟踪观察义务的最重要内容,也是判断是否存在跟踪观察缺陷的重要标准之一。应当对人工智能产品按照类别制定不同的“合理反应期限”,若在此期限内未对缺陷作出反应,即为跟踪观察缺陷。具体来说有两个方面:一是产品发展缺陷⑭,主要是由设计研发者对科技的发展以及产品检测监控来判断是否存在可修复缺陷,并对存在可修复缺陷的产品进行程序修缮和更新; 若存在不可修复缺陷,则制造者需在产品说明中增加新的风险警示,销售者在销售产品时也应及时说明新增风险,并警示已购买用户。二是针对产品使用过程中产生的老化、折损问题,制造者与销售者通过反馈管道可召回该类产品,并对其进行维修或更换,保障产品的安全。
⑭ 产品发展缺陷指产品投入流通前的科技水平不认为是缺陷或不存在风险,而在产品投入流通以后,随着科技的发展而认为是缺陷或者是认为存在风险。
四、结语产品缺陷的司法认定是产品责任存在的基础,由于人工智能产品相较于普通产品具有一定的自主性、交互性、难预测性与不可控性,致使人工智能产品缺陷认定更加复杂困难,加之未将产品缺陷类型化,现有的规则表达难以适用。基于法解释学的张力,在人工智能视域下对产品缺陷认定进行基本原理的探究与具体规则的新表达,结合学术界前沿理论、我国司法实践经验与人工智能产品特性,将产品缺陷划分为设计缺陷、制造缺陷、警示缺陷与跟踪观察缺陷,通过“切割分解”的方式将复杂的人工智能产品缺陷分解成不同类型。分析不同缺陷类型下各主体的义务,再结合不同缺陷的性质与特征,表达出不同的判断规则,为我国人工智能产品侵权责任构建提供一个可参考的思路。智能革命引发的各种思考才刚刚开始,科学技术的发展会不断拓宽人类认识的边缘[46],我们需要在法律基本原理的基础上进行审慎创新,在面对旧规则无法解决新问题这一局面时,应当还原旧表达的核心思想,结合新语境得出新的规则表达。本文提出的判断规则并非盖棺之言,仅是现阶段对人工智能产品视域下缺陷司法认定的初步探索,将来还会出现诸多问题需要我们共同关注和探讨,寻找并论证更加恰当的规则表达,希望我们在促进新技术发展的同时,为其产生的风险做好充足的法律准备。
[1] |
搜狐新闻. 纪录片|骇人听闻的手术机器人致死案. . . 凶手居然是他们![EB/OL]. (2018-12-03)[2020-06-07]. https://www.sohu.com/a/278842713_562020.
|
[2] |
观察者. 邯郸特斯拉事故致死案: 公司承认案发时处"自动驾驶"状态[EB/OL]. (2018-02-27)[2020-06-07]. https://www.guancha.cn/society/2018_02_27_448303_1.shtml.
|
[3] |
王乐兵. 自动驾驶汽车的缺陷及其产品责任[J]. 清华法学, 2020, 14(2): 93-112. |
[4] |
腾讯大粤网. 回顾全球12起自动驾驶车祸还有这"幺蛾子"?[EB/OL]. (2018-03-21)[2020-04-25]. https://gd.qq.com/a/20180321/029095.htm.
|
[5] |
民主与法制网. "手术机器人"医疗事故责任问诊[EB/OL]. (2019-09-27)[2020-06-07]. http://www.mzyfz.com/cms/benwangzhuanfang/xinwenzhongxin/zuixinbaodao/html/1040/2019-09-27/content-1406397.html.
|
[6] |
搜狐新闻网. 自动驾驶汽车出事故, 谁来承担责任?[EB/OL]. (2019-04-30)[2020-06-07]. https://www.sohu.com/a/311110470_100098859.
|
[7] |
OWEN D G. Products liability: Principles of justice for the 21st century[J]. Pace Law Review, 1990, 11(1): 63-86. |
[8] |
CALLAN R. 人工智能[M]. 黄厚宽, 田盛丰, 译. 北京: 电子工业出版社, 2004: 5.
|
[9] |
詹可. 人工智能法律人格问题研究[J]. 信息安全研究, 2018, 4(3): 224-232. DOI:10.3969/j.issn.2096-1057.2018.03.006 |
[10] |
AustenK. Robot-assisted plants find their place in the sun[J]. New Scientist, 2011, 211(2830): 26. |
[11] |
莫宏伟. 强人工智能与弱人工智能的伦理问题思考[J]. 科学与社会, 2018, 8(1): 14-24. |
[12] |
钟义信. 人工智能: "热闹"背后的"门道"[J]. 科技导报, 2016, 34(7): 14-19. |
[13] |
司晓, 曹建峰. 论人工智能的民事责任: 以自动驾驶汽车和智能机器人为切入点[J]. 法律科学(西北政法大学学报), 2017, 35(5): 166-173. |
[14] |
观察者. 英国首例机器人心瓣手术: "机器暴走", 病人不治身亡[EB/OL]. (2018-11-08)[2020-06-07]. https://www.guancha.cn/internation/2018_11_08_478891_2.shtml.
|
[15] |
SEARLE J R. Minds, brains and programs[J]. Behavioral and Brain Sciences, 1980, 3(3): 417-457. DOI:10.1017/S0140525X00005756 |
[16] |
潘维大. 英美侵权行为法案例解析[M]. 北京: 高等教育出版社, 2005: 353-355.
|
[17] |
全国人大常委会法制工作委员会民法室. 中华人民共和国侵权责任法解读[M]. 北京: 中国法制出版社, 2010: 214-215.
|
[18] |
杨立新. 侵权责任法[M]. 上海: 复旦大学出版社, 2010: 386-394.
|
[19] |
张新宝, 任鸿雁. 我国产品责任制度: 守成与创新[J]. 北方法学, 2012, 6(3): 5-19. |
[20] |
梁亚, 王嶂, 赵存耀. 论产品缺陷类型对产品责任归责原则的影响: 《侵权责任法》第41条生产者责任之解释与批判[J]. 法律适用, 2012(1): 37-41. |
[21] |
DOBBS D B. The Law of Torts[M]. West Group, 2000: 997.
|
[22] |
梁亚. 美国产品责任法中归责原则变迁之解析[J]. 环球法律评论, 2008(1): 104-109. |
[23] |
董春华. 对严格产品责任正当性的质疑与反思[J]. 法学, 2014(12): 127-137. |
[24] |
POLLOCK F. The law of torts: A treatise on the principles of obligations arising from civil wrongs in the common law[J]. Harvard Law Review, 1887. |
[25] |
MCCRACKEN R. I, Robot[J]. Energy Economist, 2011(356): 6-8. |
[26] |
美国法律研究院. 侵权法重述: 产品责任[M]. 第3版. 肖永平, 龚乐凡, 译. 北京: 法律出版社, 2006: 18.
|
[27] |
许中缘. 论智能汽车侵权责任立法: 以工具性人格为中心[J]. 法学, 2019(4): 67-81. |
[28] |
董春华. 中美产品缺陷法律制度比较研究[M]. 北京: 法律出版社, 2010: 119.
|
[29] |
杨立新. 《中华人民共和国侵权责任法》条文解释与司法适用[M]. 北京: 人民法院出版社, 2010: 267.
|
[30] |
王利明. 论产品责任中的损害概念[J]. 法学, 2011(2): 45-54. DOI:10.3969/j.issn.1674-828X.2011.02.007 |
[31] |
周友军. 论侵权法上的产品跟踪观察义务[J]. 法律科学(西北政法大学学报), 2014(4): 127-132. |
[32] |
DAVIS M J. Design Defect Liability: In Search of a Standard of Responsibility[M]. Faculty Publications, 1993.
|
[33] |
冉克平. 论产品设计缺陷及其判定[J]. 东方法学, 2016(2): 12-22. DOI:10.3969/j.issn.1007-1466.2016.02.002 |
[34] |
KYSAR D A. The expectations of consumers[J]. Columbia Law Review, 2003, 103(7): 1700-1790. DOI:10.2307/3593402 |
[35] |
海因茨·雷伊. 瑞士侵权责任法[M]. 贺栩栩, 译. 北京: 中国政法大学出版社, 2015: 325.
|
[36] |
孙效华, 张义文, 侯璐, 等. 人工智能产品与服务体系研究综述[J]. 包装工程, 2020, 41(10): 49-61. |
[37] |
AGOSTA G, BORGHESE L, BRANDOLESE C, et al. Playful supervised smart spaces (P3S): A framework for designing, implementing and deploying multisensory play experiences for children with special needs[J]. Euromicro Conference on Digital System Design, 2015, 158-164. |
[38] |
ENDSLEY M R. From here to autonomy: Lessons learned from human-automation research[J]. Human Factors: The Journal of the Human Factors and Ergonomics Society, 2016, 59(1): 5-27. |
[39] |
HENDERSON J A, TWERSKI A D. Achieving consensus on defective product design[J]. Cornell Law Review, 1998, 83(4): 867-920. |
[40] |
朱敏, 刘卫东. 基于粗糙集贝叶斯网络的电子产品设计缺陷评估模型[J]. 计算机应用研究, 2013, 30(3): 706-711. |
[41] |
王利明. 侵权责任法研究(下卷)[M]. 北京: 中国人民大学出版社, 2011: 250.
|
[42] |
梁亚. 论产品制造缺陷的认定和证明[J]. 法律适用, 2007(7): 42-45. |
[43] |
美国法律研究院. 侵权法重述: 产品责任[M]. 第3版. 肖永平, 龚乐凡, 译. 北京: 法律出版社, 2006: 160.
|
[44] |
冉克平. 产品责任理论与判例研究[M]. 北京: 北京大学出版社, 2014: 95.
|
[45] |
李焕珍. 日本的产品责任法[J]. 日用化学品科学, 1996(1): 24-26. |
[46] |
吴汉东. 人工智能时代的制度安排与法律规制[J]. 法律科学(西北政法大学学报), 2017, 35(5): 128-136. |