方乐坤｜医疗人工智能产品责任中的发展风险抗辩规则
从医疗技术进步需求、防止责任绝对化的制度效应等角度衡量，应将发展风险抗辩规则继续适用于医疗AI产品责任之中。应秉持优先保障安全利益、兼容发展利益、以技术进步推动实现高水平医疗安全的理念，对医疗AI场景下制造商的理性或注意义务作适度扩张设定，构建一套合理安全的发展风险抗辩规则体系。鉴于医疗行业的高敏感性，应将医疗AI产品责任中的发展风险抗辩事由设定为相对免责事由，令制造商对算法运行中的不可控环节履行警示告知义务，对缺陷产品负担召回等义务。应根据医疗AI产品的危险程度弹性把握合理发展风险的判定标准。“黑箱”医疗的不可解释性不应该当然解释为合理发展风险；应倡导与促进社会安全价值观相一致的负责任的医疗技术创新，尽可能使医疗AI产品有效满足可解释性要求。
一、问题的提出
在传统产品责任制度中，最能集中体现产品安全与技术进步二元价值角力的规则之一是发展风险抗辩规则。其总体内涵是将科技发展水平作为生产者免于承担产品责任的抗辩事由，即当产品投入流通时的科技水平尚不能发现产品缺陷存在，即使其后的科技发展水平足以发现产品缺陷，生产者也可以主张对缺陷产品投入流通时的致损后果不承担赔偿责任。
医疗人工智能（以下称“医疗AI”）在辅助人类医生提高诊断治疗的精度和效率、推动药物研发、改善个人健康管理等方面日益显现出异于传统医疗的优势。同时，相伴而来的医疗AI应用安全问题亦尤引人瞩目。日益复杂的算法的兴起要求我们批判性地思考如何最好地治理它们造成的损害。学界关于医疗AI损害最佳治理路径的观点明显呈现出安全优先和发展优先之间的价值分殊。在医疗AI产品责任的配置中，必然面临秉持合理的安全、发展观处理发展风险抗辩规则的适用问题。具体而言，面对医疗AI产品固有的高风险属性，应否容许生产者继续援引发展风险抗辩规则？若容许，如何在医疗场景中实现该规则与我国产品责任制度框架的兼容？是否需要以及如何发展该规则，以有效平衡安全促进和技术进步之间的价值颉颃？在我国当下着力发展新兴科技和注重人工智能安全的双重政策导向下，如何实现该规则的规范表达？该规则如何部署，以合理应对医疗AI产品风险的不均衡分布、医疗AI算法“黑箱”等具体问题？本文拟对这些问题作一探析。
二、合理安全的发展风险抗辩规则的理据
鉴于医疗行业的高敏感性和部分医疗AI产品的高风险属性，立法论上存在一个应否废止发展风险抗辩规则的问题。欧盟委员会2022年9月28日通过的《关于〈欧共体缺陷产品责任指令〉修改的提案》提出取消发展风险抗辩规则，以加强对新兴数字时代消费者的有效保护。而欧盟委员会下设的责任和新技术专家组在其发布的《关于人工智能和其他新兴数字技术责任的报告》中却基于技术激励的考量坚持保留发展风险抗辩规则。国内学界关于医疗AI侵权责任的讨论尚未深入发展风险抗辩规则的存留问题。在传统医疗产品责任领域，国内部分学者主张应借鉴法国、德国的做法，对药品、血液产品侵权责任禁止适用发展风险抗辩规则。面对国内医疗AI行业发展的新形势，本文主张在相关产品责任中适配一种合理安全的发展风险抗辩规则，即秉持优先保障安全利益、兼容发展利益、以技术进步推动实现高水平医疗安全的理念，构建发展风险抗辩规则。此种合理安全的发展风险抗辩规则对于医疗AI产品责任应有社会功能的发挥而言是不可或缺的。
（一）
促进医疗AI技术进步的需要
发展风险抗辩规则的根本依据在于其激励技术创新的机制。该规则通过对现有技术识别能力以外产品缺陷之责任豁免的设定，为制造商开发新技术产品提供了“避风港”，从而缓解过于严厉的法律责任对技术进步造成的“寒蝉效应”。一般而言，新技术的引入大概率会导致与之相关的侵权索赔的增加，医疗AI的临床应用亦是如此。然而，鉴于医疗AI相较于传统医学的巨大技术优势及其潜在的社会效益，显然不允许将其技术逻辑范围内的损害风险全部列为不合理风险而叫停其在临床中的应用。既有情况表明，一个性能良好的医疗AI产品全部独特之处在于其超强的学习能力和信息分析、决策的自主性。开放的信息来源可以让它迅速掌握人类医生阅读范围以外的最新医学期刊论文，并以比人类更高的成功率自己学习每个参数的权重，决定在多大程度上考虑患者的病史、过敏易感性等因素的相关性。制造商对机器学习和决策进程中潜在风险的控制和预见能力是有限的。尽管如此，为了降低陷入承担过重法律责任的风险，制造商可能会通过设定信息来源范围、干预参数权重等方式，将该系统设计得更具可预见性。这样做可能会提高制造商对系统决策的可预见性和控制力，但随之而来的后果往往是使系统止步于与旧版本或人类一样的低效率，并引起相应开发减少、产品价格高昂抑制市场需求等连锁效应。相反，一种允许发展风险抗辩规则适用的产品责任机制则会降低制造商的责任风险焦虑，激励其遵循人工智能的技术逻辑，推动医疗技术进步。某种意义上，若要尊重医疗AI学习和决策的自主性规律，即需要为制造商的责任豁免留下空间，便要承认发展风险抗辩规则在医疗AI产品责任中的适用。
医学的特殊性和医疗AI技术进步尤其需要发展风险抗辩规则的适用。人体是现存最复杂的系统之一，无数的遗传变异、生物途径、蛋白质表达模式、代谢物浓度和运动模式等变量对个体的影响差异悬殊。这导致了医学的预测难度非常高，仅靠科学家不太可能发现使药物起作用或不起作用的变量的精确组合。但是，有了足够的数据，机器学习算法就可以毫不费力地发现患者各项指标之间未知的联系，催生新的诊疗方法，实现量身定制的医疗决策。医疗算法可以通过预测哪一种药物、多大剂量可能对特定患者更有效或者副作用更少或者诊断那些没有可靠检测方法的病症来指导治疗决策，从而大大节省医生进行药物测试的时间和费用成本。在筛选信息方面，医疗AI可以以人类无法企及的速度解析深不可测的数据量，对其质量进行排名，并将新信息整合到其自适应编程中，实现精准诊疗。医疗保健领域尤其适合进行大数据革命，借助人工智能实现技术提升。而医疗AI技术优势的挖掘和发挥需要相应的法律保障，需要在安全框架中为开发者的技术创新提供一个相对宽松的责任确定机制。在医疗AI产品责任的适用中嵌入发展风险抗辩规则，恰能满足医疗AI技术进步对于法律责任制度的应然需求。否则，将会抑制开发者进行医疗AI技术创新的动力，进而阻碍高度依赖技术创新的医疗AI行业的发展。
（二）
遏止我国医疗AI产品责任绝对化的需要
免责机制是侵权责任构成体系的必要组成部分，是防止绝对责任的必要环节。避免法律责任的绝对化增强了法律应对复杂实践的涵摄度，是现代侵权责任法的基本理念之一。为此，我国民法中各侵权责任类型无不遵循“责任要件+免责事由”的责任构造模式，即使是责任主体的注意义务程度高于产品责任的高度危险责任亦是如此。若对医疗AI软件开发商、销售商适用产品责任，亦必须相应设置一定的免责机制。医疗AI产品固有的高风险性并不足以成为否弃发展风险抗辩规则、确立绝对责任的理由。某种程度上，医疗安全与技术进步是相辅相成、相互促进的。医疗AI产品应用的危险程度越高，则越有激励技术进步以实现高水平医疗安全的必要。医疗AI产品责任绝对化方案只能封堵高水平医疗安全的技术促进路径，使得全民医疗安全陷入低水平循环。就此意义而言，发展风险抗辩规则不可从医疗AI产品责任中全身隐退。仅须在规则设计层面，基于部分医疗AI产品的高风险性，课予开发商、销售商较高程度的注意义务，从严把握其抗辩免责的适用标准即可。
而且，在我国现行《产品质量法》第41条第2款规定的既有免责事由中，只有发展风险抗辩事由能成为医疗AI缺陷产品开发商、销售商最为核心的免责事由，是其能否实质性免责的关键依据。这是因为：其一，“未将产品投入流通”的免责事由并没有多少技术相关性，其与医疗AI缺陷产品侵权主要为技术性损害的状况并不吻合，预期不会成为主要免责事由。其二，“产品投入流通时，引起损害的缺陷尚不存在”指向缺陷由运送者、仓储者或使用者过错所致的情形；而根据《民法典》第1204条规定，因运送者、仓储者等第三人过错致害仅产生承担责任后的生产者、销售者的追偿权，并不能使生产者、销售者完全免责，故该情形实际并非真正的免责事由。
同时，在医疗AI产品责任中保留发展风险抗辩规则对于平衡我国特定制度中医疗器械制造商的连带责任有着特殊作用。美国《侵权法第三次重述：产品责任》第6（d）节对于医疗器械规定了“博学中间人规则”，即如果产品是在专家或某一行业有经验的专业中间人的负责或指导下使用的，那么生产者只需对专业中间人尽到警示义务即可。该规则普遍适用于主要英美法域，它意味着医疗器械制造商在对最能权衡专业利弊的医疗服务提供者进行合理警示后，即可摆脱承担产品责任的风险；患者便无法直接追究制造商的责任。与英美法不同的是，基于更好地救济患者的目的，我国《民法典》第1223条延续原《侵权责任法》第59条规定，就有缺陷的消毒产品、药品、医疗器械以及不合格的血液致害情形，设置了生产者与医疗机构对患者的连带责任。这意味着，在我国，医疗器械制造商不能按照“博学中间人规则”在向医疗机构进行合理警示后摆脱对患者的直接责任，而是需要承担连带的产品责任。在没有任何配套缓冲机制的情况下，此种责任接近于一种绝对责任；令其适用于医疗AI领域，大概率会造成阻碍医疗技术进步的后果。而允许医疗AI制造商援用发展风险抗辩规则，则体现了产品责任的体系化适用逻辑，一定程度上可以抵消“博学中间人规则”缺位导致的责任配置偏差、缓解医疗AI制造商较重的产品责任负担，从而促进医疗AI技术发展风险在制造商、医疗机构与患者之间的公平分配。
此外，有观点认为，产品缺陷判定上的理性人标准、理性算法标准与发展风险抗辩规则是人工智能产品责任的一体两面，后者为前者所涵盖。在认可前者的适用地位的情况下，便无必要再设定发展风险抗辩规则了。本文认为此观点有待商榷，其理由在于：理性人标准、理性算法标准仅属于认定医疗AI产品存在不合理危险的尺度，是法官运用自由裁量权判定产品“缺陷”的模糊标准，而非具体明确的规则；标准需要在规则适用中得以落实，作为能够具体体现理性人标准、理性算法标准的发展风险抗辩规则从一个侧面弥补了标准适用的模糊性，其地位是无可替代的。
（三）
加持医疗AI产品责任价值目标的需要
现代社会需要医疗AI产品达到最合理的安全水平，既不会因为片面看重医疗技术进步而导致患者权益受损、社会公平消弭，也不应因为过度强调安全而造成医疗技术发展滞阻、社会效率低下。发展风险抗辩规则正有助于达成兼顾公平与效率的目标。一方面，发展风险抗辩规则以保障基本医疗安全为适用前提，将患者权益置于商业利益之上。同时，鉴于患者亦是技术进步带来的整体社会福利水平提高的间接受益者，发展风险抗辩规则亦遵循分配正义原理以及利益衡平的风险分摊机制，令患者在享有基本医疗安全前提下与医疗AI制造商一道分担部分不可控的医疗技术发展风险，承担相应后果。这契合了产品责任法所追求的实质公平的价值目标。另一方面，发展风险抗辩规则容许尊重医疗AI产品的技术特性，反对将现有技术范围以外的未知风险全部列为医疗AI制造商的预见和控制义务范围，以防止产品责任负担过重、保险机制失灵以及产品价格虚高、产业受创等不良连锁效应。这则有益于产品责任法之效率价值目标的达成。
（四）
发展《民法典》产品责任规范体系的需要
我国《民法典》对产品责任采取在尊重既有立法前提下的议题式规范模式。对《产品质量法》中缺陷产品的定义、产品责任的免责事由等具体规定，《民法典》作了留白处理。之所以如此，是因为考虑到《民法典》是基本法，不宜对某些概念作过细、过于具体的规定，否则会限制产品的更新与发展，难以适应科技进步对产品责任立法的不虞挑战。此种规范模式并非意味着发展风险抗辩等具体规则未得到《民法典》认可，相反，《民法典》产品责任规范内含了《产品质量法》中的发展风险抗辩规则。这一点也可从《民法典》第1206条的规范地位中得到印证：该条规定了生产者、销售者对产品投入流通后发现缺陷时应尽的义务，旨在补充规定《产品质量法》第41条第2款“产品投入流通时现有技术未能发现产品缺陷”之外的异常情形，暗含了认可发展风险抗辩规则的当然逻辑。如此一来，若采纳部分学者的意见、在将来《产品质量法》的修订中放弃规定发展风险抗辩规则，则明显违背《民法典》认可并容许顺应科技进步发展该规则的规范意旨，亦将严重毁损我国现行的产品责任规范模式。
三、合理安全的发展风险抗辩规则的构成
2025年2月28日，习近平总书记在主持中共中央政治局第十九次集体学习时强调，“要坚持系统思维，进一步树立发展是硬道理、安全也是硬道理的理念，在工作中自觉把发展和安全统一起来，共同谋划、一体部署、相互促进”；“加强防灾减灾救灾、安全生产、食品药品安全、网络安全、人工智能安全等方面工作”。这为我国医疗AI产品责任规范和发展风险抗辩规则的构造提供了基本遵循和政策引领。本文主张秉持优先保障安全利益、兼容发展利益、以技术进步推动实现高水平医疗安全的理念，构建一套合理安全的发展风险抗辩规则体系。
（一）
合理安全的发展风险抗辩规则的价值内涵
1.作为发展风险抗辩规则首要价值的基本医疗安全
保障和促进基本医疗安全和患者合法权益是医疗AI产品责任和发展风险抗辩规则的首要价值目标。尽管发展风险抗辩规则的基本内涵指向的是生产者对现有技术不能发现之风险损害的免责抗辩，但因其处于医疗AI产品责任规则体系之中，理当服从医疗AI产品责任安全促进之首要价值追求。在人工智能与产业广泛融合的当下，必须对人工智能的局限性保持一定程度的谨慎。出于对机器自主学习算法加剧监管缺陷、破坏市场完整性之风险的担忧，有学者甚至主张禁止人工智能在资本市场等特定领域的应用。尽管医疗AI的显著技术优势和发展前景表明，禁止人工智能在医疗领域里的应用肯定是不明智的，但医疗AI行业发展中的价值位阶关系必须予以明确。在医疗领域，应首先着眼于安全的考量，而不应该把创新放在首位。我国医疗AI技术进步应该是在保障基本医疗安全前提下的技术进步，医疗AI技术进步的目的在于促进和实现更高水平的医疗安全。为了达到基本医疗安全，要求不能因为医疗AI产品的临床应用而产生大面积的缺陷损害，医疗AI产品能对缺陷损害个例保持有效的反馈和纠错机制。
医疗AI产品生产者保障基本医疗安全的义务源于患者对其所依赖的安全感。按照侵权责任法上的风险距离原理，在攸关人的生命健康的医疗领域，课予医疗AI产品生产者以保障医疗安全的义务是合理的。与处于产品消费端的患者不同，生产者拥有有关医疗AI产品从研发到制售环节的全部信息，最有能力消除或降低与其产品相关的风险。生产者可以在机器训练时通过“监督学习”模型的开发，确保对自己医疗AI产品的质量监控和性能改善，通常也更有能力吸收或分摊其产品造成的损害费用。日益复杂的生产过程和技术结构让患者与医疗AI产品的工作机理日渐疏离，从而更加依赖生产者关于其产品性能和安全性的广告。患者这种依赖的安全感实际上是对自身安全利益的让渡，使得其与生产者之间形成一种类似社会信托的关系。这成为生产者医疗安全促进义务的来源。
2.作为发展风险抗辩规则正向价值的医疗技术进步
发展风险抗辩规则内含的医疗安全价值并非排斥所有创新风险的静态的绝对安全，而是能够兼容医疗技术进步需求的合理安全。这体现了发展风险抗辩规则适用的正向效应，即为医疗AI技术进步保留私法缓冲空间。医疗AI将大大增加医疗技术的精度和医疗服务的可及性，而强调绝对医疗安全和过度谨慎会阻碍利用Al巨大潜力的努力。为了充分挖掘医疗AI潜在的社会福利，规则必须加以灵活安排，以在安全与发展这对看似相互矛盾的利益之间取得最佳平衡。
发展风险抗辩规则容纳技术进步需求的价值取向源于AI算法的局限性。医疗AI算法无法拥有人类医生所具有的直觉和隐性知识（如关于只知道如何做而无法解释如何做的规则）。长期以来，人类一直将情商和直觉视为整体智力和作出正确决策能力的必要组成部分。在某些特定的临床环境中，人类医生的床边态度以及权衡和解释与患者福利相关的困难治疗方案的能力对患者的病情缓解和进行正确诊疗决策至关重要。而沃森没有知觉，不能内化或表达人类特有的道德价值观，不能替代特定临床领域内人类医生借助敏锐的本能所能发挥的作用。算法也缺乏成为医学专家所需要的灵活性。当算法遇到不属于其训练过程的新参数时，或者当某些调整指令不符合其编程限制时，算法不能如人类医生一样及时识别错误或灵活调整决策。算法同样缺乏医疗技术持续改进所需要的创造力。这种持续改进很可能取决于从人类那里收到的额外反馈，这将继续需要人类为未来的机器学习系统生成大部分训练数据。而令人忧虑的前景是，随着医疗AI技术的进步，人类医生可能将决策权完全交给算法，从而最终丧失算法所接管领域的必要专业知识。在缺乏人类产生的额外训练数据的情况下，医疗AI会在没有明确决定金标准的领域将给定的问题机械复制，其错误检测受到阻碍，性能质量停滞不前。医疗AI算法自身的局限性决定了其存在不能为现有技术所发现和克服的固有缺陷。正是因为这些缺陷的存在，医疗AI算法不可能被期望在任何时候都能作出超人式的完美决策，而只能被期望作出次优水平的决策，即合理决策。这需要一个特定的合理性标准来考虑医疗AI固有的优势和劣势，以便为医疗技术进步留下空间。
针对AI算法合理性的评判标准，学者提出了不同方案。其中，比较引人瞩目的是有学者提出的作为一般理性人标准转化形式的应用于算法的合理性标准（理性算法标准），即认为诊疗人工智能的表现理当符合一个理性算法应当具有的水平，否则即存在不合理危险。然而，理性算法标准虽使评价目标更为聚焦，但仍存在缺乏确定的可比等价体（面对新技术快速更新和迭代的现状，市场化比较标准难以形成）、运用规则模糊（标准的灵活性也是其最大的弊端）等问题。为了解决这些问题，域外学者又提出兼顾算法合理性（与一般理性人比较）和制造商合理性（安全措施的采取）的分析方法。这种将算法合理性之可比等价体锚定于一般理性人对象的做法实际上又回到了社会一般期待的不确定。对此，本文认为应考虑以下因素：理性人标准是在社会和经济交往实践中长期累积而成的比较性标准，是有关责任成立与配置的概括的弹性标准，在价值取向上能够兼顾安全与效率、权利保护与技术进步；在侵权责任的构成上，理性人标准从未缺席，一般社会人对自己行为危害的谨慎注意义务始终是责任成立的基本逻辑起点；消费者合理期待、风险效用比较、理性算法等标准均为一般理性人标准的转化形式，仍需落实到理性人的审慎注意义务，其适用于医疗AI算法合理性的判定各有短长；而且，即使是理性算法标准论者亦非绝对排斥一般理性人标准、风险效用比较标准等对于算法合理性的评价作用。因而，不妨以一般理性人标准为中轴，区分医疗AI算法应用的不同情形，综合发挥诸标准的优长，实现对医疗AI算法合理性的评判。
无论是理性人标准还是理性算法标准，本质上都是向行为体施加的社会之一般期待。而“社会之一般期待”具有天然的模糊性和抽象性，其需要被赋予特定内涵方能实现对算法合理性的评判。某产品行业的科技发展现状与最高工艺水平决定了理性消费者对该产品相关风险的认识能力。由此，现有科技水平可为医疗AI算法合理性期待的界定提供硬性准据。以现有科技水平作为医疗AI算法合理性的评判尺度和界定依据，意谓依据现有科技水平亦不能发现和克服的医疗AI产品缺陷损害即属于合理的技术发展风险，生产者可以对此类风险损害抗辩免责。此即彰显了发展风险抗辩规则兼容医疗技术进步的价值取向。
（二）
合理安全的发展风险抗辩规则的展开
1.技术发展风险应为医疗AI产品责任的相对免责事由
医疗技术发展风险仍应被设定为医疗AI产品责任的免责事由。基于对医疗AI特殊风险状况的考虑，本文认为，应将医疗技术发展风险设置为一种相对免责事由。损害由现有医疗AI技术尚未发现或克服的缺陷所致之事实，并不能使开发者当然免于承担产品责任。开发者是否能因此完全免责，还要取决于其是否为避免该类潜在缺陷所致的损害采取了必要的预防措施，以及是否为避免损害的扩大采取了必要的止损措施。这种相对免责事由之定性建议的主要依据在于：第一，是尊重医疗AI产品技术特性的需要。尽管医疗AI产品被当然期待能够比传统医疗产品达到更高的诊疗水平和护理标准，但是，医疗AI的自主学习和自适应性使得其行动必然存在一定程度的不可预测性。如果要求医疗AI必须在其决策过程中考虑每一种可能的医疗状况（包括极为罕见或难以置信的情况）和参数，则它可能无法投入实际使用。易言之，开发者只能制造出决策不能被完全预测、不能顾及无限参数的医疗AI产品。这种决策的部分不可预测性、参数范围的有限性显然不能作为一种开发者凭借现有技术可以发现或克服的设计缺陷。法律不能强人所难，不可要求开发者对穷尽当下技术水平都不能避免的风险通过尽善尽美的产品设计加以克服，这支持了技术发展风险抗辩的必要性。而医疗AI产品损害风险的扩大和患者安全利益保护的需要决定了适度扩张开发者对医疗AI产品危险之注意义务的合理性。虽不要求开发者超越当下技术局限，彻底克服医疗AI设计缺陷的损害风险，但可课予其采取预防措施避免发展风险损害的义务。如此，可实现安全与发展目标的兼顾与相互促进。第二，医疗AI是直接或间接作用于人体、关系人的生命健康的行业，这决定了课予医疗AI产品开发者高于其他无关生命健康的AI行业更高注意义务的合理性。对于医疗AI产品开发者而言，虽不能要求其对不可预测的危险负绝对责任，但可要求其告知不可预测危险的存在。第三，我国《民法典》第1206条规定了生产者对于投入流通后的缺陷产品的警示、召回等义务。这为将技术发展风险解释为生产者警示义务所及范围提供了规范依据，即使属于不可预见和不可控的合理风险，制造商亦应负担概括性的警示义务，并不能仅仅依据发展风险抗辩规则而绝对免责。此外，强调发展风险抗辩适用的相对性亦符合医疗AI在部署后仍会持续更新的状况以及相应立法趋势。基于对传统产品形态的设定，1985年通过的欧共体《产品责任指令》规定生产者仅对产品投放市场前存在的缺陷负责；但人工智能系统可能在投放市场后通过软件更新或持续学习不断演化，这导致责任时间点的界定模糊。为此，2022年9月28日,欧盟委员会发布了修订《产品责任指令》的提案，扩大了用于评估产品缺陷的非详尽情况清单，包括产品在部署后继续学习的能力对产品的影响。这实际上扩展了AI产品责任的范围，意味着：若制造商通过算法更新或学习保留对产品的控制权，则产品投放市场后的时间也可能纳入责任考量；开发者应该在算法的整个运行生命周期中不断地监控和评估算法的可靠性、安全性和公平性。这种AI产品责任全周期化的趋势与此处通过相对免责事由的设定以体现发展风险抗辩规则限制适用的本旨是一致的。避免潜在缺陷损害的必要预防措施主要体现为开发者警示告知义务的履行。医疗AI参数来源和范围的扩展、医疗行业的高敏感性、医学技术的动态发展使得有必要课予开发者对医疗AI技术发展风险的概括性注意义务。这种注意义务可落实为开发者对算法运行中不可控环节之固有风险的警示告知义务、避险培训义务，以及对缺陷医疗AI产品的召回义务等。其中的不可控环节之固有风险至少包含：系统所依赖的信息内容的开放性（包含受不可控虚假信息影响的风险）；系统选择参数相关性、权重和替代方案的不可控性；算法对概率范围以外之罕见个例的非涵摄性，等等。
在美国判例法中，开发者被认可就医疗AI产品本身的安全性对医疗机构负担进行充分风险披露的警示义务。根据《侵权法第二次重述》，当制造商对其产品的不可避免的不安全性质提供了充分的警告时，其可以免于承担严格的产品责任。在传统药物领域，有些产品完全无法保证其预期和正常使用的安全。比如治疗狂犬病的疫苗，其本身存在一定的使用风险，难免会罕见地导致非常严重的破坏性后果。然而，鉴于狂犬病的危险性，疫苗的营销和使用都是完全合理的。另如许多新的或实验性的药物，由于缺少足够的临床验证机会和时间，其安全性也无法绝对保证，但其疗效获得了初步经验验证。对于此类不可避免的“不安全”产品，生产商、销售商如果准备得当，并向最终用户提供了充分说明和警告，即可免于承担缺陷产品责任。在“Taylor”案中，原告在接受达芬奇机器人辅助前列腺癌切除手术后，出现直肠穿孔和感染等严重并发症，导致长期健康问题。针对原告认为生产商未向医院或患者披露已知操作风险的诉由，华盛顿州最高法院认为生产商已通过说明书和培训材料向医院披露了设备的潜在风险，无需直接向原告提供警告，判决不支持生产商承担产品责任。类似的伤害和裁判立场亦反映在起诉相同生产商的“Pohly”案中。尽管在“Taylor”案中，华盛顿州最高法院以生产商已向医院进行警示说明为由驳回原告诉求，并坚持“博学中间人规则”，将医疗AI生产商警示义务对象限定于医疗机构，但仍有部分法官在反对意见中指出，被告公司可能低估了复杂医疗设备对患者安全的特殊责任。有观察认为，华盛顿州最高法院在系列类案中扩大了生产商对医疗AI产品固有风险的警示义务，即使外科医生使用手术机器人时有超出生产商推荐参数的不当操作，亦认定生产商须对相应损害承担责任。华盛顿州成为美国“第一个对医疗器械制造商施加警告义务的州”。就生产者的警示义务，有学者明确强调其履行的充分性须以使医疗AI的最终用户意识到产品局限性和潜在缺陷为已足，并主张通过提供产品使用培训的方式来扩展警示义务的履行路径。
我国现行产品责任相关法律中缺少关于生产者对技术发展风险警示义务的明确规定。《民法典》第1206条仅规定了生产者对于投入流通后发现的产品缺陷的警示、召回义务，不能有效覆盖医疗AI产品投入流通时对现有技术不能发现的缺陷风险的警示义务。基于以上分析逻辑，本文认为，在我国将来有关产品责任的立法或司法解释中，应当将技术发展风险列入医疗AI产品开发者警示义务所及范围之中，令开发者就医疗AI产品不可避免的功能性固有缺陷对医疗机构等医疗AI服务提供者负警示义务，对投入流通后发现的缺陷产品负停止销售、警示、召回等义务。
2.技术发展风险影响医疗AI产品责任的构成
发展风险抗辩规则的地位体现为其是否能够影响产品责任的构成。从我国《产品质量法》第41条的规范结构看，发展风险抗辩规则以缺陷产品侵权责任的构成为适用前提，技术发展风险仅为生产商存在产品责任之后的免责抗辩事由。在国内司法实践中，法院通常亦将技术发展风险作为产品责任成立后的裁量环节。这意味着当生产商、销售商在诉讼中提出发展风险抗辩时，其已经首先被确认要承担产品责任了。这导致生产商、销售商更倾向于选择基于产品无缺陷事由的无责抗辩，而不愿意选择举证难度较高且内涵模糊的发展风险免责抗辩，进而造成发展风险抗辩规则长期处于虚置状态。在严格产品责任缓和化理念主导下，美国《侵权法第三次重述：产品责任》采纳了以现有科技水平作为发展风险抗辩的准据，进而作为判定产品缺陷构成要素的规范路径。在20世纪六七十年代的相关判例中，美国法院确立了科技水平证据与产品缺陷的判断相关联的规则。在该规范模式下，技术发展风险不仅作为免责事由存在，其所包含的现有技术证据更直接影响着产品责任的构成。该规范路径亦为我国法学界主流学理意见所认可。以上发展风险免责事由不影响产品责任构成的规范模式倾向于令生产商有更多可能承担产品责任，让受害者有更多机会获得救济，有利于保障安全价值的促进。而发展风险免责事由影响产品责任构成的规范模式则为生产商提供更大的免于承担产品责任的制度空间，为其追求产品创新和技术进步留下更多的回旋余地，有利于保障发展、效率价值目标的实现。在我国医疗AI产品责任的适用中，鉴于当下国内医疗AI行业发展的需要和医疗AI产品的高技术相关性，同时出于平衡上文立论中生产商更高注意义务之负担的考虑，本文主张发展风险抗辩规则应采用影响产品责任构成的规范模式。
3.现有医疗技术应为产品脱离生产者控制时最新诊疗水平
关于发展风险判定准据的现有科技水平概念，存在一个以何种区域范围和时间范围内的科技水平作为判断标准的问题。对于区域范围的标准，我国2018年修订的《产品质量法》第41条第2款并未加以明确，更多留待司法裁量。在有关人工智能科技水平区域标准的学理意见中，有的主张以国内行业通常水平为准，有的认为应以世界范围内最先进的科技水平为准，有的认为应以相关国家和地区在特定历史时期所积累的人工智能技术水平为准。本文认为，在医疗AI场景下，应当区分衡量现有技术标准，即在疾病诊断技术上，应该以处于医疗AI信息来源范围以内的最新医学水平为准。而在疾病治疗技术方面，现有技术水平的判定应当以国内同类医疗AI产品所能够达到的最高临床治疗水平为准。其主要理由在于：第一，比起传统的诊断模式，医疗AI具备基于大数据环境进行疾病信息搜集和诊断决策的条件。换言之，只要是处于医疗AI关联的数据库内的信息，即便是最新发表的世界顶尖期刊论文中的疾病诊断理论，亦可被医疗AI发现并作为疾病诊断的参考依据。同时，医疗AI在疾病诊断技术上亦有可能保持与最新医学理论的同步性，故应可期待在其数据及参数来源范围之内反映世界前沿医学水平。第二，治疗技术直接涉及患者的生命健康安全，其从医学理论转化为治疗技术需要经历一个临床验证的周期，要受到国内医疗产品安全监管的更多限制，一项世界性的最新治疗技术成果未必在国内当然具有临床适用性。所以，不可能要求现有治疗技术能够达到世界最新医学理论水平，只能以国内同类医疗AI产品所能够达到的最高临床治疗水平为准。
关于现有科技水平概念之时间范围判断标准，理论上存在将判定时点设定于产品被设计时或被制造时、受害方提起产品责任之诉时、将产品投入流通时、产品脱离生产者控制时等多种可能。我国现行《产品质量法》将判断时点明确规定为“产品投入流通时”，即截至此时点的科学技术水平不能发现的产品缺陷损害风险属于合理的发展风险。美国《侵权法第三次重述：产品责任》和判例法以产品脱离生产者控制时存在缺陷为成立产品责任的前提。本文认为，在医疗AI产品责任场景中，判定现有科技水平的截至时点应采“产品脱离生产者控制时说”。其主要理由在于：第一，“受害方起诉时说”偏重受害方的主观标准，有过分倾向受害方安全利益保护之嫌，实际效应将是使医疗AI产品生产者的安全控制义务因时限延长而加重，不利于激励技术创新。第二，“产品被设计时或被制造时说”则偏重生产者的主观标准，利益“天枰”的“法码”又侧向了生产者一方。虽可借缩短医疗AI产品生产者安全控制义务存在时段、以减轻其责任负担的途径，保护其产品技术创新的动力，但不利于受害方安全利益保护。第三，“产品脱离生产者控制时说”契合产品责任的核心理念，可以实现对安全促进与技术创新之紧张关系的利益平衡。医疗AI产品责任的核心在于落实生产者对产品安全性的控制权，强调生产者对产品安全性的全程控制义务。以风险可控性为轴心，对产品缺陷的认定以产品脱离生产者控制前的状态为判断基准，令生产者对其可控范围内未发现或未修正的缺陷损害负责，对可控范围以外的缺陷损害免责。如是，可以促进技术发展风险在生产者和消费者之间的合理分配。同时，“产品脱离生产者控制时说”亦有利于督促生产者在其控制医疗AI产品的全阶段不断推进产品技术创新，满足民众对于人工智能时代更高医疗护理水平的普遍期待。第四，“产品投入流通时”不能完全替代“产品脱离生产者控制时”的概念内涵，不能传达生产者须对产品安全负全程控制义务之理念。因为医疗AI产品投入流通与脱离生产者控制的状态有时是错位的。比如，在产品代理销售场合下，生产者将产品交付给代理商时意味着产品已经投入流通，但在产品未被最终购买者受领以前（产品可能存储在生产者或一级代理商的货仓内），均不能被解释为已经脱离了生产者的控制范围。在我国实行药品上市许可持有人制度的环境下，以上错位状态可能会是一种常态。此时，采“产品脱离生产者控制时说”可以实现生产者风险控制义务对自产品投入流通至脱离生产者控制时段的覆盖。
关于现有科技水平概念之时间范围判断标准，还存在一个存续期间的确定问题。在人工智能技术更新与迭代速度趋增的形势下，多长周期内的医疗AI技术水平才能算作“现有医疗技术”，进而据以进行发展风险分配？此问题尤显重要。以医疗器械史上Therac-25（一种用于破坏癌组织的放射治疗机）的技术更新为例，从初代放射治疗机的使用发生致死事件的时间（1985年至1987年间）至其实现辐射剂量管理的算法升级（2006年左右），前后费时近二十年。但当前最新状况显示：基于数据训练环节更新的人工智能迭代时间约为三年，而基于推理环节更新的人工智能迭代周期已缩短至三个月。尽管如此，医疗AI的现有技术水平还是有一个相对确定的存续期间的。因为人工智能技术更新与迭代并不当然等于医疗AI技术的更新与迭代，基础层的技术进步成果需要在应用层完成产业融合、场景开发才能转化为造福社会的实用技术。受医疗行业特殊性所限，医疗AI技术开发另需经历伦理审查、临床试验、市场准入监管等环节，必定有一个相对较长的转化过程。鉴于此，关于现有医疗AI技术的存续周期，可以综合考量同类医疗AI产品完成实质性技术更新、临床试验、获准进入市场等环节所需时间加以确定。
4.属于算法概率例外的罕见病被错误诊疗应列为合理发展风险
依据我国《产品质量法》第41条第2款的规定，生产者可据以抗辩承担产品责任的发展风险系指将产品投入流通时的科学技术水平尚不能发现的缺陷所造成的损害。由此，医疗AI产品的发展风险应指现有医疗AI技术条件下不能发现的产品缺陷所造成的诊疗损害。此为合理的发展风险，可作为医疗AI生产商、销售商抗辩产品责任的免责事由。
需要讨论的是医疗AI算法的某些“无缺陷损害”是否属于合理的发展风险。医疗AI算法依据概率统计原理进行诊疗，故即使其无设计缺陷，也可能因统计例外导致损害。此类损害的典型表现是某些属于算法概率例外的异常病例不能被有效诊疗。传统的产品责任无法覆盖此类“无缺陷损害”，那么，相应问题是：有无必要进行规则调整以将其纳入医疗AI产品责任的范围之内？本文认为答案应当是否定的，即处于算法分析范围之外的罕见病例被错误诊疗的风险理应属于医疗AI技术进步所能容忍的合理发展风险，生产者可以进行免责抗辩。理由在于：
第一，概率原理构成了AI算法的基础技术逻辑，而概率逻辑本质上不可避免地会存在统计漏洞。思维算法（尤其是自学习算法）决策实际上均为基于概率的预测。临床医疗辅助诊断系统通过医学知识图谱与治疗反应数据库的交叉验证实现精准医疗。其算法框架包含分层概率评估：首先计算患者真实罹患诊断病症的概率置信度，继而评估该患者对“最优治疗方案”产生预期治疗反应的概率值，形成阶梯式临床决策支持。因而，医疗AI对患者病情的诊断本身就具有概率属性：即便患者所有体征均指向癌症，患者仍有可能实际罹患其他疾病；即便被确诊癌症，患者仍有可能实际罹患同类癌症中其他肿瘤亚型。这种概率计算的不完全性使得统计范围之外的罕见病例被错误诊疗几乎不可避免。但这不并能抹杀思维算法技术的存在价值。比起借助受试对象有限的临床试验来验证诊疗有效性的传统循证医学，基于大数据环境的医疗AI算法在诊疗决策的速度、精度和可靠性上均拥有绝对优势。从提高医疗技术水平的角度考虑，应认可医疗AI基于概率原理进行诊疗预测的技术路线的正当性，相应容忍其技术发展风险。
第二，对异常病例选择不干预符合预期损害最小化的最佳决策原则。每当思维算法根据概率作出决定、当一般规则应用于事后证明是例外的情况时，算法决策几乎总会造成损害，但这并不构成决策缺陷,因为算法已经作出了我们希望它作出的预期损害最小化的决定。设想一种医疗AI来诊断患者并开出最佳治疗方案。假设医疗AI确诊该患者患有一种疾病，AI搜索资料显示：该病在99%的病例中无需任何干预即可治愈，而在1%的病例中不干预则造成了死亡。医疗AI自然无法提前确定该患者病症是属于99个普通病例的范围还是属于1个异常病例范围，因而需要基于对预期损害的概率判断来选择最佳决策方案。假设99%的病例不干预对应的损害程度为“0”，其余1%病例不干预对应的损害程度为“100”，不必要干预造成的损害程度为“10”（假设会因此导致严重的副作用），那么，最佳治疗决策将是不干预。因为干预的预期损害为“99×10=990”，而不干预的预期损害仅为“1×100=100”。可见，尽管不排除偶尔出现不干预会导致灾难性后果的异常病例的可能，但其确属医疗AI预期损害最小化决策几乎无法避免的“无缺陷损害”，理应作为开发者据以抗辩产品责任的发展风险。
当然，医疗AI产品开发者若能对上述罕见病例被错误诊疗的风险抗辩免责，至少仍需具备以下前提条件：一是产品脱离制造商、销售商控制时尚未发生罕见病例被错误诊疗的事实。若发生此类事实，则上述“无缺陷损害”即由合理发展风险转变为构成产品缺陷的不合理风险，制造商便有义务将其纳入数据分析范围进行技术更新。二是制造商、销售商在将产品交付使用时已就概率例外风险向用户进行了警示说明。如上文所论，医疗AI产品制造商、销售商应就技术发展风险负担概括的注意义务，故应尽可能就算法概率例外风险进行警示说明，否则不可免责。
现有医疗AI技术条件下能够被发现、可预见或可克服的医疗AI产品缺陷损害为不合理风险。对于此类损害风险，生产者负有注意义务，均不可援用发展风险抗辩规则进行产品责任的免责抗辩。此类不合理风险损害并非与医疗AI产品应有功能所匹配的不可避免瑕疵损害，至少包括以下几种：一是不良数据致害。如因训练数据滞后、虚假致使AI诊疗决策偏离患者病情变化；因数据代表性不足产生算法偏见，进而导致未能对劣势人群患者进行有效诊疗。二是因算力不足而错误决策致害。如未能识别急诊科录入系统前已给药的背景而对高危患者作出低死亡风险评估；放射治疗机未能及时按指示修改参数致患者辐射过量而死亡。三是电子病历瑕疵致害。如电子病历访问界面有障碍、记录不准确致重症患者未得及时救治；制药公司为增加自己药品的处方行贿以操控电子病历进行倾向性决策。四是警示缺陷致害。如开发者未充分警示达·芬奇手术机器人固有缺陷导致不当使用致害。五是健康管理软件不准确通知引发不必要治疗。
四、合理安全的发展风险抗辩规则的运用
（一）
依据医疗AI产品危险程度弹性把握合理发展风险的判定标准
应当根据医疗AI产品危险程度弹性把握合理发展风险的判定标准，即医疗AI产品风险等级越低，课予生产者对产品的安全注意义务越低，生产者据以抗辩产品责任的合理发展风险的范围就应越大。反之，医疗AI产品风险等级越高，课予生产者对产品的安全注意义务便越高，生产者据以抗辩产品责任的合理发展风险的范围就应越小。主要理由在于：第一，是有效平衡公平与效率、安全与发展价值关系的需要。如前所论，保持受害方权益保障与技术进步二元价值的和谐共振应为医疗AI产品责任规则优化的永恒目标。而针对医疗AI产品风险的差异化分布状况，适用静态的、标准单一的归责机制势必阻碍以上目标的实现。申言之，若对所有类别的医疗AI产品均适用较严格的发展风险判断标准，均不允许生产者轻易援用发展风险抗辩；尽管因其强调安全优位而可能适合于高风险医疗AI产品领域的风险分配，但对于低风险医疗AI产品领域而言，难免会因矫枉过正而阻碍技术进步。反之，若对所有类别的医疗AI产品均适用较宽松的发展风险判断标准，允许生产者较易援用发展风险抗辩，则这尽管有利于低风险医疗AI产品领域的技术进步，但却不利于高风险医疗AI产品领域应有的安全秩序的建立。故最佳方案应是根据医疗AI产品危险程度弹性适用发展风险抗辩规则。第二，是落实责任与风险相匹配之比例原则的需要。弹性化发展风险判定标准对应着不同的责任配置结果。对危险程度各异的医疗AI产品领域适用单一僵化的发展风险判定标准，会导致责任配置与产品安全风险状况的错位，不符合比例原则。第三，根据人工智能危险程度进行弹性化治理有着比较法上的参考依据。欧洲议会2024年通过的《欧盟人工智能法案》将人工智能的风险分成不可接受的风险、高风险、有限风险、低风险和最小风险几级，对不同风险级别的人工智能设定不同的监管规则。其中，高风险人工智能系统为对安全、健康或基本权利产生负面影响的级别，将受到一系列约束，包括国家机构必要时的访问权、召回权等。尽管该法案划分人工智能风险级别的目的在于灵活设定相应的监管规则，但其中包含着共通的规则理念，即根据人工智能危险程度来确定生产者对避免产品缺陷之注意义务的高低。基于该规则理念，能够成立按照医疗AI产品危险程度弹性适用发展风险抗辩规则的结论。
算法系统的自主性大小决定了其风险级别的高低。对动态数据依赖程度越高、越需要实时决策的算法系统，其可控性就越低，风险级别就越高，就越需要适用相对严格的发展风险判定标准，反之亦然。具体而言，发展风险抗辩规则的弹性适用应把握以下规则：第一，对于处于基础研发阶段的医疗AI行业，以鼓励创新为主，应课予开发者较低的注意义务，适用较宽松的发展风险抗辩。而对于临床应用设计（技术转化）阶段的医疗AI行业，可适当增加安全要求的权重，课予开发者较高的注意义务，适用较严格的发展风险抗辩。第二，根据市场实际需求状况动态调整不同级别医疗AI产品责任之发展风险判定标准：对于市场需求量大的产品，适当放宽判定标准；反之则从严把握。第三，对于辅助诊疗型的医疗AI产品，应允许生产者拥有较多的发展风险抗辩机会。而对于替代诊疗型的医疗AI产品，则应给予生产者相对较少的发展风险抗辩机会。第四，用于治疗环节的医疗AI对人体的危害风险更大，故其发展风险的判定标准应该严于用于诊断环节的医疗AI。第五，就替代诊疗型医疗AI而言，给予用于急救的机器人医生发展风险抗辩的机会应少于用于普通临床应用和体检的机器人医生。因为前者必须实时决策，在发生危险时不能如后者那样呼叫人类医生，风险程度显然更高。
按照对于开发者注意义务要求的高低，可将发展风险区分为能够预见（发现）但实际发生时不能克服或控制的风险、不能预见（发现）但实际发生时可以克服或控制的风险、不能预见（发现）且实际发生时亦不能克服或控制的风险。逻辑上还存在另一种可能情形，即能够预见且实际发生时可以克服或控制的风险。但在该情形下，开发者需要对相应缺陷损害承担产品责任，故该情形已不属于发展风险范畴。在进行发展风险抗辩的具体规则部署时，可以根据医疗AI产品的风险状态等级分别规定包含开发者不同谨慎程度要求的发展风险类型。对于能够预见（发现）但实际发生时不能克服或控制的风险，课予生产者对能够预见的具体缺陷损害风险以充分警示说明的义务，并对预见到的风险不能被现有医疗AI技术所克服或控制负证明责任。对于不能预见（发现）但实际发生时可以克服或控制的风险，课予生产者仅对医疗AI功能局限之类的抽象损害风险以概括性的警示说明义务，但可令其就实际发生的发展风险损害承担产品召回、弥补产品技术漏洞等义务。对于不能预见（发现）且实际发生时亦不能克服或控制的风险，仅令生产者对医疗AI产品的抽象损害风险负概括性警示说明义务。
（二）
“黑箱”医疗场景应施以合理安全的发展风险观
医疗AI算法是否必须要求可解释？当因实际效果显著而获准上市的“黑箱”医疗产品偶尔导致损害时，生产者可否凭借“黑箱”算法的不可解释性进行发展风险抗辩？对此，有的学者认为，透明度制度能激发信任，可解释的人工智能应成为人工智能治理的关键机制；算法的可解释性是自然正义的基石，应通过法律义务要求算法决策附理由；医疗AI产品生产者有确保用户理解并正确使用产品的义务，“黑箱”医疗的不可解释性不能成为可以抗辩责任承担的合理发展风险。另有学者认为，在许多情况下，由于算法能够根据程序员从未有机会考虑的新信息得出结论，其决策过程无法解释，“黑箱”医疗算法不可避免地是不透明的，这阻止人类将特定决策追溯到特定原因；因而，不应全面强制使用可解释模型，只应在涉及民主自由或程序正义时要求算法模型可解释。本文认为，应秉持合理安全的发展风险观来对待医疗AI的可解释性问题，倡导与促进社会安全价值观相一致的负责任的医疗技术创新，尽可能使医疗AI产品有效满足可解释性要求。相应认为，“黑箱”医疗的不可解释性不应该当然解释为合理发展风险。具体而言，对于攸关生命健康的关键诊疗领域和自主医疗AI，不应允许制造商就算法的可解释问题援引发展风险抗辩；当针对同一诊疗问题存在性能优于或等于“黑盒”算法模型的可解释的“白盒”算法模型时，亦不存在将算法的不可解释视为合理发展风险的空间；仅在“黑盒”模型被证明安全有效且性能优于“白盒”模型、实现可解释相较于其准确度提高得不偿失时，方可允许制造商就算法的可解释问题援引发展风险抗辩。主要理由如下：
第一，尽可能要求算法可解释是保障医疗安全、提高医疗AI社会信任度的重要条件。从世界范围看，人工智能的顶层技术伦理普遍要求遵循可解释性原则。欧盟委员会人工智能高级专家组2019年发布的《可信AI伦理指南》将可解释性原则作为可信AI应当遵守的科技伦理原则之一。欧盟《人工智能法案》立法说明指出，AI系统的开发和使用应当具有一定的可追溯性与可解释性，部署者或开发者需要将AI交互过程中的风险性与局限性告知受影响者。美国国家标准与技术研究院（NIST）2023年发布的《人工智能风险管理框架》将算法模型是否可解释作为风险测量依据之一，并设定了可解释的具体要求。我国《个人信息保护法》、国家网信办等颁布的《生成式人工智能服务管理暂行办法》、全国信息安全标准化技术委员会等2023年发布的《人工智能安全标准化白皮书》等相关立法及规范亦均对算法应用的可解释性提出要求。中国信息通信研究院和京东探索研究院通过对全球范围内已经发布的84份政策文件按照词频进行梳理发现，当前AI治理原则已经集中在透明性、安全性等五个方面。鉴于医疗行业的高敏感性，坚持AI算法的可解释原则尤其具有重要意义。目前国内医疗AI临床应用的重要障碍之一是患者的不信任。调查显示，国内患者对于医生使用AI进行诊疗的接受率仅有3.59%。在诊疗环节，医疗AI介入的程度越高，患者的接受度越低。而尽可能要求医疗AI算法的可解释性和透明度、确保AI决策风险可控，则是保障医疗安全、提高医疗AI社会信任度的必要步骤。国内医疗AI行业发展应坚持走兼顾算法透明度、可信任等价值的技术创新之路。同时，考虑到某些高风险场合与人的生命健康利益保障直接相关（如医疗AI被用于分配呼吸机、器官等稀缺资源），通用AI时代的医疗AI具有诊疗决策主导权，其被继续允许进行“黑箱”模型诊疗将使人类的生命健康彻底陷入不可知的危险，且未来破除医疗AI的“黑箱”难题也是可能的，故而，应当基于尊重生命安全的需要，对关键诊疗场合和自主医疗AI强制要求使用可解释模型，禁止开发者就算法固有的不可解释性援用发展风险抗辩。
第二，医疗AI算法可解释、可验证有着技术上的可行性，“黑箱”医疗不可溯源的损害风险通常并非可据以抗辩免责的发展风险。研究表明，算法模型可以大致分为事前可解释（interpretable）的模型和事后可理解的（explainable）的模型。线性回归模型通常是可预先解释的，因为其回归系数提供了对用于预测的特征各自权重的理解。深度神经网络因自身的复杂性而无法以全局方式被确定单个特征的具体权重，从而无法进行所有可能的预先解释。尽管如此，通常可以借助输入变量的方式事后识别深度神经网络模型中负责特定输出的特征，从而实现对其决策依据的事后理解。目前已有几种技术措施可被用以更好地理解算法所作的选择。为了达到数据主体（患者）知情权与数据控制主体商业秘密的有效平衡，同时兼顾患者理解水平，有学者提出对AI特定决策进行基于主题的解释方案。这意味着不要求开发者对算法模型、参数、权重、源代码等内部逻辑进行全模型披露，而是主张将人工智能系统神经网络决策分解为人类可理解的因素（包括决定的主要因素及其相关性），仅要求公开影响AI特定决策的主要因素及相关因素。其技术解决路径是使Al决策可解释，而不是解释Al模型。例如，通过所谓局部可解释模型（Local Interpretable Model-Agnostic Explanations，“LIME”）的技术程序，识别特定决策周围的局部神经元活动或相关单词字段（“本地”），即可在特殊诊断的情况下，确定某些因素（例如“糖尿病风险”“超重”“遗传易感性”和“高血压”等）与决策结果相关。医生也会列出导致其作出决定的相应因素，让患者能够作为外行在逻辑上理解决定。同时，患者可以通过“反事实解释”的方式了解哪些因素对决策过程有什么样的影响。例如，一名被诊断出有95%的糖尿病风险的患者若想知道如何修改（降低）这种风险，便可以向Al系统中添加修改后的因子（例如降低权重因子），以查看诊断是如何变化的。“LIME”和“反事实解释”的结合可以满足对算法特定决策的解释权要求。
当基于深度神经网络的“黑箱”医疗模型无法被预先解释或满足解释权要求的成本过高时，其是否安全有效或具备良好性能就变得相对重要了。而这需要进行验证。验证是使“黑箱”医疗获得患者信任、对齐质量标准、避免决策错误和偏见的重要途径。传统的临床试验对于部分“黑箱”医疗的低成本验证是合适的（比如用于癌症药物种类推荐的AI算法），但其固有的高成本、长周期将极大地限制“黑箱”医疗在现有数据基础上进行更便宜医疗创新的潜力，以及在不断扩大的数据集中快速发现新的模式。鉴于此，有学者提出针对“黑箱”医疗的新的验证方法——由独立第三方进行的计算验证。计算验证指通过利用与开发“黑盒”模型相同的大数据技术来证明“黑盒”模型的有效性。其基本原理是使用不同的输入数据或者不同的分析方法来复制“黑盒”算法的关键结果以达到验证的目的。假定一个团队开发了一个“黑盒”模型，其预测结果的有效性不确定。如果第二个团队使用不同的数据或方法开发出的模型得出了类似的预测结果，那么该模型更有可能是医生、患者和保险公司可以依赖的真实模式。如果将代表性的患者信息提供给这两个模型并给出类似的预测，那么可以确信这些模型是基于真实的自然现象，或者至少是基于相同的潜在缺陷。在操作措施方面，计算验证可由食药管理局或市场激励独立的第三方实施；可令生产者在开发“黑盒”算法时将数据分为独立的用于开发的“训练”子集和用于验证的“测试”子集，允许独立第三方访问“测试”子集验证；可以要求开发方在“黑盒”算法产品达到特定销售量后获得验证，以激励创新。由此可知，“黑箱”医疗模型的性能理论上均是可以验证的。
医疗AI算法的可解释性和可验证性支撑了原则上要求使用可解释、性能良好的医疗AI算法模型的正当性，同时也说明技术上防范乃至克服“黑箱”医疗无法溯源的损害风险一般是可行的，故而，该类风险并非现有AI技术不能发现且不能克服的发展风险，生产者对相应情形中的瑕疵损害不能作发展风险免责抗辩。
第三，安全保障前提下的效率尊重原则肯认“黑箱”医疗的局部应用价值，相应的损害风险可被有条件地视为合理发展风险。在针对同一医疗问题缺乏同等或更优性能的“白盒”模型、无法满足算法可解释要求的情况下，“黑箱”医疗可以显现其应用价值。但前提条件是“黑盒”模型被证明安全有效且性能优于“白盒”模型、实现可解释相较于其诊疗效果提高得不偿失。这是基于安全保障前提下效率尊重原则的考量。“黑盒”模型经测试基本安全有效；同时因性能优良而拥有可观的技术进步潜力，预期经济及社会效益巨大；虽然可解释并可充分验证，但完全解释和充分验证的成本远远超出在性能提升上的同等投入所能带来的收益，不符合风险效用比较原则。在符合基本社会价值权衡原则的情况下，应该认可“黑箱”医疗应用的合理性。
若在以上条件下容许“黑箱”医疗的应用，亦须相应认可发展风险抗辩规则的适用。因为在现有技术条件下，该“黑盒”模型虽因成本过高而未得充分解释和验证，但其性能经局部测试是最优的。在能保障总体安全的情况下，为达到鼓励医疗AI新技术应用以普遍提高护理水平的目标，适度容忍“黑盒”模型无法溯源和未得充分验证的瑕疵损害风险是必要的。易言之，此种损害风险应为“黑箱”医疗技术进步进程中局部性的合理发展风险。医疗领域并不缺乏使用“无法科学解释”的药品或医疗器械的先例。例如，我们经常使用的小儿退烧药泰诺(乙酰氨基酚)、肌肉松弛剂美沙隆、糖尿病药物二甲双胍等，目前虽不清楚其药物机理，但不妨碍其安全使用。有学者乐观认为，通过移植传统医学中成熟的信任架构（如监管要求数据透明与质量保障、专业中介、行业自律等）并适应AI自主学习的特性，社会可在不彻底打开“黑匣子”的前提下，构建对AI系统的可靠信任，推动其安全融入医疗实践。“黑箱”医疗的真正考验是它的效果，而非对其工作机理的透彻解释。正是出于以上考虑，美国食品药品监督管理局已经在未要求有任何临床证据的情况下，批准销售了好几种“黑箱”医疗产品。这进一步说明了在“黑箱”医疗产品的局部应用中适用发展风险抗辩的合理性。
结语
本文尝试回答了在医疗AI产品责任中应否以及如何适用发展风险抗辩规则的问题。在价值论上，从医疗技术进步需求、防止责任绝对化的制度效应等角度衡量，发展风险抗辩规则与医疗AI产品责任具有适配性。在构成论上，主张以总体国家安全观、人工智能安全等政策导向为引领，秉持优先保障安全利益、兼容发展利益、以技术进步推动实现高水平医疗安全的理念，对医疗AI场景下制造商的理性或注意义务作适度扩张设定，构建一套合理安全的发展风险抗辩规则体系。相应地，鉴于医疗行业的高敏感性，应将医疗AI产品责任中的发展风险抗辩事由设定为相对免责事由，即虽不能要求制造商对医疗AI产品的固有风险负绝对责任，但可令其对算法运行中的不可控环节履行概括性的警示告知义务。发展风险抗辩规则应采用影响产品责任构成的规范模式。作为合理发展风险衡量标准的现有医疗技术应为产品脱离生产者控制时世界最新医学诊断水平和国内最新治疗水平。算法概率逻辑固有的“无缺陷损害”属于合理的发展风险，但至少应满足“产品脱离控制时该种损害尚未发生”“产品交付使用时已就概率例外风险作了警示说明”两项条件，生产者方可进行免责抗辩。在应用论上，主张依据医疗AI产品的危险程度弹性把握合理发展风险的判定标准：医疗AI产品风险等级越高，课予制造商对产品的安全注意义务便越高，制造商据以抗辩产品责任的合理发展风险的范围就应越小；风险等级越低，合理发展风险的认定范围就应越大。同时提出，“黑箱”医学的不可解释性不应该当然解释为合理发展风险。应倡导与促进社会安全价值观相一致的负责任的医疗技术创新，尽可能使医疗AI产品有效满足可解释性要求；尤其是对于攸关生命健康的关键诊疗领域和自主医疗AI，不应允许制造商就算法的可解释问题援引发展风险抗辩。仅在“黑盒”模型被证明安全有效且性能优于“白盒”模型、实现可解释不符合风险效用比较原则时，方可允许制造商就算法的可解释问题援引发展风险抗辩。
往期精彩回顾
杨帆｜民营企业刑事诉讼程序保护的体系化路径——以《刑事诉讼法》第四次修改为切入点
孙中原｜论行政规划的强制性
林树荣｜低空空域权利配置的法经济学分析
李鑫｜云服务定价模式的垄断风险与梯次监管方案
张喆锐｜数据污染的平台治理责任
霍敬裕｜合成数据的“合成”风险与法律规制
上海市法学会官网
http://www.sls.org.cn
原标题：《方乐坤｜医疗人工智能产品责任中的发展风险抗辩规则》