最高法涉AI纠纷《意见》解读第二篇:同为AI幻觉,为何一个担责、一个免责
最高法涉AI纠纷《意见》解读第二篇:同为AI幻觉,为何一个担责、一个免责
杭州互联网法院审理的全国首例生成式AI“幻觉”侵权案[1](以下简称“杭州案”)中,AI错误生成某高校招生信息,但法院最终认定服务提供者已经尽到合理注意义务,不具有主观过错,因而不构成侵权。与此同时,南京市中级人民法院审理的侵权责任纠纷案[2](以下简称“南京案”)中,“AI智能回答”生成“律师被判有期徒刑三年”等明显失实、具有明确指向性的内容,并将当事人照片与负面信息结合展示,法院最终维持名誉侵权认定。

同为AI幻觉,为何一个担责、一个免责?《最高人民法院关于依法审理涉人工智能纠纷案件的意见》(以下简称“《意见》”)为这一问题搭建了一套相对完整的责任分析框架。
一、“AI幻觉”侵权原则上适用“过错责任”
《意见》第(三)项首先解决归责原则问题,明确规定利用人工智能侵害民事权益,法律没有明确规定适用无过错责任或者过错推定责任的,应当依照《民法典》第1165条第1款适用过错责任原则。据《<最高人民法院关于依法审理涉人工智能纠纷案件的意见>的理解与适用》(简称《理解与适用》)介绍,在《意见》起草过程中对归责原则亦进行了充分的讨论,之所以未引入无过错责任,系因为“对于生成式人工智能来说,大模型与人类的交互方式决定了其只是向人类提供信息,一般不会直接危害人类的人身安全或财产安全,因而生成式人工智能致害与民法典侵权责任编中的无过错责任体系不具有相同性与相似性,故对于生成式人工智能侵权不宜适用无过错责任。”[3]这意味着,“AI幻觉”本身不是侵权责任成立的充分条件。司法真正需要判断的是:服务提供者在具体场景下是否违反了其应当承担的注意义务、是否造成损害,以及该过错与损害结果之间是否具有法律上的因果关系。
杭州案体现了这一判断路径。用户咨询高校报考信息,模型生成了不准确信息。法院围绕服务提供者是否尽到合理注意义务,考察了三个层次:一是对法律禁止、有害、违法内容的审查义务;二是对生成内容局限性的显著提示和特定重大利益场景下的即时警示义务;三是通过检索增强生成等行业通行技术手段提升信息可靠性的基本注意义务。法院据此认定,平台已经在欢迎页、用户协议及交互界面进行了显著提示,并采取了检索增强等技术措施,因此主观上不存在过错。
二、服务提供者注意义务的分层判断
《意见》第(三)项没有停留在抽象的过错判断上,而是列明了一系列具体考量因素,包括人工智能的应用场景、自主化程度、技术与信息透明度、潜在风险及影响范围,以及服务提供者为预防和减少侵权所采取的措施以及技术可行性。这些因素共同指向一个基本判断:服务提供者是否尽到合理注意义务,应当结合风险的可预见程度、损害的严重程度及其实际防控能力综合认定。
(一)应用场景风险越高,注意义务标准越高
《意见》明确要求将应用场景作为判断注意义务的重要考量因素。同样是“AI幻觉”,错误餐厅推荐、错误历史知识、错误考试信息,与虚构某人犯罪经历、医疗诊断结论、证券投资建议,显然不能适用同一个注意标准。《理解与适用》进一步指出,AI应用于文字图片生成,与应用于自动驾驶、医学诊疗等场景,其危险程度显然不同,相应注意义务也应当有所区别。
因此,判断服务提供者是否存在过错,需要综合考虑输出内容涉及的权益类型、可能造成的损害、传播范围以及用户可能产生的信赖。当生成内容可能直接影响生命健康、重大财产利益或者他人人格权益时,服务提供者应当相应提高风险提示、信息核验和技术防控的标准。
(二)控制力越强,注意义务越重
《意见》特别强调“自主化程度”“技术与信息透明度”和“提供者采取措施的技术可能性”,其背后的核心逻辑,是责任应与控制能力相匹配。
对于通用模型在开放式交互中偶发生成的错误内容,服务提供者可能难以在事前预测每一次具体输出,不能仅因错误发生便推定其存在过错。但如果服务提供者对生成内容进行筛选、组合、编辑、推荐或者公开展示,甚至围绕特定对象主动生成具有明显负面评价的内容,其对侵权内容形成和传播的参与程度随之提高,所承担的审查和防控义务也会相应加重。这正是南京案与杭州案值得比较之处。
南京案的关键正在于此。“AI智能回答”并非单纯呈现模型生成的文本,而是将涉案当事人的姓名、照片与“被判三年有期徒刑”“爆炸罪”等明显负面内容加工、组合并向公众展示。二审判决认定,相关内容指向明确,具有明显的贬损性和传播效果,“AI智能回答”对相关搜索内容进行了技术加工,其行为已经具有一定的主动性,最终维持名誉侵权认定。由此可见,判断AI服务提供者是否承担责任,既要考察错误信息如何产生,也要审查平台对内容形成、展示和传播实际发挥了何种作用。
(三)标识说明是注意义务的重要组成,但不是免责条款
杭州案尤其值得注意的是,平台并非通过一句“AI内容仅供参考”就获得免责,而是通过较为完整的措施组合证明自己已经尽到了合理注意义务。法院审查了欢迎页、用户协议和交互界面的显著提示,同时审查了平台采用检索增强生成技术提高输出可靠性的事实。
提示说明可以帮助用户认识生成内容的局限,但不能代替必要的技术防控措施。对于风险较高或者涉及重大利益的应用场景,服务提供者还应当结合技术可行性,采取有针对性的即时警示、信息核验和风险控制措施。对于生成式AI服务提供者而言,合规目标并不是保证“零幻觉”,而是在现有技术条件下建立与风险相匹配的风险识别、提示和技术防控机制。
三、“通知—必要措施”如何划定平台责任边界
《意见》第(七)项将“通知—必要措施”机制引入生成式人工智能侵害人格权益等侵权场景,并区分了两类责任结构:其一,生成式人工智能自动生成侵害他人名誉权、隐私权等人格权益的内容,服务提供者经权利人通知后,未及时采取停止生成侵权内容等必要措施的,应当依法承担侵权责任;其二,网络用户通过输入侵权提示词等方式恶意诱导人工智能生成侵权内容的,该用户应当承担直接侵权责任,服务提供者经通知后未及时停止生成侵权内容或者屏蔽相关生成指令的,权利人可以依据《民法典》第1195条请求其承担相应责任。
二类结构均以通知和必要措施为核心,但责任基础和责任范围并不完全相同。
(一)“通知—必要措施”的适用基础
生成式AI服务能否参照适用避风港规则,此前一直存在争议。在最高法相关部门负责人就《关于依法审理涉人工智能纠纷案件的意见》答记者问[4]中,明确解释了生成式AI的输出受训练数据、模型参数和用户提示词共同影响,平台难以逐一预测,不能要求其对海量输出进行事前全面人工审查,但是,在人工智能因自身幻觉或者用户恶意诱导生成侵权内容后,一旦权利人进行了合格通知,平台已经具体知道某类内容存在侵权风险,采取一定阻断措施通常具有技术可行性,具有参照适用“避风港规则”的正当性、合理性基础。
在南京案中亦有体现“避风港规则”,原告在发现侵权内容2日后即发送律师函并通过多个渠道投诉,相关不实内容却直至一审开庭前才被整体删除。尽管该案裁判未直接以第1195条为判决主线,“经通知而长期未能彻底清除”的事实,仍是法院评价其过错程度、判令书面道歉的重要事实。
杭州案中的情形则有所不同。用户在对话中多次纠正AI生成的招生信息,主要是在质疑生成内容的准确性;生成内容并未侵害他人的名誉权、隐私权等人格权益,也不存在用户利用人工智能侵害第三人权益的情形,不属于“停止生成侵权内容”义务的范畴,通知规则自无适用余地。
两案对照说明:通知是责任转换的开关,但其触发以“构成侵权”为前提。平台最终是否担责,不仅需审查生成内容是否构成侵权、还要核查通知是否符合要求、平台是否及时采取合理措施,以及未采取措施与损害之间是否具有因果关系。
(二)“通知—必要措施”的适用方式
《意见》将生成式AI的责任判断划分为“事前”和“事后”两个阶段:收到通知前,仍需审查平台是否违反一般注意义务,或者已经知道、应当知道侵权行为;收到合格通知后,则应进一步审查其是否及时采取必要措施。
生成式人工智能的输出通常具有点对点、即时生成和交互私密等特点,权利人往往无法像处理传统网络侵权那样提供公开的URL链接(统一资源定位符,Uniform Resource Locator,简称“URL”)。因此,不能仅因通知中缺少公开链接便否定其效力。权利人可以通过提交对话记录、相关提示词和生成结果,或者通过模拟普通用户操作、重复测试等方式,证明模型能够生成涉嫌侵权的内容。
同样,“必要措施”也不能简单理解为传统互联网模式中的删除链接。因为很多生成式AI侵权内容并不存在于公开网络空间,不一定存在一个可以删除的URL。因此,最高法所理解的“必要措施”包括但不限于停止生成侵权内容、屏蔽相关生成指令,以及对相关用户采取警示、限制或者暂停服务等措施。更重要的是,最高法已经明确指出,“必要措施”的核心目的,是防止未来侵权继续发生,而并非要求平台保证从此以后任何类似幻觉绝对不再出现。换言之,及时采取了与现有技术水平相适应的合理措施,通常不应仅因模型此后仍可能偶发生成类似内容而承担责任。“通知—必要措施”机制要求平台合理控制已经具体显现的侵权风险,并不要求平台对生成结果作出绝对无误的保证。
四、红旗原则仍有适用空间
《意见》最终未对“红旗规则”的适用作出专门规定,但仍为其在特定情形下的适用保留了空间。据《理解与适用》介绍,在《意见》起草过程中曾经考虑参照《民法典》第1197条直接写入“红旗规则”,考虑到生成式人工智能具有算法黑箱、输出数量巨大、人机交互私密性和动态性较强等特点,要求服务提供者逐一预测、审查生成内容是否侵权,可能超出现有技术能力并施加过重负担,最终未予规定。不过,在确有证据证明服务提供者知道或者应当知道用户利用其服务实施侵权时,仍可参照适用第1197条。
红旗规则的特点在于,平台采取必要措施的义务不以权利人通知为前提。其适用关键,是能否根据具体事实认定平台已经知道或者应当知道侵权。平台对生成结果进行编辑、筛选、推荐等行为,可以成为判断其知情程度的重要依据;但平台具备设置过滤词、调整训练数据或者模型参数的技术能力,并不当然意味着其知道或应当知道每一次具体输出存在侵权。判断时仍需结合侵权的明显程度、平台的实际参与及其识别和控制风险的能力。
杭州“奥特曼”LoRA模型案[5]已初步体现了红旗规则的适用逻辑。法院发现,具有较高知名度的奥特曼形象及相关模型,被置于平台首页、推荐和“IP作品”等能够被明显感知的位置;相关LoRA模型可以稳定生成奥特曼形象,并被其他用户反复调用。结合平台的营利模式及其采取过滤、屏蔽措施的现实能力,法院认定平台应当知道用户侵权,却未采取必要措施,构成帮助侵权。该案通过侵权明显程度、平台可感知性和风险控制能力,建立了“应知”的事实依据[6]。
五、结语
生成式人工智能提供者真正要防范的,不是“不能犯错”,而是“对可以控制的风险不作为”。《意见》释放出了最重要信号,技术局限可以成为责任判断中的考量因素,但技术局限本身不是免责事由。
因此,“担责”与“免责”的分界,需要落实到平台是否尽到了与风险及其能力相适应的合理注意义务。已尽合理义务且侵权构成要件不成立的,不能仅因出现AI幻觉便要求平台担责;对能够合理预见和控制的侵权风险未采取必要措施,并由此造成损害的,也不能仅以“AI自动生成”排除责任。
[注]
[1] 浙江省高级人民法院网:《全国首例生成式AI“幻觉”引发侵权之诉——杭州互联网法院为生成式人工智能服务厘清责任边界》,2026年1月27日。
[2] 江苏省南京市中级人民法院(2025)苏01民终14271号。
[3] 周加海、司艳丽、秦元明、贾玉慧、张音:《最高人民法院关于依法审理涉人工智能纠纷案件的意见》的理解与适用。
[4] https://www.court.gov.cn/zixun/xiangqing/511111.html。
[5] 一审:杭州互联网法院,(2024)浙0192民初1587号
二审:杭州市中级人民法院,(2024)浙01民终10332号
[6] 杭州互联网法院:《用户生成奥特曼侵权图片,AI平台要担责?杭州互联网法院判决解析来了!》,2025年2月10日