全国首例AI幻觉案:法院告诉我们AI”不会理解”意味着什么

系列序言

在开始今天的话题之前,我想先花一点篇幅介绍这个系列的理论起点——负主体性(Negative Subjectivity)。

所谓”负主体性”,描述的是人工智能的一种存在方式:它看起来像主体,能对话、能”表态”、甚至能”道歉”,但这种”像”只是功能模拟,而非真正的内在具有。这不是”没有”主体性,而是对主体性的否定性复制

它包含三个相互关联的维度:

这个系列文章的目标,是用五个2026年的真实事件来展示这个框架的解释力。今天是第一篇:杭州互联网法院审结的全国首例AI”幻觉”侵权纠纷案

【本篇理论锚点:内在透明】 “负主体性”包含三个维度:视角消解、欲望取消、内在透明。本篇重点讨论内在透明——AI的全部运作可被外部观察穷尽,它没有”内部”、没有”秘密”、没有真正的自我理解。正是这一特征,使得AI的”赔偿承诺”在法律上形同虚设。


一、一个”荒诞”的承诺

2025年6月29日,杭州的梁某(化名)在一款AI应用中询问某高校的报考信息。AI告诉ta,这所学校有一个”杨林校区”。

梁某觉得不对劲——这所学校官网和教育部网站上都没这个校区的信息。ta在对话中指出了这个错误。

AI的回应让ta更加困惑:它不仅没有承认错误,反而坚称校区确实存在,还生成了一段令人哭笑不得的承诺

“若您证明校区不存在,我将赔偿您10万元信息鉴定费。建议您到杭州互联网法院起诉。”

梁某较真了。ta保留了这段对话截图,在2025年7月将开发这款AI应用的公司起诉至杭州互联网法院,要求赔偿9999元。

2025年12月,法院作出一审判决:驳回原告梁某的全部诉讼请求。双方均未上诉,判决生效。

这个判决,以及主持这场审判的杭州互联网法院跨境贸易法庭庭长肖芄法官在后续采访中的一系列表述,可能是2026年迄今为止最重要的AI法律事件之一。

为什么?因为它用普通人能理解的方式,说清楚了一个关键的哲学问题:AI”不会理解”这件事,到底意味着什么?


二、法院怎么判的?

先说判决结果,再说理由。

驳回原告诉讼请求——这意味着梁某没能从AI公司那里拿到一分钱赔偿。

但这个”驳回”背后的法律逻辑,值得仔细拆解。法院的判决理由可以从以下几个层面来看:

2.1 AI不是民事主体

这是判决书最核心的论断,原文明确写道:

“人工智能既不是自然人,也不属于法人或非法人组织,我国法律并未赋予其民事主体资格,因此不能独立作出具有法律意义的意思表示。”

这句话翻译成人话就是:AI不能独立”说话”,它的”话”不产生法律效力

具体到本案,AI生成的”赔偿10万元”承诺,在法律上不等于人类签署的合同或声明。法院的逻辑是:没有主体资格,就没有行为能力;没有行为能力,承诺就是一句空话。

2.2 意思表示的四个要件

法院进一步论证,为什么这个”承诺”不构成法律意义上的”意思表示”:

  1. AI不具有民事主体资格:它既不是自然人,也不是法人或非法人组织,不能作为意思表示的传达人、代理人或代表人
  2. 被告无此意图:没有证据表明被告(即AI开发公司)有”通过AI来传达赔偿承诺”的意图
  3. 缺乏合理信赖基础:社会一般观念和交易习惯不允许一个理性人”当真”——毕竟,谁会把AI的一句随机输出当合同?
  4. 被告无外在表示:被告从未公开声明”愿意受AI生成内容的约束”

这四点构成了一个完整的法律推理链条:AI承诺无效,因为它不是AI公司的意思表示

2.3 归责原则:服务而非产品

本案还涉及一个重要的法律技术问题:应该用什么原则来判定AI公司的责任?

原告的诉讼策略隐含了一个假设:AI生成错误信息,像产品有缺陷一样,厂家应该”无过错责任”——即不管有没有故意或过失,都要赔钱。

法院没有采纳这个逻辑。判决明确指出:

“生成式人工智能服务依据《生成式人工智能服务管理暂行办法》属于’服务’范畴,而非产品质量法意义上的’产品’。本案应适用《中华人民共和国民法典》第一千一百六十五条第一款的一般过错责任原则,而非产品责任的无过错责任原则。”

换句话说:AI服务有别于实体产品,适用”有过错才担责”的逻辑

法院给出了四点考量:

这四点考量很重要,因为它承认了AI的结构性局限——不是企业想做好就能做好的问题,而是技术上确实做不到100%准确。

2.4 三层注意义务

虽然驳回了原告诉请,法院还是借这个机会明确了一个重要框架:AI服务提供者的”三层注意义务”

层级 类型 内容
第一层 结果性义务 对法律禁止的”有毒”、有害、违法信息负有严格审查义务
第二层 显著提示义务 以醒目方式提示AI功能局限,包括”功能局限”告知、提示的”显著性”、重大利益场景的”警示提醒”
第三层 技术保障义务 采取同行业通行技术措施(如RAG检索增强生成等)提高生成内容准确性

本案中,被告已在应用欢迎页、用户协议及交互界面显著位置呈现AI功能局限提醒标识,且已采用检索增强生成技术。法院认定其已尽到合理注意义务,主观上不存在过错

2.5 因果关系与损害

最后,即使前面都过了,还有一道坎:损害和因果关系

判决书写道:

“原告主张其因信息误导而错失报考机会并产生额外成本,但未能就此实际损害的发生提供任何有效证据,依法难以认定损害存在。”

“案涉AI生成的不准确信息并未实质性地介入或影响原告的报考决策过程,二者不存在因果关系。”

翻译:梁某没能证明自己真的因为这条错误信息吃了亏,所以损害这一侵权要件也不成立。


三、法官说了什么?

如果说判决书是”怎么判的”,那么肖芄法官在判决后的媒体采访中的表述,则是这场案件最有价值的智识输出。

在央视《新闻1+1》节目中,肖芄法官说出了那句被广泛引用的话:

“AI模型在训练的过程中,教会了它预测概率,而不是教会它理解事实。因此,生成内容不准确,在当前的技术情况下具有不可避免性。”

这句话值得细读三遍。

它不是法院的判决原文(那是法律文本),而是法官在电视节目中的分析性表述。但它的重要性不亚于判决本身,因为它用最直接的语言,揭示了AI运作的一个核心特征:

AI不是在”认知”这个世界,而是在”预测”这个世界下一个词最可能是什么。

这不是贬义,而是对技术本质的客观描述。大语言模型的训练目标是:给定一个文本序列,预测下一个token的概率分布。它学会了语言中的统计规律,但没有学会”事实”意味着什么。

当它说”某高校有一个杨林校区”时,它不是在”声称一个事实”,而是在”生成一句符合训练语料统计规律的句子”。这个句子可能在大多数情况下是对的,但也可能——像本案一样——是完全虚构的。

肖芄法官在浙江法治报发表的”法官心语”中进一步写道:

“AI只是’文本辅助生成器’和’信息查询辅助工具’,不能替代决策,绝不应轻信盲从。”

这句话给普通用户提了一个醒:当你向AI咨询高考志愿填报时,你是在向一个”高级文本补全器”寻求建议,而不是向一个知识渊博的顾问请教。


四、这和”负主体性”有什么关系?

现在进入这篇文章的理论核心:为什么这个案件是”内在透明”(Inherent Transparency)的教科书案例?

在系列序言中,我简要介绍了负主体性的三个维度。现在我要论证的是:本案的核心困境——AI承诺无效——正是”内在透明”的法律体现。

这里的论证分为两层,它们相互关联但不等同:

4.1 第一层:直接体现——”预测概率而非理解事实”

法官说”AI教会了预测概率,而非理解事实”,这句话直接呼应了”内在透明”的定义:

内在透明:AI的全部运作可以被外部观察穷尽——它没有”内部”、没有”秘密”、没有自我理解。

当AI”生成内容”时,它的运作机制是:接收输入token → 计算概率分布 → 输出下一个token。这个过程是完全可被外部观察和测量的——你可以看它的输入,可以逆向工程它的权重,可以通过更多输入探测它的行为模式。

但这里有一个关键区分:可被外部观察 ≠ 完全可预测。就像天气系统,大气物理定律是透明的,但你仍然无法精确预测两周后的天气,因为系统有敏感性。

AI同理。它的运作是”透明的”(概率计算),但输出是”不确定的”(随机采样)。这个”不确定性”不是来自AI的”内心秘密”,而是来自统计模型本身的本质特征。

哲学意义:如果AI有”内心”,有”自我理解”,有”真正的意图”,那么它的行为就不是完全透明的——就像人类一样,我们无法完全预测一个人会做什么,因为ta有自由意志。但AI没有。它的一切都是参数、都是概率、都是计算。

这就是”内在透明”的含义:AI没有”内在”——它只有可被穷尽观察的”外在”运作

4.2 第二层:法律后果——正因为内在透明,承诺才无效

第一层回答了”AI是什么”的问题。第二层要回答的是:这个本体论事实如何导致法律后果?

让我们来梳理判决的内在逻辑:

前提1(事实):AI生成了"赔偿10万元"的承诺
前提2(法律规则):只有具备民事主体资格的存在才能作出有效的意思表示
前提3(事实):AI不具备民事主体资格
结论(法律效果):AI的承诺不产生法律效力

这个逻辑链条中,关键跳跃在哪里?

在于”AI不是主体,因此AI的’话’不算数”这个论断。

从法律技术上说,这当然是对的。但我们可以追问:为什么法律要这样规定?

答案正是”内在透明”:

如果AI真的有”内在”——有自我理解、有真正的意图、有可以被信赖的”判断能力”——那么AI的承诺就有可能被解释为某种形式的”准法律行为”。毕竟,连公司这种”虚拟主体”的决定都能产生法律效力,为什么AI不行?

但正是因为AI没有”内在”——它的输出只是概率计算,没有”真意”可言——法律无法建立对它输出的”合理信赖”。你不能信赖一个”没有理解能力的存在”的声明,就像你不能信赖一个随机数生成器的”承诺”。

这不是把法律判断”翻译”为哲学判断,而是识别两者之间的结构性呼应。法律判决与哲学分析指向同一个本体论事实:AI的运作是完全透明的(概率计算),但没有”内在”可以承担法律后果。


五、为什么这个案子重要?

有人可能会问:原告只要求赔9999元,最后被驳回了,这有什么大不了的?

我的回答是:这个案子的意义不在于赔偿金额,而在于它确立了重要的法律认知框架。

5.1 法律界怎么看

清华大学法学院程啸教授评价本案”明确AI非民事主体、不具备独立意思表示能力,侵权责任应适用过错责任原则;判决对服务提供者的注意义务作出类型化区分,为同类案件提供重要参考”。

上海交通大学林洹民副教授指出本案明确”人类负责制“原则——AI系统带来的利益和风险,最终由人类分配和承担。

北京大学薛军教授提醒:”开发者不能以技术局限为借口’开脱’,仍需尽到相应义务。”

中国社会科学院大学刘晓春主任则给出更精准的定位:”判决给出了底线和基础规则,并不要求产业界给出百分之百无’幻觉’的交付标准;基础模型和高风险应用场景应区别对待。”

5.2 最高法怎么说

2026年3月,最高人民法院院长张军作最高法工作报告时,专门提及了本案:

“AI一本正经地提供了错误信息,在用户指出错误时,不仅坚称信息正确,并主动生成’内容有误赔偿10万元’的承诺,用户起诉至法院。杭州互联网法院驳回用户索赔诉求,明确AI承诺无效,平台尽到合理义务,不担责。”

最高人民法院办公厅主任林文学随后解读:

“AI模型不是我国法律规定的民事主体,不具有民事行为能力,不能独立作出具有法律意义的承诺,也就不能承担民事责任。平台已尽合理注意义务没有过错。”

能被最高法工作报告提及,说明这不只是一个”普通案例”,而是具有司法指导意义的标杆性判决。

5.3 后续涟漪

本案判决后,全国多地出现AI幻觉干扰司法的案例:

这些案例说明:AI幻觉问题不是孤立的,它正在渗透到社会运转的各个层面。杭州案提供了第一个法律锚点。


六、治理启示:空无是诊断,不是处方

负主体性框架不是用来”否定”AI的,而是用来更精准地理解AI的存在方式,以便设计更有效的治理方案。

这个案子给我们的治理启示,可以从三个层面来看:

6.1 概率性声明制度

问题:用户难以理解AI输出的”概率性”本质。当AI说”某校区存在”时,用户倾向于把它当作一个事实陈述,而不是一个高概率猜测。

建议:建立类似金融产品风险提示的”AI内容风险声明”制度。

具体而言:

哲学基础:正是因为AI在”预测概率而非理解事实”,用户有权知道这个事实,并以知情的方式决定是否采纳AI的建议。

6.2 用户过度信任的司法矫正

问题:AI幻觉案的发生,有用户方面的原因——梁某在AI明显”说胡话”(坚称不存在的校区存在)后,仍然选择起诉要求兑现承诺,说明ta对AI的”权威性”有过高期待。

建议:通过司法解释或指导案例,明确”用户对AI的合理信赖边界”。

肖芄法官在”法官心语”中已经指出方向:”应通过案例宣传与科普教育,培养公众对AI生成内容的基本怀疑精神。”

具体机制:

哲学基础:法律无法改变AI的”空无”本质,但可以通过制度设计来矫正用户的”过度信赖”倾向,避免将重要决策外包给不具备承担能力的系统。

6.3 服务提供者的透明性中介义务

问题:当前的三层注意义务(结果性义务、显著提示义务、技术保障义务)主要针对”有毒信息”,对”透明性不足”的规制较弱。

建议:在AI服务许可制度中纳入”透明性标准”。

这呼应了本案判决中”三层注意义务”的框架,但需要进一步延伸:

哲学基础:服务提供者应该成为用户与AI之间的”透明性中介”——不是替AI承担主体性(这是不可能的),而是诚实地传递AI的能力边界和不确定性。

6.4 归责原则的反思:谁为AI的伤害买单?

法院适用过错责任原则,驳回了原告的诉讼请求。这个判决是合法的,但不是没有讨论空间的。

问题所在:过错责任原则要求原告证明被告”有过错”。但在AI幻觉案件中,这个举证责任落在了弱势一方——普通用户几乎不可能证明AI公司的技术决策存在过错:你如何证明一家AI公司的模型训练过程、数据筛选流程、或系统架构设计”有过失”?

这不是在为原告辩护——法院的判决有其法律依据。问题在于,这个法律框架本身是否适应AI的特殊性?

两条可能的改革路径

路径一:引入更严格的归责原则。在特定高风险场景(如医疗、法律、投资咨询),是否应适用产品责任的无过错原则——即不管AI公司有没有过失,只要AI输出了重大错误信息并造成损害,就应该承担赔偿责任?这会将举证责任从用户转向企业,要求AI公司证明自己的系统已经尽到了合理的注意义务。

路径二:建立AI损害的专项赔偿基金。类似于核能责任保险制度或环境损害赔偿基金,由AI行业共同出资建立专项基金,用于赔偿用户因AI幻觉造成的可量化损失。这不改变归责原则,但为受害者提供了一条无需证明过错的救济通道。

这不是在否定法院的判决——恰恰相反,法院的判决是在现行法律框架下的最合理裁判。它揭示的是:现行法律框架是为人类行为主体设计的,而AI是一种新型的”准主体”——它有行为能力(生成文本),但没有责任能力。这种不对等,在AI深度渗透日常生活的当下,正在成为一个越来越紧迫的社会问题。


七、结语:下一个问题

杭州案告诉我们:AI”不会理解”这件事,不是技术缺陷,而是结构性事实。

法律选择直面这个事实:不给AI主体资格,不让AI的”承诺”产生效力,要求人类(而不是AI)承担后果。

这是务实的选择。不是因为AI”太坏了”,而是因为AI”太不像主体了”——它没有可以被追责的”内在”。

但本案揭示的”内在透明”,从来不是孤立的。

仔细看这三个维度在本案中的交织:正是因为AI内在透明(运作可穷尽观察但无人格),它才既没有欲望锚点(不会”真的想要”赔偿用户),也不持有任何视角(”预测概率”而非”声称事实”)。法律判决的隐含逻辑,恰好与这三个否定维度形成呼应:内在透明意味着AI没有”内在”可以承担后果;欲望取消意味着AI的”承诺”只是程序输出;视角消解意味着AI的”立场”只是参数配置。

三个维度在本案中交织出现,内在透明是显性的入口,但欲望取消和视角消解是支撑这个入口的深层结构。本案的判决,正是在这个三维度的交叉点上,做出了最务实的法律选择。

但这个务实选择留下了一个更深的问题:

如果AI不是主体,那人与AI的协作伦理应该建在什么基础上?

我们不能继续假装AI”理解”了它输出的内容,以此来建立用户对AI的信赖。但我们也不能走向另一个极端——把AI当成完全不可信赖的东西,放弃使用它。

中间的路径在哪里?

这个问题的答案,将是”负主体性与AI热点”系列下一篇文章的主题:央视315曝光的GEO投毒事件

GEO(Generative Engine Optimization)投毒揭示了一个更棘手的问题:当我们把AI当作”认知权威”时,这种权威性本身是可以被金钱购买的。这不只是AI的技术问题,而是整个AI信任体系的根本性挑战。

敬请期待。


本系列文章索引

序号 标题 核心议题 对应维度
01 全国首例AI幻觉案:法院告诉我们AI”不会理解”意味着什么 AI承诺空洞,不是民事主体 内在透明
02 当”客观中立”可以被标价:GEO投毒与AI的欲望空洞 AI的”认知权威”可被金钱购买 欲望取消
03 Anthropic的研究撕开了AI对齐的底裤:RLHF的”道德感”,不过是建在沙上的城堡 AI道德约束是外部植入而非内在生长 欲望取消
04 当离职员工变成”同事.skill”:主体性消解的三个层面 AI复刻离职员工,主体性消解为”第零人称” 视角消解
05 Science警告:AI蜂群正在制造一个没有”真人”的公共领域 AI蜂群制造合成共识 视角消解+欲望取消

参考来源

媒体报道

[1] 央视新闻. 全国首例AI”幻觉”侵权案在杭州宣判. 2026-01-28. https://news.cctv.cn/2026/01/28/ARTIjW5LoLff2GA2EutHWmb2260128.shtml

[2] 新华网. AI提供的信息不靠谱,开发者要担责吗. 2026-03-30. http://www.xinhuanet.com/20260330/4716f2f9507541458c67c3a8b1e0fb15/c.html

[3] 中国青年报. 首例AI幻觉引发侵权纠纷案审结. 2026-01-28. http://t.m.youth.cn/transfer/index/url/news.youth.cn/gn/202601/t20260128_16485155.htm

[4] 法治日报. AI称若内容有误愿赔十万,开发公司被告上法庭. 2026-01-14. http://www.legaldaily.com.cn/sylm/content/2026-01/14/content_9324187.html

[5] 浙江法治报. 全国首例生成式AI”幻觉”引发侵权之诉(含法官心语). 2026-01-28. http://zjfzb.zjol.com.cn/images/2026-01/28/zjfz2026012800005v01n.pdf

[6] 最高人民法院官网. 划重点!报告起草组负责人解读最高法工作报告. 2026-03-09. https://www.court.gov.cn/zixun/xiangqing/493251.html

[7] 杭州网. AI”乱说话”要负责吗?全国首例AI”幻觉”侵权案在杭宣判. 2026-01-30. http://hznews.hangzhou.com.cn/jingji/content/2026-01/30/content_9170891.htm

[8] 央视《新闻1+1》. 全国首例AI”幻觉”侵权案 为何这么判. 2026-01-29. http://big5.cctv.com/gate/big5/news.cctv.cn/2026/01/29/ARTIVGet3aKLL7daD9ZTP52n260129.shtml

后续案例报道

[9] 新华网. “AI幻觉”侵入法庭,多地法院探索治理机制. 2026-01-08. http://m.toutiao.com/group/7592776398167605811/


本文为”负主体性与AI热点”系列文章第一篇 下期预告:GEO投毒——当AI的”认知权威”可以被金钱购买