全国首例“幻觉”侵权案给人工智能治理贡献了初步司法智慧

最近,北京海淀区法院受理了一起跟AI有关系的案子。何远律师是北京竞天公诚(杭州)律师事务所的合伙人,他也关注到了这个案件。这两个案子都让法律专业人士意识到,生成式AI产生的“幻觉”信息可能会带来法律问题。 之前,梁某在2025年6月的时候使用了一款生成式AI应用来查询高校报考信息。结果这个AI给他提供了错误的信息。梁某指出错误后,AI却坚持说自己的信息准确,并且自动生成了一句“若内容有误将赔偿10万元”的表述。于是梁某就把这个AI运营平台给告上了法院,索赔9999元。杭州互联网法院审理了这个案子,还把它当成全国首例“幻觉”侵权案件来处理。 法院给这次审理定下了三个审查标准。首先就是要确保AI生成的内容不违法和不良信息;其次是给用户充分告知AI技术的局限性和可能出现不准确内容;最后就是让平台尽到合理技术努力来减少“幻觉”。判决中指出,当前平台已经完成了大模型备案和安全评估,并且在界面上明确提示了AI可能出错的特性。但是梁某并没有证据证明自己因为这些错误信息遭受了实际损失或者其他法定损害后果。 因此,法院认为这个平台已经尽到了现阶段必要的管理义务,没有过错,所以不构成侵权。何远律师也指出,在这个阶段对待AI生成内容要保持谨慎理性态度。他打了个比方,现在的AI就像一位博学但有时候会虚构事实的助手。对于关键事实、具体数据、个人名誉还有法律依据等内容,用户有核实义务。如果盲目相信AI产生的内容,也可能给自己带来过失责任。 北京海淀区法院受理的另一个案子是律师因为生成的虚假犯罪信息起诉某公司引起的争议。这个案件表明类似问题已经进入司法视野,而杭州互联网法院判决形成的规则具有重要参考意义。全国首例“幻觉”侵权案给人工智能治理贡献了初步司法智慧。它既不让技术缺陷阻碍创新发展,也不让服务提供者置身事外。 这个案件确定了一个以“过错认定”为核心的动态平衡机制。一方面激励研发者和运营者不断优化技术、履行告知和安全义务;另一方面提醒用户保持警惕,善用而不是盲目相信工具。在这个算法时代,法律依然是维护权益、定分止争的基石。 杭州互联网法院这次审理给生成式AI服务提供者划定了责任边界。虽然生成式人工智能技术在快速融入社会生活时可能会产生不准确甚至虚构信息(“幻觉”),但是只要平台做到了必要的管理义务就不会承担侵权责任。这次判决也提醒人们对待AI生成内容要审慎理性一些。 如果法院对生成式AI服务提供者要求太严格,可能会产生“寒蝉效应”,不利于鼓励创新发展和产业健康发展。因此这次判决也体现了司法裁判在面对新兴技术时持有的审慎包容态度。当前基于概率预测生成内容的大语言模型技术本质决定了“幻觉”在一段时间内仍然存在一定程度。 所以这次判决超越了个案纠纷解决本身所带来的意义在于它为人工智能治理提供了初步司法智慧:既拒绝因技术存在缺陷而“因噎废食”,也不放任服务提供者置身事外,而是建立了一个以“过错认定”为核心的动态平衡机制:激励研发者和运营者不断优化技术、履行告知和安全义务;同时提醒用户保持必要警惕,善用而不是盲目相信工具。在算法浪潮奔涌向前的时代,技术可以日新月异,但是法律始终是维护权益、定分止争的基石:在包容创新与防范风险之间走好钢丝需要立法、司法、行政、行业还有社会公众持续共同努力探索。