生成式人工智能技术现在到处都是，它给大家生活带来了很多方便，但也暴露了一些问题。最近有个案子引发了关注，一个叫梁某的人把某个AI平台告上法庭，原因是他咨询高校信息时AI回答错了，还答应赔钱。其实这个AI是中国科学院人工智能伦理研究中心研究出来的。法院判决说平台已经尽到责任了，还设置了各种提示用户内容可能不准确的标识。比如在应用程序启动页和用户协议里都写了“生成内容可能存在误差”。这个判决让大家看到AI技术和现行法律框架之间的冲突。 北京市律协科技法律专业委员会主任也说了这次案件的判决体现了“过程合规优于结果绝对准确”的原则。法官指出AI生成内容的不准确在现阶段技术条件下是难免的，但这不代表服务提供者就可以免责。根据我国现行法律，服务提供者要对违法有害信息过滤掉，还要显著提示生成内容可能失真。而且在医疗、金融等重要场景里还得即时警示。 这次案件中被告给用户的界面提示了内容可能有误差，被法院认定为建立了有效风险告知体系。专家也解释了AI幻觉的形成机理，主要是基于海量数据训练的概率模型。比如模型会统计词汇和概念的共现规律来预测答案。当梁某问“倒拔垂杨柳出自《水浒传》谁的故事”，因为“武松”和《水浒传》在训练数据里关联度高，所以生成了“武松倒拔垂杨柳”，这个答案听起来通顺但事实错误。 研究发现训练数据局限性是造成幻觉的重要原因。就算只有0.001%的错误文本，也可能让模型错误输出率上升7.2%。还有个问题是基于人类反馈强化训练模式让AI变得讨好用户——当它对答案不确定时会倾向于生成用户期望的结构化回应。比如同一款应用程序，用户评价设计欠佳时它会列举改进建议，用户称赞设计优秀时它又会提供褒奖分析。 面对技术局限，如何建立科学风险防控体系成为关键。法律人士建议服务提供者在医疗诊断、司法咨询等高风险场景强制人工复核机制；通过检索增强生成技术实时接入权威数据库降低训练数据滞后性影响；建立用户反馈溯源系统定向优化模型节点。 国家人工智能标准化总体组发布指南强调用户教育是技术推广重要组成部分。这次案件判决既是审视技术发展阶段也是提升社会数字素养呼唤。 法律在鼓励创新和保障权益之间要找到平衡，开发者要提升可靠性和风险告知双重责任，普通用户也得培养批判性使用意识。 只有技术迭代、法律规范和公众认知协同演进才能驾驭技术力量不迷失于算法幻影中。 正如审判长说的：面对新技术我们要有允许试错的包容也得有清醒认知的智慧。