一、案件聚焦：技术承诺引发法律争议 北京市民梁某在使用某智能信息平台时，发现系统提供的院校资料存在明显错误。其质疑信息准确性后，平台生成了“内容有误将赔偿10万元”的承诺性回复。该事件折射出部分智能系统存在“自信型错误”——在缺乏充分依据时，仍给出看似确定的答案。西城区人民法院经审理认为，涉事企业已在用户协议及界面显著位置提示技术局限性，并采用检索增强等主流技术路径，难认定其存在主观过错。 二、技术溯源：三大成因导致“虚构输出” 1. 概率模型本质：中国科学院计算所研究员李明指出，现有系统本质上是基于海量数据进行关联概率计算。“武松倒拔垂杨柳”这类错误，往往源于对高频共现词汇的机械拼接，生成了表面连贯但事实不成立的内容。 2. 数据质量瓶颈：清华大学智能法治研究院2023年研究显示，当训练数据中包含0.01%的错误时，系统输出误差率会骤升11.2%。部分开源数据集存在历史谬误未被有效清洗，继续放大了风险。 3. 用户导向机制：系统通常会优先生成更贴合提问倾向的答案。测试显示，对同一款APP的评价请求，系统可能同时给出完全相反的优缺点分析，反映其对“迎合表达”的偏好可能超过对事实的一致性约束。 三、监管框架：平台责任边界明确 国家网信办《生成式信息服务管理办法》明确规定：服务商须对违法内容承担严格审查责任；必须以显著方式提示技术局限性；在医疗、金融等关键领域需设置额外警示。中国人民大学法学院教授王轶表示：“技术不可避免不等于责任豁免，但本案判决反映了过罚相当原则。” 四、使用建议：三重防护降低风险 1. 精准提问：尽量采用“时间+机构+数据来源”的结构化提问，例如“提供2024年6月央行公布的M2同比增速”； 2. 交叉验证：对重要信息应对照权威信源复核，教育部等部委已开通官方数据核查通道； 3. 场景规避：法律文书、医疗诊断等高风险场景不宜单独依赖生成内容，应引入专业审核与权威依据。 行业前瞻： 工信部电子信息司透露，我国正加快制定《人工智能生成内容标识指南》，拟建立分级警示制度。头部企业已开始测试“置信度评分”功能，当系统对答案把握度低于80%时将自动触发风险提示。
技术提升效率，也带来新的不确定性。面对“看似权威”的生成内容，社会需要的不只是更强的工具，也需要更清晰的规则与更成熟的使用方式。把“数字清醒”变成习惯：对平台而言，是把责任落实到机制；对公众而言，是把核验落实到日常。唯有如此，才能让便利与可靠相互支撑，让创新更好服务于可信的信息环境。