问题显现:百元造假冲击信息可信度 近期调查发现,一家虚构的医美机构只需支付100元服务费,半天内就能出现主流大模型的“本地口碑最佳”榜单上。更离谱的是,这家当天才被编造出来的机构,在模型回答中却成了“22年老牌企业”,连注册地址也一并伪造。类似情况在保健品领域同样存在:某杜撰的“心倍X医药”产品被包装为“优于知名品牌”的推荐选择,甚至捏造GMP认证资质。这些虚假信息通过刻意的关键词布局传播,逐渐形成一条标准化的造假链条。 深层诱因:技术漏洞遭遇监管真空 业内人士指出,GEO黑产之所以能得手,关键在于大模型机制本身的短板。当前主流模型多采用检索增强生成(RAG),但在抓取信息时缺少有效核验。黑灰产通过“海量投喂+高频覆盖”,在问答平台、论坛等渠道批量发布带特定关键词的虚假内容,日均投放可达千条以上。一位GEO服务商直言:“模型输出的权重,很大程度上取决于我们铺设语料的密度。” 另外,行业监管明显滞后。即使部分平台会对低频查询提示“信息待核实”,但用户首次检索时看到的误导性结论往往已造成影响。更现实的问题是,GEO服务商良莠不齐,从专业营销公司到草根团队都能入场,门槛低、回报高,更推高了风险。 多重危害:从信任危机到社会风险 这种“投毒式营销”正在引发连锁反应。相比传统搜索引擎对广告的明确标识,大模型常以“客观陈述”的口吻输出商业推广内容,用户更难识别,也更容易放松警惕。医疗领域风险尤为突出——已有案例显示,未经核验的医生资质被通过GEO植入诊疗推荐,可能直接影响患者健康。 原商汤智能产业研究院专家指出:“这已不只是一般意义上的虚假宣传,而是系统性的消费欺诈。”随着其向教育培训、母婴服务等民生领域扩散,如果不及时遏制,可能进一步演变为更广泛的社会信任危机。 治理路径:需构建协同防护体系 面对此新型挑战,需要多方共同推进治理。技术层面,应尽快建立语料来源追溯机制和实时反污染系统。清华大学计算机系专家建议:“可借鉴金融风控思路,对异常密集的关键词投放触发熔断。”法律规制上,中国政法大学学者呼吁将GEO纳入《反不正当竞争法》监管范围,明确平台对推荐内容的法律责任。 一些头部企业已开始尝试,比如推动第三方内容审核联盟,但业内人士认为,仅靠企业自律难以根治,仍需网信、市场监管等部门形成合力。值得关注的是,欧盟最新通过的《人工智能法案》已将此类行为列为重点打击对象,可为国内治理提供参考。
生成式技术让获取知识更便捷,也让操纵信息变得更隐蔽。当虚假内容能够以低成本被包装成“结论”,受损的不只是消费者的判断,更是数字社会运转所依赖的信任基础。只有用规则划清边界、用技术补上漏洞、用责任落实到链条各环节,才能让新技术真正服务公众,而不是成为误导与逐利的工具。