警惕“信息投毒”侵蚀人工智能生态 专家呼吁筑牢数据安全防火墙

问题——从“信息排名”到“答案操控”——新型污染值得警惕。 近期——一种被称为“生成式引擎优化”(GEO)的业务引发舆论关注。有关调查显示,部分不法商家以较低成本通过技术手段向生成式模型及其关联信息源定向注入虚假广告内容,进而在模型生成的“建议”“清单”“结论”中夹带营销信息,诱导普通用户购买来路不明甚至假冒伪劣商品。与传统网络营销更侧重提升曝光不同,这类行为更隐蔽地嵌入“答案生成”环节,使商业操纵更难被识别。 原因——结构性“信任漏洞”叠加灰产逐利,攻防将长期存在。 回顾互联网发展史,从搜索引擎时代的“搜索引擎优化”(SEO),到适配大模型检索与生成的新策略,本质上都是围绕信息分发规则展开的竞争。GEO的初衷在于帮助内容更易被系统理解与检索,但在利益驱动下,部分灰产将其异化为“污染入口”。 从技术机理看,生成式系统往往依据引用来源、结构化表达、统计相关性等信号来判断可信度,这类机制在面对海量内容时具有现实效率,却也可能被“批量生产”“矩阵式发布”的虚假信息钻空子。一旦某类虚假内容在多个渠道反复出现,模型在检索与归纳时就可能将其误识为“共识”。有研究提示,即便训练数据中虚假文本占比极低,也可能显著推高有害输出概率,反映出数据污染的杠杆效应。 影响——侵蚀消费安全与内容生态,放大社会运行成本。 其一,直接损害用户权益。生成式应用往往以“客观总结”“中立推荐”的形态呈现结果,用户不易像识别传统广告那样保持警惕,误导性建议更可能被当作可靠参考,进而引发消费纠纷、健康风险等问题。 其二,破坏互联网内容生态。如果污染内容被反复抓取、训练、再生成,可能形成“回音壁式再生产”,使劣质信息在循环中不断扩散,挤压优质内容空间,削弱公共知识库的可信度。 其三,增加治理与行业合规成本。平台需要投入更多资源用于数据清洗、来源核验与风险拦截;企业需承担更高的合规与安全投入;社会层面则面临信息失真带来的决策偏差与信任损耗。 对策——技术自律与法治监管并重,形成全链条治理闭环。 业内普遍认为,应坚持源头治理与过程治理相结合,推动形成“技术防线+制度约束+社会共治”的综合体系。 一是压实企业主体责任。模型与平台运营方应完善数据采集与引用机制,强化来源可追溯、证据链可核验的技术能力,提升对批量投喂、异常分发、内容农场等行为的识别与拦截水平;同时优化风险提示与纠错通道,对可能涉及商业推广的内容加强标识,降低用户被误导概率。 二是加快规则供给与执法协同。面对新型污染手段,亟需在相关领域继续明确边界与责任,将“故意污染模型数据、操纵生成结果牟利”等行为纳入治理视野,提高违法成本;对组织化、产业化灰产链条强化打击力度,推动跨平台、跨区域的线索共享与联合惩戒。 三是推动行业标准与第三方评估。可探索建立面向生成内容的透明度要求与评测机制,完善可信来源目录、引用规范、内容水印与溯源等配套工具,为公众识别与监管取证提供支撑。 四是提升公众信息素养。生成式应用便捷高效,但不应成为“替代思考”的捷径。对涉及医疗、金融、消费等敏感场景,用户更需保持核验习惯,交叉比对权威渠道信息,避免被“看似中立的总结”带偏。 前景——以治理促发展,让技术红利建立在可信基础之上。 从发展趋势看,生成式技术正在加速融入搜索、办公、教育与生活服务,成为新的信息入口。,围绕模型“可被影响性”的攻防也将常态化、长期化。只有将数据真实性、内容透明度与责任体系前置,建立可持续的风险管理框架,才能在保障创新活力的同时守住公共利益底线,避免“污染—再生产—再扩散”的负向循环固化为行业痼疾。

在信息时代,可信度与判断力同样重要。面对智能回答中可能的误导,既需要制度和技术保障,也需要每个用户保持审慎。唯有如此,新技术才能真正服务社会,而非成为风险源头。