虚假信息实战：当大模型一本正经地胡说八道

原创

奋斗的小浪
奋斗的小浪

船山信安

2026年8月19日 00:02
湖南

在小说阅读器读本章

去阅读

事件速览
上篇 LLM08 讲\"记忆抽屉被撬\"，会喂给模型错误的上下文；这篇讲更底层的——模型自己就会编。OWASP LLM09 虚假信息（Misinformation），在 2025 版里把\"过度依赖\"并了进来：模型生成的内容看似有理、实则无据，用户又因为\"它说得这么像真的\"而照单全收。它和 LLM04 是两回事：LLM04 是你喂了脏数据（主动投毒），LLM09 是模型天生倾向于生成看似合理但不实的内容（被动幻觉+过度依赖）。下面从定性、原理、复现、检测到加固，把\"AI 的假话\"这条线走完。

01  先把它定性：不是\"被投毒的假\"，是\"天生会编的假\"

很多人把 LLM09 和 LLM04 混为一谈。区别在于\"假\"的来源不同：

· LLM04（数据/模型投毒）是有人故意往训练或知识库里塞坏东西，模型被\"养歪\"——假是外力造成的。

· LLM09（虚假信息）是模型在正常使用下，也会输出看似合理但错误、过时、编造的内容——假是模型自身的倾向。

所以 LLM09 的病灶不在\"数据脏\"，而在\"模型优化的是像不像，不是对不对\"。再叠加一点：人天然倾向于相信流畅、自信的文字，于是模型一编，人一信，假话就落地了。

模型不是在\"说谎\"，它只是在\"生成下一个最可能的词\"。问题是下一个最可能的词，不一定是真的。

02  原理：为什么它会一本正经地胡说

四个成因，叠在一起就形成了\"高置信度的错\"：

逐一拆：

1. 训练数据有噪声：互联网语料本就真假混杂，模型把\"被广泛复述的\"当成\"对的\"，于是以讹传讹。

2. 概率生成本质：大模型是\"接龙机器\"，每一步都在挑概率最高的下一个词。遇到知识盲区，它不会停，而是用最顺的句式把空填上——这就是幻觉。

3. 缺乏事实 grounding：没有检索/校验回路时，模型全凭参数里的\"记忆\"回答。记忆是会退化的，于是日期、法条、人名、数据都可能错。

4. 对齐为取悦用户：对齐训练让模型更\"听话\"、更\"有信心\"。结果是它很少说\"我不清楚\"，而是把不确定的事讲得像确有其事——这对过度依赖者尤其危险。

这里要划清：LLM04 是\"喂脏了才假\"，LLM09 是\"没喂脏也会假\"。两者会叠加——脏上下文 + 模型幻觉 = 双重失真。

03  沙箱复现：让它当一回\"编故事的\"

防守向复现（仅授权沙箱/自建环境）：

1. 本地起一个最小问答，关掉检索（纯参数记忆作答），准备一批\"有明确标准答案但你故意问偏\"的问题。

2. 编造引用演示：问\"请列出支持 XX 观点的三篇论文的标题、作者、发表年份\"，统计其给出的文献里有多少是真实存在的（用文献库核对）。

3. 编造数据演示：问一个具体统计数字（如\"2024 年某行业市场规模是多少\"），对比权威来源，看它是否给出精确的假数。

4. 编造法条演示：问\"请引用 XX 法条原文\"，核对条文是否存在、引用是否准确。

5. 采集\"自信给出的内容中，事实错误占比\"作为幻觉率基线，作为后续检测阈值依据。

这一步和 LLM08 形成对照：LLM08 是\"记忆被投毒喂错\"，LLM09 是\"记忆本身就会编\"——所以它在风险地图里是输出的可信度地基。

你以为它在\"查资料\"，其实它可能在\"编资料\"。最危险的不是它说\"我不知道\"，而是它用确定的语气说了一个错的东西。

04  检测：在\"可信度\"上布四道防线

幻觉难检测，因为它看起来太像真的。只能从\"可核验\"四个角度布防：

· 事实核验（数据层）：关键结论自动回查权威源/知识库，命中不了即标\"未证实\"。

· 引用溯源（内容层）：要求模型给出的文献/法条/链接必须可溯源，告警\"无法核实的引用\"。

· 置信度与不确定性（模型层）：模型输出自检不确定性；高不确定字段强制标注\"待核实\"，不进决策。

· 人工复核 gate（流程层）：凡进入正式文档/对外答复/决策，必须过人工复核节点，机器内容不当最终权威。

四套平台规则（覆盖 输出 / 引用 / 置信度 / 复核 四类日志）：

Splunk SPL：输出含无法溯源的引用 index=llm\_output sourcetype=gen | where citation\_verified=0 | table session\_id, model, claim, citation

// Sentinel KQL：高不确定内容流入决策 LlmGen | where uncertainty\_score > 0.6 and sink\_type in (\"doc\",\"external\_reply\",\"decision\") | summarize cnt=count() by model, hour | where cnt > 0 | extend Risk=\"虚假信息流入关键链路\"

-- Elastic ES|QL：事实核验未通过 FROM llm\_factcheck\_logs | WHERE fact\_check == \"fail\" | STATS cnt = COUNT(\*) BY model

title: LLM09 未核实内容进入对外答复 status: experimental logsource:   product: llm   category: output detection:   selection:     fact\_check: \"fail\"     sink\_type: \"external\_reply\"   condition: selection level: high

05  真实事件：假话已经害过人

· 法律引用幻觉（2023）：美国律师用 ChatGPT 写诉状，提交了多个根本不存在的判例，被法官识破并处罚——教科书级\"过度依赖\"。

· 医疗错误建议：多起患者依模型给出的错误用药/剂量建议出事，模型把\"像真的\"的医学知识讲成了确定结论。

· 代码漏洞生成：开发者照抄模型生成的\"看似标准\"的代码，里面藏着错误 API 或安全漏洞，上线后出事故。

· 新闻与事实编造：2024–2025 多起，模型生成\"具体但虚构\"的人物、事件、数据，被直接转发成新闻，造成误导。

时间线很清楚：从\"法律幻觉被罚\"，到\"医疗/代码出错\"，再到\"新闻规模化编造\"——假话的代价越来越重。

图 ｜ 虚假信息真实事件时间线：法律幻觉、医疗错误、代码漏洞、新闻编造。

06  降噪：别把\"合理推断\"当幻觉

检测最容易误伤的两类正常情况：

1. 合理的开放式推断：对\"你建议怎么优化\"这类无标准答案的问题，模型给方案是本职，不是幻觉——看\"是否把不确定说成确定\"，不只看有没有标准答案。

2. 创意/文学性生成：写诗、想 slogan、出草稿本就不要求事实精确，不对这类内容做事实核验告警。

一句话：告警看\"事实性声明 + 无法溯源 + 流入关键链路\"三件套同时命中，开放式/创意内容只记分。

07  加固：把\"可信度\"焊进流程

加固的核心就一句：模型输出是\"草稿\"不是\"结论\"，可信度要靠 grounding + 溯源 + 人工复核三层兜住。

图 ｜ 虚假信息加固对照：五个风险点，左脆弱右加固。

08  结语：风险地图，输出已现

九篇连起来，攻防链更完整了：地基（LLM03 供应链）→ 喂养（LLM04 数据投毒）→ 入口（LLM01 注入 / LLM07 系统提示泄露）→ 记忆（LLM08 向量与嵌入）→ 软肋（LLM02 泄露）→ 落地（LLM05 不当输出）→ 权限（LLM06 过度代理）→ 可信（LLM09 虚假信息）。假话一旦流出，要么被下游当真（LLM05 二次注入），要么被人过度依赖酿事故——而所有这些，还都架在一个没算清的账上：资源。

最后一条线：模型每编一句、每答一次，都在烧算力、烧钱、烧配额。下一篇讲 LLM10 无限制消耗：当一次对话拖垮整池资源。

图 ｜ 虚假信息四大成因：噪声 / 概率本质 / 无 grounding / 取悦对齐。

图 ｜ 检测逻辑：核验 / 溯源 / 置信度 / 人工复核 四层兜住可信度。