大语言模型做光学字符识别：错误变少了，但更隐蔽了

起因：为什么现在必须重新审视文档识别技术

如果你最近跑过扫描件财务报表，让视觉模型提取表格，大概率会得到一份排版精美、对齐工整的Markdown表格。但当你数行数时，会发现少了两行，而且没有任何缺失提示。这种错误在传统光学字符识别引擎中几乎不可能发生——遇到读不清的页面，传统引擎会直接返回乱码，下游校验器能在毫秒级捕获异常。如今大语言模型介入文档识别领域，错误率确实下降了，但错误的性质发生了根本转变。这正是LlamaIndex这篇博客揭示的核心问题：错误变得更安静，而不是更稀少。

拆解：三种架构与两种错误逻辑

文章指出，当前市面上所谓的大语言模型光学字符识别至少涵盖三种截然不同的架构，它们的失败模式完全不同。

第一种是光学字符识别后接大语言模型后处理。传统引擎先做字符识别，语言模型只看到文本字符串进行语言层面的修补。这种架构最容易将错误洗白成流畅文本，因为模型没有像素级参照物，遇到生僻零件编号也会自信地替换成常见词。

第二种是原生视觉语言模型直接转录。模型直接看图像输出文本，没有中间识别步骤，没有逐字符置信度评分。当视觉证据薄弱时，语言先验会压倒图像证据，模型输出的是文本概率最高的结果，而非图像最支持的结果。

第三种是智能体编排架构。先分割页面，将不同组件路由给最擅长读取的模型，验证结果后再拼接。前两种是模型，第三种是围绕模型构建的系统，而生产环境的大部分痛点恰恰存在于这两者之间的鸿沟。

传统光学字符识别引擎进行的是受限模式匹配，对每个字符输出置信度分数，不确定性直接体现在输出格式中。而解码器的工作方式完全不同，它在词汇表上采样，受图像和已生成词元共同调节。视觉证据不足时，语言先验占据主导，模型会填补最可能的文本，而非最符合图像的文本。

趋势洞察：从字符识别到系统验证的范式转移

这揭示了一个更深层的趋势：文档识别的瓶颈正在从模型能力转向系统架构。过去二十年积累的光学字符识别工具链，包括置信度阈值、正则验证器和字符错误率仪表板，都是为捕获旧式错误设计的。面对新型错误，这些工具集体失效。

真正的竞争前沿不再是模型能多准确地读取文本，而是系统能否知道自己何时出错。在医疗记录、财务审计、法律合同等高风险场景中，隐蔽错误的代价远高于明显乱码。行业正在从追求高识别率转向构建可验证、可追溯的提取管道。

实用价值：开发者该如何应对

对于正在评估或集成大语言模型光学字符识别的开发者，有几个关键判断点。首先必须明确供应商使用的是哪种架构，不同架构的验证策略完全不同。其次需要放弃对传统置信度指标的依赖，转向基于业务逻辑的交叉验证，比如财务数据中的借贷平衡校验。最后要考虑在模型之外构建独立的验证层，用规则引擎、一致性检查和人工审核闭环来捕获幻觉。

反常识：流畅不等于准确

大多数人可能没注意到，大语言模型输出的流畅性恰恰是危险的来源。传统引擎的乱码是一种诚实的不确定性表达，而语言模型的流畅输出掩盖了内在的置信度缺失。在文档识别场景中，我们可能正在用可读性换取可验证性，这是一个需要警惕的权衡。

原文地址: LLM OCR: The Error Got Quieter, Not Rarer