Huggingface paper 论文综述 面向初学者的 AI 论文中文详细综述
← 返回列表

论文综述：OvisOCR2 技术报告——用0.8B小模型刷新文档解析榜单

OvisOCR2 Technical Report

原文作者 Shiyin Lu, Yinglun Li, Yu Xia, Yuhui Chen, An-Yang Ji, Jun-Peng Jiang, Qing-Guo Chen, Jianshan Zhao, En Lin, Haijun Li, Cheng Qin, Zhao Xu, Weihua Luo 机构 ATH-MaaS, Alibaba Group 论文发布 2026-07-15 综述日期 2026-07-19 HF 票数 🔺 51
OCR文档解析多模态大模型强化学习知识蒸馏
📄 查看原文 →

一、论文是干什么的？

想象你手里有一沓扫描的合同、论文或者手写笔记，你想把它们变成可以编辑、可以搜索的电子文档——文字要认出来，数学公式要变成能渲染的格式，表格要保持行列对齐，图片配的说明文字也不能丢，而且整篇文章的阅读顺序不能乱（比如报纸的多栏排版，不能把左栏读一半跳到右栏再跳回来）。这个过程叫「文档解析」（Document Parsing），是OCR（光学字符识别）的进阶版本。

传统做法通常是「流水线」式的：先用一个模型检测版面布局（这里是标题、这里是表格、这里是公式），再分别用不同的小模型去识别文字、识别公式、识别表格，最后把结果拼接起来。这就像做菜时把切菜、炒菜、装盘分给三个不同的人来做，每个人只管自己那一步，容易在交接的地方出错（比如切菜的人切错了顺序，炒菜的人不知道）。

OvisOCR2 想做的是「一锅端」：用一个体积很小（0.8B参数，即8亿参数，比现在很多动辄几十上百亿参数的大模型小得多）的多模态模型，直接看一整页文档图片，端到端地吐出一份排好版、包含文字/公式/表格/图注的Markdown文档。论文的核心卖点是：这么小的模型，居然在权威榜单 OmniDocBench v1.6 上考到了 96.58 分的最高分，超过了那些「分工合作」的流水线方案（如 PaddleOCR-VL、MinerU2.5-Pro）以及很多参数量大得多的通用视觉大模型。

二、核心方法与创新

OvisOCR2 的技术路线可以理解成「师傅带徒弟，还要教材编得好」，主要包含两条主线：数据引擎的构建和多阶段训练配方。

1. 双管齐下的数据引擎

模型学得好不好，很大程度取决于喂给它的训练材料质不质。OvisOCR2 设计了两条数据流水线：

  • 「真实文档流水线」：拿别人已经训练好的强大解析模型（PaddleOCR-VL-1.5、MinerU2.5-Pro）去处理海量真实文档，产出结构化标注，再经过严格的类别校验、文本块规范化（处理空内容、合并规则、公式重写）以及人工抽查，把质量不过关的样本过滤掉。这相当于先找两位「老师傅」帮忙打草稿，再请质检员把关。
  • 「合成数据流水线」：专门去挖掘模型不擅长的「疑难杂症」样本（hard sample mining），然后用智能体（agent）自动扩充 HTML 模板的内容与结构多样性，再把 HTML 直接转成 Markdown（保证「标准答案」绝对可信），最后用浏览器（Playwright）把 HTML 渲染成图片，这样能完整保留排版和字体细节。这就像老师专门针对学生不会的题型出模拟题,而且这些模拟题的标准答案是从题目生成规则里直接推出来的,绝对不会出错。

2. 多阶段训练配方：大模型当老师，小模型当学生

OvisOCR2 基础模型选用了通义千问系列的 Qwen3.5，分成两个体量的分支同时训练：一个 0.8B（要交付使用的小模型），一个 4B（专门用来打磨知识、之后再教给小模型）。整个流程分四步：

  • 第一步 监督微调（SFT）：0.8B 模型在数据上练习 2 个完整轮次（epoch），4B 模型只练了 20% 的一个轮次（因为它不是最终交付品，练个大概就行，主要是为后面强化学习打基础）。
  • 第二步 强化学习（RL，只在 4B 分支上做）：用 GRPO（Group Relative Policy Optimization，一种不需要额外训练价值网络、通过组内比较来计算优势的强化学习算法）来进一步打磨 4B 模型。奖励函数是「多科目综合打分」：文字部分按编辑距离（预测文本和标准答案差多少字符）打分，公式部分用 CDM（字符检测匹配）打分，表格部分用 TEDS（树编辑距离相似度，专门衡量表格结构还原程度）打分，最后按标准答案里实际出现的成分类型做加权平均——如果这页只有文字没有表格，就不算表格那一项的分。这就像期末考试按题型给分，而且只考卷子上真正出现的题型。
  • 第三步 在线策略蒸馏（On-Policy Distillation, OPD）：让打磨好的 4B「老师」把知识教给 0.8B「学生」。这里用了一种「学生只关注老师认为最重要的前 k 个候选词」的反向 KL 散度蒸馏方法（top-k reverse KL），并针对文档输出经常很长这个特点做了优化，把原本要处理的张量复杂度从 O(T×V)（T 是序列长度，V 是词表大小）降到了 O(T×k)，大大减少了计算量——相当于老师批改作业时不用把词典里几万个词的可能性都想一遍,只挑最靠谱的几个候选词来纠正学生。
  • 第四步 模型融合（Model Fusion）：把不同训练变体的参数做加权平均，取长补短，进一步提升鲁棒性。

这套「大模型强化学习提炼精华 + 蒸馏给小模型部署」的思路，本质上是想在「效果好」和「部署成本低」之间找到平衡点：训练时可以奢侈一点用大模型精雕细琢，但最终交付给用户使用的是一个跑得快、显存占用小的 0.8B 模型。

三、使用了哪些模型和计算资源？

  • 基础模型：Qwen3.5-0.8B（最终交付的学生模型）和 Qwen3.5-4B（强化学习阶段的教师模型），均为通义千问系列的多模态基础模型。
  • 训练算法：SFT（监督微调）、GRPO 强化学习、On-Policy Distillation（在线策略蒸馏）、模型参数融合。
  • GPU 型号、数量：论文原文未明确列出具体使用的 GPU 型号与数量，暂无相关信息。论文提到多模态强化学习训练中使用了「分层并行（hierarchical parallelism）、基于对象存储的引用传递（object-store-backed reference passing）、面向长回复的公共前缀掩码（common-prefix masking）」等工程优化手段来提升训练效率，但未给出具体硬件配置。
  • 训练时长：0.8B 模型的 SFT 训练了 2 个完整 epoch，4B 模型的 SFT 训练了约 20% 的一个 epoch；论文未披露具体训练所需的墙钟时间（小时/天数），暂无相关信息。
  • 序列长度与分辨率：训练时最大序列长度为 16K token，并采用动态图像分辨率预算策略。
  • 模型开源情况：模型已在 Hugging Face 开源，仓库地址为 ATH-MaaS/OvisOCR2，采用 Apache 2.0 许可证，支持 Transformers、vLLM、SGLang 等推理框架，并提供了 10 个不同量化版本。

四、实验结果

论文在多个基准上做了评测，核心结果如下：

OmniDocBench v1.6（1,651 页真实文档评测集）

指标OvisOCR2 得分
总分 Overall96.58（榜单第一）
文本编辑距离 Text Edit Distance0.025（越低越好）
公式 CDM97.53
表格 TEDS94.76
阅读顺序编辑距离0.111

作为对比，同类流水线方案 PaddleOCR-VL-1.6 得分 96.33，MinerU2.5-Pro 得分 95.75，GLM-OCR 得分 95.22——OvisOCR2 用一个体积小得多的端到端模型，反超了这些依赖多模块流水线的方案，是首个登顶该榜单的端到端模型。

PureDocBench（4,425 张图片，覆盖1,475页）

  • 综合 Avg3 得分：75.06（榜单最高）
  • 细分：清晰文档（Clean）赛道 81.55，数字原生文档（Digital）赛道 77.09，真实场景（Real）赛道 66.56

可以看到，越贴近「随手一拍」的真实脏乱场景，模型得分越低,这也是论文自己承认的短板。

内部自建基准（1,000+页）

  • 总分 85.54
  • 手写内容子集：72.28（相对较弱）
  • 复杂表格子集：83.97，但表格漏识别率（missing rate）达 7.96%

总体来看，OvisOCR2 在「干净、规整」的文档上表现非常出色，甚至优于体量大得多的模型；但在手写文字和高度退化（模糊、倾斜、光照不均等）的真实场景图片上，还有明显的提升空间,这一点论文在评测部分也直接承认了。

五、潜在应用与已落地应用

潜在应用场景：

  • 企业文档数字化：合同、报表、扫描件批量转成可编辑、可检索的电子文档
  • 学术文献处理：论文 PDF 转 Markdown，方便二次处理、构建知识库或喂给大模型做检索增强生成（RAG）
  • 财务/表格密集型场景：报销单、财务报表的结构化提取
  • 教育场景：手写作业、试卷的数字化批改辅助（不过目前手写识别仍是模型的相对薄弱环节）
  • 由于模型只有 0.8B 参数，部署成本低，适合对延迟和显存敏感的边缘部署或大规模批量处理场景

已落地/已开源情况：

  • 模型已开源在 Hugging Face：ATH-MaaS/OvisOCR2，Apache 2.0 许可证，据模型页面显示近一个月下载量约 1.37 万次
  • 提供了配套的 Hugging Face Space 在线演示，用户可以直接上传文档图片体验解析效果
  • 支持 Transformers、vLLM、SGLang 等主流推理框架的开箱即用代码示例，并提供了 10 个量化版本方便不同硬件部署

六、网络上的讨论与评价

通过检索发现，OvisOCR2 目前主要的公开讨论集中在其 Hugging Face 模型页面本身（据页面信息显示有若干条社区讨论帖，但具体讨论内容未能通过检索获取到详细文本）。在更广泛的社交媒体（如 X/Twitter、Reddit）和技术博客上，暂未搜索到围绕 OvisOCR2 本篇论文的专门评测文章或深入讨论帖；相关搜索结果多数指向的是 Ovis 系列此前版本（如 Ovis2、Ovis2.5）在 GitHub（AIDC-AI/Ovis）上的社区反馈，例如有开发者在 Ollama 的 GitHub Issue 中评价 Ovis2 系列「OCR 能力很强」。针对 OvisOCR2 本身，暂无广泛的第三方评测或讨论内容可供引用,如实说明。该模型在 Hugging Face 上有一定下载量（约 1.37 万次/月），说明有实际使用者，但尚未形成大规模的公开讨论热度。

七、思维导图

mindmap
  root((OvisOCR2：0.8B端到端文档解析模型))
    研究背景与问题
      现有方法的局限
        流水线式方案模块间误差传递
          版面检测错误影响后续识别
          文字/公式/表格分模块独立训练难以联合优化
        通用视觉大模型部署成本高
          参数量大延迟高不适合批量处理
      本文解决的核心挑战
        小参数量下兼顾精度与推理效率
        端到端保持自然阅读顺序
        手写与复杂表格等真实场景鲁棒性不足
    方法与技术贡献
      数据引擎设计
        真实文档流水线
          PaddleOCR-VL-1.5结构化标注
          MinerU2.5-Pro结构化标注
          JSON转Markdown带类别校验
          文本块规范化
            空内容处理
            合并规则
            公式重写
          人工抽查与保守过滤
        合成数据流水线
          hard sample mining挖掘薄弱样本
          agent驱动的HTML模板多样化
          HTML直接转Markdown保证标注可信
          Playwright浏览器渲染保留排版
      多阶段训练配方
        SFT监督微调
          0.8B学生模型训练2个epoch
          4B教师模型训练约20%epoch
          16K最大序列长度
          动态图像分辨率预算
        RL强化学习仅4B分支
          GRPO算法
          多成分奖励设计
            文本1减归一化编辑距离
            公式CDM字符检测匹配
            表格TEDS树编辑距离相似度
          按标准答案实际成分类型加权平均
        OPD在线策略蒸馏
          4B教师向0.8B学生迁移知识
          student top-k reverse KL散度
          support-restricted distillation处理长结构化输出
          张量复杂度由O(TV)降至O(Tk)
        模型融合
          多训练变体参数加权平均
      工程优化
        分层并行hierarchical parallelism
        对象存储引用传递
        长回复公共前缀掩码
    实验设计与结果
      数据集与Baseline
        OmniDocBench v1.6共1651页
        PureDocBench共4425图1475页
        内部自建基准1000余页
        对比PaddleOCR-VL-1.6
        对比MinerU2.5-Pro
        对比GLM-OCR
      主要指标结果
        OmniDocBench总分96.58排名第一
          文本编辑距离0.025
          公式CDM97.53
          表格TEDS94.76
          阅读顺序编辑距离0.111
        PureDocBench Avg3最高75.06
          Clean赛道81.55
          Digital赛道77.09
          Real赛道66.56
        内部基准总分85.54
          手写子集72.28偏弱
          复杂表格子集83.97
          表格漏识别率7.96%
      消融实验结论
        SFT加RL加OPD加融合逐阶段提升
        多成分奖励优于单一奖励信号
    理论分析与洞察
      为什么有效
        大模型RL提炼高质量策略再蒸馏给小模型
        数据引擎保证真实性与多样性互补
        top-k蒸馏降低计算开销同时保留关键信息
      局限性与边界条件
        真实退化图像鲁棒性不足
        手写识别相对薄弱
        复杂表格漏识别问题仍存在
    影响与展望
      潜在应用场景
        企业文档数字化与检索增强生成前置处理
        学术论文批量结构化
        财务报表表格提取
        教育场景手写作业辅助批改
      未来研究方向
        提升真实退化图像鲁棒性
        进一步压缩模型规模
        扩展多语言与多版式覆盖