DeepSeek-OCR2 开源：首创 “因果流” 视觉推理，刷新 OCR 多模态 SOTA
2026-01-27 21:31
163
2026年1月，DeepSeek开源新一代OCR模型DeepSeek-OCR2，核心创新是引入DeepEncoder V2架构，打破传统模型“左上到右下”的固定扫描逻辑，模仿人类视觉的“因果流（Causal Flow）”语义推理，在保持低视觉Token消耗的同时，综合性能超越Gemini等强模型，论文、代码、模型全量开源，成为多模态OCR领域新标杆。
一、核心创新：从“固定扫描”到“语义推理”的范式转变
传统视觉语言模型（VLM）采用“光栅扫描”，将2D图像强行拍扁为1D序列，忽略语义结构，与人类“按逻辑流动阅读”的习惯相悖。DeepSeek-OCR2的突破在于：
因果流查询机制：模型不再死板按固定顺序处理图像，而是根据内容语义灵活调整阅读顺序（如先标题、再正文、跨分栏跳跃），贴合人类视觉逻辑；
LLM作为视觉编码器：用轻量级Qwen2-0.5B模型替代传统CLIP编码器，赋予视觉编码“语义理解+因果推理”能力，为多模态统一奠定基础。
二、架构详解：DeepEncoder V2的两级因果推理
DeepEncoder V2由“视觉分词器+LLM视觉编码器”组成，通过独特注意力设计实现语义重排：
1.视觉分词器：高效压缩图像Token
沿用SAM-base（80M参数）+卷积层设计，将图像转换为视觉Token，并压缩16倍，最终仅输出256-1120个视觉Token（远少于同类模型的6000+），兼顾效率与精度。
2.LLM视觉编码器：因果注意力驱动语义排序
引入可学习的“查询Token”，与视觉Token协同工作；
注意力掩码设计：视觉Token间采用双向注意力（保持全局感知），查询Token采用因果注意力（仅能访问前置Token）；
两级推理：先通过查询Token对视觉Token进行语义重排，再由LLM解码器做自回归推理，编码阶段即“理顺”信息逻辑，避免解码器冗余计算。
三、性能表现：多维度刷新SOTA，生产环境实用化
1.基准测试碾压同类
在OmniDocBench v1.5（文档阅读权威基准）中，DeepSeek-OCR2以“最少Token+最高得分”登顶：
综合得分91.09%，较前代提升3.73%；
阅读顺序编辑距离0.057（前代0.085），证明复杂版面逻辑处理能力显著增强；
与Gemini-3 Pro对比（均用1120个视觉Token），文档解析编辑距离0.100 vs 0.115，性能更优。
2.生产环境降本增效
在线用户日志图像OCR：重复率从6.25%降至4.17%；
PDF数据生产场景：重复率从3.69%降至2.88%；
核心价值：生成文本更干净准确，大幅降低LLM训练数据清洗成本。
3.多文档类型适配
在PPT、学术论文、书籍、报纸等9类文档中，文本编辑距离、阅读顺序编辑距离均低于前代，适配复杂版面（如彩色试卷、杂志分栏）的能力更强。
四、开源资源：全链路开放，快速上手
授权协议：Apache-2.0，支持商业与非商业场景自由使用。
五、未来方向：迈向原生多模态统一
DeepSeek-OCR2的核心意义不仅是OCR升级，更验证了“LLM作为通用视觉编码器”的可行性。未来将通过“多模态查询嵌入”扩展能力，让同一编码器处理文本、图像、音频等多种模态数据，实现“万物皆可Token+因果推理”的通用多模态智能。
0
好文章，需要你的鼓励