就在刚刚开云体育(中国)官方网站，DeepSeek 开源了一个 3B 模子 DeepSeek-OCR。诚然 3B 体量不大，但模子想路蜕变的力度确实不小。

大众皆知，现时统共 LLM 处理长文本时齐面对一个绕不开的窘境：猜想复杂度是泛泛级增长的。序列越长，算力烧得越狠。

于是，DeepSeek 团队猜想了一个好观念。既然一张图能包含多数笔墨信息，况兼用的 Token 还少，那不如胜仗把文本转成图像？这即是所谓的「光学压缩」——用视觉模态来给文本信息「瘦身」。

而 OCR 适值自然相宜考据这个想路，因为它自己即是在作念「视觉→文本」的调治，况兼完毕还能量化评估。

论文泄露，DeepSeek-OCR 的压缩率能达到 10 倍，OCR 准确率还能保合手在 97% 以上。

啥道理呢？即是说，正本需要 1000 个文本 Token 才能抒发的内容，当今只用 100 个视觉 Token 就处理了。即使压缩率拉到 20 倍，准确率也还有 60% 傍边，合座完毕尽头能打。

OmniDocBench 基准测试完毕泄露：

只用 100 个视觉 Token，就进步了 GOT-OCR2.0（每页 256 个 Token）的进展

用不到 800 个视觉 Token，干翻了 MinerU2.0（平均每页进步 6000 个 Token）

在骨子分娩中，一块 A100-40G 显卡就能每天生成进步 20 万页的 LLM/VLM 老到数据。20 个节点（160 块 A100）胜仗飙到每天 3300 万页。

DeepSeek-OCR 由两个中枢组件构成：

DeepEncoder（编码器）：厚爱图像特征提真金不怕火和压缩

DeepSeek3B-MoE（解码器）：厚爱从压缩后的视觉 Token 中重建文本

让咱们来要点说说 DeepEncoder 这个引擎。

它的架构很奥妙，通过把 SAM-base（8000 万参数）和 CLIP-large（3 亿参数）串联起来，前者厚爱「窗口堤防力」提真金不怕火视觉特征，后者厚爱「全局堤防力」意会合座信息。

中间还加了个 16 × 卷积压缩器，在插足全局堤防力层之前把 Token 数目大幅砍掉。

例如而言，一张 1024 × 1024 的图像，会被切成 4096 个 patch token。但经过压缩器处理后，插足全局堤防力层的 Token 数目会大幅减少。

这么的克己是，既保证了处理高分裂率输入的能力，又截止住了激活内存的支出。

况兼 DeepEncoder 还支合手多分裂率输入，从 512 × 512 的 Tiny 花样（64 个 Token）到 1280 × 1280 的 Large 花样（400 个 Token），一个模子全处理。

咫尺开源版块支合手的花样包括原目生辨率的 Tiny、Small、Base、Large 四档，还有动态分裂率的 Gundam 花样，生动性拉满。

解码用具的是 DeepSeek-3B-MoE 架构。

别看只消 3B 参数，但承袭了 MoE（夹杂民众）假想—— 64 个民众中激活 6 个，再加 2 个分享民众，骨子激活参数约 5.7 亿。这也让模子既有 30 亿参数模子的抒发能力，又保合手了 5 亿参数模子的推理效力。

解码器的任务即是从压缩后的视觉 Token 中重建出原始文本，这个历程不错通过 OCR 立场的老到被紧凑型说话模子灵验学习。

数据方面，DeepSeek 团队亦然下了血本。

从互联网蚁集了 3000 万页多说话 PDF 数据，涵盖约 100 种说话，其中中英文占 2500 万页。

数据分两类：粗标注胜仗用 fitz 从 PDF 提真金不怕火，主要老到少数说话的识别能力；精标注用 PP-DocLayout、MinerU、GOT-OCR2.0 等模子生成，包含检测与识别交汇的高质料数据。

关于少数说话，团队还搞了个「模子飞轮」机制——先用有跨说话泛化能力的版面分析模子作念检测，再用 fitz 生成的数据老到 GOT-OCR2.0，然后用老到好的模子反过来标注更多数据，月盈则亏最终身成了 60 万条样本。

此外还有 300 万条 Word 文档数据，主要种植公式识别和 HTML 表格证据能力。

场景 OCR 方面，从 LAION 和 Wukong 数据积蓄集图像，用 PaddleOCR 标注，中英文各 1000 万条样本。

DeepSeek-OCR 不仅能识别笔墨，还具备「深度证据」能力，只需一个和洽的教唆词，就能对各式复杂图像进行结构化提真金不怕火：

图表：金融商榷叙述中的图表不错胜仗提真金不怕火为结构化数据

化学结构式：识别并调治为 SMILES 关键

几何图形：对平面几何图形进行复制和结构化证据

自然图像：生成密集描摹（dense captions）

这在 STEM 畛域的哄骗后劲巨大，尤其是化学、物理、数学等需要处理多数标志和图形的场景。

这里就不得不提 DeepSeek 团队建议的一个脑洞翻开的想法——用光学压缩模拟东说念主类的淡忘机制。

东说念主类的追思会随时刻衰败，越久远的事情难忘越暗昧。DeepSeek 团队想，那能不成让 AI 也这么？于是，他们的决策是：

把进步第 k 轮的历史对话内容渲染成图像

初步压缩，杀青约 10 倍的 Token 减少

关于更久远的凹凸文，无间减弱图像尺寸

跟着图像越来越小，内容也越来越暗昧，最终达到「文本淡忘」的完毕

这就很像东说念主类追思的衰败弧线，近期信息保合手高保真度，久远追思自然淡化。

诚然这如故个早期商榷主见，但若是真能杀青，关于处理超长凹凸文将是个巨大松弛——近期凹凸文保合手高分裂率，历史凹凸文占用更少猜想资源，表面上不错支合手「无尽凹凸文」。

简言之，DeepSeek-OCR 名义上是个 OCR 模子，但骨子上是在探索一个更弘大的命题：能否用视觉模态当作 LLM 文本信息处理的高效压缩绪言？

初步谜底是笃定的，7-20 倍的 Token 压缩能力也曾展现出来了。

自然，团队也承认这仅仅个运行。单纯的 OCR 还不及以透澈考据「凹凸文光学压缩」，后续还策划开展数字–光学文本轮流预老到、「大海捞针」式测试，以过火他系统性评估。

不外岂论怎样说，这在 VLM 和 LLM 的进化路上，又多了一条新赛说念。

旧年这个时候，民众还在卷想着怎样让模子「难忘更多」。

本年 DeepSeek 胜仗反其说念行之：不如让模子学会「忘掉一些」？确然，AI 的进化，巧合候不是作念加法，而是作念减法。小而好意思，也能玩出大技俩，DeepSeek-OCR 这个 3B 小模子即是最佳的解释。

GitHub 主页：

http://github.com/deepseek-ai/DeepSeek-OCR

论文：

https://github.com/deepseek-ai/DeepSeek-OCR/blob/main/DeepSeek_OCR_paper.pdf

模子下载：

https://huggingface.co/deepseek-ai/DeepSeek-OCR开云体育(中国)官方网站