Baidu a récemment ouvert un nouveau projet de modèle OCR à grande échelle Illimité-Ocr。Ce projet est positionné comme «Analyse à long horizon unique (one-shot long horizon parsing)L'objectif est de surmonter les goulots d'étranglement de performance de l'OCR traditionnel dans le traitement de documents longs, permettant aux modèles de comprendre des dizaines de pages ou même plus de documents en continu comme une lecture humaine. Les codes de projet, les poids du modèle et les rapports techniques ont été rendus publics.

Adresse du projet :GitHub - baidu / Unlimited-OCR

---

I. Limites de l'OCR traditionnel : le traitement de documents longs a toujours été un problème difficile

La technologie OCR (Optical Character Recognition, reconnaissance optique de caractères) a été largement utilisée pour :

• Documents PDF numérisés
• Gestion des archives d'entreprise
• Identification des factures et des contrats
• Analyse de thèse
• Extraction de table
• Base de connaissances intelligente Construction

Mais les systèmes OCR traditionnels utilisent généralementPage de traitement» Méthode :

1. Diviser le PDF en images d'une seule page ;
2. détection de texte pour chaque page ;
3. identifier le contenu du texte ;
4. Les résultats sont ensuite épissés manuellement ou programmatiquement.

Cette façon de faire face à des dizaines de pages, des centaines de pages de documents, il y aura des problèmes évidents :

• Perte de contexte entre les pages ;
• La structure de la table est facilement détruite ;
• la vitesse de génération de texte long diminue ;
• L'occupation de la mémoire visuelle augmente avec la longueur de la sortie.

Surtout dans le système OCR basé sur le grand modèle de langage (LLM), le cache KV (cache de valeur clé) augmente avec la longueur du texte généré, ce qui entraîne une réduction de la vitesse de raisonnement et une augmentation de la pression de mémoire. Unlimited-OCR propose précisément une nouvelle solution à ce problème.

---

Qu 'est-ce qu' unlimited-OCR ?

Unlimited-OCR est un système OCR de bout en bout basé sur le modèle de langage visuel.

Il ne s'agit pas simplement de « reconnaître le texte dans l'image », mais de réaliser :

Importer le document entier → Comprendre le modèle une fois → Sortie du contenu structuré complet

Par rapport à l'OCR traditionnel, il est plus proche de la « compréhension de la lecture ».

Il soutient :

• Image OCR
• Analyse de document multi-pages
• Traitement de documents PDF
• Tableau Compréhension
• Analyse du document Layout
• Génération continue de long texte

Officiellement, il est défini comme :

Bienvenue à l'ère de l'analyse à long horizon à un seul coup.

C'est l'arrivée de « l'ère de l'analyse à long terme ».

---

Référence Sliding Window Attention (R-SWA)

La plus grande innovation technologique d'Unlimited-OCR est l'introduction d'un nouveau mécanisme d'attention :

Référence Sliding Window Attention (R-SWA)

Transformers traditionnels lors de la génération de texte en croissance :

输入内容
 ↓
生成第1个Token
 ↓
生成第2个Token
 ↓
……
 ↓
生成第N个Token

Chaque fois qu ' un nouveau Token est généré, vous devez suivre tous les Tokens précédents.

Au fur et à mesure que le texte grandit :

• Le KV Cache devient de plus en plus grand ;
• Le raisonnement devient de plus en plus lent ;
• La consommation de mémoire visuelle continue d'augmenter.

Le R-SWA de Unlimited-OCR est optimisé :

• Conserver les entrées visuelles comme référence à long terme ;
• l'attention de la fenêtre coulissante est accordée au texte déjà généré ;
• Contrôler la longueur de KV Cache pour rester stable.

Une compréhension simple :

Modèle traditionnel :

« Chaque phrase que vous écrivez, vous vous souvenez de l'article entier. »

Unlimited-OCR :

« Conservez les mémoires visuelles clés et concentrez-vous uniquement sur le contexte actuel. »

Cette conception permet au modèle de traiter des documents plus longs sans diminuer significativement l'efficacité avec la longueur de la sortie.

---

IV. Échelle et caractéristiques de performance du modèle

L'échelle des paramètres du modèle Unlimited-OCR est d'environ 3 milliards d'arguments (3B)Un modèle de langage visuel est utilisé. Les fichiers modèles sont publiés sous forme open source et sous licence MIT pour faciliter la recherche et les applications commerciales.

Ses caractéristiques principales comprennent :

1. Analyse d'un document très long

Unlimited-Capacités de base de OCR :

• Traiter des dizaines de pages de documents avec un Forward Pass ;
• éviter le processus de pagination OCR traditionnel ;
• Gardez les contextes de documents longs cohérents.

Le rapport technique indique que cette méthode est capable d'analyser des dizaines de pages de documents dans des limites de longueur standard, tout en maintenant un cache KV stable. (arXiv)

---

2. Une meilleure compréhension de la structure des documents

OCR ordinaire :

图片
 ↓
文字

Unlimited-OCR :

图片
 ↓
文字 + 布局 + 表格 + 语义关系
 ↓
结构化输出

Par exemple :

Input :

年度财务报告 PDF

La sortie peut être comprise :

• Titre hiérarchie
• Relation de table
• Structure du paragraphe
• Association de page

Ceci est très important pour la base de connaissances d'entreprise, le système RAG.

---

3. Open Source Eco-support

Unlimited-OCR prend en charge plusieurs modes de fonctionnement :

• Transformateurs de visage
• Raison vLLM
• Déploiement du service SGLang
• Plate-forme de modélisation ModelScope

Le README officiel fournit des méthodes de chargement basées sur Transformers, telles que :

from transformers import pipeline

pipe = pipeline(
    "image-text-to-text",
    model="baidu/Unlimited-OCR",
    trust_remote_code=True
)

(Hugging face)

---

Comparaison entre Unlimited-OCR et OCR traditionnel

Projet	OCR traditionnel	Illimité-Ocr
Mode d'entrée	Image d'une seule page	Documents longs
Mode de traitement	Page Split	Analyse primaire
Context	Page de niveau	Niveau de document
Tableau Compréhension	Faible	Plus fort
Génération de texte long	Plus long, plus lent.	KV Cache Stable
Route technique	Le pipeline OCR	Modèle de langage visuel
Adapté à Scène	Extraction de texte simple	Compréhension des documents d'entreprise

---

VI. Scénario d'application

1. Construction de la base de connaissances d'entreprise

Les entreprises ont généralement un grand nombre de :

• contrat
• Document institutionnel
• Manuel de produit
• Données techniques

Unlimited-OCR peut vous aider à :

PDF → Markdown → Base de données vectorielle → AI Q & A

Devenir une entrée importante pour le système RAG d'entreprise.

---

2. Analyse du document académique

Les chercheurs doivent lire chaque jour :

• Documents PDF
• Rapport d'expérience
• Table de données

Unlimited-OCR peut réduire :

• Copier manuellement ;
• Tableau de finition ;
• Conversion de documents.

---

3. Finance et profession juridique

Les documents financiers et juridiques sont généralement :

• Plus de pages ;
• format complexe ;
• Les tables sont denses.

L'OCR des documents longs peut être considérablement amélioré :

• Audit des contrats ;
• Analyse des risques ;
• Collecte de données.

---

4. Assistant de bureau intelligent

L'AI du futur bureau peut directement :

Télécharger :

100页项目报告.pdf

Ensuite, on demande :

总结第三季度风险

L'IA peut répondre sur la base d'un document complet, plutôt que de lire une seule page.

---

VII. Expérience d'installation et d'utilisation

Offre officiellement une méthode de raisonnement basée sur Python.

Environnement de base :

• python
• PyTorch
• Les transformateurs
• Environnement GPU NVIDIA

Exemples :

git clone https://github.com/baidu/Unlimited-OCR.git

cd Unlimited-OCR

pip install -r requirements.txt

Le modèle est ensuite chargé :

from transformers import AutoModel

model = AutoModel.from_pretrained(
    "baidu/Unlimited-OCR",
    trust_remote_code=True,
    device_map="auto"
)

L'avenir : l'OCR passe de l'alphabétisation à la compréhension

Objectifs passés de l'OCR :

« Reconnaissez le texte dans l'image. »

Objectifs futurs de l'OCR :

« Comprendre l'information exprimée dans l'ensemble du document. »

Unlimited-OCR représente une tendance :

OCR + grand modèle de langage + compréhension du document

Il est en train de devenir une compétence fondamentale pour la prochaine génération de bureaux intelligents, de gestion des connaissances et d'agents d'IA.

L'OCR traditionnel est le « cerveau du scanner ».

Unlimited-OCR est plus similaire à :

Un expert en IA documentation capable de lire, comprendre et organiser des données.

Avec le développement du modèle de contexte long, l'IA peut devenir une capacité standard pour traiter des dizaines de pages, des centaines de pages et même un ensemble complet de données d'entreprise à l'avenir.

---

Résumé

Baidu Unlimited-OCR résout le goulot d'étranglement de longue date de l'efficacité de l'OCR de documents longs par le mécanisme d'attention R-SWA innovant, réalisant une "résolution à longue distance unique".

Sa valeur importante n'est pas seulement d'améliorer la précision de la reconnaissance de texte, mais de faire avancer l'OCR de :

Outil de reconnaissance de texte → Agent de compréhension de document

Cette transformation.

Pour les domaines des agents d'IA, des bases de connaissances d'entreprise, du bureau intelligent et du traitement automatisé des documents, Unlimited-OCR pourrait devenir un projet open source important au niveau de l'infrastructure à l'avenir.