Res sour cen

Baidu Open-Source Unlimited-OCR: Ein neues Zeitalter der "Einmal-Lang - Dokument-Analyse"

Baidu hat vor kurzem ein neues OCR-Modell - Projekt Unlimited veröffentlicht. Das Projekt wurde als „One-Shot Long" positioniert.

23. Juli, 2026190 LesenNeun Minuten Lesen
Artikel Ver zeich nis

Vor kurzem wurde ein neues OCR-Modell entwickelt. Unbegrenzt-OCR。Das Projekt wurde als »One-Shot Long-Horizon Parsing (Einmal-Lang - Horizont-Parsing)Das Ziel ist es, die Leistungsengpässe des traditionellen OCR bei der Verarbeitung langer Dokumente zu durchbrechen und es Modellen zu ermöglichen, Dutzende von Seiten oder sogar längere Dokumente kontinuierlich zu verstehen, wie Menschen lesen. Der Projektcode, die Modellgewichte und der technische Bericht sind bereits verfügbar.

Projektadresse:GitHub - Baidu / Unlimited-OCR

Einschränkungen des traditionellen OCR: Die Verarbeitung langer Dokumente war immer ein Problem

OCR (Optical Character Recognition) - Technologie ist weit verbreitet bei:

  • PDF-Dokument Digitalisierung
  • Unternehmens-Archive - Management
  • Rechnungen und Vertragserkennung
  • Papier analysieren
  • Formular extrahieren
  • Intelligente Wissensbasis aufzubauen

Bei traditionellen OCR-Systemen wird jedochVerarbeitung auf Seitesebene„Methoden:

  1. Teilen Sie PDFs in einzelne Seitenbilder;
  2. Textüberprüfung auf jeder Seite;
  3. Identifizierung des Textes;
  4. Wieder manuell oder verfahrensweise zusammengefasst.

Bei Dutzenden oder Hunderten von Dokumenten gibt es ein offensichtliches Problem:

  • Kontextverlust zwischen den Seiten;
  • die Formstruktur leicht zu zerstören;
  • Verringerung der Geschwindigkeit bei der Erstellung langer Texte;
  • Die Aufbewahrung steigt mit der Ausgabelänge.

Insbesondere in OCR-Systemen, die auf dem Large Language Model (LLM) basieren, wächst der KV-Cache (Schlüssel-Value - Cache) mit zunehmender Länge des generierten Textes, was zu einer Verringerung der Inferenzgeschwindigkeit und einem erhöhten Speicherdruck führt. Unlimited-OCR stellt eine neue Lösung für dieses Problem vor.

Was ist unlimited-ocr?

Unlimited-OCR ist ein End-to - End-OCR - System, das auf dem Vision-Language - Model basiert.

Es ist nicht einfach, "Wörter in Bildern zu erkennen", sondern zu erreichen, dass:

Gesamtes Dokument importieren → Modell einmal verstehen → vollständige strukturierte Inhalte exportieren

Im Vergleich zu herkömmlichen OCR ist es näher an „Leseverständnis".

Sie unterstützt:

  • Bilder von OCR
  • Mehrseitige Dokumenten analysieren
  • PDF-Dokumentenverarbeitung
  • Formular versteht
  • Dokument Layout Analyse
  • Lange Texte werden kontinuierlich erzeugt

Offiziell definiert sie als:

Willkommen in der Ära des One-Shot - Long-Horizon - Parsing.

Das heißt, das Zeitalter der „Einmal-Lang - Analyse".

Reference Sliding Window Attention (R-SWA)

Die größte technische Innovation von Unlimited-OCR ist die Vorstellung eines neuen Aufmerksamkeitsmechanismus:

Sliding Window Attention (R-SWA)

Der traditionelle Transformer erzeugt beim Erstellen von wachsendem Text:

输入内容
 ↓
生成第1个Token
 ↓
生成第2个Token
 ↓
……
 ↓
生成第N个Token

Jedes neue Token muss auf alle vorherigen Token konzentriert werden.

Wenn der Text wächst:

  • Der KV-Cache wird größer
  • Die Geschwindigkeit der Argumentation wird langsamer;
  • Der Konsum steigt kontinuierlich an.

R-SWA von Unlimited-OCR wurde optimiert:

  • visuelle Eingabe als langfristige Referenz aufbewahren;
  • Schiebefenster für den bereits erzeugten Text;
  • Die KV-Cache - Länge wird stabil gehalten.

Einfach verstanden:

Traditionelles Modell:

"Jedes Mal, wenn ich einen Satz schreibe, erinnere ich mich an den ganzen Artikel."

Unlimited-OCR:

„Bewahren Sie die wichtigsten visuellen Erinnerungen und konzentrieren Sie sich nur auf den aktuellen Kontext."

Dieses Design ermöglicht es dem Modell, längere Dokumente zu verarbeiten, ohne die Effizienz mit der Ausgabelänge signifikant zu verringern.

4. Modellgröße und Leistungsmerkmale

Unlimited-OCR - Modellparameter Größe beträgt ungefähr 3 Milliarden Parameter (3B)Das Modell der visuellen Sprache. Die Modelldateien werden als Open-Source - Format und unter der MIT-Lizenz veröffentlicht, um sowohl Forschung als auch kommerzielle Anwendungen zu ermöglichen.

Seine Hauptmerkmale umfassen:

1. Lange Dokumente einmal analysieren

Die Kernkompetenzen von Unlimited-OCR:

  • Verarbeitung von Dutzenden Seiten mit einem Forward Pass;
  • Vermeiden Sie traditionelle OCR Paging-Prozesse;
  • Halten Sie den Kontext von langen Dokumenten einheitlich.

Der technische Bericht zeigt, dass die Methode Dutzende Seiten von Dokumenten unter standardmäßigen Längenbeschränkungen analysieren kann und gleichzeitig einen stabilen KV-Cache beibehalten kann. (arXiv)

2. Verbessertes Verständnis von Dokumentstrukturen

Normaler OCR:

图片
 ↓
文字

Unlimited-OCR:

图片
 ↓
文字 + 布局 + 表格 + 语义关系
 ↓
结构化输出

Zum Beispiel,

Import:

年度财务报告 PDF

Der Export kann verstanden werden:

  • Titelstufe
  • Formularbeziehung
  • Paragraphenstruktur
  • Seitenverbindung

Dies ist sehr wichtig für die Knowledge Base des Unternehmens, RAG-Systems.

3. Open Source Ökologische Unterstützung

Unlimited-OCR unterstützt bereits mehrere Betriebsmodelle:

  • Umarmung Face Transformers
  • VLLM Argumentation
  • Bereitstellung von SGLang-Services
  • Die ModelScope Modellplattform

Das offizielle README bietet Transformers-basierte Lademethoden, wie zum Beispiel:

from transformers import pipeline

pipe = pipeline(
    "image-text-to-text",
    model="baidu/Unlimited-OCR",
    trust_remote_code=True
)

(Hugging Face)

V. Unlimited-OCR im Vergleich zu traditionellem OCR

Projekte Traditionelle OCR Unbegrenzt-OCR
Importmethode Einseitiges Bild Langes Dokument
Behandlungsmethoden Seiten aufgeteilt Eine Analyse.
Der Kontext Seite Ebene Dokumentationsebene
Formular versteht schwächere stärker.
Lange Texte erzeugen Je länger desto langsamer KV Cache stabil
Technische Wege OCR-Pipeline Modell visueller Sprache
geeignet für die Szene Einfache Text-Extraktion Unternehmensklasse-Dokumenten verstehen

VI. Anwendungsszenarien

1. Aufbau der Unternehmenswissenbank

Unternehmen haben in der Regel eine große Anzahl von:

  • Verträge
  • Systeme Dokumente
  • Produkthandbuch
  • Technische Daten

Unlimited-OCR kann helfen:

PDF → Markdown → Vektordatenbank → KI-Fragen und Antworten

Es ist ein wichtiger Eingang zum RAG-System für Unternehmen.

2. Akademische Papiere analysiert

Die Wissenschaftler müssen täglich lesen:

  • Papier PDF
  • Experimentelle Berichte
  • Daten-Form

Unlimited-OCR reduziert:

  • manuelle Kopierung;
  • Formular zu ordnen;
  • Umwandlung von Dokumenten.

3. Finanz - und Rechtswirtschaft

Finanzielle und rechtliche Dokumente sind in der Regel:

  • viele Seiten;
  • kompliziertes Format;
  • Die Formulierungen sind intensiv.

Lange Dokumente können OCR deutlich verbessert werden:

  • Vertragsabschlussprüfung;
  • Risikoanalysen;
  • Fallinformationen zu organisieren.

4. Intelligenter Büroassistent

Die Zukunft kann direkt:

Upload:

100页项目报告.pdf

Dann fragt er:

总结第三季度风险

Die KI kann auf der Grundlage des gesamten Dokuments antworten, anstatt nur eine Seite zu lesen.

VII. Installation und Benutzererfahrung

Offiziell bietet eine Python-basierte Argumentation an.

Grundlagenumfeld:

  • Python
  • PyTorch
  • Transformatoren
  • NVIDIA GPU-Umgebung

Beispiel:

git clone https://github.com/baidu/Unlimited-OCR.git

cd Unlimited-OCR

pip install -r requirements.txt

Dann laden Sie das Modell:

from transformers import AutoModel

model = AutoModel.from_pretrained(
    "baidu/Unlimited-OCR",
    trust_remote_code=True,
    device_map="auto"
)

Zukunftsbedeutung: OCR bewegt sich von „Lispreisfähigkeit" zu „Verstehen"

Die Ziele von OCR in der Vergangenheit:

„Erkennen Sie den Text im Bild."

Zukunftsziele der OCR:

„Verstehen Sie die Informationen, die im gesamten Dokument dargestellt werden."

Unlimited-OCR repräsentiert einen Trend:

OCR + Big Language Models + Dokumentverständnis

Sie werden zu einer grundlegenden Kompetenz für die nächste Generation von intelligenten Büros, Wissensmanagement und KI-Agenten.

Das traditionelle OCR ist das "Hirn des Scanners".

Und Unlimited-OCR ist mehr wie:

Ein KI-Dokumentationsexperte, der Informationen lesen, verstehen und organisieren kann.

Mit der Entwicklung von langen Kontextmodellen wird die künftige Verarbeitung von Dutzenden, Hunderten oder sogar Gesamtsätzen von Unternehmensdaten durch KI zu einer Standardfähigkeit werden.

Zusammenfassung

Baidu Unlimited-OCR löst durch den innovativen R-SWA Aufmerksamkeitsmechanismus die langjährigen Effizienzengpässe in langen Dokumenten OCR und realisiert die "einmalige Langstreckenlösung".

Es hat einen wichtigen Wert, der nicht nur die Genauigkeit der Texterkennung verbessert, sondern auch die OCR von:

Texterkennungswerkzeug → Dokumentverständnis-Agenten

dieser Transformation.

In den Bereichen KI-Agenten, Enterprise-Wissensbanken, Smart-Office und automatisierte Dokumentenverarbeitung könnte Unlimited-OCR ein wichtiges Open-Source - Projekt auf Infrastrukturebene in der Zukunft sein.