Baiduは最近新しいOCRモデルプロジェクトをオープンソース化しました。 Unlimited-OCR。このプロジェクトの位置づけはOne-shot Long-horizon Parsing(ワンショット長距離解析)目標は、長い文書処理における従来のOCRのパフォーマンスのボトルネックを打破し、モデルが人間が読むように数十ページ以上の文書を継続的に理解できるようにすることです。プロジェクトコード、モデルウェイト、技術レポートが公開されています。
プロジェクトの住所:GitHub baidu/Unlimited-OCR
従来のOCRの限界:長い文書処理は常に課題でした。
OCR(Optical Character Recognition、光学文字認識)技術は、以下の分野で広く使用されています。
- PDF文書のデジタル化
- エンタープライズアーカイブ管理
- 請求書と契約の識別
- 論文の解析
- テーブル抽出
- 知的知識基盤の構築
従来のOCRシステムは一般的です。ページレベルの処理”の方法:
- PDFを1ページの画像に分割する。
- 各ページのテキスト検出;
- テキストコンテンツの認識;
- 結果を手動または手順で再現する。
数十ページ、数百ページの文書に直面すると、明らかな問題が発生します。
- ページ間のコンテキストの喪失;
- テーブル構造は壊れやすい。
- 長いテキスト生成速度の低下
- メモリ占有率は出力長に応じて増加します。
特に、LLM(Large Language Model)ベースのOCRシステムでは、生成されるテキストが長くなるにつれてKVキャッシュ(キー値キャッシュ)が増大し、推論速度が低下し、メモリの圧力が増大する原因となります。無制限-OCRは、この問題に対する新しいソリューションを提供します。
Unlimited-OCRとは何か?
Unlimited-OCRは、Vision-Language Modelに基づくエンドツーエンドのOCRシステムです。
単に“画像の中のテキストを認識する”のではなく、次のことを実現したいのです。
ドキュメント全体を入力→モデルを一度理解 →完全な構造化コンテンツを出力
従来のOCRよりも“読解力”に近い。
サポートしている。
- OCRの画像
- 複数ページのドキュメント解析
- PDFドキュメントの処理
- 形式の理解
- ドキュメント·レイアウトの解析
- 長いテキスト連続生成
公式には以下のように定義する。
Welcome the Era of One-shot Long-horizon Parsing.
つまり、“一回限りの長期解析の時代”の到来です。
コア技術:リファレンススライディングウィンドウ注意(R-SWA)
Unlimited-OCRの最大の技術革新は、新しい注意メカニズムの提案です。
スライディングウィンドウ注意(R-SWA)
伝統的なトランスフォーマーは成長テキストを生成するとき:
输入内容
↓
生成第1个Token
↓
生成第2个Token
↓
……
↓
生成第N个Token
新しいトークンが生成されるたびに、以前のすべてのトークンに焦点を当てる必要があります。
テキストが成長するにつれて
- KVキャッシュが大きくなる。
- 推論速度の低下;
- メモリ消費量は増加し続けている。
Unlimited-OCR用のR-SWAは最適化されています。
- 視覚入力を長期参照として保持します。
- すでに生成されたテキストにスライドウィンドウを適用します。
- KV Cacheの長さを安定に保つように制御します。
簡単に理解する:
伝統モデル:
“書くたびに、全体の文章を思い出す”。
Unlimited-OCR
“重要な視覚記憶を保持し、現在の文脈だけに焦点を当てる。
この設計により、モデルは出力の長さに伴う効率の大幅な低下なしに長いドキュメントを処理できます。
四、モデルサイズと性能特性
Unlimited-OCRモデルのパラメータサイズは 30億のパラメータ(3 B)視覚言語モデルを使用している。モデルファイルはオープンソースとして公開され、MITライセンスで研究や商用利用が容易である。
主な特徴は:
1.長いファイルを一度解析する
Unlimited-OCRのコア機能:
- Forward Passは数十ページのドキュメントを処理します。
- 従来のOCRページング処理フローを避ける;
- 長いドキュメントのコンテキストを一貫して維持します。
テクニカルレポートによると、この方法では、安定したKVキャッシュを維持しながら、標準的な長さ制限内で数十ページのドキュメントを解析できるという。(arXivさん)
2.文書構造の理解を深める
一般的なOCR:
图片
↓
文字
Unlimited-OCR
图片
↓
文字 + 布局 + 表格 + 语义关系
↓
结构化输出
例えば:
入力:
年度财务报告 PDF
輸出は理解できる。
- タイトルレベル
- テーブルの関係
- 段落の構造
- ページ番号関連付け
これは、エンタープライズナレッジベース、RAGシステムにとって非常に重要です。
3.オープンソースエコサポート
Unlimited-OCRは、さまざまな動作モードをサポートしています。
- Hugging Face Transformersについて
- vLLM推論
- SGLangサービス展開
- ModelScopeモデルプラットフォーム
公式READMEは、以下のようなトランスフォーマーベースのロードを提供します。
from transformers import pipeline
pipe = pipeline(
"image-text-to-text",
model="baidu/Unlimited-OCR",
trust_remote_code=True
)
無制限-OCRと従来のOCRの比較
| プロジェクトプロジェクト | 従来のOCR | Unlimited-OCR |
|---|---|---|
| 入力方法は | 1ページの画像 | 長いファイルです |
| 処理方法は | ページ分割 | 1回の解析 |
| Contextより | ページレベル。 | ドキュメントレベル |
| 形式の理解 | より弱い。 | より強い。 |
| 長いテキストの生成 | 長くてゆっくり。 | KVキャッシュが安定している |
| 技術ルート | OCRパイプライン | 視覚言語モデル |
| シーンに適して | 簡単なテキスト抽出 | エンタープライズ·ドキュメントの理解 |
6.アプリケーションシーン
1.企業知識ベースの構築
企業には通常:
- 契約書は
- システムドキュメント
- 製品マニュアル
- 技術情報は
無制限-OCRができること:
PDF → Markdown →ベクトルデータベース→ AI Q & A
エンタープライズRAGシステムへの重要な入り口となる。
2.学術論文の分析
研究者は毎日読むべき:
- 論文のPDF
- 実験報告書
- データテーブル
無制限-OCRは以下を削減できます。
- 手動でコピーし
- フォームの整理;
- 文学の変遷。
3.金融·法律業界
財務·法的文書通常:
- ページ数が多い。
- 複雑な形式;
- 形式は集中。
長いドキュメントOCRは大幅に改善できます:
- 契約の審査。
- リスク分析;
- ケースの整理。
4.スマートオフィスアシスタント
未来のオフィスAIは直接:
アップロード:
100页项目报告.pdf
そして問いかける。
总结第三季度风险
AIはページを読むのではなく、文書全体に基づいて回答できます。
7.設置と使用経験
Pythonベースの推論方法を提供します。
基本環境:
- Pythonで
- PyTorchより
- トランスフォーマ
- NVIDIA GPU環境
例:
git clone https://github.com/baidu/Unlimited-OCR.git
cd Unlimited-OCR
pip install -r requirements.txt
モデルをロードする:
from transformers import AutoModel
model = AutoModel.from_pretrained(
"baidu/Unlimited-OCR",
trust_remote_code=True,
device_map="auto"
)
次の意味:OCRは“識字”から“理解”へと移行している
OCRの過去の目標:
“絵の中の言葉を認識する”。
OCRの今後の目標:
“文書全体が表現する情報を理解する”。
無制限-OCRはトレンドを表しています。
OCR + 大規模言語モデル+ドキュメント理解
次世代のスマートオフィス、ナレッジマネジメント、AIエージェントの基盤となる機能です。
従来のOCRは“スキャナーの頭脳”です。
Unlimited-OCRは以下のようなものです。
資料を読み、理解し、整理できるAIドキュメントのエキスパート。
長期コンテキストモデルの開発により、AIは数十ページ、数百ページ、さらにはエンタープライズデータ全体を処理することが標準的な機能になるかもしれません。
まとめまとめまとめ
Baidu Unlimited-OCRは、革新的なR-SWAアテンションメカニズムにより、長い文書OCRの長年の効率ボトルネックを解決し、“ワンショット長距離解析”を実現します。
その重要な価値は、テキスト認識の精度を向上させるだけでなく、OCRを促進します。
文字認識ツール→ドキュメント理解エージェント
この変換です。
AIエージェント、エンタープライズナレッジベース、スマートオフィス、自動化されたドキュメント処理の分野では、無制限OCRは将来のインフラストラクチャレベルで重要なオープンソースプロジェクトになる可能性があります。