Baidu ha abierto recientemente un nuevo proyecto de modelo grande de OCR Ilimitado-OCR。El proyecto está posicionado como "Análisis de largo horizonte de un solo disparo (One-shot Long-Horizon Parsing)El objetivo es romper los cuellos de botella de rendimiento de la OCR tradicional en el procesamiento de documentos largos, permitiendo que los modelos puedan comprender docenas de páginas o incluso más de documentos de forma continua como lo hacen los humanos. El código del proyecto, los pesos del modelo y el informe técnico se han hecho públicos.
Dirección del proyecto:GitHub - Baidu / Unlimited-OCR
I. Limitaciones de la OCR tradicional: el procesamiento de documentos largos siempre ha sido un problema difícil.
La tecnología OCR (Optical Character Recognition, reconocimiento óptico de caracteres) se ha utilizado ampliamente en:
- Documento PDF digitalizado
- Gestión de archivos corporativos
- Identificación de facturas y contratos
- Análisis de tesis
- Tabla de extracción
- Base de conocimiento inteligente
Los sistemas tradicionales de OCR suelen emplearProcesamiento a nivel de página» Modo:
- Dividir el PDF en una sola página de imágenes;
- Detección de texto para cada página;
- reconocer el contenido del texto;
- Los resultados se juntan manualmente o programáticamente.
Esta manera de enfrentar docenas de páginas, cientos de documentos, aparecerá un problema obvio:
- Pérdida de contexto entre las páginas;
- La estructura de la tabla es fácil de romper;
- La velocidad de generación de textos largos disminuye;
- La ocupación de la memoria visual aumenta con la longitud de la salida.
Especialmente en el sistema OCR basado en el modelo de lenguaje grande (LLM), la caché KV (caché de valor clave) crecerá a medida que el texto generado se hace más largo, lo que resulta en una disminución de la velocidad de razonamiento y un aumento de la presión de memoria. Unlimited-OCR propone una nueva solución a este problema.
¿Qué es unlimited-OCR?
Unlimited-OCR es un sistema de OCR de extremo a extremo basado en el modelo de lenguaje visual.
No se trata simplemente de "reconocer el texto en la imagen", sino de lograr:
Introducir todo el documento → Modelo de una sola comprensión → Producir contenido estructurado completo
En comparación con el OCR tradicional, está más cerca de la "comprensión de lectura".
Apoya a:
- Imágenes OCR
- Análisis de documentos multi-páginas
- Procesamiento de documentos PDF
- Tabla de comprensión
- Análisis de documento Layout
- Generación continua de textos largos
Oficialmente lo definen como
Bienvenido a la era del análisis de horizonte largo de un disparo.
Es decir, la llegada de la "era de análisis de larga distancia ".
Atención de ventana deslizante de referencia (R-SWA)
La mayor innovación tecnológica de Unlimited-OCR es la propuesta de un nuevo mecanismo de atención:
Atención a la ventana corredera (R-SWA)
Al generar texto crecido, el transformador tradicional:
输入内容
↓
生成第1个Token
↓
生成第2个Token
↓
……
↓
生成第N个Token
Cada vez que se genera un nuevo Token, es necesario prestar atención a todos los Tokens anteriores.
A medida que el texto crece:
- El KV Cache es cada vez más grande;
- El razonamiento es cada vez más lento.
- El consumo de memoria continua aumentando.
El R-SWA de Unlimited-OCR está optimizado para:
- Conservar la entrada visual como referencia a largo plazo;
- Adoptando una ventana deslizante para el texto que se ha generado;
- La longitud de la caché de KV se controla para mantenerse estable.
Simples de entender:
Modelos tradicionales:
"Cada vez que escribe una frase, recuerda todo el artículo ".
Unlimited-OCR:
"Retener la memoria visual clave y centrarse únicamente en el contexto actual ".
Este diseño permite al modelo procesar documentos más largos sin disminuir significativamente la eficiencia con la longitud de la salida.
Escala del modelo y características de rendimiento
El tamaño de los parámetros del modelo Unlimited-OCR es aproximadamente de 3 mil millones de parámetros (3B)El modelo de lenguaje visual se utiliza. Los archivos del modelo se publican como código abierto y bajo la licencia MIT, facilitando la investigación y las aplicaciones comerciales.
Sus características principales incluyen:
1. Análisis de documentos largos en una vez
Capacidades básicas de Unlimited-OCR:
- Procesar docenas de páginas de documentos con un pase de avance;
- Evite el proceso de procesamiento de paginación OCR tradicional;
- Mantener el contexto de documentos largos consistente.
El informe técnico señala que el método es capaz de analizar docenas de páginas de documentos bajo límites de longitud estándar, manteniendo una caché KV estable. (arXiv)
2. Mejor comprensión de la estructura del documento
OCR común:
图片
↓
文字
Unlimited-OCR:
图片
↓
文字 + 布局 + 表格 + 语义关系
↓
结构化输出
Por ejemplo:
Ingresos:
年度财务报告 PDF
La salida puede entenderse:
- Título jerárquico
- Relación de tabla
- Estructura del párrafo
- Asociación de páginas
Esto es muy importante para la base de conocimiento empresarial, el sistema RAG.
3. Soporte ecológico de código abierto
Unlimited-OCR ya admite varios modos de funcionamiento:
- Transformadores de cara
- Raciocinio de VLLM
- Servicios de despliegue de SGLang
- Plataforma de modelos ModelScope
El README oficial proporciona formas de cargar basadas en Transformers, como:
from transformers import pipeline
pipe = pipeline(
"image-text-to-text",
model="baidu/Unlimited-OCR",
trust_remote_code=True
)
V. Unlimited-OCR vs. OCR tradicional
| Proyectos | El OCR tradicional | Ilimitado-OCR |
|---|---|---|
| Modo de entrada | Imagen de una sola página | Documento largo |
| Modo de manejo | Página dividida | Análisis primario |
| Contexto | Nivel de página | Nivel de documento |
| Tabla de comprensión | más débil | Más fuerte |
| Generación de texto largo | Más largo y más lento | KV Cache estable |
| Ruta técnica | Pipeline de OCR | Modelo de lenguaje visual |
| Escenario adecuado | Extracción de texto simple | Entendimiento de documentos a nivel empresarial |
VI. Escenarios de aplicación
1. Construcción de base de conocimiento empresarial
Las empresas suelen tener una gran cantidad de:
- El contrato
- Documentación institucional
- Manual de producto
- Datos técnicos
Unlimited-OCR puede ayudar con:
PDF → Markdown → Base de datos vectorial → AI FAQ
Se convierte en una entrada importante para el sistema RAG empresarial.
2. Análisis de artículos académicos
Los investigadores deben leer diariamente:
- Documento PDF
- Informe experimental
- Tabla de datos
Unlimited-OCR puede reducir:
- Copiar manualmente;
- Tabla de orden;
- transformación de documentos.
3. Finanzas y profesión legal
Los documentos financieros y legales generalmente:
- Gran número de páginas;
- El formato es complejo;
- Las tablas son densas.
El documento largo OCR puede mejorar significativamente:
- Auditoría del contrato;
- análisis de riesgos;
- Recopilación de datos.
4. Asistente de oficina inteligente
La IA de la oficina del futuro puede:
Subida:
100页项目报告.pdf
Y luego preguntó:
总结第三季度风险
La IA puede responder basándose en un documento completo, en lugar de leer solo una página.
VII. Experiencia de instalación y uso
Ofrece oficialmente una forma de razonamiento basada en Python.
Ambiente básico:
- Python
- El PyTorch
- Los transformadores
- Entorno GPU de NVIDIA
Ejemplo:
git clone https://github.com/baidu/Unlimited-OCR.git
cd Unlimited-OCR
pip install -r requirements.txt
Luego cargue el modelo:
from transformers import AutoModel
model = AutoModel.from_pretrained(
"baidu/Unlimited-OCR",
trust_remote_code=True,
device_map="auto"
)
Significado futuro: OCR está pasando de la "alfabetización " a la" comprensión "
Objetivos del pasado OCR:
"Reconoce el texto en la imagen ".
Objetivos futuros de la OCR:
"Comprender la información expresada en todo el documento ".
Unlimited-OCR es una tendencia:
OCR + modelo de lenguaje grande + comprensión de documentos
Se está convirtiendo en una competencia fundamental para la próxima generación de oficina inteligente, gestión del conocimiento y agentes de IA.
El OCR convencional es el "cerebro del escáner ".
Y Unlimited-OCR es más como:
Un experto en documentación de IA capaz de leer, comprender y organizar materiales.
Con el desarrollo del modelo de contexto largo, la IA puede convertirse en la capacidad estándar para procesar decenas de páginas, cientos de páginas e incluso un conjunto completo de datos empresariales en el futuro.
Resumen
Baidu Unlimited-OCR resuelve el cuello de botella de eficiencia existente durante mucho tiempo en OCR de documentos largos a través del innovador mecanismo de atención R-SWA, logrando la "resolución de largo alcance de una sola vez".
Su importante valor no solo mejora la precisión del reconocimiento de texto, sino que también impulsa la OCR desde:
Herramienta de reconocimiento de texto → Agente de comprensión de documentos
esta transformación.
Unlimited-OCR podría convertirse en un importante proyecto de código abierto a nivel de infraestructura en el futuro para los campos de Agentes de Inteligencia Artificial, Base de Conocimiento Empresarial, Oficina Inteligente y Procesamiento Automatizado de Documentación.