La grabación de audio y video en reuniones, entrevistas, clases y en el trabajo diario es cada vez más fácil, pero lo que es realmente difícil a menudo no es "grabar ", sino" grabar ".Encuentre información realmente valiosa de una gran cantidad de audio y video。
AudioNotes es una herramienta de audio / video nativa de código abierto con una herramienta de anotaciones inteligentes. Lo que trata de resolver no es solo el problema de "voz a texto", sino de construir una línea deAudio y video → Manuscrito → Notas estructuradas → AI Q & Aflujo de trabajo completo. El código fuente del proyecto está abierto en GitHub, y la característica central es que los datos de los usuarios se mantienen en sus propias computadoras.
¿Qué problemas resuelve AudioNotes?
La forma en que las herramientas de grabación tradicionales funcionan es muy simple: graba y guarda el archivo.
El problema es que, a medida que se vuelven más y más grabaciones, la "preservación " en sí misma se convierte en una nueva carga.
Por ejemplo, al final de una reunión de dos horas, es posible que necesite responder:
- ¿Quién propuso un programa?
- ¿Cuál es la decisión final?
- ¿Quién está a cargo de una tarea?
- ¿Cuál es la fecha límite?
- ¿Cuándo se planteó un punto?
- ¿Cuáles son las conclusiones más importantes de esta reunión?
Sin un manuscrito, buscar esta información a menudo significa escuchar la grabación de nuevo.
La idea de AudioNotes es primero convertir audio y video en texto utilizando el modelo local de reconocimiento de voz, luego organizar el contenido utilizando el modelo local de lenguaje grande, y finalmente formar notas Markdown y permitir a los usuarios continuar haciendo preguntas sobre este contenido. El proyecto README lo posiciona como una herramienta adecuada para escenarios como reuniones, entrevistas, clases, así como memorandos de audio.
Por lo tanto, es más como un "Portal de base de conocimiento audiovisual"Y no sólo un transcriptor de grabación.
Flujo de trabajo completo: del sonido al conocimiento
El proceso de uso de AudioNotes se puede resumir en cuatro etapas.
1. Adquisición de audio y video
Los usuarios pueden cargar archivos de audio o video directamente, o pueden grabar con un navegador.
Esto significa que es adecuado tanto para trabajar con material ya existente como para su uso directo en escenarios como reuniones, entrevistas, etc.
2. Reconocimiento local de voz
AudioNotes es por defecto FunAudioLLM/Fun-ASR-Nano-2512 Reconocimiento de voz.
En comparación con simplemente cargar archivos a un servicio de transcripción en línea, el mayor valor de la identificación local es que el contenido de audio y video puede permanecer en el propio dispositivo del usuario.
Por supuesto, el reconocimiento local no significa que los resultados sean necesariamente perfectos. La calidad de la grabación, el ruido ambiental, el acento y varias personas hablando al mismo tiempo pueden afectar el borrador final, por lo que aún debe escuchar el audio original para confirmar el contrato, la resolución de la reunión y otros contenidos importantes.
3. Automatización de orden
Después de obtener el manuscrito original, AudioNotes utiliza el modelo de lenguaje grande local ejecutado por Ollama para organizar las notas.
Proyecto por defecto qwen3.5:2bEl objetivo es lograr un equilibrio entre la calidad del procesamiento chino y el consumo de recursos bajo las condiciones de recursos de las computadoras ordinarias.
Este paso es muy crítico.
Debido a que una transcripción completa de una reunión puede contener una gran cantidad de expresiones habladas, contenido duplicado e información irrelevante, las notas estructuradas realmente necesitan:
Conclusión, punto de vista, tarea, tiempo, persona y contexto.
Por lo tanto, el valor de AudioNotes no proviene solo de ASR, sino de la combinación de dos enlaces de ASR y LLM.
4. Continuar con preguntas sobre el contenido
Después de que se generan las notas, los usuarios también pueden continuar con la conversación con el contenido de audio y video.
Por ejemplo:
"¿Cuáles son los tres proyectos que se han decidido en esta reunión? "
o:
¿Cuáles son las tareas de los tres? "
Esto permite que el audio y el video de un archivo que requiere ser "leer" manualmente, se convierta en una fuente de información que se puede consultar directamente.
La prioridad local es la característica más importante de AudioNotes.
Los productos de IA de hoy dependen en gran medida de las API en la nube, pero el audio y el video a menudo contienen información muy sensible.
Una reunión interna de la empresa puede contener un plan de negocios; una entrevista con un usuario puede contener información personal; y la grabación de una clase puede involucrar una investigación que aún no se ha hecho pública.
La filosofía de diseño de AudioNotes es precisamente aquí donde se ha hecho una elección distinta.
El proyecto README especifica claramente que el audio y video, el manuscrito, las notas y el historial de conversación se almacenan localmente por defecto; el reconocimiento de voz se realiza localmente a través de FunASR, y el modelo de lenguaje grande se ejecuta localmente a través de Ollama, y el contenido de audio y video no se envía a la interfaz AI de terceros por defecto. Las páginas web también solo permiten el acceso nativo de forma predeterminada.
Desde un punto de vista arquitectónico, es un tipo típico de Localización primero Pensamiento:
Ingreso de datos a la computadora → ASR completado localmente → Procesamiento LLM completado localmente → Resultados guardados localmente.
Esto es particularmente atractivo para escenarios sensibles a la privacidad.
Por supuesto, "ejercer localmente " no es lo mismo que ser absolutamente seguro. Las cuentas, los permisos de disco, las copias de seguridad y el entorno de red de la propia computadora aún deben protegerse. El proyecto también recuerda específicamente a los usuarios que los datos nativos deben usarse y protegerse adecuadamente en computadoras de confianza.
Docker hace que la implementación sea relativamente simple.
Para el usuario promedio, el umbral más grande a menudo no es usar IA, sino instalar IA.
AudioNotes proporciona un enfoque Docker que puede encapsular el entorno de ejecución principal.
Los entornos básicos recomendados oficialmente incluyen Docker Desktop y Ollama, y se recomienda que Docker Desktop asigne un mínimo de 12 GB de memoria; 16 GB se recomienda si se trabaja con videos de sonido más largos, con aproximadamente 10 GB de espacio en disco reservado.
Los procesos básicos son:
ollama pull qwen3.5:2b
mkdir audionotes
cd audionotes
curl -fsSL https://github.com/harry0703/AudioNotes/raw/main/docker-compose.yml -o docker-compose.yml
curl -fsSL https://github.com/harry0703/AudioNotes/raw/main/.env.example -o .env
docker compose up -d --remove-orphans
Acceso local después del arranque 15433 El puerto entra en la interfaz Web. Cuando se realiza el reconocimiento de voz por primera vez, también se necesita descargar un modelo de voz de aproximadamente 2,15 GB; después de que se complete la descarga, el modelo se guardará en la máquina local, no es necesario descargar repetidamente.
Cabe señalar que la configuración de Docker del proyecto no es simplemente poner en marcha un servicio web. Su configuración Compose también incluye configuraciones como persistencia de datos, verificación de salud, reinicio automático, recuperación de procesos y reducción de permisos de contenedores. Por ejemplo, por defecto, el servicio está vinculado sólo a 127.0.0.1y a través cap_drop: ALL y no-new-privileges Reducir el riesgo de mal uso de los contenedores.
Esto significa que el proyecto no solo está "funcional", sino que también tiene en cuenta algunos problemas de seguridad y estabilidad en implementaciones reales.
¿Dónde se almacenan los datos?
Otra cuestión clave con las herramientas de IA local es:¿Dónde diablos van mis datos?
Cuando AudioNotes usa Docker, asigna los datos a los audionotes Carpeta, que incluye archivos cargados, caché de modelos, registros e historial de conversaciones, etc. En el modo de ejecución de código fuente, los datos personales se almacenan principalmente en el proyecto de storage en la carpeta, mientras que el modelo de Ollama es administrado por el propio Ollama.
Esto trae consigo una ventaja muy práctica: la gestión de datos es relativamente intuitiva.
Por ejemplo, el proyecto recomienda:
- Copiar todo el backup
audionotesFolder; - Copiar la carpeta en su totalidad al migrar el equipo;
- Puede eliminar la carpeta después de detener el servicio cuando ya no necesite los datos históricos.
Es decir, los usuarios no tienen que confiar en una plataforma SaaS de terceros para administrar sus notas históricas.
6 ¿Para quién es adecuado?
AudioNotes es el mejor para aquellos queTener una gran cantidad de material de voz o video y desear que el contenido permanezca localizadode la gente.
Acta de la reunión
Este es el escenario de aplicación más inmediato.
Después de la reunión, no es necesario gastar mucho tiempo organizando manualmente la grabación, lo que permite que la IA complete la transcripción inicial y la clasificación estructurada primero y luego confirme manualmente las conclusiones clave.
Entrevista y entrevista
Las entrevistas suelen contener mucho lenguaje natural y largas conversaciones. Después de convertir la grabación en texto, es mucho más fácil encontrar personas, opiniones y respuestas clave.
Currículo y Aprendizaje
Para la grabación de sesiones largas, los manuscritos y las preguntas y respuestas de IA pueden reducir el costo de la escucha.
Por ejemplo, en lugar de volver a escuchar una lección de una hora en busca de un concepto, pregunte directamente:
"¿Qué ejemplos da el profesor de este concepto? "
Memorando personal de voz
La inspiración, las tareas pendientes y las ideas improvisadas se pueden guardar primero a través de una grabación de audio y luego dejar que la IA ayude a organizarlas en palabras más fáciles de leer.
Ventajas y limitaciones de Audio Notes
Si se evalúa desde la perspectiva del producto, las ventajas de AudioNotes son claras.
Primero, la prioridad local.
Esta es la competencia central que lo diferencia de una gran cantidad de herramientas de anotación de IA en la nube. Los audio y video sensibles no tienen que cargarse en un servicio de IA de terceros por defecto.
En segundo lugar, el flujo de trabajo está completo.
No solo aborda el "voz a texto", sino que completa aún más la organización de notas y las preguntas y respuestas de contenido.
Tercero, es de código abierto y auto-desplegado.
Los usuarios pueden ver el código fuente, implementarlo por sí mismos y ajustar el modelo y la configuración según sea necesario.
En cuarto lugar, la gestión de datos es más transparente.
Los archivos cargados, los datos históricos y la caché del modelo tienen una ubicación de almacenamiento local explícita.
Pero también hay umbrales obvios.
En primer lugar, la IA local tiene requisitos para recursos de hardware. El proyecto recomienda explícitamente asignar al menos 12 GB de memoria para Docker, y se recomiendan 16 GB para videos de tono largo.
En segundo lugar, la velocidad y la eficacia del modelo local se ven afectadas por el hardware de la computadora.
De nuevo, aunque el modelo local tiene ventajas de privacidad, no garantiza automáticamente la precisión de la transcripción. Para el contenido importante, la corrección manual aún no puede omitirse.
Por último, la instalación de Docker, Ollama, modelos y el manejo de la caché de modelos todavía tienen ciertos costos de aprendizaje para los usuarios sin antecedentes técnicos.
Lo que es realmente interesante, no es "transcribir".
Si solo consideramos AudioNotes como un "software de conversión de texto ", lo subestimamos.
Lo que realmente vale la pena prestar atención es convertir los archivos de audio y video tradicionales en un portador de contenido que puede ser entendido y consultado por la IA.
El pasado:
Grabación → Archivo → Listenback manual
Y ahora:
Grabación → ASR → Text → AI Resumen → Consultas de conversación
Esto significa que el audio y el video en sí mismos comienzan a convertirse en una especie de "datos interactivos ".
Especialmente con los modelos locales cada vez más fuertes y la mejora de la potencia de cálculo de las computadoras de nivel de consumo, este modelo puede convertirse en una ruta importante fuera de las herramientas tradicionales de IA en la nube.
IX. conclusión
AudioNotes es una aplicación de IA nativa muy representativa: en lugar de tratar de reinventar una plataforma de IA compleja, combina varios componentes tecnológicos que ya están bien establecidos:FunASR entiende el sonido, Ollama entiende el contenido, Markdown lleva las notas y la interfaz de usuario web interactúa.。
Lo que más vale la pena afirmar es que pone "privacía" y "capacidad de IA" en el mismo diseño de producto.
Para aquellos que trabajan regularmente con reuniones, entrevistas, clases o grabaciones personales, AudioNotes ofrece una forma de trabajar que vale la pena probar:
En lugar de tratar las grabaciones de audio como un archivo que debe ser guardado, tratalas como una fuente de conocimiento personal que se puede buscar, resumir e interrogar.
El código fuente del proyecto y las instrucciones de implementación completas se pueden encontrar en Repositorio de AudioNotes en GitHub Verificar. La información de características y despliegue en este artículo se basa en la configuración actual de README y Docker Compose del proyecto.