L'enregistrement audio et vidéo devient de plus en plus facile lors de réunions, d'entretiens, de cours et de routines quotidiennes, mais souvent ce qui est vraiment difficile n'est pas « l'enregistrer », mais plutôt l'enregistrer.Trouver des informations vraiment précieuses à partir d'un grand nombre de vidéos audio。
AudioNotes est un outil de traduction audio-vidéo native open source avec des notes intelligentes. Ce qu ' il essaie de résoudre n'est pas seulement le problème de la parole en texte, mais de construire une connexion entreAudio et vidéo → Text → Notes structurées → Q & A de l'IALe workflow complet. Le code source du projet est ouvert sur GitHub, et la caractéristique principale est la priorité locale, en essayant de laisser les données des utilisateurs sur leurs propres ordinateurs.
Quels sont les problèmes que résout AudioNotes ?
La façon dont les outils d'enregistrement traditionnels fonctionnent est simple : enregistrez et enregistrez le fichier.
Le problème est que, à mesure que les enregistrements deviennent de plus en plus nombreux, la « préservation » elle-même devient un nouveau fardeau.
Par exemple, après une séance de deux heures, vous devrez peut - être répondre :
- Qui a proposé une proposition ?
- Quelle est la décision finale ?
- Qui est responsable d'une tâche ?
- Quelle est la date limite ?
- Quand est-ce qu ' un point a été présenté ?
- Quelles sont les conclusions les plus importantes de cette réunion ?
En l'absence de transcriptions, chercher ces informations signifie souvent écouter à nouveau l'enregistrement.
L'idée d'AudioNotes est d'abord d'utiliser le modèle de reconnaissance vocale local pour convertir l'audio et la vidéo en texte, puis d'utiliser le grand modèle de langage local pour organiser le contenu, et finalement de former des notes Markdown et de permettre aux utilisateurs de continuer à poser des questions sur ce contenu. Le projet README l'a positionné comme un outil adapté à des scénarios tels que les réunions, les entretiens, les cours et les notes vocales.
C'est donc plus comme un "Base de connaissances audio et vidéo« Pas seulement un transcripteur.
Flux de travail complet : du son à la connaissance
Le processus d'utilisation d'AudioNotes peut être résumé en quatre étapes.
1. Acquérir des audio et vidéo
Les utilisateurs peuvent télécharger des fichiers audio ou vidéo directement ou utiliser un navigateur pour enregistrer.
Cela signifie qu ' il convient à la fois au travail avec du matériel déjà existant et à l'utilisation directe dans des scénarios tels que des réunions, des entretiens, etc.
2. Reconnaissance vocale locale
AudioNotes est utilisé par défaut FunAudioLLM/Fun-ASR-Nano-2512 La reconnaissance vocale est effectuée.
La plus grande valeur de l'identification locale par rapport au simple téléchargement de fichiers sur un service de transcription en ligne est que le contenu audio et vidéo peut rester sur le propre appareil de l'utilisateur.
Bien sûr, l'identification locale ne signifie pas nécessairement que le résultat est parfait. La qualité de l'enregistrement, le bruit environnemental, l'accent et plusieurs personnes parlant en même temps peuvent tous affecter le texte final, de sorte que pour les contrats, les résolutions de la réunion et d'autres contenus importants, vous devez toujours écouter l'audio original pour confirmer.
3. Sélectionner automatiquement
Après avoir obtenu le texte original, AudioNotes utilise le grand modèle de langage local exécuté par Ollama pour organiser les notes.
Projet par défaut qwen3.5:2bL'objectif est de trouver un équilibre entre la qualité du traitement chinois et la consommation de ressources dans les conditions de ressources de l'ordinateur ordinaire.
Cette étape est très critique.
Parce qu ' une transcription complète de la réunion peut contenir beaucoup d'expressions orales, de contenu répétitif et d'informations non pertinentes, les notes structurées ont vraiment besoin de :
Conclusion, point de vue, tâche, temps, personnes et contexte.
Par conséquent, la valeur d'AudioNotes ne provient pas seulement de l'ASR, mais de la combinaison des deux liens de l'ASR et de la LLM.
4. Continuez à poser des questions sur le contenu
Une fois que les notes sont générées, les utilisateurs peuvent également continuer à dialoguer avec le contenu audio et vidéo.
Par exemple :
« Quels sont les trois projets définis lors de cette réunion ? »
ou :
« Quelles sont les tâches du troisième ? »
Cela permet à l'audio et à la vidéo de passer d'un fichier à « lire » manuellement à une source d'informations qui peut être directement interrogée.
La priorité locale est la caractéristique la plus remarquable d'AudioNotes.
Les produits d'IA d'aujourd ' hui s'appuient fortement sur les API du cloud, mais les audio et vidéo contiennent souvent des informations très sensibles.
Une réunion interne de l'entreprise peut contenir un plan d'affaires ; une entrevue avec un utilisateur peut contenir des informations personnelles ; et un enregistrement de cours peut porter sur des recherches qui n'ont pas encore été publiées.
La philosophie de conception d'AudioNotes est précisément ici pour faire un choix différent.
Le projet README indique clairement que l'audio et la vidéo, le texte, les notes et l'historique des conversations sont stockés localement par défaut ; la reconnaissance vocale est effectuée localement via FunASR, et le grand modèle de langage est exécuté localement via Ollama, et le contenu audio et vidéo n'est pas envoyé à l'interface IA tierce par défaut. Les pages Web ne permettent également que l'accès natif par défaut.
D'un point de vue architectural, c'est une sorte de type Local-first AI Réflexion :
Données entrant dans l'ordinateur → ASR terminé localement → traitement LLM terminé localement → sauvegarde des résultats localement.
Ceci est particulièrement attrayant pour les scénarios sensibles à la vie privée.
Bien sûr, « fonctionner localement » n'est pas synonyme de sécurité absolue. Les comptes, les autorisations de disque, les sauvegardes et l'environnement réseau de l'ordinateur lui-même doivent toujours être protégés. Le projet rappelle également spécifiquement aux utilisateurs que les données natives doivent être utilisées sur des ordinateurs de confiance et protégées correctement.
Docker rend le déploiement relativement simple.
Pour les utilisateurs ordinaires, le plus grand seuil n'est souvent pas d'utiliser l'IA, mais d'installer l'IA.
AudioNotes fournit une approche Docker qui peut encapsuler l'environnement d'exécution principal.
Les environnements de base officiellement recommandés comprennent Docker Desktop et Ollama, et il est recommandé que Docker Desktop alloue au moins 12 Go de mémoire ; si vous traitez des vidéos sonores plus longues, 16 Go est recommandé avec environ 10 Go d'espace disque réservé.
Le processus de base est :
ollama pull qwen3.5:2b
mkdir audionotes
cd audionotes
curl -fsSL https://github.com/harry0703/AudioNotes/raw/main/docker-compose.yml -o docker-compose.yml
curl -fsSL https://github.com/harry0703/AudioNotes/raw/main/.env.example -o .env
docker compose up -d --remove-orphans
Accès local après le démarrage 15433 Le port accède à l'interface Web. Lorsque vous effectuez la reconnaissance vocale pour la première fois, vous devez télécharger un modèle vocal d'environ 2,15 Go ; après le téléchargement, le modèle sera enregistré sur l'appareil local, et vous n'avez pas besoin de télécharger à nouveau.
Il est important de noter que la configuration Docker du projet ne consiste pas simplement à exécuter un service Web. Sa configuration Compose comprend également des paramètres tels que la persistance des données, la vérification de la santé, le redémarrage automatique, la récupération des processus et la réduction des droits de conteneur. Par exemple, le service est lié par défaut uniquement à 127.0.0.1et à travers cap_drop: ALL et no-new-privileges Réduire le risque d'abus après utilisation abusive du conteneur.
Cela signifie que le projet prend également en compte certains problèmes de sécurité et de stabilité dans le déploiement réel, en plus de « fonctionner ».
V. Où sont stockées les données ?
Une autre question clé avec les outils d'IA native est :Où sont passées mes données ?
Lorsque AudioNotes utilise Docker, les données sont mappées à un audionotes Le dossier comprend les fichiers téléchargés, le cache du modèle, le journal et l'historique des conversations. En mode source, les données personnelles sont stockées principalement dans le projet storage Les modèles d'Ollama sont gérés par Ollama lui-même.
Cela apporte un avantage très pratique : la gestion des données est relativement intuitive.
Par exemple, le projet recommande :
- Copier l'ensemble du backup
audionotesLes dossiers - Copiez le dossier dans son intégralité lors de la migration de l'ordinateur ;
- Lorsque vous n'avez plus besoin de données historiques, vous pouvez supprimer le dossier après avoir arrêté le service.
Cela signifie que les utilisateurs n'ont pas à compter sur une plateforme SaaS tierce pour gérer leurs notes historiques.
Pour qui convient-il ?
AudioNotes est le meilleur pour ceux qui sontPosséder beaucoup de contenu audio ou vidéo tout en souhaitant que le contenu reste localisédes gens.
Documents de réunion
C'est le scénario d'application le plus direct.
Après la conférence, il n'est pas nécessaire de passer beaucoup de temps à trier manuellement l'enregistrement, ce qui permet à l'IA de compléter la transcription initiale et le tri structuré, puis de confirmer manuellement les conclusions clés.
Interview et interview
Les entretiens comportent généralement beaucoup de langage naturel et de longues conversations. Après avoir converti les enregistrements en texte, il est beaucoup plus facile de trouver des personnages, des points de vue et des réponses clés.
Cours & apprentissage
Pour les enregistrements de cours longs, le texte et les questions et réponses AI peuvent réduire le coût de l'écoute.
Par exemple, au lieu de recourir à une leçon d'une heure à la recherche d'un concept, demandez directement :
« Quels exemples a-t - il donné le professeur de ce concept ? »
Memo vocal personnel
L'inspiration, les tâches à faire et les idées temporaires peuvent être enregistrées d'abord par enregistrement, puis l'IA peut aider à les organiser en texte plus lisible.
Avantages et limitations d'AudioNotes
Les avantages d'AudioNotes sont clairs si l'on les juge du point de vue du produit.
Tout d'abord, la priorité locale.
C'est la compétence de base qui le distingue de la multitude d'outils de notes d'IA basés sur le cloud. Les vidéos audio sensibles n'ont pas besoin d'être téléchargées par défaut sur un service d'IA tiers.
Deuxièmement, le flux de travail est complet.
Il ne s'attaque pas seulement au « texte vocal », mais complète également la compilation de notes et les questions et réponses de contenu.
Troisièmement, il est open source et auto-déployable.
Les utilisateurs peuvent afficher le code source, déployer eux-mêmes et ajuster le modèle et la configuration selon leurs besoins.
Quatrièmement, la gestion des données est plus transparente.
Les fichiers téléchargés, les données historiques et le cache du modèle ont tous un emplacement de stockage local explicite.
Mais il y a aussi des seuils évidents.
Tout d'abord, l'IA locale a des exigences sur les ressources matérielles. Le projet recommande explicitement d'allouer au moins 12 Go de mémoire pour Docker, et 16 Go recommandés pour les vidéos longues.
Deuxièmement, la vitesse et l'efficacité des modèles locaux sont affectées par le matériel informatique.
Encore une fois, bien que le modèle local ait des avantages en matière de confidentialité, il ne garantit pas automatiquement la précision de la transcription. Pour le contenu important, la correction manuelle ne peut toujours pas être omise.
Enfin, l'installation de Docker, Ollama, des modèles et le traitement du cache de modèles, pour les utilisateurs qui n'ont aucune expérience technique, il y a encore un coût d'apprentissage.
Ce qui est vraiment intéressant, ce n'est pas « transcrire »
Si vous considérez AudioNotes comme un « logiciel d'enregistrement audio-texte », vous le sous-estimez.
Ce qui est vraiment intéressant, c'est de convertir les fichiers audio et vidéo traditionnels en un support de contenu qui peut être compris et interrogé par l'IA.
Passé :
Enregistrement → Fichiers → Écoute manuelle
Et maintenant :
Enregistrement → ASR → Text → AI Summary → Interrogation interactive
Cela signifie que l'audio et la vidéo elles-mêmes commencent à devenir une sorte de « données interactives ».
Surtout avec des modèles locaux de plus en plus forts et une puissance de calcul croissante des ordinateurs grand public, ce modèle pourrait devenir une route importante en dehors des outils d'IA traditionnels dans le cloud.
IX. Conclusions
AudioNotes est une application d'IA native typique : au lieu d'essayer de réinventer une plate-forme d'IA complexe, elle combine plusieurs composants technologiques éprouvés -FunASR comprend la voix, Ollama comprend le contenu, Markdown porte les notes et l'interface utilisateur Web interagit.。
Ce qui mérite le plus d'affirmation, c'est de mettre la « vie privée » et les « capacités d'IA » dans la même conception de produit.
Pour les personnes qui travaillent régulièrement avec des réunions, des entretiens, des cours ou des enregistrements personnels, AudioNotes offre une façon de travailler qui vaut la peine d'essayer :
L'enregistrement n'est plus considéré comme un fichier à conserver, mais comme une source de connaissances personnelles qui peuvent être recherchées, résumées et interrogées.
Le code source du projet et les instructions de déploiement complètes sont disponibles à Le dépôt AudioNotes sur GitHub Voir. Les fonctionnalités et les informations de déploiement contenues dans cet article sont basées sur les configurations README et Docker Compose actuelles du projet.