In Besprechungen, Interviews, Kursen und in der täglichen Arbeit wird es immer einfacher, Ton - und Videoaufzeichnungen zu machen, aber oft ist es nicht "aufzeichnen", sondern es ist die wahre Schwierigkeit.Finden Sie wirklich wertvolle Informationen aus vielen Audio-Videos。
AudioNotes ist ein Open-Source - native Audio-Video - Text-Konvertierung und Smart Note-Tool. Es versucht nicht nur, die Frage von „Sprache zu Text" zu lösen, sondern eine Verbindung vonAudio-Video → Texttext → strukturierte Notizen → AI-FragenVollständiger Workflow. Der Quellcode des Projekts ist auf GitHub öffentlich verfügbar und hat eine lokale Priorität, die versucht, dass die Daten der Benutzer auf ihrem eigenen Computer bleiben.
Welche Probleme löst AudioNotes?
Die Art und Weise, wie traditionelle Audio-Aufnahme - Tools funktionieren, ist einfach: Aufzeichnen Sie die Dateien und speichern Sie sie dann.
Das Problem ist, dass, wenn die Aufnahme immer mehr wird, "Speichern" selbst zu einer neuen Belastung.
Zum Beispiel, nach einem zwei-stündigen Meeting, müssen Sie Folgendes beantworten:
- Wer hat ein Projekt vorgeschlagen?
- Was war die endgültige Entscheidung?
- Wer ist für eine Aufgabe verantwortlich?
- Was ist die Deadline?
- Wann wurde eine Meinung vorgestellt?
- Was sind die wichtigsten Schlussfolgerungen dieser Konferenz?
Wenn es keine Texte gibt, bedeutet die Suche nach diesen Informationen oft, die Aufnahme erneut zu hören.
Die Idee von AudioNotes besteht darin, Audio-Videos in Text zu konvertieren, indem sie ein lokales Sprachmodell verwenden, um den Inhalt zu organisieren und schließlich Markdown-Notizen zu bilden, die es Benutzern ermöglichen, weiterhin Fragen zu diesem Inhalt zu stellen. Das Projekt README hat es als ein Werkzeug für Szenarien wie Meetings, Interviews, Kurse und Sprachmemos positioniert.
Es ist eher wie ein »Audio-Video - Wissensdatenbank-EingangUnd nicht nur ein Transkribierer.
Vollständiger Workflow: Von der Stimme zum Wissen
Der Prozess der Verwendung von AudioNotes lässt sich in vier Phasen zusammenfassen.
1. Audio-Video erhalten
Der Benutzer kann Audio - oder Videodateien direkt hochladen oder einen Browser verwenden, um Ton aufzunehmen.
Das bedeutet, dass es sowohl für die Arbeit mit bereits vorhandenen Materialien als auch für den direkten Einsatz in Szenarien wie Meetings, Interviews und anderen geeignet ist.
2. Lokale Spracherkennung
AudioNotes Standardverwendung FunAudioLLM/Fun-ASR-Nano-2512 Spracherkennung durchzuführen.
Im Vergleich zum bloßen Hochladen von Dateien in einen Online-Transkriptionsdienst besteht der größte Vorteil der lokalen Identifizierung darin: Audio-Video - Inhalte können auf dem eigenen Gerät des Benutzers verbleiben.
Natürlich bedeutet die lokale Identifikation nicht, dass das Ergebnis perfekt ist. Die Qualität der Aufnahme, Umgebungsgeräusche, Akzent und das gleichzeitige Sprechen von mehreren Personen können sich auf den endgültigen Text auswirken, daher sollten wichtige Inhalte wie Verträge und Konferenzbeschlüsse immer noch zurückgehört werden, um das Original zu bestätigen.
3. Automatisch aufbereitet.
Nachdem Sie den Originaltext erhalten haben, nutzt AudioNotes das von Ollama ausgeführte lokale große Sprachmodell, um Ihre Notizen zu organisieren.
Projekte werden verwendet qwen3.5:2bDas Ziel ist es, unter den Ressourcenbedingungen eines normalen Computers ein Gleichgewicht zwischen der Verarbeitung von Chinesisch und dem Ressourcenverbrauch zu erreichen.
Dieser Schritt ist entscheidend.
Da ein vollständiges Meeting-Transkript viele gesprochene Ausdrücke, Duplicate und unrelevante Informationen enthalten kann, benötigen strukturierte Notizen wirklich:
Schlussfolgerungen, Ansichten, Aufgaben, Zeit, Personen und Kontext.
Der Wert von AudioNotes kommt daher nicht nur aus ASR, sondern aus der Kombination von ASR und LLM.
4. Fragen zu den Inhalten stellen
Nachdem die Notizen generiert wurden, können Benutzer auch weiterhin mit Audio-Video - Inhalten in Gesprächen führen.
Zum Beispiel,
„Welche drei Projekte wurden bei dieser Konferenz beschlossen?"
oder:
„Welche Aufgaben hat der Dreier?"
Dadurch wird Audio und Video von einer Datei, die manuell "lesen" muss, zu einer Informationsquelle, die direkt angefragt werden kann.
Die lokale Priorität ist das wichtigste Merkmal von AudioNotes.
Die heutigen KI-Produkte sind stark auf Cloud-APIs angewiesen, aber Audio und Video enthalten oft sehr sensible Informationen.
Ein internes Treffen kann einen Geschäftsplan enthalten; ein Benutzerinterview kann persönliche Informationen enthalten; und die Aufnahme eines Kurses kann sich auf noch nicht veröffentlichte Forschungsinhalte beziehen.
Die Designphilosophie von AudioNotes ist genau hier eine andere Wahl getroffen.
Das Projekt README erklärt, dass Audio-Video, Text, Notizen und Gesprächshistorie standardmäßig lokal gespeichert werden; Spracherkennung wird lokal über FunASR durchgeführt, das große Sprachmodell wird lokal über Ollama ausgeführt und Audio-Video - Inhalte werden standardmäßig nicht an die KI-Schnittstelle von Drittanbietern gesendet. Webseiten erlauben standardmäßig nur den lokalen Zugriff.
Aus architektonischer Sicht ist es typisch. Local-First - KI Denken:
Daten in den Computer eingegeben → lokal abgeschlossen ASR → lokal abgeschlossen LLM Verarbeitung → lokal speichern Ergebnisse.
Dies ist besonders attraktiv für Privatsphäre sensiblen Szenarien.
Natürlich bedeutet "lokal betrieben" nicht absolute Sicherheit. Die Konten, Festplattenrechte, Backups und die Netzwerkumgebung des Computers selbst müssen immer noch geschützt werden. Das Projekt warnt auch die Benutzer besonders daran, lokale Daten auf einem vertrauenswürdigen Computer zu verwenden und angemessen zu schützen.
Docker macht die Bereitstellung relativ einfach.
Die größte Schwelle für den durchschnittlichen Nutzer ist oft nicht die Verwendung von KI, sondern die Installation von KI.
AudioNotes bietet eine Docker-Methode, um die primäre Betriebsumgebung zu kapseln.
Die offiziell empfohlenen Grundumgebungen sind Docker Desktop und Ollama, und Docker Desktop wird empfohlen, mindestens 12 GB Arbeitsspeicher zuzuweisen; 16 GB wird empfohlen, um längere Audio-Videos zu verarbeiten, und ca. 10 GB Festplattenspeicherplatz zu reservieren.
Der grundlegende Prozess ist:
ollama pull qwen3.5:2b
mkdir audionotes
cd audionotes
curl -fsSL https://github.com/harry0703/AudioNotes/raw/main/docker-compose.yml -o docker-compose.yml
curl -fsSL https://github.com/harry0703/AudioNotes/raw/main/.env.example -o .env
docker compose up -d --remove-orphans
Besuchen Sie das Gerät nach dem Start 15433 Der Port kann in die Web-Schnittstelle eingegriffen werden. Bei der ersten Spracherkennung müssen Sie ein etwa 2,15 GB großes Sprachmodell herunterladen; nach Abschluss des Downloads wird das Modell lokal gespeichert, sodass es nicht mehr wiederholt werden muss.
Es ist wichtig zu beachten, dass die Docker-Konfiguration des Projekts nicht nur um die Ausführung eines Webdienstes geht. Die Compose-Konfiguration umfasst auch Einstellungen wie Datenpersistenz, Gesundheitsüberprüfung, automatischer Neustart, Prozessrückgewinnung und Container-Rechte - Verringerung. Zum Beispiel wird der Dienst nur an 127.0.0.1und verabschiedet cap_drop: ALL und no-new-privileges Reduzieren Sie das Risiko, dass der Behälter missbraucht wird.
Das zeigt, dass das Projekt nicht nur „betriebsfähig" ist, sondern auch einige Sicherheits - und Stabilitätsprobleme im realen Einsatz berücksichtigt.
V. Wo werden die Daten gespeichert?
Ein weiteres Schlüsselproblem für lokale KI-Tools ist:Wo sind meine Daten hin?
Wenn AudioNotes Docker verwendet, werden die Daten in die erstellten audionotes Ordner, die Inhalte wie hochgeladenen Dateien, Modell-Cache, Protokolle und Gesprächshistorie enthalten. Im Quellcode-Betriebsmodus werden personenbezogene Daten hauptsächlich im Projekt gespeichert. storage Das Modell von Ollama wird von Ollama selbst verwaltet.
Das bringt einen sehr praktischen Vorteil: Das Datenmanagement ist relativ intuitiv.
Das Projekt empfiehlt beispielsweise:
- Kopieren Sie das gesamte
audionotesDateien; - Kopieren Sie den Ordner als Ganzes bei der Migration Ihres Computers;
- Wenn die historischen Daten nicht mehr benötigt werden, können Sie den Ordner nach Beendigung des Dienstes löschen.
Das bedeutet, dass Benutzer sich nicht auf eine SaaS-Plattform von Drittanbietern verlassen müssen, um ihre historischen Notizen zu verwalten.
6. Für wen ist es geeignet?
AudioNotes eignet sich am besten für dieSie haben eine Menge an Sprach - oder Videodaten und möchten, dass die Inhalte lokalisiert bleiben.Der Mensch.
Protokoll der Sitzung
Das ist das direkteste Anwendungsfeld.
Nach der Besprechung müssen Sie nicht viel Zeit damit verbringen, die Aufnahme manuell zu organisieren, sondern können die KI zuerst die vorläufige Transkription und die strukturierte Aufbereitung durchführen und dann die wichtigsten Schlussfolgerungen manuell bestätigen.
Interviews und Interviews
Interviews enthalten oft viel natürliche Sprache und lange Gespräche. Nachdem Sie die Aufzeichnung in Text konvertiert haben, ist es viel einfacher, Personen, Meinungen und wichtige Antworten zu finden.
Kurse und Lernen
Bei langen Unterrichtsaufnahmen, Texten und KI-Fragen und Antworten können die Rückhörkosten senken.
Anstatt sich beispielsweise eine einstündige Lektion erneut anzuhören, um ein Konzept zu finden, fragen Sie einfach:
Welche Beispiele hat der Lehrer für dieses Konzept?
Persönliches Stimm-Memo
Inspiration, To-Do und temporäre Ideen können zuerst durch Aufzeichnung gespeichert werden, bevor KI dazu beiträgt, sie in leicht lesbaren Text zu organisieren.
Vorteile und Einschränkungen von AudioNotes
Wenn man das Produkt betrachtet, sind die Vorteile von AudioNotes eindeutig.
Zunächst einmal die lokale Priorität.
Dies ist die Kernkompetenz, die es von einer Vielzahl von Cloud-KI - Notizen-Tools unterscheidet. Sensible Audio-Videos müssen nicht standardmäßig an einen KI-Dienst von Drittanbietern hochgeladen werden.
Zweitens ist der Workflow vollständig.
Es befasst sich nicht nur mit "Sprache zu Text", sondern vervollständigt die Aufbereitung von Notizen und die Frage und Antwort des Inhalts.
Drittens ist es Open-Source und kann selbst bereitgestellt werden.
Benutzer können den Quellcode anzeigen, selbst bereitstellen und Modelle und Konfigurationen je nach Bedarf anpassen.
Viertens ist die Datenverwaltung transparent.
Hochladedateien, historische Daten und Modell-Cache haben einen eindeutigen lokalen Speicherort.
Aber es gibt auch eine klare Schwelle.
Zunächst einmal haben lokale KI Anforderungen an Hardware-Ressourcen. Das Projekt empfiehlt ausdrücklich, mindestens 12 GB Speicher für Docker zuzuweisen, während für lange Videos 16 GB empfohlen werden.
Zweitens werden die Geschwindigkeit und die Wirksamkeit des lokalen Modells von der Computerhardware beeinflusst.
Auch wenn das lokale Modell einen Datenschutzvorteil hat, garantiert es nicht automatisch die Genauigkeit der Transkription. Für wichtige Inhalte ist die manuelle Korrektur nach wie vor nicht verzichtet.
Schließlich ist die Installation von Docker, Ollama, Modellen und die Verarbeitung von Modell-Caches für Benutzer ohne technischer Hintergrund immer noch eine gewisse Lernkosten.
8. Es ist wirklich interessant, nicht "überschreiben".
Wenn man AudioNotes nur als „Aufnahme-Text - Konverter" betrachtet, unterschätzt man es.
Was es wirklich interessiert ist, ist die Umwandlung traditioneller Audio-Videodateien in einen Inhaltsträger, der von KI verstanden und abfragt werden kann.
Vergangenheit:
Aufnahme → Dokument → Hören
jetzt:
Aufnahme → ASR → Textnachweis → AI-Zusammenfassung → dialogische Anfrage
Das bedeutet, dass Audio und Video selbst zu einer Art „interaktiver Daten" werden.
Vor allem angesichts der zunehmenden Stärkung lokaler Modelle und der zunehmenden Rechenleistung von Consumer-Computern könnte dieses Modell eine wichtige Route außerhalb der herkömmlichen KI-Tools in der Cloud sein.
IX. Schlussfolgerungen
AudioNotes ist eine typische lokale KI-Anwendung: Anstatt zu versuchen, eine komplexe KI-Plattform neu zu erfinden, kombiniert sie mehrere bewährte Technikkomponenten.FunASR versteht Stimmen, Ollama versteht Inhalte, Markdown trägt Notizen, Web UI interagiert。
Das Beste daran ist, dass "Privacy" und "AI-Fähigkeit" in das gleiche Produktdesign gesetzt werden.
Für diejenigen, die regelmäßig mit Besprechungen, Interviews, Kursen oder persönlichen Aufzeichnungen arbeiten, bietet AudioNotes eine Art und Weise, die es wert ist, auszuprobieren:
Die Aufnahme wird nicht mehr als ein Dokument betrachtet, das gespeichert werden muss, sondern als eine persönliche Wissensquelle, die durchsucht, zusammengefasst und in Frage gestellt werden kann.
Der Quellcode des Projekts und die vollständige Bereitstellung können in AudioNotes-Repositorium auf GitHub Prüfen. Die Funktions - und Bereitstellungsinformationen in diesem Artikel basieren auf der aktuellen README - und Docker Compose-Konfiguration des Projekts.