Записывать аудио и видео на совещаниях, интервью, курсах и повседневной работе становится все проще, но истинная трудность зачастую заключается не в «записывании», а в том, чтобы записывать.Найдите действительно ценную информацию из огромного количества аудиовидео。
AudioNotes - это инструмент с открытым исходным кодом для локального аудиовидео-трансформации с интеллектуальными заметками.Она пытается решить не просто проблему «слока в текст», а создать связь сАудиовидео → Текстовые тексты → Структурированные заметки → Вопросы и ответыПолное рабочее движение.Исходный код проекта публично доступен на GitHub, и его основная особенность - локальный приоритет, чтобы пользователи могли как можно больше оставаться на своих компьютерах.
Какие проблемы решает Audio Notes?
Традиционные инструменты записи работают просто: записывайте, а затем сохраняйте файл.
Проблема заключается в том, что по мере увеличения количества записей само «сохранение» становится новым бременем
Например, после двухчасовой встречи вам, возможно, потребуется ответить:
- Кто предложил программу?
- Каково окончательное решение?
- Кто несет ответственность за определенную задачу?
- Что такое предельный срок?
- Когда была высказана идея?
- Каковы наиболее важные выводы этого совещания?
В отсутствие текстовых текстов поиск информации часто означает повторное прослушивание записи.
Идея AudioNotes заключается в том, чтобы сначала использовать локальную модель распознавания речи для преобразования аудиовидео в текст, а затем организовать контент с помощью локальной модели большого языка, в конечном итоге образуя заметки Markdown и позволяя пользователям задавать вопросы по этому контенту.Проект README позиционирует его как инструмент для таких сценариев, как совещания, интервью, занятия и голосовые меморандумы.
Это больше похоже на «Вход в базу аудиовизуальных знанийИ это не просто транскриптор.
Полный рабочий процесс: от звука к знаниям
Процесс использования AudioNotes можно свести к четырем этапам.
1.Получение аудиовидео
Пользователи могут загружать аудио- или видеофайлы напрямую или записывать их с помощью браузера.
Это означает, что он подходит как для работы с уже существующим материалом, так и для непосредственного использования в таких ситуациях, как конференции, интервью и т. д.
2.Локальное распознавание голосов
AudioNotes по умолчанию FunAudioLLM/Fun-ASR-Nano-2512 Используйте распознавание голоса.
По сравнению с простой загрузкой файлов в онлайн-сервисы транскрипции, наибольшая преимущество локальной идентификации заключается в том, что аудио- и видеоконтент может оставаться на собственном устройстве пользователя.
Конечно, локальная идентификация не означает, что результат должен быть идеальным.Качество записи, шум окружающей среды, акцент и одновременное разговоры могут повлиять на окончательный текст, поэтому важно прослушать исходный аудиозапись для подтверждения таких важных элементов, как контракты и резолюции конференций.
3.Автоматическая обработка
После получения исходного текста в AudioNotes используется локальная модель большого языка, запускаемая Ollama, для организации заметки.
По умолчанию для проекта qwen3.5:2bЦель состоит в том, чтобы достичь баланса между качеством обработки китайского языка и потреблением ресурсов в условиях ресурсов обычных компьютеров.
Этот шаг очень важен.
Поскольку полная транскрипция заседания может содержать большое количество разговорных выражений, повторяющегося контента и не имеющей отношения информации, структурированная записка действительно требует:
Выводы, мнения, задачи, время, люди и контекст.
Таким образом, ценность AudioNotes заключается не только в ASR, но и в сочетании ASR и LLM.
4.Продолжайте задавать вопросы по содержанию
После создания заметки пользователи также могут продолжить диалог с аудиовизуальным контентом.
Например:
«Какие три программы были приняты на этом совещании? »
или:
«Какие задачи выполняют три? »
Это превращает аудиовизуальные файлы из файла, который требует «читания» вручную, в источник информации, который можно запросить непосредственно.
Первоочередное место - это самая важная особенность AudioNotes.
Сегодня продукты ИИ сильно полагаются на облачные API, но аудиовидео часто содержит очень конфиденциальную информацию.
Внутренняя корпоративная встреча может содержать бизнес-план; интервью пользователя может содержать личную информацию; аудиозапись курса может касаться исследований, которые еще не были опубликованы.
Концепция дизайна AudioNotes именно здесь делает другой выбор.
Проект README четко указывает, что аудиовидео, тексты, заметки и история разговоров по умолчанию сохраняются локально; распознавание голоса выполняется локально с помощью FunASR, а большая языковая модель работает локально с помощью Ollama, и по умолчанию аудиовидеоконтент не отправляется на сторонний интерфейс ИИ.По умолчанию веб-страница также разрешает только локальный доступ.
С архитектурной точки зрения, это типичная Первый местный AI Мысли:
Ввод данных в компьютер → локальное завершение ASR → локальное завершение LLM обработки → локальное сохранение результатов.
Это особенно привлекательно для чувствительных конфиденциальности сценариев.
Конечно, «локальная работа» не означает абсолютную безопасность.Учетные записи, права на диск, резервное копирование и сетевая среда компьютера должны быть защищены.Кроме того, в проекте особо отмечается, что пользователям следует использовать и надлежащим образом защищать локальные данные на надежных компьютерах.
Docker делает развертывание относительно простым.
Самый большой порог для обычных пользователей часто не использует ИИ, а устанавливает его.
AudioNotes предлагает Docker-подход, который позволяет инкапсулировать основную среду.
Официально рекомендуемые базовые среды включают Docker Desktop и Ollama, и рекомендуется выделять минимум 12 ГБ памяти для Docker Desktop; рекомендуется 16 ГБ для работы с более длинными аудиовидеоми с резервированием около 10 ГБ дискового пространства.
Основными процессами являются:
ollama pull qwen3.5:2b
mkdir audionotes
cd audionotes
curl -fsSL https://github.com/harry0703/AudioNotes/raw/main/docker-compose.yml -o docker-compose.yml
curl -fsSL https://github.com/harry0703/AudioNotes/raw/main/.env.example -o .env
docker compose up -d --remove-orphans
Доступ к локальному устройству после загрузки 15433 Порты позволяют перейти в веб-интерфейс.При первом распознавании голоса необходимо также загрузить модель голоса размером около 2,15 ГБ; после загрузки модель сохраняется на локальном компьютере, и последующие загрузки не требуются повторять.
Следует отметить, что конфигурация Docker проекта не просто запускает веб-сервис.Конфигурация Compose также включает в себя настройки постоянства данных, проверки состояния, автоматического перезагрузки, восстановления процессов и сокращения прав контейнеров.Например, по умолчанию сервис связывается только с 127.0.0.1, и принял cap_drop: ALL и no-new-privileges Снижение риска злоупотребления контейнером.
Это говорит о том, что помимо «работоспособности», проект также учитывает некоторые проблемы безопасности и стабильности при фактическом развертывании.
V. Где хранится данная информация?
Еще одна ключевая проблема с локальными инструментами ИИ:Куда же пошли мои данные?
Когда AudioNotes использует Docker, данные сопоставляются с созданным файлом audionotes Папки, в которую входят файлы загрузки, кэш модели, журналы и история диалогов.В режиме работы с исходным кодом персональные данные в основном хранятся в проекте. storage Модель Ollama находится в папке, а Ollama управляет самой.
Это дает очень практическое преимущество: управление данными относительно интуитивно.
Например, проект рекомендует:
- Во время резервного копирования репликация всей
audionotesпапки; - Полная репликация папки при переносе компьютера;
- Папку можно удалить после остановки службы, когда данные истории больше не требуются.
Это означает, что пользователям не нужно полагаться на стороннюю платформу SaaS для управления своими записями истории.
6. Для кого это подходит?
AudioNotes лучше всего подходят для тех, ктоИмеет большое количество аудио- или видео-материалов и желает, чтобы контент был локализованЧеловек.
Отчеты о заседаниях
Это самый прямой сценарий применения.
После заседания не требуется тратить много времени на ручную обработку записи, а ИИ может сначала завершить первоначальную транскрипцию и структурирование, а затем вручную подтвердить ключевые выводы.
Интервью и интервью.
Интервью обычно содержат большое количество естественного языка и длинные разговоры.После преобразования записей в текст будет гораздо легче найти людей, мнения и ключевые ответы.
Курсы и обучение
Для записи длинных занятий, текстовые тексты и вопросы и ответы ИИ могут снизить стоимость повторного прослушивания.
Например, вместо того, чтобы прослушивать часовой урок в поисках какой-либо концепции, просто спросите:
Какие примеры преподавателя приводит в этой концепции?
Персональные голосовые записки
Вдохновение, задачи и временные идеи можно сначала сохранить с помощью звукозаписи, а затем позволить ИИ организовать их в более легко читаемый текст.
Преимущества и недостатки AudioNotes
Если оценить с точки зрения продукта, то преимущества AudioNotes ясны.
Во-первых, приоритетное место.
Это ключевое преимущество, которое отличает его от большого количества облачных инструментов записи ИИ.По умолчанию чувствительные аудио-видео не обязательно загружаются в сторонние сервисы ИИ.
Во-вторых, рабочий процесс является полным.
В нем не только рассматривается вопрос о переводе речи в текст, но и дополнительно дополняется обработка записей и вопросы и ответы на содержание.
В-третьих, открытый исходный код и саморазвертываемый.
Пользователи могут просматривать исходный код, развертывать самостоятельно и корректировать модель и конфигурацию по мере необходимости.
В-четвертых, управление данными является более прозрачным.
Загруженные файлы, исторические данные и кэши модели имеют определенное локальное местоположение для хранения.
Но есть и очевидный порог.
Во-первых, локальный ИИ имеет требования к аппаратным ресурсам.Проект четко рекомендует выделять минимум 12 ГБ памяти для Docker, а для длинных видео рекомендуется 16 ГБ.
Во-вторых, на скорость и эффективность локальной модели влияет аппаратное обеспечение компьютера.
В-третьих, хотя локальная модель имеет преимущества конфиденциальности, она не автоматически гарантирует точность транскрипции.Ручная коррекция по-прежнему не может быть пропущена для важного содержания.
Наконец, установка Docker, Ollama, моделей и обработка кэша моделей все еще сопряжена с определенными затратами на обучение для пользователей, которые не имеют технического опыта.
Восемь, это действительно интересное место, а не «переписывать».
Если рассматривать AudioNotes просто как «программное обеспечение для передачи текста», то это недооценивает его.
Что действительно стоит обратить внимание на это, это преобразование традиционных аудио-видеофайлов в носителя контента, который может быть понят и запрошен ИИ.
В прошлом:
Запись → Файл → Ручное прослушивание
Сейчас:
Запись → ASR → Текст → ИИ резюме → Диалоговой запрос
Это означает, что аудиовидео само по себе начинает превращаться в «интерактивные данные».
Особенно с учетом того, что локальные модели становятся все более мощными, а вычислительная мощность потребительских компьютеров растет, эта модель может стать важным маршрутом за пределами традиционных облачных инструментов ИИ.
IX. Заключения
AudioNotes - это типичное локальное приложение для ИИ: вместо попытки переизобретать сложную платформу ИИ, оно объединяет несколько уже проверенных технологических компонентов.FunASR понимает голос, Ollama понимает контент, Markdown записывает, Web UI взаимодействует.。
Самое положительное в нем заключается в том, что «конфиденциальность» и «помощи ИИ» помещены в один дизайн продукта.
Для тех, кто регулярно работает с собраниями, интервью, занятиями или личными записями, AudioNotes предлагает способ работы, который стоит попробовать:
Запись больше не рассматривается как документ, который должен быть сохранен, а как источник личных знаний, который можно искать, обобщать и запрашивать.
Исходный код проекта и полное описание развертывания можно найти в Хранилище AudioNotes на GitHub Просмотр.Информация о функциях и развертывании в данной статье основана на текущей конфигурации README и Docker Compose проекта.