ИИ все время быстро развивался.
Он помогает нам писать статьи, изменять код, обобщать данные и даже выполнять сложные аналитические задачи.Но когда дело доходит до видеоконтента, многие ИИ все еще имеют очевидный недостаток:Они не понимали видео.
Вы даете ему двухчасовое видео, и он может прочитать только заголовки, описание или субтитры, но не сможет по-настоящему понять изменения в изображении, движения людей, демонстрацию продукта и скрытую информацию.
Недавно появился проект, названный claude-video Проект с открытым исходным кодом Клода позволил ему «смотреть видео».
Идея проекта не сложная: он расчленял видео на информацию, которую мог понять ИИ, а затем передавал Клоду для анализа.Когда пользователь вводит ссылку на видео или загружает видео, claude-video автоматически выполняет обработку видео, включая загрузку видео, извлечение ключевых кадров, получение субтитров и создание текстового контента с помощью распознавания речи.
В конечном итоге Клод не просто «читает субтитры», но может понять видео в целом, объединяя изображения, звук и текст.
Что это значит?
Например, если вы увидите несколько десятков минут технического учебного пособия, который вам не нужно смотреть полностью, вы можете спросить Клода: «О чём это видео? »«Какова основная идея автора? »«Помоги мне организовать эти важные шаги».
Если вы разработчик, вы можете загрузить экранозапись программного обеспечения, чтобы Claude помог вам проанализировать, что не так, если вы создатель контента, вы можете проанализировать структуру, ритм и выступление популярного видео, или даже перед лицом длительного совещания или интервью, чтобы быстро выделить суть.
С технической точки зрения, claude-video реализует полный процесс понимания видео.Он использует инструменты обработки видео для извлечения ключевых кадров, получает текстовую информацию с помощью субтитров или распознавания речи и передает эти мультимодальные данные Клоду для анализа.
Проще говоря, он сделал то, что было трудно сделать в прошлом:
Пусть ИИ перейдет от «читания слов» к «пониманию мира».
В прошлом помощники ИИ жили в основном в текстовой среде, в то время как будущий ИИ должен обладать зрительными, слуховыми и пространственными способностями.Видео как один из наиболее важных носителей информации в Интернете позволит ИИ действительно понимать видеоконтент, что откроет множество новых сценариев применения.
Claude-video - это проект с открытым исходным кодом, но он показывает очень четкое направление: будущее человеко-машинного взаимодействия - это не просто ввод текста и получение ответов, а искусственный интеллект, который может наблюдать, понимать и участвовать в нашем реальном мире.
Когда ИИ начинает иметь «глаза», многие вещи могут только начаться.