Если раньше видеоинструменты ИИ решали «создание видео», то Jellyfish хочет решить «создание короткого сериала».
Недавно, когда я посетил GitHub, я обнаружил очень интересный проект с открытым исходным кодом.Медуза。
Адрес GitHub:
Forget-C / Jellyfish
Всего за несколько месяцев проект собрал тысячи звезд и стал одним из самых популярных проектов с открытым исходным кодом в области создания видео с помощью ИИ.Его главная особенность - не способность моделировать, аПереопределяет производственный процесс короткого искусственного интеллекта.。(T.co)
Сегодня мы поговорим о том, что именно решает этот проект и почему он стоит внимания всех создателей ИИ.
Есть много видео инструментов AI, но почему все еще не делают короткие сериалы?
На сегодняшний день имеющиеся на рынке инструменты ИИ очень богаты.
- ChatGPT Написать сценарий
- Фотографии Midjourney и Flux
- Kling, Runway и Veo создают видео
- ElevenLabs озвучить
- Вырезание завершенного клипа
Кажется, инструменты уже полны.
Но любой, кто действительно сделал короткие серии искусственного интеллекта, обнаружил одну реальность:
Инструменты становятся сильнее, процессы становятся более беспорядочными.
Например:
- Человек, созданный сегодня, изменит свое лицо завтра;
- Один и тот же персонаж сменил три костюма;
- Сцена повторяется десятки раз;
- Копировать вставку везде;
- Изображения, видео, материалы персонажей разбросаны в десятках папок.
То, что действительно ограничивает развитие коротких пьесов ИИ, никогда не является моделью.
Вместо этого,Производственный процесс。
Jellyfish - это полный набор рабочих процессов, разработанных вокруг этой проблемы.
Jellyfish - это не инструмент для создания видео
Официальное определение его очень четко:
Комплексное производственное рабочее пространство для короткометражных драм, генерированных ИИ
Перевод:
Единый рабочий стол для создания коротких пьесов искусственного интеллекта.
Многие люди, увидев проект впервые, ошибочно думают, что это еще один:
Введите предложение Prompt → Вывод видео
На самом деле совсем не так.
Это больше похоже на:
Сочетание Notion + Jira + Midjourney + Runway.
Он ориентирован на всю производственную цепочку, а не на одно производство.
Он разделил производство короткометражных сериалов на полную сборочную линию.
Jellyfish стандартизирует весь творческий процесс.
Весь процесс в целом выглядит следующим образом:
剧本
↓
AI 理解剧本
↓
自动拆分分镜
↓
识别人物
识别场景
识别道具
识别服装
↓
建立统一资产
↓
确认每个镜头
↓
AI 图片生成
↓
AI 视频生成
↓
统一管理任务
↓
导出成片
Официально этот процесс резюмируется следующим образом:
Script → Storyboard → Asset → Generation → Export.
Это уже не «инструмент», а сборочная линия.
Основные моменты: управление согласованностью ролей
Если вы делали видео, вы знаете, что самые большие боли:
Роль согласованности.
Например:
Первая женщина-руководительница.
Второй эпизод поменяет лицо.
Третий возраст изменился.
Четвертая прически изменилась.
Пятая часть также изменилась.
В конечном итоге зрители не узнают.
Компания Jellyfish разработала систему управления активами.
Он будет управлять всеми элементами:
- Персонал
- Сцены
- Проекты
- Одежда
- Актёры
Каждый снимок ссылается на эти активы, а не воспроизводит их.
Это позволяет избежать:
Каждый из них «создает мир».
Вместо этого,
Создание в одном и том же мире(T.co)
Автоматическое понимание сценария.
Это тоже очень интересно.
Традиционный рабочий процесс:
Сценарист написал сценарий.
Режиссер сам разделил кадры.
Теперь это становится:
Введите сценарий.
Автоматический анализ:
- Персонал
- Сцены
- Диалог
- Проекты
- Эмоции
- Камеры
Можно даже сделать:
- Оптимизация сценария
- Упрощение содержания
- Проверка согласованности
В конечном итоге создается структурированный фрагмент.
Это означает,
ИИ не только создает контент.
Начало работы с режиссером.
У каждого снимка свой жизненный цикл.
Есть много видео инструментов AI только:
Нажмите Создать.
Завершение.
Jellyfish спроектировал объектив, чтобы он был настоящим рабочим блоком.
Каждый выстрел проходит:
待分析
↓
待确认
↓
素材准备
↓
Ready
↓
开始生成
↓
完成
Каждый шаг может быть изменен.
Каждый шаг может быть восстановлен.
Каждый шаг отслеживается.
Это, по сути, перенос идей Workflow в интернет-продуктах в создание искусственного интеллекта. (T.co)
Единое планирование всех задач
Еще один дизайн, который стоит похвастать:
Он не писал о смерти.
Вместо этого был разработан комплекс комплексных центров.
Независимо от:
- LLM
- Создание изображений
- Создание видео
Все переходят в асинхронную систему заданий.
Вы можете:
- Просмотр хода работы
- Просмотр времени
- Отменить задание
- Перепробовать задание
- Возвращение соответствующего элемента
Это означает, что в будущем доступ к любой модели:
- Flux
- SDXL
- Kling
- Veo
- Взлетно-посадочная полоса
- ComfyUI
Это не влияет на процесс в целом.
Модель - это просто плагин.
Процесс - это ядро.
Более похожа на операционную систему AI
После просмотра всего проекта, мое самое большое ощущение было:
Jellyfish не занимается ИИ.
Он делает:
ИИ создает операционную систему
За последние несколько лет большинство проектов были посвящены:
Модель становится все сильнее.
Prompt становится все сложнее.
Но после того, как мы действительно вступили в коммерческое производство, мы обнаружили:
Эффективность определяет не модель.
А скорее, процесс.
Что действительно важно в будущем:
- Рабочий процесс
- Управление данными
- Управление материалами
- Соответствие.
- Автоматическое взаимодействие
Модель - это просто базовый потенциал.
Кто может использовать Jellyfish?
Официальные типичные сценарии использования включают:
- Создатель коротких сериалов
- Видеостудия AI
- Независимый создатель контента
- Команда по производству образовательного видео
- Команда маркетинга брендов и контента электронной коммерции
Если ваша цель заключается в массовом производстве контента, а не в создании одного или двух видеороликов изредка, такие инструменты рабочего процесса могут быть более ценными, чем простое моделирование.
Письмо в конце
В прошлом году мы стали свидетелями быстрого прогресса в видеомоделях с ИИ.
На следующем этапе соревнования, возможно, будет больше не о том, кто создает быстрее, а о том, кто создает.Более стабильные, эффективные и многоразовые производственные системы。
Jellyfish - это именно такой пример:
Он не стремится стать «самой сильной моделью», а стать единой платформой, соединяющей сценарии, фрагменты, активы, генерации, задачи и экспортировки, повышая создание видео с помощью ИИ от «однократного генерации» до «устойчивого производства». (T.co)
Если вы следите за короткометражными сериалами ИИ, видео ИИ или индустриализацией контента, этот проект стоит углубленного изучения.
Адрес проекта: