Сегодня, когда технологии генерирования видео с помощью ИИ быстро развиваются, все больше и больше создателей начинают исследуть более температурную форму контента:Ручные анимационные истории Видео。
По сравнению с высокореалистичным видео с искусственным интеллектом, стиль ручной рисования больше похож на движущуюся книжку рисунков - простые линии, постепенно появляющиеся картинки, история с субтитрами, которая лучше подходит для детских историй, распространения знаний, личного творчества, коротких видеоаккаунтов и других сцен.
Проекты с открытым кодом. Story-to-handdrawn-video Именно в ответ на эту потребность появился набор автоматизированных инструментов: он пытается преобразовать «письмо» или «набор рисунков» в анимационное видео, нарисованное вручную на вертикальном экране, с ощущением мультфильма.
Что такое Story-to-handdrawn video?
story-to-handdrawn-video Это проект видеопроизводства с использованием ИИ для создателей, целью которого является снижение порога для создания анимации вручную.
Традиционное создание ручной картины исторического видео, как правило, требует:
- - написание сценария;
- разделить историю;
- рисовать персонажей и сцены;
- создание кадровой анимации;
- Добавление субтитров;
- Композиционные видео.
Весь процесс зачастую требует опыта проектирования анимации.
Проект попытался автоматизировать процесс:
Текст истории → Раскрытие → Рисунок вручную → Динамическая презентация → Выход видео
Пользователям просто нужно предоставить содержимое истории, и система поможет создать анимацию рисунков, подходящих для распространения коротких видео.
Анализ основных функций;
1.Китайские истории автоматически создают анимацию ручной рисования
Проект поддерживает прямой ввод китайской истории.
Например:
Маленькая девочка находит раненого птица в лесу, она заботится о нем каждый день, и в конечном итоге птица снова летит в небо.
Система может быть выполнена вокруг содержания истории:
- разборки текста;
- планирование сценариев;
- создание изображений;
- анимационная визуализация;
- Подпись показывает.
Результаты экспорта похожи на «Динамические книги».
Этот подход особенно подходит для:
- счеты детских историй;
- Канал перед сном;
- - видеоролики для распространения знаний;
- Создатели контента.
2.статические изображения, нарисованные вручную
Помимо создания текста, проект также поддерживает анимацию существующих изображений.
Например, у вас есть:
01.jpg
02.jpg
03.jpg
04.jpg
Несколько последовательных комиксов.
Инструменты могут:
- сохранение порядка изображения;
- Добавление динамических эффектов;
- создание ощущения переворачивания страниц;
- Создание видео.
Это очень полезно для авторов комиксов, дизайнеров книг с рисунками.
3.Ручные рисунки показывают эффекты
Особенностью проекта является моделирование «процесса рисования».
Видео не показывает непосредственно полное изображение, а:
Первая стадия:
文字出现
↓
黑白线稿逐渐绘制
↓
颜色慢慢填充
↓
完整插画呈现
Этот эффект похож на анимацию доски (Whiteboard Animation) и повышает ощущение ожидания во время просмотра.
III. Технологическая реализация идей
С технической точки зрения, подобные системы на самом деле являются многоступенчатой конвейерной линией ИИ.
Общая архитектура выглядит следующим образом:
用户故事
|
↓
文本理解
|
↓
故事分镜
|
↓
AI图片生成
|
↓
手绘风格处理
|
↓
动画合成
|
↓
MP4视频输出
Это включает в себя несколько технических модулей:
1.История понимания и создания зеркалов
Прежде всего необходимо понять текст:
Например:
Оригинальный рассказ:
Кошки каждый день ждут хозяина домой.
AI будет демонтироваться на:
Камерка 1:
- Сцена: комната
- Главный герой: кошка
- Сидеть у окна и ждать
Камер 2:
- Сцена: Сумерки улицы
- Главный герой: хозяин
- Действия: Открыть дом
Таким образом, можно создать непрерывную картину.
2.Создание изображений
Создание соответствующей иллюстрации на основе частиц.
Как правило, необходимо поддерживать:
- - согласованность ролей;
- унификация сцены;
- Стабильный стиль.
В противном случае каждый кадр может меняться.
3.анимационная визуализация
После обработки статического изображения:
- Добавить перемещение объектива;
- Добавление анимации рисования;
- Добавление переходов;
- Добавление субтитров.
В конечном итоге создается видео.
Аналогичное направление «эскизов в динамическое видео» также является популярным направлением в исследованиях видео искусственного интеллекта в последние годы.
IV. Окружающая среда осуществления проекта
Согласно описанию проекта, для запуска инструмента обычно требуется:
- Node.js;
- Python;
- FFmpeg;
- НПМ;
- среда визуализации браузера.
Процесс установки:
git clone https://github.com/gnipbao/story-to-handdrawn-video.git
cd story-to-handdrawn-video
npm ci
Затем выполнить проверку проекта:
npm run check
Можно проверить, нормально ли окружающая среда.
V. Для кого это подходит?
1.Создатель коротких видео
Например:
- Красная книга - рассказ;
- счетов знаний;
- Создатель YouTube Shorts.
Раньше требовалась профессиональная анимационная команда, а теперь основной контент можно автоматически генерировать с помощью ИИ.
2.Просветительский персонал
Учитель может взять:
- исторические истории;
- научные знания;
- - примеры занятий;
Преобразуйте в более понятное видео.
Например:
3 минуты для изучения Солнечной системы
Это может превратиться в:
Раскрашенное вручную Солнце → Появление планет → Подписи объяснения.
3.Автор рисунка
Для автора картины:
Имеющиеся работы:
绘本图片
↓
自动动画化
↓
电子绘本视频
Можно расширить новые каналы коммуникации.
VI. Преимущества и недостатки
Преимущества
Снижение порога для создания анимации
Пользователям не нужно учиться:
- После эффектов;
- блендер;
- Animate.
Можно создать простую анимацию.
✅ Сохранить температуру ручной рисования
По сравнению с полностью AI генерированные видео:
Ручные стили имеют:
- гуманистическое чувство;
- ощущение истории;
- Сближение.
✅ Открытый исходный код расширяется
Разработчики могут в зависимости от потребностей:
- изменение эффектов анимации;
- доступ к собственным моделям;
- Добавить модуль озвучивания.
недостаточно
Согласованность ролей остается проблемой.
Одна из самых больших проблем создания изображений AI:
Один и тот же человек может меняться в разных кадрах.
Сделать длинную историю сложно.
Короткие рассказы лучше.
Если производить:
30 минут анимации,
По-прежнему необходимо:
- Ручной аудит;
- корректировка объектива;
- позднее редакции.
Ограниченные возможности аудио
В настоящее время основное внимание уделяется созданию картин.
Для полного видео требуется:
- - голосовать;
- Музыка;
- Звуковые эффекты.
VII. Будущие направления развития
Возможно, в будущем будут разработаны аналогичные инструменты:
1.Создание полной анимации в одном предложении
Например:
Ввод:
«Сделать небольшую историю об охране окружающей среды».
Автоматическая генерация:
- сценарий;
- Роль;
- зеркала;
- озвучивание;
- Видео.
2.Персонализация ролей
Загрузка пользователя:
Свой комиксовный персонаж.
Автоматическое удержание:
- внешний вид;
- характера;
- Рисует ветер.
3.Анимационный режиссер AI
В будущем ИИ будет не только генерировать изображения, но и отвечать за:
- Дизайн драмы;
- Язык видеокамеры;
- контроль ритма;
- Эмоциональное выражение.
Резюме
story-to-handdrawn-video Это представляет собой новый способ производства контента:
Пусть история больше не останавливается в словах, а автоматически превращается в живопись ручной анимации.
Он не заменяет профессиональных аниматоров, а снижает порог творчества и позволяет большему числу простых людей воплощать свои истории, знания и идеи в визуальные произведения.
По мере того, как искусственный интеллект продолжает развиваться технология создания изображений и видео, процесс создания «текст → анимация → видео» может стать важным способом производства личного контента в будущем.
Такие проекты с открытым исходным кодом заслуживают внимания для тех, кто хочет войти в сферу создания контента с ИИ.