Когда я увидел справочное видео, моя первая реакция была: это видео мы должны уметь имитировать.История не имеет значения, возьмем любую из нас сейчас, в основном смотреть на эффект.Изображение есть, история есть, голос мы также можем синтезировать, я чувствовал, что... все готово, сначала сделайте один, а потом скажите.
Как делается история.
История проста: когда ребенок был маленьким, он всегда хотел обнимать руку, а мама смеялась над ним, обнимая его.Однажды, пересекая улицу, ребенок впервые сказал: «Я иду сам».Руки мамы остались в пустом, и вдруг не помню, когда последний раз обнимала его.В тот же вечер она снова подняла спящего ребенка.
Мы разделили его на шесть картин:
-
Ребенок открыл руки и бежал к матери.
-
Мама подняла его и сказала: «Сколько тяжело».
-
Когда ребенок перешел дорогу, он впервые сказал: «Я пойду сам».
-
Руки матери висели в воздухе, а спина ребенка все дальше и дальше.
-
Вечером мама снова обнимала спящего ребенка.
-
Один большой, один маленький, два спины, которые уходят далеко, используются для удержания фразы «последний раз никогда не сообщайте».
Все шесть из них полезны.Первые две картинки убеждают в том, что «он всегда должен был обнимать», третий прерывает повседневную жизнь, четвертый заставляет мать отреагировать, пятый показывает ее движения, а последний - закончить.Снимайте любую из них, и эмоции станут жесткими.
Затем фиксированные фигурыСначала мы подготовили справочную фотографию матери и ребенка: мать с короткими черными волосами, вытянутыми до плеча, в фиолетовом свитер из соевого порошка; ребенок пять лет, чёрный, беспорядочные волосы, круглое лицо, без передних зубов, в горчичной желтой футболке.Все шесть изображений передаются вместе с двумя справочными картинками в инструмент создания изображений, и одежда не меняется на протяжении всего процесса.
Не надо полагаться только на слова и на сцену.Для гостиной, пересечения и ночной спальни подготавливается справочная карта окружающей среды для каждой.При выполнении картины гостиной возьмите ссылку на гостиную, при выполнении пересечения зебры возьмите ссылку на пересечение улицы.Фон не нужно копировать точно одинаково, но один и тот же дом, одна и та же улица не должны внезапно меняться в разных картинках.
Используя встроенную в Codex функцию создания изображений, вы делаете отдельные изображения в виде вертикального изображения 3: 4, не создавая текста в изображениях.Общие предложения в целом следуют следующим образом:
同一位妈妈：黑色齐肩外翘短发，鹅蛋脸尖下巴，细长脖子，
豆沙粉紫圆领毛衣。
同一个五岁男孩：头大身小，黑色乱发，圆脸短脖，
缺一颗门牙，芥末黄 T 恤。全程不换衣服。
画风：1950 年代美式中古动画概念稿，传统水粉和彩铅，
画在白纸上，大面积留白，环境像舞台布景，不像照片。
构图：3:4 竖版，顶部至少 35% 留白，四个角保持白色，
不要日系动漫脸、3D、矢量插画、满构图、文字、水印、
额外人物和服装变化。Затем каждая фотография дополняет только то движение и окружение, которые действительно нужны.Например, четвертый:
同一街口。妈妈豆沙粉紫袖口和悬空的手占前景，
手指微微收拢；远处是儿子穿芥末黄 T 恤走远的小背影。
画面保留大片空白，色调比上一幕稍冷，情绪克制。Не нужно писать много литературы, а сначала фиксировать то, что изменится: один и тот же человек, одна и та же одежда, один и тот же стиль рисования, один и тот же тип белых.Сделайте только одну картину на одной сцене, и не возьмите одну картину на две сюжеты.
Для того, чтобы сделать снимок с нуля, нужно получить минимум шесть квалифицированных иллюстраций.Сколько раз будет создано, зависит от того, изменилось ли лицо персонажа, сломались ли руки и оставлено ли место для текста.В то время в производственном документе оставалось только шесть графиков, которые были окончательно приняты, и не были сохранены в полном объеме за каждое повторное испытание и вычеты, поэтому я не составил «колько было потрачено в общем объеме».
После того, как шесть картин были готовы, оригинальный короткометражный фильм также очень прост: каждая картинка длится 4,25 секунды, сначала напишите китайский язык буквально на белой бумаге, а затем позволите версии той же картинки в оттенках серого отображаться слева направо, и, наконец, позволите цветным картинкам покрываться слева направо.Переключение между сценами непосредственно, не позволяя персонажу двигаться.Шесть картин составляют 25,5 секунды, с фоновой музыкой и звуком напечатки, без аннотации.
Здесь, оригинальный статический короткометражный фильм был закончен.
Выход видео
Во-первых, проанализируйте следующее видео: компоновка каждой сцены в основном неизменна: одно предложение в верхней части, картинка в середине, китайский и английский внизу; голоса читаются только на английском языке.Изображение сначала переходит из пустого в серое оттенки, а затем переходит слева направо в цвет.
Выглядит, как рисунок, сделанный на месте, на самом деле не используется видеомодель.Копируйте два слоя на одном и том же рисунке, снизу убрав цвет, а верхнему сохранив цветную картину, затем маскируйте каждый из них слева направо, т. е. постепенно освобождая видимую область.Я также объясняю инструменты, которые я использовал:
-
Браузер Chrome используется для просмотра оригинальных сообщений X и ссылки на видео.
-
В macOS есть собственная функция say, которая читает английский текст в голосу.
-
Remotion - это инструмент для типографии и создания видео с помощью веб-кода (React), который отвечает за изображения, текст, маски и временную шкалу.
-
FFmpeg - это инструмент командной строки для обработки видео и аудио, который преобразует аудио форматы и, наконец, микширует фоновую музыку; он поставляется с собственным ffprobe для проверки разрешения, частоты кадров, продолжительности и аудио треков.
-
MLX Whisper - это локальная модель распознавания речи.После того, как он будет готов, попросите его снова диктовать английский язык, проверяяя, нет ли пропусков или вырезок.
Скрипты выполняются в среде Node.js 22.22.1, а для видео используется Remotion 4.0.484 и FFmpeg 8.1.2.Название инструмента выглядит много, на самом деле изображение принадлежит Remotion, звук принадлежит FFmpeg, другие инструменты в основном отвечают за проверку.
Параметры анимации для каждой сцены были окончательно определены: сначала пустое 0,2 секунды, затем сканирование оттенков серого за 1,45 секунды, а цветная картинка за 1,2 секунды.Кромки маски оставляют 10% мягкости, а изображение медленно увеличивается с 1 раза до 1022 раза.Масштабы очень малы, но если не двигаться, шесть секунд действительно похожи на PPT.
typescript
const sketchProgress = interpolate(t, [0.2, 1.65], [0, 1]);
const colorProgress = interpolate(t, [1.65, 2.85], [0, 1]);
show(grayscale(image), leftToRightMask(sketchProgress));
show(image, leftToRightMask(colorProgress));Для оттенков серого и цветных слоев необходимо использовать одно и то же изображение, одно и то же место обрезки и одно и то же значение масштабирования.Не создавайте «более похожий на линейный проект» и помещайте его ниже.Если на двух картинках пять чувств чуть меньше, то лицо прыгает, когда входит цветная картинка, что особенно очевидно.
Я также сделал список сцен.Записывается только название картинки, заголовок на китайском языке, текст на китайском языке, устная трансляция на английском языке и место смещения картинки вверх и вниз:
Json
{
"image": "03-i-walk.png",
"title": "后来，他说我自己走",
"chinese": "那天过马路，他第一次说：「我自己走。」",
"english": "Then one day, at the crosswalk, he said it for the first time. I can walk by myself.",
"imagePosition": "center 64%"
}
И наконец, данный параметр местоположения игнорируется.На каждой картинке фигуры стоят в разном положении, все механически размещены в центре, либо отрезают голову, либо отрезают руки.
Как подключить английский голос и субтитры
В первую очередь используется собственный голос Саманты в macOS, который говорит 165 английских слов в минуту, и каждый эпизод создается отдельно.Этот процесс называется текстом в речь, также часто сокращается как TTS.
При высокой конфигурации машины, CosyVoice Маленькая модель синтетического голоса будет лучше.
bash
say -v Samantha -r 165 -o scene.aiff "English narration here"
ffmpeg -i scene.aiff -ar 48000 -ac 1 scene.wavНе записывайте шесть страниц в один большой документ.Если в третьей части есть проблемы с произношением, то измените только третью часть, а первые два не должны повторяться.
После того, как будет сгенерирована речь, будет прочитана реальная продолжительность каждого сегмента.В каждом из разделов «Не менее 6,4 секунды» и «Продолжительность разговора плюс 0,55 секунды» следует принимать большее значение.Остановитесь не менее 6,4 секунды на короткие, а оставьте еще полсекунда на длинные.Не угадайте по количеству букв на английском языке, не разрешайте.
Английские субтитры не имеют словенного кода времени.Я подсчитал, сколько слов я должен показать, используя «время воспроизведения ÷ общую продолжительность этого фрагмента».Каждый текст содержит 18 - 20 слов, и это достаточно для того, чтобы сделать субтитры.Если вы хотите учить английский язык, чтобы голос указывал именно на слово, то на каждое слово нужно пометить временной метку.
Китайский язык показывает только, не читает вслухПрочитать на английском и китайском языках каждый раз, 39,6 секунды быстро продлится до минуты, и зрители будут очень раздражены ждать.
Картина и голос созданы в одной версии, и фоновая музыка в конце концов смешивается.Громкость музыки сначала устанавливается до 0,08, при появлении человеческого голоса музыка автоматически понижается, наконец, ограничивает максимальный пик громкости, чтобы избежать внезапных взрывов.Первоначальные конкретные параметры: порог 0,02, отношение 9, атака 18 мс, выпуск 300 мс, пик не превышает 0,95.Они подходят только для этого фильма и этой музыки, но придется слушать новую песню, не считая ее секретом предков.
Еще одно место, где легко чувствовать себя хорошо: Шестер может диктовать полностью, что означает, что машина понимает, а не естественный звук.Саманта эта версия не проблема, чтобы взять метод проверки, прежде чем действительно отправить, все еще нужно использовать мобильный телефон для того, чтобы полностью послушать.Уставшая, не похожая на станцию газеты, человеческие уши решают.
Резюме
Во-первых, фигуры ссылки на провинции.Как правило, лучше, если в подсказке написать «одна и та же мать» сто раз, каждый раз принося с собой одну и ту же фигуру.
Во-вторых, одна карта.Не используйте фотографию, в которой говорится: «Ребенок отказывается обнимать» и «Мама обнимает его вечером», так что зрители не знают, что посмотреть.
В-третьих, цветные чертежи оттенков серого не являются настоящим проектом.Оригинальный фон слишком сложный, и после удаления цветов он все равно грязный.Заменить более чистую оригинальную картинку, полезно, чем сумасшедшее затягивание контраста.
В-четвертых, не позволяйте видеомодели повторить весь фильм один раз.Эта форма требует фигур, композиции и текстов, без того, чтобы опираться на последовательность движений, чтобы четко объяснить содержание.Видеомодель изменила лицо, руки или одежду, а переработала больше.
В-пятых, фоновая музыка добавляется в заключение.Не спешите с музыкой до тех пор, пока картинки и устные трансляции не будут определены, иначе вы не будете знать, медленно ли история, медленный звук или музыка захватывает голос.
В-шестых, признается только окончательный MP4.Я снова передал пленку местному распознаванию речи, все шесть фрагментов на английском языке, и автоматически проверил холст, частоту кадров, кодирование и аудиотреки.Предварительный просмотр в редакторе нормален, не означает, что экспортируемый файл должен быть нормальным.
На этот раз я не собираюсь превращать ее в новую сборочную линию.Я взял этот пластик только для того, чтобы проверить одну вещь: у меня уже есть набор стабильных и чистых исторических иллюстраций с персонажами, которые можно создать двуязычными рисунками вручную в любом формате и временной шкале.
Если я действительно хочу продолжить, то сначала я перехожу на более естественный английский голос (CosyVoice), посмотрим на данные, прежде чем решить, стоит ли сделать больше.