Con el rápido desarrollo de la tecnología de generación de video de IA, más y más creadores están comenzando a explorar una forma de contenido más caliente:Historias animadas a mano video。
En comparación con la búsqueda de videos de IA altamente realistas, el estilo dibujado a mano es más como un libro de dibujos en movimiento: líneas simples, imágenes que aparecen gradualmente, historias acompañadas de subtítulos, que son más adecuadas para historias infantiles, divulgación del conocimiento, creación personal, cuentas de video cortas y otras escenas.
Proyectos de código abierto Artículo-Handdrawn - Video Fue para esta necesidad que nació un conjunto de herramientas automatizadas: trata de convertir "una historia de texto " o" un conjunto de imágenes dibujadas a mano " en un video animado dibujado a mano en pantalla vertical con una sensación de caricatura.
¿Qué es el video Story-to - Hand-Draw?
story-to-handdrawn-video Es un proyecto de producción de video de IA para creadores con el objetivo de reducir el umbral para la animación dibujada a mano.
La producción tradicional de un video de historia dibujada a mano, por lo general requiere:
- Escribir el guión de la historia;
- La historia dividida
- Dibujo de personajes y escenas;
- hacer una animación frame-by - frame;
- Añadir subtítulos;
- Compuesto de vídeo.
A menudo, todo el proceso requiere experiencia en diseño de animación.
Este proyecto trata de automatizar el proceso:
Texto de la historia → Espector → Imagen dibujada a mano → Visualización dinámica → Salida de video
El usuario solo necesita proporcionar el contenido de la historia, y el sistema puede ayudar a generar animaciones de cómic dibujadas a mano adecuadas para la difusión de videos cortos.
II. Análisis de funciones centrales
1. Historias chinas generan automáticamente animación dibujada a mano
El proyecto admite la entrada directa de historias en chino.
Por ejemplo:
La niña encuentra un pájaro herido en el bosque, y ella lo cuida todos los días, y finalmente el pájaro vuela de nuevo al cielo.
El sistema se puede hacer alrededor del contenido de la historia:
- Desmontaje de texto;
- Planificación de escenarios;
- generación de imágenes;
- Render de animación;
- Subtítulos mostrados.
La salida final es similar a un efecto de "librero dinámico".
Este método es particularmente adecuado para:
- Cuenta de cuentos para niños;
- Canal de cuentos de noche;
- Video de divulgación de conocimientos;
- Creador de contenido.
2. Imagen estática dibujada a mano a animación
Además de la generación de texto, el proyecto también admite la animación de materiales de imagen existentes.
Por ejemplo, usted ya tiene:
01.jpg
02.jpg
03.jpg
04.jpg
Varias imágenes de cómics en serie.
La herramienta puede:
- mantener el orden de las imágenes;
- Añadir efectos dinámicos;
- Crear una sensación de página;
- Generar un video.
Esto es muy valioso para los autores de cómics, diseñadores de libros ilustrados.
3. Dibujo de mano revela efectos
Una de las características del proyecto es la simulación del "proceso de pintura".
En lugar de mostrar directamente la imagen completa, el video muestra:
Fase I:
文字出现
↓
黑白线稿逐渐绘制
↓
颜色慢慢填充
↓
完整插画呈现
Este efecto es similar a la animación de pizarra y puede mejorar la sensación de expectativa durante la visualización.
III. Ideas de implementación técnica
Desde un punto de vista técnico, este tipo de sistema es en realidad una tubería de contenido de IA de varias etapas.
La arquitectura general es la siguiente:
用户故事
|
↓
文本理解
|
↓
故事分镜
|
↓
AI图片生成
|
↓
手绘风格处理
|
↓
动画合成
|
↓
MP4视频输出
que involucra una pluralidad de módulos técnicos:
1. Comprendimiento de historias y generación de espectros
Primero es necesario comprender el texto:
Por ejemplo:
Historia original:
Los gatitos esperan a su dueño a casa todos los días.
La AI se desmonta en:
Fotografía 1:
- Escena: Sala
- Protagonista: El gatito
- Acción: Sentado en la ventana y esperando
Fotografía 2:
- Escenario: Las calles del crepúsculo
- Protagonista: Maestro
- Acción: Abrir la puerta
De esta manera se puede formar una imagen continua.
2. Imagen generación
y generar una ilustración correspondiente de acuerdo con ese espejo.
Por lo general, es necesario mantener:
- El rol es consistente;
- Unificación de la escena;
- El estilo es estable.
De lo contrario, el personaje puede cambiar con cada fotograma.
3. Animación Render
Después del procesamiento de la imagen estática:
- Añadir movimiento de lente;
- Añadir dibujo de animación;
- Añadir una transición;
- Añadir subtítulos.
Finalmente se forma un video.
Una dirección similar de "boceto a video dinámico" también es una dirección popular en la investigación de video de IA en los últimos años.
IV. entorno de operación del proyecto
Según la descripción del proyecto, la ejecución de la herramienta generalmente requiere:
- El Node.js;
- El Python;
- El FFmpeg
- npm;
- El entorno de renderizado del navegador.
El proceso de instalación es aproximadamente:
git clone https://github.com/gnipbao/story-to-handdrawn-video.git
cd story-to-handdrawn-video
npm ci
A continuación, realice la verificación del proyecto:
npm run check
Verifique si el entorno es normal.
V. ¿Para quiénes es adecuado?
1. Creador de vídeos cortos
Por ejemplo:
- Cuenta de historia del pequeño libro rojo;
- Cuenta de conocimiento chatter;
- Creadores de YouTube Shorts.
Lo que solía requerir un equipo de animación profesional, ahora es posible generar contenido básico automáticamente a través de la IA.
2. Educadores
Los maestros pueden poner:
- historias históricas;
- conocimiento científico popular;
- Casos de clase;
Convertir en un vídeo más comprensible.
Por ejemplo:
Conozca el sistema solar en 3 minutos
Puede ser:
Sol pintado a mano → Aparición de planetas → Explicación de subtítulos.
3. Autor del libro ilustrado
Para los autores de libros ilustrados:
Obras existentes:
绘本图片
↓
自动动画化
↓
电子绘本视频
Se pueden ampliar nuevos canales de comunicación.
VI. Ventajas y desventajas
Ventaja
✅ Bajar el umbral de la animación
El usuario no necesita aprender:
- después de los efectos;
- Blender;
- animación.
Se puede hacer una animación simple.
✅ Mantener la temperatura dibujada a mano
En comparación con un video generado por IA completa:
Los estilos de dibujo a mano tienen:
- sentido de humanidad;
- El sentido de la historia;
- afinidad.
✅ Open Source es extensible
Los desarrolladores pueden dependiendo de sus necesidades:
- Modificar el efecto de animación;
- Acceso a su propio modelo;
- Añadir un módulo de voz.
insuficiencia
La consistencia de los roles sigue siendo un desafío
Uno de los mayores problemas de la generación de imágenes de AI:
El mismo personaje puede cambiar en diferentes tomas.
Dificultad de hacer historias largas
Las historias cortas funcionan mejor.
Si se hace:
30 minutos de animación,
Sigue siendo necesario:
- Auditoría manual;
- Ajuste de lente;
- Post-editado.
Capacidad de audio limitada
En este momento, el énfasis está en la generación de imágenes.
El video completo también requiere:
- El doblaje;
- la música;
- efectos sonoros.
VII. Dirección de desarrollo futuro
Es probable que se desarrollen herramientas similares en el futuro:
1. Una frase genera una animación completa
Por ejemplo:
Ingresos:
"Hacer una pequeña historia sobre el medio ambiente ".
Generación automática:
- El guión;
- roles;
- Espectroscopia;
- Doblación;
- El video.
2. Personalización Role
Subido por el usuario:
su propio personaje de cómic.
AI mantiene automáticamente:
- Apariencia;
- personajes;
- estilo de pintura.
3. Director de animación
La IA del futuro no solo generará imágenes, sino que será responsable de:
- Diseño dramático;
- Lenguaje de la cámara;
- Control de ritmo;
- expresión emocional.
Resumen
story-to-handdrawn-video Representa una nueva forma de producción de contenido:
Deja que la historia ya no se detenga en las palabras, sino que se convierta automáticamente en una animación dibujada a mano con vida.
En lugar de reemplazar a los animadores profesionales, está bajando el umbral de la creación y permitiendo a más personas comunes convertir sus historias, conocimientos e ideas en obras visuales.
A medida que la tecnología de generación de imágenes y videos de IA continúa madurando, el proceso de creación de "texto → animación → video" puede convertirse en una forma importante de producción de contenido personal en el futuro.
Para aquellos que quieren entrar en el campo de la creación de contenido de IA, este tipo de proyectos de código abierto merecen atención.