Aujourd ' hui, avec l'évolution rapide de la technologie de génération vidéo AI, de plus en plus de créateurs commencent à explorer une forme de contenu plus chaude :Histoire animée vidéo。
Par rapport à la recherche d'une vidéo d'IA hautement réaliste, le style de peinture à la main ressemble plus à un livre d'images en mouvement - des lignes simples, des images apparaissant progressivement et des histoires accompagnées de sous-titres, ce qui convient mieux aux histoires d'enfants, à la vulgarisation des connaissances, à la création personnelle, aux comptes vidéo courts et à d'autres scènes.
Les projets open source Story-to - Handdrawn-Video C'est pour répondre à cette demande qu ' est né un ensemble d'outils automatisés : il essaie de transformer « une histoire de texte » ou « un ensemble d'images peintes à la main » en une vidéo animée à écran vertical dessinée à la main.
Qu ' est-ce que le story-to - hand-drawn - video ?
story-to-handdrawn-video C'est un projet de production vidéo d'IA pour les créateurs dans le but d'abaisser le seuil de la création d'animations peintes à la main.
La production traditionnelle d'une vidéo d'histoire peinte à la main nécessite généralement :
- Rédiger un script d'histoire ;
- Splitter les histoires ;
- Dessiner des personnages et des scènes ;
- Créer une animation frame by frame ;
- Ajouter des sous-titres ;
- Vidéo composite.
L'ensemble du processus nécessite souvent une expérience de conception d'animation.
Ce projet tente d'automatiser le processus :
Texte de l'histoire → Splitter → Images peintes à la main → Affichage dynamique → Sortie vidéo
L'utilisateur n'a qu'à fournir le contenu de l'histoire, et le système peut aider à générer une animation dessinée dessinée à la main adaptée à la diffusion de courtes vidéos.
Analyse de la fonction de base
1. L'histoire chinoise génère automatiquement une animation peinte à la main
Le projet prend en charge la saisie directe des histoires en chinois.
Par exemple :
La petite fille trouve un oiseau blessé dans la forêt, elle s'en occupe tous les jours, et finalement l'oiseau s'envolera de nouveau dans le ciel.
Le système peut être complété autour du contenu de l'histoire :
- Décomposition de texte ;
- Planification du scénario ;
- image générée ;
- Animation rendue ;
- Affichage des sous-titres.
La sortie finale ressemble à un « livre d'image dynamique ».
Cette approche est particulièrement adaptée pour :
- Compte d'histoires pour enfants ;
- Channels d'histoires avant le coucher ;
- Vidéo de vulgarisation des connaissances ;
- Créateur de contenu AI.
2. Image statique dessinée à la main à l'animation
En plus de la génération de texte, le projet prend également en charge la création d'animations avec des matériaux d'image existants.
Par exemple, vous possédez :
01.jpg
02.jpg
03.jpg
04.jpg
Plusieurs images de bande dessinée consécutives.
Les outils peuvent :
- préserver l'ordre des images ;
- Ajouter des effets dynamiques ;
- créer une sensation de page tournante ;
- générer une vidéo.
C'est très précieux pour les auteurs de bandes dessinées et les concepteurs de livres d'images.
3. Peinture à la main révèle l'effet
L'une des caractéristiques principales du projet est la simulation du « processus de peinture ».
Au lieu d'afficher directement l'image complète, la vidéo :
Phase I :
文字出现
↓
黑白线稿逐渐绘制
↓
颜色慢慢填充
↓
完整插画呈现
Cet effet est similaire à l'animation au tableau blanc, qui peut améliorer le sentiment d'attente pendant le processus de visualisation.
III. Réalisation technique
D'un point de vue technique, ce type de système est en fait un pipeline de contenu AI en plusieurs étapes.
L'architecture globale est la suivante :
用户故事
|
↓
文本理解
|
↓
故事分镜
|
↓
AI图片生成
|
↓
手绘风格处理
|
↓
动画合成
|
↓
MP4视频输出
qui concerne une pluralité de modules techniques :
1. Compréhension de l'histoire et génération de spectraux
Il faut d'abord comprendre le texte :
Par exemple :
Histoire originale :
Chaque jour, les chatons attendent le retour de leur propriétaire.
L'AI se décompose en :
Lens 1 :
- Scène : Chambre
- Acteur : Kitten
- Action : Assis à la fenêtre et attendant
Lens 2 :
- Scène : Twilight Street
- Acteur : Master
- Action : ouvrir la porte
Cela permet de former une image continue.
2. Image générée
et générer une illustration correspondante à partir d'un miroir partiel.
Il est généralement nécessaire de garder :
- Rôle cohérent ;
- Unité de scène ;
- Le style est stable.
Sinon, le personnage peut changer à chaque image.
3. Render animé
Après le traitement de l'image statique :
- Ajouter le mouvement de lentille ;
- Ajouter des animations de dessin ;
- Ajouter un champ de transition
- Ajoutez des sous-titres.
La vidéo est finalement formée.
Une direction similaire de « croquis à vidéo dynamique » est également une direction populaire dans la recherche vidéo AI ces dernières années.
IV. Environnement opérationnel du projet
Selon la description du projet, l'exécution de l'outil nécessite généralement :
- Le Node.js ;
- Python ;
- FFmpeg ;
- NPM ;
- Environnement de rendu du navigateur.
Le processus d'installation est approximatif :
git clone https://github.com/gnipbao/story-to-handdrawn-video.git
cd story-to-handdrawn-video
npm ci
Effectuez ensuite une inspection d'élément :
npm run check
Cela permet de vérifier que l'environnement est normal.
V. Pour qui convient-il ?
1. Créateur de courte vidéo
Par exemple :
- Compte d'histoire du petit livre rouge ;
- Compte de connaissances de bavardage ;
- Créateur de YouTube Shorts.
Auparavant, il fallait une équipe d'animation professionnelle, mais maintenant le contenu de base peut être généré automatiquement avec l'IA.
2.Éducateur
Les enseignants peuvent mettre :
- Histoires historiques ;
- Connaissances scientifiques populaires ;
- Cas de classe ;
Convertir en une vidéo plus facile à comprendre.
Par exemple :
En savoir plus sur le système solaire en 3 minutes
Cela peut devenir :
Soleil peint à la main → planètes apparues → sous-titres explication.
3. Auteur de livre illustré
Pour les auteurs de livres illustrés :
Travaux existants :
绘本图片
↓
自动动画化
↓
电子绘本视频
De nouveaux canaux de communication peuvent être développés.
VI. Avantages et lacunes
avantage
✅ Abaisser le seuil de production d'animation
L'utilisateur moyen n'a pas besoin d'apprendre :
- Après les effets ;
- Blender ;
- animé.
Une animation simple peut être créée.
✅ Conserver la température peinte à la main
Par rapport à une vidéo entièrement générée par IA :
Le style de peinture à la main a :
- un sens de l'humanité ;
- sens de l'histoire ;
- affinité.
✅ Open Source évolutif
Les développeurs peuvent, en fonction de leurs besoins :
- Modifier les effets d'animation ;
- accéder à son propre modèle ;
- Ajouter un module de doublage.
insuffisante
La cohérence des rôles reste un défi
L'un des plus grands problèmes de la génération d'images AI :
Le même personnage peut changer dans différents plans.
Difficulté de faire des histoires longues
Les histoires courtes fonctionnent mieux.
Si vous faites :
30 minutes d'animation,
Il reste nécessaire de :
- Audit manuel ;
- Ajustement de lentille ;
- Post-édition.
Capacité audio limitée
L'accent est actuellement mis sur la génération d'images.
La vidéo complète nécessite également :
- Doubleté ;
- musique ;
- Effets sonores.
VII. Orientation du développement futur
Des outils similaires pourraient être développés à l'avenir :
1. Animation complète en une phrase
Par exemple :
Input :
« Faire une petite histoire sur l'environnement. »
Générer automatiquement :
- scénario ;
- Rôle ;
- Splitter ;
- doublure ;
- Vidéo.
2. Personnalisation du rôle
Utilisateur Upload :
personnages de comics.
AI maintient automatiquement :
- apparence ;
- personnage ;
- style de peinture.
3. Directeur d'animation
L'IA du futur ne se contente pas de générer des images, elle est responsable :
- scénario de design ;
- Langage de caméra ;
- Contrôle du rythme ;
- expression émotionnelle.
Résumé
story-to-handdrawn-video Il représente une nouvelle façon de produire du contenu :
Laissez l'histoire ne rester plus dans les mots, mais devenir automatiquement une animation peinte à la main avec de la vie.
Il ne remplace pas les animateurs professionnels, mais abaisse le seuil de la création et permet à plus de gens ordinaires de transformer leurs histoires, leurs connaissances et leurs idées en œuvres visuelles.
Avec la technologie de génération d'images et de vidéos de l'IA en pleine maturité, le processus de création « texte → animation → vidéo » pourrait devenir un moyen important de produire du contenu personnel à l'avenir.
Pour ceux qui veulent entrer dans le domaine de la création de contenu IA, ce type de projet open source mérite une attention.