In der heutigen Zeit der rasanten Entwicklung der KI-Video - Generierungstechnologie erforschen mehr und mehr Kreatoren eine Temperaturform von Inhalten:Hand gezeichnet animierte Geschichten Videos。
Im Vergleich zu hochrealistischen KI-Videos ist der handgemaltene Stil eher wie ein bewegendes Zeichnbuch - einfache Linien, allmählich erscheinende Bilder, Geschichten mit Untertiteln, die besser geeignet sind für Kindergeschichten, Wissensbekanntmachung, persönliche Kreation, kurze Video-Konten und andere Szenen.
Das Open Source Projekt. Story-to - hand-drawn - video Genau für diese Notwendigkeit wurde eine Reihe von automatisierten Werkzeugen geboren: Es versucht, „eine Textgeschichte" oder „eine Reihe von handgezeichneten Bildern" in ein animiertes, von Hand gezeichnetes Video mit einem Comic-Feeling auf dem vertikalen Bildschirm zu verwandeln.
Was ist Story-to - Handdrawn Video?
story-to-handdrawn-video Es ist ein KI-Video - Produktionsprojekt für Kreatoren, das darauf abzielt, die Schwelle für die Herstellung von handgezeichneten Animationen zu senken.
Für die Erstellung eines traditionellen Handgezeichneten Geschichten-Video benötigt man in der Regel:
- Erstellung von Geschichten-Skripten;
- Spiegel der Geschichte;
- Charaktere und Szenen zu zeichnen;
- Erstellung von Bildern;
- Hinzufügen von Untertiteln;
- Synthetisches Video.
Der gesamte Prozess erfordert oft Erfahrung in Animationsdesign.
Das Projekt versucht, den Prozess zu automatisieren:
Story Text → Spiegel → Handgemaltes Bild → Dynamische Darstellung → Video-Ausgabe
Der Benutzer muss nur den Inhalt der Geschichte bereitstellen, und das System hilft bei der Erstellung von handgemalten Comic-Animationen, die für die Verbreitung von kurzen Videos geeignet sind.
II. Analyse der Kernfunktionen
1. Chinesische Geschichten erzeugen automatisch eine Handgemälde
Das Projekt unterstützt die direkte Eingabe von chinesischen Geschichten.
Zum Beispiel,
Ein kleines Mädchen findet einen verletzten Vogel im Wald, kümmert sich um ihn jeden Tag, und schließlich fliegt der Vogel wieder in den Himmel.
Das System kann rund um die Story-Inhalte geschlossen werden:
- Texte entfernen;
- Szenarienplanung;
- Bilder erzeugen;
- Animierung der Anlage;
- Untertitel zeigen.
Das Ergebnis ist ein ähnlicher Effekt als „Dynamikbuch".
Diese Methode eignet sich insbesondere für:
- Geschichten für Kinder;
- Schlafensgeschichten Kanal;
- Wissenschaftsvideos;
- Der Schöpfer des Inhalts.
2. Handgezeichnetes Bild umwandeln
Zusätzlich zu der Textgenerierung unterstützt das Projekt auch die Animation von vorhandenen Bildmaterial.
Sie haben zum Beispiel bereits:
01.jpg
02.jpg
03.jpg
04.jpg
Mehrere weitere Comic-Bilder.
Das Tool kann:
- Aufrechterhaltung der Reihenfolge der Bilder;
- Dynamische Effekte hinzufügen;
- Erstellen von Seitenrückstellungen;
- Video erzeugen.
Das ist sehr wertvoll für Comic-Autoren, Grafikbuch-Designer.
3. Die Hand zeichnet die Wirkung
Ein besonderes Merkmal des Projekts ist die Simulation des "Malprozesses".
Das Video zeigt nicht direkt das vollständige Bild, sondern:
Die erste Phase:
文字出现
↓
黑白线稿逐渐绘制
↓
颜色慢慢填充
↓
完整插画呈现
Dieser Effekt ähnelt Whiteboard Animation und erhöht das Gefühl der Erwartung beim Betrachten.
III. Technische Umsetzung Ideen
Aus technischer Sicht sind solche Systeme tatsächlich eine mehrstufige KI-Inhalt - Pipeline.
Die Gesamtstruktur sieht ungefähr folgendermaßen aus:
用户故事
|
↓
文本理解
|
↓
故事分镜
|
↓
AI图片生成
|
↓
手绘风格处理
|
↓
动画合成
|
↓
MP4视频输出
Dazu gehören mehrere technische Module:
1. Geschichten verstehen und erzeugen.
Zunächst muss man den Text verstehen:
Zum Beispiel,
Die Originalgeschichte:
Die Katze wartet jeden Tag auf die Rückkehr ihres Besitzers.
Er wird demontiert:
Kamera 1:
- Szene: Raum
- Protagonist: Katze
- Sitz am Fenster und Warten
Kamera 2:
- Szene: Dämmerungsstraße
- Protagonist: Herr
- Aktion: Öffnen Sie Ihr Haus
Dadurch kann ein kontinuierliches Bild entstehen.
2. Bilder erzeugt
Entsprechende Illustrationen basierend auf Spiegeln erzeugen.
In der Regel müssen Sie:
- übereinstimmende Rolle;
- Einheitliche Szene;
- Der Stil ist stabil.
Ansonsten kann sich die Person bei jedem Frame ändern.
3. Animierung Render
Nach der Verarbeitung des stillen Fotos:
- Hinzufügen der Kamerabewegung;
- Hinzufügen von Animationen;
- Hinzufügen von Umstellungen;
- Untertitel hinzufügen.
Am Ende entsteht ein Video.
Eine ähnliche Richtung „Sketch to Animated Video" ist auch in den letzten Jahren eine beliebte Richtung in der KI-Video - Forschung.
IV. Projektbetriebsumgebung
Nach der Projektbeschreibung benötigt die Ausführung dieses Tools in der Regel:
- Node.js;
- Python,
- FFmpeg;
- NPM;
- Der Browser stellt die Umgebung dar.
Installationsprozess im Großen und Ganzen:
git clone https://github.com/gnipbao/story-to-handdrawn-video.git
cd story-to-handdrawn-video
npm ci
Anschließend wird die Projektprüfung durchgeführt:
npm run check
Es kann überprüft werden, ob die Umgebung normal ist.
5. Für wen ist es geeignet?
1. Kurzvideo-Schöpfer
Zum Beispiel,
- Die Geschichte des kleinen roten Buches;
- Kenntnisse über das Konto;
- YouTube-Shorts - Schöpfer.
Was früher ein professionelles Animationsteam benötigt wurde, kann jetzt die Basisinhalte durch KI automatisch generiert werden.
2. Erzieherinnen und Erzieher
Der Lehrer kann:
- historische Geschichten;
- Wissensbekenntnis;
- Klasse-Fälle;
Umwandeln Sie in ein leichter verständliches Video.
Zum Beispiel,
Das Sonnensystem in drei Minuten
Kann sich verwandeln:
Handgemaltes Sonne → Planeten erscheinen → Untertitel erklärt.
3. Zeichnung Autoren
Für die Autorin:
Es gibt bereits Werke:
绘本图片
↓
自动动画化
↓
电子绘本视频
Neue Kommunikationskanäle können erweitert werden.
VI. Vorteile und Schwächen
Vorteile
Senken Sie die Schwelle für die Animation
Benutzer müssen nicht lernen:
- Nach den Effekten;
- Der Blender;
- Animate.
Einfache Animationen können erstellt werden.
✅ Handgemalttemperatur aufbewahren
Im Vergleich zu vollständig AI-generierten Videos:
Der Stil der Handmalerei hat:
- menschliches Gefühl;
- Geschichtliches Gefühl;
- Affinität.
Open Source kann erweitert werden
Der Entwickler kann je nach Bedarf:
- Änderung des Animationseffekts;
- Zugriff auf eigene Modelle;
- Hinzufügen von Stimmmodulen.
Unzureichend
Die Konsistenz der Rollen bleibt eine Herausforderung
Eines der größten Probleme bei der Bildererstellung:
Die gleiche Person kann sich in verschiedenen Aufnahmen ändern.
Lange Geschichten schwierig zu machen
Kurze Geschichten funktionieren besser.
Wenn Sie produzieren:
30 Minuten Animation,
Nach wie vor benötigt:
- - manuelle Prüfung;
- Anpassung der Kamera;
- Später Herausgeber.
Audio-Kapazität begrenzt
Der Schwerpunkt liegt derzeit auf der Bilderproduktion.
Das komplette Video benötigt:
- die Stimme;
- Musik;
- Sound-Effekt.
VII. Zukünftige Entwicklungsrichtung
Ähnliche Instrumente können in Zukunft weiterentwickelt werden:
1. Ein Satz erzeugt eine vollständige Animation.
Zum Beispiel,
Import:
„Eine kleine Geschichte über den Umweltschutz machen."
Automatisch generiert:
- Drehbuch;
- Rolle;
- Spiegel;
- Stimme;
- Video.
2. Individualisierte Rollen
Benutzer hochladen:
Eigene Comic-Rollen.
Automatisch behalten:
- Äußerliche Aussehen;
- Persönlichkeit;
- Zeichnen des Windes.
3. Der Animationsregisseur
Die künstliche KI erzeugt nicht nur Bilder, sondern ist für:
- Schauspieldesign;
- Sprache der Kameras;
- Tempo-Kontrolle;
- Emotionen zum Ausdruck bringen.
Zusammenfassung
story-to-handdrawn-video Es handelt sich um eine neue Art der Inhaltsproduktion:
Lassen Sie die Geschichte nicht mehr in Worten bleiben, sondern werden automatisch in lebhafte, handgemalte Animationen.
Es ist kein Ersatz für professionelle Animatoren, sondern es senkt die kreative Schwelle und ermöglicht es mehr gewöhnlichen Menschen, ihre Geschichten, Wissen und Ideen in visuelle Werke zu verwandeln.
Mit der kontinuierlichen Reife der KI-Bild - und Video-Generationstechnologie könnte der Erstellungsprozess von "Text → Animation → Video" zu einer wichtigen Möglichkeit für die Produktion von persönlichen Inhalten in der Zukunft werden.
Für diejenigen, die in den Bereich der KI-Inhalt - Erstellung eintreten möchten, sind solche Open-Source - Projekte einen Aufmerksamkeitsbedarf.