AI動画生成技術の急速な進歩により、よりホットなコンテンツ形式を模索するクリエイターが増えています。手描きアニメーションストーリー動画。
写実性の高いAI動画の追求とは対照的に、手描きスタイルは動く絵本のようなものです。シンプルな線、徐々に現れる画像、字幕付きの物語は、子供の物語、知識科学、個人的な創作、短いビデオアカウントなどのシーンに適しています。
オープンソースプロジェクト。 story-to-handdrawn-video このニーズに応えるために生まれた自動化ツールのセットです。“テキストストーリー”や“手描きの画像のセット”を、漫画的な垂直スクリーンの手描きアニメーション動画に変換しようとします。
story-to-handrawn-videoとは？
story-to-handdrawn-video 手描きアニメーション制作のハードルを下げることを目的としたクリエイター向けのAI動画制作プロジェクトです。
伝統的に手描きのストーリービデオを作成するには：
- ストーリー脚本の執筆
- ストーリーの分割;
- キャラクターやシーンを描く。
- フレームごとのアニメーションの作成
- 字幕の追加。
- 合成動画です。
プロセス全体にはしばしばアニメーションデザインの経験が必要です。
このプロジェクトはプロセスを自動化しようとしている。
ストーリーテキスト→鏡分割→手描き画像→動画出力
ユーザーはストーリーコンテンツを提供するだけで、システムは短いビデオ配信に適した手描き漫画アニメーションの生成を支援できます。
2.コア機能の分析
1.中国語ストーリー自動生成手描きアニメーション
プロジェクトは中国語ストーリーの直接入力をサポートします。
例えば：
少女は森の中で傷ついた鳥を見つけ、毎日世話をしていると、鳥は空に戻ってきます。
システムはストーリーを中心に構築できます。
- テキストの分解。
- シーンプランニング;
- 画像の生成;
- アニメーションレンダリング;
- 字幕表示です。
最終的な出力は“ダイナミック絵本”のような効果です。
これは特に適している：
- 子供の物語のアカウント;
- Bedly Storiesチャンネル
- 知識のあるビデオ;
- コンテンツクリエイターです。
2.静止画からアニメーションへ
テキスト生成に加えて、既存の画像素材のアニメーション化もサポートしています。
例えば、すでに所有している：
01.jpg
02.jpg
03.jpg
04.jpg
連続した漫画作品。
ツールは：
- 写真の順序を維持する。
- 動的効果の追加;
- ページをめくる感覚。
- 動画を作成。
これは漫画家やグラフィックデザイナーにとって非常に重要です。
3.効果を明らかにする
プロジェクトの大きな特徴は、“絵画プロセス”のシミュレーションです。
ビデオは完全な画像ではなく、
第1段階：
文字出现
↓
黑白线稿逐渐绘制
↓
颜色慢慢填充
↓
完整插画呈现
この効果は、ホワイトボードアニメーション（Whiteboard Animation）に似ており、視聴中の期待感を高めることができる。
三、技術実現の考え方
技術的な観点からは、この種のシステムは実際にはマルチステージAIコンテンツパイプラインです。
全体の構成は以下の通り。
用户故事
|
↓
文本理解
|
↓
故事分镜
|
↓
AI图片生成
|
↓
手绘风格处理
|
↓
动画合成
|
↓
MP4视频输出
いくつかの技術モジュールを含む。
1.ストーリー理解とスペクタクル生成
まずテキストを理解する必要があります。
例えば：
オリジナルストーリー：
猫は毎日飼い主の帰りを待つ。
AIは以下のように分解する。
カメラ1：
- シーン：部屋
- 主人公：子猫
- アクション：窓際で待つ
カメラ2：
- 舞台：夕暮れの街
- 主人公：オーナー。
- タグ：OPEN HOME
連続画像を作成できます。
2.画像の生成
スペクタクルから対応するイラストを生成する.
通常必要なもの：
- 役割の一貫性;
- シーンの統一;
- スタイルは安定。
または各フレームが変更されます。
3.アニメーションレンダリングアニメーションレンダリング
画像処理後の静止画：
- カメラの動きを追加
- ペイントアニメーションの追加;
- 遷移の追加;
- 字幕を追加。
最終的にはビデオ。
同様の“スケッチから動画へ”という方向性も、近年のAI動画研究で人気のある方向性です。
四、プロジェクトの運用環境
プロジェクトの説明によると、このツールを実行するには、通常次の手順が必要です。
- Node.js;
- Python;
- FF mpeg;
- npm;
- ブラウザのレンダリング環境。
インストールプロセスの概要：
git clone https://github.com/gnipbao/story-to-handdrawn-video.git
cd story-to-handdrawn-video
npm ci
次に、プロジェクトチェックを実行します。
npm run check
環境が正常であることを確認できます。
V.誰に適していますか？
1.ショートビデオクリエイター。
例えば：
- 小さな赤い本の物語;
- 知識アカウントを参照。
- YouTube Shortsクリエイター。
以前はプロのアニメーションチームが必要でしたが、AIで基本コンテンツを自動生成できます。
2.教育者のため
教師は以下を行う。
- 歴史的な物語;
- 知識を持つ。
- クラスの事例;
より分かりやすい動画に変換します。
例えば：
太陽系を3分で理解する
以下になります
手描き太陽→惑星出現→ 字幕解説
3.絵本の著者
著者のために：
既存の作品：
绘本图片
↓
自动动画化
↓
电子绘本视频
新しい通信チャネルを拡大できます。
6.利点と欠点
利点は
生産閾値の引き下げ
一般ユーザーが学ぶ必要はない：
- After Effects;
- Blender;
- アニメート。
簡単なアニメーションが作れます。
·温度を維持する
完全に生成されたビデオと比較：
手描きスタイルは：
- 人間の感覚;
- 物語の感覚。
- 親和性。
ソースは拡張可能です。
開発者は必要に応じて：
- アニメーション効果の変更
- 独自のモデルへのアクセス;
- Dubモジュールの追加
不十分なもの
CLARiXの役割の一貫性は依然として課題
画像生成の最大の問題の1つ：
同じキャラクターが異なるショットでも変わることがあります。
長い話作りの難しさ
短編小説の方が良い。
生産する場合：
30分間のアニメーション、
必要なもの：
- 手動レビュー;
- カメラの調整
- 後期の編集者。
Avamarのオーディオ機能に限界がある
現在の焦点は画像生成です。
完全なビデオも必要です：
- 声を上げる。
- 音楽、そして
- 効果音。
VII.今後の方向性
今後も同様のツールが開発される。
1.一言で完全なアニメーションを生成
例えば：
入力：
“環境についての小さな物語を作る”。
自動的に生成する：
- 脚本は。
- 役割;;
- スペクタクル;
- 声の声;
- 動画です。
2.ロールのパーソナライズ
ユーザーのアップロード：
自身の漫画家。
自動保存：
- 外観;
- 性格は、
- 絵画の絵。
3. AIアニメーションディレクター
未来のAIは画像を生成するだけでなく、
- 演劇のデザイン;
- カメラ言語;
- リズムのコントロール;
- 感情の表現。
まとめまとめまとめ
story-to-handdrawn-video コンテンツ制作の新しい方法を紹介します。
物語はもはやテキストにとどまらず、自動的に生き生きとした手描きアニメーションになります。
プロのアニメーターを置き換えるのではなく、創造性の障壁を下げ、より多くの一般の人々が自分の物語、知識、アイデアをビジュアル作品に変換できるようにすることです。
AI画像·動画生成技術が成熟するにつれて、“テキスト→アニメーション→動画”の制作プロセスは、今後のパーソナルコンテンツ制作の重要な方法になるかもしれません。
AIコンテンツ作成の分野に参入したい人にとって、この種のオープンソースプロジェクトは注目に値します。