在 AI 视频生成技术快速发展的今天，越来越多的创作者开始探索一种更具温度的内容形式：手绘动画故事视频。

相比追求高度写实的 AI 视频，手绘风格更像一本会动的绘本——简单的线条、逐渐显现的画面、伴随字幕展开的故事，更适合儿童故事、知识科普、个人创作、短视频账号等场景。

而开源项目 story-to-handdrawn-video 正是针对这一需求诞生的一套自动化工具：它尝试把“一段文字故事”或者“一组手绘图片”，转换成具有漫画感的竖屏手绘动画视频。

一、什么是 story-to-handdrawn-video？

story-to-handdrawn-video 是一个面向创作者的 AI 视频生产项目，目标是降低手绘动画制作门槛。

传统制作一条手绘故事视频，通常需要：

编写故事脚本；
拆分故事分镜；
绘制角色和场景；
制作逐帧动画；
添加字幕；
合成视频。

整个流程往往需要动画设计经验。

而这个项目试图把流程自动化：

故事文本 → 分镜 → 手绘画面 → 动态展示 → 视频输出

用户只需要提供故事内容，系统即可辅助生成适合短视频传播的手绘漫画动画。

二、核心功能解析

1. 中文故事自动生成手绘动画

项目支持直接输入中文故事。

例如：

小女孩在森林里发现了一只受伤的小鸟，她每天照顾它，最终小鸟重新飞向天空。

系统可以围绕故事内容完成：

文本拆解；
场景规划；
图片生成；
动画渲染；
字幕展示。

最终输出类似“动态绘本”的效果。

这种方式特别适合：

儿童故事账号；
睡前故事频道；
知识科普视频；
AI 内容创作者。

2. 静态手绘图片转动画

除了文字生成，该项目也支持已有图片素材制作动画。

例如你已经拥有：

01.jpg
02.jpg
03.jpg
04.jpg

几张连续的漫画图片。

工具可以：

保留图片顺序；
添加动态效果；
制作翻页感；
生成视频。

这对于漫画作者、绘本设计师非常有价值。

3. 手绘揭示效果

项目的一大特色是模拟“绘画过程”。

视频不是直接显示完整图片，而是：

第一阶段：

文字出现
 ↓
黑白线稿逐渐绘制
 ↓
颜色慢慢填充
 ↓
完整插画呈现

这种效果类似白板动画（Whiteboard Animation），能够增强观看过程中的期待感。

三、技术实现思路

从技术角度看，这类系统实际上是一个多阶段 AI 内容流水线。

整体架构大致如下：

用户故事
   |
   ↓
文本理解
   |
   ↓
故事分镜
   |
   ↓
AI图片生成
   |
   ↓
手绘风格处理
   |
   ↓
动画合成
   |
   ↓
MP4视频输出

其中涉及多个技术模块：

1. 故事理解与分镜生成

首先需要理解文本：

例如：

原故事：

小猫每天等待主人回家。

AI 会拆解为：

镜头1：

场景：房间
主角：小猫
动作：坐在窗边等待

镜头2：

场景：黄昏街道
主角：主人
动作：打开家门

这样才能形成连续画面。

2. 图片生成

根据分镜生成对应插画。

通常需要保持：

角色一致；
场景统一；
风格稳定。

否则每一帧人物可能发生变化。

3. 动画渲染

静态图片经过处理后：

添加镜头移动；
添加绘制动画；
添加转场；
添加字幕。

最终形成视频。

类似的“草图转动态视频”方向，也是近年来 AI 视频研究中的热门方向。

四、项目运行环境

根据项目介绍，运行该工具通常需要：

Node.js；
Python；
FFmpeg；
npm；
浏览器渲染环境。

安装流程大致：

git clone https://github.com/gnipbao/story-to-handdrawn-video.git

cd story-to-handdrawn-video

npm ci

然后执行项目检查：

npm run check

即可验证环境是否正常。

五、适合哪些人使用？

1. 短视频创作者

例如：

小红书故事账号；
抖音知识账号；
YouTube Shorts 创作者。

过去需要专业动画团队，现在可以通过 AI 自动生成基础内容。

2. 教育工作者

教师可以把：

历史故事；
科普知识；
课堂案例；

转换成更容易理解的视频。

例如：

《三分钟了解太阳系》

可以变成：

手绘太阳 → 行星出现 → 字幕解释。

3. 绘本作者

对于绘本作者来说：

已有作品：

绘本图片
 ↓
自动动画化
 ↓
电子绘本视频

可以拓展新的传播渠道。

六、优势与不足

优势

✅ 降低动画制作门槛

普通用户不需要学习：

After Effects；
Blender；
Animate。

即可制作简单动画。

✅ 保留手绘温度

相比完全 AI 生成的视频：

手绘风格具有：

人文感；
故事感；
亲和力。

✅ 开源可扩展

开发者可以根据需求：

修改动画效果；
接入自己的模型；
增加配音模块。

不足

❌ 角色一致性仍是挑战

AI 图片生成最大问题之一：

同一个人物在不同镜头中可能变化。

❌ 长故事制作困难

短故事效果较好。

如果制作：

30分钟动画，

仍然需要：

人工审核；
镜头调整；
后期编辑。

❌ 音频能力有限

目前重点是画面生成。

完整视频还需要：

AI 配音；
音乐；
音效。

七、未来发展方向

未来类似工具可能进一步发展：

1. 一句话生成完整动画

例如：

输入：

“制作一个关于环保的小故事。”

自动生成：

剧本；
角色；
分镜；
配音；
视频。

2. 个性化角色

用户上传：

自己的漫画角色。

AI 自动保持：

外貌；
性格；
画风。

3. AI 动画导演

未来 AI 不只是生成图片，而是负责：

剧情设计；
摄像机语言；
节奏控制；
情绪表达。

总结

story-to-handdrawn-video 代表了一种新的内容生产方式：

让故事不再停留在文字里，而是自动变成具有生命力的手绘动画。

它并不是替代专业动画师，而是在降低创作门槛，让更多普通人能够把自己的故事、知识和想法转化为视觉作品。

随着 AI 图片、视频生成技术不断成熟，“文字 → 动画 → 视频”的创作流程可能会成为未来个人内容生产的重要方式。

对于想进入 AI 内容创作领域的人来说，这类开源项目值得关注。

文章版权归作者所有，未经允许请勿转载。

THE END

AI
# 让故事自动变成视频

从文字到手绘动画：开源项目 story-to-handdrawn-video 如何让故事自动变成视频