story-to-handdrawn-video实测

AI教程2个月前更新 AI工具集
24 0 0

story-to-handdrawn-video实测:一条提示词把故事变成手绘绘本视频

story-to-handdrawn-video 是 GitHub 上的一个开源项目,能把一段中文故事文本或一组有序的图片,转成 3:4 竖屏的手绘漫画动画。它把分镜拆解、逐张生图、字幕处理、黑白线稿转彩色插画、设置和导出参数这些原本零散的步骤,整合成了一条可复用工作流,最终输出 H.264 编码的静音视频,配音和音乐留到后期再加。这篇是我实际跑完之后的手记,会把提示词原文和我看到的成片效果一并放出来。

先说为什么我会盯上它。平时做一本绘本,步骤实在太碎了:要先拆成一个个分镜,再逐张生图,然后处理字幕、做黑白转彩的动画,最后还要调和导出参数。每一步都不难,但来回切换软件和反复对齐风格,时间全耗在这些地方。看到这个项目号称一条提示词就能出一部完整作品,我决定直接拿五个小故事去试。

story-to-handdrawn-video实测story-to-handdrawn-video 项目主页

实测 story-to-handdrawn-video:第一个案例《桂花明信片》

第一个案例我挑了一个偏亲情的小故事,叫「桂花明信片」。下面是我实际使用的提示词原文,基本没有删减:

提示词:

运用 $story-to-handdrawn-video 将以下故事转化为手绘日记风格的漫画动画。

任务设定:

— 标题:「桂花明信片」

— 图片生成采用默认的 Codex Image2。

— 字幕使用项目自带字体。

— 效果采用 cut。

— 需依次完成图片生成、素材导入及预览渲染。

— 输出分辨率为 720×960,采用 H.264 编码的静音预览。

— 保留原文,每个完整句子作为一个分镜。

— 插画风格要求纯白背景、黑色手绘线条,并搭配低饱和度的蜡笔色彩。

— 所有人物和物品必须完整呈现在安全区域内。

— 无需添加配音、背景音乐、对话气泡或画面内文字。

— 完成后,将预览视频保存至:out/tests/guihua-postcard-preview.mp4

— 最终需报告分镜数量、视频时长及文件路径。

人物设定:

阿宁:26 岁女性,齐肩黑发,身着米白色短外套,浅蓝色长裙,棕色布鞋,肩背一个深绿色帆布包。所有场景下,脸型、发型、服装颜色及身体比例需保持一致。

白发老人:约 70 岁,短白发,面容清瘦,身穿灰色中式外套和深蓝色长裤。老人仅在故事中明确提及后才出现。

故事内容:

清晨,阿宁在旧书堆中偶然发现一张未写完的明信片。

明信片背面只有一句话:等桂花开了,就回家。

阿宁循着旧地址来到城南,院门旁的桂花已然盛开。

一位白发老人接过明信片,手指在那行字上久久停留。

傍晚时分,阿宁离开之际,老人将一小袋桂花递给了她。

跑完之后我逐帧看了一遍:主角的发型、蓝裙和绿色帆布包都保留得很好,说明人物设定这一块是真正被读进去的;旧书、明信片、院门和桂花树几个场景之间的过渡也很清楚;字幕始终清晰可辨,人物和建筑没有被画面裁掉;最后递交桂花的动作完整呈现,故事收得干净。这是我五个案例里效果最稳的一个。

story-to-handdrawn-video实测story-to-handdrawn-video 仓库说明页截图

我又换了四个故事:修好的黄雨伞、蓝布袋里的春天、面馆的旧钥匙扣、停在六点十分的手表

为了知道它到底是稳定发挥还是运气好,我又跑了四个不同题材的故事,提示词结构基本一致,只在人物设定和细节约束上做调整。下面把四条提示词和我的观察都放出来。

案例二:修好的黄雨伞

使用 $story-to-handdrawn-video 将以下故事制作成手绘日记漫画动画。

任务设定:— 标题:「修好的黄雨伞」 — 图片生成采用默认的 Codex Image2。 — 字幕使用项目自带字体。 — 效果采用 cut。 — 需完整执行图片生成、素材导入及预览渲染。 — 保留原文,每个完整句子对应一个分镜。 — 黄色雨伞需始终保持相同的颜色、弯曲的伞柄以及破损位置。 — 周叔的深蓝色工具箱须保持外观一致。 — 插画风格采用白底手绘日记风格,保留较多留白空间。 — 画面中禁止出现水印、招牌文字、对话气泡及多余人物。 — 完成后,将预览视频保存至:out/tests/yellow-umbrella-preview.mp4 — 需报告分镜数量、总时长及文件路径。

人物设定:周叔:55 岁男性,短灰发,方脸,身穿深蓝色维修工制服和黑色布鞋,随身携带一个旧的深蓝色工具箱。林溪:20 岁女性,黑色高马尾,身穿墨绿色针织衫、米色长裤和白色帆布鞋,怀里抱着两本书。两名人物的脸型、发型、服装颜色及身体比例须保持一致。

故事内容:夜班结束后,周叔发现在公交站里仍坐着一个抱着书的女孩。雨势渐大,女孩手中的黄色雨伞突然断了一根伞骨。周叔从工具箱里拿出细铁丝,低头仔细地将伞骨缠好。末班车抵达,女孩上车前,将一颗橘子放在了工具箱旁。次日清晨,周叔打开工具箱,发现橘子下面压着一张写有”谢谢您”的纸条。

我的观察:周叔、女孩、深蓝色工具箱和黄色雨伞都保持了稳定,公交站、雨线、末班车、清晨几个场景串出了完整的时间流转。橘子在女孩离开前出现,第二天还在工具箱旁,情节没有掉链子。唯一的问题是伞骨断裂这个细节没能清晰呈现,初看还是一把完好的雨伞——这类”局部破损”的约束,它目前还表达不好。

案例三:蓝布袋里的春天

使用 $story-to-handdrawn-video 将以下故事制作成手绘日记漫画动画。

任务设定:— 标题:「蓝布袋里的春天」 — 图片生成采用默认的 Codex Image2。 — 字幕使用项目自带字体。 — 效果采用 cut。 — 需先根据故事内容,生成一个包含两位数场景编号的 visual-plan JSON 文件。 — visual-plan 文件必须明确每个场景中江禾的年龄、服装、地点、动作以及需要出现的人物。 — 将 visual-plan 文件保存至:out/tests/mint-visual-plan.json — 基于此 visual-plan 文件,继续执行图片生成、导入及预览渲染。 — 保留原文,每个句子作为一个故事节拍。 — 蓝色布袋、白色花盆以及薄荷种子需要保持视觉上的连续性。 — 外婆仅在原文明确提及的分镜现。 — 完成后,将预览视频复制至:out/tests/mint-spring-preview.mp4 — 需报告分镜数量、总时长、visual-plan 文件路径及视频路径。

人物设定:江禾:拥有圆脸、细长眼睛、左侧眉尾的一颗小痣以及微卷黑发,这些特征在不同年龄阶段需保持一致。8 岁江禾:身穿浅黄色毛衣和深蓝色背带裤。16 岁江禾:身穿白色衬衫和灰蓝色长裤,背着棕色书包。26 岁江禾:留齐肩微卷黑发,身穿浅灰色风衣和深绿色长裤。外婆:约 68 岁,银灰色短发,身穿暗红色开襟毛衣和深灰色长裙。

故事内容:八岁那年,江禾每天都踩着小板凳,给窗台上的薄荷浇水。外婆将一小包薄荷种子缝进一个蓝布袋,交给了江禾。十六岁那年,江禾离开了小城,只带走了那个蓝色布袋。十年后,江禾拖着行李箱回到了旧屋,窗台已布满灰尘。江禾将蓝布袋里的种子种进了原来的白色花盆。春天来临时,花盆里长出了一株新的薄荷。

我的观察:这个案例我特意加了 visual-plan 这一层,先让它输出带场景编号的 JSON,再据此生图,结果确实更稳。8 岁、16 岁和成年江禾的年龄跨度表现出来了,微卷黑发和圆脸维持了角色辨识度,蓝布袋、白色花盆、旧窗台构成了稳定的视觉线索;成年江禾回到布满灰尘的旧屋时,空花盆和行李箱把时间流逝讲得很清楚。但眉尾那颗小痣在当前画风和人物尺寸下几乎看不出来——这类极小的身体特征不适合作为身份识别的关键点,写完提示词最好自己先判断一下可行性。

案例四:面馆的旧钥匙扣

使用 $story-to-handdrawn-video 将以下故事制作成手绘日记漫画动画。

任务设定:— 标题:「面馆的旧钥匙扣」 — 图片生成采用默认的 Codex Image2。 — 字幕使用项目自带字体。 — 效果采用 cut。 — 需完整执行图片生成、素材导入及预览渲染。 — 保留故事原文及对话措辞。 — 每个完整句子对应一个分镜。 — 对话仅在上方字幕区显示,插画中不生成对话气泡。 — 雨水、湿衣服和热汤面需使用简洁的手绘线条来表达。 — 旧钥匙扣需要保持相同的圆形木质外观。 — 避免夸张的哭泣和戏剧化的肢体动作。 — 完成后,将预览视频保存至:out/tests/noodle-shop-preview.mp4 — 需报告分镜数量、总时长及文件路径。

人物设定:老板娘:48 岁女性,短卷黑发,身穿砖红色围裙、米白色衬衫和深灰色长裤。外卖员:24 岁男性,短黑发,清瘦,身穿湿透的浅蓝色外卖雨衣、黑色长裤,手持白色头盔。所有场景下,人物的脸型、服装配色及身体比例需保持一致。

故事内容:深夜,面馆即将打烊,一位浑身湿透的外卖员站在门口翻找口袋。老板娘端出一碗热汤面,说道:”面煮多了,别浪费。”外卖员低头吃面,头盔上的雨水一滴滴落在脚边。临走前,外卖员将一枚旧钥匙扣放在桌上,说:”明天来赎。”第二天,老板娘刚开门,便看见门把手上挂着一袋热豆浆。旧钥匙扣仍被放置在柜台最显眼的位置。

我的观察:氛围营造是这五个里最好的,面馆门口、雨水、湿衣服和热汤面都到位了。老板娘的红围裙与外卖员的蓝雨衣稳定,热面、低头吃面、放下钥匙扣、第二天开门,动作顺序完全没乱。但旧钥匙扣被画成了一个棕色圆片,看着更像硬币,木质圆形这个约束没落实。

案例五:停在六点十分的手表

使用 $story-to-handdrawn-video 将以下故事制作成手绘日记漫画动画。

任务设定:— 标题:「停在六点十分的手表」 — 图片生成采用默认的 Codex Image2。 — 字幕使用项目自带字体。 — 效果采用 cut。 — 保留故事原文,不提前缩短句子。 — 先运行 plan 模式并报告自动拆分结果。 — 报告后继续完成图片生成、素材导入及预览渲染,无需等待确认。 — 每个分镜的字幕最多三行。 — 蓝色项圈、旧手表以及棕色小狗必须保持一致。 — 白发女人仅在电话号码接通后的场景现。 — 完成后,将预览视频复制至:out/tests/watch-at-six-ten-preview.mp4 — 需报告原始句子数量、拆分后的分镜数量、总时长及文件路径。

人物设定:许伯:62 岁男性,短灰发,戴圆框眼镜,身穿棕色旧马甲、浅灰色衬衫和深色长裤。白发女人:约 65 岁,齐耳白发,身穿暗绿色外套和黑色长裙。小狗:棕色短毛犬,右耳向下折,戴蓝色项圈。项圈上挂着一块银色圆形旧手表。

故事内容:傍晚,修表匠许伯关上店门,刚走出两步,便听到柜台下方传来轻轻的抓挠声。许伯弯腰看见一只戴着蓝色项圈的小狗,项圈上挂着一块停在六点十分的旧手表。后来,许伯按照表背面的电话号码拨打过去,一个白发女人接起电话,沉默几秒后哭了出来。半小时后,女人抱着小狗,许伯将修好的手表递给她,指针重新走过六点十分。

我的观察:这个案例我开了 plan 模式先看自动拆分结果,拆出来的镜头数量是合理的,没有把过长的句子硬塞进同一块字幕(我限定了每块最多三行)。许伯的眼镜、棕色马甲和修表铺场景稳定,棕色小狗和蓝色项圈也没明显漂移,关店、发现小狗、打电话、女人哭泣、归还手表五个环节全部完整呈现。

story-to-handdrawn-video 是怎么把这套流程串起来的

五个案例跑下来,我对它的定位清楚了一些:它本质上是一套 Agent 制作流程,而不是一个简单的转视频脚本。它覆盖的环节包括故事分句、分镜规划、绘图任务、素材裁切、动画编排以及视频导出,成片固定采用白底、手写字幕、黑白线稿转彩色插画的视觉风格,输出 H.264 编码的静音视频。

它真正固化的东西有四个,也是我认为最有价值的部分:

  1. 每句一拍:按句子自动拆成故事节拍,长句还能通过 plan 模式二次拆分,保证字幕不会因为太长而糊成一团。
  2. 人物参考:把人物设定作为全局约束贯穿所有分镜,这是角色不漂移的关键。
  3. 黑白转彩:先出线稿再上色,形成那种手绘日记特有的”揭示动画”质感。
  4. 静音导出:直接产出可直接预览的静音样片,配音和音乐留给后期,反而更好控制。

story-to-handdrawn-video 怎么安装和使用

安装过程非常简单,我把 GitHub 链接直接丢给 AI Agent,它自己就完成了项目的安装配置,没有手动 clone、装依赖这些步骤。

使用时的建议只有两条:

  1. 选择支持生图功能的 AI Agent:这是”一条提示词出完整视频”的前提,没有生图能力就只能停在分镜规划阶段。
  2. 提前把约束写清楚:人物设定、场景变化、关键道具、输出路径、分辨率、编码、方式,这些在提示词里一次写全,比中途反复纠正省事得多。

我自己的做法是:先想清楚人物小传,再写故事正文,最后补任务设定,照着上面五个案例的模板套就行。生成完素材之后,我把它导入剪映加声音,出来的效果确实让我惊喜了一下。

story-to-handdrawn-video 适合哪些场景

短视频和图文内容越来越依赖稳定、持续的视觉生产能力。对个人创作者、小工作室和内容团队来说,写完故事只是第一步,真正耗时间的是分镜构思、图像生成、字幕处理、动画制作和视频导出之间的反复切换。这个项目把这一串步骤压进了一条可重复使用的自动化工作流,适用的地方很明确:

  1. 公众号故事与推文视频:固定画风、竖屏 3:4,直接嵌进图文里。
  2. 儿童绘本与亲情短片:白底手绘加低饱和色彩,对这类题材是天然适配。
  3. 日记漫画与品牌故事:需要批量试稿、快速验证叙事是否成立的场合。
  4. 已有漫画页面的二次利用:把一批现成的黑白漫画页转成带揭示动画的静音素材。

如果你只是想把照片变成手绘风格,站内的照片转手绘AI工具更直接;想让静态手绘动起来,可以看AI手绘变动画;做的不是绘本而是实拍类视频,AI图片生成视频和免费AI生成视频这两个条目里有更合适的工具。

story-to-handdrawn-video 常见问题解答

story-to-handdrawn-video 目前有哪些做不到的地方?
现阶段只支持单图分镜、固定的白底手绘风格、3:4 画布比例和静音输出。口型同步、角色动作、镜头、配音合成、字幕时间轴、9:16 成片以及多种画风,都还有待开发,需要靠后期补。
小物件的一致性为什么老是做不好?
我实测下来,人物、服装、大件道具的稳定性都不错,但伞骨断裂、木质钥匙扣、眉尾小痣这类细节容易丢失。写提示词时尽量用”颜色 + 形状 + 明显特征”来描述关键道具,避免依赖太细微的识别点。
生成的视频能直接用吗?
它产出的是静音预览样片,我的做法是把素材导入剪映再加声音和音乐。用它来做初版样片、快速验证故事可行性最划算,精修和复杂镜头仍然要后期。

story-to-handdrawn-video 项目地址

项目地址:https://github.com/gnipbao/story-to-handdrawn-video

OpenI AI时代点评

总的来说,story-to-handdrawn-video 在画风和色彩搭配上的表现是超出我预期的,故事线衔接也很流畅,五个案例跑下来没有出现明显崩坏的情况。它最大的价值不在于”生成了一张多好看的图”,而在于把一套原本要靠反复切换软件的流程固化了下来,让它能被重复执行——这对内容生产来说,比单次效果好要重要得多。

它的短板也很清楚:体积较小的关键物品细节呈现不足,输出是静音的,风格目前只有一种。所以我的建议是把它用在链条前端——快速出静音样片,批量验证故事可行性,确认故事立得住之后,再决定要不要投入配音、精细剪辑和复杂动画。这样试错成本最低。

如果你手上有现成的故事文本,或者一直在做公众号图文想转成视频,值得拿这个项目跑一遍:安装只要丢一个 GitHub 链接给 AI Agent,剩下的就是你想讲什么故事了。

阅读原文
© 版权声明

相关文章

AI聚合视觉工厂

暂无评论

暂无评论...