AI漫剧制作全流程:从角色LoRA训练到视频合成实战指南
🚀 30+款热门AI模型一站整合,DeepSeek/GLM/Qwen 随心用,限时 5 折。 👉 点击领海量免费额度
还在为复杂的AI绘画工具和繁琐的流程头疼吗?想利用业余时间尝试制作自己的AI漫画或动态漫剧,却不知从何下手?网上教程要么门槛太高,要么步骤零散,很难形成一套完整的、可复现的工作流。
本文将为你拆解一套从零开始的AI漫剧制作全流程。不同于专业影视级制作,我们聚焦于个人创作者和爱好者,使用当前主流且易上手的AI工具,实现从“创意构思”到“成品输出”的闭环。无论你是想为小说配图、制作个人IP小故事,还是探索AIGC的新玩法,这套保姆级教程都能让你快速跑通流程,看到成果。
你将学到如何用AI生成风格统一的角色、构建连贯的场景、编写分镜脚本,并最终合成带有对话和简单动态效果的漫剧视频。我们避开复杂的代码和昂贵的硬件,专注于利用现有在线工具和开源软件,打造一套高性价比的“个人数字制片厂”方案。
1. 核心概念与工具链全景
在开始动手之前,我们需要明确几个核心概念,并搭建起整个制作流程的工具链。理解这些,能让你在后续步骤中知其然,更知其所以然。
AI漫剧:指利用人工智能技术(主要是图像生成与视频生成)辅助或主导创作的漫画或动态视频剧集。其核心优势在于能快速生成视觉素材,降低美术门槛,让创作者更专注于故事和分镜。
一个完整的AI漫剧制作流程,可以拆解为以下五个核心环节,每个环节都有对应的工具选择:
- 故事与脚本:确定故事大纲、人物设定和分镜脚本。这是所有创作的基石。
- 角色与风格定调:使用文生图AI,生成统一风格、多姿态的主角形象。
- 场景与分镜生成:根据脚本,批量生成符合情节的各个场景画面。
- 对话与排版:为画面添加对话框、文字和特效,形成静态漫画页。
- 动态化与合成:将静态漫画转化为带有镜头移动、简单动画和配音的动态视频。
工具链选择(平民友好版):
- 脚本与分镜:Notion、飞书文档、Word(任何你熟悉的文本工具)。
- AI图像生成:Stable Diffusion WebUI(开源本地部署)或Midjourney(在线服务)。本文将以Stable Diffusion(SD)为主进行讲解,因为它免费、可定制性强,适合深度控制。
- 统一角色面容:SD的LoRA(Low-Rank Adaptation)模型。这是保证角色一致性的关键技术。
- 图像后期处理:Photoshop、GIMP(开源)、或Krita,用于抠图、排版、加文字。
- 视频合成与动效:剪映专业版、CapCut,它们对中文友好,内置大量动画、转场和语音合成功能。
- 辅助工具:Upscayl(图片超分辨率放大),Whisper(语音识别,用于对口型可选)。
2. 环境准备与工具部署
工欲善其事,必先利其器。本节将详细介绍核心工具——Stable Diffusion WebUI的本地部署,这是整个流程中最具技术性的一步,但一旦完成,后面将一马平川。
2.1 硬件与基础软件要求
- 操作系统:Windows 10/11, macOS 或 Linux。Windows用户最多,教程资源最丰富。
- 显卡(GPU):这是最关键的部分。推荐NVIDIA显卡,显存至少6GB(如RTX 2060, 3060),8GB或以上(RTX 3070, 4060, 4070等)体验更佳。显存越大,生成图片的速度越快、分辨率越高。AMD显卡和苹果M芯片支持较复杂,新手建议从N卡开始。
- 存储空间:至少预留20GB可用空间,用于安装程序、基础模型和生成图片。
- Python:SD WebUI安装包通常会自带或自动安装所需版本。
2.2 安装Stable Diffusion WebUI(Windows)
我们使用最流行的一键安装包,极大降低部署难度。
- 安装Git:访问 Git官网 ,下载并安装Git。安装时一路默认选项即可。
- 下载SD WebUI一键安装包:
- 推荐使用
stable-diffusion-webui项目。你可以通过Git克隆,但对于新手,更推荐下载整合包。可以在国内一些AI社区(如秋叶aaaki的B站空间或相关论坛)找到打包好的整合包,通常已包含常用插件和基础模型。 - 重要:确保下载来源可靠。一个常见的整合包发布地址是网盘,搜索“秋叶启动器”或“Stable Diffusion整合包”可以找到。
- 推荐使用
- 解压与运行:
- 将下载的整合包解压到一个英文路径的文件夹,例如
D:\sd-webui。 - 进入该文件夹,找到
启动器或A启动器.exe文件,双击运行。 - 首次运行,启动器会进行环境检测和依赖安装,这可能需要一段时间,请保持网络通畅。
- 将下载的整合包解压到一个英文路径的文件夹,例如
- 启动WebUI:
- 在启动器界面,点击“一键启动”。等待命令行窗口运行完毕,当出现类似
Running on local URL: http://127.0.0.1:7860的信息时,表示启动成功。 - 打开浏览器,访问
http://127.0.0.1:7860,你将看到Stable Diffusion的Web操作界面。
- 在启动器界面,点击“一键启动”。等待命令行窗口运行完毕,当出现类似
2.3 获取基础模型与LoRA
WebUI只是一个空壳,需要“大脑”才能生成图片,这就是模型。
- 下载基础大模型:
- 在启动器内置的“模型管理”标签页,或访问CivitAI、HuggingFace等模型网站,下载一个适合动漫风格的Checkpoint模型。对于漫剧,推荐:
Counterfeit-V3.0:非常优秀的动漫风格模型,细节好。Anything-V5:经典的动漫模型,泛化能力强。
- 下载的模型文件(
.safetensors或.ckpt)放入sd-webui/models/Stable-diffusion目录下。
- 在启动器内置的“模型管理”标签页,或访问CivitAI、HuggingFace等模型网站,下载一个适合动漫风格的Checkpoint模型。对于漫剧,推荐:
- 下载LoRA模型:
- LoRA是小模型,用于微调风格或固定角色。在CivitAI等站搜索“character LoRA”、“style LoRA”。
- 下载的LoRA文件(
.safetensors)放入sd-webui/models/Lora目录下。
- 刷新模型列表:回到WebUI界面,点击左上角“Stable Diffusion 模型”旁边的刷新按钮,就能看到你刚放入的模型了。
3. 核心工作流拆解:从角色到分镜
环境就绪后,我们进入核心创作环节。本节将分步详解如何生成统一角色和连贯场景。
3.1 第一步:角色设计——训练你的专属LoRA
要让AI在无数画面中画出同一个“人”,我们需要训练一个代表该角色的LoRA。
准备工作:
- 准备约20-30张目标角色的图片。可以是:
- 你手绘的设计稿(扫描或拍照)。
- 用SD初步生成的、你满意的同一角色多角度图。
- 同一动漫角色的官方截图(注意版权,仅用于个人学习)。
- 图片要求:面部清晰,表情、角度、发型、服饰尽量多样,背景简单为佳。分辨率建议512x512或768x768。
训练步骤(使用WebUI内置的Dreambooth扩展):
- 安装扩展:在WebUI的“扩展”标签页,点击“可用”,加载列表,找到“Dreambooth”扩展并安装。重启WebUI。
- 准备数据集:
- 在
sd-webui目录下新建train/角色名文件夹。 - 在里面再新建一个文件夹,例如
100_角色名(100代表训练步数相关,可自定义),将你的20-30张图片放入。 - 对每张图片,用简单的文本描述其内容,保存为同名的
.txt文件(例如image1.jpg对应image1.txt),描述词如a photo of zhaoliyuan, black hair, red eyes, school uniform。这里zhaoliyuan是你给角色定义的触发词。
- 在
- 配置训练:
- 进入“Dreambooth”标签页,创建新模型。
- “模型名称”填你的角色名。“源模型”选择你下载的动漫基础模型(如Counterfeit)。
- “训练数据目录”指向你刚创建的
100_角色名文件夹。 - “概念名称”和“触发词”都填
zhaoliyuan。 - 其他参数(学习率、步数)新手可先用默认值。设置一个较小的步数(如1000)先试跑。
- 开始训练:点击“训练”。这个过程耗时较长(几十分钟到几小时),取决于你的图片数量和显卡性能。训练完成后,会在
sd-webui/models/Lora目录下生成你的角色LoRA文件。
3.2 第二步:生成角色定妆照
训练好LoRA后,就可以用它来生成角色在各种场景下的图片了。
- 加载模型与LoRA:在文生图(txt2img)页面,选择你的基础模型(如Counterfeit)。在提示词中,加入你的LoRA触发词,格式为
<lora:你的角色LoRA文件名:权重>,例如<lora:zhaoliyuan_v1:0.8>。权重通常从0.7开始尝试。 - 编写提示词(Prompt):
- 正向提示词:
(masterpiece, best quality), 1girl, zhaoliyuan, standing in a classroom, looking out of the window, sunlight, school uniform, detailed eyes。注意触发词zhaoliyuan必须包含。 - 负向提示词:
(worst quality, low quality:1.4), monochrome, zombie, (bad hands, bad fingers:1.2)。用于排除低质量和常见缺陷。
- 正向提示词:
- 调整参数并生成:
- 采样方法(Sampler):DPM++ 2M Karras 或 Euler a。
- 采样步数(Steps):20-30。
- 分辨率(Width/Height):根据你的需求设置,如 512x768(竖版)。
- 点击“生成”,多试几次,调整提示词和权重,直到得到满意的角色定妆照。
3.3 第三步:批量生成场景分镜
有了稳定的角色,就可以根据脚本批量生成不同场景了。关键在于通过提示词精确控制场景和角色动作。
技巧:使用动态提示词和脚本:
- 制作分镜表:在Excel或文本中列出每个镜头的描述。
镜头号 场景描述 角色动作 提示词关键词 1 教室,傍晚 主角坐在桌前看书 zhaoliyuan, sitting at desk, reading a book, classroom, evening, sunset glow2 学校天台,白天 主角仰望天空 zhaoliyuan, on rooftop, looking up at the sky, cloudy day, school building - 使用“文生图”页面的“脚本”功能:
- 选择“提示词矩阵”或“从文件或文本框读取提示词”。
- 将你的分镜提示词列表粘贴进去,每行一个。
- 设置好批次(Batch count),SD就会自动按顺序生成所有场景图。
- 保持一致性:
- 在所有场景提示词中,固定种子(Seed)对角色一致性帮助不大,因为场景变了。此时,固定LoRA模型和权重,以及使用相同的基础模型和VAE,是保持画风一致的关键。
- 可以生成一批后,挑选最符合的,将其“种子”固定,用于生成该场景下的微调变体。
4. 完整实战案例:制作一个30秒的漫剧开场
让我们通过一个具体例子,将上述流程串联起来,制作一个名为《放学后的约定》的漫剧开场片段。
4.1 故事脚本与分镜设计
故事梗概:放学后,女主角小圆在空教室等待,回忆起与男主角昨天的约定。
分镜设计:
- 镜1(全景):夕阳下的教学楼,暖色调。
- 镜2(中景):空教室,阳光透过窗户洒在课桌上。
- 镜3(特写):小圆(我们的角色)侧脸,看着窗外,眼神期待。
- 镜4(闪回/记忆画面):昨天,男主角在楼梯口叫住小圆(画面稍作虚化处理)。
- 镜5(回到现实):小圆低头微笑,握紧手中的纸条。
4.2 生成分镜图片
假设我们已经训练好了名为xiaoyuan的角色LoRA。
- 镜1生成:
- 提示词:
(masterpiece, best quality), beautiful sky, sunset, school building exterior, anime background, warm lighting, no people - 模型:Counterfeit-V3.0, 无需加载角色LoRA。
- 生成一张风景图。
- 提示词:
- 镜2-镜5生成:
- 切换到文生图,加载
xiaoyuanLoRA。 - 镜2提示词:
(masterpiece, best quality), <lora:xiaoyuan:0.8>, empty classroom, sunlight through window, dust in the air, desks and chairs, quiet - 镜3提示词:
(masterpiece, best quality), <lora:xiaoyuan:0.8>, close-up, looking out of window, expecting look, sunlight on face, hair fluttering - 镜4提示词:
(masterpiece, best quality), <lora:xiaoyuan:0.8>, flashback, blurry effect, at staircase, talking to a boy (blurry), school uniform - 镜5提示词:
(masterpiece, best quality), <lora:xiaoyuan:0.8>, smiling, looking down, holding a note in hand, in classroom - 使用相同的采样方法和步数,批量生成这4张图。如果对某张不满意,单独调整重生成。
- 切换到文生图,加载
4.3 后期排版与对话添加
将生成的5张图片导入Photoshop或GIMP。
- 构图裁剪:根据视频比例(如9:16竖屏)裁剪每张图片。
- 添加对话框:使用形状工具绘制经典漫画气泡对话框。
- 添加文字:使用文字工具,在对话框内写上台词。字体选择清晰易读的圆体或黑体。
- 镜3:“他…会来吗?”
- 镜4(记忆):“明天放学后,教室见。”
- 镜5:“嗯!”
- 导出:将每张处理好的图片导出为PNG格式,命名为
scene_01.png,scene_02.png……
4.4 视频动态化合成
打开剪映专业版。
- 导入素材:将5张PNG图片和背景音乐导入素材库。
- 组建时间线:按顺序将图片拖入视频轨道,每张图片持续时间设置为3-6秒。
- 添加动画:
- 镜1:添加一个缓慢的缩放推进(Zoom in)效果,模拟镜头拉近教学楼。
- 镜2:可以添加轻微的“摇摆”缩放,营造回忆感。
- 镜3:在角色特写时,可以添加一个轻微的“渐显”效果。
- 镜4:使用“模糊”滤镜开场,然后清晰,再模糊消失,模拟闪回。可以整体调色为偏黄或降低饱和度以区分现实。
- 镜5:添加一个简单的“渐亮”光效在纸条上。
- 添加字幕与配音:
- 使用剪映的“文本”功能,在对应画面添加台词字幕。可以调整入场动画(如打字机效果)。
- 使用剪映的“音频”-“智能配音”功能,选择合适的AI音色,为台词配音。将配音音频对齐字幕。
- 添加背景音乐与音效:找一首舒缓的钢琴曲作为BGM,在关键点(如闪回)添加简单的音效(如风声、心跳声)。
- 导出视频:设置分辨率为1080x1920(竖屏),帧率30,码率推荐更高一些以保证清晰度,导出最终视频。
至此,一个包含完整流程的30秒AI漫剧开场片段就制作完成了。
5. 常见问题与排查思路
在实践过程中,你一定会遇到各种问题。下表汇总了高频问题及其解决方案:
| 问题现象 | 可能原因 | 解决思路 |
|---|---|---|
| WebUI启动失败,报错CUDA out of memory | 显卡显存不足。 | 1. 在启动器设置中降低--medvram或--lowvram参数。2. 生成图片时降低分辨率(如从768降到512)。 3. 关闭其他占用显存的程序。 |
| 生成的图片模糊、扭曲、多手多脚 | 提示词不精确,或模型/VAE不匹配。 | 1. 强化负向提示词:(bad hands, bad fingers, mutated hands, poorly drawn hands)。2. 尝试不同的采样方法(如Euler a)和步数(增加到30)。 3. 检查是否使用了正确的VAE文件(在Settings > Stable Diffusion > VAE 中选择)。 |
| 角色面容不一致,每次生成都像不同的人 | LoRA训练数据不足或质量差;提示词中未正确触发。 | 1. 检查训练集图片是否足够(20+张),且特征清晰统一。 2. 在生成时,确保提示词中包含 <lora:文件名:权重>格式,且权重适中(0.7-1.0)。3. 尝试使用“ADetailer”等面部修复插件。 |
| 生成的场景构图总是很奇怪 | 提示词描述过于笼统,AI自由发挥空间太大。 | 1. 使用更具体的构图词汇:cowboy shot(牛仔镜头),from above(俯视),from behind(从背后)。2. 使用ControlNet插件(需额外安装),通过草图或深度图严格控制构图。 |
| 视频合成后画面闪烁、不连贯 | 静态图片之间切换生硬,缺乏动态衔接。 | 1. 在剪映中为图片之间添加“叠化”、“模糊”等转场效果。 2. 对单张图片使用“关键帧”动画,制造缓慢的推拉摇移效果。 3. 考虑使用AI视频生成工具(如Pika、Runway)为单张图生成细微动态,再合成。 |
6. 进阶技巧与最佳实践
当你跑通基础流程后,以下技巧能显著提升作品质量和制作效率。
6.1 利用ControlNet实现精准构图
ControlNet是SD的“神级”插件,能让你用草图、姿势图、深度图等精确控制生成结果。
- 安装:在WebUI的“扩展”中搜索“ControlNet”并安装。
- 用法:以姿势控制为例,先找一张或生成一张你想要的姿势图。在文生图页面下方打开ControlNet,上传姿势图,预处理器选“openpose”,模型选“control_v11p_sd15_openpose”,然后生成。AI就会严格按照这个姿势来生成你的角色。
6.2 建立可复用的风格与模板
- 风格LoRA:除了角色LoRA,你还可以训练或下载“画风LoRA”,如“水墨风”、“吉卜力风格”、“胶片质感”等。在生成时同时加载角色LoRA和风格LoRA,能快速统一全片视觉基调。
- 提示词模板:将你常用的高质量正向/负向提示词保存为文本模板。例如,一个通用的高质量动漫提示词模板:
(masterpiece, best quality, ultra-detailed), [你的场景描述], [你的角色描述], beautiful detailed eyes, (detailed background), cinematic lighting - 剪映工程模板:将你常用的字幕样式、转场效果、BGM段落保存为剪映的“预设”或“草稿”,在新项目中直接复用。
6.3 工作流优化与资产管理
- 文件管理:建立清晰的文件夹结构。例如:
/我的AI漫剧项目 /01_脚本与分镜 /02_原始素材 /角色训练集 /场景参考图 /03_AI生成图 /镜1_校门 /镜2_教室 ... /04_后期素材 /已排版图 /配音音频 /05_视频工程 /06_成品输出 - 版本控制:在生成图片时,SD WebUI可以自动将提示词等信息写入图片的PNG Info中。务必保留这些原始生成图,方便后期回溯和调整。
- 迭代思维:不要追求一次生成完美图片。先生成一批,挑选最好的,然后用“图生图”(img2img)功能,以选中的图为基底,微调提示词或使用重绘(Inpainting)局部修改,逐步优化。
跑通AI漫剧的流程,只是创作之旅的开始。这套方法的核心价值在于,它将你从繁重的重复性绘画劳动中解放出来,让你能更专注于故事本身、分镜设计和情感表达。AI是强大的辅助画笔,而你才是那个执笔的导演。
接下来,你可以尝试更复杂的故事线,设计多角色互动(为每个角色训练LoRA),探索不同的视觉风格,甚至结合3D背景或实拍素材进行混合创作。技术的门槛正在迅速降低,创意的天花板才是真正的极限。
🚀 30+款热门AI模型一站整合,DeepSeek/GLM/Qwen 随心用,限时 5 折。 👉 点击领海量免费额度