1.选择sadtalker,等待加载完成会自动打开
2.上传图片
3.上传语音
4.点击生成按钮
5.等待加载完成
第一章 基本操作
1.首先准备好原视频、视频转绘工作流,在stable difffusion中下好插件isnet_Pro插件。
2.打开comfyui,并把工作流拖入其中。
3.在桌面建一个空文件夹(不得含有中文),打开stable diffusion来到isnet_Pro插件部分。
4.上传原视频,设置好保存路径(刚刚建的空白文件夹),然后点击gene_frame按钮即可。
5.随后视频已经转成一帧一帧图片并保存在桌面的文件夹内。
6.现在打开工作流,设置一下图片的路径,即刚才保存的图片的路径,并且设置图片的高度跟宽度。
7.选择一个大模型,设置一下LCM的Lora模型,controlnet模型选择controlnet_checkpoint.ckpt模型,animatediff模型选择motion-checkpoint_less_motion.ckpt,设置完就可以开始转绘了。
8.点击运行
9.等待加载完成
1.打开animation文字变动画,选择后等待加载完成会自动打开
3.选择模型
4.输入关键词并调整参数
5.点击生成按钮
6.等待加载完成
第一章 如何正确打开stablediffusion
点击
选择“stable diffusion”
等待代码加载完成,复制链接
把链接粘贴到浏览器,就打开了
第二章 Stable Diffusionu 页面布局及功能介绍
在最上面有一个模型选择按钮,里面有预装载的模型可供选择
选择自己想要的模型(下面这些是预先下好的常用模型 )
下面是功能选择区
文生图:根据文字描述生成图片
图生图:根据上传的图片以及描述生成图片
后期处理:包括批量处理等常用功能
PNG图片信息:识别用SD画的图的所有参数
模型融合:将多个模型通过一些算法合并成一个新模型
在“文生图”和“图生图”中都有正向提示词和反向提示词可以输入
正向描述语:表示你要输入你想要画的东西
反向描述语:你不想要画面出现的东西
写描述语的规则:每个关键词之间用“,”隔开,“()”表示权重即这个词语在画面中的重要性,重要性越高,权重就越高,加一组括号等于提高1.1倍权重,加两组括号就是1.1乘以1.1的权重,固定一个权重值,比如要1.5倍,则在括号挡住使用书写这个比例的方式,如(colour:1.5)
第三章 做出高质量图 所需要用到的关键词
第四章 如何安装插件
第五章 使用文生图和图生图 的基本操作
举个例子
一开始做出来的图,可能在细节方面有所欠缺,如何对指定的图画进行优化?
使用图生图对一张图画进行优化
1.选择二次元模型和图生图模式
2.将原始图片上传此处(如果是SD做出来的图,可以先上传到PNG图片信息,识别后发送到图生图)
3.在关键词输入英文版“高清”
4.调整图片下方重绘幅度参数,建议拉小了慢慢调试,幅度大了图会崩,尝试不同的参数
5.可选择多张一起绘制,点击“生成”
6.在生成的图片中挑选出相对满意的,并点击图片下方的“发送到图生图”
7.此时杯子有点变形,点击“局部重绘”
8.用画笔涂抹杯子
9.修改关键词
10.重复前面调整参数的步骤选择满意的图片,依旧发送到“重绘”,此时手部有些奇怪重复前面的步骤
11.对手部涂抹并修改关键词进行生成
12.选择满意的成品进行保存
第六章 如何对模特 进行换脸,换衣服,换动作
1.对面部进行修复,我们需要用前面安装插件的方法安装下面这个插件(在网址搜索下载即可)
2.在应用更新并重启后,我们点击“设置”,找到ADetailer,把“最大模型数量”拉到“5”,然后点击“重启UI”就可以了
如何更改人物动作
1.要更改模特动作,需要用到下面的插件
2.在“图生图”的“局部重绘”插入原图
3.下拉至“ControlNetv1.1.410”依次点击
对指定的衣服更换模特
第七章 如何用Lora给指定人物换装
最简单制作Lora的教程需要用到秋叶版Lora模拟训练器
使用Lora给指定人物换装
第八章 如何用真人照片生成动漫形象
1.准备一张真人照片
2.打开图生图并插入照片
3.在图生图页面上方有“CLIP反推”和“DeepBooru反堆”了推出图片的描述词
两种反推方法出来的不同结果,则优即可
4.选择一个动漫模型
5.适当添加一些高品质描述词
6.主要调整重绘幅度和迭代步数,采样方法择优
根据不同的重绘幅度和迭代步数生成的不同效果
第九章 如何用线稿生成成品效果图
只需要准备:线稿,对应的大模型,controlnet插件,对应风格的Lora
1.因为要生成卧室的效果图所以选择一个真实大模型
2.在文生图界面,controlnet插件插入线稿图片,依次勾选“启用”、“完美像素模式”、“允许预览”和“Lineart(线稿)”,然后点击下方“爆炸”按钮
3.点击生成按钮下方红色按钮选择对应的Lora,并输入正反向关键词
4.适当调整采样方法、迭代步数,这边高分辨率修复是为了画面更清晰,具体按需求调整,最后按生成按钮
效果展示
如果有一张线稿,如何生成3D效果成品图
1.跟前面一样的步骤启用controlnet线稿模式
2.选择一个对应效果的大模型和Lora
在使用这个Lora后,如果没有特殊需求可以直接点击生成,会随机生成效果,如果对发色等有需求就填写对应关键词
成品效果展示
第九章 如何生成真人商品展示图
准备工作: 1.安装好lineart模型的controlnet插件 2.一个基础大模型 3.segment anything插件 4.训练好的LORA模型
从网上找一些项链的模特展示图训练一个Lora并放入sd
拍摄商品展示图,同一角度拍摄两张,一张有展示物,另一张无展示物
在SD中选择图生图界面 下拉到controlnet插件界面,依次选择红框中的按钮,上传没有商品的底图,点击爆炸按钮
下拉到segment anything插件页面,上传有商品的展示图
点击启用GtoundingDINO 输入检测词“necklace(项链)”,加载完成后选择最合适的
选择适合的蒙版发从到重绘蒙版
往上滑到蒙版模式,选择重绘非蒙版内容
重绘幅度按生成效果自定义
适当输入关键词,注意要用上Lora
可批量生成选择最满意的,制作不同角度的只需要在两个插件中替换图片即可
如果想让生成的图片效果更真实,只需要在生成的图片的基础上再使用一次segment anything
将之前生成的图片导入segment anything,依旧是把项链识别出来
选择好蒙版上传
输入关键词
点击重绘非蒙版内容 重绘幅度调小
多张生成后选择效果最优的