Stable Diffusion系列(二):ControlNet基础控件介绍

文章目录

  • 线稿提取类
    • Canny:边缘检测
    • SoftEdge:软边缘检测
    • Lineart:精细线稿提取
    • Scribble/Sketch:涂鸦提取
    • MLSD:建筑领域的线条提取
  • 3D提取类
    • Normal map:法线贴图
    • Depth:深度计算
    • Segmentation:语义分割
  • 属性继承
    • Shuffle:风格迁移
    • OpenPose:姿态提取
    • Reference:整体保留
    • Revise:整体提示
  • 图片重绘
    • Tile/Blur:增加/减少细节
    • Recolor:重新上色
    • InstructP2P:指令修图
    • Inpaint:局部重绘
  • 其他
    • T2I-Adapter:文字到图片自适应
    • IP-Adapter:指令图片自适应

在下载插件时可以看到,ControlNet 插件的星数遥遥领先,远超其他妖艳贱货。究其原因,是因为其大大增强了使用者对图片生成过程的控制能力,图片的生成同时受到提示词和提示图的影响,使得文生图由抽卡游戏变成了一个更具确定性的创作工具。

ControlNet位置位于文生图界面下方,记得要勾选启用,可控类型包括这么点东西:
在这里插入图片描述
接下来我将以喜闻乐见的熊猫花花为例,演示一下关于ControlNet的高端操作
在这里插入图片描述

线稿提取类

Canny:边缘检测

如下图所示,图片的生成效果其实分为两步,第一步是使用canny预处理器提取出图片的线稿,第二步是由模型根据线稿和提示词同时绘图,如果你已经有现成的线稿,记得要把预处理器设为none
在这里插入图片描述
当我输入以下提示词时,得到了这样的画面,构图确实基本上一致,但说好的女装熊猫呢???你的裙子呢???
在这里插入图片描述

在这里插入图片描述
问题不大,不就是提示词的分量不够重吗,我直接减小控制权重以及让它不从头开始控制以及让提示词更重要,emmm,勉强算符合要求吧:
在这里插入图片描述

SoftEdge:软边缘检测

这其实就是上面的升级版,说是可以保留更多细节,相同设置下,直接看看效果:
在这里插入图片描述

Lineart:精细线稿提取

升级升级版,可以理解为是更精细的线稿提取,不错不错,有那味了:
在这里插入图片描述

Scribble/Sketch:涂鸦提取

个人感觉是在线稿基础上的“抓住主要矛盾,忽视次要矛盾”,注意这里除了从原图生成涂鸦,也可以自己手动画一个,但我只想说,你是哪来的肥兔子:
在这里插入图片描述

MLSD:建筑领域的线条提取

这种线条提取会更注重建筑结构比如景深之类,最经典的应用就是生成房屋效果图,如果强行丢一张非建筑,那只能是这样:
在这里插入图片描述
换一张花花的宫殿图试试,只能说它对于建筑的定义有点窄了:
在这里插入图片描述

3D提取类

下面就不放根据提示词重生成的图了,看着都大同小异(懒得放图了),只放第一步预处理的结果

Normal map:法线贴图

跟黑白线稿相比,可以很好地保存原图的光影效果以及表面的凹凸情况:
在这里插入图片描述

Depth:深度计算

提取画面的景深图,颜色越浅,距离越近,可以在图生图用来重新生成背景:

在这里插入图片描述

Segmentation:语义分割

从结构方面提取画面的信息,可以手动在语义分割图中添加新的语义块完成图生图任务:
在这里插入图片描述

属性继承

Shuffle:风格迁移

提取原图的绘画风格并迁移到新生成的图上,不得不说,这还是绘画或者游戏场景下比较适合,对熊猫来说这种艺术还是太超前了:
在这里插入图片描述

OpenPose:姿态提取

熊猫的姿态就不算姿态了吗?气鼓鼓
在这里插入图片描述
来个正常的人类:
在这里插入图片描述

Reference:整体保留

这个可以看做是上面种种的集大成者,可以用来在画面主体对应的个体不变的情况下改变动作或场景,比如对于提示词奔跑的熊猫就会生成下面这堆东西,不过还是没有画出花花的神韵,在这里插入图片描述

Revise:整体提示

其实跟Reference有点像,它的思路是直接把输入的原图作为提示词,可以文字提示词设为空直接跑,也可以与文字提示词一起用,但为什么熊猫变成了猎豹呢,可能是一个名字里有猫,一个是猫科动物吧:
在这里插入图片描述

图片重绘

Tile/Blur:增加/减少细节

前者用来做高清修复,后者用来做画面模糊,试试先模糊后修复的效果如何,高清修复不是很高啊:
在这里插入图片描述
在这里插入图片描述

Recolor:重新上色

原理很简单,首先把彩色改成黑白,然后在黑白图上根据提示词重新上色:
在这里插入图片描述

InstructP2P:指令修图

这个需要在图生图页面中启用,输入make it snow,效果看着还不错:
在这里插入图片描述

Inpaint:局部重绘

这个需要在图生图下的手绘蒙版页面中启用,花花变花猪:
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

其他

剩下这俩都是腾讯搞的,感觉就是mini版ControlNet,就先不细说了

T2I-Adapter:文字到图片自适应

IP-Adapter:指令图片自适应

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/113697.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

unittest与pytest的区别

Unittest vs Pytest 主要从用例编写规则、用例的前置和后置、参数化、断言、用例执行、失败重运行和报告这几个方面比较unittest和pytest的区别: 用例编写规则 用例前置与后置条件 断言 测试报告 失败重跑机制 参数化 用例分类执行 如果不好看,可以看下面表格&…

软件测试之BUG篇(定义,创建,等级,生命周期)

目录 1. BUG 的定义 2. 如何创建 BUG 3. BUG 等级 4. BUG 生命周期 高频面试题: 1. BUG 的定义 当且仅当产品规格书存在且正确时,程序的实现和规格书的要求不匹配时,那就是软件错误。当产品规格说明书没有提到的功能时,以用户…

ChineseChess.2023.11.01.03

1 红【马三进四】吃黑车,红方没有将军,黑方进攻 黑方 【 卒4平5】, 将 红帅 红【炮五退七】吃黑【卒5】,解将,不用看,你没棋走 黑【炮4进7】,将红帅,绝杀,位置都被自己卡…

单通道Mat元素的访问之data和step属性【C++的OpenCV 第十四课-OpenCV基础强化(三)】

🎉🎉🎉 欢迎来到小白 p i a o 的学习空间! \color{red}{欢迎来到小白piao的学习空间!} 欢迎来到小白piao的学习空间!🎉🎉🎉 💖 C\Python所有的入门技术皆在 我…

数据结构之栈的实现

𝙉𝙞𝙘𝙚!!👏🏻‧✧̣̥̇‧✦👏🏻‧✧̣̥̇‧✦ 👏🏻‧✧̣̥̇: Solitary-walk ⸝⋆ ━━━┓ - 个性标签 - :来于“云”的“羽球人”…

springboot打包时依赖jar和项目jar分开打包;jar包瘦身

概述 最近感觉项目在部署时时jar包传输太慢了; 看了下jar包内容,除了项目代码,其余大部分都是依赖jar; 平时改动较多的只是项目代码,依赖jar改动比较少; 所以就在想能不能分开打包;这样只部署项…

ONNX的结构与转换

ONNX的结构与转换 1. 背景2. ONNX结构分析与修改工具2.1. ONNX结构分析2.2. ONNX的兼容性问题2.3. 修改ONNX模型 3. 各大深度学习框架如何转换到ONNX?3.1. MXNet转换ONNX3.2. TensorFlow模型转ONNX3.3. PyTorch模型转ONNX3.4. PaddlePaddle模型转ONNX3.4.1. 简介3.4…

钉钉会议室无需API开发轻松连接OA、电商、营销、CRM、用户运营、推广、客服等近千款系统

钉钉会议室支持成员管理、主持人权限管理、高级会控、组织内会议全员静音、共享权限控制等会议管理能力,确保会议安全可控的进行。 官网:https://page.dingtalk.com/wow/z/dingtalk/Rax/RoomsIntro 集简云无代码集成平台,轻松连接钉钉会议室…

动态规划算法实现------转换(编辑、变换)问题

目录 一、字符串转换问题 1.1问题 1.2确定动态规则(DP、状态转移方程)、初始值 (1)插入操作实现状态转移 (2)删除操作实现状态转移 (3)替换操作实现状态转移 (4)初始值 1.3动态规划算法代码实现 (1)完整代码 (2)程序速度优化 二、矩阵变换问题 2.1问题 2.2矩阵乘法 (1)矩阵相乘…

实验记录之——git push

平时做开发的时候经常push代码不成功,如下图 经好友传授经验,有如下方法 Win cmd使用Clash(端口是7890)代理操作,在cmd中输入: set http_proxy127.0.0.1:7890 set https_proxy127.0.0.1:7890Linux export …

Elasticsearch:在你的数据上训练大型语言模型 (LLM)

过去的一两年,大型语言模型(LLM)席卷了互联网。 最近 Google 推出的 PaLM 2 和 OpenAI 推出的 GPT 4激发了企业的想象力。 跨领域构思了许多潜在的用例。 多语言客户支持、代码生成、内容创建和高级聊天机器人都是一些例子。 这些用例要求 LL…

echarts的图表立体感——实现立体柱状图和立体饼图的详细教程

😂博主:小猫娃来啦 😂文章核心:使用echarts实现立体柱状图和立体饼图的详细教程 文章目录 简单介绍立体柱状图和立体饼图环境配置实现立体柱状图实现立体饼图总结 简单介绍立体柱状图和立体饼图 立体柱状图和立体饼图是数据可视化…

Youtube DNN:Deep Neural Networks for YouTube Recommendations

1.介绍 本文主要解决的三个挑战: 大规模的推荐场景,能够支持分布式训练和提供有效率的服务。不断更新的新物料。稀疏的用户行为,包含大量的噪声。 2.推荐系统 文章包含推荐系统的两阶段模型:召回和排序。 召回网络根据用户的历…

【JAVA学习笔记】58 - 泛型

项目代码 https://github.com/yinhai1114/Java_Learning_Code/tree/main/IDEA_Chapter15/src/com/yinhai/generic_ https://github.com/yinhai1114/Java_Learning_Code/tree/main/IDEA_Chapter15/src/com/yinhai/customgeneric_ 一、泛型的入门和好处 1)请编写程序,…

创新工具箱!重塑手机页面原型设计体验

在2024年,随着移动设备的普及和用户对移动体验的要求不断提升,手机页面原型设计工具变得越来越重要。在这篇文章中,我将为您推荐几款在2024年非常流行且值得一试的手机页面原型设计工具。 Pixso Pixso是一款基于云端的协作设计工具&#xf…

三相电表逆相序是由于负载造成的吗

大家好,最近有蛮多客户问三相电表逆相序是由于负载造成的吗?那么答案是:是的,但是负载只是导致三相电表出现逆向序的原因之一,下面,小编来带大家一起了解下三相电表出现逆相序的原因有哪些,一起…

比亚迪今年的薪资。。

大家或许已经对比亚迪在西安的宣讲会有所耳闻,那场面真的是座无虚席。如果你稍微迟到了一些,那么你可能只能在门外或是走廊听了。 事实上,许多人早早地抵达了,只要稍微晚到,就可能错过了室内的位置。 更令人震惊的是&…

Go语言集成开发环境(IDE):GoLand 2023中文

GoLand 2023是一款由JetBrains开发的现代化、功能丰富的Go语言集成开发环境(IDE)。它提供了智能代码提示和自动完成、强大的内置调试器以及代码重构工具,帮助开发者提高编码效率并确保代码质量。GoLand 2023还支持多种版本控制系统&#xff0…

QT 信号和槽

不讲那么多大道理,直接上 前面用Python QT 发现在线程或者定时器里操作控件,有很大概率导致程序闪退,所以如果想要在线程和定时器中操作控件,需要自定义信号和槽,不知道CQT会不会有这个问题,这个经验不是很…

MySQL的3种索引合并优化⭐️or到底能不能用索引?

MySQL的3种索引合并优化⭐️or到底能不能用索引? 前言 前文我们讨论过MySQL优化回表的多种方式:索引条件下推ICP、多范围读取MRR、覆盖索引等 这篇文章我们来聊聊MySQL提供的另一种优化回表的手段:index merge 索引合并 在阅读本文前,你…
最新文章