推广 热搜:   公司  企业  快速  中国  上海  设备    未来  行业 

Stable Diffusion基础:ControlNet之重新上色(黑白照片换新颜)

   日期:2024-10-11     移动:http://mip.ksxb.net/quote/6671.html

本文给大家分享 Stable Diffusion 的基础能力:ControlNet 之重新上色。

这是一个最近新上的 ControlNet 模型,它可以识别图像中的不同区域,并使用不同的颜色重新绘制它们。

ControlNet 安装

工欲善其事必先利其器,ControlNet 还是先要安装好的,已经安装好的请跳过这一步。

之前的文章已经介绍过相关安装方法,大家请点击这个链接移步过去:ControlNet 安装与基本使用方法

注意需要将 ControlNet 插件升级到 v1.1.410 这个版本,这个版本支持新的 ControlNet 类型。

Recolor 安装

使用 Recolor 前,还需要先安装几个模型

/extensions/sd-webui-controlnet/models/ioclab_sd15_recolor.safetensors

/extensions/sd-webui-controlnet/models/sai_xl_recolor_128lora.safetensors

/extensions/sd-webui-controlnet/models/sai_xl_recolor_256lora.safetensors

这里支持 SDXL 的模型有两个 128lora 和 256lora,它们来源于 Stable Diffusion 的开发公司 StabilityAI 。

为什么有两个呢?首先它们都有一个后缀 lora,这是 StabilityAI 将 Lora 模型的方法引入到了 ControlNet 中,此类模型称为 ControlNet-LoRAs,128、256 分别代表了不同的压缩比例,256的模型文件大小约738M,128的文件更小约377M。文件大参数多,文件小易传播,但是256的效果并不一定比128好,还需根据实际出图情况选择。更多详情可以看 HuggingFace 上的官方介绍:https://huggingface.co/stabilityai/control-lora

不方便访问 huggingface 的同学可以通过我整理的资源下载,下载方式见文章最后;或者直接使用 AutoDL 上我发布的镜像:https://www.codewithgpu.com/i/AUTOMATIC1111/stable-diffusion-webui/yinghuoai-sd-webui-fast

Recolor 可以用在“文生图”和“图生图”,实测 Recolor 在这两种方式下的效果差不多,这里以文生图为例,原图是这样的

img

首先选择一个大模型,这里选择的是真实视觉模型 realisticVisionV51,实际使用时请根据要重新上色的图片选择。

提示词和反向提示词也可以不写,Recolor 会自己选颜色,但是要想达到特定的控制效果,还是得自己写。比如我这里想要把头发改成红色、裙子变成黄色。

img

Stable Diffusion 参数这里没什么好说的,默认或者自己根据需要改改都行。

img

最重要的是 ControlNet 这里,选择任意一个 ControlNet 单元,上传一张照片,勾选“启用”和“完美匹配像素”。

我这里还特别开启了“允许预览”,并生成了预览图,大家注意看这个预览图,相比原图,它去掉了色彩,变成了一张黑白照片。从这里可以看出 Recolor 的本质能力是对黑白图片上色,其基本处理过程是先使用预处理器提取黑白图,然后再识别图片的各个区域进行上色处理。

img

看下 Recolor 的几个参数

预处理器有两个

recolor_luminance:提取图像特征信息时注重颜色的亮度,实测大部分情况下这个效果更好。

recolor_intensity:提取图像特征信息时注重颜色的饱和度。

模型有三个

ioclab_sd15_recolor.safetensors 适用于 Stable Diffusion 1.5 的模型。

sai_xl_recolor_128lora.safetensors 适用于 Stable Diffusion XL 的模型,模型的低秩矩阵有128维。

sai_xl_recolor_256lora.safetensors 适用于 Stable Diffusion XL 的模型,模型的低秩矩阵有256维。

Gamma Correction:伽玛校正,这个词比较专业,大概是说人眼对亮度的识别是不均匀的,对暗区的变化比较敏感,对亮区的变化比较迟钝,为了调节生成图片的感受亮度,以及在不同的显示设备上输出,就搞出了一个幂函数,来映射真实亮度和感受亮度,这个伽马值就是函数的幂。默认为1,如果感觉生成的图片暗就调小一点,如果感觉生成的图片过亮,就调大一点。

其它的几个参数我们已经在 ControlNet 的基本使用方法中介绍过了,不清楚的请移步:安装与基本使用方法

img

看看生成图片的效果:头发、裙子的颜色都处理对了。

img

这个例子中使用的还是SD 1.5的模型,如果换成 SD XL,就要选择对应的 XL 模型才行。

我实际测试 ControlNet-LoRAs 的时候发现一个问题:SD XL 对应的 Recolor 模型必须搭配提示词,否则就会出现不太和谐的色块,还会有莫名其妙的蓝色。要解决这个问题,必须编写提示词和反向提示词才能让生成的图片色彩比较和谐,还是以上边的参考图为例

img

颜色滤镜

只需要一个简单的颜色提示词,大家直接看效果吧,如需取图请看文章最后。

img

img

此图片来源网络,如侵权请告知删除

img

黑白照片上色

在之前的文章中,我写过一篇高清修复老照片的教程

Stable Diffusion修复老照片-图生图

当时我是使用 Tile 修复了一张模糊的黑白照片,今天我再用 Recolor 给这张照片上个色。

使用“图生图”方式,模型选择 realisticVisionV51,为了更好的效果,这里专门写了几句提示词。

img

其它参数参考上边基本使用方法设置下就行了,下面是“高清修复+重新上色”的效果展示:感觉还是挺不错的

img

写到这里,我突然想试一下 Recolor 直接修复模糊老照片的效果

img

首先颜色有了,其次面部清晰了,特别是这个眼神,大家好好感受下,是不是特别还原。

不太好的就是清晰度还是不够,特别是面部之外的区域,颜色的渲染也不够精准,这是因为图片不够清晰,模型不能正确的识别相关区域。这个问题可以通过迭代生成优化,也就是将首次生成出来的图片再次用于图生图,对于衣服不清晰的问题我这里用了局部重绘,只是这个扣子的样式有点旧,我不知道怎么写提示词,模型也不认识。

再给大家看几张黑白照片上色的效果图

img

img

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助

对于0基础小白入门

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍代码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入门stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等,可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

本文地址:http://www.ksxb.net/quote/6671.html    海之东岸资讯 http://www.ksxb.net/ , 查看更多

特别提示:本信息由相关企业自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


相关行业动态
推荐行业动态
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  粤ICP备2023022329号