当前位置:AIGC资讯 > AIGC > 正文

【stable-diffusion使用扩展+插件和模型资源(上】

文章目录

前言 一、插件推荐 1.qrcode-monster 2.sd-webui-openpose-editor 3.sd-webui-depth-lib 4.roop(换脸插件) 5.sd-webui-qrcode-toolkit(艺术二维码) 5.光源控制 6.二次元转真人 7.动态视频转场(loopback-wave) 总结:到此还没有结束,我怕篇幅太长了,容易厌学,下文见


个人网站: https://tianfeng.space

前言

距离上次模型使用和插件推荐已经挺久了,所以必须再写一期来扩展使用方法了,毕竟得与时俱进,趁着这两天有空,赶紧写,写全点。上期模型插件使用方法和推荐

一、插件推荐

1.qrcode-monster

qrcode-monster是一款controlnet模型,可以生成创意二维码,还可以通过传入图片,生成带有输入图片元素的图片,例如最近的蔡徐坤错觉图片,各省市创意风景图,来学习如何使用把!

https://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster/tree/main

下载模型权重和配置文件,这个需要魔法,这个得你自己想办法了,我没办法交。随便找个绘画群,问问群里的小伙伴,应该都会告诉你的。

把模型放入你**\sd-webui-aki-v4\extensions\sd-webui-controlnet\models** 中,启动webui

(masterpiece, best quality:1.3),extremely high detailed,intricate,8k,big tree,landscape,lakes,stream,mountain

正向写一点风景山脉提示词,反向提示词随便写点,没什么讲究,

仅作参考,这个都很简单,大差不差。

按照这个来,除了上传的图片,权重适当调整。看效果,文字也可以。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5f83ZcsW-1692350691730)(https://tianfeng.space/wp-content/uploads/2023/08/uTools_1691991261123.png)]

2.sd-webui-openpose-editor

sd-webui-openpose-editor是一款可以在controlnet里面直接使用的openpose编辑器,上传样图提取openpose后,可以直接编辑,例如手部崩坏等,可以认为调整了。

直接可以在扩展列表安装,或者 https://github.com/huchenlei/sd-webui-openpose-editor

重启后,点击编辑

操作方法就是直接拖动就行,如果对手不满意可以直接在左边删掉,重新添加编辑拖动

最新版秋叶启动器controlnet增添了dw-openpose-full,效果不错,手部识别率大大提升 同时还增添了提示词选项,傻瓜式填写提示词,再也不用担心提示词怎么写了,包含了各式各样的提示词,点击即可写入

3.sd-webui-depth-lib

sd-webui-depth-lib是一款深度图插件,可以提供很多的手部模型,这对于弥补画手经常崩坏是非常好的,首先来到下载网址

https://github.com/jexom/sd-webui-depth-lib

可以通过扩展在webui网址安装,或者下载压缩包解压在扩展目录,安装后本身的手部模型不多,我们去c站下点图

https://civitai.com/models/67174

含900个手部动作,下载解压把所有pp_hand复制放在插件目录下的maps里就行

重启来到webui界面

可以直接在上面openpose编辑器的基础上优化手,提取openpose后,以它为背景添加手,然后发送到controlnet,第二个controlnet导入openpose图,预处理都不用选,controlnet分别选择depth和openpose

4.roop(换脸插件)

https://github.com/s0md3v/sd-webui-roop

如果你之前没安装Visual Studio,请下载安装,勾选python开发,C++桌面开发

然后在扩展目录下载插件,下载方式不赘述,看到这应该不是问题

下载模型inswapper_128.onnx,放入models/roop/目录中,没有新建

pip install insightface==0.7.3

将启动器设置里代理的端口改成和电脑设置一样

点击启用,编号是对图片从左到右人物换脸,0就是第一个,修复强度就是换脸的幅度。效果一般

5.sd-webui-qrcode-toolkit(艺术二维码)

直接从扩展页面安装,重启

然后来到https://cli.im/text,点击解码,上传二维码图片,把解码结果复制

复制到第一行,其他设置如下,pixel size可以加大到22左右就行,然后点击Download,

经过我的反复测试,关键点是怎么和构建和二维码类似的图片,复制粘贴的提示词一般都很难起作用,或者说效果不佳,所以我把760x760的图像变成760x1460,多出来的就是空白,大模型:寿司2.5D

4k,photorealistic,cinematic,a girl,flower,skirt,multicolored hair,holding (flowers in hand:1.2),wedding_dress,scenery,white hair,ultra high res, high resolution, 8k resolution, wallpaper,

参数:步数小于30,权重1.1-1.4,主要就是这两个参数,其他影响不大,当有一张生成的不错的图片,但是无法扫码,一般就是调小步数,加大controlnet权重,效果如下:

5.光源控制

controlnet tile

提示词

contrast between light and dark,Dark environment,The strong light shining on girl's body,best quality,masterpiece,(photorealistic:1.4),1girl,solo,shirt,

参数:步数三十,高分辨放大2倍,R-ESRGAN 4x+,重绘幅度0.3,采样DPM++

光源图百度一搜全是,效果说实话比我想象还要好

controlnet depth

其他不变,换成depth

controlnet brightness

https://huggingface.co/ViscoseBean/control_v1p_sd15_brightness/tree/main

放入

controlnet illumination

https://huggingface.co/ddoanlinh/controlnet_illumination/tree/main

不放图了,太赘余了,自己想要下载放到目录,参数和brightness一模一样

总结就是,后面几种光线强,较明亮,第一种较柔和,自然,就我个人而言,我是喜欢第一中。

6.二次元转真人

tile Linear

大模型选择真人,提示词先把图片进行提示词反推,然后自己加上一些符合场景的词汇。重绘0.3-0.5,权重0.7-1看情况调整,其他参数基本没什么变化,采样器放大算法选择真人适用的就行。

这两种方式区别在于tile基本是按原图修复放大,相当于等比例修复放大,人物变成真人,但是扩展性较低。Linear则是根据线稿重新绘制,画图局限性降低了,可能出图更自然,但是可能和原图有出入。各有各的好处,看情况而定。

7.动态视频转场(loopback-wave)

https://rentry.co/sd-loopback-wave

点击

右键另存为Loopback Wave Script V1.4.1.py文件,或者点击这里下载我下好的:

链接:https://pan.baidu.com/s/1OtZUWScRpeHu010abrwPdw
提取码:xu8w

把文件放到script目录下,重启

首先生成一些不错的图片,然后取它的种子

来到webui,只写负面提示词,正向在脚本里写,其他参数如下

来到最下面脚本,选择loopback wave,以我为例,我是取了七个图片的种子,假设每波帧数为20,那么总帧数为140,去噪强度0.6

提示词书写如下,第一个0为第几帧,后面两个冒号书写种子,后面再接一个冒号,书写提示词,

注意:第一个数字一定按规范写,每波帧数20的话,第一个为0,第二个为20,依次填写

0::3569324999:1girl, hair ornament, clover, bow, twintails, smile, stuffed toy, green bow, solo, clover hair ornament, long hair, four-leaf clover, stuffed animal, green nails, black hair, hairclip, shirt, skirt, low twintails, doughnut, bangs, collared shirt, white shirt, stuffed bunny, plaid, long sleeves, food, bowtie, looking at viewer, pink bow, four-leaf clover hair ornament, hair bow, nail polish, sweater, blush, pink eyes
20::3960688666:(masterpiece,best quality), 1girl,petite,flat chest, solo, solo focus, (animal ears, rabbit ears), barefoot, knees up, dress, sitting, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, sunlight, brown eyes, dappled sunlight, day, depth of field, open mouth, (flower, hair flower), w, wariza, white dress
40::2834188876:(masterpiece:1.2),best quality,extremely detailed, BREAK cute girl,solo,shiny skin,small breasts,very long hair, detailed eyes,perfect anatomy, cute eyes,(red eyes:1.3),(black hair:1.4), BREAK white shirt,black skirt,magical academy cloak,white panties, BREAK galaxy sky,shooting star,at night,magic circle,fantasy, BREAK character focus, BREAK
60::986005930:masterpiece, best quality, ultra-detailed, highly detailed, <lora:karyl_v1:1>, karyl, green eyes, black hair, bangs, twintails, low twintails, hair bow, cat ears, small breasts, bare shoulders, black pantyhose, bow, brooch, detached sleeves, dress, frilled dress, frills, jewelry, long sleeves, purple bow, sleeveless, sleeveless dress, <lora:saltbae-17:1>, saltbae, sunglasses, sprinkling salt, table, chopping board,
80::1313366984 :1girl,solo,bow,fake_animal_ears,mouse_ears,frilled_skirt,frills,hair_ornament,short hair,hairband,looking_at_viewer,multiple_girls,open_mouth,rat,red_eyes,shirt,silver_hair,skirt,smile,white_hair,white_shirt,v <lora:pcr2-000012:0.7>,Random Posture,
100::4246031170:masterpiece, best quality, 1girl, (colorful),(delicate eyes and face), volumatic light, ray tracing, bust shot ,extremely detailed CG unity 8k wallpaper,solo,smile,intricate skirt,((flying petal)),(Flowery meadow) sky, cloudy_sky, moonlight, moon, night, (dark theme:1.3), light, fantasy, windy, magic sparks, dark castle,white hair
120::326439951:(best quality,high resolution,Beautiful detailed eyes,White lighting:1.2),red eyes, looking at viewer, long hair, black hair, long boots, black footwear, blush, sitting, long sleeves, bangs, parted lips, black hair, dress, knees up, brown hair, white skirt, frills, skirt,thighs, sidelocks,

点击生成就行,图片也可以打开剪辑软件重组为视频

点击查看效果:部分视频(可能小卡缓存一下就好了)

总结:到此还没有结束,我怕篇幅太长了,容易厌学,下文见

更新时间 2023-11-17