大家好我是极客菌,前两周Stable Diffusion WebUI1.6.0发布了,新增了很多对SDXL生态的支持。
而ControlNET也对SDXL的支持也逐渐稳定。
SDXL的生态终于有一点起色了,我也觉得是时候,可以来写一篇SDXL的大模型推荐了。
在推荐之前,以免大家混淆,所以这里再做一个简单的小科普:
现在的所有的SD的大模型,都是基于stability.ai发布的开源模型Stable Diffusion进行微调的,而Stable Diffusion本身有很多个版本。
对,有这么多,但是基本都没人玩,只有SD1.5屹立不倒,你不管在Civitai还是一些其他的模型站上,99%都是把SD1.5当底座进行微调或者融合的。
而SDXL1.0是今年7月新发布的大模型,参数量比SD1.5大将近7倍,语言模型也“抄”了OpenAI的CLIP可以写大长句,他的上限比SD1.5高太多太多了。
现在,就来盘点一些,很棒的基于SDXL1.0微调出来的模型。
1.DreamShaper XL1.0
熟悉 SD WebUI 的小伙伴应该对 DreamShaper 不陌生,它是一款非常全能的写实风大模型,出图质量很高。此次 SDXL 1.0 更新后,DreamShaper 的制作者也进行了同步模型优化,于是就产生了 DreamShaper XL1.0 模型。它在图像生成质量、清晰度上比基于 SD 1.5 训练的 DreamShaper 模型更优秀。
类型:大模型(安装路径:根目录 models\Stable-diffusion)
注意事项:显存小于或低于 8G 时,需要开启显存要优化;
图像尺寸不低于 768*768px
参考数值:
正向提示词:photo of the warrior Aragorn from Lord of the Rings, film grain, 8k hd
负向提示词:Negative prompt: (deformed iris, deformed pupils), text, worst quality, low quality, uglySteps: 40, Seed: 17748028598464,
大模型:DreamShaperXL1.0Alpha_half
尺寸:768*1024 px
采样器:DPM++ 2S a Karras
CFG scale: 8
2.Anime Art Diffusion XL
Anime Art Diffusion XL 是基于 SDXL 1.0 专门训练的动漫风模型,可以生成精致 2D 及 3D 动漫风图像,也适合作为未来其他 Lora 模型的基础模型。
类型:大模型(安装路径:根目录 models\Stable-diffusion)
注意事项:显存小于或低于 8G 时,需要开启显存要优化;
图像尺寸不低于 768*768px;使用 8k 和 high resolution 这样的词汇
细节会更丰富
参考数值:
正向提示词:face focus, masterpiece, best quality, 1girl, , white roses, petals, night background, fireflies, light particle, solo, standing, pixiv, depth of field, cinematic composition, best lighting, looking up
反向提示词:(low quality, worst quality:1.2), 3d, watermark, signature, ugly, poorly drawn
大模型:animeArtDiffusionXL_alpha3
生成步数:35
宽度:768*1024 px
采样器:DPM++ 2S a Karras
CFG scale:10
3.Mysterious - SDXL
Mysterious - SDXL 是基于 SDXL 1.0 训练的一款奇幻风格大模型,出图质量高且非常稳定性。东西方奇幻风都可以生成,在赛博朋克、奇幻生物、3D 游戏人物上的效果也不错。
类型:大模型(安装路径:根目录 models\Stable-diffusion)
注意事项:显存小于或低于 8G 时,需要开启显存要优化;
图像尺寸不低于 768*768px
参考数值:
正向提示词:(mysterious:1.3), ultra-realistic mix fantasy,(1 giant eastern dragon:1.3) (behind an asian woman holding a glowing sword:1.1),void energy diamond sword, in the style of dark azure and light azure, mixes realistic and fantastical elements, vibrant manga, uhd image, glassy translucence, vibrant illustrations, ultra realistic, long hair, straight hair, white hair,head jewelly, jewelly, shawls,light In eyes, red eyes, portrait, firefly, mysterious, fantasy, cloud, abstract, colorful background, night sky, flame, very detailed, high resolution, sharp, sharp image, 4k, 8k, masterpiece, best quality, magic effect, (high contrast:1.4), dream art, diamond, skin detail, face detail, eyes detail, mysterious colorful background, dark blue themes
反向提示词:(worst quality:1.5), (low quality:1.5), (normal quality:1.5), lowres, bad anatomy, bad hands, multiple eyebrow, (cropped), extra limb, missing limbs, deformed hands, long neck, long body, (bad hands), signature, username, artist name, conjoined fingers, deformed fingers, ugly eyes, imperfect eyes, skewed eyes, unnatural face, unnatural body, error, painting by bad-artistlayman work, worst quality, ugly, (deformed|distorted|disfigured:1.21), poorly drawn, bad anatomy, wrong anatomy, mutation, mutated, (mutated hands AND fingers:1.21), bad hands, bad fingers, loss of a limb, extra limb, missing limb, floating limbs, amputation, Yaeba, photo, deformed, black and white, realism, disfigured, low contrast
大模型:[Lah]-Mysterious-V2.95
生成步数:50
尺寸:768*1080px
采样器:DPM++ 2M SDE Karras
CFG scale: 9
4.Papercut SDXL
一款基于 SDXL 1.0 训练的剪纸风 lora 模型,可以通过简单的提示词生成各种内容的多层剪纸插画,内容清晰准确,适合生成海报素材。
类型:lora 模型(安装路径:根目录 models\Lora )
注意事项:显存小于或低于 8G 时,需要开启显存要优化
图像尺寸不低于 768*768px
参考数值:
正向提示词:papercut of a fox in a forest, papercut, fox, forest,
负向提示词:blurry, boken
基础模型:sd_xl_base_1.0
lora 模型:papercut
生成步数: 25
尺寸:1024*1024px
采样器: DPM++ SDE
CFG scale: 7
5.3D Render Style XL
基于 SDXL 1.0 训练的 3D 渲染风格模型,图像质量很高,类似 Pixar 3D 动画的风格,适合用来生成各种 3D 人物、动物及场景。
类型:lora 模型(安装路径:根目录 models\Lora )
注意事项:显存小于或低于 8G 时,需要开启显存要优化
图像尺寸不低于 768*768px;不要开启高清修复
参考数值:
正向提示词:(masterpiece, best_quality, ultra-detailed:1.3), a cute Fox, 3d render ,
负向提示词:Negative prompt: (worst quality, low quality:1.4), (lip, nose, tooth, rouge, lipstick, eyeshadow:1.4), (blush:1.2), (jpeg artifacts:1.4), (depth of field, bokeh, blurry, film grain, chromatic aberration, lens flare:1.0), (1boy, abs, muscular, rib:1.0), greyscale, monochrome, dusty sunbeams, trembling, motion lines, motion blur, emphasis lines, text, title, logo, signature,bad_hands, bad-artist-anime
基础模型:sd_xl_base_1.0 / Clip skip: 2
lora 模型:3d_render_style_xl(权重 0.7-1)
生成步数:30
采样器:Sampler: DPM++
生成尺寸:768x1024 px
CFG scale: 7
6.3D Render Style XL
很少会见到针对UI领域特化的SD大模型,Microsoft Design SDXL是国人针对3D UI图标专门训练的模型,偏微软风格,弥散的色彩。
虽然整体风格泛化能力目前较为单一,但是出图质量较高,且填补了这个领域的空白。依然推荐。
7.LEOSAM’s HelloWorld 新世界 SDXL
“HelloWorld”一个全新的逼真的SDXL基础模型系列,拥有极高的肖像的真实感和电影般的质量。用作者的原话说就是:
“由于SDXL的信息量和文本理解能力远远优于SD1.5,HelloWorld是一个旨在逼真描绘所有事物的基本模型,或者换句话说,我希望使用HelloWorld逐步构建一个虚拟摄影世界”
需要在prompt上写上“leogirl”进行模型触发。
8.SDXL_Niji_Special Edition
相比Niji5,有过之而无不及,SD生态里表现最好的卡通大模型,精通所有卡通风格,你的每一个创意,都能在SDXL_Niji_Special Edition的世界里找到最完美的表达。
如果在调用 lora 的过程中发现拓展框内没有下载好的 lora 模型,可以进入“设置-拓展模型”中,勾选最下方的“在 Lora 页面保持显示所有模型”,保存设置后重启 WebUI,就能看到所需的 SDXL lora 模型了。
以上就是本期为大家推荐 5 款基于 SDXL1.0 训练的大模型,可以让我们生成质量更高的图像。虽然目前 SDXL 系的模型在插件兼容性上差一些,但未来配套的设置肯定会越来越完善,非常值得期待。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
总结
### 文章总结:SDXL大模型推荐及AIGC技术展望#### 一、SDXL大模型推荐
**前言**:随着Stable Diffusion WebUI 1.6.0的发布及其对SDXL生态的增强,ControlNET对SDXL的支持也日益稳定,SDXL的生态开始显现活力。在此背景下,作者推荐了几款基于SDXL 1.0的优秀大模型。
**推荐的SDXL大模型包括**:
1. **DreamShaper XL1.0**
- **类型**:大模型
- **特点**:全面写实风格,图像生成质量高
- **注意事项**:推荐显存不小于8G,图像尺寸至少768*768px
- **参考数值**:通过特定正负向提示词和设置生成高质量图像
2. **Anime Art Diffusion XL**
- **类型**:大模型
- **特点**:生成精致2D及3D动漫风格图像
- **注意事项**:同样需要足够的显存和图像尺寸
- **参考数值**:通过精细的提示词配置实现高质量输出
3. **Mysterious - SDXL**
- **类型**:大模型
- **特点**:擅长生成东西方奇幻风格图像
- **注意事项与参考数值**:与其他大模型类似,强调充足的显存和适当的图像尺寸
4. **Papercut SDXL**
- **类型**:Lora模型
- **特点**:实现多层剪纸插画风格
- **注意事项**:对显存有基本要求,适合生成海报素材
5. **3D Render Style XL**
- **类型**:Lora模型
- **特点**:模拟Pixar 3D动画风格
- **注意事项**:优化显存使用,避免高清修复
**其他提及但未详尽介绍的模型**:
- **Microsoft Design SDXL**:针对3D UI图标训练,微软风格明显
- **LEOSAM’s HelloWorld 新世界 SDXL**:逼真描绘所有事物的基础模型系列
- **SDXL_Niji_Special Edition**:卡通风格大师级模型
#### 二、AIGC技术展望
**未来趋势**:
- **应用场景拓展**:AIGC技术将在游戏、计算领域得到更广泛应用,提升系统和应用的智能化水平。
- **与AI结合加深**:与人工智能技术深度融合,拓展应用边界。
- **对程序员的影响**:技术的发展和广泛应用将对程序员的技能要求和工作模式产生重要影响。
**学习资源推荐**:
- **学习路线**:包含AIGC各方向的知识点汇总,帮助学习者全面构建知识体系。
- **必备工具**:整理了一系列AIGC所需的软件和工具,安装即用。
- **最新学习笔记**:收集前辈的理解与笔记,提供独到见解。
- **视频教程合集**:系统视频教程,帮助初学者快速入门。
- **实战案例**:强调动手实操能力,通过实例巩固所学知识。
总结而言,文章不仅推荐了多款基于SDXL 1.0的优秀模型,还展望了AIGC技术的未来发展,并提供了详尽的学习资源和路径,旨在帮助读者全面了解AIGC生态,掌握核心技术。