当前位置:AIGC资讯 > AIGC > 正文

Stable Diffusion 使用

目录

背景

最简单用法

进阶用法

高手用法

safetensor

一、概述

二、主要特点

背景

Stable Diffusion 开源后,确实比较火,上次介绍了下 Stable Diffusion 最简单的concept。今天继续介绍下,以Liblib 为例,介绍下如何使用参数及safetensor是什么。

最简单用法

在liblib 上,最简单的用法,莫过于先找到一个你想要的或者你喜欢的风格,比如,我心血来潮,想绘制一幅海底世界图片。找到了一个:

然后直接点开图片,看一看生图信息

像这种生图信息没有,就最好别用,因为一键生图信息,你不知道填什么,当然你已经比较资深了,可以直接选择自己熟悉的。

我们换一张图片:

这个有相关信息,我们直接转到一键填充页:

需要说明的是,当时这个作者应该使用了一个比较低版本的 checkpoint 模型,所以没有展示。点击一键生图后,

你会看到底膜其实是 AWS1.3 算法。 正负提示及其他相关已经给你填好了,直接生成即可。看下生成效果:

我们觉得中间那条鱼体积大了一点,稍微修改下提示词:

HD,ocean sea water,Composition,HD,Photography,seabed,Front view,Clear,sea bottom clear,HD,No fish.,

看下效果:

看到鱼被缩小了,但是还有,至少从构图比例来说,鱼没有那么显眼了。

进阶用法

先加入模型,再点击在线生图

有的下面写了 推荐模型,也就是底膜,没有在底膜模型列表里的要先加进来。

搜索这个模型加入即可。选中模型

加载多个合适的模型

因为底膜采用的有 carton 动漫元素,所以生成整个图形还是比较遵循底膜的设计思想:

提示词:3D,xiariisland,summer theme,summer vibe,foreground blurring,tree,no humans,palm tree,outdoors,scenery,sun,sunlight,cloud,sunny day,sky,beach umbrella,water,reflection,ocean,a large inflatable swimming ring is in the middle,a big swimming pool,waves,sand,beach,green grass,wooden fence,bright lights,vibrant colors,

当然你也可以采用图生图的方式,改变自己的原始图。

高手用法

在上面可以下载safetensor 数据,用到自己部署的 stable diffusion 模型中。这部分下次再讲

safetensor

Safetensors 是由 Hugging Face 开发的一种可靠、易移植的机器学习模型存储格式,旨在简化和优化大型复杂张量的存储和加载过程。

一、概述

Safetensors 结合了高效的序列化和压缩算法,以减少大型张量的大小,并提高其存储和加载的效率。它专为深度学习应用设计,提供了速度、效率、跨平台兼容性、用户友好性和安全性等多方面的优势。

二、主要特点

高效性: 快速加载:Safetensors 通过跳过不必要的CPU拷贝,在常规Linux硬件上的载入速度是PyTorch的2倍。同时,在GPU上的加载速度也有显著提升。 压缩与序列化:使用高效的序列化和压缩算法,减小了大型张量的大小,从而提高了存储和传输的效率。 安全性: 防止恶意代码执行:与传统的模型加载方式相比,Safetensors 通过限制文件头大小和文件地址的覆盖,有效防止了恶意代码的执行。 校验和机制:确保存储在 Safetensors 中的数据准确可靠,防止数据在存储或传输过程中损坏。 易用性: 简单直观的API:Safetensors 提供了简单直观的API,使得在Python中序列化和反序列化张量变得非常容易。同时,它也支持跨平台和多语言加载,如C++、Java和JavaScript等。 懒加载:支持在不加载整个文件的情况下查看文件信息或只加载部分张量,这对于分布式和多节点环境特别有用。 跨平台兼容性: Safetensors 可以在不同的编程语言和平台上无缝共享模型,支持PyTorch、Tensorflow、PaddlePaddle、Flax和Numpy等多种框架。

总结

**文章总结:使用Liblib与Stable Diffusion以及与Safetensors的集成**
本文介绍了Liblib平台上Stable Diffusion的详细使用方法与safetensor的概念,涵盖从基础使用到高级应用。首先,文章回顾了Stable Diffusion的背景和其开源后的火热程度,紧接着通过Liblib为例,详细阐述了Stable Diffusion参数的使用,包括最简单用法、进阶用法以及高手用法。
- **最简单用法**:介绍了如何在Liblib平台上找到心仪的风格图片,并利用一键生图功能快速生成作品,同时强调了查看原图信息的重要性。
- **进阶用法**:展示了如何手动加入模型并使用在线生图功能,进一步定制生成的图片内容,强调了模型选择和恰当的参数调整对输出质量的影响。
- **高手用法**:提到了通过Liblib下载safetensor数据,用于自己部署的Stable Diffusion模型,为后续的高级应用做了铺垫。
此外,文章单独介绍了safetensor的概念和特点。safetensor是由Hugging Face开发的机器学习模型存储格式,旨在提高模型存储和加载的效率和安全性。文章列举了Safetensors的主要特性,包括:
- **高效性**:通过高效的序列化和压缩算法,显著提高存储和传输效率,加载速度在常规硬件上和控制台加载速度优秀。
- **安全性**:有效防止恶意代码执行,通过校验和机制保证数据存储和传输的准确性。
- **易用性**:提供简单直观的API支持多种编程语言和平台,支持懒加载以满足特殊需求。
- **跨平台兼容性**:支持多种深度学习框架,如PyTorch、Tensorflow等,实现模型的无缝共享与应用。
本文不仅给Stable Diffusion新手提供了明确的使用指导,而且也为进阶用户和开发者介绍了如何利用safetensor优化模型的存储和加载,展现了Stable Diffusion及其相关技术在实际应用中的强大潜力。

更新时间 2024-07-17