当前位置:AIGC资讯 > AIGC > 正文

使用Unity 接入 Stable-Diffusion-WebUI 文生图生成图像

参考:stable diffusion 远端跑图—— Api基础知识掌握 - 知乎 (zhihu.com)

1、准备工作(下载启动器)

这一部分就不多赘诉了,我使用的是B站秋叶大佬的整合包,要启用API。

网上蛮多自己配置的,可能需要设密码之类的。经自己测试,使用整合包的话就不配置这个API账号密码了,不然会出现客户端出错,连接不上等问题(可能是我操作不当,我也还没研究透)

附带:可以下一个Postman来测试接口

2、接口测试

FastAPI - Swagger UI 这里面有很多接口,暂时只研究了一下文生图的接口,关于文生图的这些请求体参数还没摸透目前。

找到文生图的 Post 接口

打开,里头有个Try it out,点击之后会出现一个请求体,然后底下会有一个Execute的执行按钮,然后在底下就能直接复制这个接口的地址了。这个接口其实在上面图片就有了,就是你的本机ip加上/sdapi/v1/txt2img

测试接口。可以在这个网站上直接测试接口。我这用的是Postman,其实没什么区别。在Postman中创建一个Post请求,填入地址。

添加请求体,选择json数据,输入请求体内容(如上所说,调试参数还没搞明白),然后发送等待返回数据即可。

解析数据。如果没出错的话,会返回一些信息,其中images是一个base64的字符串数组(后面在Unity会用到), 就是图片信息(是的,贼长一串),然后parameters就是你的请求体了(调试的参数),关于info(我不知道哈哈哈),

查看图片。可以复制这一长串字符串(images里面的。上面提到了这是数组,你的请求体如果写了出图是几张,如果你出的是两张图,那你直接复制进去肯定是解析不出来的,自己找到其中一张的信息拿出来用)。然后打开 Base64 to Image Decoder / Converter (codebeautify.org) 这个网站,将你的字符串输入进去(去掉首位的双引号啊中括号之类的),你就可以得到你生成的图片咯。

ps:额...有点抽象。关于调试参数这些的,网上有挺多内容的,大家可以自行查阅一下。

3、Unity 接入

发下疯,亚雷**,我以前写post接口测试的时候,都是传的json字符串,直接将数据序列化传输即可。测这玩意的时候,测了半天跑不通,就是422,读取不了我的数据。网上看了很多几乎都是python,官方文档也是用的python案例,好像也就是传个地址,然后不也是直接传的json字符串。有够绝望,误打误撞将数据转成byte字节流数据上传,成了....

在场景里搞个RawImage用来等下接收生成的图片,然后准备个dll文件,放在Plugins下。这是一个序列化和反序列化的库文件。也可以直接在VS里装,但我不知道咋回事,装好了之后重新打开脚本,引用直接报错了,索性直接下一个dll丢到里头。

代码的话,思路无非就是创建结构体或者来,表示你要上传的数据,然后序列化成json字符串,在转byte字节流,发送请求,然后收到请求,然后解析数据啊这样。

需要注意的几点就是:

1、json 数据常会有空值,但是值类型是没有空值的,所以我定义接收数据的时候更常用一些引用类型来接收,避免出现错误。

2、构建请求体的结构体或类时,字段名要对应Api接口的请求参数名。如api接口 prompt提示词和steps迭代次数,那我定义的时候就对应上。这个具体还是得看他所接收得字段名是啥,还有他得数据类型是啥。(传错的话似乎协程似乎会陷入无法释放的状态,然后就是重启大法....)

public class txt2imgMes
{
    public int steps;
    public string prompt;
    public int batch_size;
   
}

请求的方法的话,UnityWebRequest 和 WWW 类我都试了一下,都行得通。之前做Post测试的时候,有时接口只能用其中一种方法,很奇怪我也不知道啥问题。另外需要加上请求头,试了一下不加请求头也会出错。

#region UnityWebRequest 请求
//  创建Post请求
UnityWebRequest requestPost = new UnityWebRequest(URL, UnityWebRequest.kHttpVerbPOST);
//  实例请求体
txt2img_Mes txt2imgMes = new txt2img_Mes();
txt2imgMes.prompt = "puppy dog";
txt2imgMes.steps = 15;
txt2imgMes.batch_size = 2;
string str = JsonConvert.SerializeObject(txt2imgMes);
// 将Json字符串转换为byte[]
byte[] postData = Encoding.UTF8.GetBytes(str);
​
//  添加请求头
requestPost.SetRequestHeader("Accept", "application/json");
requestPost.SetRequestHeader("Content-Type", "application/json");
//  实例上传处理器,并将 postData 设置为上传的数据
requestPost.uploadHandler = new UploadHandlerRaw(postData);
//  使用构造函数创建 Post 请求,需要实例下载器存储数据及上传处理器
//  通过静态方法 UnityWebRequest.Post() 创建Post请求,会自动实例分配下载处理器和上传处理器。
requestPost.downloadHandler = new DownloadHandlerBuffer();
​
yield return requestPost.SendWebRequest();
if (requestPost.isHttpError || requestPost.isNetworkError)
{
    Debug.Log(requestPost.error);
}
else
{
    Debug.Log("图片生成中");
    string text = requestPost.downloadHandler.text;
    action.Invoke(text);
}
#endregion

定义接收返回数据的对象。之前提到过,返回的图片信息是一个base64字符串数组,然后试了一下用List列表去接收,也是可以的(毕竟列表也是通过数组实现的)。刚刚Postman测试的时候可以看到,返回的数据不止图片的信息一个,但只需要用到 images 这一个信息,所以只定义了这个对象用于接收

public class txt2imgReturnMes
{
    //  返回的图片信息是一个string字符串
    //  使用 List ,Json数据有的值是空值,对于接收的数据类型个人更常用引用类型
    public List<string> images;
    //  public string[] images;
}

解析数据获取图片,反序列化获取的数据,然后将字符串转为byte字节流数据,生成图片,然后就可以了。

 StartCoroutine(PostRequest(Url, (string str) =>
 {
     Debug.Log(str);
     txt2img_ReturnMes byteMes = JsonConvert.DeserializeObject<txt2img_ReturnMes>(str);
     Debug.Log("获取返回数据");
     Debug.Log(byteMes.images.Count);
    
     byte[] bytes = Convert.FromBase64String(byteMes.images[0]);
     Texture2D texture = new Texture2D(1, 1);
     texture.LoadImage(bytes);
     image.texture = texture;
​
     byte[] bytes2 = Convert.FromBase64String(byteMes.images[1]);
     Texture2D texture2 = new Texture2D(1, 1);
     texture2.LoadImage(bytes2);
     image2.texture = texture2;
 }));

出图,看起来还行,没那么抽象了哈哈哈

研究一下这些调试的参数,后面再去研究一下图生图,看能不能通过用户拍照直接生成一张图出来。

有问题的地方还请各位指正,感谢。

更新时间 2024-03-28