当前位置:AIGC资讯 > AIGC > 正文

OpenMMLab-AI实战营第二期——6-2.玩转AIGC神器MMagic

文章目录

1. 基本介绍 2. 动手实验

视频链接:玩转AIGC神器MMagic
代码教程:https://github.com/TommyZihao/MMagic_Tutorials

1. 基本介绍


Stable Diffusion的文生图,以及controlnet和dreamboost的图生图(输入一个图像+文字描述,输出另一张图像)

在2022年以前,这种技术是无法想象的,像magic一样,所以这个库就叫mmagic

1. Stable Diffusion和Midjourney

参考知乎文章-十分钟读懂Stable Diffusion, 可以在线体验下:Stable Diffusion Playground,这里也有体验Midjourney的方式,但是我体验的时候提示今日免费体验额度没有了。 Stable Diffusion Playground 我的描述词:Anime-style headshot of a beautiful big-eyed girl looking at a cute black cat,生成的。。。还行吧,没那么惊艳,但是还算合理

另外,huggingface的在线体验:Stable Diffusion v1-5 Demo,同样的prompt结果是:

调用mmagic的Stable Diffusion结果是:

这么看下来,mmagic的Stable Diffusion比较好,哈哈哈。

2.controlnet和Dreambooth
参考知乎文章:

AI绘画王炸功能Control Net安装教程 ControlNet:AI图像生成的又一变革 【AI绘画】LoRA训练与正则化的真相:Dreambooth底层原理


https://beta.openxlab.org.cn/apps


https://beta.openxlab.org.cn/edit-anything/home,这个需要注册登录才可以使用。不过有别的项目,需要自己部署一下,参考:

Github:sail-sg/EditAnything Github:IDEA-Research/Grounded-Segment-Anything


https://github.com/open-mmlab/mmagic
上图的详情介绍视频位于:https://user-images.githubusercontent.com/49083766/233564593-7d3d48ed-e843-4432-b610-35e3d257765c.mp4


这个变化有点像 哪吒之魔童降世的申公豹人脸变豹子脸的感觉

可以用来做变身,哈哈哈


mmgeneration和mmedting合并成为现在的mmagic,主要包括:
条件GAN和非条件GAN,图像修复,图像超分,视频超分,视频插值,图像上色,图像转译,图像重绘,文生图等场景算法

详见:https://mmagic.readthedocs.io/en/latest/model_zoo/overview.html,英文版确实比中文文档要完善很多。

2. 动手实验

代码教程:https://github.com/TommyZihao/MMagic_Tutorials

更新时间 2023-12-16