概念和前景
先看亚马逊AWS给AIGC的定义。
AIGC 是什么_亚马逊云科技 AIGC 解决方案
它有多个模态分支,但大同小异。
Diffusion预训练成本降低6.5倍,微调硬件成本降低7倍!Colossal-AI完整开源方案低成本加速AIGC产业落地
背景
1.01亿美元融资,为Stable Diffusion捐赠算力的公司两年成为独角兽
与最初的 V1 版本相比,Stable Diffusion 2.0 提供了许多重大改进和特性
Stable Diffusion 2.0来了!网友:太快了,V1还没整透彻,V2就来了
它到底有多卷
非常易用。
他不仅可以生成图片,还可以修图,还可以生成视频, 3D 模型。
不仅可以生成常见的科幻,二次元,卡通,超现实等风格,甚至还可以生成中国风。
它还可以生成类似绘本和漫画等系列图。
记录两个有特点的:
链接 1 卷!用扩散模型合成连贯视觉故事,输入字幕就能脑补画面,代词ta都分得清 2 一句话生成3D模型:AI扩散模型的突破,让建模师慌了使用和试用
以Midjourney为例:
用户只需要输入一些 提示词(Prompt,使计算机读懂你的意图)即可。
Prompt: “A painting of sea cliffs in a tumultuous storm, Trending on ArtStation.” (提示文本:暴风雨中的海岩画,在 Artstation 上热搜。)
比如:
四张图的提示文本分别是:
an ominous painting of the Eiffel tower by Zdzisław Beksiński (由JJ和RT创作的在不祥氛围笼罩的埃菲尔铁塔画作。)
a magic realism painting by Gediminas Pranckevicius depicting an abandoned building in a field of flowers landscape, vibrant, cinematic lighting(由GP创作的一幅魔幻现实主义的花田中的废弃建筑画作,充满活力感,电影光效)
a beautiful painting of a building in a serene landscape by Greg Rutkowski and Thomas Kinkade, trending on ArtStation. (由GS和TK创作的一幅宁静建筑的画作,在 Artstation 上热搜中。)
a beautiful portrait of mecha statue of liberty by James Jean and Ross Tran(由JJ和RT创作的一幅美丽的自由女神画作。)
名称 试用地址 References 备注 1 Stable diffusion https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb Google Codelab 需要Google和Hugging Face token,不推荐 Disco Diffusion https://colab.research.google.com/github/alembics/disco-diffusion/blob/main/Disco_Diffusion.ipynb Google Codelab 仅需Google账号 stabilityai/stable-diffusion Stable Diffusion 2 - a Hugging Face Space by stabilityai HuggingFace 推荐,无需账号,一次生成四张图 2 Midjourney https://discord.com 地表最强AI画概念图!?Midjourney内测报告 推荐,注册账号即可 3 iPhone 上运行 Stable Diffusion 应用商店链接:https://apps.apple.com/us/app/draw-things-ai-generation/id6444050820 把Stable Diffusion模型塞进iPhone里,做成APP一分钟出图 iOS移动端 4图像擦除和替换 Erase and Replace
(Stable Diffusion)
试玩下:https://app.runwayml.com/login Stable Diffusion新玩法,一句话帮你换图,网友魔改《戴珍珠耳环的少女》长这样 注册账号即可 5 Colossal-AI GitHub - hpcaitech/ColossalAI: Colossal-AI: A Unified Deep Learning System for Big Model Era Diffusion预训练成本降低6.5倍,微调硬件成本降低7倍!Colossal-AI完整开源方案低成本加速AIGC产业落地 有代码门槛 6 文心 ERNIE-ViLG 2.0 文心大模型 掀起一股中国风,最强中文AI作画大模型文心ERNIE-ViLG 2.0来了 中文,百度账号 7 太乙Taiyi Stable Diffusion Chinese - a Hugging Face Space by IDEA-CCNL
IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1 · Hugging Face
首个中文Stable Diffusion模型开源,IDEA研究院封神榜团队开启中文AI艺术时代 无需账号 8 Dreambooth-Stable-Diffusionhttps://github.com/XavierXiao/Dreambooth-Stable-Diffusion 只需3个样本一句话,AI就能定制照片级图像,谷歌在玩一种很新的扩散模型 有代码门槛 9 (OneFlow) Stable Diffusion How to Run OneFlow Stable Diffusion · Oneflow-Inc/diffusers Wiki · GitHub 1秒出图,全球最快的开源Stable Diffusion出炉 有代码门槛,需注册Hugging Face account账号 10 OneFlow Dpmsolver Sdm - a Hugging Face Space by LuChengTHU Stable Diffusion采样速度翻倍!仅需10到25步的扩散模型采样算法 好像不能用
此外:
Stable Diffusion相关应用整理 Stable Diffusion相关应用整理 - 飞桨AI Studio AI爱好者不容错过的14个Stable Diffusion开源Colab AI爱好者不容错过的14个Stable Diffusion开源Colab! 人工智能文本转图像模型 Stable Diffusion 入门教程 人工智能文本转图像模型 Stable Diffusion 入门教程 - 哔哩哔哩如果想要在自己的电脑上无限制的生成图片,可能需要自己部署一套环境。参加:AI 作画第二弹
Stable Diffusion 的部署相当简单,可以部署在 Windows、Linux 和 Mac OS 上。硬件要求如下:
4GB 及以上显存的 NVIDIA 显卡,或者 M1 芯片的苹果电脑。
至少 12 GB 内存。
至少 6 GB 的可用磁盘存储空间。
收费与版权
非常友好,甚至可以直接拿来商用。以Midjourney为例:
MidjourneyMidjourney可以免费使用,但免费版用户每个月的生成张数有限制,且不能商用。
付费版用户每个月需支付 30 美元,生成的图片可用于商用,并且:
若因Midjourney获利在每月2万美元及以下的,不用支付Midjourney分成。
若因Midjourney获利在每月 2 万美元以上的,需要支付Midjourney20%的分成,或者和Midjourney商讨出其他分成协议。
另外,付费版用户每月可向Midjourney申请10个作品的完整所有权,并且这份权利不随时间的变化而改变。你也可以向Midjourney申请更多的额度。
3. Midjourney内测使用申请
目前Midjourney还在Beta测试版,通过这个链接
https://o9q981dirmk.typeform.com/to/zZtF1mVc?typeform-source=t.co 可以申请测试名额。
Midjourney每个月会给已经通过内测的用户发放一些名额,如果你需要测试名额的话,也可以通过公众号后台(全民熊猫计划)向我留言,如果有新的名额available我会发给你,当然这个不能保证,因为我还没搞明白怎么邀请(对不起)
公众号推荐
微博用户:Simon_阿文, Simon的白日梦
公众号名称 1机器之心
更新频度高,偏新闻化,讲业界和论文界动态 2 全民熊猫计划 3 机器学习与AI生成创作 4 云水木石 适合码农DIY开发环境 5 CG世界来源于网络,侵删