前两天,AI绘图圈的赛博佛祖张吕敏,又出手了,发了一个挺牛逼的新项目,叫Omost。
简而言之,Omost的作用就是,把简单的一句话,扩展成非常牛逼、详细且精准的Prompt,然后挨个画出各种不同的区域,最后合成在一起。
注意,是合成,所以精准可控能力极强。
非常牛逼的自动绘图的Agent,从此,人人都可以不被所谓的Prompt困扰,普通人用一句话,也能生成很不错的图片。
有一个东西跟Omost用的是同样的技术路线,它叫Dalle3。
但是,Dalle3毕竟是OpenAI的玩意,你只能付费氪金用,没有开源。
但是Omost,开源。
我的小伙伴@祁珏瑜第一时间做了一个本地整合包扔给了我,在我玩了2天后,只能感叹一句:
太强了。
比如我想画一个飞船,我就在输入框中直接输入“太空中的未来飞船”,他就会开始哐哐给我写代码。
这些代码可能很多朋友看不懂,我翻译成中文的你们就知道了。
可以理解成把画面拆成了了九份,九宫格,画面中心是什么,画面左上方是什么,右下方是什么,然后挨个去绘制,最后合在一起。
当把所有的代码输出完后,我们直接点渲染就行,一幅飞船图就出来了~
也可以跟Dalle3一样,再进行对话式的区域修改,比如把背景从太空换成海洋等等。
但是目前还没法接入到SD生态里去,大模型也是封装好的。
大语言模型用的是Llama3-8b,绘图模型用的是RealVisXL V4.0。
本地有8G显存就能跑起来。
整合包我扔公众号后台了,对着公众号私信“O”这个英文字母就有。下载下来解压完后,第一次先运行env.bat,然后再运行run.bat就行了。以后每次打开,就只需要运行一下run.bat。
不过Omost毕竟开源了,肯定会有无数大佬,基于Omost上进行魔改,接入到WebUI和ComfyUI也肯定指日可待。
Omeost强是强,但是让我更感慨,觉得更强的,是Omeost的作者。
赛博佛祖,张吕敏。
可能有些小伙伴对这个人名非常陌生,但是如果我说一个他最著名的开源项目,相信只要是玩AI绘图的,肯定都不会陌生了。
那个项目,叫ControlNET。
让AI生图实现多种手段自主可控,一举将SD生态推向了繁荣,让AI绘图进入N多B端工作流,实现全面商业化的始作俑者。说它是SD生态最大的功臣也不为过。
这些,全都是ControlNET干的,可以说,ControlNET是AI行业精准控图的爹。
而张吕敏,是ControlNET的爹。
而张吕敏的工作,除了ControlNET这种爆炸性的项目之外,还有面向普通人的傻瓜且小白的AI绘图产品Fooocus,开源的。
后面又发了一个Fordge UI,对原生的SD WebUI推理进行加速等各方面优化。在6G低显存上可以提高60-75%的生成速度,8G显存上可以提高大约30~45% 的速度。让AI绘图的门槛进一步被拉低。
还有LayerDiffusion,一个可以用AI直接生成原生的带有透明背景的PNG图片的插件,效果比生产完再用PS啥的抠图的效果完美多了,甚至连玻璃的透明效果都能直接生成出来,重点还是:开源的。
IC-Light,可以重新打光,让人物和背景光线完美融合,实现主体与背景迅速统一在同一光源,还是:开源的。
等等等等。
他在Github上,有无数的star,而头像,是一个很反差很喜感的英短。
可以说,张吕敏他本人,就是整个AI绘图领域的,赛博佛祖。
本人也非常的年轻,2021年本科毕业于苏州大学,现在在斯坦福大学计算机科学专业读博。
但是他,在18年,可能还没进入大学校园时,就已经在研究人工智能了。
18年,他发了两款AI绘图产品,一个叫Mangacaft,给黑白漫画AI一键上色。一个叫Style2Paints,给线稿用AI一键上色。
在19年,我跟Style2Paints,还有过一段很有趣的交集。
那时候在公司,我们设计团队发起了一个项目,是做一个小游戏,类似于王权那种左滑右滑做抉择的。想法很美好,但是现实很骨感,游戏卡牌的插图,我们全得自己画,有整整将近400张。
那时候没有什么AI,真的全得靠人。
我们的几个插画师,不眠不休肝了一两个礼拜,肝出来了近400张线稿,然后我们对着这400张线稿犯了难,毕竟还要上色。。。那是一个比画线稿还恐怖的工作。
我一度觉得这事不该人干,于是就去网上翻,翻到了lks的视频,他推荐了一个很有趣的AI上色工具,就叫:Mangacaft。
我顺着这个产品,找到了张吕敏的Github,找到了他的符合我需求的另一款线稿AI上色工具:Style2Paints。
然后用这个产品,就花了几天时间,帮我直接搞定了属于我的所有的上色任务,然后,开开心心的摸了很多天的鱼。
那时候,我还不知道他叫张吕敏,那个时候,我也更是想象不到,6年后的今天,全世界都知道了他的名字,他成了我们心中的,神。
这六年,他的初心,好像也从来没有变过。
六年前,他的Mangacaft和Style2Paints就是在线服务免费给大家用。
而Mangacaft,收益很凄惨。
他也有过迷茫。
也有抓耳挠腮的时候。
网站关了开,开了关,但是还是一直在开心的做着自己喜欢的事情。
就这样,一直做,一直做。
然后,他做出了ControlNET、做出了LayerDiffusion、IC-Light、Fooocus,也做出了Omost。
现在,他成了张吕敏,成了我们心中的,赛博佛祖。
18年,24年。
我非常佩服他,更是非常的羡慕他,他能做到那么多人都做不到的事,把心中的美好带给所有人,那一股子初心和激情,我非常的羡慕。
我也想成为那样的人,但是也清楚,我实在太菜了。所以也只能做一点,我自己力所能及的小事,去尽可能的追逐他们的背影吧。
最后,我想用张吕敏曾经转发过的一句话做结尾,那句话,最近也挺火。
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
我想,这就是,最大的意义吧。