-
Stable Diffusion ———LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo等版本之间关系现原理详解
一、简介 2021年5月，OpenAI发表了《扩散模型超越GANs》的文章，标志着扩散模型（Diffusion Models，DM）在图像生成领域开始超越传统的GAN模型，进一步推动了DM的应用。 然而，早期的DM直接作用于像素空间，这意味着要优化一...
-
AIGC学习笔记——CLIP详解加推理
clip论文地址：https://arxiv.org/pdf/2103.00020.pdf clip代码地址：https://github.com/openai/CLIP 小辉问：能不能解释一下zero-shot? 小G答：零次学习（Zero...
-
stable diffusion使用相关
IP Adapter，我愿称之它为SD垫图 IP Adapter是腾讯lab发布的一个新的Stable Diffusion适配器，它的作用是将你输入的图像作为图像提示词，本质上就像MJ的垫图。 IP Adapter比reference的效果要好，而且会...
-
Stable Diffusion 3 架构细节大揭秘
在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。 Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transf...
-
Stable-diffusion复现笔记
一、引言 目前正在学习有关扩撒模型的相关知识，最近复现了Stable-diffuison，此文主要是想记录一下整体的复现过程以及我在复现过程中出现的一些奇怪的问题以及我的处理方法。这里我的复现主要是针对官网文档实现的，并没有用到webui版本，如果是想体...
-
Stable Diffusion中的Clip模型
基础介绍 Stable Diffusion 是一个文本到图像的生成模型，它能够根据用户输入的文本提示（prompt）生成相应的图像。在这个模型中，CLIP（Contrastive Language-Image Pre-training）模型扮演了一个关键...
-
DALL·E 2 文生图模型实践指南
前言：本篇博客记录使用dalle2模型进行推断时借鉴的相关资料和DEBUG流程。 相关博客：超详细！DALL · E 文生图模型实践指南 目录 1. 环境搭建和预训练模型准备 环境搭建 预训练模型下载 2. 代码 3. B...
-
一键Run带你体验扩散模型的魅力
在文生视频领域，Sora将带来短视频的智能化变革，打破当前内容平台等额原有数据壁垒，短视频创作的生态护城河，同时Sora融入短视频工作流，极大的增强用户的体验，降低创作难度和成本，极大拓展创作者的能力边界，激发短视频创作空间。 在视频创作...
-
最新综述！扩散模型与图像编辑的爱恨情仇
本文经自动驾驶之心公众号授权转载，转载请联系出处。 针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的be...
-
stable diffusion 原理是什么？
“ 这篇文章主要介绍了Stable Diffusion，这是一种用于AI绘画的算法，它是由CompVis和Runway团队在2021年12月提出的“潜在扩散模型”（LDM/Latent Diffusion Model）的变体，基于201...
-
4秒惊艳！Stable Cascade AI绘画神器，设计师和普通用户的无限创意新选择
近日，一款AI绘画模型Stable Cascade发布。 只需输入一段描述文字，即可在4秒钟内获得令人惊艳的图像。 无论你是设计师、艺术家，还是普通用户，都能轻松上手，释放无限创意。 Stable Cascade不仅在使用上极具便捷性，还拥有开放的源...
-
Jshop采集插件：电子商务新视界的利刃
在互联网商业飞速发展的时代背景下，数据已经被广大商家和电商从业者视作发展业务的新金矿。但是，面对庞大而分散的数据海洋，如何有效收集所需的信息便显得尤为重要。"Jshop采集插件"作为一个前沿而实用的电子商务工具，可以帮助用户实现对在线数据的快速抓取与分析，...
-
24｜Stable Diffusion：最热门的开源AI画图工具
上一讲，我们一起体验了 CLIP 这个多模态的模型。在这个模型里，我们已经能够把一段文本和对应的图片关联起来了。看到文本和图片的关联，想必你也能联想到过去半年非常火热的“文生图”（Text-To-Image）的应用浪潮了。相比于在大语言模型里 OpenAI...
-
AIGC图像技术在淘宝人生2的探索和应用
淘宝人生2（又名：第二人生）是淘宝的一个虚拟人装扮类应用，承担了用户在淘宝的第二个人生的作用。我们旨在通过AI为淘宝人生2的用户提供丰富有趣的可玩性内容，随着最近火热的AIGC技术的发展，我们也进行了相关尝试和落地，目前已经上线了AI拍照...
-
Stable Diffusion 3技术报告出炉：揭露Sora同款架构细节
很快啊，“文生图新王”Stable Diffusion 3的技术报告，这就来了。 全文一共28页，诚意满满。 “老规矩”，宣传海报（⬇️）直接用模型生成，再秀一把文字渲染能力： 所以，SD3这比DALL·E 3和Midjourney v6都要强的文字...
-
AiGC学习之Stable Diffusion安装部署
AiGC的学习如火如荼，我们也来体验一把。 一：先看电脑配置，建议使用navida显卡，显存8G+，我的显卡截图如下： 二：打开网站 github.comGitHub - AUTOMATIC1111/stable-diffusion-webui:...
-
全面超越ViT，美团、浙大等提出视觉任务统一架构VisionLLAMA
半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。 沿袭 ViT 的研究思路，我们能否借助创新性的 LLaMA 架构，真正实现语言和图像的架构统一？ 在这一命题上，最近的一项研究 Visi...
-
一文看尽297篇文献！中科院领衔发表首篇「基于扩散模型的图像编辑」综述
本文全面研究图像编辑前沿方法，并根据技术路线精炼地划分为3个大类、14个子类，通过表格列明每个方法的类型、条件、可执行任务等信息。 此外，本文提出了一个全新benchmark以及LMM Score指标来对代表性方法进行实验评估，为研究者提供了便捷的学习参...
-
中科院等万字详解：最前沿图像扩散模型综述
针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的benchmark，为研究者提供了便捷的学习参考工具。...
-
AIGC内容分享(四十五)：AIGC绘画 | OutfitAnyone在线试衣&AnimateAnyone你的科目三
⚡ AIGC绘画 | outfit anyone 虚拟试衣 & animate anyone 图像动画化 本文主要介绍2篇最新研究，outfit anyone 虚拟试衣 和 animate anyone 图像动画化，在在线购物试衣和动画制作...
-
Stable Diffusion 3论文终于发布，架构细节大揭秘，对复现Sora有帮助？
Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transformer）架构，一经发布就引起了不小的轰动。 与之前的版本相比，Stable Diffusion 3 生成...
-
Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？
Stability AI在发布了Stable Diffusion 3之后，今天公布了详细的技术报告。 论文深入分析了Stable Diffusion 3的核心技术——改进版的Diffusion模型和一个基于DiT的文生图全新架构！ 报告地址： http...
-
一个关于BEV车道线落地的点点滴滴
本文经自动驾驶之心公众号授权转载，转载请联系出处。 21年 埋下了一颗种子 看过BEV障碍物故事的同学应该清楚，我们组是在21年10月左右开始做BEV 障碍物的。那个时候不敢想着去做BEV 车道线，因为没有人力。但是我记得在12月左右的时候，我们面到了...
-
【AI绘画】Stable Diffusion使用入门教程！！！！
手把手教你入门绘图超强的AI绘画，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新保姆级教程资料包 （文末可获取） 首先提几个好玩的名词： 炼丹：训练AI学习图片生成模型 咒语：prompt提示词 一、prompt提示词 1...
-
论文精读--DALL·E 2
使用CLIP训练好的特征做层级式的依托于文本的图像生成，层级式是指生成小分辨率图片后不断用模型上采样得到高清大图 CLIP将输入的文本变成一个文本特征，然后DALLE2训练一个prior模型，输入是文本特征输出是图像特征，最后把图像特征喂给解码器得到图片...
-
CVPR2024｜AIGC(图像生成，视频生成等)相关论文汇总（附论文链接/开源代码/解析）【持续更新】
CVPR2024｜AIGC相关论文汇总（如果觉得有帮助，欢迎点赞和收藏） Awesome-CVPR2024-AIGC 1.图像生成(Image Generation/Image Synthesis ECLIPSE: A Resource-E...
-
Stable Diffusion web UI 安装教程
Stable Diffusion web UI 安装教程 欢迎来到猫说AI，wx搜索，猫说AI接入了最新版Chatgpt供大家免费使用。 注意：这是ubuntu20.04安装步骤！ conda创建python虚拟环境 conda create -n...
-
Stable-Diffusion ubuntu服务器部署，报错解决方法（小白教程）
Stable Diffusion是一个深度学习模型，专注于生成高质量的图像。它由CompVis团队与Stability AI合作开发，并在2022年公开发布。这个模型使用文本提示（text prompts）生成详细、逼真的图像，是目前人工智能图像生成领域的...
-
给AI Agent完整的一生！港大NYU谢赛宁等最新智能体研究：虚拟即现实
【新智元导读】近日，来自香港大学的Jihan Yang和纽约大学的谢赛宁等人发表了新的成果，将真实世界的地图、街景等各种信息融入Agent所在的虚拟世界，为智能体的未来赋予了无限可能。 怎样能构建更强大的AI Agent? 答案是给他们一个完整而真实的世界...
-
简单聊聊AI绘画中的SD（Stable Diffusion）是什么
聊到AI绘画，基本上就会聊到SD这个概念，毕竟作为开源可以本地部署的AI绘画软件，SD可能是目前的唯一选择，不管是webUI或者ComfyUI，还有国内的很多套壳绘画AI，都是sd作为基础进行二次优化的。那么SD到底是个啥，这篇文章就结合我个人的理解简单跟...
-
Stable diffusion webui部署及简单使用
文章目录 前言 一、Stable Diffusion WebUI部署 1.Stable diffusion 2.Linux 上的自动安装步骤如下： 1.安装依赖项： 2.切换到想要安装 WebUI 的目录并执行以下命令： 3.运行 webu...
-
自动写故事、写字成图？5款有趣实用的AIGC工具分享
最近AIGC（AI Generated Content）持续火爆，吸引了大批用户和创作者的关注。不管是智能生成图片的DeepArt.io，还是聊天机器人chatgpt，身怀“屠龙技”的人工智能向人类展示了它的强大，也让大家窥见到了人工智巨大的未来前景！如果...
-
Stable Diffusion 训练
文章目录 前言 一、主要训练方式 二、kohya_ss安装(Linux 1.打开终端并切换到所需的安装目录 2.通过运行以下命令克隆存储库 3.切换到kohya_ss目录 4.通过执行命令来运行安装脚本 5.安装完成后，在kohya_ss目...
-
2024年自动驾驶标注行业是否会被世界模型所颠覆？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 1.数据标注面临的问题(特别是基于BEV 任务） 随着基于BEV transformer 任务的兴起，随之带来的是对数据的依赖变的越来越重，基于BEV 任务的标注也变得越来越重要。目前来看无论是2D-...
-
Stable diffusion不同模型变量的work pipeline：checkpoint、lora、vae等等到底是怎么work together的？
SD里面有很多不同种类的模型参数，比如embedding、vae、checkpoint、hypernetwork、controlNet、clip还有lora，我看了很多博客，发现它们都是言语寥寥几句说什么改变风格，用于调整和改善生成图片的色彩之类的有点废话...
-
金融分析多模态LLM FinTral:基于Mistral-7B模型 得分接近GPT-4
近日，来自不列颠哥伦比亚大学和Invertible AI的研究人员推出了一款具有突破性的大型语言模型（LLM）——FinTral，专为金融领域量身定制。FinTral采用了多模态方法，能够处理文本、数字、表格和视觉数据，以应对金融文件的复杂性。该模型引入了...
-
视频生成模型Sora的全面解析：从AI绘画、ViT到ViViT、DiT、VDT、NaViT、VideoPoet
前言 真没想到，距离视频生成上一轮的集中爆发(详见《Sora之前的视频生成发展史：从Gen2、Emu Video到PixelDance、SVD、Pika 1.0》 才过去三个月，没想OpenAI一出手，该领域又直接变天了 自打2.16日OpenAI发...
-
李沐学AI--DALL·E 2 + Diffusion Model
DALL·E 2 CLIP的一半的反过程 clip是 text–> text feature image --> image fueture 对比找相似的，就能进行分类任务，将给定的图像与给定的text对应起来。 dall e2是 text...
-
AIGC实战——扩散模型(Diffusion Model)
AIGC实战——扩散模型 0. 前言 1. 去噪扩散概率模型 1.1 Flowers 数据集 1.2 正向扩散过程 1.3 重参数化技巧 1.4 扩散规划 1.5 逆向扩散过程 2. U-Net 去噪模型 2.1 U-Net 架构 2.2...
-
详解各种LLM系列｜（2）LLaMA 2模型架构、 预训练、SFT内容详解 (PART-1)
一、引言 Llama 2是Meta在LLaMA基础上升级的一系列从 7B到 70B 参数的大语言模型。Llama2 在各个榜单上精度全面超过 LLaMA1，Llama 2 作为开源界表现最好的模型之一，目前被广泛使用。 为了更深入地理解Llama 2的...
-
AIGC应用：Stable diffusion webui基本使用技巧
文章目录 前言 一、Stable Diffusion Web UI 安装 二、泡泡玛特（prompt） 三、txt输入规则 四、交替渲染 五、Lora模型调用 六、Hypernetwork & Embeding 七、采样器（sample...
-
Sora神图惊掉下巴，好莱坞导演急撤掉8亿美元摄影棚！ Sora「内测」提前开放，影视失业潮将至
就在昨天，Sora又有全新「神作」炸出了！ 两位Sora作者，Bill Peebles、Tim Brooks纷纷甩出全新图片。（顺便还秀了一把基友情？） 「一只小熊猫和一只巨嘴鸟是最好的朋友，在蓝色时刻漫步在圣托里尼岛」，Peebles称这个场景简直就和...
-
每日AI：谷歌推AI视频VideoPrism；ChatGPT新增文本朗读功能；Stability AI推图片放大工具Creative Upscaler；Stable Diffusion安卓版客户端来了
欢迎来到【每日AI】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 🤖📱💼AI应用 追赶Sora?谷...
-
Jasper公司收购Stability AI旗下的AI图像平台Clipdrop
近日，AI企业软件公司Jasper成功完成对Stability AI旗下Clipdrop AI图像平台的收购。该平台以其强大的图像编辑工具而闻名，用户可通过Jasper API获得企业服务，而消费者仍可在Clipdrop.co购买独立版本。 在此之前，S...
-
Stable Diffusion之最全详解图解
Stable Diffusion之最全详解图解 1. Stable Diffusion介绍 1.1 研究背景 1.2 学术名词 2.Stable Diffusion原理解析 2.1 技术架构 2.2 原理介绍 扩散过程 3.1 Diff...
-
图像生成发展起源：从VAE、扩散模型DDPM、DETR到ViT、Swin transformer
前言 2018年我写过一篇博客，叫：《一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如 2014 R-CNN 2015 Fast R-CNN、...
-
Midjourney是什么东西？Midjourney用法详细相关介绍
Midjourney是一个惊人的人工智能(AI 绘画工具，它以超凡的灵活性和创造力使艺术创作变得轻而易举。用户们并不需要具备复杂的绘画技能，只需使用简单的文字提示，就可以引导AI生成独特且充满视觉吸引力的艺术作品。现在，让我们更详细地了解一下Midjour...
-
超有趣的stable diffusion干货解读
超有趣的stable diffusion干货解读 智能时代：向量和模型构成一切(Vector and models rule it all ——朱嘉明 从老式电视机上的雪花引出diffusion Stable Diffusion 的组成 为...
-
Stable Diffusion【基础篇】：降噪强度（denoising strength）
大家好，我是程序员晓晓。 提到降噪强度（denoising strength），大家一定不会陌生，这个参数是图生图中最关键的参数之一。今天在Stable Diffusion Art网站看到一篇介绍降噪强度（denoising strength）的文章（地...
-
【白话科普】10分钟从零看懂AI绘画原理
👉腾小云导读 计算机如何生成和真实图片相似的图画？模型是如何听懂我们想要它生成什么并给出对应结果？AIGC 热潮中的 Stable Diffusion、NovelAI、Latent upscale、ControlNet、LoRA等等是...