-
Datewhale×魔搭 AI夏令营第四期 AIGC方向Task3笔记
·Part1 ComfyUI 1.ComfyUI简介： GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。 ComfyUI 是GUI的一...
-
【前沿技术】扩散模型Stable Diffusion原理与应用
前言 久章智能 Stable Diffusion是一种基于扩散模型（Diffusion Models）的生成技术，近年来在图像生成和其他生成任务中取得了显著的进展。该技术以其高质量的生成效果、稳定的训练过程和广泛的应用前景，迅速在学术界和工业界引起了...
-
【diffusers极速入门（七）】Classifier-Free Guidance （CFG）直观理解以及对应代码
系列文章目录 【diffusers 极速入门（一）】pipeline 实际调用的是什么？ call 方法! 【diffusers 极速入门（二）】如何得到扩散去噪的中间结果？Pipeline callbacks 管道回调函数 【diffusers极速...
-
CVPR2024|Diffusion模型轻量化与计算效率优化
前言 做算法应该都有顶会梦吧，发不了顶会只能刷一刷顶会了哈哈，向顶会大佬学习 扩散模型的训练和推理都需要巨大的计算成本（显卡不足做DDPM的下游任务实在是太难受了），所以本文整理汇总了部分CVPR2024中关于扩散模型的轻量化与计算效率优化 的相关论文...
-
【三维AIGC】扩散模型LDM辅助3D Gaussian重建三维场景
标题：《Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models》 来源：Glasgow大学；爱丁堡大学 连接：https://arxiv.org/abs/2406.13099...
-
Llama也能做图像生成？文生图模型已开源
导读 基于next-token prediction的图像生成方法首次在ImageNet benchmark超越了LDM, DiT等扩散模型，证明了最原始的自回归模型架构同样可以实现极具竞争力的图像生成性能。 Llama也能做图像生成？文生图模型已开源...
-
提升AI绘画生成质量：探索与突破
本文由 ChatMoney团队出品 随着人工智能技术的蓬勃发展，AI绘画生成技术已成为艺术领域的一颗璀璨新星。然而，尽管AI绘画技术在模仿人类绘画风格、创作独特艺术作品等方面取得了显著进展，但其生成的图像质量仍有待提升。本文旨在深入探讨如何提升AI绘...
-
Stable Diffusion：最全详细图解
Stable Diffusion，作为一种革命性的图像生成模型，自发布以来便因其卓越的生成质量和高效的计算性能而受到广泛关注。不同于以往的生成模型，Stable Diffusion在生成图像的过程中，采用了独特的扩散过程，结合深度学习技术，实现了从噪声到清...
-
扩散模型实战（十一）：剖析Stable Diffusion Pipeline各个组件
推荐阅读列表： 扩散模型实战（一）：基本原理介绍 扩散模型实战（二）：扩散模型的发展 扩散模型实战（三）：扩散模型的应用 扩散模型实战（四）：从零构建扩散模型 扩散模型实战（五）：采样过程 扩散模型实战（六）：Diffusers DDPM初...
-
51-34 DALLE2 结合预训练CLIP和扩散模型实现图像生成
今天要分享的论文是OpenAI于2022年4月出品的DALLE2，全名Hierarchical Text-Conditional Image Generation with CLIP Latents。该工作是在CLIP和GLIDE基础之上完成。 很早之前...
-
Stable diffusion文生图大模型——隐扩散模型原理解析
1、前言 本篇文章，我们将讲这些年非常流行的文生图大模型——Stable Diffusion。该模型也不难，甚至说很简单。创新点也相对较少，如果你学会了我以前的文章讲过的模型，学习这个也自然水到渠成！ 参考论文：High-Resolution Ima...
-
快速入门大模型技术与应用，推荐你从Stable Diffusion开始学起
ChatGPT狂飙160天，世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/ 更多资源欢迎关注 世界是变化的，分子是...
-
Stable Diffusion 模型演进：LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo 等
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 合集： 持续火爆！！...
-
AI绘画的算法原理：从生成模型到Diffusion
近年来，AI绘画技术引起了广泛关注，让我们深入探讨其背后的技术原理和发展历程。本文将以通俗易懂的方式，介绍AI绘画的核心算法，从生成模型到Diffusion。 1. 计算机如何生成图画？ AI绘画的核心在于生成模型（ge...
-
稳定扩散美学梯度（Stable Diffusion Aesthetic Gradients）：一种创新的图像生成技术...
稳定扩散美学梯度（Stable Diffusion Aesthetic Gradients）：一种创新的图像生成技术 项目地址:https://gitcode.com/vicgalle/stable-diffusion-aesthetic-gradien...
-
Stable Diffusion初级教程
一、入门篇 1. 理解基本概念 扩散模型（Diffusion Models）：扩散模型是一种生成模型，通过逐步添加噪声到数据样本中，然后学习如何逐步去除这些噪声来恢复原始数据。 Latent Diffusion Model (LDM ：LDM是...
-
第一篇【AI与传奇开心果系列】Python的AI相关库技术点案例示例:详解AI作画原理
AI与传奇开心果博文系列 系列博文目录 Python的AI相关库技术点案例示例系列 博文目录 前言 一、AI作画算法原理介绍 二、深度学习的神经网络AI作画算法原理应用示例代码 三、特征学习AI作画算法原理应用示例代码 四、风格迁移AI作画算...
-
Ilya离职后第一个动作：点赞了这篇论文，网友抢着传看
自Ilya Sutskever官宣离职OpenAI后，他的下一步动作成了大家关注焦点。 甚至有人密切关注着他的一举一动。 这不，Ilya前脚刚刚点赞❤️了一篇新论文—— ——网友们后脚就抢着都看上了： 论文来自MIT，作者提出了一个假说，用一句话总结...
-
写真视频击败Sora？人大自研全新多模态大模型Awaker 1.0震撼登场
在人工智能领域，人大系初创公司智子引擎近日发布了一款名为Awaker1.0的全新多模态大模型，标志着向通用人工智能（AGI）迈出了重要一步。该模型在写真视频效果上超越了Sora，展现了其在视觉生成方面的卓越能力。 4月27日，在中关村论坛的通用人工智能平...
-
CVPR 2024 | 面向真实感场景生成的激光雷达扩散模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：Towards Realistic Scene Generation with LiDAR Diffusion Models 论文链接：https://hancyran.github.io/a...
-
IPAdapter FaceID Plus下载地址 AI图像生成编辑工具使用入口
ComfyUI-IPAdapter-Plus是一个强大的图像生成和编辑工具，专门用于基于一个或多个参考图像进行图像到图像的条件生成。通过文本提示、控制网络和掩码，您可以轻松生成增强图像的各种变体。这款工具类似于单张图像的 Lora。ComfyUI-IPAd...
-
无需训练，这个新方法实现了生成图像尺寸、分辨率自由
近期，扩散模型凭借其出色的性能已超越 GAN 和自回归模型，成为生成式模型的主流选择。基于扩散模型的文本到图像生成模型（如 SD、SDXL、Midjourney 和 Imagen）展现了生成高质量图像的惊人能力。通常，这些模型在特定分辨率下进行训练，以确...
-
可控图像生成最新综述！北邮开源20页249篇文献，包揽Text-to-Image Diffusion领域各种「条件」
在视觉生成领域迅速发展的过程中，扩散模型已经彻底改变了这一领域的格局，通过其令人印象深刻的文本引导生成功能标志着能力方面的重大转变。 然而，仅依赖文本来调节这些模型并不能完全满足不同应用和场景的多样化和复杂需求。 鉴于这种不足，许多研究旨在控制预训练文本...
-
Stable Diffusion ———LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo等版本之间关系现原理详解
一、简介 2021年5月，OpenAI发表了《扩散模型超越GANs》的文章，标志着扩散模型（Diffusion Models，DM）在图像生成领域开始超越传统的GAN模型，进一步推动了DM的应用。 然而，早期的DM直接作用于像素空间，这意味着要优化一...
-
ControlNet作者又出新作：百万数据训练，AI图像生成迎来图层设计
尽管用于生成图像的大模型已经成为计算机视觉和图形学的基础，但令人惊讶的是，分层内容生成或透明图像（是指图像的某些部分是透明的，允许背景或者其他图层的图像通过这些透明部分显示出来）生成领域获得的关注极少。这与市场的实际需求形成了鲜明对比。大多数视觉内容编辑...
-
60行代码，从头开始构建GPT！最全实践指南来了
60行代码，从头开始构建GPT？ 最近，一位开发者做了一个实践指南，用Numpy代码从头开始实现GPT。 你还可以将 OpenAI发布的GPT-2模型权重加载到构建的GPT中，并生成一些文本。 话不多说，直接开始构建GPT。 什么是GPT？ GPT代...
-
ControlNet作者新作：AI绘画能分图层了！项目未开源就斩获660 Star
“绝不是简单的抠图。” ControlNet作者最新推出的一项研究受到了一波高度关注—— 给一句prompt，用Stable Diffusion可以直接生成单个或多个透明图层（PNG）！ 例如来一句： 头发凌乱的女性，在卧室里。Woman with me...
-
国内高校打造类Sora模型VDT，通用视频扩散Transformer被ICLR 2024接收
2 月 16 日，OpenAI Sora 的发布无疑标志着视频生成领域的一次重大突破。Sora 基于 Diffusion Transformer 架构，和市面上大部分主流方法（由 2D Stable Diffusion 扩展）并不相同。 为什么 Sora...
-
爆火Sora背后的技术，一文综述扩散模型的最新发展方向
为了使机器具有人类的想象力，深度生成模型取得了重大进展。这些模型能创造逼真的样本，尤其是扩散模型，在多个领域表现出色。扩散模型解决了其他模型的限制，如 VAEs 的后验分布对齐问题、GANs 的不稳定性、EBMs 的计算量大和 NFs 的网络约束问题。因...
-
Latent Diffusion Models / Stable Diffusion（LDM）
High-Resolution Image Synthesis with Latent Diffusion Models（CVPR 2022）https://arxiv.org/abs/2112.10752latent-diffusionstable-di...
-
第三章：AIGC框架和应用场景
1.背景介绍 人工智能(AI 和机器学习(ML 技术在过去几年中取得了显著的进展，为许多领域带来了革命性的改变。自动化图像生成(AIGC 是一种使用AI和ML技术自动生成高质量图像的方法。AIGC框架可以应用于许多场景，例如生成艺术作品、设计、广...
-
AIGC实战——能量模型(Energy-Based Model)
AIGC实战——能量模型 0. 前言 1. 能量模型 1.1 模型原理 1.2 MNIST 数据集 1.3 能量函数 2. 使用 Langevin 动力学进行采样 2.1 随机梯度 Langevin 动力学 2.2 实现 Langevin...
-
图像生成与修复：AI绘画的新时代
1.背景介绍 图像生成与修复是一种非常重要的计算机视觉任务，它可以帮助我们创建新的图像，并修复损坏或不完整的图像。随着人工智能技术的发展，图像生成与修复的能力也在不断提高，使得AI绘画成为了一个热门的研究领域。 在本文中，我们将讨论图像生成与...
-
【读点论文】A Survey on Generative Diffusion Model，AIGC时代的新宠儿，从原理推导到工程应用，在视觉，自然语言，语音等领域大展拳脚
A Survey on Generative Diffusion Model Abstract 由于深度潜在表示，深度学习在生成任务中显示出良好的潜力。生成模型是一类可以根据某些隐含参数随机生成观测值的模型。近年来，扩散模型以其强大的生成能力成...
-
AIGC实战——归一化流模型(Normalizing Flow Model)
AIGC实战——归一化流模型 0. 前言 1. 归一化流模型 1.1 归一化流模型基本原理 1.2 变量变换 1.3 雅可比行列式 1.4 变量变换方程 2. RealNVP 2.1 Two Moons 数据集 2.2 耦合层 2.3 通...
-
【AIGC-图片生成视频系列-6】SSR-Encoder：用于主题驱动生成的通用编码器
目录 一. 贡献概述 二. 方法详解 a 训练阶段 b 推理生成阶段： 三. 综合结果 四. 注意力可视化 五. 选择性主题驱动图像生成 六. 人体图像生成 七. 可推广到视频生成模型 八. 论文 九. 个人思考 稳定扩散（S...
-
11个AI绘画软件大全，赶紧收藏
随着人工智能技术的不断发展，越来越多的AI绘画软件应运而生。AI绘画软件利用人工智能技术，通过计算机自动生成或辅助生成艺术作品。 AI绘画软件通常集深度学习、计算机视觉、自然语言处理等技术于一体，可以模拟人类的创作过程，生成逼真的艺术作品。 本文将免...
-
CES 2024的亮点仅仅聚焦AI深度赋能和产业创新吗？｜ DALL-E 3、Stable Diffusion等20+ 图像生成模型综述
随着科技飞速发展，CES（国际消费电子展）已然成为全球科技产业的风向标，每年的CES大会都是业界瞩目的盛事。回顾2024年CES大会，不难发现其亮点纷呈，其中以人工智能的深度赋能为最引人注目之处。AI技术的深入应用成为CES大会上的一大亮点，各大厂商纷纷展...
-
AIGC面经大全（持续更新）
目录 DDPM算法原理部分： DDIM算法原理部分： ⾼阶采样⽅案： 特征编码篇： Stable Diffusion篇： SDXL篇： ⼤模型微调篇： 控制模型篇： 适配器篇： DDPM算法原理部分： 简述DDP...
-
Stable Diffusion（SD）核心基础知识——（文生图、图生图）
文章目录 一、Stable Diffusion核心基础原理 （一）Stable Diffusion模型工作流程 （二）Stable Diffusion模型核心基础原理 （三）Stable Diffusion的训练过程 （四）其他主流生成式模型...
-
一文读懂Stable Diffusion 论文原理+代码超详细解读
背景 Stable diffusion是一个基于Latent Diffusion Models（LDMs）实现的的文图生成（text-to-image）模型。 2022年8月，游戏设计师Jason Allen凭借AI绘画作品《太空歌剧院（Théâtre...
-
【扩散模型】12、Stable Diffusion | 使用 Diffusers 库来看看 Stable Diffusion 的结构
文章目录 一、什么是 Stable Diffusion 二、Diffusers 库 三、微调、引导、条件生成 3.1 微调 3.2 引导 3.3 条件生成 四、Stable Diffusion 4.1 以文本为条件生成 4.2 无分类器的...
-
生成式AI大模型对人类进化的影响
你是不是发现每天的工作都离不开ChatGPT之类的语言生成模型？离不开类似Midjourney的图像生成模型？离不开一些设计类的AI辅助工具？如果是，那说明你已经逐步被AI侵蚀了，你的创造力也正在逐渐下降，大模型正在剥夺你的创造力。 不可否认，生成式大...
-
[论文精读] 自条件图像生成 - 【恺明大神新作，AIGC 新基准】
论文导读: 论文背景: 2023年8月，AI大神何恺明在个人网站宣布，2024年将加入MIT担任教职，回归学术界。这篇论文是其官宣加盟MIT后首度与MIT师生合著的公开论文，论文一作本科毕业于清华姚班，二作为MIT电气工程与计算机科学系教授，今年的斯...
-
扩散模型实战（十）：Stable Diffusion文本条件生成图像大模型
推荐阅读列表： 扩散模型实战（一）：基本原理介绍 扩散模型实战（二）：扩散模型的发展 扩散模型实战（三）：扩散模型的应用 扩散模型实战（四）：从零构建扩散模型 扩散模型实战（五）：采样过程 扩散模型实战（六）：Diffusers DDPM初探...
-
大模型 Dalle2 学习三部曲（一）Latent Diffusion Models学习
引言 Diffusion model大获成功，但是它的短板也很明显，需要大量的计算资源，并且推理速度比较慢。如何才能提升Diffusion model的计算效率。业界有各种各样的改进，无疑Latent Diffusion Models（潜在扩散模...
-
AIGC中的视觉生成文献整理
文章目录 文件夹文献总览 图像生成技术 视频生成技术 Video Generation with Text Condition Video Generation with other Conditions Video Editing 生成模...
-
最近读的AIGC相关论文思路解读
AIGC之SD可控生成论文阅读记录 提示：本博客是作者本人最近对AIGC领域相关论文调研后，临时记录所用，所有观点都是来自作者本人局限理解，以及个人思考，不代表对。如果你也正好看过相关文章，发现作者的想法和思路有问题，欢迎评论区留言指正！ 既然是论...
-
AIGC实战——像素卷积神经网络(PixelCNN)
AIGC实战——像素卷积神经网络 0. 前言 1. PixelCNN 工作原理 1.1 掩码卷积层 1.2 残差块 2. 训练 PixelCNN 3. PixelCNN 分析 4. 使用混合分布改进 PixelCNN 小结 系列链接...
-
AI绘画权益纠纷：你的创作是否触碰了版权底线？
最近，北京互联网法院就一起人工智能生成图片（AI绘画图片）的著作权侵权案进行了首次审理并做出了判决。这是中国首例牵涉到“AI文生图”著作权的案件，庭审过程在多个平台进行直播，吸引了众多网友，同时引发了对于AI生成内容与著作权之间关系的广泛讨论。 那么近年...