-
【AIGC】InstructPixPix:基于文本引导的图像编辑技术
github:diffusers/examples/instruct_pix2pix/train_instruct_pix2pix_sdxl.py at main · huggingface/diffusers · GitHub 论文：https://a...
-
Stable Diffusion 开源项目教程
Stable Diffusion 开源项目教程 stablediffusionHigh-Resolution Image Synthesis with Latent Diffusion Models项目地址:https://gitcode.com/gh...
-
每日AIGC最新进展(48)：腾讯提出Rich-Contextual Conditional Diffusion Models、OPPO提出自动生成复杂字形海报模型、南京大学提出基于Mamba插帧模型
Diffusion Models专栏文章汇总：入门与实战 Boosting Consistency in Story Visualization with Rich-Contextual Conditional Diffusion Models...
-
Classifier-Free Guidance (CFG) Scale in Stable Diffusion
1.Classifier-Free Guidance Scale in Stable Diffusion 笔记来源： 1.How does Stable Diffusion work? 2.Classifier-Free Diffusion Guida...
-
每日AIGC最新进展(35)：字节跳动提出人物肖像动画X-Portrait、字节跳动提出组合式视频编辑Edit3K、东华大学提出基于GCN的草图建模方法DC-gra2seq
Diffusion Models专栏文章汇总：入门与实战 X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention X-Portrait是由字节跳动...
-
如何“正确“使用Stable Diffusion？文本到图像扩散模型中记忆化实用分析（浙大）
论文链接：https://arxiv.org/pdf/2405.05846 它能被生成吗？文本到图像扩散模型中记忆化的实用分析 过去几年见证了由扩散模型驱动的文本引导图像生成领域的重大进展。然而，已经显示出文本到图像扩散模型容易受到训练图像记忆的影响，引发...
-
stable diffusion 1.x 模型训练概述
本文主要介绍sd发展的第一阶段版本的模型架构和一些微调训练方法，后续版本SDXL，LCM 版本再写文章继续介绍 SD 1.x 版本模型结构 autoencoder(VAE ：encoder将图像压缩到latent空间，而decoder将latent解码...
-
51-34 DALLE2 结合预训练CLIP和扩散模型实现图像生成
今天要分享的论文是OpenAI于2022年4月出品的DALLE2，全名Hierarchical Text-Conditional Image Generation with CLIP Latents。该工作是在CLIP和GLIDE基础之上完成。 很早之前...
-
CVPR 2024 | 前沿而相对小众！几个AIGC扩散模型diffusion应用一览
1、机器人规划/智能决策 SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution 扩散...
-
【带文字的图像生成-附开源代码】AIGC 如何在图像中准确生成文字？字体篇（上）
文字图像生成是什么？ “文字图像生成（Text-image generation）”即生成带有指定文字的图像。如下图所示，市面常见的通用文生图很难准确地生成带有指定文字的图像。文字图像生成也被称为文本渲染（Text rendering）。 为什么重要？...
-
真人版“奇迹暖暖”？谷歌阿里竞相布局的AI试衣有何商机？
618开始了，你可能加购了很多夏季新衣，想趁优惠激情下单，但一想到每件都要试穿，不合适的还要退货邮寄，其繁琐程度又让你望而却步。 “要是有人能帮我试穿衣服就好了。” 基于这样的消费心声，多款AI虚拟试衣产品相继上线。 据“头号AI玩家”不完全统计，目前AI...
-
探讨自回归模型和扩散模型的发展应用
在当前大模型驱动的内容创新浪潮中，人工智能产业正以前所未有的力度拥抱一场由大模型技术策动的科技革新运动。这场革命不仅重塑了人机交互的边界，使其跃升至更高层次的认知协作，而且正在颠覆传统的计算思维与执行模式，催生出全新的计算范式，从而深刻地渗透并革新各行各...
-
药物分子设计新策略，微软条件扩散模型DiffLinker登Nature子刊
药理学领域的化学空间高达 10^60，在广阔的化学空间中进行搜索，给药物设计带来了巨大的挑战。 基于片段的药物发现一直是早期药物开发的有效范例。然而，该领域面临的一个挑战是，如何设计断开的感兴趣分子片段之间的连接子（linker），生成化学上合理的候选药...
-
超越BEVFusion！DifFUSER：扩散模型杀入自动驾驶多任务（BEV分割+检测双SOTA）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 目前，随着自动驾驶技术的越发成熟以及自动驾驶感知任务需求的日益增多，工业界和学术界非常希望一个理想的感知算法模型，可以同时完成如3D目标检测以及基于BEV空间的语义分...
-
扩散模型如何帮助创建更好的强化学习系统
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 扩散模型以其令人印象深刻的生成高质量图像的能力而闻名，它们是流行的文本到图像模型(例如DALL-E、Stable Diffusion和...
-
AI绘画Imagen大力出奇迹生成图像
AI绘画Imagen大力出奇迹生成图像 介绍 Imagen是一个文本到图像的扩散模型，由Google大脑团队研究所开发。 Imagen通过创新的设计，摈弃了需要预训练视觉-语言模型的繁琐步骤，直接采用了T5等大规模语言模型作为文...
-
CMU朱俊彦、Adobe新作：512x512图像推理，A100只用0.11秒
简笔素描一键变身多风格画作，还能添加额外的描述，这在 CMU、Adobe 联合推出的一项研究中实现了。 作者之一为 CMU 助理教授朱俊彦，其团队在 ICCV 2021 会议上发表过一项类似的研究：仅仅使用一个或数个手绘草图，即可以自定义一个现成的 GA...
-
AIGC项目——Meta:根据对话音频生成带动作和手势的3d逼真数字人
From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations From Audio to Photoreal Embodiment:Synthesizing Humans...
-
扩散模型的发展过程梳理 多个扩散模型理论知识总结/DDPM去噪扩散概率/IDDPM/DDIM隐式去噪/ADM/SMLD分数扩散/CGD条件扩散/Stable Diffusion稳定扩散/LM
前言 1.最近发现自己光探索SDWebUI功能搞了快两个月，但是没有理论基础后面科研路有点难走，所以在师兄的建议下，开始看b站视频学习一下扩散模型，好的一看一个不吱声，一周过去了写个博客总结一下吧，理理思路。不保证下面的内容完全正确，只能说是一个菜鸟的思...
-
【读点论文】A Survey on Generative Diffusion Model，AIGC时代的新宠儿，从原理推导到工程应用，在视觉，自然语言，语音等领域大展拳脚
A Survey on Generative Diffusion Model Abstract 由于深度潜在表示，深度学习在生成任务中显示出良好的潜力。生成模型是一类可以根据某些隐含参数随机生成观测值的模型。近年来，扩散模型以其强大的生成能力成...
-
音频秒生全身虚拟人像，AI完美驱动面部肢体动作！UC伯克利Meta提出Audio2Photoreal
就在最近，Meta和UC伯克利联合提出了一种全新的虚拟人物形象生成的方法—— 直接根据音频生成全身人像，效果不仅逼真，还能模拟出原音频中包含的细节，比如手势、表情、情绪等等。 图片 论文地址：https://arxiv.org/abs/2401.0188...
-
【CV】稳定扩散模型（Stable Diffusion）
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞👍 + 收藏⭐️ + 留言📝 📣系列专栏 - 机器学习【ML】 自...
-
【扩散模型】万字长文全面理解与应用Stable Diffusion
万字长文全面理解与应用Stable Diffusion 1. Stable Diffusion简介 1.1 基本概念 1.2 主体结构 1.3 训练细节 1.4 模型评测 1.5 模型应用 1.6 模型版本 1.7 其他类型的条件生成模型 1...
-
Stable Diffusion学习
参考 Stable Diffusion原理详解_stable diffusion csdn-CSDN博客 Stable Diffusion是stability.ai开源的图像生成模型，可以说Stable Diffusion的发布将AI图像生成提高到了全新...
-
AI作画的背后是怎么一步步实现的？一文详解AI作画算法原理+性能评测
前言 “AI作画依赖于多模态预训练，实际上各类作画AI模型早已存在，之所以近期作品质量提升很多，可能是因为以前预训练没有受到重视，还达不到媲美人类的程度，但随着数据量、训练量的增多，最终达到了现在呈现的效果。”远在AI作画还没有爆火之前，深度学习就已经...
-
大模型 Dalle2 学习三部曲（一）Latent Diffusion Models学习
引言 Diffusion model大获成功，但是它的短板也很明显，需要大量的计算资源，并且推理速度比较慢。如何才能提升Diffusion model的计算效率。业界有各种各样的改进，无疑Latent Diffusion Models（潜在扩散模...
-
AI虚拟试穿在线使用教程指南 Outfit Anyone官网体验入口
Outfit Anyone是一款超高质量的虚拟试穿产品，它为用户提供了一种全新的尝试不同时尚款式的方式，而无需实际试穿衣物。借助两个流的条件扩散模型，Outfit Anyone能够灵活处理衣物变形，并生成更逼真的效果。这款产品具有极高的可扩展性，可以适用于...
-
Stable Diffusion模型概述
Stable Diffusion 1. Stable Diffusion能做什么？ 2. 扩散模型 2.1 正向扩散 2.2 反向扩散 3. 训练如何进行 3.1 反向扩散 3.2 Stable Diffusion模型 3.3 潜在扩散模...
-
Outfit Anyone官网体验入口 AI虚拟试穿软件app免费下载地址
Outfit Anyone是一款超高质量的虚拟试穿产品，使用户能够在不真实试穿的情况下尝试不同的时尚款式。这款工具通过采用两个流的条件扩散模型，能够灵活处理衣物变形，生成更逼真的效果。Outfit Anyone的可扩展性使其适用于从动漫角色到真实人物的图像...
-
【AIGC】IP-Adapter：文本兼容图像提示适配器，用于文本到图像扩散模型
前言 IPAdapter能够通过图像给Stable Diffusion模型以内容提示，让其生成参考该图像画风，可以免去Lora的训练，达到参考画风人物的生成效果。 摘要 通过文本提示词生成的图像，往往需要设置复杂的提示...
-
Stable Diffusion这样的文本-图像生成模型有记忆吗？
Stable Diffusion扩散模型作为生成高质量图像的先进模型，却伴随着对训练数据的记忆化倾向，引发了隐私和安全性的担忧。AIGCer分享一篇分析该现象的文章，通过两个案例研究深入挖掘了文本复制现象，旨在为未来生成模型的改进提供重要的指导。 基于扩...
-
Meta AI发布炸裂项目audio2photoreal 可将音频生成全身逼真的虚拟人物形象
Meta AI最近发布了一项引人注目的技术，他们成功地开发出一种能够从音频中生成逼真的虚拟人物形象的系统。 这个系统能够根据多人对话中的语音生成与对话相对应的逼真面部表情、完整身体和手势动作。这些虚拟人物不仅在视觉上非常逼真，而且能够准确地反映出对话中的手...
-
用扩散模型监督NeRF，清华文生3D新方法成新SOTA
用文字合成3D图形的AI模型，又有了新的SOTA！ 近日，清华大学刘永进教授课题组提出了一种基于扩散模型的文生3D新方式。 无论是不同视角间的一致性，还是与提示词的匹配度，都比此前大幅提升。 图片 文生3D是3D AIGC的热点研究内容，得到了学术界和工...
-
AI视野：Midjourney开始训练视频模型；文心一言用户破亿；优酷上线“AI搜片”功能；快手开源KwaiAgents系统
???AI新鲜事 Midjourney开始训练视频模型 Midjourney昨晚发布了重要消息，将开始视频模型训练，同时计划下周推出V6版本的重大更新。该更新将在文本处理方面有显著进步，提高内容连贯性和提示准确性。重点改进包括Inpainting功能和全新...
-
强大到离谱！硬核解读Stable Diffusion（完整版）
原文链接： 硬核解读Stable Diffusion（完整版） 2022年可谓是AIGC（AI Generated Content）元年，上半年有文生图大模型DALL-E2和Stable Diffusion，下半年有OpenAI的文本对话大模型Ch...