-
AIGC——ControlNet模型的原理
简介 ControlNet旨在控制预训练的大型扩散模型，以支持额外的输入条件。ControlNet能够以端到端的方式学习特定任务的条件，即使在训练数据集很小的情况下（<50k），也能保持稳健性。此外，训练ControlNet的速度与微调扩散模型一...
-
每日AIGC最新进展(36)：以色列Lightricks提出视频中眼镜擦除技术V-LASIK、史蒂文斯理工学院提出实时交互式数字头像框架RITA、清华大学提出神经残差扩散模型Neural-RDM
Diffusion Models专栏文章汇总：入门与实战 V-LASIK: Consistent Glasses-Removal from Videos Using Synthetic Data 本文介绍了一种名为V-LASIK的视频编辑技术，...
-
Stable Diffusion工作原理一篇文章带你详解！
前言 翻译自How does Stable Diffusion work? 1. SD能做什么 最基本的功能是：文生图（text-to-image） SD以文字提示为输入，输出与提示相配的图像 2. 扩散模型 SD属于扩散模...
-
如何“正确“使用Stable Diffusion？文本到图像扩散模型中记忆化实用分析（浙大）
论文链接：https://arxiv.org/pdf/2405.05846 它能被生成吗？文本到图像扩散模型中记忆化的实用分析 过去几年见证了由扩散模型驱动的文本引导图像生成领域的重大进展。然而，已经显示出文本到图像扩散模型容易受到训练图像记忆的影响，引发...
-
每日AIGC最新进展(34)：特拉维夫大学提出多主题扩散模型Be Yourself、阿里巴巴提出个性化人脸生成方法FlashFace、清华大学提出快速评估扩散模型方法FlashEval
Diffusion Models专栏文章汇总：入门与实战 Be Yourself: Bounded Attention for Multi-Subject Text-to-Image Generation 本文探讨了文本到图像生成领域中的一个关...
-
从论文中看AI绘画
个人博客:Sekyoro的博客小屋个人网站:Proanimer的个人网站 主要看是看Diffusion Models,CLIP,ControlNet,IP-Adapter这种经典论文,尝试总结论文写作的一些方式以及图像生成模型的一些内在思想. 对于其中的数...
-
用ControlNet+Inpaint实现stable diffusion模特换衣
用ControlNet+Inpaint实现stable diffusion模特换衣 ControlNet 训练与架构详解 ControlNet 的架构 用于文本到图像扩散的 ControlNet 训练过程...
-
每日AIGC最新进展(23)：魁北克人工智能研究所提出扩展注意力机制视频编辑、浙江大学提出video-to-Audio生成算法Frieren、清华大学提出扩散模型参数高效迁移学习Diff-Tuning
Diffusion Models专栏文章汇总：入门与实战 Temporally Consistent Object Editing in Videos using Extended Attention 本文提出了一种用于视频编辑的新方法，旨在通过...
-
AIGC-风格迁移-style Injection in Diffusion-CVPR2024HighLight-论文精度
Style Injection in Diffusion: A Training-free Approach for Adapting Large-scale Diffusion Models for Style Transfer-CVPR2024High...
-
AI绘画专栏之换脸在SDXL中使用保持人脸一致性INSTANTID FACEID XADAPTER，comfyui
大家都知道腾讯AILab出的ipadapter系列带来的faceid，photomaker非常火，顺便分享一下instantid，跟faceid一样用来保持人脸一致性，孰强孰弱不好说，我只能说我觉得faceid更强，但现在又出来了一个Xadapter是什么...
-
Stable Diffusion使用ControlNet:IP-Adapter实现图片风格迁移
IP-Adapter 全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models（文本到图像扩散模型的文本兼容图像提示适配器），是腾讯研究院出品的一个新的Contr...
-
Stable Diffusion【ControlNet】：ControlNet的IP-Adapter预处理器：SD垫图实现
大家好，今天我们来详细介绍一下ControlNet的预处理器IP-Adapter。简单来说它就是一个垫图的功能，我们在ControlNet插件上传一张图片，然后经过这个预处理器，我们的图片就会在这张上传的图片的基础上进行生成。该预处理器提供的垫图功能，让S...
-
CVPR 2024 | 风格迁移和人像生成汇总！扩散模型diffusion用于经典AIGC方向
风格迁移 1、DEADiff: An Efficient Stylization Diffusion Model with Disentangled Representations 基于文本到图像扩散模型在迁移参考风格方面具有巨大潜力。然而，...
-
ICCV 2023 | 最全AIGC梳理，5w字30个diffusion扩散模型方向，近百篇论文！
30个方向130篇！CVPR 2023最全AIGC论文 25个方向！CVPR 2022 GAN论文汇总 35个方向！ICCV 2021 最全GAN论文汇总 超110篇！CVPR 2021 最全GAN论文梳理 超100篇！CVPR 2...
-
开源！超越ZoeDepth！ DepthFM：快速且精确的单目深度估计！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 0. 这篇文章干了啥？ 提出了DepthFM：一个多功能且快速的最先进的生成式单目深度估计模型。除了传统的深度估计任务外，DepthFM还展示了在深度修复等下游任务中的最先进能力。DepthFM效率高...
-
快速理解AIGC图像控制利器ControlNet和Lora的架构原理
作者公众号 大数据与AI杂谈 （TalkCheap），转载请标明出处 ControlNet以及Lora是什么，玩过stable diffusion AI图像生成的同学应该都不陌生。 一般来说，如果你用以SD 或 SDXL为基础的模型来生成图像，产出的图...
-
一张图即出AI视频！谷歌全新扩散模型，让人物动起来
只需一张照片，和一段音频，就能直接生成人物说话的视频！ 近日，来自谷歌的研究人员发布了多模态扩散模型VLOGGER，让我们朝着虚拟数字人又迈进了一步。 论文地址：https://enriccorona.github.io/vlogger/paper.p...
-
谷歌发布“Vlogger”模型：单张图片生成10秒视频
谷歌发布了一个新的视频框架： 只需要一张你的头像、一段讲话录音，就能得到一个本人栩栩如生的演讲视频。 视频时长可变，目前看到的示例最高为10s。 可以看到，无论是口型还是面部表情，它都非常自然。 如果输入图像囊括整个上半身，它也能配合丰富的手势： 网友...
-
可控图像生成最新综述！北邮开源20页249篇文献，包揽Text-to-Image Diffusion领域各种「条件」
在视觉生成领域迅速发展的过程中，扩散模型已经彻底改变了这一领域的格局，通过其令人印象深刻的文本引导生成功能标志着能力方面的重大转变。 然而，仅依赖文本来调节这些模型并不能完全满足不同应用和场景的多样化和复杂需求。 鉴于这种不足，许多研究旨在控制预训练文本...
-
一秒出图？SDXL-Turbo实时AI绘画整合包下载
SDXL Turbo是一种快速生成的AI构图模型，它基于一种称为对抗性扩散蒸馏的新训练方法，该方法允许在1到4个步骤中以高图像质量对大规模基础图像扩散模型进行采样，并将其与对抗性损失相结合，以确保即使在一个或两个采样步骤的低阶模式下也能获得高图像保真度...
-
AI视野：英伟达推文生图模型ConsiStory；高度可控AI试衣OOTDiffusion；开发者推SoraWebui开源项目；Groq最快AI推理芯片成本推算高得离谱
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 英伟达推出免训练，...
-
AIGC系列之：实时出图的SDXL Turbo模型介绍
原理介绍 StabilityAI在刚刚发布Stable Video Diffusion之后，2023年11月29日又发布了爆炸性模型：SDXL Turbo，SDXL Turbo是在SDXL 1.0的基础上采用新的蒸馏方案，让模型只需要...
-
【AIGC】DreamBooth:微调文本到图像扩散模型用于主题驱动的生成
前言 DreamBooth可以让我们使用一个很小的数据集微调文生图模型，然后基于文本提示词为我们训练的的主体替换不同的场景。 摘要 大型文本转图像模型在人工智能的发展中实现了显著的飞跃，能够从给定的文本提示中高质量和多样化地合成图像。然而，...
-
AI绘画优秀开源项目推荐
AI绘画优秀开源项目推荐 stable-diffusion-webui：基于 Gradio 库的 Stable Diffusion 浏览器界面 InvokeAI：InvokeAI是稳定扩散模型的领先创意引擎，使专业人员、艺术家和爱好者能够使用最...
-
【思路合集】talking head generation+stable diffusion
1 以DiffusionVideoEditing为baseline： 改进方向 针对于自回归训练方式可能导致的漂移问题： 训练时，在前一帧上引入小量的面部扭曲，模拟在生成过程中自然发生的扭曲。促使模型查看身份帧以进行修正。 在像VoxCeleb或L...
-
【深度学习】AIGC ，ControlNet 论文，原理，训练，部署，实战，教程（一）
论文：https://arxiv.53yu.com/pdf/2302.05543 代码：https://github.com/lllyasviel/ControlNet 得分几个博客完成这个事情的记录了，此篇是第一篇，摘录了一些论文内容。ControlN...
-
无缝衔接Stable Diffusion，一张照片几秒钟就能生成个性化图片-InstantID
最近一段时间基于扩散模型的图像处理方法遍地开花，接下来为大家介绍一种风格化图像的方法InstantID，可以通过仅有一张人脸照片，几秒钟内生成不同风格的人物照片。与传统方法需要多张参考图像和复杂的微调过程不同，InstantID只需一张图像...
-
Lumiere文生视频模型怎么使用 AI生成视频Lumiere官网地址入口
Lumiere是一个文本到视频扩散模型，旨在合成展现真实、多样和连贯运动的视频，解决视频合成中的关键挑战。我们引入了一种空时U-Net架构，可以一次性生成整个视频的时间持续，通过模型的单次传递。这与现有的视频模型形成对比，后者合成远距离的关键帧，然后进行时...
-
Lumiere官网体验入口 AI视频合成、图像到视频、修补和风格化生成工具在线使用地址
Lumiere是一款先进的视频合成工具，致力于解决视频合成中的关键挑战。采用空时U-Net架构，Lumiere能够一次性生成整个视频的时间持续，展现真实、多样和连贯的运动。与传统方法不同，它通过下采样和上采样以及预训练的文本到图像扩散模型，直接生成多个时空...
-
画个框、输入文字，面包即刻出现：AI开始在3D场景「无中生有」了
现在，通过文本提示和一个2D 边界框，我们就能在3D 场景中生成对象。 看到下面这张图了没?一开始，盘子里是没有东西的，但当你在托盘上画个框，然后在文本框中输入文本「在托盘上添加意大利面包」，魔法就出现了:一个看起来美味可口的面包就出现在你的眼前。 房间...
-
图像提示词攻略--基于 stable diffusion v2
Stable Diffusion 是一种潜在的文本到图像扩散模型，能够在给定任何文本输入（称为提示）的情况下生成逼真的图像。 在本文中，我将讨论和探索一些提高提示有效性的方法。从在提示中添加某些关键字和组合词、从更改单词顺序及其标点符号开始到更改画面，颜...
-
AIGC系列之：ControlNet原理及论文解读
《Adding Conditional Control to Text-to-Image Diffusion Models》 目录 1.背景介绍 2.原理详解 2.1 Controlnet 2.2 用于Stable Diffusion的Contr...
-
【AIGC】Controlnet:基于扩散模型的文生图的可控性
前言 controlnet可以让stable diffusion的生图变得可控。 文章连接：https://arxiv.org/pdf/2302.05543.pdf 摘要 冻结了stable diffusion的预训练模型并重用它的预训练...
-
【AIGC】IP-Adapter：文本兼容图像提示适配器，用于文本到图像扩散模型
前言 IPAdapter能够通过图像给Stable Diffusion模型以内容提示，让其生成参考该图像画风，可以免去Lora的训练，达到参考画风人物的生成效果。 摘要 通过文本提示词生成的图像，往往需要设置复杂的提示...
-
使用Gradio搭建Stable Diffusion模型生成图像：简单快捷的图像生成体验
目录 0 开发环境 1 介绍 1.1 Gradio简介 1.2 Stable Diffusion模型简介 2 使用Gradio搭建基本界面 2.1 安装依赖库 2.2 加载预训练模型 2.3 解析返回的数据 2.4 构建图像字幕应用程序...
-
Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/131582734 论文：Exploiting Diffusion...
-
看见这张图没有，你就照着画：谷歌图像生成AI掌握多模态指令
用图2的风格画图1的猫猫并给它戴上一顶帽子。谷歌新设计的一种图像生成模型已经能做到这一点了!通过引入指令微调技术，多模态大模型可以根据文本指令描述的目标和多张参考图像准确生成新图像，效果堪比 PS 大神抓着你的手助你 P 图。 在使用大型语言模型（LLM...
-
Instruct-Imagen官网体验入口 AI多模态图像生成模型软件免费下载地址
Instruct-Imagen是一个多模态图像生成模型，专注于处理异构图像生成任务，并在未知任务中展现出良好的泛化能力。该模型通过引入多模态指令，利用自然语言整合不同模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。它在预训练文本到图像扩散模型上进...
-
谷歌研究团队推新AI方法SynCLR:从合成图像和字幕中学习视觉表征
近期，Google Research和MIT CSAIL共同推出了一项名为SynCLR的新型人工智能方法，该方法旨在通过使用合成图像和字幕，实现对视觉表征的学习，摆脱对真实数据的依赖。 SynCLR的工作原理 研究团队首先提出了一个三阶段的方法。首先，在...
-
面部图像修复突破性AI方法Dual-Pivot Tuning 实现人脸模糊变高清
图像修复一直是一个备受研究者关注的复杂挑战，其主要目标是在维持降质输入的感知质量的同时，创建视觉上吸引人且自然的图像。在没有有关主题或降质的信息的情况下（盲目恢复），了解自然图像范围至关重要。为了恢复面部图像，必须在确保输出保留个体独特面部特征之前包含身份...
-
14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍
就今天的人工智能发展水平来说，文生图、图生视频、图像/视频风格迁移都已经不算什么难事。 生成式 AI 天赋异禀，能够毫不费力地创建或修改内容。尤其是图像编辑，在以十亿规模数据集为基础预训练的文本到图像扩散模型的推动下，经历了重大发展。这股浪潮催生了大量图...
-
AI创作之如何使用Stable Diffusion AI 将自己变成皮克斯动画角色 (教程含完整操作步骤)
无论您想成为下一个伍迪、下一个巴斯光年，还是将您的鱼变成下一个尼莫，Stable Diffusion都能实现。使用这种潜在的文本到图像扩散模型，您只需一个简单的文本提示，就可以将自己变成任何皮克斯角色的样子。 在本文中，我将向您展示如何在本地 PC 上运...
-
CVPR 2023 | 可控文生图/定制化文生图领域论文详解 AI作画增强版
可控文生图/定制化文生图 1、DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation DreamBooth是一种新的文本到图像扩散模型...
-
扩散模型训练太难？来看看Meta AI最新提出的KNN-Diffusion
原文链接：https://www.techbeat.net/article-info?id=4323 作者：seven_ 最近AIGC社区中有趣的工作可谓是层出不穷，这都得益于扩散模型（Diffusion Models）的成功，扩散模型作为生成式AI...
-
后期狂喜！一张照片丝滑替换视频主角，动作幅度再大也OK｜Meta&新加坡国立大学
后期狂喜了家人们～ 现在，只需一张图片就能替换视频主角，效果还是如此的丝滑！ 且看这个叫做“VideoSwap”的新视频编辑模型—— 小猫一键变小狗，基操～ 如果原物体本身扭动幅度大一些？也完全没问题： 细看俩者之间的运动轨迹，给你保持得是一毛一样：...
-
AI绘画后面的论文——ControlNet:Adding Conditional Control to Text-to-Image Diffusion Models
AI绘画后面的论文——ControlNet:Adding Conditional Control to Text-to-Image Diffusion Models 代码：lllyasviel/ControlNet: Let us control di...
-
AIGC玩转卡通化技术实践
FaceChain写真开源项目插播： 最新 FaceChain支持多人合照写真、上百种单人写真风格，项目信息汇总：ModelScope 魔搭社区 。 github开源直达（觉得有趣的点个star哈。）：https://gith...
-
单个A100生成3D图像只需30秒，这是Adobe让文本、图像都动起来的新方法
2D 扩散模型极大地简化了图像内容的创作流程，2D 设计行业也因此发生了变革。近来，扩散模型已扩展到 3D 创作领域，减少了应用程序（如 VR、AR、机器人技术和游戏等）中的人工成本。有许多研究已经对使用预训练的 2D 扩散模型，生成具有评分蒸馏采样（S...
-
每日学术速递1.30
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 更多Ai资讯： 今天带来的arXiv上最新发表的3篇文本图像的生成论文。 Subjects: cs.LG、cs.Cv、cs.AI、c...
-
Stable Diffusion — ControlNet 超详细讲解
Stable Diffusion — ControlNet 超详细讲解 ControlNet 最近非常火?！ControlNet 和 Stable Diffusion 的结合使 Stable Diffusion 能够接受指导图像生成过程的条件输入，从而增...