-
快速理解AIGC图像控制利器ControlNet和Lora的架构原理
作者公众号 大数据与AI杂谈 （TalkCheap），转载请标明出处 ControlNet以及Lora是什么，玩过stable diffusion AI图像生成的同学应该都不陌生。 一般来说，如果你用以SD 或 SDXL为基础的模型来生成图像，产出的图...
-
4G显存玩转AI绘画！Stable Diffusion WebUI Forge来了！
经常使用Stable Diffusion WebUI的同学可能都被显存的问题困扰过，其运行时需要巨大的显存空间，跑着跑着显存可能就爆了，不得不重新启动。不过现在这个问题解决了，因为Stable Diffusion WebUI Forge来了。 Forge...
-
【没有哪个港口是永远的停留~论文解读】stable diffusion 总结 代码&推导&网络结构
了解整个流程： 【第一部分】输入图像 x （W*H*3的RGB图像） 【第一部分】x 经过编码器 生成 (latent 空间的表示 h*w*c (具体设置多少有实验 【第二部分】 逐步加噪得到 ，和噪声标签 【第二部分】由 Unet（ ）...
-
全网最全Stable Diffusion原理说明！！简单明了 容易理解！！！
手把手教你入门绘图超强的AI绘画程序Stable Diffusion，用户只需要输入一段图片的文字描述，即可生成精美的绘画。下面是Stable Diffusion注册和使用的方法。给大家带来了全新Stable Diffusion保姆级教程资料包（文末可获取...
-
全面综述！大模型到底微调个啥？或者说技术含量到底有多大？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 大型模型代表了多个应用领域的突破性进展，能够在各种任务中取得显著成就。然而，它们前所未有的规模带来了巨大的计算成本。这些模型通常由数十亿个参数组成，需要大量的计算资源才...
-
Stable Diffusion之核心基础知识和网络结构解析
Stable Diffusion核心基础知识和网络结构解析 一. Stable Diffusion核心基础知识 1.1 Stable Diffusion模型工作流程 1. 文生图(txt2img 2. 图生图 3. 图像优化模块 1.2...
-
【AIGC】Animate Anyone阿里全民舞王背后的科技，基于图片高可控动画生成
在11月底，阿里巴巴集团智能计算研究院发布了一款AI动画项目：Animate Anyone。只需要一张人物静态图片，结合人物的骨骼动画（姿势控制），就能生成一段人物动画视频。 我们先通过官网放出的动画效果直观感受一下。 一. Anima...
-
AI绘画Imagen大力出奇迹生成图像
AI绘画Imagen大力出奇迹生成图像 介绍 Imagen是一个文本到图像的扩散模型，由Google大脑团队研究所开发。 Imagen通过创新的设计，摈弃了需要预训练视觉-语言模型的繁琐步骤，直接采用了T5等大规模语言模型作为文...
-
Midjourney绘图欣赏系列（十一）
Midjourney介绍 Midjourney 是生成式人工智能的一个很好的例子，它根据文本提示创建图像。它与 Dall-E 和 Stable Diffusion 一起成为最流行的 AI 艺术创作工具之一。与竞争对手不同，Midjourney 是自筹...
-
一张图即出AI视频！谷歌全新扩散模型，让人物动起来
只需一张照片，和一段音频，就能直接生成人物说话的视频！ 近日，来自谷歌的研究人员发布了多模态扩散模型VLOGGER，让我们朝着虚拟数字人又迈进了一步。 论文地址：https://enriccorona.github.io/vlogger/paper.p...
-
Stable Diffusion~自注意力替换技术
在这篇文章中，作者展示了一个较为复杂的基于 Diffusers 开发的自注意力替换示例项目，用于提升 SD 视频生成的一致性。在这个过程中，作者讲述了 AttentionProcessor 相关接口函数的使用，并了解了如何基于全局管理类实现一个代码可维护性...
-
Stable Diffusion 3 来了 —— 充满了巨大的改进
文章目录 什么是Stable Diffusion 3？ Stable Diffusion 3 有哪些新功能？ Stable Diffusion 3 对比 Dall-E 3 和 Gemini 如何获得Stable Diffusion 3 的访问权...
-
DifFlow3D：场景流估计新SOTA，扩散模型又下一城！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：DifFlow3D: Toward Robust Uncertainty-Aware Scene Flow Estimation with Iterative Diffusion-Based...
-
SDXS官网体验入口 AI快速生成高质量图像模型怎么使用
SDXS是一种新的扩散模型，通过模型微型化和减少采样步骤，大幅降低了模型延迟。它利用知识蒸馏来简化U-Net和图像解码器架构，并引入了一种创新的单步DM训练技术，使用特征匹配和分数蒸馆。SDXS-512 和 SDXS-1024 模型可在单个 GPU 上分别...
-
AIGC专题：Sora实现文生视频跨越式突破，AIGC持续正反馈
今天分享的是AIGC专题系列深度研究报告：《AIGC专题：Sora实现文生视频跨越式突破，AIGC持续正反馈》。 （报告出品方：国联证券） 报告共计：16页 来源：人工智能学派 Sora 模型实现众多突破 2 月 16 日，OpenAI 发布了文...
-
SORA 2.1 ——Stable diffusion技术解析+基于diffusion的视频生成技术介绍
本文是DataWhale开源项目Sora原理与技术实战的第二次打卡任务的第一节，主要是简单试用Stable diffusion技术在魔塔社区进行文生图实践。同一打卡任务的其他小节请参见个人主页。 目录 一.【AIGC简介——以文生图为例】 1.基于生...
-
十秒整理搜索结果，脑图表格一键生成，网友：搜索终于有了该有的样子
最近有个AI搜索工具在小圈子里挺火。 被疯狂安利的时候打满了这么几个tag：干净清爽、无广告又智能。 只要输入一个问题，就能在全网范围内秒秒钟筛选出高质量相关资料摆在你眼前，还有对所有资料的一键整理、总结、归纳。 这么神奇的AI工具，我们量子位必须得试...
-
等不及公开了！最新Sora模型细节揭秘：预计峰值需要72万块H100！每月至少4200块H100！缩放定律依旧有效！
作者 | Matthias·Plappert 翻译 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） OpenAI的Sora模型能够生成各种场景的极其逼真的视频，令世界惊叹不已。除了一篇公开的技术报告和TikTok上放出的酷炫视频，就...
-
3D版Sora来了？UMass、MIT等提出3D世界模型，具身智能机器人实现新里程碑
在最近的研究中，视觉-语言-动作（VLA，vision-language-action）模型的输入基本都是2D数据，没有集成更通用的3D物理世界。 此外，现有的模型通过学习「感知到动作的直接映射」来进行动作预测，忽略了世界的动态性，以及动作和动态之间的关...
-
图像生成地表最强！Playground v2.5技术报告解读重磅来袭！超越SD、DALL·E 3和 Midjourney
文章链接：https://arxiv.org/pdf/2402.17245 模型地址： https://huggingface.co/playgroundai/playground-v2.5-1024px-aesthetic 本文分享了在文本到图像生成模...
-
视觉AIGC元年：技术大爆炸！Dalle-3、Sora、Stable Diffusion 3 掀起AIGC新浪潮，究竟有哪些模块值得借鉴！
随着科技的飞速发展，我们迎来了视觉AIGC高光时刻，一个充满无限可能与机遇的新时代。在这个时代里，三大里程碑Dalle-3、Sora和Stable Diffusion 3以其炸裂式的技术发展，引领着AIGC领域的新浪潮。文章首先做相应简要介...
-
微软NaturalSpeech语音合成推出第三代，网友惊呼：超自然！实至名归
文本到语音合成（Text to Speech，TTS）作为生成式人工智能（Generative AI 或 AIGC）的重要课题，在近年来取得了飞速发展。在大模型（LLM）时代下，语音合成技术能够扩展大模型的语音交互能力，更是受到了广泛的关注。 多年来，微...
-
MIT研究员推新AI图片生成框架DMD：AI 单步生成高质量图像 速度快30倍
在当今人工智能时代，计算机可以通过扩散模型生成自己的 “艺术”，逐步向嘈杂的初始状态添加结构，直到清晰的图像或视频出现。 扩散模型突然变得异常受欢迎:输入几个词，即可体验现实与幻想交汇的梦幻景象。在幕后，这涉及一个复杂、耗时的过程，需要算法多次迭代才能完美...
-
AtomoVideo：AIGC赋能下的电商视频动效生成
✍? 本文作者：凌潼、依竹、桅桔、逾溪 1. 概述 当今电商领域，内容营销的形式正日趋多样化，视频内容以其生动鲜明的视觉体验和迅捷高效的信息传播能力，为商家创造了新的机遇。消费者对视频内容的偏好驱动了视频创意供给的持续增长，视觉内容...
-
CMU朱俊彦、Adobe新作：512x512图像推理，A100只用0.11秒
简笔素描一键变身多风格画作，还能添加额外的描述，这在 CMU、Adobe 联合推出的一项研究中实现了。 作者之一为 CMU 助理教授朱俊彦，其团队在 ICCV 2021 会议上发表过一项类似的研究：仅仅使用一个或数个手绘草图，即可以自定义一个现成的 GA...
-
MOTIA官网体验入口 AI视频内容外延处理工具免费使用地址
MOTIA是一个基于测试时适应的扩散方法，利用源视频内的内在内容和运动模式来有效进行视频外延画。该方法包括内在适应和外在渲染两个主要阶段，旨在提升视频外延画的质量和灵活性。 点击前往MOTIA官网体验入口 谁可以从MOTIA中受益？ MOTIA适用于研究...
-
【AIGC】2023年生成式AI发展综述
文章目录 一、文本生成 & 智能问答 二、AI绘画 三、音频生成 四、视频生成 五、三维生成 & 数字人 5.1 通用三维生成 5.2 数字人 展望：通用人工智能趋势 2023年是人工智能内容生成（AIGC）...
-
端到端大一统前夕？GenAD：LLM和轨迹规划全搞定
今天汽车人和大家分享一篇自动驾驶领域中第一个大规模视频预测模型。为了消除高成本数据收集的限制，并增强模型的泛化能力，从网络获取了大量数据，并将其与多样化和高质量的文本描述配对。由此产生的数据集累积了超过2000小时的驾驶视频，涵盖了世界各地具有多样化天气...
-
谷歌发布“Vlogger”模型：单张图片生成10秒视频
谷歌发布了一个新的视频框架： 只需要一张你的头像、一段讲话录音，就能得到一个本人栩栩如生的演讲视频。 视频时长可变，目前看到的示例最高为10s。 可以看到，无论是口型还是面部表情，它都非常自然。 如果输入图像囊括整个上半身，它也能配合丰富的手势： 网友...
-
Stable Diffusion 3 震撼发布，采用Sora同源技术，文字终于不乱码了
Stable Diffusion 3 和 Sora 一样采用了 diffusion transformer 架构。 继 OpenAI 的 Sora 连续一周霸屏后，昨晚，生成式 AI 顶级技术公司 Stability AI 也放了一个大招 ——Sta...
-
【AI绘画】2024最新Stable Diffusion 超详细讲解！！必收藏！！！！
手把手教你入门绘图超强的AI绘画，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新保姆级教程资料包 （文末可获取） Stable Diffusion 超详细讲解 这篇文章是 《Stable Diffusion原理详解》的后续，在...
-
Stability AI开源上新：3D生成引入视频扩散模型，质量一致性up，4090可玩
Stable Diffusion背后公司Stability AI又上新了。 这次带来的是图生3D方面的新进展： 基于Stable Video Diffusion的Stable Video 3D（SV3D），只用一张图片就能生成高质量3D网格。 Stab...
-
Diffusion Transformer Family：关于Sora和Stable Diffusion 3你需要知道的一切
转自知乎：叫我Alonzo就好了 前言 背景——Sora和Stable Diffusion 3 近期，OpenAI和Stability两大AI巨头公司在同期分别发布了它们的新作品——Sora和Stable Diffusion 3。神奇的是，这...
-
小红书多模态团队建立新「扩散模型」：解码脑电波，高清还原人眼所见
近些年，研究人员们对探索大脑如何解读视觉信息，并试图还原出原始图像一直孜孜不倦。去年一篇被 CVPR 录用的论文，通过扩散模型重建视觉影像，给出了非常炸裂的效果—— AI 不光通过脑电波知道你看到了什么，并且帮你画了出来。 第一行：人眼所见画面，第二...
-
可控图像生成最新综述！北邮开源20页249篇文献，包揽Text-to-Image Diffusion领域各种「条件」
在视觉生成领域迅速发展的过程中，扩散模型已经彻底改变了这一领域的格局，通过其令人印象深刻的文本引导生成功能标志着能力方面的重大转变。 然而，仅依赖文本来调节这些模型并不能完全满足不同应用和场景的多样化和复杂需求。 鉴于这种不足，许多研究旨在控制预训练文本...
-
huggingface的diffusers训练stable diffusion记录
代码：https://github.com/huggingface/diffusers/tree/main/examples/text_to_image 2006.11239.pdf (arxiv.org 论文 2006.11239.pdf (ar...
-
从直观物理学谈到认知科学，Sora不是传统物理模拟器盖棺定论了？
本文篇幅很长，主题很多，但循序渐进，对「Sora 究竟是不是世界模拟器」这一说法给出了非常详实的解读。 最近，OpenAI 的文生视频模型 Sora 爆火。除了能够输出高质量的视频之外，OpenAI 更是将 Sora 定义为一个「世界模拟器」（world...
-
拖拽P图技术又升级了：StableDrag更稳、更准，南大、腾讯联合打造
去年 5 月，动动鼠标就能让图片变「活」得研究 DragGAN 吸引了 AI 圈的关注。通过拖拽，我们可以改变并合成自己想要的图像，比如下图中让一头狮子转头并张嘴。 实现这一效果的研究出自华人一作领衔的「Drag Your GAN」论文，于上个月放出并已...
-
巧解「数据稀缺」问题！清华开源GPD：用扩散模型生成神经网络参数
传统的时空预测模型通常需要大量数据支持才能取得良好效果。 然而，由于城市发展水平不均衡和数据收集政策的差异，许多城市和地区的时空数据（如交通和人群流动数据）受到了限制。在这种情况下，模型在数据稀缺情况下的可迁移性变得尤为重要。 现有研究主要利用数据丰富的...
-
stable diffusion采样详解
采样：模型会在Latent Space中生成一个完全随机的图像，然后噪声预测器会从图像中减去预测的噪声。随着这个步骤的不断重复，最终得到一个清晰的图像。 Stable Diffusion在每个步骤中都会生成一张新的采样后的图像，整个去噪...
-
【Datawhale组队学习：Sora原理与技术实战】AIGC技术基础知识
AIGC是什么 AIGC全称叫做AI generated content，AlGC (Al-Generated Content，人工智能生产内容 ，是利用AlI自动生产内容的生产方式。 在传统的内容创作领域中，PGC（Professionally-g...
-
生数科技「多模态大模型」正式通过备案
近日，生数科技「多模态大模型」正式通过国家《生成式人工智能服务管理暂行办法》备案。 成立于2023年3月，生数科技是一家全球领先的自主研发多模态通用大模型的人工智能企业 ，布局MaaS（模型即服务）与应用级产品，面向艺术设计、游戏制作、影视动画、社交娱乐等...
-
Stable Diffusion 3更多隐藏功能曝光：文字可更改图片细节
白交 丰色 发自 凹非寺量子位 | 公众号 QbitAI Stable Diffusion 3，它终于来了！ 足足酝酿一年之多，相比上一代一共进化了三大能力。 来，直接上效果！ 首先，是开挂的文字渲染水平。 且看这黑板上的粉...
-
(含代码)利用TensorRT的8位PTQ将Stable Diffusion速度提高 2 倍
利用TensorRT的8位PTQ将Stable Diffusion速度提高 2 倍 在生成人工智能的动态领域中，扩散模型脱颖而出，成为生成带有文本提示的高质量图像的最强大的架构。 像稳定扩散这样的模型已经彻底改变了创意应用。 然而，由于需要迭代去...
-
直接干到未来！DriveDreamer-2：世界首个自定义驾驶场景流生成，提升50%！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 世界车型在自动驾驶方面表现出了优势，尤其是在多视图驾驶视频的生成方面。然而，在生成自定义驾驶视频方面仍然存在重大挑战。在本文中，我们提出了DriveDreamer-2...
-
Stable Diffusion 3 震撼发布，采用Sora同源技术，生成图像、视频真假难辨！
ChatGPT狂飙160天，世界已经不是之前的样子。 新建了人工智能中文站https://ai.weoknow.com 每天给大家更新可用的国内可用chatGPT资源 ============== Stable Diffusion 3...
-
【深度学习】风格迁移，转换，Stable Diffusion，FreeStyle : Free Lunch for Text-guided Style Transfer using Diffusion
论文：https://arxiv.org/abs/2401.15636 代码：https://github.com/FreeStyleFreeLunch/FreeStyle 介绍 生成扩散模型的快速发展极大地推进了风格迁移领域的发展。然而，大多数当...
-
VLOGGER官网体验入口 AI视频生成工具在线使用地址
VLOGGER是一种从单张人物输入图像生成文本和音频驱动的讲话人类视频的方法，它建立在最近生成扩散模型的成功基础上。我们的方法包括1 一个随机的人类到3D运动扩散模型，以及2 一个新颖的基于扩散的架构，通过时间和空间控制增强文本到图像模型。这种方法能够生成...
-
文生图的最新进展：从一致性模型CMs、LCM、SDXL到Stable Diffusion3、SDXL-Lightning
前言 很明显，OpenAI的首个视频生成模型sora极大程度的提高了大家对文生图、文生视频的热情，也极大的扩展了大家对AIGC的想象力 第一部分(选读 一致性模型Consistency Model 注，本文第一部分最早写在23年11月份的这篇文...
-
Stable Diffusion ———LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo等版本之间关系现原理详解
一、简介 2021年5月，OpenAI发表了《扩散模型超越GANs》的文章，标志着扩散模型（Diffusion Models，DM）在图像生成领域开始超越传统的GAN模型，进一步推动了DM的应用。 然而，早期的DM直接作用于像素空间，这意味着要优化一...