-
颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源
DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模，从而实现高质量的图像生成。 然而，更大的模型规模导致训练成本飙升。 为此，来自Sea AI Lab、南开大学、昆仑万维2050...
-
stable diffusion使用相关
IP Adapter，我愿称之它为SD垫图 IP Adapter是腾讯lab发布的一个新的Stable Diffusion适配器，它的作用是将你输入的图像作为图像提示词，本质上就像MJ的垫图。 IP Adapter比reference的效果要好，而且会...
-
Sora是『神笔马良』还是AI怪物？首篇综述一探乾坤！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 Sora是一种文本到视频生成的人工智能模型，由OpenAI于2024年2月发布。该模型经过训练，能够从文本指令中生成逼真或想象的场景视频，并显示出在模拟物理世界方面的潜...
-
AI绘画中VAE压缩图像
介绍 在Stable Diffusion中,所有的去噪和加噪过程并非在图像空间直接进行,而是通过VAE模块将图像编码到一个低维空间。 这个低维空间的“分辨率”低于原始图像空间,有利于快速地完成加噪和去噪过程。 最后再将编码空间中的噪声表示解码恢复为...
-
一键Run带你体验扩散模型的魅力
在文生视频领域，Sora将带来短视频的智能化变革，打破当前内容平台等额原有数据壁垒，短视频创作的生态护城河，同时Sora融入短视频工作流，极大的增强用户的体验，降低创作难度和成本，极大拓展创作者的能力边界，激发短视频创作空间。 在视频创作...
-
最新综述！扩散模型与图像编辑的爱恨情仇
本文经自动驾驶之心公众号授权转载，转载请联系出处。 针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的be...
-
stable diffusion 原理是什么？
“ 这篇文章主要介绍了Stable Diffusion，这是一种用于AI绘画的算法，它是由CompVis和Runway团队在2021年12月提出的“潜在扩散模型”（LDM/Latent Diffusion Model）的变体，基于201...
-
扩散模型如何构建新一代决策智能体？超越自回归，同时生成长序列规划轨迹
设想一下，当你站在房间内，准备向门口走去，你是通过自回归的方式逐步规划路径吗？实际上，你的路径是一次性整体生成的。 近期的研究表明，采用扩散模型的规划模块能够同时生成长序列的轨迹规划，这更加符合人类的决策模式。此外，扩散模型在策略表征和数据合成方面也能为...
-
用AI短视频「反哺」长视频理解，腾讯MovieLLM框架瞄准电影级连续帧生成
在视频理解这一领域，尽管多模态模型在短视频分析上取得了突破性进展，展现出了较强的理解能力，但当它们面对电影级别的长视频时，却显得力不从心。因而，长视频的分析与理解，特别是对于长达数小时电影内容的理解，成为了当前的一个巨大挑战。 究其原因，导致模型理解长视...
-
AIGC图像技术在淘宝人生2的探索和应用
淘宝人生2（又名：第二人生）是淘宝的一个虚拟人装扮类应用，承担了用户在淘宝的第二个人生的作用。我们旨在通过AI为淘宝人生2的用户提供丰富有趣的可玩性内容，随着最近火热的AIGC技术的发展，我们也进行了相关尝试和落地，目前已经上线了AI拍照...
-
AI图像合成技术的新浪潮：Stable Diffusion 3与Sora构架的突破
在人工智能的黄金时代，图像合成技术正以前所未有的速度发展。从简单的图像编辑到复杂的场景生成，AI的能力已经超越了传统软件的限制，开启了创意和视觉表达的新纪元。近期，Stable Diffusion 3技术报告的流出引起了业界的广泛关注，其背后的Sora构...
-
谷歌被曝翻车内幕：内部群龙无首，生图机制过分“多元化”
谷歌Gemini文生图风波还未平，更劲爆的内幕消息又被曝出来了。 Pirate Wires爆料，Gemini这次的翻车，谷歌内部此前并不是毫不知情，翻车甚至是“故意”导致的。 具体来说，谷歌设置了一个“安全”架构，Gemini要生成一张图实际上要经过三个...
-
一文看尽297篇文献！中科院领衔发表首篇「基于扩散模型的图像编辑」综述
本文全面研究图像编辑前沿方法，并根据技术路线精炼地划分为3个大类、14个子类，通过表格列明每个方法的类型、条件、可执行任务等信息。 此外，本文提出了一个全新benchmark以及LMM Score指标来对代表性方法进行实验评估，为研究者提供了便捷的学习参...
-
中科院等万字详解：最前沿图像扩散模型综述
针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的benchmark，为研究者提供了便捷的学习参考工具。...
-
Stable Diffusion 解析：探寻 AI 绘画背后的科技神秘
AI 绘画发展史 在谈论 Stable Diffusion 之前，有必要先了解 AI 绘画的发展历程。 早在 2012 年，华人科学家吴恩达领导的团队训练出了当时世界上最大的深度学习网络。这个网络能够自主学习识别猫等物体，并在短短三天时间内绘制出了一...
-
一文总结扩散模型（Diffusion Model）在时间序列中的应用
扩散模型是目前生成式AI中的最核心模块，在Sora、DALL-E、Imagen等生成式AI大模型中都取得了广泛的应用。与此同时，扩散模型也被越来越多的应用到了时间序列中。这篇文章给大家介绍了扩散模型的基本思路，以及几篇扩散模型用于时间序列的典型工作，带你...
-
ResAdapter官网体验入口 Stable Diffusion AI图片生成风格一致性工具免费使用地址
ResAdapter是一个为扩散模型（如Stable Diffusion）设计的分辨率适配器，它能够在保持风格域一致性的同时，生成任意分辨率和宽高比的图像。与处理静态分辨率图像的多分辨率生成方法不同，ResAdapter直接生成动态分辨率的图像，提高了推理...
-
论文精读--DALL·E 2
使用CLIP训练好的特征做层级式的依托于文本的图像生成，层级式是指生成小分辨率图片后不断用模型上采样得到高清大图 CLIP将输入的文本变成一个文本特征，然后DALLE2训练一个prior模型，输入是文本特征输出是图像特征，最后把图像特征喂给解码器得到图片...
-
解剖Sora：37页论文逆向工程推测技术细节，微软参与，华人团队出品
Sora刚发布不久，就被逆向工程“解剖”了？！ 来自理海大学、微软研究院的华人团队发布了首个Sora相关研究综述，足足有37页。 他们基于Sora公开技术报告和逆向工程，对模型背景、相关技术、应用、现存挑战以及文本到视频AI模型未来发展方向进行了全面分析...
-
Stable Diffusion 3 发布及其重大改进
1. 引言 就在 OpenAI 发布可以生成令人瞠目的视频的 Sora 和谷歌披露支持多达 150 万个Token上下文的 Gemini 1.5 的几天后，Stability AI 最近展示了 Stable Diffusion 3 的预览版。 闲话少...
-
AI新工具(20240205) AI 对联/春联 - 输入描述，自动生成春联图片；AI写作引擎；满分简历
AI 对联/春联 - 输入描述，自动生成春联图片 AI 对联/春联 AI 对联/春联是一个由YunYouJun开发的开源项目，用于生成春节对联。 https://github.com/YunYouJun/ai-sfc 满分简历 - HR...
-
北大发起复现Sora，框架已搭！袁粒田永鸿领衔，AnimateDiff大神响应
重磅： 北大团队联合兔展发起了一项Sora复现计划——Open Sora。 框架、实现细节已出： 初始团队一共13人： 带队的是北大信息工程学院助理教授、博导袁粒和北大计算机学院教授、博导田永鸿等人。 为什么发起这项计划？ 因为资源有限，团队希望集结...
-
ControlNet作者又出新作：百万数据训练，AI图像生成迎来图层设计
尽管用于生成图像的大模型已经成为计算机视觉和图形学的基础，但令人惊讶的是，分层内容生成或透明图像（是指图像的某些部分是透明的，允许背景或者其他图层的图像通过这些透明部分显示出来）生成领域获得的关注极少。这与市场的实际需求形成了鲜明对比。大多数视觉内容编辑...
-
AIGC 为何能火爆全网，赋能智能时代？
Hi，大家好，我是半亩花海。2023年，人工智能新浪潮涌起，AIGC 火爆全网，不断赋能各大行业。从短视频平台上火爆的“AI 绘画”，到智能聊天软件 ChatGPT，都引起了大家的广泛关注。那么 AIGC 到底是什么？为什么如此引人关注？AIGC 能产生什...
-
【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测
视觉AIGC识别——人脸伪造检测、误差特征 + 不可见水印 前言 视觉AIGC识别 【误差特征】DIRE for Diffusion-Generated Image Detection 方法 扩散模型的角色 DIRE作为检测指标 实验结果...
-
一秒出图？SDXL-Turbo实时AI绘画整合包下载
SDXL Turbo是一种快速生成的AI构图模型，它基于一种称为对抗性扩散蒸馏的新训练方法，该方法允许在1到4个步骤中以高图像质量对大规模基础图像扩散模型进行采样，并将其与对抗性损失相结合，以确保即使在一个或两个采样步骤的低阶模式下也能获得高图像保真度...
-
【AIGC大模型】Sora--首个大型视频生成模型
Sora--首个大型视频生成模型 胡锡进于2024年2月20日认为：台当局怂了 新的改变 世界模拟器 视觉数据转换 视频压缩 时空补丁（Spacetime Laten Patches） 视频生成扩展变压器 算法和模型架构 结语 胡锡...
-
简单聊聊AI绘画中的SD（Stable Diffusion）是什么
聊到AI绘画，基本上就会聊到SD这个概念，毕竟作为开源可以本地部署的AI绘画软件，SD可能是目前的唯一选择，不管是webUI或者ComfyUI，还有国内的很多套壳绘画AI，都是sd作为基础进行二次优化的。那么SD到底是个啥，这篇文章就结合我个人的理解简单跟...
-
Stable diffusion webui部署及简单使用
文章目录 前言 一、Stable Diffusion WebUI部署 1.Stable diffusion 2.Linux 上的自动安装步骤如下： 1.安装依赖项： 2.切换到想要安装 WebUI 的目录并执行以下命令： 3.运行 webu...
-
万字长文！AIGC 时代数字图像水印的进展与实践 | 新程序员
【导读】数字水印是信息安全领域的新技术，用于保护数据的保密性和完整性。传统方法基于信号处理、信息论和密码学原理，分为空域和变换域方法。本文介绍了数字图像水印的发展与实践，包括定义和追求、传统数字水印方法、深度学习水印方法以及生成图像水印方法。文章还讨论了水...
-
ControlNet作者新作：AI绘画能分图层了，项目未开源就斩获660 Star
“绝不是简单的抠图。” ControlNet作者最新推出的一项研究受到了一波高度关注—— 给一句prompt，用Stable Diffusion可以直接生成单个或多个透明图层（PNG）! 例如来一句: 可以看到，AI不仅生成了符合prompt的完整图像...
-
微软37页论文逆向工程Sora，得到了哪些结论？
追赶 Sora，成为了很多科技公司当下阶段的新目标。研究者们好奇的是：Sora 是如何被 OpenAI 发掘出来的？未来又有哪些演进和应用方向？ Sora 的技术报告披露了一些技术细节，但远远不足以窥其全貌。 在最近的一篇文章中，微软研究院和理海大学的研...
-
AI生成视频还有王炸？阿里EMO惊艳登场，让小李子rap、高启强普法
撰稿 | 伊风 整个2月，Sora 可谓是当之无愧的 AI 明星，公布的两波 AI 视频吸睛无数。没想到在2月末尾，还能有另一位视频生成“选手”让我们感到惊喜！ 那就是阿里新推出的视频生成框架——EMO (Emote Portrait Alive...
-
ControlNet作者新作：AI绘画能分图层了！项目未开源就斩获660 Star
“绝不是简单的抠图。” ControlNet作者最新推出的一项研究受到了一波高度关注—— 给一句prompt，用Stable Diffusion可以直接生成单个或多个透明图层（PNG）！ 例如来一句： 头发凌乱的女性，在卧室里。Woman with me...
-
【文生视频】Diffusion Transformer：OpenAI Sora 原理、Stable Diffusion 3 同源技术
文生视频 Diffusion Transformer：Sora 核心架构、Stable Diffusion 3 同源技术 Sora 网络结构 提出背景 输入输出 生成流程 变换器的引入 Diffusion Transformer (DiT...
-
揭秘扩散模型背后的“硬核骨架”：一文读懂Backbone在生成艺术与智能决策中的关键作用
引子：揭开扩散模型及其“脊梁骨”的神秘面纱 如今，AI创作的精美画作、音视频内容层出不穷，其中有一项技术犹如魔法般从无到有地创造出惊艳作品，那就是扩散模型。而在其运作机制的核心深处，有一个至关重要的结构——我们称之为“backbone”，正是这个强大的支...
-
SORA技术报告快速解读——浅谈其AIGC积累的技术底蕴
SORA技术报告解读 文章目录 概要 SORA整体概要 关键性的技术方案解析 1. 视觉类型的特征嵌入和处理-video encoder 1.1 压缩视频的特征网络模型是什么？ 1.2 如何处理不同分辨率的训练和推理问题？ 2 Scalin...
-
中国如何复刻Sora，华人团队长文解构！996 OpenAI研究员：Sora是视频GPT-2时刻
今天，这张图在AI社区热转。 它列举了一众文生视频模型的诞生时间、架构和作者机构。 毫不意外，谷歌依然是视频模型开山之作的作者。不过如今AI视频的聚光灯，全被Sora抢去了。 同时，自曝996作息时间表的OpenAI研究员Jason Wei表示——...
-
几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型：从质疑Scaling到成为Scaling
几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型：从质疑Scaling到成为Scaling...
-
视频生成模型Sora的全面解析：从AI绘画、ViT到ViViT、DiT、VDT、NaViT、VideoPoet
前言 真没想到，距离视频生成上一轮的集中爆发(详见《Sora之前的视频生成发展史：从Gen2、Emu Video到PixelDance、SVD、Pika 1.0》 才过去三个月，没想OpenAI一出手，该领域又直接变天了 自打2.16日OpenAI发...
-
Stable Diffusion 3 发布，AI生图效果，再次到达全新里程碑！
AI生图效果，再次到达全新里程碑！ Prompt：Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark...
-
李沐学AI--DALL·E 2 + Diffusion Model
DALL·E 2 CLIP的一半的反过程 clip是 text–> text feature image --> image fueture 对比找相似的，就能进行分类任务，将给定的图像与给定的text对应起来。 dall e2是 text...
-
Sora阴影之下，焦虑的中国AI
“跟不上的可能就要被淘汰了。”看到Sora演示视频后，从业10多年的动画制作师黄斌得出了这样的判断。 随着影视业失业潮呼声渐起，Sora的诞生也给中国AI行业带来了巨大的焦虑。 360集团创始人周鸿祎认为，Sora模型展现出了超越当前中国同类产品的性能...
-
CVPR'24发榜，华人博士生连中三篇凡尔赛！官方下场发梗图玩坏网友
千呼万唤，就在今天，CVPR 2024的接收结果终于出来了。 官方已邮件发送通知，已经有不少人晒出好消息： 当然，目前刚刚公布的是初步结果，具体中标的是oral还是highlight还要再等等。 以及详细统计数据也还没出。 但无论是中了还是“缘分未...
-
FindSD.art官网体验入口 AI查找CivitAI类似风格SD模型软件工具免费使用地址
FindSD.art是一款帮助用户从单个图像中发现 CivitAI 的稳定扩散模型，以匹配其艺术风格的创意工具。它易于使用，安全且注重隐私。 点击前往FindSD.art官网体验入口 需求人群 FindSD.art适用于需要发现与用户艺术风格匹配的稳定扩...
-
AIGC实战——扩散模型(Diffusion Model)
AIGC实战——扩散模型 0. 前言 1. 去噪扩散概率模型 1.1 Flowers 数据集 1.2 正向扩散过程 1.3 重参数化技巧 1.4 扩散规划 1.5 逆向扩散过程 2. U-Net 去噪模型 2.1 U-Net 架构 2.2...
-
国内公司有望做出Sora吗？这支清华系大模型团队给出了希望
2023 年年底，很多人都预测，未来一年将是视频生成快速发展的一年。但出人意料的是，农历春节刚过，OpenAI 就扔出了一个重磅炸弹 —— 能生成 1 分钟流畅、逼真视频的 Sora。它的出现让很多研究者担心：国内外 AI 技术的差距是不是又拉大了？ 根...
-
用扩散模型生成网络参数，LeCun点赞尤洋团队新研究
如果你有被 Sora 生成的视频震撼到，那你就已经见识过扩散模型在视觉生成方面的巨大潜力。当然，扩散模型的潜力并不止步于此，它在许多其它不同领域也有着让人期待的应用前景，更多案例可参阅机器之心不久前的报道《爆火Sora背后的技术，一文综述扩散模型的最新发...
-
NUS尤洋团队开发扩散模型p-diff 像Sora一样直接打入AI底层
新加坡国立大学尤洋教授团队联合其他机构开发的p-diff扩散模型在AI领域引起热议。这项模型能以44倍的速度生成神经网络参数，得到了深度学习领域的重要人物LeCun的点赞。该模型的研发结合了自编码器的设计，通过正向和反向过程学习参数的分布，生成高质量的神经...
-
打入AI底层！NUS尤洋团队用扩散模型构建神经网络参数，LeCun点赞
扩散模型，迎来了一项重大新应用—— 像Sora生成视频一样，给神经网络生成参数，直接打入了AI的底层！ 这就是新加坡国立大学尤洋教授团队联合UCB、Meta AI实验室等机构最新开源的研究成果。 具体来说，研究团队提出了一种用于生成神经网络参数的扩散模...