-
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 task01笔记
赛题内容 参赛者需在可图Kolors 模型的基础上训练LoRA 模型，生成无限风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格...... 基于LoRA模型生成 8 张图片组成连贯故事，故事内容可自定义；基于8图故事，评估LoRA风格的美感度...
-
Classifier-Free Guidance (CFG) Scale in Stable Diffusion
1.Classifier-Free Guidance Scale in Stable Diffusion 笔记来源： 1.How does Stable Diffusion work? 2.Classifier-Free Diffusion Guida...
-
stable diffusion 1.x 模型训练概述
本文主要介绍sd发展的第一阶段版本的模型架构和一些微调训练方法，后续版本SDXL，LCM 版本再写文章继续介绍 SD 1.x 版本模型结构 autoencoder(VAE ：encoder将图像压缩到latent空间，而decoder将latent解码...
-
每日AIGC最新进展(16)：华为诺亚实验室提出通过混合mask信息融合增强文本到图像编辑、腾讯优图实验室提出风格化图像生成算法、清华大学提出扩散模型中的概念域校正和概念保留
Diffusion Models专栏文章汇总：入门与实战 Enhancing Text-to-Image Editing via Hybrid Mask-Informed Fusion 本文提出了一种名为MaSaFusion的文本到图像编辑方法...
-
AIGC系列之：GroundingDNIO原理解读及在Stable Diffusion中使用
目录 1.前言 2.方法概括 3.算法介绍 3.1图像-文本特征提取与增强 3.2基于文本引导的目标检测 3.3跨模态解码器 3.4文本prompt特征提取 4.应用场景 4.1结合生成模型完成目标区域生成 4.2结合stable di...
-
文生图——python调用stable diffusionAPI生成有趣的图像
本文将介绍如何使用Python调用Stable Diffusion API进行图像生成，实现文生图的功能。通过详细的步骤说明和示例代码，读者将能够轻松掌握这一技术，并运用它生成独特而富有创意的图像作品。无论你是编程爱好者还是设计师，都能从中获得启发和乐趣。...
-
CVPR 2024 | 图像超分、图像恢复汇总！用AIGC扩散模型diffusion来解决图像low-level任务的思路...
1、Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder 超分辨率（SR）和图像生成是计算...
-
ImagenHub官网体验入口 AI图像生成模型评估平台使用指南方法教程
ImagenHub是一个一站式库，用于标准化所有条件图像生成模型的推理和评估。该项目首先定义了七个突出的任务并创建了高质量的评估数据集。其次，我们构建了一个统一的推理管道来确保公平比较。第三，我们设计了两个人工评估指标，即语义一致性和感知质量，并制定了全面...
-
北航联合港大发布全新文本引导矢量图形合成方法SVGDreamer
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 可缩放矢量图形（Scalable Vector Graphics，SVG）是用于描述二维图型和图型应用程序的基本元素；与传统的像素图形...
-
ICCV 2023 | 最全AIGC梳理，5w字30个diffusion扩散模型方向，近百篇论文！
30个方向130篇！CVPR 2023最全AIGC论文 25个方向！CVPR 2022 GAN论文汇总 35个方向！ICCV 2021 最全GAN论文汇总 超110篇！CVPR 2021 最全GAN论文梳理 超100篇！CVPR 2...
-
可控图像生成最新综述！北邮开源20页249篇文献，包揽Text-to-Image Diffusion领域各种「条件」
在视觉生成领域迅速发展的过程中，扩散模型已经彻底改变了这一领域的格局，通过其令人印象深刻的文本引导生成功能标志着能力方面的重大转变。 然而，仅依赖文本来调节这些模型并不能完全满足不同应用和场景的多样化和复杂需求。 鉴于这种不足，许多研究旨在控制预训练文本...
-
【深度学习】风格迁移，转换，Stable Diffusion，FreeStyle : Free Lunch for Text-guided Style Transfer using Diffusion
论文：https://arxiv.org/abs/2401.15636 代码：https://github.com/FreeStyleFreeLunch/FreeStyle 介绍 生成扩散模型的快速发展极大地推进了风格迁移领域的发展。然而，大多数当...
-
一文看尽297篇文献！中科院领衔发表首篇「基于扩散模型的图像编辑」综述
本文全面研究图像编辑前沿方法，并根据技术路线精炼地划分为3个大类、14个子类，通过表格列明每个方法的类型、条件、可执行任务等信息。 此外，本文提出了一个全新benchmark以及LMM Score指标来对代表性方法进行实验评估，为研究者提供了便捷的学习参...
-
大一统视频编辑框架：浙大&微软推出UniEdit，无须训练、支持多种编辑场景
随着 Sora 的爆火，人们看到了 AI 视频生成的巨大潜力，对这一领域的关注度也越来越高。 除了视频生成，在现实生活中，如何对视频进行编辑同样是一个重要的问题，且应用场景更为广泛。以往的视频编辑方法往往局限于「外观」层面的编辑，例如对视频进行「风格迁移...
-
最新的AIGC相关技术更新
1.腾讯发布PhotoMaker 《PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding》 作者机构：南开大学&腾讯 PCG ARC 实验室&东京...
-
AI新工具(20240203) 文心一言APP数字分身；HuggingChat Assistants等
文心一言APP数字分身-一键生成专属数字分身 文心一言数字分身是一项新功能，用户只需一张照片和录制三句语音，就能创建一个专属的数字分身。这个数字分身还支持个性化定义名称、声音、MBTI性格等，用户可以选择是否公开自己的数字分身。这个功能的上线大大缩短...
-
首个环视世界模型DrivingDiffusion: BEV数据和仿真新思路！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 笔者的一些个人思考 在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面： 不同维度...
-
AI视野：谷歌推小模型MobileDiffusion；Midjourney测试风格一致性功能；字节跳动推AI Bot开发平台扣子；LLaVA-1.6赶超Gemini Pro
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 谷歌最新文生图小型...
-
AI图像高清修复工具SUPIR 可根据文本提示智能修复
SUPIR是一个通过增加模型规模来提升图像修复能力的技术，它能够根据文本提示进行智能修复，提高图像修复的质量和智能程度。 SUPIR的主要功能包括图像修复和文本引导的修复，利用了模型放大、多模态技术和结果表明，SUPIR在各种图像修复任务和复杂处理场景中都...
-
全网最全AI绘画Stable Diffusion关键技术解析
背景 很多人觉得AI绘画不稳定，对于以后是否替代插画师，摄影工作者，设计师，表示存疑，作为AI从业者本文从AI绘画关键技术分析，明白以前生产者肯定会被淘汰，现在没有到达黄金期。 技术一定会让更多人失业，而我们拥抱变化，增强自身。 AI绘画中Stab...
-
最近读的AIGC相关论文思路解读
AIGC之SD可控生成论文阅读记录 提示：本博客是作者本人最近对AIGC领域相关论文调研后，临时记录所用，所有观点都是来自作者本人局限理解，以及个人思考，不代表对。如果你也正好看过相关文章，发现作者的想法和思路有问题，欢迎评论区留言指正！ 既然是论...
-
Stable diffusion 简介
Stable diffusion 是 CompVis、Stability AI、LAION、Runway 等公司研发的一个文生图模型，将 AI 图像生成提高到了全新高度，其效果和影响不亚于 Open AI 发布 ChatGPT。Stable diffusi...
-
「文生图」再升级！学习个性化参照，无限生成多样图片，轻松设计玩具建筑
最近，来自南加州大学、哈佛大学等机构的研究团队提出了一种全新的基于提示学习的方法——DreamDistribution。 这种方法可以让任何基于文字提示的生成模型（比如文生图、文生3D等），通过一组参照图片来学习对应的视觉属性共性和变化的文本提示分布。...
-
Textual Inversion: 一种精调Stable Diffusion模型的方法
引言 最近的文本到图像Stable Diffusion （SD）模型已经证明了使用文本提示合成新颖场景的前所未有的能力。这些文本到图像的模型提供了通过自然语言指导创作的自由。然而，它们的使用受到用户描述特定或独特场景、艺术创作或新物理产品的能力的限制。...
-
一句话精准视频片段定位！清华新方法拿下SOTA｜已开源
只需一句话描述，就能在一大段视频中定位到对应片段！ 比如描述“一个人一边下楼梯一边喝水”，通过视频画面和脚步声的匹配，新方法一下子就能揪出对应起止时间戳： 就连“大笑”这种语义难理解型的，也能准确定位： 方法名为自适应双分支促进网络（ADPN），由清...
-
stable diffusion中的u net
Stable Diffusion 包含几个核心的组件： 一个文本编码器（在 Stable Diffusion 中使用 CLIP 的 ViT-L/14 的文本编码器），用于将用户输入的 Prompt 文本转化成 text embedding； 一个 Im...
-
CVPR 2023 | 可控文生图/定制化文生图领域论文详解 AI作画增强版
可控文生图/定制化文生图 1、DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation DreamBooth是一种新的文本到图像扩散模型...
-
超详细，AI绘画里你不得不知道的SD算法详解
前言 哈喽，各位小伙伴们大家好，说到AI绘画，可谓是近几年来异军突起，犹如洪水猛兽一般，各种的本土化，商业化。但是相信也有很多朋友跟我一样，对AI绘画的原理一知半解，甚至根本不知道它是怎么工作的。这样只靠着在网上复制粘贴别人的prompt，是没有点...
-
AI作画升级！一键帮你用Stable Diffusion 生成无限缩放效果视频
在这一篇文章中，我们介绍了利用OpenVINO™优化和加速Stable Diffusion模型的推理，在英特尔®独立显卡上能够根据我们输入的指令（prompt），快速生成我们喜爱的AI画作。今天，我们对这一应用场景再次升级，除了能够作画，利用OpenVIN...
-
Meta AI开源T2V模型AVID 可修复视频改变纹理
Meta AI最近开源了AVID，这是一项具有先进修复和扩展能力的 T2V 模型。AVID 不仅支持通过文本编辑视频，还可以修复视频、更改视频对象、改变纹理和颜色，甚至删除视频内容或更换视频环境。 项目地址:https://zhang-zx.github...
-
设计师解放双手之作！3秒生成风景园林效果图，AIGC赋能景观设计
项目简介 在过去几十年，风景园林经历了从“刀耕火种”的完全手绘设计时代到当下比较流行的参数化设计时代，过去的每一轮技术革新都让风景园林作品的表现形式产生了巨大的改变。随着计算机图像技术的发展，我们有更多的建模和渲染软件辅助提升图纸表现效果，...
-
HumanGaussian开源：基于Gaussian Splatting，高质量 3D 人体生成新框架
在 3D 生成领域，根据文本提示创建高质量的 3D 人体外观和几何形状对虚拟试穿、沉浸式远程呈现等应用有深远的意义。传统方法需要经历一系列人工制作的过程，如 3D 人体模型回归、绑定、蒙皮、纹理贴图和驱动等。为了自动化 3D 内容生成，此前的一些典型工作...
-
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用
AIGC专栏5——EasyPhoto AI写真照片生成器 插件安装与使用 学习前言 源码下载地址 技术原理储备（SD/Control/Lora） StableDiffusion ControlNet Lora EasyPhoto插件简介 E...
-
[综述] Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era
论文｜ 改文章是23年5月27日挂在arxiv上，本文重点关注4.1节Text Guided 3D Avatar Generation、4.4节Text Guided 3D Shape Transformation和第5章Discussion Tex...
-
Stable Diffusion之Scheduler模块比对生成结果
项目场景： 替换Stable Diffusion的Scheduler模块并对结果进行分析 diffusers包含多个用于扩散过程的预置scheduler function，用于接收经过训练的模型的输出，扩散过程正在迭代的样本，以及返回去噪样本的...
-
首个多视角自动驾驶场景视频生成世界模型 | DrivingDiffusion: BEV数据和仿真新思路
笔者的一些个人思考 在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面： 不同维度上的长尾场景：如障碍物数据中近距离的车辆以及切车过程中...