-
大模型也有小偷？为保护你的参数，上交大给大模型制作「人类可读指纹」
大模型的预训练需要耗费巨量的计算资源和数据，因而预训练模型的参数也正成为各大机构重点保护的核心竞争力和资产。然而，不同于传统的软件知识产权保护可以通过比对源代码来确认是否存在代码盗用，对预训练模型参数盗用的判断存在以下两方面的新问题： 1） 预训练模型的...
-
DALL-E 系列：AI绘画背后的惊人真相！！【1个离奇内幕、3个意想不到、5大秘密揭示】
DALL-E 系列：AI绘图原理，根据用户给出的描述，生成与描述相匹配的图像 DALL-E 1 dVAE Transformer DALL-E 2 CLIP 先验 prior decoder（image） DALL-E 3...
-
关于推荐系统，有六大让人震惊的“秘密”
推荐系统自1992 年代诞生以来, 到2024 年的今天已经有32 年的发展历程。在这几十年的发展历程中，各个互联网和科技公司上线过数以百万计的推荐系统模型。尽管推荐系统经历过 2012 到 2014 年的发展低潮，但很快就被后起之秀快手和字节跳动一改颓...
-
揭秘NVIDIA大模型推理框架：TensorRT-LLM
一、TensorRT-LLM 的产品定位 TensorRT-LLM 是 NVIDIA 用于做 LLM（Large Language Model）的可扩展推理方案。该方案是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 Fa...
-
【深度学习】AIGC ，ControlNet 论文，原理，训练，部署，实战，教程（一）
论文：https://arxiv.53yu.com/pdf/2302.05543 代码：https://github.com/lllyasviel/ControlNet 得分几个博客完成这个事情的记录了，此篇是第一篇，摘录了一些论文内容。ControlN...
-
使用核模型高斯过程(KMGPs)进行数据建模
核模型高斯过程(KMGPs 作为一种复杂的工具可以处理各种数据集的复杂性。他通过核函数来扩展高斯过程的传统概念。本文将深入探讨kmgp的理论基础、实际应用以及它们所面临的挑战。 核模型高斯过程是机器学习和统计学中对传统高斯过程的一种扩展。要理解kmgp，...
-
Stable Diffusion XL总结
Stable Diffusion XL是一个二阶段的级联扩散模型，包括Base模型和Refiner模型。其中Base模型的主要工作和Stable Diffusion一致，具备文生图，图生图，图像inpainting等能力。在Base模型之后，级联了Refi...
-
十分钟读懂Stable Diffusion运行原理
AIGC 热潮正猛烈地席卷开来，可以说 Stable Diffusion 开源发布把 AI 图像生成提高了全新高度，特别是 ControlNet 和 T2I-Adapter 控制模块的提出进一步提高生成可控性，也在逐渐改变一部分行业的生产模式。惊...
-
AIGC笔记总结（一）：扩散模型简介
?个人主页: GoAI |? 公众号: GoAI的学习小屋 | ?交流群: 704932595 |?个人简介 ： 掘金签约作者、百度飞桨PPDE、领航团团长、开源特训营导师、CSDN、阿里云社区人工智能领域博客专家、新星计划计算机视觉方向导师等，专注大数...
-
什么是diffusion model? 它为什么好用？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 简介 NCSN （Noise Conditional Score Networks）来自于宋飏博士发表在 NeurIPS2019 上面的文章“Generative Modeling by Estima...
-
爆肝整理全网最全最新AI生成算法【Stable Diffusion｜Diffusion Model｜DallE2｜CLIP｜VAE｜VQGAN】原理解析
1、生成模型 首先回顾一下生成模型要解决的问题： 如上图所示，给定两组数据z和x，其中z服从已知的简单先验分布π(z （通常是高斯分布），x服从复杂的分布p(x （即训练数据代表的分布），现在我们想要找到一个变换函数f，它能建立一种z到x的映射f:z...
-
Stable Diffusion1.5网络结构-超详细原创
目录 1 Unet 1.0 介绍 1.1详细整体结构 1.2 缩小版整体结构 1.3 时间步编码 1.4 CrossAttnDownBlock2D 1.4.1 ResnetBlock2D 1.4.2 Transformer2DModel...
-
Stable Diffusion 源码解析（1）
参考1：https://blog.csdn.net/Eric_1993/article/details/129393890 参考2：https://zhuanlan.zhihu.com/p/613337342 1.StableDiff...
-
【扩散模型】1、扩散模型 | 到底什么是扩散模型?
文章目录 一、什么是扩散模型 1.1 现有生成模型简介 1.2 扩散模型的理论来源 1.3 扩散模型的使用场景 1.4 扩散模型的基本结构 1.5 马尔可夫过程 二、扩散模型相关定义 2.1 符号和定义 2.2 问题规范化 三、可以提升...
-
番外篇Diffusion&Stable Diffusion扩散模型与稳定扩散模型
文章目录 Diffusion&Stable Diffusion扩散模型与稳定扩散模型 摘要 Abstract Diffusion Model扩散模型 Forward Diffusion Process正向扩散过程 噪声图像的分布...
-
stable diffusion原理
1、Latent space 隐空间是压缩数据的一个表示。数据压缩的目的是学习数据中较重要的信息。以编码器-解码器网络为例，首先使用全卷积神经网(FCN 络学习图片特征，我们将特征提取中对数据的降维看作一种有损压缩。但是由于解码器需要重建(reconst...
-
Stable Diffusion扩散模型 + Consistency一致性模型
1 GAN到Stable Diffusion的改朝换代 2 从DDPM到Stable Diffusion发展史 2.1 DDPM 扩散过程（正向） 去噪过程（反向） 总结 优化目标 理论推导 代码解析 2.2 Stable Diffu...
-
【stable diffusion原理解读通俗易懂，史诗级万字爆肝长文，喂到你嘴里】
文章目录 一、前言（可跳过） 二、stable diffusion 1.clip 2.diffusion model forward diffusion （前向扩散） 逆向扩散（reverse diffusion） 采样图 阶段小结 3....
-
【生成模型】Stable Diffusion原理+代码
文章目录 前言 一、Latent space 二、AutoEncoder 和 VAE 1.AutoEncoder: 2.VAE： 三、Diffusion扩散模型 1.前向过程 2.逆向过程 四、多模态 cross attention 五...
-
「文生图」再升级！学习个性化参照，无限生成多样图片，轻松设计玩具建筑
最近，来自南加州大学、哈佛大学等机构的研究团队提出了一种全新的基于提示学习的方法——DreamDistribution。 这种方法可以让任何基于文字提示的生成模型（比如文生图、文生3D等），通过一组参照图片来学习对应的视觉属性共性和变化的文本提示分布。...
-
开始弃用NeRF？为什么Gaussian Splatting在自动驾驶场景如此受欢迎？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 三维 Gaussian splatting（3DGS）是近年来在显式辐射场和计算机图形学领域出现的一种变革性技术。这种创新方法的特点是使用了数百万个3D高斯，这与神经...
-
百度最强中文AI作画大模型
前言 最近文生图领域的发展可谓是分生水起，这主要是得益于最近大火的扩散模型，之前笔者也写过一篇关于文本生产3D模型的文章，大家感兴趣的可以穿梭： https://zhuanlan.zhihu.com/p/570332906 今天要给大家介绍...
-
大模型相关技术综述
多模态大模型&大模型训练语料持续迭代 已经开始整理多模态-视觉部分： 主要分为一下几块 多模态信息压缩模型（clip、vit、swiT） 生成模型（vae、gan、flow、ddpm、sde... 其它多模态大模型（语音...
-
简单易懂Stable Diffusion运行原理 都直接喂到你嘴里了 还不快点接着
**Stable Diffusion无疑是最近最火的AI绘画工具之一，所以本期给大家带来了全新Stable Diffusion 保姆级教程资料包（文末可获取）一 背景介绍 AI 绘画作为 AIGC（人工智能创作内容）的一个应用方向，它绝对是 2022 年以...
-
一文速览扩散模型优化过程：从DDPM到条件生成模型Stable Diffusion
文章目录 1、扩散模型简介 - Diffusion Model 2、最简单的扩散模型 - DDPM 前向加噪过程 逆向去噪过程 训练与推理流程 模型优缺点 3、减少扩散模型的采样步骤 - DiffusionGAN 分析高斯分布、采样步长...
-
使用PyTorch实现去噪扩散模型
在深入研究去噪扩散概率模型(DDPM 如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。 VAE VAE 采用了编码器、概率潜在空间和解码器。在训练过程中，编码器预测每个图像的均值和方差。然后从高斯分布中对这些值进...
-
万字长文谈自动驾驶BEV感知
本文经自动驾驶之心公众号授权转载，转载请联系出处。 prologue 这有可能是更的最长的文章系列了，先说为什么，一方面是看到分割大模型对小模型的提升效果需要时间，另一方面是之前对自动驾驶的BEV算法做了很长时间的预研，自己也应该好好梳理一下了。 （很...
-
AIGC入门系列1：感性的认识扩散模型
1、序言 大家好，欢迎来到AI手工星的频道，我是专注AI领域的手工星。AIGC已经成为AI又一个非常爆火的领域，并且与之前的AI模型不同，AIGC更适合普通人使用，我们不仅可以与chatgpt对话，也能通过绘画模型生成想要的图片。很多朋友都想去深入的了解...
-
LangSplat官网体验入口 AI 3D场景构建软件工具免费下载地址
LangSplat是一款利用CLIP语言嵌入映射到3D高斯分布的工具，用于构建3D语言场景并实现对3D场景的开放词汇量查询。它提高了处理效率，避免了NeRF中的昂贵渲染过程，并且学习到的语言特征能精确捕捉对象边界，提供精确的3D语言场景，无需后处理。Lan...
-
数据闭环！DrivingGaussian：逼真环视数据，驾驶场景重建SOTA
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 北大王选计算机研究所的最新工作，提出了DrivingGaussian，一个高效、有效的动态自动驾驶场景框架。对于具有移动目标的复杂场景，首先使用增量静态3D高斯对整个...
-
人工智能教程（四）：概率论入门
在本系列的 上一篇文章 中，我们进一步讨论了矩阵和线性代数，并学习了用 JupyterLab 来运行 Python 代码。我们也会简要介绍一些其它有用的库。稍后，我们将讨论概率、理论以及代码。和往常一样，我们先讨论一些能拓宽我们对人工智能的理解的话题...
-
生成式 AI 背后的共同框架：Stable Diffusion、DALL-E、Imagen
前言 如果你对这篇文章感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。 框架 这些生成式 AI 的整体功能为：输入「文字」，返回「图像」，即 Text-to-image Generator：...
-
【AIGC】Stable Diffusion原理快速上手，模型结构、关键组件、训练预测方式
【AIGC】Stable Diffusion的建模思想、训练预测方式快速 在这篇博客中，将会用机器学习入门级描述，来介绍Stable Diffusion的关键原理。目前，网络上的使用教程非常多，本篇中不会介绍如何部署、使用或者微调SD模型。也会尽量精简...
-
【扩散模型】2、DDPM | 去噪扩散概率模型开山之作
文章目录 数学基础知识 一、背景 二、DDPM 主要过程 2.1 前向扩散过程 2.2 逆向去噪过程 2.3 训练和推理 论文：Denoising Diffusion Probabilistic Models 代码：http...
-
【AI绘画】Stable Diffusion的介绍及程序示例
Stable Diffusion 1.背景 2.StableD 的原理 3.StableD 的应用 3.1.如何使用 StableD 进行图像生成 3.2 图像生成与编辑 3.2.1 生成新图像 3.2.2 图像编辑 1.背...
-
强大到离谱！硬核解读Stable Diffusion（完整版）
原文链接： 硬核解读Stable Diffusion（完整版） 2022年可谓是AIGC（AI Generated Content）元年，上半年有文生图大模型DALL-E2和Stable Diffusion，下半年有OpenAI的文本对话大模型Ch...
-
大模型LLaMA和微调LLaMA
1.LLaMA LLaMA的模型架构:RMSNorm/SwiGLU/RoPE/Transformer/1-1.4T tokens，和GPT一样都是基于Transformer这个架构。 1.1对transformer子层的输入归一化 与Transf...
-
DDPM详解 AI绘画
话说DDPM DDPM模型，全称Denoising Diffusion Probabilistic Model，可以说是现阶段diffusion模型的开山鼻祖。不同于前辈GAN、VAE和flow等模型，diffusion模型的整体思路是通过一种偏...
-
生成式对抗网络（GAN）原理推导与网络构建思路
0 引言 设想这样的场景：你是一个工作室的老板，你的工作室主要用来生产名画的赝品；而真正的名画则为前人所创造，存放在收藏室中。你的赝品画会和真品画一起被鉴定家鉴定，而你的终极目标是成为一个以假乱真的工艺大师。通往目标的路自然十分坎坷，你首先要做的就是以...
-
Stable Diffusion的原理
CSDN-markdown语法之怎样使用LaTeX语法编写数学公式 参考视频：【diffusion】扩散模型详解！原理+代码！ 用一颗桃树为你讲清楚 知识点：AI绘图原理 Diffusion扩散模型 Windows深度学习环境搭建：Windows深度学...
-
基于元算法的通用框架，用于无监督学习问题
11 月 13 日，微软研究院（Microsoft Research）和普林斯顿大学研究人员，提出了一个通用框架，用于设计无监督学习问题的有效算法，如高斯分布和子空间聚类的混合。 研究人员所提的框架在解决噪声问题上，使用了一种下界学习计算公式的元算法。...
-
Debug Stable Diffusion webui
文章目录 SD 前期预备 一些惊喜 TorchHijackForUnet Txt2Img 搭配 Lora 使用 单独运行 txt2img.py 获取所有资源 代码地址 参数 sd model 主程序 代码地址 参数(同上 模型Infe...
-
深入理解LLaMA, Alpaca, ColossalChat 系列模型
知乎：紫气东来https://zhuanlan.zhihu.com/p/618695885 一、从 LLaMA 到 Alpaca：大模型的小训练 1.1 LLaMA 概要与实践 LLaMA(Large Language Mo...
-
真正实现一步文生图，谷歌UFOGen极速采样，生成高质量图像
最近一年来，以 Stable Diffusion 为代表的一系列文生图扩散模型彻底改变了视觉创作领域。数不清的用户通过扩散模型产生的图片提升生产力。但是，扩散模型的生成速度是一个老生常谈的问题。因为降噪模型依赖于多步降噪来逐渐将初始的高斯噪音变为图片，因...
-
神经网络学习笔记6——生成式AI绘画背后的的GAN与Diffusion初解
系列文章目录 文章目录 系列文章目录 AI绘画 GAN前言 一、生成网络与判别网络的协同进化 1、生成器与判别器的学习趋向 2、部分算法理念 Diffusion 前言 一、Diffusion前向过程 二、Diffusion反向过...
-
Stable Diffusion 原理介绍与源码分析（二、DDPM、DDIM、PLMS算法分析）
Stable Diffusion 原理介绍与源码分析（二、DDPM、DDIM、PLMS） 文章目录 Stable Diffusion 原理介绍与源码分析（二、DDPM、DDIM、PLMS） 系列文章 前言（与正文无关，可忽略） 总览...
-
AIGC专栏1——Pytorch搭建DDPM实现图片生成
AIGC专栏1——Pytorch搭建DDPM实现图片生成 学习前言 源码下载地址 网络构建 一、什么是Diffusion 1、加噪过程 2、去噪过程 二、DDPM网络的构建（Unet网络的构建） 三、Diffusion的训练思路 利用D...
-
【信号与系统实验】实验七 音频信号的采集和传输
实验七 音频信号的采集和传输（4学时） 7.1实验目的 借助声卡等设备，采集一段声音； 对采样后的声音信号进行频谱分析； 对采样后的声音信号进行调制，模仿通过高斯白噪声信道传输； 对传输信号进行解调和重构，并进行频谱分析； 通过重构信号的重放，分析效果...
-
马毅、沈向洋联手，首届CPAL开奖！16人获新星奖，华人学者占据半壁江山
就在昨天，首届CPAL简约学术会议，正式公布了新星奖获奖者名单！ CPAL专注于解决机器学习、信号处理、优化等领域中普遍存在的简约、低维结构问题，并探索低维结构在智能硬件与系统、交叉科学和工程等新兴方向的应用。 创办这个会议的出发点，就是将其设计为一个...
-
一篇学会大模型浪潮下的时间序列预测
今天跟大家聊一聊大模型在时间序列预测中的应用。随着大模型在NLP领域的发展，越来越多的工作尝试将大模型应用到时间序列预测领域中。这篇文章介绍了大模型应用到时间序列预测的主要方法，并汇总了近期相关的一些工作，帮助大家理解大模型时代时间序列预测的研究方法。...