-
【生成模型】Stable Diffusion原理+代码
文章目录 前言 一、Latent space 二、AutoEncoder 和 VAE 1.AutoEncoder: 2.VAE： 三、Diffusion扩散模型 1.前向过程 2.逆向过程 四、多模态 cross attention 五...
-
OpenAI开源全新解码器和语音识别模型Whisper-v3
在11月7日OpenAI的首届开发者大会上，除了推出一系列重磅产品之外，还开源了两款产品，全新解码器Consistency Decoder（一致性解码器）和最新语音识别模型Whisper v3。 据悉，Consistency Decoder可以替代Sta...
-
Stable Diffusion五问
一，什么是Stable diffusion？ Stable Diffusion" 是一种基于扩散模型的深度学习框架，用于生成高质量的图像。它是一种生成模型，通过模拟物理扩散过程，从随机噪声中逐步生成详细和结构化的图像。Stable Diffusion因其...
-
碎片笔记｜AIGC核心技术综述
前言：AIGC全称为AI-Generated Content，直译为人工智能内容生成。即采用人工智能技术来自动生产内容。AIGC在2022年的爆发，主要是得益于深度学习模型方面的技术创新。不断涌现的生成算法、预训练模型以及多模态等技术的融合引发了AIGC的...
-
OpenAI Whisper论文笔记
OpenAI Whisper论文笔记 OpenAI 收集了 68 万小时的有标签的语音数据，通过多任务、多语言的方式训练了一个 seq2seq （语音到文本）的 Transformer 模型，自动语音识别（ASR）能力达到商用水准。本文为李沐老师论文精...
-
GPT-5前瞻！GPT-5将具备哪些新能力？
Sam Altman在整个AI领域，乃至整个科技领域都被看作是极具影响力的存在，而2023年OpenAI无限反转的宫斗事件更是让Sam Altman刷足了存在感，他甚至被《时代》杂志评为“2023年度CEO”。 也正因此， Sam Altman的一条推文，...
-
WAIC2023| AIGC究竟在向善还是向恶而行？
目录 一、常见图像篡改技术 二、传统篡改图像检测方法 2.1、基于光源和噪声的拼接图像篡改检测方法 2.2、基于马尔科夫特征的检测方法 三、基于深度学习的图像篡改检测方法 3.1、基于Fisher编码和SVM模型的方法 3.2、 基于...
-
AI图像着色工具DDColor 上色效果高度真实
DDColor是一款照片级、真实感的图像着色工具，采用了双解码器技术，能够同时考虑色彩分布和像素级详细信息，实现高度真实的图像上色效果。 它不仅能给历史黑白照片上色，还能对动漫或游戏中的风景进行真实风格的上色，并将动画场景转化为现实生活风格。 项目地址:...
-
【Stable Diffusion】什么是VAE
1.基本概念 VAE是Variational Autoencoder的缩写，中文名变分自编码器，是一种基于深度学习的生成模型。VAE的基本思想是将输入数据编码为潜在空间中的概率分布，并通过解码器将潜在空间中的随机向量映射回原始数据空间中。VAE的训练过程包...
-
Mistral AI推出Mixtral 8x7B：一种改变机器学习的SMoE语言模型 效果堪比GPT-3.5
## 划重点: 1. 🚀 **创新模型介绍:** Mistral AI 的研究团队推出了基于 Sparse Mixture of Experts（SMoE）模型的 Mixtral8x7B 语言模型，采用开放权重。 2. 🌐 **性能突出:** Mixtra...
-
RoboFusion：通过SAM实现稳健的多模态3D检测
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2401.03907.pdf 多模态3D检测器致力于探索安全可靠的自动驾驶感知系统。然而，尽管在干净的基准数据集上实现了最先进的（SOTA）性能，...
-
拆掉英伟达护城河，细节曝光！世界最快超算用3072块AMD GPU训完超万亿参数LLM
用AMD的软硬件系统也能训练GPT-3.5级别的大模型了。 位于美国橡树岭国家实验室（Oak Ridge National Laboratory）的全世界最大的超算Frontier，集合了37888个MI250X GPU和9472个Epyc 7A53 C...
-
LLaMA开源大模型源码分析！
Datawhale干货 作者：宋志学，Datawhale成员 花了一晚上照着transformers仓库的LLaMA源码，把张量并行和梯度保存的代码删掉，只留下模型基础结构，梳理了一遍LLaMA的模型结构。 今年四月份的时候，我第一次...
-
【计算机视觉 | 目标检测】术语理解9：AIGC的理解，对比学习，解码器，Mask解码器，耦合蒸馏，半耦合，图像编码器和组合解码器的耦合优化
文章目录 一、AIGC的理解 二、对比学习 三、解码器 四、Mask解码器 五、耦合蒸馏 六、半耦合 七、图像编码器和组合解码器的耦合优化 一、AIGC的理解 AIGC指的是使用人工智能技术自动生成的各类数字内容,包括文本、图像、...
-
Stable Diffusion的入门介绍和使用教程
Stable Diffusion是一个文本到图像的潜在扩散模型，由CompVis、Stability AI和LAION的研究人员和工程师创建。它使用来自LAION-5B数据库子集的512x512图像进行训练。使用这个模型，可以生成包括人脸在内的任何图...
-
Stable Diffusion-生式AI的新范式
! 扩散模型（Stable Diffusion 现在是生成图像的首选模型。由于扩散模型允许我们以提示( prompts 为条件生成图像，我们可以生成我们所选择的图像。在这些文本条件的扩散模型中，稳定扩散模型由于其开源性而最为著名。 在这篇文章中，我们将...
-
OpenAI的人工智能语音识别模型Whisper详解及使用
1 whisper介绍 拥有ChatGPT语言模型的OpenAI公司，开源了 Whisper 自动语音识别系统，OpenAI 强调 Whisper 的语音识别能力已达到人类水准。 Whisper是一个通用的语音识别模型，...
-
视觉高精地图构建的全面回顾！一起看看无图感知都有哪些落地方案（清华&滴滴）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 近年来，自动驾驶受到越来越多的关注，高精地图成为自动驾驶技术的关键组成部分。这些地图提供了道路网络的复杂细节，并作为车辆定位、导航和决策等关键任务的基本输入。鉴于视觉...
-
大模型相关技术综述
多模态大模型&大模型训练语料持续迭代 已经开始整理多模态-视觉部分： 主要分为一下几块 多模态信息压缩模型（clip、vit、swiT） 生成模型（vae、gan、flow、ddpm、sde... 其它多模态大模型（语音...
-
【AI绘画 | draft意间】国产draft推荐及AI绘画背后的原理解读
写在前面： 学习人工智能？来我们的床长人工智能教程网站！全面的课程，适合任何想学习的人。基础知识到高级应用，我们都有。职场人士、学生或爱好者，都能快速提升技能水平。赶快来尝试吧！ 个人名片： 🐼作者简介：一名大二在校生，喜欢编程🎋...
-
Stable Diffusion架构的3D分子生成模型 GeoLDM - 测评与代码解析
之前，向大家介绍过3D分子生成模型 GeoLDM。 GeoLDM按照Stable Diffusion架构，将3D分子生成的扩散过程运行在隐空间内，优化了基于扩散模型的分子生成。可能是打开Drug-AIGC的关键之作。让精确控制分子生成有了希望。...
-
简单易懂Stable Diffusion运行原理 都直接喂到你嘴里了 还不快点接着
**Stable Diffusion无疑是最近最火的AI绘画工具之一，所以本期给大家带来了全新Stable Diffusion 保姆级教程资料包（文末可获取）一 背景介绍 AI 绘画作为 AIGC（人工智能创作内容）的一个应用方向，它绝对是 2022 年以...
-
AIGC在趣丸科技广告素材场景下赋能业务的探索实践
AIGC 兴起，在各行各业得到应用。广告作为用户增长的有效手段，经久不衰，日益增长的广告创意素材素材需求与设计师人工制作素材产能不足的矛盾问题凸显，AIGC 技术的应用能够在多模态素材上发挥作用，为广告投放业务赋能。 趣丸科技资深研发工程师 阮陈贵 ...
-
Stable Diffusion 文生图技术原理
图像生成模型简介 图片生成领域来说，有四大主流生成模型：生成对抗模型（GAN）、变分自动编码器（VAE）、流模型（Flow based Model）、扩散模型（Diffusion Model）。 从2022年开始，主要爆火的图片生成模型是Diffusi...
-
AIGC之文本内容生成概述（下）——Transformer
在上一篇文章中，我们一口气介绍了LSTM、Word2Vec、GloVe、ELMo等四种模型的技术发展，以及每种模型的优缺点与应用场景，全文超过一万字，显得冗长且繁杂，在下文部分我们将分开介绍Transformer、BERT、GPT1/GPT2/GPT3/C...
-
学习实践-Whisper语音识别模型实战（部署+运行）
1、Whisper内容简单介绍 OpenAI的语音识别模型Whisper，Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）...
-
在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现
引言 自然语言处理 (NLP 领域的进展日新月异，你方唱罢我登场。因此，在实际场景中，针对特定的任务，我们经常需要对不同的语言模型进行比较，以寻找最适合的模型。本文主要比较 3 个模型: RoBERTa、Mistral-7B 及 Llama-2...
-
Stable Diffusion 超详细讲解
Stable Diffusion 超详细讲解 这篇文章是 《Stable Diffusion原理详解》的后续，在《Stable Diffusion原理详解》中我更多的是以全局视角讲解了 Stable Diffusion 的原理和工作流程，并未深入步骤细...
-
一文速览扩散模型优化过程：从DDPM到条件生成模型Stable Diffusion
文章目录 1、扩散模型简介 - Diffusion Model 2、最简单的扩散模型 - DDPM 前向加噪过程 逆向去噪过程 训练与推理流程 模型优缺点 3、减少扩散模型的采样步骤 - DiffusionGAN 分析高斯分布、采样步长...
-
AI绘画 | stable diffusion简介和原理
Stable Diffusion中文的意思是稳定扩散，本质上是基于AI的图像扩散生成模型。 Stable Diffusion是一个引人注目的深度学习模型，它使用潜在扩散过程来生成图像，允许模型在生成图像时考虑到文本的描述。这个模型的出现引起了广泛的关注和讨...
-
轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。 小模型在边缘设备上有着广泛的应用，如智能手机、物联网设备和嵌入式系统，这些边缘设备通常具有有限的计算能力和存储空间，它们无法有效地运行大型语...
-
如何在你的电脑上完成whisper的简单部署
如何在你的电脑上完成whisper的简单部署（超详细教程） 前言 一、显卡驱动、CUDA ToolKit、cuDNN的下载 1. 显卡驱动 2. CUDA ToolKit 3. cuDNN的安装 二、windows下安装conda 三、使...
-
使用PyTorch实现去噪扩散模型
在深入研究去噪扩散概率模型(DDPM 如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。 VAE VAE 采用了编码器、概率潜在空间和解码器。在训练过程中，编码器预测每个图像的均值和方差。然后从高斯分布中对这些值进...
-
英伟达推新AI语音识别模型Parakeet 号称优于Whisper
领先的开源对话 AI 工具包 NVIDIA NeMo宣布推出 Parakeet ASR 模型系列，这是一系列最先进的自动语音识别（ASR）模型，能够以出色的准确性转录英语口语。Parakeet ASR 模型与 Suno.ai 合作开发，是语音识别领域的一大...
-
SparseOcc：全稀疏3D全景占用预测（语义+实例双任务）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文：Fully Sparse 3D Panoptic Occupancy Prediction 链接：https://arxiv.org/pdf/2312.17118.pdf 这篇论文的出发点是什么...
-
AIGC 综述 2023：A History of Generative AI from GAN to ChatGPT
GAI：发展历史，核心技术，应用领域以及未来发展 摘要 1、引言 1.1、主要贡献 1.2、组织结构 2、生成式AI的发展历史 2.1、NLP领域的发展 2.2、CV领域的发展 2.3、CV与NLP的融合 3、AIGC的核心技术基础...
-
AI人工智能大模型讲师叶梓《基于人工智能的内容生成（AIGC）理论与实践》培训提纲
【课程简介】 本课程介绍了chatGPT相关模型的具体案例实践，通过实操更好的掌握chatGPT的概念与应用场景，可以作为chatGPT领域学习者的入门到进阶级课程。 【课程时长】 1天（6小时/天） 【课程对象】 理工科本...
-
AI绘画中UNet用于预测噪声
介绍 在AI绘画领域中，UNet是一种常见的神经网络架构，广泛用于图像相关的任务，尤其是在图像分割领域中表现突出。UNet最初是为了解决医学图像分割问题而设计的，但其应用已经扩展到了多种图像处理任务。 特点 对称结构：UNet的结构呈现为“U...
-
深入浅出讲解Stable Diffusion原理，新手也能看明白
说明 最近一段时间对多模态很感兴趣，尤其是Stable Diffusion，安装了环境，圆了自己艺术家的梦想。看了这方面的一些论文，也给人讲过一些这方面的原理，写了一些文章，具体可以参考我的文章： 北方的郎：图文匹配：Clip模型介绍 北方的郎：VQ...
-
Meta最新模型LLaMA详解（含部署+论文）
来源：投稿 作者：毛华庆 编辑：学姐 前言 本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。 文章标题：LLaMA: Open and Efficient Foundation Language Mode...
-
Make-A-Video（造啊视频）——无需文字-视频数据的文字转视频（文生视频）生成方法
© 2022 Uriel Singer et al (Meta AI © 2023 Conmajia 本文基于论文 Make-A-Video: Text-to-Video Generation without Text-Video Data（220...
-
Llama~transformers搭建
本例从零开始基于transformers库逐模块搭建和解读Llama模型源码(中文可以翻译成羊驼 。 并且训练它来实现一个有趣的实例：两数之和。 输入输出类似如下： 输入："12345+54321=" 输出："66666" 我们把这个任务当做一个...
-
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion 0. 前言 1. Amazon SageMaker 与机器学习 1.1 机器学习流程 1.2 Amazon SageMaker 简介 1.3 Amaz...
-
Stable Diffusion - 图像反推 (Interrogate) 提示词算法 (BLIP 和 DeepBooru)
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/131817599 图像反推 (Interrogate 功能，是指...
-
卧剿，6万字！30个方向130篇！CVPR 2023 最全 AIGC 论文！一口气读完。
一杯奶茶，成为 AIGC+CV 视觉前沿弄潮儿！ 25个方向！CVPR 2022 GAN论文汇总 35个方向！ICCV 2021 最全GAN论文汇总 超110篇！CVPR 2021 最全GAN论文梳理 超100篇！CVPR 2020...
-
stable diffusion模型讲解
AI模型最新展现出的图像生成能力远远超出人们的预期，直接根据文字描述就能创造出具有惊人视觉效果的图像，其背后的运行机制显得十分神秘与神奇，但确实影响了人类创造艺术的方式。 AI模型最新展现出的图像生成能力远远超出人们的预期，直接根据文字描述就能创造出具有...
-
首创pix2emb范式！NUS清华联合发布NExT-Chat：对话/检测/分割全能多模态大模型
随着ChatGPT的爆红，多模态领域也涌现出一大批可以处理多种模态输入的对话模型，如LLaVA, BLIP-2等等。 为了进一步扩展多模态大模型的区域理解能力，近期新加坡国立大学NExT++实验室和清华大学的研究人员联手打造了一个可以同时进行对话和检测、...
-
超逼真！实时高质量渲染，用于动态城市场景建模的Street Gaussians
本文经自动驾驶之心公众号授权转载，转载请联系出处。 不得不说，技术更新太快了，Nerf在学术界慢慢被替换下去了。Gaussians登场了，浙江大学的工作 论文：Street Gaussians for Modeling Dynamic Urban Sc...
-
只需1080ti，即可在遥感图像中对目标进行像素级定位！代码数据集已开源！
太长不看版 这篇论文介绍了一项新的任务 —— 指向性遥感图像分割（RRSIS），以及一种新的方法 —— 旋转多尺度交互网络（RMSIN）。RRSIS 旨在根据文本描述实现遥感图像中目标对象的像素级定位。为了解决现有数据集规模和范围的限制，本文构建了一个新...
-
模型A：幸亏有你，我才不得0分，模型B：俺也一样
琳琅满目的乐高积木，通过一块又一块的叠加，可以创造出各种栩栩如生的人物、景观等，不同的乐高作品相互组合，又能为爱好者带来新的创意。 我们把思路打开一点，在大模型（LLM）爆发的当下，我们能不能像拼积木一样，把不同的模型搭建起来，而不会影响原来模型的功能，...