-
【小白】一文读懂AIGC模型之Stable Diffusion模型
目录 模型简介 模型结构 VAE变分编码器 VAE结构 VAE模型训练与损失函数 U-Net结构 CLIP Text Encoder 模型工作流程 参考 模型简介 Stable Diffusion(SD)模型是一种基于...
-
AIGC学习笔记——DALL-E2详解+测试
它主要包括三个部分:CLIP,先验模块prior和img decoder。其中CLIP又包含text encoder和img encoder。(在看DALL·E2之前强烈建议先搞懂CLIP模型的训练和运作机制,之前发过CLIP博客) 论文地址:https...
-
Transformer引领AI百花齐放:从算法创新到产业应用,一文读懂人工智能的未来
一、引言 近年来,人工智能技术取得了举世瞩目的成果,其中,自然语言处理(NLP)和计算机视觉等领域的研究尤为突出。在这些领域,一种名为Transformer的模型逐渐成为研究热点,以其为核心的创新成果层出不穷。本文将从Transformer的原理、应用和...
-
全网最全Stable Diffusion原理说明!!简单明了 容易理解!!!
手把手教你入门绘图超强的AI绘画程序Stable Diffusion,用户只需要输入一段图片的文字描述,即可生成精美的绘画。下面是Stable Diffusion注册和使用的方法。给大家带来了全新Stable Diffusion保姆级教程资料包(文末可获取...
-
Stable Diffusion之核心基础知识和网络结构解析
Stable Diffusion核心基础知识和网络结构解析 一. Stable Diffusion核心基础知识 1.1 Stable Diffusion模型工作流程 1. 文生图(txt2img 2. 图生图 3. 图像优化模块 1.2...
-
DriveCoT:全面的开环端到端驾驶数据集和Benchmark
本文经自动驾驶之心公众号授权转载,转载请联系出处。 近年来,端到端自动驾驶技术取得了显著进展,表现出系统简单性和在开环和闭环设置下竞争性驾驶性能的优势。然而,端到端驾驶系统在驾驶决策方面缺乏可解释性和可控性,这阻碍了其在真实世界中的部署。本文利用CAR...
-
DBRX抢占开源大模型王座 编程、数学等领域超越GPT-3.5
最新开源大语言模型DBRX以其惊人的1320亿参数量成为业界新宠。该模型不仅在语言理解、编程和数学等方面超越了业内领先的开源模型,还在效率上有所突破。DBRX的基础和微调版本均已发布,为研究和商业应用提供了丰富的资源。 GitHub 链接:https:/...
-
TOXCL:用于检测和解释隐性有毒言论的统一AI框架
社交媒体上的毒性言论可能会像野火般蔓延,特别是针对个人和边缘化群体。明显的仇恨言论相对容易被发现,但隐含毒性——依赖于刻板印象和编码语言而不是明显的侮辱——提出了更为棘手的挑战。如何训练人工智能系统不仅能够检测到这种隐晦的毒性,还能解释为何它是有害的呢?...
-
Video-LLaMa:利用多模态增强对视频内容理解
在数字时代,视频已经成为一种主要的内容形式。但是理解和解释视频内容是一项复杂的任务,不仅需要视觉和听觉信号的整合,还需要处理上下文的时间序列的能力。本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的...
-
Stability AI开源3B代码生成模型:可补全,还能Debug
本周一,Stability AI 开源了小体量预训练模型 Stable Code Instruct 3B。 Stable Code Instruct 3B 是一个基于 Stable Code 3B 的指令调整编码语言模型(Code LM)。给出自然语言...
-
SDXS官网体验入口 AI快速生成高质量图像模型怎么使用
SDXS是一种新的扩散模型,通过模型微型化和减少采样步骤,大幅降低了模型延迟。它利用知识蒸馏来简化U-Net和图像解码器架构,并引入了一种创新的单步DM训练技术,使用特征匹配和分数蒸馆。SDXS-512 和 SDXS-1024 模型可在单个 GPU 上分别...
-
SORA 2.1 ——Stable diffusion技术解析+基于diffusion的视频生成技术介绍
本文是DataWhale开源项目Sora原理与技术实战的第二次打卡任务的第一节,主要是简单试用Stable diffusion技术在魔塔社区进行文生图实践。同一打卡任务的其他小节请参见个人主页。 目录 一.【AIGC简介——以文生图为例】 1.基于生...
-
AIGC实战——Transformer模型
AIGC实战——Transformer模型 0. 前言 1. T5 2. GPT-3 和 GPT-4 3. ChatGPT 小结 系列链接 0. 前言 我们在 GPT (Generative Pre-trained Transfo...
-
3140参数Grok-1推理加速3.8倍,PyTorch+HuggingFace版来了
马斯克说到做到开源Grok-1,开源社区一片狂喜。 但基于Grok-1做改动or商用,都还有点难题: Grok-1使用Rust+JAX构建,对于习惯Python+PyTorch+HuggingFace等主流软件生态的用户上手门槛高。 △图注:Grok登...
-
【八股】2024春招八股复习笔记1(搜索推荐、AIGC)
【八股】2024春招八股复习笔记1(搜索推荐、AIGC) 文章目录 1、推荐系统 1.1 推荐系统流程 1.2 协同过滤 、 矩阵分解 1.3 逻辑回归 2、算法常识(应用算法) 2.1 重点复习 xgboost 2.2 大模型 t...
-
UniPAD:一种通用的自动驾驶预训练模式
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 UniPAD研究了一个关键问题:如何有效地利用大量未标记的3D点云数据进行自监督学习,以增强其在3D目标检测和语义分割等下游任务中的应用效率。这个问题之所以重要,是...
-
Nature重磅:AI击败最先进全球洪水预警系统,提前7天预测河流洪水,每年挽救数千人生命
洪水是最常见的自然灾害类型,全球有近 15 亿人(约占世界人口的 19%)直接面临严重洪水事件的巨大风险。洪水还造成巨大的物质损失,每年造成全球经济损失约 500 亿美元。 近年来,人类造成的气候变化进一步增加了一些地区的洪水频率。然而,目前的预报方法主...
-
微软NaturalSpeech语音合成推出第三代,网友惊呼:超自然!实至名归
文本到语音合成(Text to Speech,TTS)作为生成式人工智能(Generative AI 或 AIGC)的重要课题,在近年来取得了飞速发展。在大模型(LLM)时代下,语音合成技术能够扩展大模型的语音交互能力,更是受到了广泛的关注。 多年来,微...
-
深度估计SOTA!自动驾驶单目与环视深度的自适应融合
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&个人理解 多视图深度估计在各种基准测试中都取得了较高性能。然而,目前几乎所有的多视图系统都依赖于给定的理想相机姿态,而这在许多现实世界的场景中是不可用的,例如自动驾驶。本工作提出了一...
-
CMU朱俊彦、Adobe新作:512x512图像推理,A100只用0.11秒
简笔素描一键变身多风格画作,还能添加额外的描述,这在 CMU、Adobe 联合推出的一项研究中实现了。 作者之一为 CMU 助理教授朱俊彦,其团队在 ICCV 2021 会议上发表过一项类似的研究:仅仅使用一个或数个手绘草图,即可以自定义一个现成的 GA...
-
chatGPT的耳朵!OpenAI的开源语音识别AI:Whisper !
语音识别是通用人工智能的重要一环!可以说是AI的耳朵! 它可以让机器理解人类的语音,并将其转换为文本或其他形式的输出。 语音识别的应用场景非常广泛,比如智能助理、语音搜索、语音翻译、语音输入等等。 然而,语音识别也面临着很多挑战,比如不同的语言、口音...
-
【AI绘画】2024最新Stable Diffusion 超详细讲解!!必收藏!!!!
手把手教你入门绘图超强的AI绘画,用户只需要输入一段图片的文字描述,即可生成精美的绘画。给大家带来了全新保姆级教程资料包 (文末可获取) Stable Diffusion 超详细讲解 这篇文章是 《Stable Diffusion原理详解》的后续,在...
-
小红书多模态团队建立新「扩散模型」:解码脑电波,高清还原人眼所见
近些年,研究人员们对探索大脑如何解读视觉信息,并试图还原出原始图像一直孜孜不倦。去年一篇被 CVPR 录用的论文,通过扩散模型重建视觉影像,给出了非常炸裂的效果—— AI 不光通过脑电波知道你看到了什么,并且帮你画了出来。 第一行:人眼所见画面,第二...
-
全球首个基于大语言模型的自动驾驶语言控制模型
Arxiv论文链接:https://arxiv.org/abs/2312.03543项目主页:https://github.com/Petrichor625/Talk2car_CAVG 近年来,工业界和学术界都争先恐后地研发全自动驾驶汽车(AVs)。尽...
-
优于所有方法!HIMap:端到端矢量化HD地图构建
本文经自动驾驶之心公众号授权转载,转载请联系出处。 矢量化高清(HD)地图构建需要预测地图元素的类别和点坐标(例如道路边界、车道分隔带、人行横道等)。现有技术的方法主要基于点级表示学习,用于回归精确的点坐标。然而,这种pipeline在获得elemen...
-
DECO: 纯卷积Query-Based检测器超越DETR!
本文经自动驾驶之心公众号授权转载,转载请联系出处。 标题:DECO: Query-Based End-to-End Object Detection with ConvNets 论文:https://arxiv.org/pdf/2312.13735...
-
什么情况用Bert模型,什么情况用LLaMA、ChatGLM类大模型,咋选?
选择使用哪种大模型,如Bert、LLaMA或ChatGLM,取决于具体的应用场景和需求。下面是一些指导原则: Bert模型:Bert是一种预训练的语言模型,适用于各种自然语言处理任务,如文本分类、命名实体识别、语义相似度计算等。如果你的任务是通用的文...
-
超详细!AIGC面试系列 大模型基础(1)
关于我 从2022年末开始接触AIGC,便一直紧跟最近技术与实践落地。期间参与copilot项目研发,落地了多个垂类AIGC大模型应用,熟悉各种AIGC相关技术如Agent,Langchain,chatdoc,向量数据库等。 关于本系列 请你认真看完...
-
语音转字幕:Whisper模型的功能和使用
🍁 作者:知识浅谈,CSDN签约讲师,CSDN博客专家,华为云云享专家,阿里云专家博主 📌 擅长领域:全栈工程师、爬虫、ACM算法 💒 公众号:知识浅谈 🤞语音转字幕:Whisper模型的功能和使用🤞 使用到的工具和模型: 公众号 知识浅谈 回复 w...
-
仅需200M参数,零样本性能超越有监督!谷歌发布时序预测基础模型TimesFM
时间序列预测在零售、金融、制造业、医疗保健和自然科学等各个领域无处不在:比如说在零售场景下中,「提高需求预测准确性」可以有显著降低库存成本并增加收入。 深度学习(DL)模型基本上垄断了「多变量时间序列预测」任务,在各个竞赛、现实应用中的表现都非常好。 与...
-
苹果大模型MM1杀入场:300亿参数、多模态、MoE架构,超半数作者是华人
今年以来,苹果显然已经加大了对生成式人工智能(GenAI)的重视和投入。此前在 2024 苹果股东大会上,苹果 CEO 蒂姆・库克表示,今年将在 GenAI 领域实现重大进展。此外,苹果宣布放弃 10 年之久的造车项目之后,一部分造车团队成员也开始转向...
-
【深度学习】风格迁移,转换,Stable Diffusion,FreeStyle : Free Lunch for Text-guided Style Transfer using Diffusion
论文:https://arxiv.org/abs/2401.15636 代码:https://github.com/FreeStyleFreeLunch/FreeStyle 介绍 生成扩散模型的快速发展极大地推进了风格迁移领域的发展。然而,大多数当...
-
文生图的最新进展:从一致性模型CMs、LCM、SDXL到Stable Diffusion3、SDXL-Lightning
前言 很明显,OpenAI的首个视频生成模型sora极大程度的提高了大家对文生图、文生视频的热情,也极大的扩展了大家对AIGC的想象力 第一部分(选读 一致性模型Consistency Model 注,本文第一部分最早写在23年11月份的这篇文...
-
OpenAI官宣开源Transformer Debugger!不用写代码,人人可以破解LLM黑箱
AGI真的越来越近了! 为了确保人类不被AI杀死,在解密神经网络/Transfomer黑箱这一方面,OpenAI从未停下脚步。 去年5月,OpenAI团队发布了一个令人震惊的发现:GPT-4竟可以解释GPT-2的三十万神经元! 网友纷纷惊呼,智慧原来是这...
-
AI绘画中VAE压缩图像
介绍 在Stable Diffusion中,所有的去噪和加噪过程并非在图像空间直接进行,而是通过VAE模块将图像编码到一个低维空间。 这个低维空间的“分辨率”低于原始图像空间,有利于快速地完成加噪和去噪过程。 最后再将编码空间中的噪声表示解码恢复为...
-
Stable Diffusion中的Clip模型
基础介绍 Stable Diffusion 是一个文本到图像的生成模型,它能够根据用户输入的文本提示(prompt)生成相应的图像。在这个模型中,CLIP(Contrastive Language-Image Pre-training)模型扮演了一个关键...
-
不依赖token,字节级模型来了!直接处理二进制数据
最新GPT,不预测token了。 微软亚研院等发布bGPT,仍旧基于Transformer,但是模型预测的是下一个字节(byte)。 通过直接处理原生二进制数据,bGPT将所有输入内容都视为字节序列,从而可以不受限于任何特定的格式或任务。 能预测CPU...
-
不依赖Token,字节级模型来了!直接处理二进制数据
最新GPT,不预测token了。 微软亚研院等发布bGPT,仍旧基于Transformer,但是模型预测的是下一个字节(byte)。 通过直接处理原生二进制数据,bGPT将所有输入内容都视为字节序列,从而可以不受限于任何特定的格式或任务。 能预测CPU...
-
stable diffusion 原理是什么?
“ 这篇文章主要介绍了Stable Diffusion,这是一种用于AI绘画的算法,它是由CompVis和Runway团队在2021年12月提出的“潜在扩散模型”(LDM/Latent Diffusion Model)的变体,基于201...
-
ADMap:抗干扰在线高精地图新思路
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 大家好,很开心能够受邀来到自动驾驶之心分享我们的在线重建矢量化高精度地图的抗扰动方法ADMap。我们的代码已经发布在https://github.com/hht199...
-
论文精读--DALL·E 2
使用CLIP训练好的特征做层级式的依托于文本的图像生成,层级式是指生成小分辨率图片后不断用模型上采样得到高清大图 CLIP将输入的文本变成一个文本特征,然后DALLE2训练一个prior模型,输入是文本特征输出是图像特征,最后把图像特征喂给解码器得到图片...
-
Stable Diffusion原理解析-inpaint修复图片
文章目录 一、背景知识 (一)inpaint概念 (二)图生图(img2img)任务 二、Stable Diffusion中inpaint的两种实现形式 (一)开源的inpaint模型:这种方式必须基于一个已经训练好的unet模型 (二)...
-
DUSt3R官网体验入口 3D重建工具AI应用免费使用下载地址
DUSt3R是一种新颖的密集和无约束立体3D重建方法,适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息,通过将成对重建问题视为点图的回归,放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法,并在多图像情况下提出了一种...
-
谷歌发布最新「读屏」AI!PaLM 2-S自动生成数据,多项理解任务刷新SOTA
【新智元导读】谷歌在语言和声控计算机界面的漫长道路上又迈出了重要一步。最新ScreenAI视觉语言模型,能够完成各种屏幕QA问答、总结摘要等任务。 每个人想要的大模型,是真·智能的那种...... 这不,谷歌团队就做出来了一个强大的「读屏」AI。 研究人员...
-
解剖Sora:37页论文逆向工程推测技术细节,微软参与,华人团队出品
Sora刚发布不久,就被逆向工程“解剖”了?! 来自理海大学、微软研究院的华人团队发布了首个Sora相关研究综述,足足有37页。 他们基于Sora公开技术报告和逆向工程,对模型背景、相关技术、应用、现存挑战以及文本到视频AI模型未来发展方向进行了全面分析...
-
两张图2秒钟3D重建!这款AI工具火爆GitHub,网友:忘掉Sora
只需2张图片,无需测量任何额外数据—— 当当,一个完整的3D小熊就有了: 这个名为DUSt3R的新工具,火得一塌糊涂,才上线没多久就登上GitHub热榜第二。 有网友实测,拍两张照片,真的就重建出了他家的厨房,整个过程耗时不到2秒钟! (除了3D图,...
-
ControlNet作者又出新作:百万数据训练,AI图像生成迎来图层设计
尽管用于生成图像的大模型已经成为计算机视觉和图形学的基础,但令人惊讶的是,分层内容生成或透明图像(是指图像的某些部分是透明的,允许背景或者其他图层的图像通过这些透明部分显示出来)生成领域获得的关注极少。这与市场的实际需求形成了鲜明对比。大多数视觉内容编辑...
-
简单聊聊AI绘画中的SD(Stable Diffusion)是什么
聊到AI绘画,基本上就会聊到SD这个概念,毕竟作为开源可以本地部署的AI绘画软件,SD可能是目前的唯一选择,不管是webUI或者ComfyUI,还有国内的很多套壳绘画AI,都是sd作为基础进行二次优化的。那么SD到底是个啥,这篇文章就结合我个人的理解简单跟...
-
Stable diffusion webui部署及简单使用
文章目录 前言 一、Stable Diffusion WebUI部署 1.Stable diffusion 2.Linux 上的自动安装步骤如下: 1.安装依赖项: 2.切换到想要安装 WebUI 的目录并执行以下命令: 3.运行 webu...
-
万字长文!AIGC 时代数字图像水印的进展与实践 | 新程序员
【导读】数字水印是信息安全领域的新技术,用于保护数据的保密性和完整性。传统方法基于信号处理、信息论和密码学原理,分为空域和变换域方法。本文介绍了数字图像水印的发展与实践,包括定义和追求、传统数字水印方法、深度学习水印方法以及生成图像水印方法。文章还讨论了水...