-
LLMs之llama3-from-scratch:llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理
LLMs之llama3-from-scratch:llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码 的简介、核心思路梳理 导读:这篇论文实现了transformer网络的llama3模型...
-
儿童节变身小小音乐家,用ModelArts制作一张AIGC音乐专辑
本文分享自华为云社区《儿童节变身小小音乐家,用ModelArts制作一张AIGC音乐专辑》,作者: 华为云社区精选。 儿童节,如何给小朋友准备一份特别的礼物? 这份AIGC音乐专辑制作攻略一定要收下 一段文字灵感就能编织出一曲悠扬悦耳的旋律 童话、...
-
AI预测极端天气提速5000倍!微软发布Aurora,借AI之眼预测全球风暴
自人类有历史以来,就一直执着于预测天气,以各种方式破解「天空之语」,我们慢慢发现,草木、云层似乎都与天气有关,这不仅仅是因为人类从事生产的需要,也是人类想要对着大风歌唱、在月光下吟诗的需要。 《冰与火之歌》中的风雨歌师,就是通过歌声和吟唱来预测天气和风暴...
-
LeCun新作:分层世界模型,数据驱动的人型机器人控制
有了大模型作为智能上的加持,人型机器人已然成为新的风口。 科幻电影中「安能辨我不是人」的机器人似乎已经越来越近了。 不过,要想像人类一样思考和行动,对于机器人,特别是人型机器人来说,仍是个艰巨的工程问题。 就拿简单的学走路来说,利用强化学习来训练可能会演...
-
具身智能的视觉-语言-动作模型:综述
本文经自动驾驶之心公众号授权转载,转载请联系出处。 24年5月论文“A Survey on Vision-Language-Action Models for Embodied AI”。 深度学习已在计算机视觉、自然语言处理和强化学习等许多领域取得了显著...
-
【AI绘画】Stable Diffusion魔法修习—“画风“自由切换(stable diffusion模型下载与使用技巧)
stable diffusion模型文件指AI学习了大量指定风格图片后,存储了这些学习信息的文件,可以用来绘制特定风格的图片。 大模型chickpoint(检查点 :可以理解为保存指定节点的模型文件。训练模型特别耗算力,保存到指定节点之后,可以方便下次继...
-
AIGC-音频生产十大主流模型技术原理及优缺点
音频生成(Audio Generation 指的是利用机器学习和人工智能技术,从文本、语音或其他源自动生成音频的过程。 音频生成行业是AIGC技术主要渗透的领域之一。AI音频生成行业是指利用人工智能技术和算法来生成音频内容的领域。按照输入...
-
多模态大模型不够灵活,谷歌DeepMind创新架构Zipper:分开训练再「压缩」
最近的一系列研究表明,纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征,从而成功地生成多种模态(如音频、图像或状态 - 动作序列)的新序列,从文本、蛋白质、音频到图像,甚至是状态序列。 能够同时生成多种模态输出的多模态模型一般是通过某...
-
【独家】万字长文带你梳理Llama开源家族:从Llama-1到Llama-3
Datawhale干货 作者:张帆,陈安东,Datawhale成员 引言 在AI领域,大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月19日凌晨,Meta在官网上官宣了Llama-3,作为继Llama-1、Llama-...
-
详解AI作画算法原理
引言 (1)背景介绍 AI作画,即利用人工智能技术进行艺术创作,近年来引起了广泛关注。随着计算机科学的发展,特别是深度学习和生成对抗网络(GAN)等技术的进步,AI作画从一个新颖的概念逐步走向实用化。AI作画的兴起可以追溯到早期的计算机艺术实验,如...
-
AI作画算法原理
1.概述 AI作画算法的原理相当复杂,涉及多个领域的知识,包括计算机视觉、机器学习和神经网络等。我们从以下几个方面来描述AI作画算法的基本原理。 2. 数据准备 在数据准备方面,AI作画算法通常需要大量的图像数据作为训练样本。可以是各种各样的艺术...
-
Sora底层技术原理:Stable Diffusion运行原理
AIGC 热潮正猛烈地席卷开来,可以说 Stable Diffusion 开源发布把 AI 图像生成提高了全新高度,特别是 ControlNet 和 T2I-Adapter 控制模块的提出进一步提高生成可控性,也在逐渐改变一部分行业的生产模式。惊...
-
Datawhale |【独家】万字长文带你梳理Llama开源家族:从Llama-1到Llama-3
本文来源公众号“Datawhale”,仅用于学术分享,侵权删,干货满满。 原文链接:【独家】万字长文带你梳理Llama开源家族:从Llama-1到Llama-3 0. 引言 在AI领域,大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月1...
-
Stable Diffusion文生图技术详解:从零基础到掌握CLIP模型、Unet训练和采样器迭代
文章目录 概要 Stable Diffusion 底层结构与原理 文本编码器(Text Encoder) 图片生成器(Image Generator) 那扩散过程发生了什么? stable diffusion 总体架构 主要模块分析 Un...
-
如何将大型语言模型(LLM)转换为嵌入模型
译者 | 李睿 审校 | 重楼 实验证明,LLM2Vec模型在嵌入任务上具有更好的性能,它可以为组织开辟新的场所,并以非常低的成本快速创建专门的嵌入模型。 嵌入模型已经成为大型语言模型(LLM 应用的重要组成部分,可以实现检测文本相似度、信息检索和聚类...
-
通俗易懂的Stable Diffusion模型结构介绍
目录 SD的发展历程 SD 模型的网络结构 ClipText 文本编码器 文本向量输入Unet VAE模型 总结图 SD的发展历程 Stab...
-
高亮反光终结者?谷歌NeRF-Casting:光线追踪就能搞定!
NeRF不再“畏惧”近处高光反射 早期的NeRF变体使用多层感知器(MLPs)从三维坐标映射到体积密度和视点相关的颜色,但是表示详细的三维几何和颜色所需的大型MLPs训练和评估速度极慢。最近的工作专注于通过用类似体素网格的数据结构或网格和小型MLPs的组...
-
DiffMap:首个利用LDM来增强高精地图构建的网络
本文经自动驾驶之心公众号授权转载,转载请联系出处。 论文标题: DiffMap: Enhancing Map Segmentation with Map Prior Using Diffusion Model 论文作者: Peijin Jia, Tuo...
-
AI绘图Stable Diffusion中关键技术:U-Net的应用
你好,我是郭震 引言 在人工智能和深度学习的迅猛发展下,图像生成技术已经取得了令人瞩目的进展。特别是,Stable Diffusion模型以其文本到图像的生成能力吸引了广泛关注。本文将深入探讨Stable Diffusion中一个关键技术——...
-
CVPR 2024 | 图像超分、图像恢复汇总!用AIGC扩散模型diffusion来解决图像low-level任务的思路...
1、Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder 超分辨率(SR)和图像生成是计算...
-
知识分享系列五:大模型与AIGC
大模型(LLM,Large Language Mode)是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的深度学习模型。大模型主要用于进行自然语言相关任务,给模型一些文本输入,它能返回相应的输出,完成的具体任务包括生成、分类、总结、改写...
-
AIGC实战——多模态模型DALL.E 2
AIGC实战——多模态模型DALL.E 2 0. 前言 1. 模型架构 2. 文本编码器 3. CLIP 4. 先验模型 4.1 自回归先验模型 4.2 扩散先验模型...
-
[从0开始AIGC][Transformer相关]:Transformer中的激活函数:Relu、GELU、GLU、Swish
[从0开始AIGC][Transformer相关]:Transformer中的激活函数 文章目录 [从0开始AIGC][Transformer相关]:Transformer中的激活函数 1. FFN 块 计算公式? 2. GeLU 计...
-
CVPR 2024|多模态场景感知,小红书高保真人体运动预测方法来了!
设想一下,你在家中准备起身,前往橱柜取东西。一个集成 SIF3D 技术的智能家居系统,已经预测出你的行动路线(路线通畅,避开桌椅障碍物)。当你接近橱柜时,系统已经理解了你的意图,柜门在你达到之前就已自动打开,无需手动操作。 视频中,左边为 3D 场景...
-
谷歌Gemini 1.5技术报告:轻松证明奥数题,Flash版比GPT-4 Turbo快5倍
今年 2 月,谷歌上线了多模态大模型 Gemini1.5,通过工程和基础设施优化、MoE 架构等策略大幅提升了性能和速度。拥有更长的上下文,更强推理能力,可以更好地处理跨模态内容。 本周五,Google DeepMind 正式发布了 Gemini 1.5...
-
Meta首发「变色龙」挑战GPT-4o,34B参数引领多模态革命!10万亿token训练刷新SOTA
GPT-4o的横空出世,再次创立了一个多模态模型发展的新范式! 为什么这么说? OpenAI将其称为「首个『原生』多模态」模型,意味着GPT-4o与以往所有的模型,都不尽相同。 传统的多模态基础模型,通常为每种模态采用特定的「编码器」或「解码器」,将不...
-
CVPR'24 Oral | 一览纯稀疏点云检测器SAFDNet的前世今生!
写在前面&笔者的个人理解 3D点云物体检测对自动驾驶感知至关重要,如何高效地从稀疏点云数据中学习特征表示是3D点云物体检测面临的一个关键挑战。我们在本文中将会介绍团队发表在NeurIPS 2023的HEDNet和CVPR 2024的SAFDNet...
-
微软让MoE长出多个头,大幅提升专家激活率
混合专家(MoE)是个好方法,支持着现在一些非常优秀的大模型,比如谷歌家的 Gemini 1.5 以及备受关注的 Mixtral 8x7B。 稀疏混合专家(SMoE)可在不显著增加训练和推理成本的前提下提升模型的能力。比如 Mixtral 8×7B 就是...
-
超越ORB-SLAM3!SL-SLAM:低光、严重抖动和弱纹理场景全搞定
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面 今天我们探讨下深度学习技术如何改善在复杂环境中基于视觉的SLAM(同时定位与地图构建)性能。通过将深度特征提取和深度匹配方法相结合,这里介绍了一种多功能的混合视觉SLAM系统,旨在提高在诸如低...
-
从零开始手搓GPU,照着英伟达CUDA来,只用两个星期
「我花两周时间零经验从头开始构建 GPU,这可比想象的要难多了。」 总有人说老黄的芯片供不应求,大家恨不得去手搓 GPU,现在真的有人试了。 近日,美国一家 web3 开发公司的创始工程师之一 Adam Majmudar 分享了他「手搓 GPU」成功...
-
DriveWorld:一个预训练模型大幅提升检测+地图+跟踪+运动预测+Occ多个任务性能
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面 以视觉为中心的自动驾驶技术近期因其较低的成本而引起了广泛关注,而预训练对于提取通用表示至关重要。然而,当前的以视觉为中心的预训练通常依赖于2D或3D预训练任务,忽视了自动驾驶作为4D场景理解...
-
综述170篇「自监督学习」推荐算法,港大发布SSL4Rec:代码、资料库全面开源!
推荐系统对于应对信息过载挑战至关重要,它们根据用户的个人偏好提供定制化推荐。近年来深度学习技术极大地推动了推荐系统的发展,提升了对用户行为和偏好的洞察力。 然而,由于数据稀疏性的问题,传统的监督学习方法在实际应用中面临挑战,这限制了它们有效学习用户表示的...
-
LeCun转发,AI让失语者重新说话!纽约大学发布全新「神经-语音」解码器
脑机接口(BCI)在科研和应用领域的进展在近期屡屡获得广泛的关注,大家通常都对脑机接口的应用前景有着广泛的畅享。 比如,由于神经系统的缺陷造成的失语症不仅严重阻碍患者的日常生活,还可能限制他们的职业发展和社交活动。随着深度学习和脑机接口技术的迅猛发展,...
-
看透物体的3D表示和生成模型:NUS团队提出X-Ray
项目主页:https://tau-yihouxiang.github.io/projects/X-Ray/X-Ray.html 论文地址:https://arxiv.org/abs/2404.14329 代码地址:https://github.com...
-
还在YOLO-World?DetCLIPv3出手!性能大幅度超出一众SOTA!
本文经自动驾驶之心公众号授权转载,转载请联系出处。 现有的开词汇目标检测器通常需要用户预设一组类别,这大大限制了它们的应用场景。在本文中,作者介绍了DetCLIPv3,这是一种高性能检测器,不仅在开词汇目标检测方面表现出色,同时还能为检测到的目标生成...
-
华人持续炸场!8倍于SOTA模型发布,超分辨率细节还原度逆天,终于可以看清楚蜘蛛网丝了!网友:质量真不错!电影时长9秒才够用!
撰稿 | 言征 出品 | 51CTO技术栈(微信号:blog51cto) Sora带火了“视频一致性”的研究,但单纯在时间一致性已经不能满足业内对于高逼真视频的渴望。这不,华人又出来炸场了! 近日,一个名为VideoGigaGAN的视频模型在业界走红。...
-
一文了解大语言模型(LLM)
人工智能的发展给我们的生活带来很多不一样的体验。面部识别可以解锁设备,激光雷达可以实现自动驾驶。当2023年,OpenApi的chatGPT可以“理解”人类的语言并与我们进行沟通时,大语言模型的概念出现在我们面前。 在自然语言处理领域的大语言模型(La...
-
如何利用Transformer有效关联激光雷达-毫米波雷达-视觉特征?
本文经自动驾驶之心公众号授权转载,转载请联系出处。 笔者个人理解 自动驾驶的基础任务之一是三维目标检测,而现在许多方法都是基于多传感器融合的方法实现的。那为什么要进行多传感器融合?无论是激光雷达和相机融合,又或者是毫米波雷达和相机融合,其最主要的目的就是...
-
RAG 2.0架构详解:构建端到端检索增强生成系统
关于检索增强生成(RAG)的文章已经有很多了,如果我们能创建出可训练的检索器,或者说整个RAG可以像微调大型语言模型(LLM)那样定制化的话,那肯定能够获得更好的结果。但是当前RAG的问题在于各个子模块之间并没有完全协调,就像一个缝合怪一样,虽然能够工作...
-
新加坡国立大学 | 通过语言分割任何3D目标
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 本文研究了具有自由形式语言指令的开放词汇3D实例分割(OV-3DIS)。先前的作品只依赖于注释的基本类别进行训练,对看不见的长尾类别的泛化能力有限。最近的工作通过生成类...
-
等等我还没上车!LLM赋能端到端全新范式LeGo-Drive,车速拉满
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者个人理解 这篇论文介绍了一种名为LeGo-Drive的基于视觉语言模型的闭环端到端自动驾驶方法。该方法通过预测目标位置和可微分优化器规划轨迹,实现了从导航指令到目标位置的端到端闭...
-
【探索AI】人人都在讲AIGC,什么是AIGC?
AIGC 概述 示例展示 我们日常用到的一些工具/应用 核心技术介绍 核心技术的算法解析 案例及部分代码实现 1. 艺术作品 2. 设计项目 3. 影视特效 4. 广告创意 总结 一张图先了解下: 概述 "人工智能生成创造...
-
RAG 修炼手册|一文讲透 RAG 背后的技术
在之前的文章中《RAG 修炼手册|RAG敲响丧钟?大模型长上下文是否意味着向量检索不再重要》,我们已经介绍过 RAG 对于解决大模型幻觉问题的不可或缺性,也回顾了如何借助向量数据库提升 RAG 实战效果。 今天我们继续剖析 RAG,将为大家大家详细介绍...
-
五种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现
本文将介绍大语言模型中使用的不同令牌遮蔽技术,并比较它们的优点,以及使用Pytorch实现以了解它们的底层工作原理。 令牌掩码Token Masking是一种广泛应用于语言模型分类变体和生成模型训练的策略。BERT语言模型首先使用,并被用于许多变体(Ro...
-
【stable diffusion扩散模型】一篇文章讲透
目录 一、引言 二、Stable Diffusion的基本原理 1 扩散模型 2 Stable Diffusion模型架构 3 训练过程与算法细节 三、Stable Diffusion的应用领域 1 图像生成与艺术创作 2 图像补全与修复...
-
太全了!多模态深度学习的综述!
1.介绍 我们对世界的体验是多模态的 —— 我们看到物体,听到声音,感觉到质地,闻到气味,尝到味道。模态是指某件事发生或经历的方式,当一个研究问题包含多个模态时,它就具有多模态的特征。为了让人工智能在理解我们周围的世界方面取得进展,它需要能够同时解释这些...
-
AI语音识别工具Universal-1:38秒可以处理60分钟音频 比fast Whisper更快
AssemblyAI 最新研究成果展示了他们的 Universal-1模型在多语言环境中的表现,该模型在准确性和鲁棒性方面均取得了行业领先地位。先说结果,Universal-1比Whisper Large-v3更准确,比fast Whisper更快,38秒...
-
什么是stable diffusion?
🌟 Stable Diffusion:一种深度学习文本到图像生成模型 🌟 Stable Diffusion是2022年发布的深度学习文本到图像生成模型,主要用于根据文本的描述产生详细图像。它还可以应用于其他任务,如内补绘制、外补绘制,以及在提示词指导下产...
-
DALL·E 2(内含扩散模型介绍)【论文精读】Hierarchical Text-ConditionalImage Generation with CLIP Latents
1官方对模型的介绍 大家好,今天我们就一起来看一下两个月之前 OpenAI 刚放出来的一篇力作。DALL·E 2是 OpenAI 一系列文本图像生成工作的最新一篇。去年 1 月份他们先推出了Dolly,然后在年底的时候又推出了glide。...
-
文生图大模型三部曲:DDPM、LDM、SD 详细讲解!
1、引言 跨模态大模型是指能够在不同感官模态(如视觉、语言、音频等 之间进行信息转换的大规模语言模型。当前图文跨模态大模型主要有: 文生图大模型:如 Stable Diffusion系列、DALL-E系列、Imagen等 图文匹配大模型:如CLI...