-
【AI原理解析】— Meta Llama-3模型
目录 一、模型架构 Transformer架构 解码器(Decoder-only)设计 Group Query Attention (GQA 技术 二、参数与训练 参数规模 训练数据集 训练过程 三、技术特点 四、性能提升 推理能力...
-
Whisper-AT:抗噪语音识别模型(Whisper)实现通用音频事件标记(Audio Tagger)
本文介绍一个统一音频标记(Audio Tagger)和语音识别(ASR)的模型:Whisper-AT,通过冻结Whisper的主干,并在其之上训练一个轻量级的音频标记模型。Whisper-AT在额外计算成本不到1%的情况下,可以在单次前向传递...
-
大规模语言模型从理论到实践 LLaMA的模型结构
1.背景介绍 随着人工智能技术的不断发展,大规模语言模型(Large Language Models, LLMs)已经成为自然语言处理领域的热点。这些模型通过在大规模数据集上进行训练,能够生成连贯、相关且有趣的文本输出。LLaMA 是 Meta AI 开...
-
Llama网络结构介绍
LLaMA现在已经是开源社区里炙手可热的模型了,但是原文中仅仅介绍了其和标准Transformer的差别,并没有一个全局的模型介绍。因此打算写篇文章,争取让读者不参考任何其他资料把LLaMA的模型搞懂。 结构 如图所示为LLaMA的示意图,由Atte...
-
每日AIGC最新进展(23):魁北克人工智能研究所提出扩展注意力机制视频编辑、浙江大学提出video-to-Audio生成算法Frieren、清华大学提出扩散模型参数高效迁移学习Diff-Tuning
Diffusion Models专栏文章汇总:入门与实战 Temporally Consistent Object Editing in Videos using Extended Attention 本文提出了一种用于视频编辑的新方法,旨在通过...
-
阅读笔记——生成式人工智能AIGC的逻辑与应用读后感
阅读笔记——生成式人工智能AIGC的逻辑与应用读后感 我们不会被人工智能所取代,但极大可能会被善于使用人工智能的人所取代 时至今日,我都忘了我是怎么与这本书结缘的了。 是见猎心喜吧,当时看出版日期挺新的 大约是23年12月的时候,我...
-
Llama 3 模型上下文长度扩展至1048K
AI苏妲己: Gradient AI 近日宣布,通过其创新的渐进式训练方法,成功将 Llama 3 系列模型的上下文长度扩展至超过100万令牌。 Llama 3 模型最初设计用于处理8000个令牌的上下文长度,这大约相当于6000字或10页文档。为了适...
-
大模型算法(一):从Transformer到ViT再到LLaMA
单任务/单领域模型 深度学习最早的研究集中在针对单个领域或者单个任务设计相应的模型。 对于CV计算机视觉领域,最常用的模型是CNN卷积模型。其中针对计算机视觉中的不同具体任务例如分类任务,目标检测任务,图像分割任务,以CNN作为骨干backbone,加...
-
Stable diffusion文生图大模型——隐扩散模型原理解析
1、前言 本篇文章,我们将讲这些年非常流行的文生图大模型——Stable Diffusion。该模型也不难,甚至说很简单。创新点也相对较少,如果你学会了我以前的文章讲过的模型,学习这个也自然水到渠成! 参考论文:High-Resolution Ima...
-
文心一言 vs GPT-4 -- 全面横向比较
文心一言和GPT-4都是当前非常先进的自然语言处理模型,它们在语言理解、生成和翻译等方面都展现出了出色的能力。以下是对这两个模型的全面横向比较: 核心技术基础: 文心一言:是基于BERT(Bidirectional Encoder Represen...
-
stable diffusion比 transformer 作了哪些改进
Stable Diffusion 是一个基于自注意力机制的生成模型,它的设计受到了 Transformer 模型的启发,但也在很多方面进行了改进。以下是 Stable Diffusion 相较于 Transformer 的一些改进之处: 稳定性提升:...
-
LLaMa系列模型详解(原理介绍、代码解读):LLaMa
LLaMA详解 LLaMA(Large Language Model Meta AI)是由Meta(前身为Facebook)开发的一种大规模语言模型,旨在提高自然语言处理(NLP)任务的性能。LLaMA基于变换器(Transformer)架构,并经过大...
-
开源超闭源!通义千问Qwen2发布即爆火,网友:GPT-4o危
开源大模型全球格局,一夜再变。 这不,全新开源大模型亮相,性能全面超越开源标杆Llama3。王座易主了。不是“媲美”、不是“追上”,是全面超越。发布两小时,直接冲上HggingFace开源大模型榜单第一。 这就是最新一代开源大模型Qwen2,来自通义千问,...
-
使用Python实现深度学习模型:序列到序列模型(Seq2Seq)
本文分享自华为云社区《使用Python实现深度学习模型:序列到序列模型(Seq2Seq)》,作者: Echo_Wish。 序列到序列(Seq2Seq)模型是一种深度学习模型,广泛应用于机器翻译、文本生成和对话系统等自然语言处理任务。它的核心思想是将一个序...
-
斯坦福让“GPU高速运转”的新工具火了,比FlashAttention2更快
AI算力资源越发紧张的当下,斯坦福新研究将GPU运行效率再提升一波—— 内核只有100行代码,让H100比使用FlashAttention-2,性能还要提升30%。 怎么做到的? 研究人员从“硬件实际需要什么?如何满足这些需求?”这两个问题出发,设计了...
-
可灵大模型有哪些功能免费吗?快手视频生成模型怎么使用方法详细教程指南
可灵大模型 是什么? 可灵大模型(Kling)是快手大模型团队自研打造的先进视频生成模型,具备3D时空联合注意力机制,能够生成符合运动规律的视频内容,支持长达 2 分钟的视频生成,帧率达到30fps。它基于自研模型架构和强大的Diffusion Tran...
-
快手发布视频生成大模型「可灵」:已开放邀测 效果对标Sora
近日,快手发布了一款名为「可灵」的视频生成大模型,该模型效果对标了之前发布的 Sora,同时已在快手旗下的快影 App 开放邀测体验。 可灵大模型具有多项优势,包括能够生成大幅度的合理运动、模拟物理世界特性、具备强大的概念组合能力和想象力,以及支持高分辨率...
-
[从0开始AIGC][Transformer相关]:算法的时间和空间复杂度
一、算法的时间和空间复杂度 文章目录 一、算法的时间和空间复杂度 1、时间复杂度 2、空间复杂度 二、Transformer的时间复杂度分析 1、 self-attention 的时间复杂度 2、 多头注意力机制的时间复杂度 三...
-
重磅 Llama-3最强开源大模型惊艳亮相
重磅!Llama-3,最强开源大模型正式发布! 202年4 月 19 日,Meta 发布开源大模型 Llama-3,助力研究人员和开发者推进语言 AI 的界限。 强大的语言模型Llama-3推出,拥有80亿...
-
LLMs之llama3-from-scratch:llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理
LLMs之llama3-from-scratch:llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码 的简介、核心思路梳理 导读:这篇论文实现了transformer网络的llama3模型...
-
改进的检测算法:用于高分辨率光学遥感图像目标检测
本文经计算机视觉研究院公众号授权转载,转载请联系出处。 01 前景概要 目前,难以在检测效率和检测效果之间获得适当的平衡。我们就研究出了一种用于高分辨率光学遥感图像中目标检测的增强YOLOv5算法,利用多层特征金字塔、多检测头策略和混合注意力模块来提高...
-
Mamba-2新架构出世一统江湖!普林斯顿CMU华人再出神作,性能狂飙8倍
年前,Mamba被顶会ICLR拒稿的消息曾引起轩然大波。 甚至有研究人员表示:如果这种工作都被拒了,那我们这些「小丑」要怎么办? 这次,新一代的Mamba-2卷土重来、再战顶会,顺利拿下了ICML 2024! 仍是前作的两位大佬(换了个顺序),仍是熟...
-
理解老司机,超越老司机!LeapAD:具身智能加持下的双过程自驾系统(上海AI Lab等)
本文经自动驾驶之心公众号授权转载,转载请联系出处。 论文信息 论文题目:Continuously Learning, Adapting, and, Improving: A Dual-Process Approach to Autonomous Dr...
-
7B?13B?175B?解读大模型的参数
大模型也是有大有小的,它们的大小靠参数数量来度量。GPT-3就有1750亿个参数,而Grok-1更是不得了,有3140亿个参数。当然,也有像Llama这样身材苗条一点的,参数数量在70亿到700亿之间。 这里说的70B可不是指训练数据的数量,而是指模型中...
-
探索文心一言指令:AI与自然语言处理的新篇章
引言:自然语言处理与文心一言指令的探索 (1)自然语言处理的发展及其重要性 自然语言处理(NLP)是人工智能(AI)的一个关键领域,致力于使机器能够理解、解释和响应人类语言的方式。自从20世纪50年代计算机科学诞生以来,NLP已经从简单的模式识...
-
Sora底层技术原理:Stable Diffusion运行原理
AIGC 热潮正猛烈地席卷开来,可以说 Stable Diffusion 开源发布把 AI 图像生成提高了全新高度,特别是 ControlNet 和 T2I-Adapter 控制模块的提出进一步提高生成可控性,也在逐渐改变一部分行业的生产模式。惊...
-
MonoDETRNext:下一代准确高效的单目3D检测方法!
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 基于单目视觉的3D目标检测在各个领域都至关重要,但现有方法在准确性和计算效率方面面临着重大挑战。在2D检测和深度估计的成功策略的基础上,本文提出了MonoDETRNe...
-
超详细!AIGC面试系列 大模型进阶(2)
本期问题快览 1. 如何让大模型处理更长的文本? 2. 如果想要在某个模型基础上做全参数微调,究竟需要多少显存? 3. 什么是有监督微调SFT 4. SFT 指令微调数据如何构建? 5. 领域数据训练后,通用能力往往会有所下降,如何缓解模型遗忘...
-
马斯克烧60亿美元难题,国内大厂有解?开源MoE模算效率黑马登场,3.7B参数单挑Llama 3-70B
如今,想训个SOTA的大模型,不仅缺数据和算力,甚至连电都不够用了。 最近马斯克就公开表示,因为苦于买不到足够的芯片,xAI只能推迟Gork 2的训练和发布。 Grok 3及更高版本,甚至需要10万个H100,按每台H100售价3万美元来算,仅芯片就要花...
-
自动驾驶系统架构转变思考
本文经自动驾驶之心公众号授权转载,转载请联系出处。 自动驾驶系统架构转变思考 从事辅助驾驶系统架构一段时间后,感觉到了疲惫和无力感,更加深刻的理解到道德经,道生于有,有生于无,有无相生,难易相承,.....是以圣人处无为之事,行不言之教,万物作焉而不辞...
-
传统图像处理岗切换AIGC方向分享
引言 传统图像岗转AIGC,经过半个月学习,了解文生图模型Stable Diffusion SD所依赖的模块及算法流程,了解ControlNet算法流程,成功部署云端WebUI,进行阶段性总结。 了解一个新领域或新技术,首先了解基础概念,才能有效阅...
-
实战whisper语音识别第一天,部署服务器,可远程访问,实时语音转文字(全部代码和详细部署步骤)
Whisper是OpenAI于2022年发布的一个开源深度学习模型,专门用于语音识别任务。它能够将音频转换成文字,支持多种语言的识别,包括但不限于英语、中文、西班牙语等。Whisper模型的特点是它在多种不同的音频条件下(如不同的背景噪声水平、说话者的口音...
-
解读注意力机制原理,教你使用Python实现深度学习模型
本文分享自华为云社区《使用Python实现深度学习模型:注意力机制(Attention)》,作者:Echo_Wish。 在深度学习的世界里,注意力机制(Attention Mechanism)是一种强大的技术,被广泛应用于自然语言处理(NLP)和计算机视...
-
可解释性人工智能:解释复杂的AI/ML模型
译者 | 李睿 审校 | 重楼 人工智能(AI 和机器学习(ML 模型如今变得越来越复杂,这些模型产生的输出是黑盒——无法向利益相关者解释。可解释性人工智能(XAI)旨在通过让利益相关者理解这些模型的工作方式来解决这一问题,确保他们理解这些模型实际上是如...
-
YOLOv10来啦!真正实时端到端目标检测
本文经自动驾驶之心公众号授权转载,转载请联系出处。 过去几年里,YOLOs因在计算成本和检测性能之间实现有效平衡而成为实时目标检测领域的主流范式。研究人员针对YOLOs的结构设计、优化目标、数据增强策略等进行了深入探索,并取得了显著进展。然而,对非极大...
-
一文深度剖析 ColBERT
近年来,向量搜索领域经历了爆炸性增长,尤其是在大型语言模型(LLMs)问世后。学术界开始重点关注如何通过扩展训练数据、采用先进的训练方法和新的架构等方法来增强 embedding 向量模型。 在之前的文章中,我们已经深入探讨了各种类型的 embeddin...
-
DiffMap:首个利用LDM来增强高精地图构建的网络
本文经自动驾驶之心公众号授权转载,转载请联系出处。 论文标题: DiffMap: Enhancing Map Segmentation with Map Prior Using Diffusion Model 论文作者: Peijin Jia, Tuo...
-
手撕Llama3第1层: 从零开始实现llama3
一、Llama3的架构在本系列文章中,我们从头开始实现llama3。 Llama3的整体架构: 图片 Llama3的模型参数: 让我们来看看这些参数在LlaMa 3模型中的实际数值。 图片 [1] 上下文窗口(context-window)在实例化Lla...
-
Llama大型语言模型原理详解
Llama大型语言模型是一种基于深度学习的自然语言处理模型,它在文本生成、问答、摘要等多种NLP任务中展现出强大的性能。本文将详细解析Llama模型的原理,包括其结构、训练过程以及工作机制,帮助读者深入理解这一先进的模型。 一、模型结构 Llama模型...
-
阿里开源截止目前为止参数规模最大的Qwen1.5-110B模型:MMLU评测接近Llama-3-70B,略超Mixtral-8×22B!
本文原文来自DataLearnerAI官方网站:阿里开源截止目前为止参数规模最大的Qwen1.5-110B模型:MMLU评测接近Llama-3-70B,略超Mixtral-8×22B! | 数据学习者官方网站(Datalearner https://www...
-
知识分享系列五:大模型与AIGC
大模型(LLM,Large Language Mode)是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的深度学习模型。大模型主要用于进行自然语言相关任务,给模型一些文本输入,它能返回相应的输出,完成的具体任务包括生成、分类、总结、改写...
-
「AIGC」AIGC技术入门
人工智能(AI)领域的多个重要概念和实践。 一、思考问题 什么是AI? 什么是AIGC? 什么是AGI? 什么是模型? 什么是大模型(LLM ,什么是小模型? 什么是提示词工程?如何写提示词 什么是神经网络? 召回率是什么含义?...
-
LLaMA-Factory参数的解答(命令,单卡,预训练)
前面这个写过,但觉得写的不是很好,这次是参考命令运行脚本,讲解各个参数含义。后续尽可能会更新,可以关注一下专栏!! *这是个人写的参数解读,我并非该领域的人如果那个大佬看到有参数解读不对或者有补充的请请反馈!谢谢(后续该文章可能会持续更新) * LLaMA...
-
PVTransformer: 可扩展3D检测的点到体素Transformer
本文经自动驾驶之心公众号授权转载,转载请联系出处。 原标题:PVTransformer: Point-to-Voxel Transformer for Scalable 3D Object Detection 论文链接:https://arxiv.org...
-
探索Llama 3模型在地理行业的应用
Llama 3模型简介 Llama 3模型是基于最新的神经网络架构设计而成,它融合了Transformer和图像注意力机制,能够同时处理自然语言和图像输入,实现跨模态信息的融合和理解。这使得Llama 3模型在地理信息处理和分析方面有着独特的优势...
-
CVPR 2024|多模态场景感知,小红书高保真人体运动预测方法来了!
设想一下,你在家中准备起身,前往橱柜取东西。一个集成 SIF3D 技术的智能家居系统,已经预测出你的行动路线(路线通畅,避开桌椅障碍物)。当你接近橱柜时,系统已经理解了你的意图,柜门在你达到之前就已自动打开,无需手动操作。 视频中,左边为 3D 场景...
-
250行代码从头搭建Llama 3,GitHub一天4.6k星!Karpathy大赞
Llama系列作为为数不多的优质开源LLM,一直受到开发者们的追捧。在Hugging Face社区的文本生成模型中,几乎是「霸榜」的存在。 就在520这天,一位名叫Nishant Aklecha的开发者在推特上宣布了自己的一个开源项目,名为「从头开始实...
-
Paper Digest | 基于原型学习的实体图谱预训练跨域推荐框架
可以看到,通过映射得到对应item相关的entity后,基于图谱推理流程,我们可以得到许多和映射得到的entity相关的高阶信息,如苹果这个公司有手机产品,而手机这类产品相关的公司有三星等,从而可以潜在的拉近和其他相关实体(如三星生产的手机等)间的关系。...
-
超越BEVFusion!DifFUSER:扩散模型杀入自动驾驶多任务(BEV分割+检测双SOTA)
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 目前,随着自动驾驶技术的越发成熟以及自动驾驶感知任务需求的日益增多,工业界和学术界非常希望一个理想的感知算法模型,可以同时完成如3D目标检测以及基于BEV空间的语义分...
-
如何利用Transformer有效关联激光雷达-毫米波雷达-视觉特征?
本文经自动驾驶之心公众号授权转载,转载请联系出处。 笔者个人理解 自动驾驶的基础任务之一是三维目标检测,而现在许多方法都是基于多传感器融合的方法实现的。那为什么要进行多传感器融合?无论是激光雷达和相机融合,又或者是毫米波雷达和相机融合,其最主要的目的就是...