-
超越BEVFusion!又快又好的极简BEV融合部署方案
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 在算法开发中,激光雷达-相机3D目标检测遇到了过度拟合问题,这是由于违反了一些基本规则。在数据集构建的数据标注方面,本文参考了理论补充,并认为回归任务预测不应涉及来自...
-
AIGC|一文梳理「AI视频生成」技术核心基础知识和模型应用
大家好,我是猫先生,AI技术爱好者与深耕者!! 2022年是AIGC(生成式AI)元年!从这一年开始,可谓是百家争鸣,各种技术层出不穷,再次迸发出AI的活力。从DALL·E 2、Stable Diffusion、Midjourney等文生图应用点燃了大众...
-
LLaMA的解读与其微调:Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙/LLaMA 2
前言 近期,除了研究ChatGPT背后的各种技术细节 不断看论文(至少100篇,100篇目录见此:ChatGPT相关技术必读论文100篇 ,还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节 ...
-
OpenAI Whisper论文笔记
OpenAI Whisper论文笔记 OpenAI 收集了 68 万小时的有标签的语音数据,通过多任务、多语言的方式训练了一个 seq2seq (语音到文本)的 Transformer 模型,自动语音识别(ASR)能力达到商用水准。本文为李沐老师论文精...
-
WAIC2023| AIGC究竟在向善还是向恶而行?
目录 一、常见图像篡改技术 二、传统篡改图像检测方法 2.1、基于光源和噪声的拼接图像篡改检测方法 2.2、基于马尔科夫特征的检测方法 三、基于深度学习的图像篡改检测方法 3.1、基于Fisher编码和SVM模型的方法 3.2、 基于...
-
AI:你总要高清视频,它来了
Magnific 图像超分 & 增强工具还正在火热体验中,它强大的图像升频与再创能力收获一致好评。现在,视频领域也有了自己的 Magnific。 拍摄的街道视频一片模糊,仿佛高度近视没戴眼镜一样: 与之相比,下面的视频清晰度高了很多: 视频画...
-
Transformer的无限之路:位置编码视角下的长度外推综述
在自然语言处理(Natural Language Processing,NLP)领域,Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而,Transformer 及在其基础之上的大语言模型(Large Language Model...
-
ddl是第一生产力有了科学解释,网友:给大模型试试
到年底了,大学生碰上期末周、打工人在赶KPI,没有deadline(ddl)的年底不是真年底…… ddl在我们的日常生活中普遍存在,“ddl是第一生产力”更是人们通过亲身实践得出的“至理名言”。 然鹅,关于ddl行为效应的系统证据却很少见。 不过,运...
-
Stable Diffusion XL(SDXL)核心基础知识
文章目录 一、Stable Diffusion XL基本概念 二、SDXL模型架构上的优化 (一)SDXL的整体架构 (二)VAE (三)U-Net (四)text encoder (五)refiner model 三、SDXL在训练上的技...
-
能找神经网络Bug的可视化工具,Nature子刊收录
研究人员发现,在神经网络推理的某些数据图中存在尖峰,这些尖峰往往出现在神经网络判断模糊与产生错误的地方。观察这些尖峰,研究人员可以更容易发现人工智能系统中的故障点。 从分析癌症突变的原因到决定谁应该获得贷款,在解决这些问题的过程中,仿照人脑的神经网络比人...
-
RoboFusion:通过SAM实现稳健的多模态3D检测
本文经自动驾驶之心公众号授权转载,转载请联系出处。 论文链接:https://arxiv.org/pdf/2401.03907.pdf 多模态3D检测器致力于探索安全可靠的自动驾驶感知系统。然而,尽管在干净的基准数据集上实现了最先进的(SOTA)性能,...
-
五种资源类别,如何提高大语言模型的资源效率,超详细综述来了
近年来,大型语言模型(LLM)如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展。这些模型,具有庞大的参数量(例如 1750 亿个参数),在复杂度和能力上实现了飞跃。随着 LLM 的发展趋势朝着不断增大的模型规模前进,这些模型在从智能聊天机器...
-
TimePillars:提升200米以上小目标的检测能力
本文经自动驾驶之心公众号授权转载,转载请联系出处。 基于LiDAR点云点3D Object Detection一直是一个很经典的问题,学术界和工业界都提出了各种各样的模型来提高精度、速度和鲁棒性。但因为室外的复杂环境,所以室外点云的Object Det...
-
如何高效部署大模型?CMU最新万字综述纵览LLM推理MLSys优化技术
在人工智能(AI)的快速发展背景下,大语言模型(LLMs)凭借其在语言相关任务上的杰出表现,已成为 AI 领域的重要推动力。然而,随着这些模型在各种应用中的普及,它们的复杂性和规模也为其部署和服务带来了前所未有的挑战。LLM 部署和服务面临着密集的计算强...
-
AIGC之Image2Video(一)| Animate Anyone:从静态图像生成动态视频,可将任意图像角色动画化
近日,阿里发布了Animate Anyone,只需一张人物照片,结合骨骼动画,就能生成人体动画视频。 项目地址:https://humanaigc.github.io/animate-anyone/ 论文地址:https://ar...
-
拆掉英伟达护城河,细节曝光!世界最快超算用3072块AMD GPU训完超万亿参数LLM
用AMD的软硬件系统也能训练GPT-3.5级别的大模型了。 位于美国橡树岭国家实验室(Oak Ridge National Laboratory)的全世界最大的超算Frontier,集合了37888个MI250X GPU和9472个Epyc 7A53 C...
-
即插即用,完美兼容:SD社区的图生视频插件I2V-Adapter来了
图像到视频生成(I2V)任务旨在将静态图像转化为动态视频,这是计算机视觉领域的一大挑战。其难点在于从单张图像中提取并生成时间维度的动态信息,同时确保图像内容的真实性和视觉上的连贯性。大多数现有的 I2V 方法依赖于复杂的模型架构和大量的训练数据来实现这一...
-
AI绘画权益纠纷:你的创作是否触碰了版权底线?
最近,北京互联网法院就一起人工智能生成图片(AI绘画图片)的著作权侵权案进行了首次审理并做出了判决。这是中国首例牵涉到“AI文生图”著作权的案件,庭审过程在多个平台进行直播,吸引了众多网友,同时引发了对于AI生成内容与著作权之间关系的广泛讨论。 那么近年...
-
AI看图猜位置,准确率超90%!斯坦福最新PIGEON模型:40%预测误差不到25公里
随手在网络上发布的一张照片,能暴露多少信息? 外国的一位博主@rainbolt就长年接受这种「照片游戏」的挑战,网友提供照片,他来猜测照片的具体拍摄地,有些照片甚至还能猜到具体的航班细节。 是不是细思极恐? 但「照片挑战」也同样抚慰了很多人心中的遗憾,...
-
LLaMA开源大模型源码分析!
Datawhale干货 作者:宋志学,Datawhale成员 花了一晚上照着transformers仓库的LLaMA源码,把张量并行和梯度保存的代码删掉,只留下模型基础结构,梳理了一遍LLaMA的模型结构。 今年四月份的时候,我第一次...
-
【计算机视觉 | 目标检测】术语理解9:AIGC的理解,对比学习,解码器,Mask解码器,耦合蒸馏,半耦合,图像编码器和组合解码器的耦合优化
文章目录 一、AIGC的理解 二、对比学习 三、解码器 四、Mask解码器 五、耦合蒸馏 六、半耦合 七、图像编码器和组合解码器的耦合优化 一、AIGC的理解 AIGC指的是使用人工智能技术自动生成的各类数字内容,包括文本、图像、...
-
实战AI大模型:AIGC及经典模型
今天,人工智能技术的快速发展和广泛应用已经引起了大众的关注和兴趣,它不仅成为技术发展的核心驱动力,更是推动着社会生活的全方位变革。特别是作为AI重要分支的深度学习,通过不断刷新的表现力已引领并定义了一场科技革命。大型深度学习模型(简称AI大模型)以其强大的...
-
AI聊天机器人,一个就够了:文心一言、讯飞星火、通义千问AI聊天机器人深度对比(一)
一些结论 本次为第一部分的测评,综合结论:讯飞星火 > 文心一言 = 通义千问。 文本生成能力:文心一言 = 讯飞星火 > 通义千问,讯飞星火表现亮眼,文心一言作为国内AI聊天机器人的先发者,在创意写作方面略不尽如人意。 代...
-
大模型相关技术综述
多模态大模型&大模型训练语料持续迭代 已经开始整理多模态-视觉部分: 主要分为一下几块 多模态信息压缩模型(clip、vit、swiT) 生成模型(vae、gan、flow、ddpm、sde... 其它多模态大模型(语音...
-
2024 年 GenAI 投资将如何改变数据中心
我们经常需要一点动力来帮助我们打破常规,以一种迟到的方式改变自己。对许多人来说,这种火花以新的一年的形式出现,以新的决心为重点。但对于IT组织来说,这种动机将以生成人工智能的形式出现,并需要新的基础设施和投资来支持生成人工智能计划。 根据 TechTa...
-
Llama 2- Open Foundation and Fine-Tuned Chat Models<2>
3.2 人类反馈强化学习(RLHF) RLHF 是一种模型训练过程,应用于微调的语言模型,以进一步使模型行为与人类偏好和指令遵循保持一致。我们收集代表根据经验采样的人类偏好的数据,人类注释者可以选择他们更喜欢的两个模型输出中的哪一个。这种人类反馈随后用...
-
一部iPhone实时渲染300平房间,精度达厘米级别!谷歌最新研究证明NeRF没死
3D实时渲染大型场景,一台电脑,甚至一部手机就可以完成。 从家里的客厅到主卧,储物间,厨房,卫生间各个死角,都能逼真在电脑中完成渲染,如同拍摄实物视频一般。 而且,你还可以在一台iPhone上完成复杂场景渲染。 来自谷歌、谷歌DeepMind和图宾根...
-
打破信息差!一款让人惊艳的大模型3D可视化工具!
近日,一位来自新西兰的小哥Brendan Bycroft在技术圈掀起了一股热潮。他创作的一项名为大模型3D可视化的项目,不仅登上了Hacker News的榜首,而且其震撼的效果更是让人瞠目结舌。通过这个项目,你将在短短几秒钟内完全理解LLM(Large...
-
视频场景图生成任务新SOTA!中山大学提出全新时空知识嵌入框架,登顶刊TIP'24
视频场景图生成(VidSGG)旨在识别视觉场景中的对象并推断它们之间的视觉关系。 该任务不仅需要全面了解分散在整个场景中的每个对象,还需要深入研究它们在时序上的运动和交互。 最近,来自中山大学的研究人员在人工智能顶级期刊IEEE T-IP上发表了一篇论文...
-
小红书搜索团队提出全新框架:验证负样本对大模型蒸馏的价值
大语言模型(LLMs)在各种推理任务上表现优异,但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时,LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识,而忽略了那些带有错误答案的合成数据。 在 AAAI 2...
-
LLMs模型速览(GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca)
文章目录 一、 GPT系列 1.1 GPTs(OpenAI,2018——2020) 1.2 InstructGPT(2022-3) 1.2.1 算法 1.2.2 损失函数 1.3 ChatGPT(2022.11.30) 1.4 ChatG...
-
简单易懂Stable Diffusion运行原理 都直接喂到你嘴里了 还不快点接着
**Stable Diffusion无疑是最近最火的AI绘画工具之一,所以本期给大家带来了全新Stable Diffusion 保姆级教程资料包(文末可获取)一 背景介绍 AI 绘画作为 AIGC(人工智能创作内容)的一个应用方向,它绝对是 2022 年以...
-
Colossal-AI团队开源了SwiftInfer 大模型无限流式输入推理飙升46%
近日,国产开源项目SwiftInfer实现了无限流式输入推理,成功提升了大模型推理性能46%。这是一个重大突破,可以为多轮对话场景提供高效可靠的落地方案。 它采用了attention sink注意力机制、窗口注意力优化、KV Cache机制优化等方法,Sw...
-
四行代码让大模型上下文暴增3倍,羊驼Mistral都适用
无需微调,只要四行代码就能让大模型窗口长度暴增,最高可增加3倍! 而且是“即插即用”,理论上可以适配任意大模型,目前已在Mistral和Llama2上试验成功。 有了这项技术,大模型(LargeLM)就能摇身一变,成为LongLM。 近日,来自得克萨斯农...
-
AIGC之文本内容生成概述(下)——Transformer
在上一篇文章中,我们一口气介绍了LSTM、Word2Vec、GloVe、ELMo等四种模型的技术发展,以及每种模型的优缺点与应用场景,全文超过一万字,显得冗长且繁杂,在下文部分我们将分开介绍Transformer、BERT、GPT1/GPT2/GPT3/C...
-
在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现
引言 自然语言处理 (NLP 领域的进展日新月异,你方唱罢我登场。因此,在实际场景中,针对特定的任务,我们经常需要对不同的语言模型进行比较,以寻找最适合的模型。本文主要比较 3 个模型: RoBERTa、Mistral-7B 及 Llama-2...
-
400万token上下文、推理再加速46%!最新开源方案升级MIT成果,推理成本再降低
22倍加速还不够,再来提升46%,而且方法直接开源! 这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。 StreamingLLM可以在不牺牲生成效果、推理速度的前提下,实现多轮对话共400万个token,22.2倍推理速度提升。 该项...
-
Stable Diffusion教程(5) - 文生图教程
配套视频教程: https://v.douyin.com/UyHNfYG/ 文生图界面标注如下 1 提示词和反向提示词 提示词内输入的东西就是你想要画的东西,反向提示词内输入的就是你不想要画的东西 提示框内只能输入英文,所有符号都要使用英...
-
单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA
如何从一段视频中找出感兴趣的片段?时序行为检测(Temporal Action Localization,TAL)是一种常用方法。 利用视频内容进行建模之后,就可以在整段视频当中自由搜索了。 而华中科技大学与密歇根大学的联合团队最近又为这项技术带来了新的...
-
Stable Diffusion 超详细讲解
Stable Diffusion 超详细讲解 这篇文章是 《Stable Diffusion原理详解》的后续,在《Stable Diffusion原理详解》中我更多的是以全局视角讲解了 Stable Diffusion 的原理和工作流程,并未深入步骤细...
-
大模型无限流式输入推理飙升46%!国产开源加速「全家桶」,打破多轮对话长度限制
在大型语言模型(LLM)的世界中,处理多轮对话一直是一个挑战。前不久麻省理工Guangxuan Xiao等人推出的StreamingLLM,能够在不牺牲推理速度和生成效果的前提下,可实现多轮对话总共400万个token的流式输入,22.2倍的推理速度提升...
-
一文速览扩散模型优化过程:从DDPM到条件生成模型Stable Diffusion
文章目录 1、扩散模型简介 - Diffusion Model 2、最简单的扩散模型 - DDPM 前向加噪过程 逆向去噪过程 训练与推理流程 模型优缺点 3、减少扩散模型的采样步骤 - DiffusionGAN 分析高斯分布、采样步长...
-
AI解读视频张口就来?这种「幻觉」难题Vista-LLaMA给解决了
近年来,大型语言模型如 GPT、GLM 和 LLaMA 等在自然语言处理领域取得了显著进展,基于深度学习技术能够理解和生成复杂的文本内容。然而,将这些能力扩展到视频内容理解领域则是一个全新的挑战 —— 视频不仅包含丰富多变的视觉信息,还涉及时间序列的动态...
-
告别逐一标注,一个提示实现批量图片分割,高效又准确
Segment Anything Model (SAM 的提出在图像分割领域引起了巨大的关注,其卓越的泛化性能引发了广泛的兴趣。然而,尽管如此,SAM 仍然面临一个无法回避的问题:为了使 SAM 能够准确地分割出目标物体的位置,每张图片都需要手动提供一...
-
使用PyTorch实现去噪扩散模型
在深入研究去噪扩散概率模型(DDPM 如何工作的细节之前,让我们先看看生成式人工智能的一些发展,也就是DDPM的一些基础研究。 VAE VAE 采用了编码器、概率潜在空间和解码器。在训练过程中,编码器预测每个图像的均值和方差。然后从高斯分布中对这些值进...
-
SparseOcc:全稀疏3D全景占用预测(语义+实例双任务)
本文经自动驾驶之心公众号授权转载,转载请联系出处。 论文:Fully Sparse 3D Panoptic Occupancy Prediction 链接:https://arxiv.org/pdf/2312.17118.pdf 这篇论文的出发点是什么...
-
何为交互感知?全面回顾自动驾驶中的社会交互动态模型与决策前沿!
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 交互感知自动驾驶(IAAD)是一个迅速发展的研究领域,专注于开发能够与人类道路使用者安全、高效交互的自动驾驶车辆。这是一项具有挑战性的任务,因为它要求自动驾驶车辆能够理...
-
AI人工智能大模型讲师叶梓《基于人工智能的内容生成(AIGC)理论与实践》培训提纲
【课程简介】 本课程介绍了chatGPT相关模型的具体案例实践,通过实操更好的掌握chatGPT的概念与应用场景,可以作为chatGPT领域学习者的入门到进阶级课程。 【课程时长】 1天(6小时/天) 【课程对象】 理工科本...
-
深入浅出讲解Stable Diffusion原理,新手也能看明白
说明 最近一段时间对多模态很感兴趣,尤其是Stable Diffusion,安装了环境,圆了自己艺术家的梦想。看了这方面的一些论文,也给人讲过一些这方面的原理,写了一些文章,具体可以参考我的文章: 北方的郎:图文匹配:Clip模型介绍 北方的郎:VQ...
-
Meta最新模型LLaMA详解(含部署+论文)
来源:投稿 作者:毛华庆 编辑:学姐 前言 本课程来自深度之眼《大模型——前沿论文带读训练营》公开课,部分截图来自课程视频。 文章标题:LLaMA: Open and Efficient Foundation Language Mode...