-
Paper Digest | 基于原型学习的实体图谱预训练跨域推荐框架
可以看到，通过映射得到对应item相关的entity后，基于图谱推理流程，我们可以得到许多和映射得到的entity相关的高阶信息，如苹果这个公司有手机产品，而手机这类产品相关的公司有三星等，从而可以潜在的拉近和其他相关实体（如三星生产的手机等）间的关系。...
-
研究称 AI、ChatGPT 和社交媒体可能加剧气候危机
一项发表在《全球环境政治》期刊上的论坛文章指出，生成式人工智能（AI）包括像 OpenAI 的 ChatGPT 这样的大型语言模型，以及社交体可能会削弱应对气候变化的努力。 来自英属哥伦比亚大学（UBC）的研究人员出，人们普遍认为 AI、社交媒体和其他技术...
-
原作者带队，LSTM真杀回来了！
20 世纪 90 年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来，LSTM 经受住了时间的考验，并为众多深度学习的成功案例做出了贡献。然而，以可并行自注意力为核心 Transformer 横空出世之后，LSTM 自身所...
-
Deepseek-V2技术报告解读！全网最细！
深度求索Deepseek近日发布了v2版本的模型，沿袭了1月发布的 Deepseek-MoE（混合专家模型）的技术路线，采用大量的小参数专家进行建模，同时在训练和推理上加入了更多的优化。沿袭了一贯的作风，Deepseek对模型（基座和对话对齐版本）进行了...
-
LLM全搞定！OmniDrive：集3D感知、推理规划于一体（英伟达最新）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 这篇论文致力于解决当前多模态大语言模型 (MLLMs 在自动驾驶应用中存在的关键挑战，尤其是将MLLMs从2D理解扩展到3D空间的问题。由于自动驾驶车辆 (AVs ...
-
一览Occ与自动驾驶的前世今生！首篇综述全面汇总特征增强/量产部署/高效标注三大主题
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 近年来，自动驾驶因其在减轻驾驶员负担和提高驾驶安全方面的潜力而越来越受到关注。基于视觉的三维占用预测是一种新兴的感知任务，适用于具有成本效益的自动驾驶感知系统，它可以...
-
一块钱100万token，超强MoE模型开源，性能直逼GPT-4-Turbo
开源大模型领域，又迎来一位强有力的竞争者。 近日，探索通用人工智能（AGI）本质的 DeepSeek AI 公司开源了一款强大的混合专家 (MoE 语言模型 DeepSeek-V2，主打训练成本更低、推理更加高效。 项目地址：https://gi...
-
手机可跑，3.8B参数量超越GPT-3.5！微软发布Phi-3技术报告：秘密武器是洗干净数据
过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。 但Scaling Laws的魔法只能施加在「固定」的数据源上，...
-
ChatGPT们的幕后先驱，斯坦福教授Manning的四十年NLP生涯
今年 1 月份，2024 年度 IEEE 冯诺伊曼奖项结果正式公布，斯坦福大学语言学和计算机科学教授、AI 学者克里斯托弗・曼宁（Christopher Manning）获奖。 曼宁教授是将深度学习应用于 NLP 领域的早期领军人物，在词向量 GloVe...
-
看透物体的3D表示和生成模型：NUS团队提出X-Ray
项目主页：https://tau-yihouxiang.github.io/projects/X-Ray/X-Ray.html 论文地址：https://arxiv.org/abs/2404.14329 代码地址：https://github.com...
-
还在YOLO-World？DetCLIPv3出手！性能大幅度超出一众SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 现有的开词汇目标检测器通常需要用户预设一组类别，这大大限制了它们的应用场景。在本文中，作者介绍了DetCLIPv3，这是一种高性能检测器，不仅在开词汇目标检测方面表现出色，同时还能为检测到的目标生成...
-
最新综述！万字长文彻底搞懂单目3D车道线检测
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 3D车道检测在自动驾驶中起着至关重要的作用，通过从三维空间中提取道路的结构和交通信息，协助自动驾驶汽车进行合理、安全和舒适的路径规划和运动控制。考虑到传感器成本和视觉数...
-
Adobe推出全新AI技术VideoGigaGAN：视频清晰度提升8倍
快科技4月26日消息，Adobe公司宣布了一项革命性的新技术VideoGigaGAN，这是一项基于人工智能的视频超分辨率技术，能够将视频清晰度提高8倍。 VideoGigaGAN技术的发布，标志着视频放大技术的又一重要进步，为视频编辑、增强和修复等领域带来...
-
人工智能和绿色技术如何帮助企业实现净零排放
在过去的几个月里，世界各地的人们都感受到了气候变化的影响。因此，企业必须集中精力满足日益增长的对环境责任的期望。现在，投资者、员工和合作伙伴比以往任何时候都更希望确保企业遵守其环境、社会和治理(ESG 承诺。 鉴于监管和信息披露要求的不断增加，有效的E...
-
聊聊机器学习与人力资源管理碰撞什么火花？
前 言 近年来，机器学习领域取得了许多重大突破，人工智能技术驱动的人力资源管理服务产品也拥有一个庞大且充满活力的市场。越来越多的企业和政府机构逐渐开始思考将机器学习技术应用于人力资源管理，通过神经网络做出正确有效的决策，准确地预测人力资源管理的结果。...
-
OpenAI Preparedness团队首席Aleksander Madry：机器学习模型的内部计算如何将输入转化为预测？
考虑一个标准的ResNet50模型，该模型经过训练用于图像分类任务。我们是否能够理解这个模型中的卷积滤波器如何将输入图像转换为其预测的标签？或者，GPT-3中的注意力头如何contribute到下一个标记的预测？理解这些模型组件——包括滤波器或头等架构...
-
华人持续炸场！8倍于SOTA模型发布，超分辨率细节还原度逆天，终于可以看清楚蜘蛛网丝了！网友：质量真不错！电影时长9秒才够用！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） Sora带火了“视频一致性”的研究，但单纯在时间一致性已经不能满足业内对于高逼真视频的渴望。这不，华人又出来炸场了！ 近日，一个名为VideoGigaGAN的视频模型在业界走红。...
-
在线地图还能这样？MapTracker：用跟踪实现在线地图新SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 太强了，在线高精地图还能用跟踪的方式来做！！！本文提出了一种矢量HD建图算法，该算法将在线高精建图公式化为跟踪任务，并使用memory latents的历史来确保随着时...
-
苹果卷开源大模型，公开代码、权重、数据集、训练全过程，OpenELM亮相
要说 ChatGPT 拉开了大模型竞赛的序幕，那么 Meta 开源 Llama 系列模型则掀起了开源领域的热潮。在这当中，苹果似乎掀起的水花不是很大。 不过，苹果最新放出的论文，我们看到其在开源领域做出的贡献。 近日，苹果发布了 OpenELM，共四种变...
-
超越BEVFusion！DifFUSER：扩散模型杀入自动驾驶多任务（BEV分割+检测双SOTA）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 目前，随着自动驾驶技术的越发成熟以及自动驾驶感知任务需求的日益增多，工业界和学术界非常希望一个理想的感知算法模型，可以同时完成如3D目标检测以及基于BEV空间的语义分...
-
AI日报：Model3模型重磅发布；阿里云全面支持Llama 3训练推理；Gorq推出iOS应用；批量去水印工具VSR来了
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解:https://top.aibase.com/ 1、Blockade Labs发布...
-
Llama3突然来袭！开源社区再次沸腾：GPT4级模型自由访问时代到来
Llama 3来了！ 就在刚刚，Meta官网上新，官宣了Llama 3 80亿和700亿参数版本。 并且推出即为开源SOTA： Meta官方数据显示，Llama 3 8B和70B版本在各自参数规模上超越一众对手。 8B模型在MMLU、GPQA、Huma...
-
如何利用Transformer有效关联激光雷达-毫米波雷达-视觉特征？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 笔者个人理解 自动驾驶的基础任务之一是三维目标检测，而现在许多方法都是基于多传感器融合的方法实现的。那为什么要进行多传感器融合?无论是激光雷达和相机融合，又或者是毫米波雷达和相机融合，其最主要的目的就是...
-
新加坡国立大学 | 通过语言分割任何3D目标
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 本文研究了具有自由形式语言指令的开放词汇3D实例分割（OV-3DIS）。先前的作品只依赖于注释的基本类别进行训练，对看不见的长尾类别的泛化能力有限。最近的工作通过生成类...
-
轨迹预测系列 | HiVT之进化版QCNet到底讲了啥？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 HiVT的进化版（不先看HiVT也能直接读这篇），性能和效率上大幅提升。 文章也很容易阅读。 【轨迹预测系列】【笔记】HiVT: Hierarchical Vector Transformer for...
-
十个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题 一、哪种技术有助于减轻基于提示的学习中的偏见? A.微调 Fine-tuning B.数据增强 Data augmentation C.提示校准 Prompt calibration D.梯度裁剪 Gra...
-
RAG 修炼手册｜一文讲透 RAG 背后的技术
在之前的文章中《RAG 修炼手册｜RAG敲响丧钟？大模型长上下文是否意味着向量检索不再重要》，我们已经介绍过 RAG 对于解决大模型幻觉问题的不可或缺性，也回顾了如何借助向量数据库提升 RAG 实战效果。 今天我们继续剖析 RAG，将为大家大家详细介绍...
-
刚刚，Mistral AI最新磁力链放出！8x22B MoE模型，281GB解禁
【新智元导读】初创团队Mistral AI再次放出一条磁力链，281GB文件解禁了最新的8x22B MoE模型。 一条磁力链，Mistral AI又来闷声不响搞事情。 281.24GB文件中，竟是全新8x22B MOE模型! 全新MoE模型共有56层，...
-
AIGC-Stable Diffusion发展及原理总结
目录 一. AIGC介绍 1. 介绍 2. AIGC商业化方向 3. AIGC是技术集合 4. AIGC发展三要素 4.1 数据 4.2 算力 4.3 算法 4.3.1 多模态模型CLIP 4.3.2 图像生成模型 二. Stable...
-
【总结】在嵌入式设备上可以离线运行的LLM--Llama
文章目录 Llama 简介 运用 另一种：MLC-LLM 一个令人沮丧的结论在资源受限的嵌入式设备上无法运行LLM（大语言模型）。 一丝曙光：tinyLlama-1.1b（10.1亿参数，需要至少2.98GB的RAM） Llam...
-
三小时内用ChatGPT写完一篇论文的终极指南
在这篇指南中，我将深入探讨如何利用ChatGPT 4.0的强大能力来指导整个学术研究和写作过程。从初步探索研究主题，到撰写出一篇内容充实、结构严谨的学术论文，我会一步步展示如何在各个环节中有效运用ChatGPT。 初步探索与主题的确定 一开始，我置身于...
-
1000行C语言搓出GPT-2！AI大神Karpathy新项目刚上线就狂揽2.5k星
【新智元导读】训大模型的方法可能要被革新了!AI大神Karpathy发布的新项目仅用1000行的C语言训完GPT-2，而不再依赖庞大的GPT-2库。他本人预告，即将上线新课。 断更近一个月，Karpathy终于上线了。 这次不是AI大课，而是带来一个新项目...
-
大模型技术实践（二）｜关于Llama 2你需要知道的那些事儿
在上期文章中，我们简要回顾了Llama模型的概况，本期文章我们将详细探讨【关于Llama 2】，你需要知道的那些事儿。 01-Llama 2的性能有多好？ 作为Meta新发布的SOTA开源大型语言模型，Llama 2是Llama模型的延续和升级。Lla...
-
GPT-4推理能力为0？开发者悬赏1万美金被打脸，神秘提示正确率直冲100%
【新智元导读】小孩子都会的脑筋急转弯推理题，GPT-4和Claude3做不出?国外一位开发者小哥坚称这一观点，认为GPT模型在训练集外毫无推理能力，无法实现AGI，甚至悬赏1万美元，发起比赛。然而，他当天就被光速打脸了!网友用高能的prompt，让GPT-...
-
无需训练，这个新方法实现了生成图像尺寸、分辨率自由
近期，扩散模型凭借其出色的性能已超越 GAN 和自回归模型，成为生成式模型的主流选择。基于扩散模型的文本到图像生成模型（如 SD、SDXL、Midjourney 和 Imagen）展现了生成高质量图像的惊人能力。通常，这些模型在特定分辨率下进行训练，以确...
-
北航联合港大发布全新文本引导矢量图形合成方法SVGDreamer
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 可缩放矢量图形（Scalable Vector Graphics，SVG）是用于描述二维图型和图型应用程序的基本元素；与传统的像素图形...
-
阿里刚开源32B大模型，我们立马测试了“弱智吧”
阿里的通义千问（Qwen），终于拼齐了1.5系列的最后一块拼图—— 正式开源Qwen 1.5-32B。 话不多说，直接来看“成绩单”。 这次官方pick同台竞技的“选手”是Mixtral 8x7B模型和同为Qwen 1.5系列的72B模型。 从结果上...
-
10万美元训出Llama-2级大模型！全华人打造新型MoE，贾扬清SD前CEO围观
想了解更多AIGC的内容： https://www.51cto.com/aigc/ “只需”10万美元，训练Llama-2级别的大模型。 尺寸更小但性能不减的MoE模型来了： 它叫JetMoE，来自MIT、普林斯顿等研究机构。 性能妥妥超过同等规模的Ll...
-
ICCV 2023 | 最全AIGC梳理，5w字30个diffusion扩散模型方向，近百篇论文！
30个方向130篇！CVPR 2023最全AIGC论文 25个方向！CVPR 2022 GAN论文汇总 35个方向！ICCV 2021 最全GAN论文汇总 超110篇！CVPR 2021 最全GAN论文梳理 超100篇！CVPR 2...
-
IT领导者可以从谷歌的GenAI起步不稳中学到什么
谷歌推出 Bard 时，试图对抗 OpenAI 的 ChatGPT，但在首次演示中不幸出现了事实错误。尽管谷歌随后将 Bard 扩展到 Gmail 到 YouTube 等所有平台，但公众最初的焦点仍然是该工具未能达到 OpenAI 响应的质量。 谷歌...
-
[论文笔记]LLaMA: Open and Efficient Foundation Language Models
引言 今天带来经典论文 LLaMA: Open and Efficient Foundation Language Models 的笔记，论文标题翻译过来就是 LLaMA:开放和高效的基础语言模型。 LLaMA提供了不可多得的大模型开发思路，为很多国...
-
谷歌更新Transformer架构，更节省计算资源！50%性能提升
想了解更多AIGC的内容， 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 谷歌终于更新了Transformer架构。 最新发布的Mixture-of-Depths（MoD），改变了以往Transformer计...
-
【Python】科研代码学习：十五 configuration，tokenization 的代码细节：Llama 为例
【Python】科研代码学习：十五 tokenizer的代码细节：Llama_Tokenization 为例 前言 `LlamaConfig`：网络参数配置 `LlamaTokenizer`：分词工具 前言 对于 HF 的 Tr...
-
AIGC学习笔记——DALL-E2详解+测试
它主要包括三个部分：CLIP，先验模块prior和img decoder。其中CLIP又包含text encoder和img encoder。（在看DALL·E2之前强烈建议先搞懂CLIP模型的训练和运作机制,之前发过CLIP博客） 论文地址：https...
-
Transformer引领AI百花齐放：从算法创新到产业应用，一文读懂人工智能的未来
一、引言 近年来，人工智能技术取得了举世瞩目的成果，其中，自然语言处理（NLP）和计算机视觉等领域的研究尤为突出。在这些领域，一种名为Transformer的模型逐渐成为研究热点，以其为核心的创新成果层出不穷。本文将从Transformer的原理、应用和...
-
大模型中常用的注意力机制GQA详解以及Pytorch代码实现
分组查询注意力 (Grouped Query Attention 是一种在大型语言模型中的多查询注意力 (MQA 和多头注意力 (MHA 之间进行插值的方法，它的目标是在保持 MQA 速度的同时实现 MHA 的质量。 这篇文章中，我们将解释GQA的...
-
华为诺亚频域LLM「帝江」：仅需1/50训练成本，7B模型媲美LLaMA，推理加速5倍
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果，然而，Transformer 中自注意力带来的二次复...
-
RV融合性能拉爆！RCBEVDet：Radar也有春天，最新SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 这篇论文关注的主要问题是3D目标检测技术在自动驾驶进程中的应用。尽管环视相机技术的发展为3D目标检测提供了高分辨率的语义信息，这种方法因无法精确捕获深度信息和在恶劣天...
-
LLaMA 模型中的Transformer架构变化
目录 1. 前置层归一化（Pre-normalization） 2. RMSNorm 归一化函数 3. SwiGLU 激活函数 4. 旋转位置嵌入（RoPE） 5. 注意力机制优化 6. Group Query Attention 7. 模型...
-
【没有哪个港口是永远的停留~论文解读】stable diffusion 总结 代码&推导&网络结构
了解整个流程： 【第一部分】输入图像 x （W*H*3的RGB图像） 【第一部分】x 经过编码器 生成 (latent 空间的表示 h*w*c (具体设置多少有实验 【第二部分】 逐步加噪得到 ，和噪声标签 【第二部分】由 Unet（ ）...