-
LLM全搞定！OmniDrive：集3D感知、推理规划于一体（英伟达最新）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 这篇论文致力于解决当前多模态大语言模型 (MLLMs 在自动驾驶应用中存在的关键挑战，尤其是将MLLMs从2D理解扩展到3D空间的问题。由于自动驾驶车辆 (AVs ...
-
LidaRF：研究用于街景神经辐射场的激光雷达数据（CVPR'24）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 光真实感模拟在自动驾驶等应用中发挥着关键作用，其中神经辐射场（NeRFs）的进步可能通过自动创建数字3D资产来实现更好的可扩展性。然而，由于街道上相机运动的高度共线性和在高速下的稀疏采样，街景的重建质...
-
一览Occ与自动驾驶的前世今生！首篇综述全面汇总特征增强/量产部署/高效标注三大主题
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 近年来，自动驾驶因其在减轻驾驶员负担和提高驾驶安全方面的潜力而越来越受到关注。基于视觉的三维占用预测是一种新兴的感知任务，适用于具有成本效益的自动驾驶感知系统，它可以...
-
超越BEVFusion！DifFUSER：扩散模型杀入自动驾驶多任务（BEV分割+检测双SOTA）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 目前，随着自动驾驶技术的越发成熟以及自动驾驶感知任务需求的日益增多，工业界和学术界非常希望一个理想的感知算法模型，可以同时完成如3D目标检测以及基于BEV空间的语义分...
-
CLIP-BEVFormer：显式监督BEVFormer结构，提升长尾检测性能
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 目前，在整个自动驾驶系统当中，感知模块扮演了其中至关重要的角色，行驶在道路上的自动驾驶车辆只有通过感知模块获得到准确的感知结果后，才能让自动驾驶系统中的下游规控模块做...
-
3D版Sora来了？UMass、MIT等提出3D世界模型，具身智能机器人实现新里程碑
在最近的研究中，视觉-语言-动作（VLA，vision-language-action）模型的输入基本都是2D数据，没有集成更通用的3D物理世界。 此外，现有的模型通过学习「感知到动作的直接映射」来进行动作预测，忽略了世界的动态性，以及动作和动态之间的关...
-
实时加SOTA一飞冲天！FastOcc：推理更快、部署友好Occ算法来啦！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在自动驾驶系统当中，感知任务是整个自驾系统中至关重要的组成部分。感知任务的主要目标是使自动驾驶车辆能够理解和感知周围的环境元素，如行驶在路上的车辆、路旁的行人、行驶过...
-
中科院等万字详解：最前沿图像扩散模型综述
针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的benchmark，为研究者提供了便捷的学习参考工具。...
-
逆天UniVision：BEV检测和Occ联合统一框架，双SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
Think2Drive：首个用于自动驾驶的基于模型的RL方法（上海交大）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 在CARLA v2中以专家级的熟练程度运行。 题目：Think2Drive: Efficient Reinforcement Learning by Thinking in Latent World...
-
直接干上车！DriveVLM：首个Orin部署的快慢双系统智驾大模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在目前自动驾驶领域，传统的感知（perception）-预测（prediction）-规划（planning）的常规端到端自动驾驶在处理常规场景时表现尚可，但在面对复...
-
逆天了！UniVision：BEV检测和Occ联合统一框架，双任务SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
NeRF成为过去？三维重建迈向3D GS新时代！（复旦大学最新综述）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 3D Gaussian Splatting（3D-GS）已成为计算机图形学领域的一个重大进步，它提供了明确的场景表示和新颖的视图合成，而不依赖于神经网络，如神经辐射场...
-
挖掘BEV潜力的边界！DA-BEV：无监督BEV SOTA新方案！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 今天和大家探讨3D视觉感知领域中的一个特定问题：针对纯视觉的鸟瞰图（BEV）的无监督领Domain Adaptation（Unsupervised Domain Ad...
-
逆天了！UniVision：BEV检测和Occupancy联合统一框架，双任务SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
大火的4D Radar开源数据汇总
本文经自动驾驶之心公众号授权转载，转载请联系出处。 4D Radar在自动驾驶领域中越来越受关注，在价格和功能上都有比较大的竞争力，相关研究也逐渐open，今天为大家盘点下开源的4D Radar数据，为相关科学研究提供保障！ 1Astyx 数据集链接：h...
-
AI视野：奥特曼重回OpenAI；魔搭社区推出开源版GPTS；谷歌Bard遭遇提示注入攻击；Meta重组并解散AI监管团队
???AI新鲜事 反转!奥特曼重回OpenAI 据报道，OpenAI 前 CEO Sam Altman与前总裁Greg Brockman在 OpenAI 旧金山总部与公司高管会面。微软和其他投资人正在努力恢复Sam Altman的职位。 Emmett...
-
AI视野：xAI首个大模型Grok炸场;李开复官宣开源大模型Yi-34B;ChatGPT原型Gizmo新功能曝光;百度网盘引入大模型智能助理
????大模型动态 李开复官宣全球最强开源大模型Yi-34B 一次可处理40万汉字 零一万物发布全球最强的开源大模型Yi-34B，具备超强的语言理解和处理能力，支持处理40万汉字，在中文指标上表现卓越，标志着中国在大模型领域的重大突破。 项目地址:htt...
-
AI「脑补」画面太强了！李飞飞团队新作ZeroNVS，单个视图360度全场景生成
近来，利用3D感知扩散模型训练模型，然后对单个物体进行SDS蒸馏的研究数不胜数。 但是，能够真正做到「场景级」的画面生成，从未实现。 现如今，斯坦福李飞飞和谷歌团队打破了这个记录！ 比如，输入一张从某个角度拍摄的客厅图片，整个客厅的样貌就出来了。 再来...