-
llama_ros：ROS 2中的AI融合工具包
llama_ros：ROS 2中的AI融合工具包 llama_ros llama.cpp for ROS 2 项目地址: https://gitcode.com/gh_mirrors/ll/llama_ros 项目介绍 llama_...
-
专用于理解游戏场景的开源大模型-VideoGameBunny
大模型在游戏开发领域扮演了重要角色，从AI机器人生成到场景搭建覆盖各个领域。但在游戏场景理解、图像识别、内容描述方面很差。 为了解决这些难题，加拿大阿尔伯塔的研究人员专门开源了一款针对游戏领域的大模型VideoGameBunny（以下简称“VGB”）。 V...
-
迈向『闭环』| PlanAgent：基于MLLM的自动驾驶闭环规划新SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 中科院自动化所深度强化学习团队联合理想汽车等提出了一种新的基于多模态大语言模型MLLM的自动驾驶闭环规划框架—PlanAgent。该方法以场景的鸟瞰图和基于图的文本提示为输入，利用多模态大语言模型的多...
-
理解老司机，超越老司机！LeapAD：具身智能加持下的双过程自驾系统（上海AI Lab等）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文信息 论文题目：Continuously Learning, Adapting, and, Improving: A Dual-Process Approach to Autonomous Dr...
-
牛津大学最新 | 近400篇总结！畅谈大语言模型与三维世界最新综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 随着大型语言模型（LLM）的发展，它们与3D空间数据（3D LLM）之间的集成取得了快速进展，为理解物理空间和与物理空间交互提供了前所未有的能力。本文全面概述了LLM...
-
DriveWorld：一个预训练模型大幅提升检测+地图+跟踪+运动预测+Occ多个任务性能
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面 以视觉为中心的自动驾驶技术近期因其较低的成本而引起了广泛关注，而预训练对于提取通用表示至关重要。然而，当前的以视觉为中心的预训练通常依赖于2D或3D预训练任务，忽视了自动驾驶作为4D场景理解...
-
最新综述！万字长文彻底搞懂单目3D车道线检测
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 3D车道检测在自动驾驶中起着至关重要的作用，通过从三维空间中提取道路的结构和交通信息，协助自动驾驶汽车进行合理、安全和舒适的路径规划和运动控制。考虑到传感器成本和视觉数...
-
华人持续炸场！8倍于SOTA模型发布，超分辨率细节还原度逆天，终于可以看清楚蜘蛛网丝了！网友：质量真不错！电影时长9秒才够用！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） Sora带火了“视频一致性”的研究，但单纯在时间一致性已经不能满足业内对于高逼真视频的渴望。这不，华人又出来炸场了！ 近日，一个名为VideoGigaGAN的视频模型在业界走红。...
-
从文字模型到世界模型！Meta新研究让AI Agent理解物理世界
LLM已经可以理解文本和图片了，也能够根据它们的历史知识回答各种问题，但它们或许对周围世界当前发生的事情一无所知。 现在LLMs也开始逐步学习理解3D物理空间，通过增强LLMs的「看到」世界的能力，人们可以开发新的应用，在更多场景去获取LLMs的帮助。...
-
等等我还没上车！LLM赋能端到端全新范式LeGo-Drive，车速拉满
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者个人理解 这篇论文介绍了一种名为LeGo-Drive的基于视觉语言模型的闭环端到端自动驾驶方法。该方法通过预测目标位置和可微分优化器规划轨迹，实现了从导航指令到目标位置的端到端闭...
-
RV融合性能拉爆！RCBEVDet：Radar也有春天，最新SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 这篇论文关注的主要问题是3D目标检测技术在自动驾驶进程中的应用。尽管环视相机技术的发展为3D目标检测提供了高分辨率的语义信息，这种方法因无法精确捕获深度信息和在恶劣天...
-
DualBEV：大幅超越BEVFormer、BEVDet4D，开卷！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 这篇论文探讨了在自动驾驶中，从不同视角（如透视图和鸟瞰图）准确检测物体的问题，特别是如何有效地从透视图（PV）到鸟瞰图（BEV）空间转换特征，这一转换是通过视觉转换（VT）模块实施的。现有的方法大致...
-
探索数据科学对机器人的影响
数据驱动的感知: 数据科学彻底改变机器人技术的关键领域之一是感知。配备了传感器、摄像头和其他数据收集机制的机器人会产生大量有关其环境的数据。数据科学技术，包括计算机视觉、传感器融合和深度学习，使机器人能够解释和理解这些数据，促进强大的感知能力。从物体识...
-
CVPR'24发榜，华人博士生连中三篇凡尔赛！官方下场发梗图玩坏网友
千呼万唤，就在今天，CVPR 2024的接收结果终于出来了。 官方已邮件发送通知，已经有不少人晒出好消息： 当然，目前刚刚公布的是初步结果，具体中标的是oral还是highlight还要再等等。 以及详细统计数据也还没出。 但无论是中了还是“缘分未...
-
VAD v2端到端SOTA | 远超DriveMLM等方法（地平线）
从大规模驾驶演示中学习类似人类的驾驶策略是很有前途的，但规划的不确定性和非确定性本质使得这一任务充满挑战。在这项工作中，为了应对不确定性问题，作者提出了VADv2，一个基于概率规划的端到端驾驶模型。VADv2以流方式输入多视角图像序列，将传感器数据转换为...
-
清华叉院、理想提出DriveVLM，视觉大语言模型提升自动驾驶能力
与生成式 AI 相比，自动驾驶也是近期 AI 最活跃的研究和开发领域之一。要想构建完全的自动驾驶系统，人们面临的主要挑战是 AI 的场景理解，这会涉及到复杂、不可预测的场景，例如恶劣天气、复杂的道路布局和不可预见的人类行为。 现有的自动驾驶系统通常包括...
-
OccNeRF：完全无需激光雷达数据监督
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人总结 近年来，3D 占据预测（3D Occupancy Prediction）任务因其独特的优势获得了学界及业界的广泛关注。3D 占据预测通过重建周围环境的 3D 结构为自...
-
大模型真能解决一切吗？关于知识驱动自动驾驶的一些思考
本文经自动驾驶之心公众号授权转载，转载请联系出处。 上个星期受邀在外面做了一次关于「知识驱动自动驾驶」的讲座，刚好借这个机会把之前我和团队的一些学术上的思考整理凝练了一下。感觉里面一些内容还是挺值得拿出来分享&讨论的，所以开这么个帖子把其中一些关...
-
数据为王！如何通过数据一步步构建高效的自动驾驶算法？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 下一代自动驾驶技术期望依赖于智能感知、预测、规划和低级别控制之间的专门集成和交互。自动驾驶算法性能的上限一直存在巨大的瓶颈，学术界和业界一致认为，克服瓶颈的关键在于以...
-
云端车端MapNeXt全搞定！面向下一代在线高精地图构建
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在协作、互联和自动化移动（CCAM）中，智能驾驶车辆对周围环境的感知、建模和分析能力越强，它们就越能意识到并能够理解、做出决策，以及安全高效地执行复杂的驾驶场景。高精...
-
RadOcc：通过渲染辅助蒸馏学习跨模态Occupancy知识
原标题：Radocc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation 论文链接：https://arxiv.org/pdf/2312...
-
纪念碑谷式错觉图像都被「看穿」，港大、TikTok的Depth Anything火了
人类有两只眼睛来估计视觉环境的深度信息，但机器人和 VR 头社等设备却往往没有这样的「配置」，往往只能靠单个摄像头或单张图像来估计深度。这个任务也被称为单目深度估计（MDE）。 近日，一种可有效利用大规模无标注图像的新 MDE 模型 Depth Any...
-
Agent触摸汉堡辨冷热，首次拥有类人感官！UCLA等发布3D多模态交互具身智能大模型
具身智能，是大模型未来应用的一个重要方向。 现在，大模型加持下的智能体，能够参与3D环境，不仅有了听觉视觉，还有了触觉等多种感官能力。 卧室里有什么物体，一眼辨认。 听到门铃响了，LLM便会告诉你家里来客人了。 大模型加持的NPC，在触摸桌子的香蕉后，...
-
AIGC 创业公司还没盈利，微软、Adobe 已赚得盆满钵满
一出奥特曼在 OpenAI「来去之间」的戏码，以回归暂告一段落。 过程很抓马，吃瓜群众很激动，当然了，最开心的还得是微软。 不仅因为这出「闹剧」无论怎么发展，都是微软稳赢，还因为背后潜藏着一个更大的瓜—— 大模型的最大利益获得者，居然还是...
-
视频场景图生成任务新SOTA！中山大学提出全新时空知识嵌入框架，登顶刊TIP'24
视频场景图生成（VidSGG）旨在识别视觉场景中的对象并推断它们之间的视觉关系。 该任务不仅需要全面了解分散在整个场景中的每个对象，还需要深入研究它们在时序上的运动和交互。 最近，来自中山大学的研究人员在人工智能顶级期刊IEEE T-IP上发表了一篇论文...
-
何为交互感知？全面回顾自动驾驶中的社会交互动态模型与决策前沿！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 交互感知自动驾驶（IAAD）是一个迅速发展的研究领域，专注于开发能够与人类道路使用者安全、高效交互的自动驾驶车辆。这是一项具有挑战性的任务，因为它要求自动驾驶车辆能够理...
-
客观看待AI大模型在数字化转型中的地位和作用
“ AI大模型在数字化转型中的作用尚未突破《“以数据为中心的业务变革”之三种范式》中第三种范式的边界”。 自从OpenAI公司研发的机器人聊天程序ChatGPT在2022年11月30日发布以来，在全世界迅速带起了热潮。ChatGPT是AI大模型驱动的自...
-
人工智能如何改变视频监控行业
通过将视频数据与其他信息源相结合，最新的人工智能解决方案不仅可以识别物体和事件，还可以理解复杂的人类行为和交互。其结果是一次巨大的飞跃，从被动观察的工具到主动、智能行动的工具。 实时监控数十个摄像头场景对于人类来说是一项繁琐且疲惫的任务。仅靠人类操作员...
-
CVPR 2023 | 可控文生图/定制化文生图领域论文详解 AI作画增强版
可控文生图/定制化文生图 1、DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation DreamBooth是一种新的文本到图像扩散模型...
-
一张图or文字生成无限3D世界！斯坦福吴佳俊团队新作，让网友直呼“难以置信”
斯坦福吴佳俊团队打造AI版“爱丽丝梦游仙境”巨作！ 仅用一张图or一段文字就能沿相机轨迹生成无限连贯3D场景： 只需输入一段古诗词，诗中场景立刻映入眼帘： 而且还是来回式的，可以再倒回去的那种： 同一起点可以进入不同场景： 真实场景也可以，其中的...
-
自动驾驶大模型论文调研与简述
最近关于大模型(LLMs, VLM 与自动驾驶相关文献调研与汇总： 适合用于什么任务？答：目前基本上场景理解、轨迹预测、行为决策、运动规划、端到端控制都有在做。 大家都怎么做的？ 对于规控任务，LLM型基本是调用+Prompt设计，集中在输入和输出设计...
-
AI视野：Copilot将可免费使用GPT-4Turbo；Bing推深度搜索功能；谷歌推桌面版Chrome“帮我写”；百度腾讯等入股无问芯穹
???AI新鲜事 微软Copilot将可免费使用GPT-4Turbo 微软宣布Copilot将集成OpenAI最新工具，特别是强化版的GPT-4Turbo。GPT-4Turbo具有更大的上下文窗口和更新的知识截止日期，提供更深入的见解。微软表示，整合后将使...
-
将ChatGPT与ReactJS集成以实现更智能的对话界面
译者 | 李睿 审校 | 重楼 随着科技世界的不断发展，聊天机器人已经成为许多企业不可或缺的一部分，提供高效和个性化的客户互动。在众多可用的人工智能聊天机器人解决方案中，ChatGPT因其自然语言处理能力和场景理解用户查询的能力而脱颖而出。 Kommu...
-
丢掉 LangChain、像 Docker一样编排大模型应用程序：这支十余人的年轻创业团队如何在2个月做出一个LLMOps平台？
大模型浪潮正在重构千行百业。可以预见的是，随着技术的不断进步以及应用场景的不断扩展，基于大模型的 AI 应用将会不断涌现，并成为推动 AI 产业发展的重要力量。 但在当下，大模型应⽤落地还面临诸多挑战。具体而言，不少开发团队还未适应大模型编程的需求，对大模...
-
通用异常检测新曙光：华科大等揭秘GPT-4V的全方位异常检测表现
异常检测任务旨在识别明显偏离正常数据分布的异常值，在工业检验、医学诊断、视频监控和欺诈检测等多个领域都发挥了重要作用。传统的异常检测方法主要依赖于描述正常数据分布以进行正异常样本的区分。然而，对于实际的应用而言，异常检测也需要理解数据的高层语义，从而深入...
-
自动驾驶系统中相机相对地面的在线标定
本文经自动驾驶之心公众号授权转载，转载请联系出处。 文章：Online Camera-to-ground Calibration for Autonomous Driving 作者：Binbin Li, Xinyu Du, Yao Hu, Hao Yu...
-
Meta重磅更新，小扎在元宇宙里养了会做家务的狗！人形化身超逼真，AI智能体在真实物理世界和人互动
今天开始，人类离帮忙做家务的机器人，又近了一步！ Meta宣布推出Habitat 3.0，目的是开发出社会化的AI智能体，这意味着社交智能机器人已经进入新的里程碑阶段。 这些具身智能背后的关键，当然就是AI Agent。有了它们，机器人可以和人类协作...