-
CLIP当RNN用入选CVPR：无需训练即可分割无数概念｜牛津大学&谷歌研究院
循环调用CLIP，无需额外训练就有效分割无数概念。 包括电影动漫人物，地标，品牌，和普通类别在内的任意短语。 牛津大学与谷歌研究院联合团队的这项新成果，已被CVPR 2024接收，并开源了代码。 团队提出名为CLIP as RNN（简称CaR）的新技...
-
一览Occ与自动驾驶的前世今生！首篇综述全面汇总特征增强/量产部署/高效标注三大主题
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 近年来，自动驾驶因其在减轻驾驶员负担和提高驾驶安全方面的潜力而越来越受到关注。基于视觉的三维占用预测是一种新兴的感知任务，适用于具有成本效益的自动驾驶感知系统，它可以...
-
还在YOLO-World？DetCLIPv3出手！性能大幅度超出一众SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 现有的开词汇目标检测器通常需要用户预设一组类别，这大大限制了它们的应用场景。在本文中，作者介绍了DetCLIPv3，这是一种高性能检测器，不仅在开词汇目标检测方面表现出色，同时还能为检测到的目标生成...
-
从文字模型到世界模型！Meta新研究让AI Agent理解物理世界
LLM已经可以理解文本和图片了，也能够根据它们的历史知识回答各种问题，但它们或许对周围世界当前发生的事情一无所知。 现在LLMs也开始逐步学习理解3D物理空间，通过增强LLMs的「看到」世界的能力，人们可以开发新的应用，在更多场景去获取LLMs的帮助。...
-
新加坡国立大学 | 通过语言分割任何3D目标
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 本文研究了具有自由形式语言指令的开放词汇3D实例分割（OV-3DIS）。先前的作品只依赖于注释的基本类别进行训练，对看不见的长尾类别的泛化能力有限。最近的工作通过生成类...
-
多个SOTA ！OV-Uni3DETR：提高3D检测在类别、场景和模态之间的普遍性（清华&港大）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 这篇论文聚焦于3D目标检测的领域，特别是Open-Vocabulary的3D目标检测。在传统的3D目标检测任务中，系统旨在预测真实场景中物体的定向3D边界框和语义类别标签，这通常依赖于点云或RGB图像...
-
一统所有目标感知任务，华科&字节提出目标感知基础模型GLEE
近年来，LLM 已经一统所有文本任务，展现了基础模型的强大潜力。一些视觉基础模型如 CLIP 在多模态理解任务上同样展现出了强大的泛化能力，其统一的视觉语言空间带动了一系列多模态理解、生成、开放词表等任务的发展。然而针对更细粒度的目标级别的感知任务，目前...
-
OccNeRF：完全无需激光雷达数据监督
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人总结 近年来，3D 占据预测（3D Occupancy Prediction）任务因其独特的优势获得了学界及业界的广泛关注。3D 占据预测通过重建周围环境的 3D 结构为自...
-
谷歌AI研究提出 SpatialVLM：一种数据合成和预训练机制，以增强视觉语言模型 VLM 空间推理能力
谷歌AI研究团队最近提出了SpatialVLM，这是一种旨在增强视觉语言模型（VLMs）空间推理能力的创新系统。 尽管先进的模型如GPT-4V在人工智能驱动任务中取得了显著进展，但它们在空间推理方面仍存在显著局限。空间推理涉及理解物体在三维空间中的位置以及...
-
买个机器人端茶倒水有希望了？Meta、纽约大学造了一个OK-Robot
「xx，去把电视柜上的遥控器帮我拿过来。」在一个家庭环境中，很多家庭成员都不免被支使干这种活儿。甚至有时候，宠物狗也难以幸免。但人总有支使不动的时候，宠物狗也并不一定都能听懂。帮人类干活儿的终极梦想还是寄托在机器人身上。 最近，纽约大学、Meta 研发出...
-
迈向分割的大一统！OMG-Seg：一个模型搞定所有分割任务
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者个人思考 图像分割已经从单任务分割走到了语义分割、实例分割、全景分割三种分割任务的统一；大模型以及多模态的发展又带来了文本和图像统一，使得跨模态端到端成为可能；追求更高级、更全面...
-
苹果ferret官网体验入口 Apple AI模型工具免费下载地址
Appleml-ferret是一个先进的端到端机器学习语言模型（MLLM），专门设计用于在多模态环境中进行精准定位。它结合了混合区域表示和空间感知的视觉采样器，支持对细粒度和开放词汇的引用和定位。此外，ml-ferret还包含了包括约 110 万个样本的G...
-
LangSplat官网体验入口 AI 3D场景构建软件工具免费下载地址
LangSplat是一款利用CLIP语言嵌入映射到3D高斯分布的工具，用于构建3D语言场景并实现对3D场景的开放词汇量查询。它提高了处理效率，避免了NeRF中的昂贵渲染过程，并且学习到的语言特征能精确捕捉对象边界，提供精确的3D语言场景，无需后处理。Lan...
-
大模型+机器人，详尽的综述报告来了，多位华人学者参与
大模型的出色能力有目共睹，而如果将它们整合进机器人，则有望让机器人拥有一个更加智能的大脑，为机器人领域带来新的可能性，比如自动驾驶、家用机器人、工业机器人、辅助机器人、医疗机器人、现场机器人和多机器人系统。 预训练的大型语言模型（LLM）、大型视觉 -...
-
用GPT-4V和人类演示训练机器人：眼睛学会了，手也能跟上
如何将语言 / 视觉输入转换为机器人动作？ 训练自定义模型的方法已经过时，基于最近大语言模型（LLM）和视觉语言模型（VLM）的技术进展，通过 prompt 工程使用 ChatGPT 或 GPT-4 等通用模型才是时下热门的方法。 这种方法绕过了海量数据...
-
Open Vocabulary Detection 开放世界目标检测竞赛 2023获胜团队方案分享
OVD技术简介 目标检测是计算机视觉领域中的一项核心任务，其主要目标是让计算机能够自动识别图片中目标的类别，并准确标示每个目标的位置。目前，主流的目标检测方法主要针对闭集目标的开发，即在任务开始之前需要对待检测目标进行类别定义，并进行人工数据标注，通...
-
Meta推出AI模拟环境Habitat 3.0 为机器人训练提供更真实的场景
FAIR团队最新推出的Habitat3.0引起了广泛关注，这是一个令人激动的增强型AI模拟环境，旨在训练机器人在真实场景中进行导航。这一创新的推出对于提升AI模拟环境的仿真程度具有重要意义。 通过Habitat3.0，机器人可以在更真实的场景中接受训练，从...
-
全新视觉提示方法SoM 让GPT-4V看的更准、分的更细
研究人员推出了一种新的视觉提示方法 Set-of-Mark（SoM），它可以让 OpenAI 多模态大模型 GPT-4V 在视觉内容理解方面有了质的提升。GPT-4V 是一种基于 GPT-4的多模态模型，可以同时处理文本和图像，并生成多种类型的输出。 然而...
-
在视觉提示中加入「标记」，微软等让GPT-4V看的更准、分的更细
最近一段时间，我们见证了大型语言模型（LLM）的显著进步。特别是，生成式预训练 Transformer 或 GPT 的发布引领了业界和学术界的多项突破。自 GPT-4发布以来，大型多模态模型 (LMM 引起了研究界越来越多的兴趣，许多工作致力于构建多模态...
-
Meta重磅更新，小扎在元宇宙里养了会做家务的狗！人形化身超逼真，AI智能体在真实物理世界和人互动
今天开始，人类离帮忙做家务的机器人，又近了一步！ Meta宣布推出Habitat 3.0，目的是开发出社会化的AI智能体，这意味着社交智能机器人已经进入新的里程碑阶段。 这些具身智能背后的关键，当然就是AI Agent。有了它们，机器人可以和人类协作...