-
CVPR`24 | 又快又好！渲染速度比ENeRF快30倍！4K4D:实时4K分辨率4D视图合成
文章链接：https://arxiv.org/pdf/2310.11448 git链接： https://zju3dv.github.io/4k4d/ 本文旨在实现动态3D场景在4K分辨率下的高保真和实时视图合成。最近，一些动态视图合成方法在渲染质量方面...
-
【三维重建】Pixel-GS:三维高斯泼溅的像素感知的梯度密度控制（去除浮点，提升精度）
项目：https://pixelgs.github.io/标题：Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting来源：香港大学；腾讯AI Lab...
-
本地运行 Llama 3.1 模型：综合指南,使用 Llama 3.1 Ollama 和 LM Studio构建应用程序(教程含程序)
简介 Llama 3.1 是 Meta 大型语言模型系列的最新版本，它已席卷 AI 界。凭借其出色的性能和开源特性，许多人都渴望在本地机器上利用其强大功能。本指南将引导您使用 Ollama 和 LM Studio 等流行工具在本地运行 Llama 3....
-
【三维AIGC】扩散模型LDM辅助3D Gaussian重建三维场景
标题：《Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models》 来源：Glasgow大学；爱丁堡大学 连接：https://arxiv.org/abs/2406.13099...
-
AIGC各个应用场景下的模型选择
需要注意的是，下述模型可以在不同任务和领域中灵活应用，它们的归属也会根据模型的设计和主要应用领域而有所变化，并不绝对。 自然语言处理模型 模型层中自然语言理解(Natural LanguageUnderstanding，NLU 和自然语言生成(N...
-
Llama模型家族之Stanford NLP ReFT源代码探索 （三）reft_model.py代码解析
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
高亮反光终结者？谷歌NeRF-Casting：光线追踪就能搞定！
NeRF不再“畏惧”近处高光反射 早期的NeRF变体使用多层感知器（MLPs）从三维坐标映射到体积密度和视点相关的颜色，但是表示详细的三维几何和颜色所需的大型MLPs训练和评估速度极慢。最近的工作专注于通过用类似体素网格的数据结构或网格和小型MLPs的组...
-
牛津大学最新 | 近400篇总结！畅谈大语言模型与三维世界最新综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 随着大型语言模型（LLM）的发展，它们与3D空间数据（3D LLM）之间的集成取得了快速进展，为理解物理空间和与物理空间交互提供了前所未有的能力。本文全面概述了LLM...
-
自动驾驶场景中的长尾问题怎么解决？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 昨天面试被问到了是否做过长尾相关的问题，所以就想着简单总结一下。 自动驾驶长尾问题是指自动驾驶汽车中的边缘情况，即发生概率较低的可能场景。感知的长尾问题是当前限制单车智能自动驾驶车辆运行设计域的主要原...
-
不止3D高斯！最新综述一览最先进的3D重建技术
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 基于图像的3D重建是一项具有挑战性的任务，涉及从一组输入图像推断目标或场景的3D形状。基于学习的方法因其直接估计3D形状的能力而受到关注。这篇综述论文的重点是最先进的...
-
告别3D高斯Splatting算法，带神经补偿的频谱剪枝高斯场SUNDAE开源了
本论文作者包括帝国理工学院硕士生杨润一、北航二年级硕士生朱贞欣、北京理工大学二年级硕士生姜洲、北京理工大学四年级本科生叶柏均、中国科学院大学本科大三学生张逸飞、中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）负责人赵健、清华大学智能产业研究...
-
LidaRF：研究用于街景神经辐射场的激光雷达数据（CVPR'24）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 光真实感模拟在自动驾驶等应用中发挥着关键作用，其中神经辐射场（NeRFs）的进步可能通过自动创建数字3D资产来实现更好的可扩展性。然而，由于街道上相机运动的高度共线性和在高速下的稀疏采样，街景的重建质...
-
一览Occ与自动驾驶的前世今生！首篇综述全面汇总特征增强/量产部署/高效标注三大主题
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 近年来，自动驾驶因其在减轻驾驶员负担和提高驾驶安全方面的潜力而越来越受到关注。基于视觉的三维占用预测是一种新兴的感知任务，适用于具有成本效益的自动驾驶感知系统，它可以...
-
史上最大重建25km²！NeRF-XL：真正有效利用多卡联合训练！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：NeRF-XL: Scaling NeRFs with Multiple GPUs 论文链接：https://research.nvidia.com/labs/toronto-ai/nerfx...
-
闭环永动机！NeuroNCAP：彻底打通端到端闭环仿真链路，已开源！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 本文提出了一种用于测试自动驾驶（AD）软件系统的多功能基于NeRF的仿真器，其设计重点是传感器真实闭环评估和安全关键场景的创建。仿真器从真实世界的驾驶传感器数据序列中...
-
Gaussian-LIC：首个多传感器融合3DGS-SLAM系统（浙大&TUM）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 多传感器与3DGS的结合 NeRF-based SLAM的隐式神经表示法需要基于3D空间中的采样进行计算密集型的体积渲染，从而削弱了SLAM应用所必需的实时能力。3DGS以其快速的渲染速度和优越的视觉...
-
模糊图像重建重大进展！DeblurGS：相机位姿不准也能极致渲染！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 尽管在从运动模糊图像中重建清晰的3D场景方面取得了重大进展，但向现实世界应用的过渡仍然具有挑战性。主要障碍源于严重的模糊，这导致通过“Structure-from-M...
-
CVPR 2024 | 巨幅提升24%！LiDAR4D会是LiDAR重建的答案么？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 尽管神经辐射场（NeRFs）在图像新视角合成（NVS）方面取得了成功，但激光雷达NVS的发展却相对缓慢。之前的方法follow图像的pipeline，但忽略了激光雷达...
-
“真假难辨”！巧用NeRF生成的自动驾驶仿真数据
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 神经辐射场（NeRF）已成为推进自动驾驶（AD）重新搜索的有前途的工具，提供可扩展的闭环模拟和数据增强功能。然而，为了信任模拟中获得的结果，需要确保AD系统以相同的方式...
-
【AIGC】2023年生成式AI发展综述
文章目录 一、文本生成 & 智能问答 二、AI绘画 三、音频生成 四、视频生成 五、三维生成 & 数字人 5.1 通用三维生成 5.2 数字人 展望：通用人工智能趋势 2023年是人工智能内容生成（AIGC）...
-
Stable Video 3D震撼登场：单图生成无死角3D视频、模型权重开放
Stability AI 的大模型家族来了一位新成员。 昨日，Stability AI 继推出文生图 Stable Diffusion、文生视频 Stable Video Diffusion 之后，又为社区带来了 3D 视频生成大模型「Stable Vi...
-
为自动驾驶而生，Lightning NeRF：速度提升10倍
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 最近的研究强调了NeRF在自动驾驶环境中的应用前景。然而室外环境的复杂性，加上驾驶场景中的视点受限，使精确重建场景几何体的任务变得复杂。这些挑战往往会导致重建质量下降...
-
2024年自动驾驶标注行业是否会被世界模型所颠覆？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 1.数据标注面临的问题(特别是基于BEV 任务） 随着基于BEV transformer 任务的兴起，随之带来的是对数据的依赖变的越来越重，基于BEV 任务的标注也变得越来越重要。目前来看无论是2D-...
-
Think2Drive：首个用于自动驾驶的基于模型的RL方法（上海交大）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 在CARLA v2中以专家级的熟练程度运行。 题目：Think2Drive: Efficient Reinforcement Learning by Thinking in Latent World...
-
解锁SLAM新纪元！基于NeRF和3D GS方法综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在过去的二十年里，SLAM领域的研究经历了重大的发展，突出了其在实现未知环境的自主探索方面的关键作用。这种演变从手工制作的方法到深度学习时代，再到最近专注于神经辐射场...
-
爆火Sora背后的技术，一文综述扩散模型的最新发展方向
为了使机器具有人类的想象力，深度生成模型取得了重大进展。这些模型能创造逼真的样本，尤其是扩散模型，在多个领域表现出色。扩散模型解决了其他模型的限制，如 VAEs 的后验分布对齐问题、GANs 的不稳定性、EBMs 的计算量大和 NFs 的网络约束问题。因...
-
大型多视角高斯模型LGM：5秒产出高质量3D物体，可试玩
为满足元宇宙中对 3D 创意工具不断增长的需求，三维内容生成（3D AIGC）最近受到相当多的关注。并且，3D 内容创作在质量和速度方面都取得了显著进展。 尽管当前的前馈式生成模型可以在几秒钟内生成 3D 对象，但它们的分辨率受到训练期间所需密集计算的限...
-
NeRF成为过去？三维重建迈向3D GS新时代！（复旦大学最新综述）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 3D Gaussian Splatting（3D-GS）已成为计算机图形学领域的一个重大进步，它提供了明确的场景表示和新颖的视图合成，而不依赖于神经网络，如神经辐射场...
-
AIGC音视频工具分析和未来创新机会思考
编者按：相较于前两年，2023年音视频行业的使用量增长缓慢，整个音视频行业遇到瓶颈。音视频的行业从业者面临着相互竞争、不得不“卷”的状态。我们需要进行怎样的创新，才能从这种“卷”的状态中脱离出来？LiveVideoStack 2023上海站邀请到了P...
-
《杭州新闻联播》首推全AI主持播报：表情生动、肢体自然
快科技2月12日消息，据杭州电视台官方公众号杭州综合频道”介绍，《杭州新闻联播》甲辰龙年上新两位新主播小雨、小宇。 这两位主播已经在年初一和年初二的节目中登场，TA们是杭州文广集团短视频AI生产实验车间开发生产的AI数字主播，以两位真人主播雨辰、麒宇为蓝本...
-
AI工具（20240116）：Copilot Pro，Fitten Code等
Copilot Pro Copilot Pro是微软推出的Copilot的付费增强版本,通过提供优先访问GPT-4等最新AI模型,大大提升用户的创造力和工作效率。该服务可与Microsoft 365订阅捆绑使用,支持在Word、Excel等Offic...
-
OccNeRF：完全无需激光雷达数据监督
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人总结 近年来，3D 占据预测（3D Occupancy Prediction）任务因其独特的优势获得了学界及业界的广泛关注。3D 占据预测通过重建周围环境的 3D 结构为自...
-
AI读心术再升级！一副眼镜直接控制波士顿机器狗，脑控机器人成真
还记得之前的AI读心术吗？最近，「心想事成」的能力再次进化， ——人类可以通过自己的想法直接控制机器人了！ 来自麻省理工的研究人员发表了Ddog项目，通过自己开发的脑机接口（BCI）设备，控制波士顿动力的机器狗Spot。 狗狗可以按照人类的想法，移动到特...
-
从0开始用 PyTorch 构建完整的 NeRF
本文经自动驾驶之心公众号授权转载，转载请联系出处。 在解释代码之前，首先对NeRF（神经辐射场）的原理与含义进行简单回顾。而NeRF论文中是这样解释NeRF算法流程的： “我们提出了一个当前最优的方法，应用于复杂场景下合成新视图的任务，具体的实现原理是...
-
网大为卸任腾讯CXO；Midjourney 1 月训练视频模型；2023年马斯克赚了7700亿
投融资 • 2023 年大型科技公司在生成式 AI 初创企业上的投资远超风险投资集团 • 恒信东方与无锡政府合作成立布局 MR/XR 技术及 3D 数字资产 AIGC 产业投资基金 • 新公司法完善注册资本认缴登记制度 • 网大为卸任腾讯CXO，曾促成...
-
首个环视世界模型DrivingDiffusion: BEV数据和仿真新思路！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 笔者的一些个人思考 在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面： 不同维度...
-
自动驾驶仿真大观！一起聊聊自动驾驶仿真这个行当！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 今天将由我来为大家浮光掠影地介绍一下自动驾驶仿真这个行当。 首先说为什么自动驾驶需要仿真。几年前看非诚勿扰，嘉宾黄澜表示要有2/3的人接受自动驾驶她才会接受，体现了普通群众对于自动驾驶安全性的关注。而...
-
画个框、输入文字，面包即刻出现：AI开始在3D场景「无中生有」了
现在，通过文本提示和一个2D 边界框，我们就能在3D 场景中生成对象。 看到下面这张图了没?一开始，盘子里是没有东西的，但当你在托盘上画个框，然后在文本框中输入文本「在托盘上添加意大利面包」，魔法就出现了:一个看起来美味可口的面包就出现在你的眼前。 房间...
-
PRISMA官网体验入口 AI图像视频后期处理怎么使用
PRISMA是一个计算摄影管道，可以从任何图像或视频中执行多种推断。就像光线通过棱镜折射成不同的波长一样，这个管道将图像扩展成可用于3D重建或实时后期处理操作的数据。它结合了不同的算法和开源的预训练模型，比如单目深度(MiDAS v3.1， ZoeDept...
-
大模型时代下AIGC新浪潮
大模型时代下AIGC新浪潮 文章目录 大模型时代下AIGC新浪潮 1. **相关概念** 2. **迎接大模型时代** 3. **ChatGPT引爆AIGC产业** 4. **从产业链宏观看AIGC** 1. **上游：基础层**...
-
全新免费编程神器！比Copilot快两倍，准确率高20% | 非十科技发布
一款国产编程神器，秒杀了微软GitHub Copilot。 有多快？ 比GitHub Copilot快两倍的同时，准确度还提高了约20%。 不仅如此，在做到“快”、“准”的情况下，功能上也是比较全面，包括： 代码自动补全、自然语言生成代码、自动添加注释、...
-
开始弃用NeRF？为什么Gaussian Splatting在自动驾驶场景如此受欢迎？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 三维 Gaussian splatting（3DGS）是近年来在显式辐射场和计算机图形学领域出现的一种变革性技术。这种创新方法的特点是使用了数百万个3D高斯，这与神经...
-
视觉高精地图构建的全面回顾！一起看看无图感知都有哪些落地方案（清华&滴滴）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 近年来，自动驾驶受到越来越多的关注，高精地图成为自动驾驶技术的关键组成部分。这些地图提供了道路网络的复杂细节，并作为车辆定位、导航和决策等关键任务的基本输入。鉴于视觉...
-
GauHuman开源：基于Gaussian Splatting，高质量3D人体快速重建和实时渲染框架
论文名称：GauHuman: Articulated Gaussian Splatting from Monocular Human Videos 论文下载地址：https://arxiv.org/abs/2312.02973 项目主页：https...
-
一部iPhone实时渲染300平房间，精度达厘米级别！谷歌最新研究证明NeRF没死
3D实时渲染大型场景，一台电脑，甚至一部手机就可以完成。 从家里的客厅到主卧，储物间，厨房，卫生间各个死角，都能逼真在电脑中完成渲染，如同拍摄实物视频一般。 而且，你还可以在一台iPhone上完成复杂场景渲染。 来自谷歌、谷歌DeepMind和图宾根...
-
1张图2分钟转3D！纹理质量、多视角一致性新SOTA｜北大出品
只需两分钟，玩转图片转3D！ 还是高纹理质量、多视角高一致性的那种。 不管是什么物种，输入时的单视图图像还是这样婶儿的： 两分钟后，3D版大功告成： △上，Repaint123（NeRF）；下，Repaint123（GS） 新方法名为Repaint...
-
超逼真！实时高质量渲染，用于动态城市场景建模的Street Gaussians
本文经自动驾驶之心公众号授权转载，转载请联系出处。 不得不说，技术更新太快了，Nerf在学术界慢慢被替换下去了。Gaussians登场了，浙江大学的工作 论文：Street Gaussians for Modeling Dynamic Urban Sc...
-
李飞飞团队新作：AI透视眼，穿越障碍看清你，渲染遮挡人体有新突破了
AR/VR 、电影和医疗等领域都在广泛地应用视频渲染人类形象。由于单目摄像头的视频获取较为容易，因此从单目摄像头中渲染人体一直是研究的主要方式。Vid2Avatar、MonoHuman 和 NeuMan 等方法都取得了令人瞩目的成绩。尽管只有一个摄...
-
AI研究也能借鉴印象派？这些栩栩如生的人竟然是3D模型
在 19 世纪，印象主义的艺术运动在绘画、雕塑、版画等艺术领域盛行，其特点是以「短小的、断断续续的笔触，几乎不传达形式」为特征，就是后来的印象派。简单来说印象派笔触未经修饰而显见，不追求形式的精准，模糊的也合理，其将光与色的科学观念引入到绘画之中，革新...
-
LangSplat官网体验入口 AI 3D场景构建软件工具免费下载地址
LangSplat是一款利用CLIP语言嵌入映射到3D高斯分布的工具，用于构建3D语言场景并实现对3D场景的开放词汇量查询。它提高了处理效率，避免了NeRF中的昂贵渲染过程，并且学习到的语言特征能精确捕捉对象边界，提供精确的3D语言场景，无需后处理。Lan...