-
LangSplat官网体验入口 AI 3D场景构建软件工具免费下载地址
LangSplat是一款利用CLIP语言嵌入映射到3D高斯分布的工具，用于构建3D语言场景并实现对3D场景的开放词汇量查询。它提高了处理效率，避免了NeRF中的昂贵渲染过程，并且学习到的语言特征能精确捕捉对象边界，提供精确的3D语言场景，无需后处理。Lan...
-
浙大研究团队推新AI框架Human101:单视角视频构就能重建3D数字人
在虚拟现实领域，快速创建定制虚拟人物并实现与其互动是一个普遍的应用场景。然而，以往的方法在快速重建高保真3D数字人体和实时渲染之间往往难以平衡。在这项研究中，提出了Human101，这是一个新颖的框架，能够在仅一视角视频中以100秒的训练时间生成高保真的动...
-
用扩散模型监督NeRF，清华文生3D新方法成新SOTA
用文字合成3D图形的AI模型，又有了新的SOTA！ 近日，清华大学刘永进教授课题组提出了一种基于扩散模型的文生3D新方式。 无论是不同视角间的一致性，还是与提示词的匹配度，都比此前大幅提升。 图片 文生3D是3D AIGC的热点研究内容，得到了学术界和工...
-
数据闭环！DrivingGaussian：逼真环视数据，驾驶场景重建SOTA
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 北大王选计算机研究所的最新工作，提出了DrivingGaussian，一个高效、有效的动态自动驾驶场景框架。对于具有移动目标的复杂场景，首先使用增量静态3D高斯对整个...
-
什么？NeRF还能提升BEV泛化性能！首个BEV跨域开源代码并首次完成Sim2Real！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人总结 鸟瞰图(Bird eye's view, BEV 检测是一种通过融合多个环视摄像头来进行检测的方法。目前算法大部分算法都是在相同数据集训练并且评测，这导致了这些算法过...
-
纯小白入门，开山之作NeRF学习笔记！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 神经辐射场究竟是什么 辐射场：由光源发出的光线在场景中的传播和反射过程中所形成的能量分布。通俗来说就是一个函数，记录了空间某个位置处向某个方向的辐射信息，辐射信息（或者说能量分布）其实就是颜色、亮度、...
-
史上最快3D数字人生成器：半小时完成训练，渲染仅需16毫秒，苹果出品
之前要两天才能训练好的数字人，现在只用半小时就能完成了！ 到了推理阶段，更是只要16毫秒，就能得到动作流畅、细节到位的场景视频。 而且无需复杂的采样和建模，只要随便拍一段50-100帧的视频就足够了，换算成时间不过几秒钟。 这正是由苹果联合德国马普所推出...
-
只需一张图片、一句动作指令，Animate124轻松生成3D视频
近一年来，DreamFusion 引领了一个新潮流，即 3D 静态物体与场景的生成，这在生成技术领域引发了广泛关注。回顾过去一年，我们见证了 3D 静态生成技术在质量和控制性方面的显著进步。技术发展从基于文本的生成起步，逐渐融入单视角图像，进而发展到整合...
-
逆天！真实可控、可拓展，自动驾驶仿真平台LightSim上新
最近，来自 Waabi AI、多伦多大学、滑铁卢大学和麻省理工的研究者们在 NeurIPS 2023 上提出了一种全新的自动驾驶光照仿真平台 LightSim。研究者们提出了从真实数据中生成配对的光照训练数据的方法，解决了数据缺失和模型迁移损失的问题。L...
-
AIGC产业研究报告2023——三维生成篇
定义 人工智能三维生成是指利用深度神经网络学习并生成物体或场景的三维模型，并在三维模型的基础上将色彩与光影赋予物体或场景使生成结果更加逼真。在应用中，生成物体或场景的三维模型称为三维建模，生成三维模型的色彩与光影称为三维渲染。 主要类型 三维生成...
-
AI视野：OpenAI否认即将发布GPT-4.5；Stability AI推出新会员模式；DomoAI支持视频一键转动漫；阿里I2VGen-XL模型代码公布
???AI新鲜事 OpenAI否认即将发布GPT-4.5 OpenAI CEO Sam Altman在Reddit上辟谣称公司未计划发布GPT-4.5，否认最新语言模型的泄露，截图显示为虚假信息。 OpenAI新研究:GPT-2能监督GPT-4 研究发现...
-
真实、可控、可拓展，自动驾驶光照仿真平台LightSim上新了
最近，来自 Waabi AI、多伦多大学、滑铁卢大学和麻省理工的研究者们在 NeurIPS 2023 上提出了一种全新的自动驾驶光照仿真平台 LightSim。研究者们提出了从真实数据中生成配对的光照训练数据的方法，解决了数据缺失和模型迁移损失的问题。L...
-
随意指定CLIP关注区域！上交复旦等发布Alpha-CLIP：同时保持全图+局部检测能力
CLIP是目前最流行的视觉基座模型，其应用场景包括但不限于： 与LLM大语言模型结合成为视觉多模态大模型； 作为图像生成(Stable Diffusion 、点云生成(Point-E 的condition model，实现image-to-3D； 用于...
-
RayDF：实时渲染！基于射线的三维重建新方法
本文经自动驾驶之心公众号授权转载，转载请联系出处。 图片 论文链接：https://arxiv.org/pdf/2310.19629 代码链接：https://github.com/vLAR-group/RayDF 主页：https://vlar-gro...
-
分分钟将图像转换成3D模型
译者 | 布加迪 审校 | 重楼 法国LIGM实验室的研究人员已开发了一种新颖的技术，可以由真实场景周围捕获的图像集合快速创建高度逼真的3D网格模型。他们的方法被称为SuGaR，通过以一种独特的方式采用神经表示和计算几何技术，可以在短短几分钟内重新构建...
-
HumanGaussian开源：基于Gaussian Splatting，高质量 3D 人体生成新框架
在 3D 生成领域，根据文本提示创建高质量的 3D 人体外观和几何形状对虚拟试穿、沉浸式远程呈现等应用有深远的意义。传统方法需要经历一系列人工制作的过程，如 3D 人体模型回归、绑定、蒙皮、纹理贴图和驱动等。为了自动化 3D 内容生成，此前的一些典型工作...
-
五官乱飞，张嘴、瞪眼、挑眉，AI都能模仿到位，视频诈骗要防不住了
防不住，根本防不住，现在 AI 模仿能力已经发展到这种程度了？ 你前脚让自己的五官乱飞，后脚，一模一样的表情就被复现出来，瞪眼、挑眉、嘟嘴，不管多么夸张的表情，都模仿的非常到位。 加大难度，让眉毛挑的再高些，眼睛睁的再大些，甚至连嘴型都是歪的，虚拟人物...
-
让3D编辑像PS一样简单，新算法GaussianEditor在几分钟内完成3D场景增删改
3D 编辑在游戏和虚拟现实等领域中发挥着至关重要的作用，然而之前的 3D 编辑苦于耗时间长以及可控性差等问题，很难应用到实际场景。近日，南洋理工大学联合清华和商汤提出了一种全新的 3D 编辑算法 GaussianEditor，首次实现了在 2-7 分钟完...
-
NeuRAD: 用于自动驾驶的神经渲染（多数据集SOTA）
论文"NeuRAD: Neural Rendering for Autonomous Driving"，来自Zenseact，Chalmers科技大学，Linkoping大学和Lund大学。 神经辐射场（NeRF）在自动驾驶（AD）社区中越来越受欢迎。最...
-
一种新型的NeRF技术可以将视频转换成易于控制的3D模型
译者 | 布加迪 审校 | 重楼 由于人体运动的复杂性和外观在不同环境下的细微差异，由视频片段创建逼真的动画3D模型一直是计算机图形学领域面临的长期挑战。在过去，这个过程依赖成本高昂的劳动密集型技术，比如多摄像头装置和详细的手动建模，因而无法用于普通或...
-
Stable Diffusion - 常用的负向提示 Embeddings 解析与 坐姿 (Sitting) 提示词
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/132145248 负向 Embeddings 是用于提高 Stable...
-
单个A100生成3D图像只需30秒，这是Adobe让文本、图像都动起来的新方法
2D 扩散模型极大地简化了图像内容的创作流程，2D 设计行业也因此发生了变革。近来，扩散模型已扩展到 3D 创作领域，减少了应用程序（如 VR、AR、机器人技术和游戏等）中的人工成本。有许多研究已经对使用预训练的 2D 扩散模型，生成具有评分蒸馏采样（S...
-
[综述] Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era
论文｜ 改文章是23年5月27日挂在arxiv上，本文重点关注4.1节Text Guided 3D Avatar Generation、4.4节Text Guided 3D Shape Transformation和第5章Discussion Tex...
-
探寻人工智能前沿 迎接AIGC时代——CSIG企业行（附一些好玩的创新点）
上周我有幸参加了由中国图像图形学会和合合信息共同举办的CSIG企业行活动。 这次活动邀请了多位来自图像描述与视觉问答、图文公式识别、自然语言处理、生成式视觉等领域的学者，他们分享了各自的研究成果和经验，并与现场观众进行了深入的交流和探讨。干货多多...
-
一文盘点2023人工智能进展，不止大模型而已
2023年大模型千帆竞发，除此外AI领域还有哪些新突破？ 来来来，畅销书《Python机器学习》作者Sebastian Raschka的年末总结已经准备好了。 看完才知道： RLHF今年虽然爆火，但实打实用到的模型并不多，现在还出现了替代方案，有望从开...
-
NeRF与自动驾驶的前世今生，近10篇论文汇总！
神经辐射场（Neural Radiance Fields）自2020年被提出以来，相关论文数量呈指数增长，不但成为了三维重建的重要分支方向，也逐渐作为自动驾驶重要工具活跃在研究前沿。 NeRF这两年异军突起，主要因为它跳过了传统CV重建pipeline的...
-
UniPAD：通用自动驾驶预训练模式！各类感知任务都可支持
本文经自动驾驶之心公众号授权转载，转载请联系出处。 最近，新论文推陈出新的速度着实太快有点读不过来的感觉。可以看到的是，语言视觉多模态大模型融合已经是业界共识了，UniPad 这篇文章就比较有代表性，多模态的输入，类世界模型的预训练基座模型，同时又方便扩...
-
DirectShow流媒体数据的采集及图片的捕获
DirectShow位于应用层中。它使用一种叫Filter Graph的模型来管理整个数据流的处理过程；参与数据处理的各个功能模块叫Filter；各个Filter 在Filter Graph中按一定的顺序连接成一条“流水线”协同工作。按照功能来分，...
-
AI「脑补」画面太强了！李飞飞团队新作ZeroNVS，单个视图360度全场景生成
近来，利用3D感知扩散模型训练模型，然后对单个物体进行SDS蒸馏的研究数不胜数。 但是，能够真正做到「场景级」的画面生成，从未实现。 现如今，斯坦福李飞飞和谷歌团队打破了这个记录！ 比如，输入一张从某个角度拍摄的客厅图片，整个客厅的样貌就出来了。 再来...
-
Luma AI发布Discord机器人Genie，实现文本生成3D模型
硅谷初创公司 Luma AI 专注于将 AI 技术与3D 内容相结合，例如从智能手机视频中生成 NeRF 或其他3D 格式。现在，该公司发布了一个名为 Genie 的 Discord 机器人，用于生成文本到3D。 它可以从文本提示中生成3D内容，并在约20...
-
独家 | GPT-4、Midjourney之外，谭平创业团队要造一个3D基础模型
前段时间，OpenAI 发布了文生图模型 DALL・E3，生成效果非常惊艳。比如，你可以让它一次画出几十个物体，然后再要求它把这些物体全部放到一个冲浪者的背上: 可以看到，DALL・E3不仅画出了足量的物体，就连冲浪者面对重压时的神情都刻画了出来。 但细心...
-
GPT-4、Midjourney之外，谭平创业团队要造一个3D基础模型
前段时间，OpenAI 发布了文生图模型 DALL・E 3，生成效果非常惊艳。比如，你可以让它一次画出几十个物体，然后再要求它把这些物体全部放到一个冲浪者的背上： 可以看到，DALL・E 3 不仅画出了足量的物体，就连冲浪者面对重压时的神情都刻画了...
-
首个多视角自动驾驶场景视频生成世界模型 | DrivingDiffusion: BEV数据和仿真新思路
笔者的一些个人思考 在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面： 不同维度上的长尾场景：如障碍物数据中近距离的车辆以及切车过程中...