-
Sora AIGC 介绍
Sora的概念介绍: 近年来,AI、大模型相关领域的发展可谓是一天一个脚印,一步一个台阶。从语音识别文字开始,再到chatgpt3、chatgpt4文字互动工具,以及midjourney等AI成图工具,再到现在的vison pro等VR交互设备和今天我们...
-
Runway正式发布全新Gen3模型,AI视频的王,它回来了。
在AI视频被一众新秀,比如Sora、Luma、可灵等等占据注意力的时候,已经有人忘了AI视频领域统治了N久的王者,他叫Runway。 去年的11月份更新了一次Gen2模型模型,然后宣布他们要开始组团队开始进军世界模型之后。 他们就再无动静了。 一晃眼,将...
-
Lumal AI文生视频模型Dream Machine使用教程(附Lum AI官网入口)
知名的3D建模平台Luma AI推出了个相当惊艳的文生视频模型Dream Machine,不仅操作简单,其效果堪比Sora。只要输入关键词就能生成 5 秒高质量的视频,具有出色的动作连贯性和视觉效果。本文将为大家...
-
超越ORB-SLAM3!SL-SLAM:低光、严重抖动和弱纹理场景全搞定
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面 今天我们探讨下深度学习技术如何改善在复杂环境中基于视觉的SLAM(同时定位与地图构建)性能。通过将深度特征提取和深度匹配方法相结合,这里介绍了一种多功能的混合视觉SLAM系统,旨在提高在诸如低...
-
LidaRF:研究用于街景神经辐射场的激光雷达数据(CVPR'24)
本文经自动驾驶之心公众号授权转载,转载请联系出处。 光真实感模拟在自动驾驶等应用中发挥着关键作用,其中神经辐射场(NeRFs)的进步可能通过自动创建数字3D资产来实现更好的可扩展性。然而,由于街道上相机运动的高度共线性和在高速下的稀疏采样,街景的重建质...
-
模糊图像重建重大进展!DeblurGS:相机位姿不准也能极致渲染!
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 尽管在从运动模糊图像中重建清晰的3D场景方面取得了重大进展,但向现实世界应用的过渡仍然具有挑战性。主要障碍源于严重的模糊,这导致通过“Structure-from-M...
-
聊聊视觉惯性里程计的IMU预积分模型
为什么工程实践中我们使用视觉与IMU融合的解决方案即视觉惯性里程计(VIO)来估计运动而不是简单地使用视觉里程计(VO)。视觉惯性里程计的传感器主要包括相机和惯性测量单元(IMU)两种传感器各有优缺点,VIO的优势就在于IMU与相机的互补性。 视觉传感器...
-
【AIGC-图片生成视频系列-3】AI视频随心而动:MotionCtrl的相机运动控制和物体运动控制
目录 一. 项目简介 二. 主要贡献 三. 摘要 四. 实现方法和管线 五. 基于 LVDM [1] / VideoCrafter1 [2]的结果 (A 相机运动控制 (B 物体运动控制 (C 相机+物体运动控制 (D 与Vide...
-
从20亿数据中学习物理世界,基于Transformer的通用世界模型成功挑战视频生成
建立会做视频的世界模型,也能通过Transformer来实现了! 来自清华和极佳科技的研究人员联手,推出了全新的视频生成通用世界模型——WorldDreamer。 它可以完成自然场景和自动驾驶场景多种视频生成任务,例如文生视频、图生视频、视频编辑、动作序...
-
UC伯克利DeepMind等联合发布真实世界模拟器,打破虚实边界
真实世界模拟器来啦! 还在发愁训练出的大模型无法适应真实的物理世界吗? AI Agent想要进入我们的生活还有多远的距离? ——UC伯克利、谷歌DeepMind、MIT和阿尔伯塔大学的研究人员告诉你答案。 在NeurlPS 2023上,研究人员将展示他们...
-
Runway Gen2:AI视频制作的顶尖模型
介绍Runway Gen2 Runway的Gen2模型被认为是AI视频制作的顶尖模型。它制作出来的视频效果逼真、流畅、高清。虽然是付费服务,但相比那些闪烁的AI视频,付费是有道理的。 访问Runway Gen2 要访问Runway Gen2,有两种方法...
-
自动驾驶系统中相机相对地面的在线标定
本文经自动驾驶之心公众号授权转载,转载请联系出处。 文章:Online Camera-to-ground Calibration for Autonomous Driving 作者:Binbin Li, Xinyu Du, Yao Hu, Hao Yu...