近期话题热度拉满的《幻兽帕鲁》AI抄袭瓜,想必各位一线冲浪玩家已经略有耳闻了。
背后最大的争议之一在于,无经验的小团队快速开发出3D游戏大作,遥遥领先以往同类项目的生产力。
多方争议之下,《幻兽帕鲁》AI抄袭瓜尚无定论。
但3D内容制作确实正变得前所未有的简单。
一部手机,一句文字提示,10秒内生成四个皮卡丘3D模型。
提示词:Pikachu holds a pot of cacti
传统3D模型制作涉及美术、建模、动画,甚至编程等多种专业技能,整个过程既耗时又费力。
如今,无需专业团队加持,人人都能发挥想象力,打造专属的虚拟手办。
以上文生3D效果图均来自Luma AI。前段时间,Luma AI正式发布文生3D模型:Genie,将3D模型生成时间降至10秒以内,为了方便用户使用,还提供手机端、网页端和Discord等三种体验途径。(体验链接已放在文末,欢迎自取)
之于专业人士,AI生成3D模型可以无缝衔接到已有的工作流中。
而对于从未接触过3D建模的普通玩家,Luma AI除了能丝滑生成可供拖拽“把玩”的赛博手办,还支持3D重建现实中的场景和物体,成了Ins网红、甚至明星MV酷炫镜头生成的绝佳利器。
Instagram(以下简称Ins)上拥有百万粉丝的华裔博主“Karen X Cheng”利用Luma AI的3D重建功能制作的希区柯克变焦镜头🔽
春节回家,不妨叫上全家人一起拍“子弹时间”🔽
航拍镜头也不在话下🔽
英国流行乐团One Direction前成员Zayn发布的单曲《Love Like This》MV中应用了大量Luma AI生成的3D酷炫镜头,增强镜头与镜头之间的张力🔽
“Luma APP每天都有数千名KOL和视频制作者使用,我觉得这是我们的主要优势。”据Luma AI增长负责人Barkley Dai介绍,如今Luma的3D重建功能已经大规模被应用到社交媒体平台的视频创作中。
许多创作者会用Luma AI来捕捉3D场景,并将生成的3D重建视频发布在Instagram或TikTok上,吸引了不少网友跟风尝试。
近期使用Luma AI打造的3D重建视频在Ins上最受欢迎的是航拍镜头,最高的一支视频播放量超430万,收获点赞破31万。
既能用嘴指挥AI高效生成3D模型,又能打造酷炫镜头利好视频创作者,Luma AI真有那么好用吗?结合网友经验,从3D重建到文生3D,“头号AI玩家”进行了一番实测。
如何用3D重建,
打造一个酷炫镜头?
以Karen X Cheng打造的“3D版希区柯克变焦”为例,过去这种创意镜头依靠的是拍摄过程中同时移动摄影机和改变镜头焦距来实现的,传统拍摄需要调用大量人力物力。
《大白鲨》中著名的希区柯克变焦镜头拍摄现场
随着现代剪辑工具成熟,虽然希区柯克变焦也能通过设置关键帧的方式用剪映、Adobe Premiere、FCPX等剪辑软件制作。
但在数字内容创意博主Karen X Cheng手中,利用3D这种创新形式打造出来的希区柯克变焦镜头,不仅视觉效果冲击力强,运镜自由度也更高。
具体操作步骤如下:
首先,拍摄对象在画面中保持相对静止,用手机拍一个短视频,捕捉拍摄对象的前后方区域。
接着,把视频上传到Luma AI手机端应用中,基于NeRF和Gaussian Splatting(高斯扩散法)技术原理,对视频进行3D优化重建。
等待视频3D重建好后,点击界面中的“Reshoot(重拍)”,即可进入编辑页面。
在“头号AI玩家”的实测中,14秒的视频3D重建大约需要等待30分钟。
“Reshoot”功能位于界面右上方
但好在视频上传后会自动在云端同步,网页和手机APP都支持视频编辑。等待过程中,你也无需保持在线状态。换句话说,你可以关闭页面,或者同时上传其他视频,都不受影响。
为了做出希区柯克变焦镜头,Karen X Cheng通过打关键帧的方式,拉远镜头,并利用Luma发布的新功能“focal length”改变焦距,保持拍摄对象在画面中的大小始终不变。
这一步骤中,如果你无法确保拍摄对象在画面中大小不变,可以参考Karen X Cheng提供的小技巧:在显示器上贴便利贴,从而固定拍摄对象在画面中的大小。
根据以上步骤,“头号AI玩家”也整活了一版视频。整个过程可以说“有手就行”,通过手指拖拉视频,即可改变被摄对象的大小、远近和观看视角。
第二个关键帧推进镜头的同时,改变焦距,保持拍摄对象与第一个关键帧中所占的画面大致一致,一个粗糙但不失“那味儿”的希区柯克变焦镜头就诞生了。
像Ins上走红的无人机视角、360°运镜效果等创意镜头,相比起希区柯克变焦,制作步骤大同小异。
因为无需设置关键帧,制作上反而更简单,只需围绕被摄对象拍摄一周即可。
无人机航拍镜头,处理时点击Luma内置的“AR”功能🔽
当然,为了生成的3D重建视频效果更好,Luma官方建议尽可能多地用不同视角捕捉对象或场景,例如俯拍或仰拍被摄对象。
拍摄幕后🔽
文生3D,Luma AI表现如何?
如前文提及,Luma AI文生3D功能可以通过网页、手机应用或Discord进行体验。
实测下来,网页版的用户界面更简洁,且方便操作,学习成本最低。
进入Luma AI文生3D网页,你会看见各式各样的物体和形象,点击就可以看见生成它们所使用的提示词。这个设计纯属意外之喜,或许可以把它视为一种高级的新手引导教程。
当然正如AI圈广为流传的那个梗,现在很多AI公司的核心竞争力在于画PPT。
用同一句提示词,官方推荐的3D模型 VS 我生成的3D模型
可以明显看到,我复刻的3D模型不仅边缘光滑度不如“正主”,整体细节处理也差强人意。
而10秒内快速生成3D模型,也指的是较为粗糙的低清版预览。你需要从四个预览模型中,选出一个进行自定义优化操作。
进入编辑页面,从上到下,分别为修改材质、提升分辨率、更换模型,以及导出不同清晰度和格式的模型,方便与其他3D编辑软件无缝对接。
AIGC在不同内容形式上的应用,3D内容是一个特别的存在。
3D内容生产一直离普通大众很遥远。与图文、视频等更易于大众接触和创作的内容形式相比,传统3D领域迟迟没有一款足够“傻瓜”的产品,让大众能够轻松地参与到3D内容的生产和消费中。
可以说,无论是交互界面还是生成时间,Luma AI在产品易用性上给足了惊喜。
其中,生成时间算是取巧,通过快速给出4个低清版预览让用户选择,不仅让使用体验更有仪式感,更降低了新手尝试的心理负担。
3D生成模型实际并不少。除了学术界对各种先进模型方法的研究,业界巨头谷歌、英伟达、Adobe都先后入局,AI领域头部公司OpenAI、Stability AI也相继推出Point-E、Stable Zero123等文生3D模型。
其中英伟达参与了Luma AI多轮融资。
初创公司方面,据我们观察,更有Meshy、VAST等玩家崭露头角。去年8月,“头号AI玩家”也整理过一批高质量、免费可用的3D建模AI工具。
对专业创作者来说,文生3D是提效的工具,但要商业化落地仍免不了大量人工细节调优。
对普通用户来说,文生3D模型现阶段只是批量生产“手办”的玩具,且这些“手办”质量参差不齐,有些还见不得光。
献丑了,用Luma AI生成的塞尔达公主,仿佛回到早期文生图时代
也因此3D赛道一直很卷,大众讨论度却不高。
Luma AI选择另辟蹊径。
“我们希望通过3D重建和3D生成这两方面的探索,让3D成为一种更直接、更沉浸式的内容和表达的形式,寻找它的适合的使用场景,让它成为一种像短视频一样的大众化的内容消费形式……”Luma AI增长负责人Barkley Dai在一次采访中如此说道。
与3D生成相比,3D重建更侧重于现实场景和物体的真实复现。如今,这一技术在Ins、TikTok等平台上深受博主和视频创作者青睐,其中有品牌推广也有为爱发电,带火了Luma AI甚至3D内容在大众消费市场的初步应用和普及。
未来可期。
产品入口:https://top.aibase.com/tool/luma-ai