当前位置:AIGC资讯 > AIGC > 正文

每日AIGC最新进展(35):字节跳动提出人物肖像动画X-Portrait、字节跳动提出组合式视频编辑Edit3K、东华大学提出基于GCN的草图建模方法DC-gra2seq

Diffusion Models专栏文章汇总:入门与实战

X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention

X-Portrait是由字节跳动美国团队开发的创新条件扩散模型,专门用于生成富有表现力且时间连贯的肖像动画。该技术能够根据单一肖像图像作为外观参考,结合驱动视频中的动作,捕捉高度动态和微妙的面部表情以及广泛的头部运动。X-Portrait的核心是一个预训练的扩散模型,作为渲染骨干,同时在ControlNet框架内通过新颖的控制信号实现精细的头部姿势和表情控制。与传统的基于面部标志点的粗略显式控制相比,X-Portrait的运动控制模块能够直接从原始驱动RGB输入中解释动态,并通过基于补丁的局部控制模块增强对小规模细节(如眼球位置)的运动注意力。

X-Portrait通过使用跨身份图像对运动控制模块进行训练,有效减少了驱动信号中的身份泄露,确保

总结

**标题**:
X-Portrait:革新盎然的人像动画制作
**正文**:
在深度学习领域,尤其是多媒体技术飞速发展的今天,我们迎来了一个引人注目的创新模型——X-Portrait。此模型是字节跳动美国团队精心研发的成果,其在人脸动画制作领域展现了极高的优越性和实用性。X-Portrait不仅仅是一个模型,更是一种全新的动画生成技术,它将单一的肖像图像与动态的视频驱动相结合,从而创作出富有表现力且时间流畅的肖像动画。
这项技术别具一格之处在于其的高度动态和细腻性。它能够捕捉到复杂的面部表情变化和广泛的头部动态,提供的不仅仅是生硬的面部标志点控制,而是真正模拟人类表情变化的细致入微。X-Portrait在ControlNet框架下,得以通过新颖的控制信号来精确调控头部姿势和表情。这种控制方法摆脱了传统的基于面部标志点的粗略显式控制,能够直接从驱动RGB图像中解读动态,通过高级的局部控制模块增强对微小细节的捕捉与表达,例如眼球位置的精确把控。
特别值得一提的是,X-Portrait为了确保动画生成中驱动信号与特定身份的无缝融合,采用了跨身份图像对运动控制模块进行训练。这一策略有效地抑制了潜在的驱动信号中的身份泄露风险,保证了生成动画的连续性与一致性。
综上所述,X-Portrait以其出类拔萃的技术性能和广泛应用前景,为未来的人像动画制作领域点燃了新的火花,值得所有对这一领域感兴趣的同人持续关注与深入研究。

更新时间 2024-07-16