magic-animate
论文
MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model
https://arxiv.org/pdf/2311.16498.pdf模型结构
如图所示，该模型的输入为reference image（该图像为参考图片），DensePose sequence（目标动作），noisy latents（随机初始化的噪声，长度与DensePose一致）。Appearance Encoder的作用是提取reference image的特征，ControlNet的作用是提取动作特征，Temporal Attention插入2D-Unet使其变为3D-Unet。
算法原理
用途：该算法可以使图像中人物按照给定动作"动起来"。
原理：
1.时序一致性：在原先的2D-Unet中插入时序注意力层使其变为3D-Unet，将图像领域的扩散模型扩展至视频领域。
2.参考图片特征提取：具有改进的身份和背景保留功能，以增强单帧保真度和时间连贯性。
3.图片-视频联合训练：与图像数据集相比，视频数据集在身份、背景和姿势方面的规模要小得多，且变化更少，限制了动画框架有效学习参考条件的能力，使用联合训练，可以缓解该问题。
4.视频融合：将视频重叠的部分求平均
环境配置
Docker（方法一）
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.13.1-centos7.6-dtk-23.04.1-py39-latest
docker run --shm-size 10g --network=host --name=magic_animate --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v 项目地址(绝对路径):/home/ -it <your IMAGE ID> bash
pip install -r requirements.txt
Docker（方法二）
# 需要在对应的目录下
docker build -t <IMAGE_NAME>:<TAG> .
# <your IMAGE ID>用以上拉取的docker的镜像ID替换
docker run -it --shm-size 10g --network=host --name=magic_animate --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined <your IMAGE ID> bash
pip install -r requirements.txt
Anaconda (方法三)
1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装： https://developer.hpccube.com/tool/
DTK驱动：dtk23.04.1
python：python3.9
torch:1.13.1
torchvision:0.14.1
torchaudio:0.13.1
deepspeed:0.9.2
apex:0.1
Tips：以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应
2、其它非特殊库参照requirements.txt安装
pip install -r requirements.txt
数据集
无
推理
模型下载地址：
MagicAnimate - https://huggingface.co/zcxu-eric/MagicAnimate/tree/main
sd-vae-ft-mse - https://huggingface.co/stabilityai/sd-vae-ft-mse
stabe-diffusion-v1-5 - https://huggingface.co/runwayml/stable-diffusion-v1-5
注意：如果无法访问，可以使用镜像 HF-Mirror
pretrained_models/
├── MagicAnimate
│ ├── appearance_encoder
│ │ ├── config.json
│ │ └── diffusion_pytorch_model.safetensors
│ ├── densepose_controlnet
│ │ ├── config.json
│ │ └── diffusion_pytorch_model.safetensors
│ └── temporal_attention
│ └── temporal_attention.ckpt
├── sd-vae-ft-mse
│ ├── config.json
│ └── diffusion_pytorch_model.bin
└── stable-diffusion-v1-5
├── text_encoder
│ ├── config.json
│ └── pytorch_model.bin
├── tokenizer
│ ├── merges.txt
│ ├── special_tokens_map.json
│ ├── tokenizer_config.json
│ └── vocab.json
├── unet
│ ├── config.json
│ └── diffusion_pytorch_model.bin
├── v1-5-pruned.ckpt
└── vae
├── config.json
└── diffusion_pytorch_model.bin
命令行
单卡运行
bash scripts/animate.sh
多卡运行
bash scripts/animate_dist.sh
result
精度
无
应用场景
算法类别
AIGC
热点应用行业
媒体,科研,教育
源码仓库及问题反馈
ModelZoo / magic-animate_pytorch · GitLab参考资料
GitHub - magic-research/magic-animate: [CVPR 2024] MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model总结
**总结：MagicAnimate论文及模型详解****论文标题**：MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model
**背景**：这篇论文介绍了一种名为MagicAnimate的算法，利用扩散模型实现人物图像按照给定动作序列进行连续、时间一致性的动态动画生成。
**模型结构**：
- 输入：参考图片（reference image）、DensePose序列（表示目标动作）、随机初始化的噪声（noisy latents，与DensePose长度一致）。
- 组件：
- **Appearance Encoder**：从参考图片中提取特征，以保留人物身份和背景信息。
- **ControlNet**：从DensePose序列中提取动作特征，为动画提供运动信息。
- **Temporal Attention**：插入到2D-Unet中，将其扩展为3D-Unet，以处理时序数据，实现视频领域的扩展应用和时间一致性。
**算法原理**：
1. **时序一致性**：通过将时序注意力层加入2D-Unet成为3D-Unet，确保了连续帧之间的平滑过渡和时间一致性。
2. **参考图片特征提取**：改进了身份和背景保留机制，增强了单帧图像的真实性和时间上的连贯性。
3. **图片-视频联合训练**：鉴于视频数据集在规模和变化上的局限性，联合训练方法提高了模型在学习参考条件方面的能力。
4. **视频融合**：通过平均重叠的视频部分来优化输出视频的连贯性。
**环境配置**：
提供了Docker和Anaconda两种环境配置方式，详细步骤包含拉取Docker镜像、运行Docker容器及安装依赖项等，确保了实验环境的一致性。
**数据集**：具体数据集名称未在文中提及，但方法可能通用于通用的图像和视频数据。
**推理与模型下载**：
- MagicAnimate及其他所需预训练模型均可在Hugging Face等模型库下载。
- 运行示例代码提供了单卡和多卡环境下的运行脚本。
**应用场景**：
- **AIGC（AI生成内容）**：适用于创意内容制作、视觉特效等领域。
- **热点应用行业**：媒体（广告、动画制作）、科研（人体运动研究）、教育（虚拟仿真教学）等。
**源码仓库及问题反馈**：
- 源码仓库位于GitLab的Magic-animate_pytorch项目，用户可访问GitLab页面获取源码及提交问题反馈。
**参考资料**：
- GitHub上的magic-research组织提供了MagicAnimate的原始实现和相关资源。
MagicAnimate通过结合先进的扩散模型技术和时序一致性处理，为人物图像动画领域提供了一种高效且准确的方法，具有重要的实际应用价值。