目录
背景
ControlNet
lineart
IP-Adapter
实例
生成场景模特
操作
生成效果
生成背景
操作
生成效果
融合
ip-adaptor contrlNet
lineart controlNet
生成效果
背景
很多场景下，需要完成人物风格变换，比如现在是写真集，想转换为动漫集。但我们需要人物原始特征保持不变，再者加上一些新的动漫背景，生成三次元图像，或生成3D画风图像，我们看看怎么处理。
ControlNet
lineart
要做到精确控制，还得需要controlNet 的加持。线稿类 controlNet 特别适合提取人物特征，在完整捕获人物特征基础上，配合与之应景的底模，加上适合场景的提示词，进行重绘，人物形象非常适合迁移。
lienart 的类型主要有两种：1）适合提取动漫特征，提取后可以将动漫风格转换为真实系列 2）标准提取，就是提取真实系的特征，将其转换为动漫系列。
IP-Adapter
这个ip-adaptor 就是绘制整体画面的背景风格，就像PS 图层叠加那种，如果你在上面已经有了蒙版或者配合了其他的controlNet，效果是可以叠加的。
一个是场景相关，一个是脸相关的 特征捕获获取。
实例
生成场景模特
操作
我手边也没有太多模特效果图，用 stable diffusion 先生成几个吧，基本操作思路，前面讲过了，还不会魔法的，看前面专栏，这里不再熬述。
正向提示词：
(RAW photo, 4k, realistic, exquisitely detailed skin),masterpiece,best quality,unity 8k wallpaper,ultra detailed,cinematic look,natural skin texture,extremely realistic skin texture,finely detailed face,(film grain:1.2),cinematic angle,Fujifilm XT3,(highlydetailed),(night scene),(street corner),(1girl),(detailed lighting),(contrast),(mysterious atmosphere),vivid illumination,masterful technique,harmonious composition,immersive atmosphere,stunning visuals,
反向提示词：
ng_deepnegative_v1_75t,badhandv4,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),bad_pictures,
生成效果
生成背景
操作
希望有一个星空的背景，直接生成一个吧
正向提示词
HTTP,sky,scenery,1girl,starry sky,night,reflection,night sky,outdoors,water,
反向提示词
verybadimagenegative_v1.3,
生成效果
融合
我们将人物与背景进行融合。为了固定人物，采用lineart controlNet。为了模仿背景，我们选择ip-adaptor风格。
模型和正反向提示词都不变
ip-adaptor contrlNet
注意这里权重一般选择0.8，否则就太死板了，没必要
lineart controlNet
生成效果
总结
### 文章总结本文介绍了如何使用先进的AI技术，特别是在图像生成领域中的ControlNet、lineart以及IP-Adapter工具，来实现复杂的人物风格变换及其与不同背景的融合。以下是详细总结：
#### 背景
面对需求如将写真集转换为动漫集的同时保持人物原始特征不变，并加入新背景，生成三次元或3D画风图像，文章提出了利用ControlNet系列技术的解决方案。
#### ControlNet
ControlNet是一个强大的控制工具，它能够通过精细的控制参数来引导AI生成图像的特定方面。其中，lineart类型的ControlNet特别适用于人物特征的精确捕捉与控制。
- **lineart**：分为动漫特征提取和真实系特征转动漫两大类型，能够有效实现风格的迁移与转换。
- **IP-Adapter**：作为背景风格绘制的核心部件，支持与其他ControlNet效果的叠加，提供定制化的背景风格。
#### 实例操作
1. **生成场景模特**：
- 使用stable diffusion和一系列自定义的正向及反向提示词，生成高质量的模特图像，强调细节与氛围感。
2. **生成背景**：
- 基于特定的正向提示词（如星空、夜晚等），结合反向提示词避免负面生成，生成合适的背景图像。
3. **融合**：
- 将生成的模特图像与背景图像进行融合。通过lineart ControlNet保持人物特征的稳定性，而用IP-Adapter ControlNet为整体画面添加一致的背景风格。
- 注意事项：IP-Adapter ControlNet的权重需要适当调整以维持自然效果，避免过于生硬。
#### 总结效果
通过上述步骤，文章展示了如何使用AI技术将人物从一种风格（如现实主义）转换为另一种风格（如动漫），并成功地与新的背景融合，创造出既保留原始人物特征又具有全新视觉风格的图像内容。这项技术不仅在创意设计、数字艺术领域大有可为，也为视觉媒体制作提供了新的可能性。