本文经授权转载自：wuhu动画人空间

ID:wuhu1768

图源：wuhu小精灵

编辑：zkey

是不是已经让你

惊掉了下巴！

这到底是怎么做的呢？

勘云工造在微博上分享了制作幕后，他使用的是stable diffusion本地部署进行制作，目前主要使用chilloutmix模型。

ChilloutMix，二月初出现在模型分享社区CivitAI。不到两周时间，下载数量超过10万。

网站：https://civitai.com/?query=ChilloutMix

简单来说，这个模型还是基于大家熟悉的Stable Diffusion，1.5版本，但是由许多衍生模型合并（Merge）而来。

主要组件包括两大模型，首先是Basilmix，专攻写实效果的纹理和亚洲脸型。这个模型还非常擅长半写实的“2.5D风格。

CivitAI社区里还会有很多网友晒使用相应模型生成的作品，其中还有很多标记了“NSFW”或“18+”。

除了ChilloutMix之外，大家所好奇的为什么能固定生成同一张面孔，是因为它还使用了另一项技术LoRA。

LoRA本来是微软研究团队早在2021年提出的一项大语言模型微调的技术，可以大大提高微调训练速度。去年底，韩国科学技术院KAIST一位研究员@cloneofsimo与HuggingFace合作，将此方法扩展到Stable Diffusion上。

在CivitAI社区里，每个微调好的权重就叫做一个Lora，就相当于修图软件一样的人物素材模版（也相当于游戏里的皮肤），所有人都可以方便下载使用。

目前最火的一款就叫“Korean Doll Likeness”的Lora，目前下载量排名第一。

勘云工造使用的人物lora模型是基于二次元角色立绘进行训练的，并不需要真人的cos照，他认为用cos照训练反而会因为混乱的元素导致效果变差，如果使用koreandolllike之类的亚洲审美肖像lora作为面部辅助调整，权重一般只需要0.1-0.2左右，因为过高会导致面部同质化严重。

那么，为什么同角色面部连续性这么强，但不同角色之间也有点相似？

勘云工造有说到，一般把二次元lora的权重比例调整的很高，希望能表达出原人物的特点，所以生成的基本可以说是成功保留部分原角色的个人特征三次元化后的纸片人，不同角色面部相似的问题我觉得可能是现在二次元统一使用盾形脸，只能通过服饰和配色认人，而这种趋同度高的面部特征在ai看来差别并不大，也就容易得出相近的生成效果，这方面可能还需要等待算法进化才能解决。

不过

对于ChilloutMix+LoRA这样的技术的使用

还是要注意的！

网站上发布的作者也意识到了可能被滥用的风险，并着重提示了法律风险，特别强调不要用于真实存在的人物。