FaceChain人物写真生成

FaceChain 是一款可以用于打造个人数字形象的深度学习模型工具。用户只需提供最低三张照片即可获得独属于自己的个人形象数字替身。FaceChain 支持在梯度的界面中使用模型训练和推理能力，也支持资深开发者使用 python 脚本进行训练推理。

算法介绍

基本原理

个人**模型的能力来源于稳定扩散模型的文生图功能，输入一段文本或一系列提示词，输出对应的图像。考虑影响个人**生成效果的主要因素：**风格信息，以及用户人物信息。在此，分别使用线下训练风格的 LoRA 模型和线上训练的人脸 LoRA 模型来学习上述信息。LoRA 是一种具有未知可训练参数的模型，在 Stable Diffusion 中，可以通过对少量输入图像进行文生图训练的方式将输入相应图像的信息注入到 LoRA 模型中。，个人**模型的能力分为训练与推断两个阶段，训练阶段生成用于稳定扩散模型的图像与文本标签数据，获取人脸 LoRA 模型；基于人脸 LoRA 模型和风格 LoRA 模型生成个人**的推断阶段。

训练阶段

输入：用户上传的包含清晰人脸区域的图像

输出：人脸 LoRA 模型

描述：首先，分别使用基于判断的图像旋转模型，以及基于人脸检测和关键点模型的人脸精细化旋转方法处理用户上传图像，得到包含正向人脸的图像；接下来，使用人体解析模型和人像美肤模型，实现高精度的人脸训练图像；接着，使用人脸属性模型和文本标注模型，结合标签后处理方法，产生训练图像的精细化标签；最后，使用将图像和标签数据稳定扩散模型得到人脸 LoRA 模型。

推断阶段

输入：训练阶段用户上传图片，默认的用于生成个人照片的输入提示词

输出：个人**图片

描述：首先，将人脸 LoRA 模型和风格 LoRA 模型的权重融合到 Stable Diffusion 模型中；接下来，使用 Stable Diffusion 模型的文生图功能，根据预设的输入提示词预设生成个人**图像；另外，利用人脸融合模型进一步改进了上述人脸肖像的细节，其中人脸融合的模板通过人脸质量评估模型在训练图像中选取；最后，利用人脸识别模型计算生成的人脸图像以模板人脸的相似程度，初步对**图像进行排序，并输出排名靠前的个人**图像作为最终输出结果。