模型训练、图像重构方法、装置、计算机设备及存储介质与流程

本公开关于计算机视觉，具体涉及一种模型训练、图像重构方法、装置、计算机设备及存储介质。

背景技术：

1、目前，在计算机视觉领域中，多数计算机视觉算法需要采用深度学习技术实现。但是在深度学习技术中，对训练样本数量、训练样本分布具有一定要求。

2、以活体检测任务为例，活体检测模型的训练数据集需要包括活体训练数据和假体训练数据。然而，在真实业务场景中，收集的训练数据主要是真实的活体数据，假体数据的数量却比较少。因此需要提出一种新方式以生成重构图像。

技术实现思路

1、本说明书中多个实施方式提供一种模型训练、图像重构方法、装置、计算机设备及存储介质，以对模型训练数据的扩充，提高模型训练的数量。

2、本说明书的一个实施方式提供一种图像重构模型训练方法，所述方法包括：通过图像重构模型对具有目标对象的可见光图像，以及所述可见光图像对应的深度图像进行图像重构，得到重构图像；所述图像重构模型用于对所述可见光图像以及所述深度图像进行特征提取，得到所述可见光图像中所包含的所述目标对象的第一外观特征，以及所述深度图像中所包含的所述目标对象的第一姿态特征，并基于所述第一外观特征以及所述第一姿态特征进行图像重构；通过所述图像重构模型对所述重构图像进行特征提取，得到所述重构图像中所包含的所述目标对象的第二外观特征，以及所述重构图像中所包含的所述目标对象的第二姿态特征；根据所述可见光图像与所述重构图像之间的图像损失数据、所述第一外观特征与所述第二外观特征之间的外观损失数据、所述第一姿态特征与所述第二姿态特征之间的姿态损失数据，更新所述图像重构模型的网络参数。

3、本说明书的一个实施方式提供一种图像重构方法，所述方法包括：将具有目标对象的可见光图像以及任意深度图像输入至上述实施方式中训练得到的图像重构模型中，得到重构图像。

4、本说明书的一个实施方式提供一种活体检测模型训练方法，所述方法包括：基于实施方式中得到的重构图像，构建活体检测模型的训练样本；利用所述训练样本对所述活体检测模型进行训练。

5、本说明书的一个实施方式提供一种活体识别方法，所述方法包括：获取待识别图像；将所述待识别图像输入活体检测模型，得到识别结果；所述活体检测模型根据上述活体检测模型训练方法训练得到的。

6、本说明书的一个实施方式提供一种图像重构模型训练装置，所述装置包括：图像重构单元，用于通过图像重构模型对具有目标对象的可见光图像，以及所述可见光图像对应的深度图像进行图像重构，得到重构图像；所述图像重构模型用于对所述可见光图像以及所述深度图像进行特征提取，得到所述可见光图像中所包含的所述目标对象的第一外观特征，以及所述深度图像中所包含的所述目标对象的第一姿态特征，并基于所述第一外观特征以及所述第一姿态特征进行图像重构；特征提取单元，用于通过所述图像重构模型对所述重构图像进行特征提取，得到所述重构图像中所包含的所述目标对象的第二外观特征，以及所述重构图像中所包含的所述目标对象的第二姿态特征；参数更新单元，用于根据所述可见光图像与所述重构图像之间的图像损失数据、所述第一外观特征与所述第二外观特征之间的外观损失数据、所述第一姿态特征与所述第二姿态特征之间的姿态损失数据，更新所述图像重构模型的网络参数。

7、本说明书的一个实施方式提供一种图像重构装置，所述装置包括：图像重构单元，用于将具有目标对象的可见光图像以及任意深度图像输入至上述实施方式中训练得到的图像重构模型中，得到重构图像。

8、本说明书的一个实施方式提供一种活体检测模型训练装置，所述装置包括：训练样本构建单元，用于基于上述图像重构方法得到的重构图像，构建活体检测模型的训练样本；检测模型训练单元，用于利用所述训练样本对所述活体检测模型进行训练。

9、本说明书的一个实施方式提供一种活体识别装置，所述装置包括：图像获取单元，用于获取待识别图像；识别单元，用于将所述待识别图像输入活体检测模型，得到识别结果；所述活体检测模型根据权利要求7所述的活体检测模型训练方法训练得到的。

10、本说明书的一个实施方式提供一种计算机设备，所述计算机设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。

11、本说明书的一个实施方式提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。

12、本说明书的一个实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。

13、本说明书提供的多个实施方式，通过图像重构模型提取可见光图像中所包含的目标对象的第一外观特征，以及深度图像中所包含的目标对象的第一姿态特征；基于第一外观特征以及第一姿态特征进行图像重构，得到重构图像；再次使用图像重构模型提取重构图像中包含的所述目标对象的第二外观特征，以及所述重构图像中所包含的所述目标对象的第二姿态特征；将可见光图像与重构图像之间的图像损失数据、第一外观特征与第二外观特征之间的外观损失数据、第一姿态特征与第二姿态特征之间的姿态损失数据作为监督信号，执行对图像重构模型的训练，得到能够对可见光图像进行高质量扩展的图像重构模型，以一种新方式实现可见光图像的数据增广，从而提高模型训练的数量。

技术特征：

1.一种图像重构模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述图像重构模型包括编码单元，所述编码单元包括用于提取外观特征的第一编码器，以及用于提取姿态特征的第二编码器；所述图像重构模型用于对所述可见光图像以及所述深度图像进行特征提取，得到所述可见光图像中所包含的所述目标对象的第一外观特征，以及所述深度图像中所包含的所述目标对象的第一姿态特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述通过所述图像重构模型对所述重构图像进行特征提取，得到所述重构图像中所包含的所述目标对象的第二外观特征，以及所述重构图像中所包含的所述目标对象的第二姿态特征，包括：

4.根据权利要求1所述的方法，其特征在于，所述图像重构模型还包括风格迁移单元和解码器；所述基于所述第一外观特征以及所述第一姿态特征进行图像重构，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述图像重构模型还包括判别器；在所述根据所述可见光图像与所述重构图像之间的图像损失数据、所述第一外观特征与所述第二外观特征之间的外观损失数据、所述第一姿态特征与所述第二姿态特征之间的姿态损失数据，更新所述图像重构模型的网络参数之前，所述方法还包括：

6.一种图像重构方法，其特征在于，所述方法包括：

7.一种活体检测模型训练方法，其特征在于，所述方法包括：

8.一种活体识别方法，其特征在于，所述方法包括：

9.一种图像重构装置，其特征在于，所述装置包括：

10.一种活体识别装置，其特征在于，所述装置包括：

11.一种计算机设备，其特征在于，所述计算机设备包括：

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。

技术总结
本说明书实施方式提供了一种模型训练、图像重构方法、装置、计算机设备及存储介质，通过图像重构模型提取可见光图像中所包含的目标对象的第一外观特征，以及深度图像中所包含的目标对象的第一姿态特征；基于第一外观特征以及第一姿态特征进行图像重构，得到重构图像；再次使用图像重构模型提取重构图像中包含的所述目标对象的第二外观特征，以及所述重构图像中所包含的所述目标对象的第二姿态特征；将可见光图像与重构图像之间的图像损失数据、第一外观特征与第二外观特征之间的外观损失数据、第一姿态特征与第二姿态特征之间的姿态损失数据作为监督信号，执行对图像重构模型的训练，得到能够对可见光图像进行高质量扩展的图像重构模型。

技术研发人员：高亮,蒋宁,周迅溢,吴海英,曾定衡
受保护的技术使用者：马上消费金融股份有限公司
技术研发日：
技术公布日：2024/1/12