基于单个图像传感器的人脸纹理结构数据采集方法与流程

本发明涉及图像处理技术领域，具体涉及基于单个图像传感器的人脸纹理结构数据采集方法。

背景技术：

现有的大部分人脸数据采集系统多用于采集图像纹理，被采集人员在固定场景通过图像传感器采集人脸数据，存在如下缺点：1、数据类型不完整，局限于三维或是二维单个数据类型。2、对采集设备、采集环境要求高，流程复杂，不适用与开放环境。这些方法如：基于图像传感器阵列的三维人脸数据采集系统（201511016389.x），人脸采集系统和人脸采集方法（201610096506.6），人脸图像采集系统及方法（201710600829.9）。

技术实现要素：

本发明的目的是为解决上述技术问题的不足，提供基于单个图像传感器的人脸纹理结构数据采集方法。

本发明为解决上述技术问题的不足，所采用的技术方案是：基于单个图像传感器的人脸纹理结构数据采集方法，包括以下步骤：

s1：获取图像数据和深度数据；

s2：点云数据预处理，将三维数据处理成可应用的数据类型；

s3：人脸检测与表情识别，裁切出人脸区域；

s4：采集人员索引，输入采集人脸的个体标识；

s5：根据不同的距离、人员、表情存储原始数据和裁切出的数据。

作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述步骤s1具体为：通过采集设备获取附带颜色信息的三维点云数据p、红外图像数据ir以及rgb图像数据i。

作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述采集设备为结构光、tof或双目等深度相机。

作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述步骤s2具体为：通过下述公式将三维点云数据p投影到像素坐标系上，得到投影后的深度图d和点云投影rgb数据i’；

；

公式中的u、v为像素坐标系中的坐标，x、y为世界坐标系中的坐标，u0、v0、dx和dy为相机内部参数，最后通过下述双线性差值公式补全投影后的数据d和i’；

；

公式中的x和y为图像坐标系坐标，f为坐标为（x，y）上的数据，深度图d上为原点云数据p的z轴信息，点云投影rgb数据i’包含的数据为点云附带的r、g、b三通道的像素值。

作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述步骤s3具体为：将投影后的数据i’作为输入，通过全卷积网络n1生成人脸候选窗和对应的分数，将所有检出的人脸候选窗根据分数做降序排列得到一个降序的列表l，从列表l中开始，计算人脸候选窗与其他人脸候选窗的iou，若iou大于阈值t，则剔除该人脸候选窗，对剩余的人脸候选窗，重复上述迭代操作，直至列表l中所有人脸候选窗都完成筛选，再使用一个全卷积网络输出最终的人脸候选窗和5个关键点位置，得到数据i’上人脸的5个关键点的坐标（（x1，y1）、（x2，y2）、（x3，y3）、（x4，y4）以及（x5，y5））后，通过5个关键点坐标裁剪投影后的红外数据ir、rgb数据i’和深度数据d和出人脸数据irf，if，df，将if作为输入，通过一个全卷积网络n2得到输入数据if的人脸表情类型e。

作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述全卷积网络n1为mtcnn结构的全卷积网络，全卷积网络n2为resnet50结构的全卷积网络。

作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述阈值=0.6。

作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述5个关键点位置分别为左眼中心点，右眼中心点，鼻尖点，左嘴角和右嘴角。

作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：步骤s5具体为：根据点云数据p的深度信息z、采集人员索引id以及人脸表情e，按id/z/e的规则生成对应的文件夹，在文件夹中存储采集到的原始数据p、i、r和裁切后的数据irf，if，df。

有益效果

一、本发明的数据采集方法能够解决采集人脸数据类型不完全，采集设备要求高、成本昂贵，采集环境要求高等问题，能够降低采集成本，同时可以在包括室外的开放环境的多种场景中方便使用，并能够保证多种采集数据类型的采集，避免数据缺失；

二、本发明的采集流程根据检测算法、表情识别算法创建存储数据地址，因此无需人员参与，降低了采集过程中的因为人为因素导致的数据缺失。

附图说明

图1为本发明数据采集方法的基本原理框图；

图2为本发明数据采集方法中将三维点云数据p投影到像素坐标系上得到投影后的深度图d。

具体实施方式

以下结合具体实施方式进一步对本发明的技术方案进行阐述。

如图1所示：基于单个图像传感器的人脸纹理结构数据采集方法，包括以下步骤：

s1：获取图像数据和深度数据；

通过采集设备获取附带颜色信息的三维点云数据p、红外图像数据ir以及rgb图像数据i，采集设备为结构光、tof或双目等深度相机。

s2：点云数据预处理，将三维数据处理成可应用的数据类型；

通过下述公式将三维点云数据p投影到像素坐标系上，得到投影后的深度图d和点云投影rgb数据i’；

；

公式中的u、v为像素坐标系中的坐标，x、y为世界坐标系中的坐标，u0、v0、dx和dy为相机内部参数，最后通过下述双线性差值公式补全投影后的数据d和i’；

；

公式中的x和y为图像坐标系坐标，f为坐标为（x，y）上的数据，深度图d上为原点云数据p的z轴信息，点云投影rgb数据i’包含的数据为点云附带的r、g、b三通道的像素值。因为捕捉点云数据与红外数据ir使用同一采集设备，因此投影后的rgb数据i’、深度数据d和红外数据ir数据坐标一一对应。

s3：人脸检测与表情识别，裁切出人脸区域；

将投影后的数据i’作为输入，通过全卷积网络n1（全卷积网络n1为mtcnn结构的全卷积网络）生成人脸候选窗和对应的分数，将所有检出的人脸候选窗根据分数做降序排列得到一个降序的列表l，从列表l中开始，计算人脸候选窗与其他人脸候选窗的iou（交并比，人脸候选窗和真实的边框的交集和并集的比值），若iou大于阈值t（阈值t根据确定根据经验和实际场景设定，一般为0.6），则剔除该人脸候选窗，对剩余的人脸候选窗，重复上述迭代操作，直至列表l中所有人脸候选窗都完成筛选，再使用一个全卷积网络输出最终的人脸候选窗和5个关键点位置，得到数据i’上人脸的5个关键点的坐标（（x1，y1）、（x2，y2）、（x3，y3）、（x4，y4）以及（x5，y5））后，通过5个关键点坐标裁剪投影后的红外数据ir、rgb数据i’和深度数据d和出人脸数据irf，if，df，将if作为输入，通过一个全卷积网络n2（全卷积网络n2为resnet50结构的全卷积网络）得到输入数据if的人脸表情类型e。

s4：采集人员索引，输入采集人脸的个体标识；

s5：根据不同的距离、人员、表情存储原始数据和裁切出的数据；

根据点云数据p的深度信息z、采集人员索引id以及人脸表情e，按id/z/e的规则生成对应的文件夹，在文件夹中存储采集到的原始数据p、i、r和裁切后的数据irf，if，df。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。