立体人脸检测方法及装置与流程

本发明涉及一种图像处理技术领域，尤其涉及一种立体人脸检测方法及装置。

背景技术：

目前，人脸检测在互联网应用中得到了巨大的成功，究其原因，一个是近几年的深度学习等技术大幅提高了人脸检测的准确率，另一个是互联网中的图片基本是照相机拍摄的理想图片，图片中主体的角度、清晰度、大小都比较理想。但在视频监控领域，完全不同于照相机拍摄的图片，被监控主体是非配合的，且没有摄影师的存在，使得人脸检测的准确率并没有达到理想的效果。究其原因，主要是非配合情形下人的姿态与角度完全不受控制，且摄像机装在高处，人脸正对摄像机的概率很低。因此，如何解决低头、偏转等多种复杂姿态的人脸检测成为行业内急需解决的问题。

有鉴于此，有必要提出对目前的人脸检测技术进行进一步的改进。

技术实现要素：

为解决上述至少一技术问题，本发明的主要目的是提供一种立体人脸检测方法。

为实现上述目的，本发明采用的一个技术方案为：提供一种立体人脸检测方法，包括如下步骤：

采集同一监控区域的不同视角图像形成n路视频图像，并拷贝为两份；

对一份n路视频图像分别进行人脸特征检测，以获取对应的n个第一人脸区域数据；

对另一份n路视频图像进行拼接处理，得到三维立体图像；以及对三维立体图像进行切片处理，得到多个平面图；以及对多个平面图分别进行人脸特征检测，并对所有的检测结果进行合并处理，得到第二人脸区域数据；

将第一人脸区域数据与第二人脸区域数据进行合并处理，得到人脸检测结果和人脸元数据；以及

输出人脸检测结果及人脸元数据。

其中，所述对三维立体图像进行切片处理，得到多个平面图的步骤，具体包括：

对三维立体图像按照每隔30度的角度进行切片处理，以将三维立体图像切成12个平面图。

其中，所述对另一份n路视频图像进行拼接处理，得到三维立体图像的步骤，具体包括：根据相邻摄像机的视野重叠区域，将n路视频中的多个二维图像拼接成三维立体图像。

其中，所述多个平面图分别进行人脸特征检测，并对所有的检测结果进行合并处理的步骤，具体包括：

预先设定一标准人脸模型；

将检测到的所有人脸特征检测结果与标准人脸模型进行相似度匹配得到对应的人脸匹配数据；

对所有的人脸匹配数据按照匹配度从高到低进行人脸排序；

结合人脸排序及标准人脸模型的阈值对人脸数据进行合并处理。

为实现上述目的，本发明采用的一个技术方案为：提供一种立体人脸检测装置，包括：

图像采集模块，用以采集同一监控区域的不同视角图像形成n路视频图像，并拷贝为两份；

第一人脸检测模块，用以对一份n路视频图像分别进行人脸特征检测，以获取对应的n个第一人脸区域数据；

第二人脸检测模块，用以对另一份n路视频图像进行拼接处理，得到三维立体图像；以及对三维立体图像进行切片处理，得到多个平面图；以及对多个平面图分别进行人脸特征检测，并对所有的检测结果进行合并处理，得到第二人脸区域数据；

合并处理模块，用以将第一人脸区域数据与第二人脸区域数据进行合并处理，得到人脸检测结果和人脸元数据；以及

输出模块，用以输出人脸检测结果及人脸元数据。

其中，所述第二人脸检测模块，用于：

对三维立体图像按照每隔30度的角度进行切片处理，以将三维立体图像切成12个平面图。

其中，所述第二人脸检测模块，用于：根据相邻摄像机的视野重叠区域，将n路视频中的多个二维图像拼接成三维立体图像。

其中，所述第二人脸检测模块，还用于：预先设定一标准人脸模型；

将检测到的所有人脸特征检测结果与标准人脸模型进行相似度匹配得到对应的人脸匹配数据；

对所有的人脸匹配数据按照匹配度从高到低进行人脸排序；

结合人脸排序及标准人脸模型的阈值对人脸数据进行合并处理。

本发明的技术方案通过先采用采集同一监测区域的不同视角图像形成多路视频图像，加大了得到好姿态的概率，提高了人脸检测的准确率；对其中一份多路视频分别做人脸特征检测，得到多个第一人脸区域数据；对另一份多路视频进行拼接形成三维立体图像，以及对三维立体图像进行不同角度的切片处理，形成平面图，然后对平面图进行人脸特征检测，并对检测的结果进行合并，得到第二人脸区域数据，通过拼接的立体图，可得到更多的连续姿态信息，进一步提高人脸检测的准确率；然后将第一人脸区域数据与第二人脸区域数据合并，得到人脸检测结果和人脸元数据，可以去除干扰信息或效果差的图像，最后输出人脸检测结果和人脸元数据，能够获得较佳的人脸图像，并且能够提高人脸检测的准确性和可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明一实施例立体人脸检测方法的方法流程图；

图2为本发明另一实施例立体人脸检测方法的方法流程图；

图3为本发明一实施例立体人脸检测装置的模块方框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请参照图1，在本发明实施例中，该立体人脸检测方法，包括如下步骤：

步骤S10、采集同一监控区域的不同视角图像形成n路视频图像，并拷贝为两份；

步骤S20、对一份n路视频图像分别进行人脸特征检测，以获取对应的n个第一人脸区域数据；

步骤S30、对另一份n路视频图像进行拼接处理，得到三维立体图像；以及对三维立体图像进行切片处理，得到多个平面图；以及对多个平面图分别进行人脸特征检测，并对所有的检测结果进行合并处理，得到第二人脸区域数据；

步骤S40、将第一人脸区域数据与第二人脸区域数据进行合并处理，得到人脸检测结果和人脸元数据；以及

步骤S50、输出人脸检测结果及人脸元数据。

本发明实施例中，先采集同一监测区域的不同视角图像，得到n路视频图像，n为大于或等于2的正整数；然后对n路视频图像分别进行人脸特征检测，可以得到n个第一人脸区域数据，以及对n路视频图像进行拼接处理形成三维立体图像，并进一步的对三维立体图像按照设定的角度进行切片处理及合并处理，可以得到第二人脸区域数据；再将第一人脸区域数据与第二人脸区域数据进行合并处理，得到人脸检测结果和人脸元数据，最后输出，如此，能够获得较佳的人脸图像，并且能够提高人脸检测的准确性和可靠性。其中，第一人脸区域数据与第二人脸区域数据可以根据检测结果的空间位置来进行合并处理。该空间位置可以通过两者位置重叠度、大小包含关系及其严格程度信息计算得到。

本发明的技术方案通过先采用采集同一监测区域的不同视角图像形成多路视频图像，加大了得到好姿态的概率，提高了人脸检测的准确率；对其中一份多路视频分别做人脸特征检测，得到多个第一人脸区域数据；对另一份多路视频进行拼接形成三维立体图像，以及对三维立体图像进行不同角度的切片处理，形成平面图，然后对平面图进行人脸特征检测，并对检测的结果进行合并，得到第二人脸区域数据，通过拼接的立体图，可得到更多的连续姿态信息，进一步提高人脸检测的准确率；然后将第一人脸区域数据与第二人脸区域数据合并，得到人脸检测结果和人脸元数据，可以去除干扰信息或效果差的图像，最后输出人脸检测结果和人脸元数据，能够获得较佳的人脸图像，并且能够提高人脸检测的准确性和可靠性。

在一些实施例中，所述对三维立体图像进行切片处理，得到多个平面图的步骤，具体包括：

对三维立体图像按照每隔30度的角度进行切片处理，以将三维立体图像切成12个平面图。

本实施例中，拼接形成的三维立体图像需要经过切片处理得到平面图，即三维立体图像经过每隔30度的平面化投影，可以得到12个平面图。应当指出，三维立体图像还可以每隔其他角度，如60°、45°进行平面投影，以得到对应的平面图，具体的角度可以根据实际的要求来设置。

在一些实施例中，所述对另一份n路视频图像进行拼接处理，得到三维立体图像的步骤，具体包括：根据相邻摄像机的视野重叠区域，将n路视频中的多个二维图像拼接成三维立体图像。本实施例中，可以通过两两摄像机间的视野重叠区域信息，结合两者景深及位置等信息，由多个二维图像生成三维立体图像。视野重叠区域信息可以由摄像机的标定信息，如摄像机内部参数(传感器及镜头参数等)，摄像机外部参数(安装空间坐标位置)以及跟踪信息等得到。

在一些实施例中，所述多个平面图分别进行人脸特征检测，并对所有的检测结果进行合并处理的步骤，具体包括：

预先设定一标准人脸模型；

将检测到的所有人脸特征检测结果与标准人脸模型进行相似度匹配得到对应的人脸匹配数据；

对所有的人脸匹配数据按照匹配度从高到低进行人脸排序；

结合人脸排序及标准人脸模型的阈值对人脸数据进行合并处理。本实施例中，该合并处理可以为多个人脸数据的累加处理或单个人脸数据的筛选处理。该排序可以按照高低顺序或反序进行排列。可以理解的，该人脸特征检测的结果由检测人脸角度、清晰度、表情及姿态等参数得到。

请参照图2，在一具体的实例中，该立体人脸检测方法实现的流程如下：

1)安装多个摄像机可以组成摄像机网络，采集的同一监测区域的图像形成n路视频图像；具体的，在安装摄像机过程中，保证摄像机指向共同监控区，保证有相同的画面重叠区域占1/2左右。

2)对采集的n路视频图像分别进行人脸检测，得到n个第一人脸区域数据f1，f2…fn；

3)采集的n路视频图像分别进行人脸检测进行拼接，得到三维立体图像；

4)对三维立体图像按每30度的角度，进行切片，得到12个平面图像，然后对该12个平面图像分别进行人脸检测，并将所得到的人脸区合并，得到第二人脸区域数据Fp。

5)将n个第一人脸区域数据f1，f2…fn和第二人脸区域数据Fp合并处理；

6)输出人脸检测结果及人脸元数据。

请参照图3，本发明的实施例中，该立体人脸检测装置，包括：

图像采集模块10，用以采集同一监控区域的不同视角图像形成n路视频图像，并拷贝为两份；

第一人脸检测模块20，用以对一份n路视频图像分别进行人脸特征检测，以获取对应的n个第一人脸区域数据；

第二人脸检测模块30，用以对另一份n路视频图像进行拼接处理，得到三维立体图像；以及对三维立体图像进行切片处理，得到多个平面图；以及对多个平面图分别进行人脸特征检测，并对所有的检测结果进行合并处理，得到第二人脸区域数据；

合并处理模块40，用以将第一人脸区域数据与第二人脸区域数据进行合并处理，得到人脸检测结果和人脸元数据；以及

输出模块50，用以输出人脸检测结果及人脸元数据。

本发明实施例中，先通过图像采集模块10采集同一监测区域的不同视角图像，得到n路视频图像，n为大于或等于2的正整数；然后通过第一人脸检测模块20对n路视频图像分别进行人脸特征检测，可以得到n个第一人脸区域数据，以及通过第二人脸检测模块30对n路视频图像进行拼接处理形成三维立体图像，并进一步的对三维立体图像按照设定的角度进行切片处理及合并处理，可以得到第二人脸区域数据；再通过合并处理模块40将第一人脸区域数据与第二人脸区域数据进行合并处理，得到人脸检测结果和人脸元数据，最后通过输出模块50输出，如此，能够获得较佳的人脸图像，并且能够提高人脸检测的准确性和可靠性。

在一些实施例中，所述第二人脸检测模块30，用于：

对三维立体图像按照每隔30度的角度进行切片处理，以将三维立体图像切成12个平面图。

本实施例中，第二人脸检测模块30，可以对拼接形成的三维立体图像进行切片处理得到平面图，即三维立体图像经过每隔30度的平面化投影，可以得到12个平面图。应当指出，三维立体图像还可以每隔其他角度，如60°、45°进行平面投影，以得到对应的平面图，具体的角度可以根据实际的要求来设置。

在一些实施例中，所述第二人脸检测模块30，用于：根据相邻摄像机的视野重叠区域，将n路视频中的多个二维图像拼接成三维立体图像。本实施例中，第二人脸检测模块30可以利用两两摄像机间的视野重叠区域信息，结合其景深及位置等信息，由多个二维图像拼接成三维立体图像，可以提高三维立体图像的清晰度。视野重叠区域信息可以由摄像机的标定信息，如摄像机内部参数(传感器及镜头参数等)，摄像机外部参数(安装空间坐标位置)以及跟踪信息等得到。

在一些实施例中，所述第二人脸检测模块30，还用于：

预先设定一标准人脸模型；

将检测到的所有人脸特征检测结果与标准人脸模型进行相似度匹配得到对应的人脸匹配数据；

对所有的人脸匹配数据按照匹配度从高到低进行人脸排序；

结合人脸排序及标准人脸模型的阈值对人脸数据进行合并处理。本实施例中，该第二人脸检测模块的合并处理可以为多个人脸数据的累加处理或单个人脸数据的筛选处理。该排序可以按照高低顺序或反序进行排列。可以理解的，该人脸特征检测的结果由检测人脸角度、清晰度、表情及姿态等参数得到。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。