人脸检测方法及装置与流程

本发明涉及图像识别技术领域，尤其涉及一种可以提高暗光环境下人脸检测性能的人脸检测方法及装置。

背景技术：

随着经济的发展，城镇建设速度加快，以及互联网的突飞猛进，导致城市中人口密集，流动人口增加，引发了城市建设中的交通、社会治安、重点区域防范、网络犯罪日益突出等城市管理问题，因此视频监控系统得到越来越广泛的应用，如何使采集图像包含高质量的人脸图像成为研究重点。

在目前的图像采集中主要问题是在光线较暗环境下采集的图像较暗和模糊，不利于人脸检测和识别。目前在光线较暗环境，为了提高图像质量，以设备的提高人脸检测性能，主要通过以下方法实现：一，调节ISP(图像信号处理器)的AE(自动曝光)的数字增益、模拟增益、背光补偿、宽动态等参数和亮度、对比度等图像质量参数，以提高图像质量，然而这种方法的缺陷时光线太暗时也很难检测出人脸；二，在方法一的基础上采用外加补光灯的方式进行补光，这种方法的缺陷是补光灯没对准人脸且人脸与背景图像亮度相近时容易漏检。

因此，需要提供一种人脸检测方法及装置，以至少部分地解决上面提到的问题。

技术实现要素：

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施例部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

为了至少部分地解决上述问题，本发明提供了一种人脸检测方法，包括：通过红外图像传感器获取目标对象的红外图像；从所述红外图像中提取所述目标对象的人体轮廓的坐标区域；基于所述坐标区域控制可见光图像传感器对所述人体轮廓进行局部曝光，以使得所述人体轮廓的包括面部区域的至少一部分区域的曝光量比图像采集范围内的其他区域的曝光量大；在所述局部曝光的同时采集经局部曝光的所述目标对象的可见光图像；对所述可见光图像进行人脸检测。

示例性地，所述从所述红外图像中提取所述目标对象的人体轮廓的坐标区域包括：获取红外图像传感器感应到的热辐射点在所述红外图像中的坐标值；将所述红外图像中所述热辐射点的坐标对应的像素值标记为1并将像素值为1的区域作为所述红外图像中的人体轮廓；提取所述人脸轮廓的坐标区域。

示例性地，所述基于所述坐标区域控制可见光图像传感器对所述人体轮廓进行局部曝光包括：基于坐标变换量将所述坐标区域变换为所述可见光图像传感器的坐标区域；根据所述可见光图像传感器的坐标区域控制所述可见光图像传感器进行局部曝光。

示例性地，所述方法还包括基于预设目标的红外图像和可见光图像获取坐标变换量，其中所述获取坐标变换量的步骤包括：在所述可见光图像传感器和红外图像传感器的视角范围内放置一张白纸，并在白纸的四个角标记四个黑点；通过所述可见光图像传感器和红外图像传感器分别获取一副包括所述白纸的图像；在所述可见光图像传感器和红外图像传感器获取的包括所述白纸的图像中找出所述黑点及其坐标；通过两幅图像中所述黑点的坐标获取所述坐标变换量，其中，在每个所述黑点的背面施加热源。

示例性地，所述基于所述坐标区域控制可见光图像传感器对所述人体轮廓进行局部曝光包括：将所述可见光图像传感器的感光区域划分为多个区块；为每个区块设置不同的曝光权重值，其中所述人体轮廓的包括面部区域的至少一部分区域所对应的区块的权重值比其它区块的曝光权重值高；根据每个区块的权重值控制所述可见光图像传感器进行曝光并采集经曝光的所述目标对象的可见光图像。

根据本发明的另一个方面，还提供了一种人脸检测装置，其包括：红外图像获取模块，所述红外图像获取模块用于获取目标对象的红外图像；轮廓提取模块，所述轮廓提取模块用于从所述红外图像中提取所述目标对象的人体轮廓的坐标区域；局部曝光模块，所述局部曝光模块用于基于所述坐标区域控制可见光图像传感器对所述人体轮廓进行局部曝光以使得所述人体轮廓的包括面部区域的至少一部分区域的曝光量比图像采集范围内的其他区域的曝光量大；可见光图像采集模块，所述可见光图像采集模块用于在所述局部曝光的同时采集经局部曝光的所述目标对象的可见光图像；人脸检测模块，所述人脸检测模块用于对所述可见光图像进行人脸检测。

示例性地，所述轮廓提取模块包括：坐标获取子模块，所述坐标获取子模块用于获取红外图像传感器感应到的热辐射点在所述红外图像中的坐标值；像素标记子模块，所述像素标记子模块用于将所述红外图像中所述热辐射点的坐标对应的像素值标记为1并将像素值为1的区域作为所述红外图像中的人体轮廓；坐标提取子模块，所述坐标提取子模块用于提取所述人脸轮廓的坐标区域。

示例性地，所述局部曝光模块包括：区域划分子模块，所述区域划分子模块用于将所述可见光图像传感器的感光区域划分为多个区块；权重设置子模块，所述权重设置子模块用于为每个区块设置不同的曝光权重值，其中所述人体轮廓的包括面部区域的至少一部分区域所对应的区块的权重值比其它区块的曝光权重值高；曝光控制子模块，所述曝光控制子模块用于根据每个区块的权重值控制所述可见光图像传感器进行曝光。

示例性地，所述局部曝光模块还包括坐标变换子模块，用于基于坐标变换量将所述坐标区域变换为所述可见光图像传感器的坐标区域。

示例性地，所述轮廓提取模块、所述局部曝光模块和所述人脸检测模块由同一个处理器实现。

根据本发明的人脸检测装置根据本发明的人脸检测方法及装置，通过感应人体的热辐射并形成红外图像，然后从红外图像中提取人体轮廓的坐标区域，并将人体轮廓转换为可见光图像传感器中人体轮廓的坐标区域，并控制可见光图像传感器对人体轮廓进行局部曝光，从而增强可见光图像传感器采集的图像中所述人体轮廓的包括面部区域的至少一部分区域的亮度，这样当对可见光图像传感器采集的图像进行人脸检测和识别时，准确度和性能将大幅提升，有效解决了光线较暗环境下人脸检测性能下降以及容易漏检的问题。

附图说明

本发明实施例的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。在附图中，

图1是用于实现根据本发明实施例的装置的人脸检测方法及装置示例电子设备的示意性框图；

图2为根据本发明实施例的人脸检测方法的示意性流程图；

图3为根据本发明实施例的人脸检测方法中轮廓提取方法的示意性流程图；

图4为根据本发明实施例的人脸检测方法中局部曝光方法的示意性流程图；

图5为根据本发明实施例的人脸检测装置的示意性结构框图；

图6为根据本发明实施例的轮廓提取模块的示意性结构框图；

图7为根据本发明实施例的局部曝光模块的示意性结构框图；

图8为根据本发明实施例的图像检测设备的示意性结构框图。

具体实施例

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明实施例可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明实施例发生混淆，对于本领域公知的一些技术特征未进行描述。

应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。在附图中，为了清楚，部件、元件等的尺寸以及相对尺寸可能被夸大。自始至终相同附图标记表示相同的元件。

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图1来描述用于实现根据本发明实施例的人脸检测方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入/输出装置106、通信接口108以及一个或多个图像信号处理器(ISP)110、可见光图像传感器114和红外图像传感器116，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构，也可以不包括前述的部分组件，例如可以包括通信接口108，也可以不包通信接口108。

所述处理器102一般表示任何类型或形式的能够处理数据或解释和执行指令的处理单元。一般而言，处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。在特定实施例中，处理器102可以接收来自软件应用或模块的指令。这些指令可以导致处理器102完成本文描述和/或示出的一个或多个示例实施例的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入/输出装置106可以是用户用来输入指令和向外部输出各种信息的装置，例如输入装置可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。输出装置可以包括显示器、扬声器等中的一个或多个。

通信接口108广泛地表示任何类型或形式的能够促进示例电子设备100和一个或多个附加设备之间的通信的适配器或通信设备。例如，通信接口108可以促进电子设备100和前端或附件电子设备以及后端服务器或云端的通信。通信接口108的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器和任何其他合适的接口。在一实施例中，通信接口108通过与诸如因特网的网络的直连提供到远程服务器/远程前端设备的直连。在特定实施例中，通信接口108通过与专用网络，例如视频监控网络、天网系统网络等网络的直连提供到远程服务器/远程前端设备的直连。通信接口108还可以间接提供这种通过任何其它合适连接的连接。

图像信号处理器(ISP)110用于控制可见光图像传感器114和红外图像传感器116进行图像采集，并调节AE(自动曝光)的数字增益、模拟增益、背光补偿、宽动态等参数和亮度、对比度等图像质量参数以及其他参数，以调节图像质量，并基于可见光图像传感器114和红外图像传感器116的输出信号生成相应的可见光曝光图像和红外图像，并通过诸如总线系统112的连接单元传输至处理器102进行后续处理。同时，图像信号处理器(ISP)110也可以接受来自处理器102的命令或指令，以对可见光图像传感器114和红外图像传感器116进行调节控制。图像信号处理器(ISP)110可以根据需要以及可见光图像传感器114和红外图像传感器116的数量设置一个或多个，并且图像信号处理器(ISP)110可以与处理器102等集成，实现为片上系统(SOC)，也可以单设设置，并通过诸如总线系统112的连接单元进行连接。

可见光图像传感器114可以采集或拍摄用户期望的可见光曝光的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。可见光图像传感器114的一个示例为RGB传感器，或者RGBW传感器或黑白传感器(只能采集黑白图像)等等，其通过感应可见光形成彩色或黑白图像/视频，因而在此称为可见光图像传感器。相应的可见光图像传感器采集端图像/视频称为可见光图像/视频或可见光曝光图像/视频。

红外图像传感器116用于采集红外图像，其基于热辐射成像，因此无论环境光线强弱，均可采集红外图像。

示例性地，用于实现根据本发明实施例的人脸检测方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、门禁系统的图像采集端、道路监控系统的图像采集端、安防系统的图像采集端以及各种监控、安防领域等的后端控制处理端或服务器端或云端等等。

图2为根据本发明实施例的人脸检测方法的示意性流程图。下面将结合图2对根据本发明实施例的人脸检测方法进行描述。

如图2所示，本发明实施例公开的人脸检测方法包括：

首先，在步骤S201中，通过红外图像传感器获取目标对象的红外图像。

红外图像为基于热辐射红外线感光形成的图像，与可见光相比，红外成像不受环境光线强弱的影响，因此可以暗光下也可或的清晰的红外图像。

在本发明实施例中，可以通过图像信号处理器控制红外图像传感器获取目标对象的红外图像，即通过红外图像传感器感应视角范围内热辐射形成的红外线，并将红外线信号转化为电信号，经过图像信号处理器处理后形成目标对象红外图像。

在步骤S202中，从所述红外图像中提取所述目标对象的人体轮廓的坐标区域。

即对步骤S201中获取的目标对象的红外图像进行处理，从中提取人体轮廓的坐标区域，并从该人体轮廓的坐标区域中提取所述人脸轮廓的坐标区域，至于人体轮廓的坐标区域如何提取则后续进行详细描述。

在步骤S203中，基于所述坐标区域控制可见光图像传感器对所述人体轮廓进行局部曝光，以使得所述人体轮廓的包括面部区域的至少一部分区域的曝光量比图像采集范围内的其他区域的曝光量大。

由于当环境光线较弱时，可见光图像传感器采集的图像由于过暗模糊、人脸与背景亮度相近等等原因使得人脸检测难度增加，人脸检测效率和性能下降，为了提高暗光下人脸检测性能，在本发明中基于所提取的人体轮廓的坐标区域控制可见光图像传感器进行局部曝光，以使得所述人体轮廓的包括面部区域的至少一部分区域的曝光量比图像采集范围内的其他区域的曝光量大。即可见光图像传感器中与所述人体轮廓的坐标区域所对应的区域进行局部曝光，使得所述人体轮廓的包括面部区域的至少一部分区域的曝光量比图像采集范围内的其他区域的曝光量大，以便可见光图像传感器采集的图像中包括面部区域的至少一部分区域相比其他区域亮度高，从而利于后续的人脸检测。

示例性地，在本发明一个示例中，步骤S203进一步包括：

步骤2030：基于坐标变换量将所述坐标区域变换为所述可见光图像传感器的坐标区域。

由于可见光图像传感器和红外图像传感器的位置并不重合，因此红外图像传感器/红外图像中人体轮廓的坐标和位置并等于可见光图像传感器/图像中人体轮廓的坐标和位置，因此在本步骤中对红外图像中的人体轮廓的坐标区域进行坐标变换，从而获得可见光图像传感器/图像中人体轮廓的坐标区域。所谓坐标变换即在红外图像中的人体轮廓的坐标上叠加坐标变换量从而获得可见光图像传感器/图像中人体轮廓的坐标区域。

所述坐标变换量可以仅为一个方向上变换量，也可以为多个方向上的变换量。在本发明实施例中，所述坐标变换量可以基于预设目标的红外图像和可见光图像来获取。

示例性地，在本发明一示例中，可以通过下述步骤获取所述坐标变换量：

首先，在所述可见光图像传感器和红外图像传感器的视角范围内放置一张白纸，并在白纸的四个角标记四个黑点，并且在每个黑点的背后施加热源以便可以形成红外图像。在本发明一示例中，优选地，红外图像传感器和可见光图像传感器选择相同的分辨率以及水平和垂直视角，并且在电路板上水平设置且尽量靠近，以减少坐标变换的误差。

接着，通过所述可见光图像传感器和红外传图像感器分别获取一副包括所述白纸的图像。在本发明一示例中，可以通过图像信号器控制可见光图像传感器和红外图像传感器采集图像，以分别获取一副包括所述白纸的的红外图像和可见光图像。

然后，在所述可见光图像传感器和红外传图像感器获取的包括所述白纸的图像中找出所述黑点及其坐标。黑点及其坐标可以通过算法以及图像的坐标系统获取。当获得两幅图像黑点及其坐标后，可以通过两幅图像中所述黑点的坐标获取所述坐标变换量。例如，在本发明一示例中，可见光图像传感器和红外图像传感器的坐标系统中垂直方向的坐标一致，而水平方向的坐标存在差别，因此通过比较两幅图像中对应黑点的水平坐标差或像素值差dPix即可获得水平方向的坐标变换量。示例性地，例如水平方向(表示为X方向)的坐标变换公式为X(可见光图像传感器)＝X(红外图像传感器)+dPix。可以理解的是，dPix基于可见光图像传感器和红外传图像感器的相对位置可以为正值也可以负值。

可以理解的是的，上述可见光图像传感器和红外传图像感器的设置方式以及坐标变换量的获取方法仅是一个示例，本领域技术人员可以基于类似原理通过其他方法来获取所述坐标变换量，并且所述坐标变换量可以仅为一个方向上变换量，也可以为多个方向上的变换量。

步骤2031：根据所述可见光图像传感器的坐标区域控制所述可见光图像传感器进行局部曝光。

需要说明的是，所谓的可见光图像传感器中人体轮廓的坐标区域指的是，当可见光图像传感器采集图像时，可见光图像传感器中可以感应人体的区域，也即可见光采集的图像中人体所在区域。

在本发明的实施例中，可以通过图像信号处理器来控制可见光图像传感器对所述人体轮廓的坐标区域所对应的区域进行局部曝光，即通过调节图像信号处理器的相应参数，使得可见光图像传感器中人体轮廓所在区域中包括面部区域的至少一部分区域的曝光量比其它区域大，这样可以增强可见光图像传感器采集的图像中包括面部区域的至少一部分区域的亮度。在一种示例的局部曝光方式中，通过调节图像信号处理器的相应参数，使得可见光图像传感器中人体轮廓所在区域中的面部区域的曝光量比其它区域大，这样可以增强采集的可见光图像中目标对象的面部区域的亮度，从而便于后续的人脸检测操作。在另一种示例的局部曝光方式中，通过调节图像信号处理器的相应参数，使得可见光图像传感器中人体轮廓所在区域的曝光量比其它区域大，这样可以增强采集的可见光图像中目标对象所在区域(包括面部区域)的亮度，从而也便于后续的人脸检测操作。

示例性地，在本发明实施例中，可以通过图像信号处理器调节可见光图像传感器不同区域的权重值来对所述人体轮廓所在区域进行局部曝光，即使可见光图像传感器中人体轮廓所在区域中包括面部区域的至少一部分区域的曝光权重值大于其他区域的曝光权重值来实现所述局部曝光。

在步骤S204中，在所述局部曝光的同时采集经局部曝光的所述目标对象的可见光图像。

在本发明实施例中，可以通过图像信号处理器控制可见光图像传感器获取局部曝光图像，即通过可见光图像传感器采集局部曝光的光信号，并将光信号转化为电信号，经过图像信号处理器处理后形成局部曝光图像。

在步骤S205中，对所述可见光图像进行人脸检测。

当获取可见光图像传感器的局部曝光图像后则进行人脸检测，即从可见光图像传感器的局部曝光图像中提取人脸图像。其中，在进行人脸检测后，可以针对检测出的人脸进行特征提取、属性分析、人脸识别等各种可行的后续操作，此处不再赘述。

所述可见光图像传感器采集的图像可以为图片也可以为视频。当可见光图像传感器采集的图像为视频时，则针对组成该视频的每一帧图片进行人脸检测和提取。在该步骤中，可以确定出在可见光图像传感器所采集的图像中是否包含人脸，并且在可见光图像传感器所采集的图像中包含人脸的情况下在可见光图像传感器所采集的图像中定位出人脸区域。

示例性性，例如可以利用预先训练好的人脸检测器来在可见光图像传感器所采集的图像中定位人脸区域。例如，可以预先利用哈尔(Haar)算法、Adaboost算法等人脸检测与识别算法在大量图片的基础上训练出人脸检测器，对于输入的单帧图像，该预先训练好的人脸检测器能够快速地定位出人脸区域。此外，对于可见光图像传感器连续采集的多帧图像，在首帧图像中定位出人脸区域之后，可以基于当前帧图像的前一帧图像中人脸区域的位置来实时地追踪在当前帧图像中人脸区域的位置。

当在可见光图像传感器采集的图像中检测出人脸图像并给出相应的坐标后，则可按坐标将人脸图像抠出(俗称抠图)，以获得人脸图像。

示例性地，在步骤S205中可以从所述可见光图像传感器采集的图像中检测所述人脸图像所在位置的坐标数据；根据所述目标对象的坐标数据，从所述可见光图像传感器采集的图像中抠取仅包括所述人脸的图像。作为一个示例，当确定人脸图像所在位置的坐标数据后，可以在这些坐标处进行标记，例如标记为1，而这些坐标外的位置标记为0，从而确定人脸图像的区域、轮廓及像素等，然后可以运用现有图分割技术(例如，Graph Cut算法)将标记为1的区域抠取出来，从而得到仅包含人脸的图像。

进一步地，在本发明实施例中，还可以从步骤S205中检测/提取的人脸图像进一步提取人脸的特征信息。

所谓的特征信息，指的可以用于人脸或者将待识别人脸与其他人脸进行区别的信息。以人脸图像为例，所谓特征信息示例性地可以包括诸如人脸总体信息，例如脸型、五官布局等，还可以包括局部特征信息，例如痣、雀斑、刀疤等，还可以包括五官特征信息，例如左耳信息(大小、形状等)，右耳信息(大小、形状等)、左眉信息(例如形状、位置、长、宽等)、右眉信息(例如形状、位置、长、宽等)，以及左眼信息(例如形状、位置、长、宽等)、右眼信息(例如形状、位置、长、宽等)等等。

示例性地，在一实施例中，可以通过Sobel算子提取特征算法或Gabor特征算法等特征提取算法从步骤205中提取的人脸图像中提取人脸图像的特征信息。在又一实施例中，可以利用预先训练好的关键点定位器来在人脸区域中定位人脸关键点(例如眼睛、眼角、眼睛中心、眉毛、鼻子、鼻尖、嘴巴、嘴角和脸部轮廓等)。例如，可以预先利用级联回归方法在大量人工标注的人脸图片的基础上训练出关键点定位器。替换地，也可以采用传统的人脸关键点定位方法，其基于参数形状模型，根据关键点附近的表观特征，学习出一个参数模型，在使用时迭代地优化关键点的位置，最后得到关键点坐标，当获得关键点坐标后，可以基于该坐标进行一步获取关键点(例如眼睛、眼角、眼睛中心、眉毛、鼻子、鼻尖、嘴巴、嘴角和脸部轮廓等)的其他信息，例如大小，形状等等信息。

应了解本发明不受具体采用的人脸图像提取方法和特征信息提取方法的限制，无论是现有的人脸图像提取方法和特征信息提取方法还是将来开发的人脸图像提取方法和特征提取方法，都可以应用于根据本发明实施例的人脸检测成方法中，并且也应包括在本发明的保护范围内。

示例性地，根据本实施例的人脸检测方法可以部署在人脸图像采集端处，例如，在安防应用领域，可以部署在门禁系统的图像采集端；在金融应用领域，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。

替代地，根据本发明实施例的人脸检测方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，在金融应用领域，可以在个人终端进行图像采集，形成局部曝光图像，在服务器端(或云端)进行人脸检测提取以及识别等。

根据本实施例的人脸检测方法，通过感应人体的热辐射并形成红外图像，然后从红外图像中提取人体轮廓的坐标区域，并基于该坐标区域控制可见光图像传感器对人体轮廓进行局部曝光，以使得所述人体轮廓的包括面部区域的至少一部分区域的曝光量比图像采集范围内的其他区域的曝光量大，从而增强可见光图像传感器采集的图像中包括面部区域的至少一部分区域的亮度，这样当对可见光图像传感器采集的图像进行人脸检测和识别时，准确度和性能将大幅提升，有效解决了光线较暗环境下人脸检测性能下降以及容易漏检的问题。

图3为根据本发明实施例的人脸检测方法中轮廓提取方法的示意性流程图。下面结合图3对根据本发明实施例的轮廓提取方法进行描述。

如图3所示，本发明实施例公开的轮廓提取方法包括：

首先，在步骤S301中，获取热辐射点在红外图中的坐标值。

红外图像通过感应热辐射红外线线形成，因此当存在人体时，可以通过感应人体的热辐射红外线形成红外图像。因此通过获取红外图像中热辐射点的坐标可以获取人体轮廓。在本发明实施例中，可以通过算法判断热辐射点在红外图像的坐标系统中的位置来获取红外图像中热辐射点的坐标。

在步骤S302中，将上述坐标对应的像素值标记为1。即将红外图像所有热辐射点的坐标所对应的像素值标记为1，并将像素值为1的区域作为所述红外图像中的人体轮廓。并且示例性地，还可以进一步地运用现有图分割技术(例如，Graph Cut算法)将像素值为1的区域抠取出来，从而得到仅包含人体轮廓的的红外图像。

示例性地，在一示例中，在将红外图像所有热辐射点的坐标所对应的像素值标记为1时，将其他区域的像素值标记为0。或者，在又一实施例中，可以预先将所有像素的像素值默认为0，当获取热辐射点在红外图中的坐标值后，再将红外图像所有热辐射点的坐标所对应的像素值标记为1，这样同样可以从红外图像中获取人体轮廓。

在步骤S303中，提取所述人脸轮廓的坐标区域。

根据步骤S302中获取的人体轮廓，采用与前述类似的方法提取人脸轮廓。

示例性地，根据本发明实施例的轮廓提取方法可以在具有可见光图像传感器、红外图像传感器和处理器的设备、装置或者系统中实现。

根据本发明实施例的轮廓提取方法可以部署在人脸图像采集端处，例如，在安防应用领域，可以部署在门禁系统的图像采集端；在金融应用领域，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。

根据本实施例的轮廓提取方法，通过感应人体的热辐射并形成红外图像，然后从红外图像中提取人体轮廓的坐标区域，并提取人脸轮廓的坐标区域，，这样便可以基于所述坐标区域控制可见光图像传感器对人体轮廓所在区域进行局部曝光，从而增强可见光图像传感器采集的图像中包括面部区域的至少一部分区域的亮度。

图4为根据本发明实施例的人脸检测方法中局部曝光方法的示意性流程图。下面结合图4对根据本发明实施例的局部曝光方法进行描述。

如图4所示，根据本发明实施例的局部曝光方法包括：

在步骤401中，将所述可见光图像传感器分为多个区块。

在本发明一实施例中，可以通过图像信号处理器将可见光图像传感器分为m*n个区块。该m*n个区块可以通过图像信号处理器预先设定，也可以获取人体轮廓的坐标区域后，基于人体轮廓的坐标区域进行划分。

在步骤402中，为每个区块设置不同的曝光权重值，其中所述人体轮廓的包括面部区域的至少一部分区域所对应的区块的权重值比其它区块的曝光权重值高。即对所述可见光图像传感器的m*n个区块中，所述人体轮廓的包括面部区域的至少一部分区域所对应的区块设置较高的曝光权重值，而对其他区块设置较低的曝光权重值。假设所述可见光图像传感器被划分为2*2四个区块，分别表示为A、B、C、D，而人体轮廓的包括面部区域的至少一部分区域所对应的区块为B，则在设置A、B、C、D四个区块的曝光权重值时，可以将B区块的曝光权重值设置的较高，而A、C和D区域的曝光权重值设置较低，例如在本发明一示例中，可以将B区块的曝光权重值设置为70％，A、C和D区块的曝光权重值设置为10％。在本发明又一示例中，可以将B区块的曝光权重值设置为1，A、C和D区块的曝光权重值设置为0，即仅对B区块进行曝光，而不对A、C和D区块进行曝光。

在步骤403中，根据每个区块的权重值控制所述可见光图像传感器进行局部曝光，并采集经曝光的所述目标对象的可见光图像。

在本发明一实施例中，当设置完可见光图像传感器各区块的曝光权重值后，则基于所设置的各区块的曝光权重值控制可见光图像传感器进行局部曝光，以使可见光图像传感器中人体轮廓的包括面部区域的至少一部分区域所对应的区块的曝光量比其它区块大，从而增强可见光图像传感器采集的图像中包括面部区域的至少一部分区域的亮度。

在本发明一示例中，在进行局部曝光时仅对人体轮廓的坐标区域进行曝光，而对其他区域则不行曝光，使得采集的图像中仅人体区域亮度较高，其他区域则暗，利于人脸检测和识别。

示例性地，根据本实施例的局部曝光方法可以在具有存储器和处理器的设备、装置或者系统中实现。根据本发明实施例的局部曝光方法可以部署在人脸图像采集端处，例如道路监控系统的摄像机端、公司大厦等的门禁系统的图像采集端等，又或者在金融领域可以部署在个人终端处。

根据本实施例的局部曝光方法，通过使可见光图像传感器中人体轮廓的包括面部区域的至少一部分区域所对应的区块的曝光量比其它区块大，从而增强可见光图像传感器采集的图像中包括面部区域的至少一部分区域的亮度，利于人脸检测和识别。

可以理解的是，以上描述的仅是局部曝光方法的一个示例，本发明的局部曝光方法不限于此，例如除了包括上述一个或几个步骤，还可以包括其他步骤，例如在一示例中，除了设置基于人体轮廓的坐标区域设置可见光图像传感器各区块的曝光权重值之外，还可以设置各区域的诸如数字增益、模拟增益、背光补偿、宽动态等参数和亮度、对比度等图像质量参数，以提高图像中包括面部区域的至少一部分区域的质量以及该区域和其他区域的差别。

图5为根据本发明实施例的人脸检测装置的示意性结构框图。下面结合图5对根据本发明实施例的人脸检测装置进行描述。

如图5所示，根据本发明实施例的人脸检测装置500包括红外图像模块510、轮廓提取模块520、局部曝光控制模块530和人脸检测模块540。

红外图像模块510用于通过红外图像传感器采集目标对象的红外图像。红外图像模块510可以由图1所示的电子设备中的处理器102或图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的目标对象信息生成方法中的步骤S201。在本发明一示例中，红外图像模块510由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来通过图像信号处理器110或红外图像传感器116获取红外图像。

轮廓提取模块520用于所述红外图像提取人体轮廓的坐标区域，并基于该人体轮廓的坐标区域提取人脸轮廓的坐标区域。即，从红外图像模块510获取的红外图像中提取出其中的人体轮廓的坐标区域，并从中提取人脸轮廓的坐标区域。轮廓提取模块520可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸检测方法中的步骤S202，以及轮廓提取方法中的步骤S301～S303。

局部曝光控制模块530基于所述坐标区域控制可见光图像传感器对所述人体轮廓进行局部曝光以使得所述人体轮廓的包括面部区域的至少一部分区域的曝光量比图像采集范围内的其他区域的曝光量大，从而增强通过可见光图像传感器采集的图像中包括面部区域的至少一部分区域的亮度。局部曝光控制模块530可以由图1所示的电子设备中的处理器102和/或图像信号器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸检测方法中的步骤S203，以及局部曝光方法中的S401～S403。

可见光图像采集模块530用于在所述局部曝光控制模块530控制所述可见光传感器局部曝光的同时采集经局部曝光的所述目标对象的可见光图像。可见光图像采集模块530可以由图1所示的电子设备中的处理器102和/或图像信号器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸检测方法中的步骤S204。

人脸检测模块550基于所述可见光图像传感器局部曝光所采集的图像进行人脸检测。即从可见光图像传感器采集的图像中检测并提取人脸，人脸检测及提取方法如前述描述，在此不再赘述。人脸检测模块550可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸检测方法中的步骤S205。

示例性地，如图6所示，在本发明一实施例中，轮廓提取模块520包括坐标获取子模块5210、像素标记子模块5220和坐标变换子模块5230。

坐标获取子模块5210用于红外图像传感器感应到的热辐射点在所述红外图像中的坐标值。坐标获取子模块5210可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的轮廓提取方法中的步骤S301。

像素标记子模块5220用于将所述红外图像中所述热辐射点的坐标对应的像素值进行标记，以获取人体轮廓。示例性地，像素标记子模块5220将所述红外图像中所述热辐射点的坐标对应的像素值标记为1并将像素值为1的区域作为所述红外图像中的人体轮廓。像素标记子模块5220可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的轮廓提取方法中的步骤S302。

坐标提取子模块5230用于提取所述人脸轮廓的坐标区域。坐标提取子模块5230可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的轮廓提取方法中的步骤S303。

进一步地，在本发明一实施例中，局部包括控制模块530包括坐标变换子模块5310、区域划分子模块5320、权重设置子模块5330和曝光控制子模块5340。

坐标变换子模块5310用于基于坐标变换量将所述坐标区域变换为所述可见光图像传感器的坐标区域。例如，坐标变换子模块5310用于红外图像中的人体轮廓的坐标区域进行变换，以获取可见光图像传感器中的人体轮廓的坐标区域。坐标变换子模块5310可以由图1所示的电子设备中的处理器102或图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的轮廓提取方法中的步骤S303。

进一步地，在本发明一示例中，坐标变换子模块5310还基于预设目标的红外图像和可见光图像获取坐标变换量。坐标变换量可以坐标变换子模块5310执行如上所述的坐标变换量获取方法的步骤获得。

区域划分子模块5320用于将可见光图像传感器划分为多个区块。区域划分子模块5310可以预先将可见光图像传感器划分为m*n个区块，也可以在坐标变换子模块5310获取可见光图像传感器中人体轮廓的坐标区域后，基于该人体轮廓的坐标区域将可见光图像传感器划分为m*n个区块。区域划分子模块5320可以由图1所示的电子设备中的图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的局部曝光方法中的步骤S401。

权重设置子模块5330用于为区域划分子模块5320划分的可见光图像传感器的每个区块设置不同的曝光权重值，以使所述人体轮廓的包括面部区域的至少一部分区域所对应的区块的曝光权重值较高，而其他区块的曝光区域值较低。权重设置子模块5330可以由图1所示的电子设备中的处理器102和/或图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的局部曝光方法中的步骤S402。

曝光控制子模块5340基于权重设置子模块5330为可见光图像传感器的每个区块设置的曝光权重值控制可见光图像传感器进行局部曝光，以使可见光图像传感器中人体轮廓所在区域的曝光量大，其他区域的曝光量小，从而增强可见光图像传感器采集的图像中包括面部区域的至少一部分区域的亮度，以及该区域和其他区域的对比，以提高人脸检测性能和效率。曝光控制子模块5340可以由图1所示的电子设备中的图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的局部曝光方法中的步骤S403。

根据本发明的人脸检测装置，通过感应人体的热辐射并形成红外图像，然后从红外图像中提取人体轮廓的坐标区域，并将人体轮廓转换为可见光图像传感器中人体轮廓的坐标区域，并控制可见光图像传感器对人体轮廓的坐标区域进行局部曝光，从而增强可见光图像传感器采集的图像中的的包括面部区域的至少一部分区域的亮度，以及该区域和其他区域的对比，这样当对可见光图像传感器采集的图像进行人脸检测和识别时，准确度和性能将大幅提升，有效解决了光线较暗环境下人脸检测性能下降以及容易漏检的问题。

图8为根据本发明实施例的图像检测设备的示意性结构框图。下面结合图8对根据本发明实施例的图像检测设备系统进行描述。

如图8所示，根据本发明实施例的图像检测设备800包括红外图像传感器810、可见光图像传感器820、存储装置830和处理器840。

所述红外图像传感器810用于采集目标对象的红外图像。可见光图像传感器820用于采集目标对象的可见光曝光图像。可见光图像传感器820可以为RGB传感器，也可以为黑白传感器。红外图像传感器810和可见光图像传感器820可以采集图片亦可以采集视频。当然，红外图像传感器810、可见光图像传感器820采集数据的处理可以由图1所示的电子设备中的处理器102或图像信号处理器110运行存储装置104中存储的程序指令来实现，以获得图片或视频数据。

进一步地，在本发明实施例中，红外图像传感器810和可见光图像传感器820优选地在分辨率、水平视角、垂直视角等方向相同。

所述存储装置830存储用于实现根据本发明实施例的人脸检测方法中的相应步骤的程序代码。

所述处理器840用于运行所述存储装置830中存储的程序代码，以执行根据本发明实施例的人脸检测方法的相应步骤，并且用于实现根据本发明实施例的人脸检测装置中的红外图像模块510、轮廓提取模块520、局部曝光控制模块530、可见光图像采集模块540和人脸检测模块550；以及轮廓提取模块520中的坐标获取子模块5210、像素标记子模块5220和坐标提取子模块5230，和局部包括控制模块530中的坐标变换子模块5310、区域划分子模块5320、权重设置子模块5330和曝光控制子模块5340。

在一个实施例中，在所述程序代码被所述处理器840运行时执行以下步骤：

通过红外图像传感器获取目标对象的红外图像；

从所述红外图像中提取所述目标对象的人体轮廓的坐标区域；

基于所述坐标区域控制可见光图像传感器对所述人体轮廓进行局部曝光，以使得所述人体轮廓的包括面部区域的至少一部分区域的曝光量比图像采集范围内的其他区域的曝光量大；

在所述局部曝光的同时采集经局部曝光的所述目标对象的可见光图像；

对所述可见光图像进行人脸检测。

在一个实施例中，处理器840可以实现为中央处理器(CPU)和图像信号处理器(ISP)，其中，中央处理器(CPU)通过红外图像传感器810获取红外图像，然后通过执行存储装置830中相应的程序代码，从红外图像中提取人体轮廓，并将其转化为可见光图像传感器820中的人体轮廓所在区域，然后基于该人体轮廓所在区域为可见光图像传感器中的不同区域设置不同的曝光权重值，然后将该不同区域的曝光权重值发送至图像信号处理器(ISP)，图像信号处理器通过执行存储装置830中相应的程序代码基于不同区域的曝光权重值控制可见光图像传感器820进行曝光，以使可见光图像传感器820采集的图像中人体区域的亮度以及人体区域相对其他区域的对比较高，随后中央处理器(CPU)通过基于可见光图像传感器820采集的图像通过执行存储装置830中相应的程序代码进行人脸检测。

示例性地，根据本发明实施例的图像检测设备800可以实现为具有红外图像传感器、可见光图像传感器、存储器、通信接口/单元和处理器的设备、装置或者系统。

根据本发明实施例的图像检测设备800可以部署在人脸检测识别系统中，例如，在安防应用领域，可以部署在门禁系统或道路监控系统；在金融应用领域，可以银行、交易所等等的身份认证系统中。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的人脸检测方法、轮廓提取方法、局部曝光方法的相应步骤，并且用于实现根据本发明实施例的人脸检测装置、轮廓提取模块、局部曝光控制模块的相应模块/子模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于目标对象信息生成的计算机可读的程序代码，另一个计算机可读存储介质包含用于目标对象信息识别的计算机可读的程序代码。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的人脸检测方法装置中的各个功能模块，并且/或者可以执行根据本发明实施例的人脸检测方法。

在一个实施例中，所述计算机程序指令在被计算机运行时执行以下步骤：通过红外图像传感器获取目标对象的红外图像；从所述红外图像中提取所述目标对象的人体轮廓的坐标区域；基于所述坐标区域控制可见光图像传感器对所述人体轮廓进行局部曝光，以使得所述人体轮廓的包括面部区域的至少一部分区域的曝光量比图像采集范围内的其他区域的曝光量大；在所述局部曝光的同时采集经局部曝光的所述目标对象的可见光图像；对所述可见光图像进行人脸检测。

根据本发明实施例的人脸检测装置中的各模块可以通过根据本发明实施例的人脸检测的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的人脸检测方法和装置、图像检测设备及存储介质，通过红外图像提取人体轮廓，并控制可见光图像传感器对人体轮廓所在区域进行局部曝光，增强了可见光图像传感器采集的图像中的所述人体轮廓的包括面部区域的至少一部分区域的亮度，以及该区域和其他区域的对比，这样当对可见光图像传感器采集的图像进行人脸检测和识别时，准确度和性能将大幅提升，有效解决了光线较暗环境下人脸检测性能下降以及容易漏检的问题。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。