人脸跟踪方法及装置与流程

本发明涉及图像识别技术领域，尤其涉及一种可以自动跟踪人脸方位的人脸跟踪方法及装置。

背景技术：

随着经济和信息技术的发展，门禁、安防、反恐等领域多种监控需求的出现，对监控装置的智能化提出了更高的要求，而计算机视频图像技术的不断发展以及各种控制处理及通信等技术的发展为监控装置的智能化提供了条件。将人工智能引入监控领域也成为趋势，特别是人脸识别的监控系统对身份识别、安防维稳等领域都有极大的市场需求，预估至少会形成千亿人民币级别的产业链。如何设计一套优质合理的人脸识别系统对该产业的早日实现无疑有着巨大的推动力。

目前的可以进行人脸识别的监控装置普遍需要被识别对象主动走到相机面前进行正面对准，用户体验较差，因为一方面不是所有被识别对象都愿意对准，另一方面，被识别对象主动对准时间较慢。

因此，需要提供一种人脸跟踪方法及装置，以至少部分地解决上面提到的问题。

技术实现要素：

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施例部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

为了至少部分地解决上述问题，本发明提供了一种人脸跟踪方法，包括：获取红外图像和可见光图像，所述红外图像和所述可见光图像分别通过红外图像传感器和可见光图像传感器采集；检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标；根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点的坐标在所述可见光图像中的对应点的对应坐标；获取所述红外图像中人脸区域的中心点在所述可见光图像中的所述对应点相对所述可见光图像的中心点的水平夹角和垂直夹角，所述水平夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的水平方向的夹角，所述垂直夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的垂直方向的夹角；以及基于所述水平夹角和所述垂直夹角控制云台转动，以对目标对象的人脸进行跟踪。

示例性地，所述检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标包括：获取所述红外图像传感器感应到的热辐射点在所述红外图像中的坐标；将所述红外图像中所述热辐射点的坐标对应的像素值标记为1，并将像素值为1的区域作为所述红外图像中的目标对象区域；提取所述目标对象区域中的预定区域作为所述红外图像中人脸区域；以及获取所述红外图像中人脸区域的中心点的坐标值，作为所述红外图像中人脸区域的中心点的坐标。

示例性地，所述获取所述红外图像中人脸区域的中心点的坐标值，作为红外图像中所述人脸区域的中心点的坐标包括：截取所述红外图像中人脸区域的外切矩形，并以所述外切矩形的中心点的坐标作为所述红外图像中人脸区域的中心点的坐标。

示例性地，根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点的对应坐标包括：基于坐标变换关系，将所述红外图像中人脸区域的中心点的坐标变换为所述可见光图像中的所述对应点的对应坐标。

示例性地，所述方法还包括基于包括第一参照物的红外图像和包括所述第一参照物的可见光图像获取所述坐标变换关系，其中所述获取所述坐标变换关系的步骤包括：通过所述可见光图像传感器和所述红外图像传感器分别获取所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像，其中，所述第一参照物置于所述可见光图像传感器和所述红外图像传感器的视角范围内，并且所述第一参照物上标记有至少一个参照点；分别在所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像中获取所述至少一个参照点的坐标；以及通过所述包括所述第一参照物的可见光图像中的所述至少一个参照点的坐标和所述包括所述第一参照物的红外图像中的所述至少一个参照点的坐标获取所述坐标变换关系。

根据本发明的另一个方面，还提供了一种人脸跟踪装置，其包括：图像获取模块，所述图像获取模块用于获取红外图像和可见光图像；红外图像人脸中心点坐标获取模块，所述红外图像人脸中心点坐标获取模块用于检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标；可见光图像对应坐标获取模块，所述可见光图像对应坐标获取模块用于根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在可见光图像中的对应点的对应坐标；角度检测模块，所述角度检测模块用于获取所述红外图像中人脸区域的中心点坐标在所述可见光图像中的对应点相对所述可见光图像的中心点的水平夹角和垂直夹角，所述水平夹角为所述对应点与所述可见光图像的中心点的连线相对所述可见光图像的水平方向的夹角，所述垂直夹角为所述对应点与所述可见光图像的中心点的连线相对所述可见光图像的垂直方向的夹角；以及云台转动控制模块，所述云台转动控制模块基于所述水平夹角和所述垂直夹角控制云台进行转动，以对目标对象的人脸进行跟踪。

示例性地，所述人脸跟踪装置还包括：红外图像传感器，所述红外图像传感器用于获取所述红外图像；以及可见光图像传感器，所述可见光图像传感器用于获取所述可见光图像。

示例性地，所述红外图像人脸中心点坐标获取模块包括：坐标获取子模块，所述坐标获取子模块用于获取所述红外图像传感器感应到的热辐射点在所述红外图像中的坐标；像素标记子模块，所述像素标记子模块用于将所述红外图像中所述热辐射点的坐标对应的像素值标记为1，并将像素值为1的区域作为所述红外图像中的目标对象区域；人脸区域提取子模块，所述人脸区域提取子模块用于提取所述目标对象区域中的预定区域作为所述红外图像中的人脸区域；以及红外图像人脸中心点坐标计算子模块，所述红外图像人脸中心点坐标计算子模块用于获取所述红外图像中人脸区域的中心点的坐标值，作为所述红外图像中人脸区域的中心点的坐标。

示例性地，所述红外图像人脸中心点坐标计算子模块包括截取单元，所述截取单元用于截取所述红外图像中人脸区域的外切矩形，并以所述外切矩形的中心点的坐标作为所述红外图像中人脸区域的中心点的坐标。

示例性地，可见光图像对应坐标获取模块基于坐标变换关系，将所述红外图像中人脸区域的中心点的坐标变换为所述可见光图像中的所述对应点的对应坐标。

示例性地，所述人脸跟踪装置还包括：坐标变换关系获取模块，所述坐标变换关系获取模块用于基于包括第一参照物的红外图像和包括所述第一参照物的可见光图像获取所述坐标变换关系，其中所述坐标变换关系获取模块包括：

参照物图像获取子模块，所述参照物图像获取子模块用于通过所述可见光图像传感器和所述红外图像传感器分别获取所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像，其中，所述第一参照物置于所述可见光图像传感器和所述红外图像传感器的视角范围内，并且所述第一参照物上标记有至少一个参照点；参照点坐标获取子模块，所述参照点坐标获取子模块用于在所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像中分别获取所述至少一个参照点的坐标；以及坐标变换关系获取子模块，所述坐标变换关系获取子模块用于通过所述包括所述第一参照物的可见光图像中的所述至少一个参照点的坐标和所述包括所述第一参照物的红外图像中的所述至少一个参照点的坐标获取所述坐标变换关系。

示例性地，所述图像获取模块、所述红外图像人脸中心点坐标获取模块、所述可见光图像对应坐标获取模块、所述角度检测模块和所述云台转动控制模块由同一个处理器实现。

根据本发明的人脸跟踪方法及装置，通过感应人体的热辐射并形成红外图像，然后从红外图像中获取人脸区域中心点的坐标，并将红外图像中人脸区域的中心点的坐标转换为可见光图像中的对应点的对应坐标，然后获取可见光图像中的对应点相对可见光图像的中心点的水平夹角和垂直夹角，并基于所述水平夹角和垂直夹角控制云台转动，从而对目标对象的人脸进行跟踪。即，根据本发明的人脸跟踪方法及装置可以实现对被识别的目标对象人脸的自动跟踪对准，而无需目标对象主动走到相机正面进行对准，提高了对准时间和用户体验。

附图说明

本发明实施例的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。在附图中，

图1是用于实现根据本发明实施例的人脸跟踪方法及装置的示例电子设备的示意性框图；

图2为根据本发明实施例的人脸跟踪方法的示意性流程图；

图3为根据本发明实施例的红外图像中人脸区域的中心点的坐标获取方法的示意性流程图；

图4为根据本发明实施例的人脸跟踪装置的示意性结构框图；

图5为根据本发明实施例的红外图像人脸中心点坐标获取模块的示意性结构框图；

图6为根据本发明实施例的坐标变换关系获取模块的示意性结构框图；

图7为根据本发明实施例的人脸跟踪设备的示意性结构框图。

具体实施例

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明实施例可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明实施例发生混淆，对于本领域公知的一些技术特征未进行描述。

应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。在附图中，为了清楚，部件、元件等的尺寸以及相对尺寸可能被夸大。自始至终相同附图标记表示相同的元件。

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图1来描述用于实现根据本发明实施例的人脸跟踪方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入/输出装置106、通信接口108以及一个或多个图像信号处理器(ISP)110、可见光图像传感器114和红外图像传感器116，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构，也可以不包括前述的部分组件，例如可以包括通信接口108，也可以不包通信接口108。

所述处理器102一般表示任何类型或形式的能够处理数据或解释和执行指令的处理单元。一般而言，处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。在特定实施例中，处理器102可以接收来自软件应用或模块的指令。这些指令可以导致处理器102完成本文描述和/或示出的一个或多个示例实施例的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入/输出装置106可以是用户用来输入指令和向外部输出各种信息的装置，例如输入装置可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。输出装置可以包括显示器、扬声器等中的一个或多个。

通信接口108广泛地表示任何类型或形式的能够促进示例电子设备100和一个或多个附加设备之间的通信的适配器或通信设备。例如，通信接口108可以促进电子设备100和前端或附件电子设备以及后端服务器或云端的通信。通信接口108的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器和任何其他合适的接口。在一实施例中，通信接口108通过与诸如因特网的网络的直连提供到远程服务器/远程前端设备的直连。在特定实施例中，通信接口108通过与专用网络，例如视频监控网络、天网系统网络等网络的直连提供到远程服务器/远程前端设备的直连。通信接口108还可以间接提供这种通过任何其它合适连接的连接。

图像信号处理器(ISP)110用于控制可见光图像传感器114和红外图像传感器116进行图像采集，并调节AE(自动曝光)的数字增益、模拟增益、背光补偿、宽动态等参数和亮度、对比度等图像质量参数以及其他参数，以调节图像质量，并基于可见光图像传感器114和红外图像传感器116的输出信号生成相应的可见光曝光图像和红外图像，并通过诸如总线系统112的连接单元传输至处理器102进行后续处理。同时，图像信号处理器(ISP)110也可以接受来自处理器102的命令或指令，以对可见光图像传感器114和红外图像传感器116进行调节控制。图像信号处理器(ISP)110可以根据需要以及可见光图像传感器114和红外图像传感器116的数量设置一个或多个，并且图像信号处理器(ISP)110既可以与处理器102等集成，实现为片上系统(SOC)，又可以单设设置，并通过诸如总线系统112的连接单元进行连接。

可见光图像传感器114可以采集或拍摄用户期望的可见光曝光的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。可见光图像传感器114的一个示例为RGB传感器，或者RGBW传感器或黑白传感器(只能采集黑白图像)等等，其通过感应可见光形成彩色或黑白图像/视频，因而在此称为可见光图像传感器。相应的可见光图像传感器采集的图像/视频称为可见光图像/视频或可见光曝光图像/视频。

红外图像传感器116用于采集红外图像，其基于热辐射成像，因此无论环境光线强弱，均可采集红外图像。

示例性地，用于实现根据本发明实施例的人脸跟踪方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、门禁系统的图像采集端、道路监控系统的图像采集端、安防系统的图像采集端以及各种监控、安防领域等的后端控制处理端或服务器端或云端等等。

图2为根据本发明实施例的人脸跟踪方法的示意性流程图。下面将结合图2对根据本发明实施例的人脸跟踪方法进行描述。

如图2所示，本发明实施例公开的人脸跟踪方法包括：

首先，在步骤S201中，获取红外图像和可见光图像，所述红外图像和所述可见光图像分别通过红外图像传感器和可见光图像传感器采集。

红外图像为基于热辐射红外线感光形成的图像，与可见光相比，红外成像不受环境光线强弱的影响，因此暗光下也可获得清晰的红外图像。在本发明实施例中，可以通过图像信号处理器控制红外图像传感器获取目标对象的红外图像，即通过红外图像传感器感应视角范围内热辐射形成的红外线，并将红外线信号转化为电信号，经过图像信号处理器处理后形成红外图像。在一个实施例中，所述红外图像包括目标对象。

可见光图像可以通过图像信号处理器控制可见光图像传感器获取目标对象的可见光图像，即通过可见光图像传感器感应视角范围内的光线，并将光信号转化为电信号，经过图像信号处理器处理后形成可见光图像。在一个实施例中，所述可见光图像包括目标对象。

在一个实施例中，所述红外图像和所述可见光图像分别为所述红外图像传感器和可见光图像传感器在同一时刻采集。

接着，在步骤S202中，检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标。

即，对所获取的所述红外图像进行处理，从中获取所述红外图像中检测到目标对象时，则获取所述红外图像中目标对象的人脸区域的中心点的坐标。获取红外图像中人脸区域的中心点的坐标将在后续进行详细描述。

接着，在步骤S203中，根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点的对应坐标。

由于可见光图像传感器和红外图像传感器的位置并不重合，因此红外图像中人脸区域中心点的坐标并不等于可见光图像中人脸区域中心点的坐标，因此在本步骤中对红外图像中人脸区域的中心点的坐标进行坐标变换，从而获得红外图像中人脸区域的中心点在可见光图像中的对应点的对应坐标。在一个实施例中，可以将红外图像中人脸区域的中心点在可见光图像中的对应点视为可见光图像中人脸区域的中心点。所谓坐标变换即基于坐标变换关系，将所述红外图像中人脸区域的中心点的坐标变换为所述可见光图像中的所述对应点的对应坐标。例如，在本发明一个实施例中将所述红外图像中人脸区域的中心点的坐标与坐标变换关系给出的变换量和/或变换函数进行叠加，以获得所述红外图像中人脸区域的中心点的坐标在所述可见光图像中的对应坐标。

所述坐标变换关系可以仅给出一个方向上的变换量，也可以给出多个方向上的变换量。在一个实施例中，所述坐标变换关系可以仅给出一个方向上的变换函数，也可以给出多个方向上的变换函数。在本发明实施例中，所述坐标变换关系可以基于包括第一参照物的红外图像和包括所述第一参照物的可见光图像来获取。

示例性地，在本发明一示例中，可以通过下述步骤获取所述坐标变关系：

首先，通过所述可见光图像传感器和所述红外图像传感器分别获取所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像，其中，所述第一参照物置于所述可见光图像传感器和所述红外图像传感器的视角范围内，并且所述第一参照物上标记有至少一个参照点。在本发明一示例中，所述第一参照物例如为一张白纸，并在白纸的四个角标记四个黑点作为参照点，并且在每个黑点的背后施加热源以便可以形成红外图像。在本发明一示例中，优选地，红外图像传感器和可见光图像传感器选择相同的分辨率以及水平和垂直视角，并且在电路板上水平设置且尽量靠近，以减少坐标变换的误差。并且，当所述参照点不具有热辐射时，其中，在每个所述至少一个参照点的背面施加热源以加热所述至少一个参照点。当然，当所述参照点自身具有热辐射时，则不需要进行加热。

通过所述可见光图像传感器和所述红外图像传感器可以分别获取包括所述第一参照物的可见光图像和包括所述第一参照物的红外图像。例如，通过所述可见光图像传感器和红外传图像感器分别获取包括所述白纸的可见光图像和包括所述白纸的红外图像。在本发明一示例中，可以通过图像信号器控制可见光图像传感器和红外图像传感器采集图像，以分别获取包括所述白纸的可见光图像和包括所述白纸的红外图像。

接着，分别在所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像中获取所述至少一个参照点及对的应坐标。例如，从包括所述白纸的红外图像和包括所述白纸的可见光图像获取所述四个角上的四个黑点的坐标。黑点坐标可以通过算法以及图像的坐标系统获取。

最后，通过所述包括所述第一参照物的可见光图像中的所述至少一个参照点的坐标和所述包括所述第一参照物的红外图像中所述至少一个参照点的坐标获取所述坐标变换关系。例如，当获得两幅图像中的黑点及其坐标后，可以通过两幅图像中所述黑点的坐标获取所述坐标变换关系。例如，在本发明一示例中，可见光图像传感器和红外图像传感器水平放置于同一水平面上，因此，可见光图像传感器和红外图像传感器的坐标系统中垂直方向的坐标一致，而水平方向的坐标存在差别，因此通过比较两幅图像中对应黑点的水平坐标差或像素值差dPix即可获得水平方向的坐标变换函数公式，并将所述坐标变换函数公式作为所述坐标变换关系。示例性地，例如水平方向(表示为X方向)的坐标变换公式为X1(可见光图像传感器中的水平方向坐标值)＝X2(红外图像传感器中的水平方向坐标值)+dPix。可以理解的是，dPix基于可见光图像传感器和红外传图像感器的相对位置可以为正值也可以负值。

可以理解的是的，上述可见光图像传感器和红外传图像感器的设置方式以及坐标变换关系的获取方法仅是一个示例，本领域技术人员可以基于类似原理通过其他方法来获取所述坐标变换关系。此外，上述以白纸作为第一参照物、并在白纸的四个角标记四个黑点作为参照点也是示例性的，本领域技术人员可以使用其它物品作为参照物，并在参照物上的任意位置选取一个或者多个参照点。

在步骤S204中，获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点相对所述可见光图像的中心点的水平夹角和垂直夹角，所述水平夹角为所述可见光图像中的对应点与所述可见光图像的中心点连线相对所述可见光图像的水平方向的夹角，所述垂直夹角为所述可见光图像中的对应点与所述可见光图像的中心点连线相对所述可见光图像的垂直方向的夹角。

即，基于所述红外图像中人脸区域的中心点在可见光图像中的对应点的对应坐标和可见光图像的中心点的坐标获取所述可见光图像中的对应坐标相对所述可见光图像的中心点的坐标的水平夹角和垂直夹角，其中，所述水平夹角为所述可见光图像中所述对应点与所述可见光图像的中心点连线相对所述可见光图像的水平方向的夹角，所述垂直夹角为所述可见光图像中所述对应点与所述可见光图像的中心点连线相对所述可见光图像的垂直方向的夹角。

在本发明一示例中，基于所述可见光图像中所述对应坐标和所述可见光图像的中心点的坐标通过一定算法计算出所述目标对象的可见光图像中所述对应点相对所述可见光图像的中心点的水平夹角和垂直夹角。

其中，所述可见光图像的中心点坐标可以基于所述可见光图像的坐标系统或分辨率获得。例如，在本发明一示例中，所述坐标均以像素为单位，如果可见光图像传感器的分辨率固定为WxH，则可见光图像的中心点坐标为(W/2，H/2)，W，H为偶数；或((W-1)/2，(H-1)/2)，W，H为奇数；或((W+1)/2，(H+1)/2)，W，H为奇数。当然，在其它实施例中，也可以根据不同设定采用其他合适的方法获取。

在步骤S205中，基于所述水平夹角和所述垂直夹角控制云台转动，以对目标对象的人脸进行跟踪。

所述云台为支撑所述红外图像传感器/采集单元和可见光图像传感器/采集单元，并可调节所述红外图像传感器/采集单元和可见光图像传感器/采集单元图像采集区域的装置，其可以采用各种合适的结构。当确定所述可见光图像中所述对应点相对所述可见光图像的中心点的水平夹角和垂直夹角后，可以基于该水平夹角和垂直夹角控制云台转动，从而调节可见光图像传感器的图像采集区域，以对目标对象的人脸进行跟踪。例如，基于所述水平夹角和所述垂直夹角控制云台转动，使可见光图像传感器对准目标对象的人脸区域，使目标对象的人脸区域大致处于新采集的可见光图像的中心，从而实现对目标对象人脸区域的跟踪对准。

在一个实施例中，在获取所述变换关系的步骤中，所述可见光图像传感器和所述红外图像传感器的相对位置已经固定(例如，水平设置且尽量靠近)，因此，云台在转动过程中，调节所述红外图像传感器和可见光图像传感器的采集区域，并保持所述可见光图像传感器和所述红外图像传感器的相对位置不变。

示例性地，根据本实施例的人脸跟踪方法可以部署在人脸图像采集端处，例如，在安防应用领域或金融应用领域，可以部署在门禁系统或图像采集系统的图像采集端。

替代地，根据本发明实施例的人脸跟踪方法还可以分布地部署在服务器端(或云端)和图像采集端处。例如，在金融应用领域，可以在图像采集(例如摄像机端)进行目标对象跟踪和图像采集，在服务器端(或云端)进行云台转动控制等。

根据本实施例的人脸跟踪方法，通过感应人体的热辐射并形成红外图像，然后从红外图像中获取红外图像中人脸区域的中心点的坐标，并将红外图像中人脸区域的中心点的坐标转换为可见光图像中对应点的对应坐标，然后获取所述对应点相对可见光图像的中心点的水平夹角和垂直夹角，并基于所述水平夹角和垂直夹角控制云台转动，以对目标对象的人脸进行跟踪。即，根据本发明的人脸跟踪方法可以实现对被识别的目标对象人脸的自动跟踪对准，而无需目标对象主动走到相机正面进行对准，提高了对准时间和用户体验。

图3为根据本发明实施例的红外图像中人脸区域的中心点的坐标获取方法的示意性流程图。下面结合图3对根据本发明实施例的红外图像中人脸区域的中心点的坐标获取方法进行描述。

如图3所示，本发明实施例公开的检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标的方法包括：

首先，在步骤S301中，获取所述红外图像传感器感应到的热辐射点在所述红外图像中的坐标。

红外图像通过感应热辐射红外线线形成，因此当目标对象为人体，可以通过感应人体的热辐射红外线形成红外图像。因此通过获取红外图像中热辐射点的坐标可以获取人体轮廓。在本发明实施例中，可以通过算法判断热辐射点在红外图像的坐标系统中的位置来获取红外图像中热辐射点的坐标。

在步骤S302中，将上述坐标对应的像素值标记为1。即将红外图像所述热辐射点的坐标所对应的像素值标记为1，并将像素值为1的区域作为所述红外图像中的目标对象区域(人体轮廓)。并且示例性地，还可以进一步地运用现有图分割技术(例如，Graph Cut算法)将像素值为1的区域抠取出来，从而得到仅包含目标对象区域的红外图像。

示例性地，在一示例中，在将红外图像所有热辐射点的坐标所对应的像素值标记为1时，将其他区域的像素值标记为0。或者，在又一实施例中，可以预先将所有像素的像素值默认为0，当获取热辐射点在红外图中的坐标值后，再将红外图像所有热辐射点的坐标所对应的像素值标记为1，这样同样可以从红外图像中获取目标对象区域。

在步骤S303中，提取所述目标对象区域的预定区域作为所述红外图像中人脸区域。

即根据一般红外图像中人脸区域与目标对象区域的相对位置关系设定预定区域，当在步骤S302中获取的目标对象区域后，则提取所述目标对象区域的预定区域作为所述红外图像中人脸区域。在本发明一示例中，所述预定区域为所述目标对象区域中自上而下像素值为1的前50行像素构成的区域，即提取目标对象区域中前50行像素为1的区域作为人脸区域。当然，在其它实施例中，也可以选取其它数量行的像素区域作为人脸区域，或采用其他方法从目标对象区域中提取人脸区域。

在步骤S304中，获取所述红外图像中人脸区域的中心点的坐标值，作为所述红外图像中人脸区域的中心点的坐标。

即获取红外图像中人脸区域的中心点位置。例如在发明一示例中，可以通过合适的算法截取所述红外图像中人脸区域的外切矩形，并以所述外切矩形的中心点的坐标作为所述红外图像中人脸区域的中心点的坐标。当然，在其它实施例中，也可以截取人脸区域的其他外切或内切图形来获取中心点的坐标，或者通过其他合适的方法获取所述人脸区域的中心点的坐标。

示例性地，根据本发明实施例的红外图像中人脸区域的中心点的坐标获取方法可以在具有可见光图像传感器、红外图像传感器和处理器的设备、装置或者系统中实现。

根据本发明实施例的红外图像中人脸区域的中心点的坐标获取方法可以部署在人脸图像采集端处，例如，在安防应用领域或金融应用领域，可以部署在门禁系统或图像识别系统的图像采集端。替代地，也可以布置在图像处理端或控制端，以及服务器端或云端，即在前端采集图像，在后端获取人脸区域中心点坐标。

根据本实施例的红外图像中人脸区域的中心点的坐标获取方法，通过感应人体的热辐射并形成红外图像，然后从红外图像中提取目标对象区域，并从目标对象区域提取人脸区域，然后获得人脸区域的中心点的坐标，这样便可以基于所述人脸区域的中心点的坐标获取云台转动角度，从而控制云台转动以对目标对象的人脸进行跟踪。

图4为根据本发明实施例的人脸跟踪装置的示意性结构框图。下面结合图4对根据本发明实施例的人脸跟踪装置进行描述。

如图4所示，根据本发明实施例的人脸跟踪装置400包括图像获取模块410、红外图像人脸中心点坐标获取模块420、可见光图像对应坐标获取模块430、角度检测模块440和云台转动控制模块450。所述各个模块可分别执行上文中结合图2至图3描述的人脸跟踪方法的各个步骤/功能。以下仅对人脸跟踪装置400的各单元的主要功能进行描述，而省略以上已经描述过的细节内容。

图像获取模块410用于获取红外图像和可见光图像。图像获取模块410获取红外图像传感器采集的目标对象的红外图像，和可见光图像传感器采集的目标对象的可见光图像。图像获取模块410可以由图1所示的电子设备中的处理器102和/或图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸跟踪方法中的步骤S201。

红外图像人脸中心点坐标获取模块420从图像获取模块410获取的红外图像中检测目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标。红外图像人脸中心点坐标获取模块420可以由图1所示的电子设备中的处理器102和/或图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸跟踪方法中的步骤S202，以及根据本发明实施例的红外图像人脸中心点的坐标获取方法中的步骤S301～S304。

可见光图像对应坐标获取模块430用于根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像人脸中心点坐标获取模块420获取的红外图像中人脸区域的中心点在所述可见光图像中的对应点的对应坐标。在本发明一示例中，可见光图像对应坐标获取模块430基于坐标变换关系，将所述红外图像中人脸区域的中心点的坐标变换为所述可见光图像中的对应点的对应坐标。可见光图像对应坐标获取模块430可以由图1所示的电子设备中的处理器102和/或图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸跟踪方法中的步骤S203。

角度检测模块440用于获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点相对所述可见光图像的中心点的水平夹角和垂直夹角，所述水平夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的水平方向的夹角，所述垂直夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的垂直方向的夹角。角度检测模块440可以由图1所示的电子设备中的处理器102和/或图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸跟踪方法中的步骤S204。

云台转动控制模块450基于所述水平夹角和所述垂直夹角控制云台进行转动，以对目标对象的人脸进行跟踪。云台转动控制模块450可以由图1所示的电子设备中的处理器102和/或图像信号器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸跟踪方法中的步骤S205。

进一步地，在本发明一示例中，如图4所示所述人脸跟踪装置还可以包括坐标变换关系获取模块460，所述坐标变换关系获取模块460用于基于包括第一参照物的红外图像和包括第一参照物的可见光图像获取所述坐标变换关系。坐标变换关系获取模块460可以由图1所示的电子设备中的处理器102和/或图像信号器110运行存储装置104中存储的程序指令来实现，并且可以执行前述坐标变换关系获取方法来获取坐标变换关系，以便可见光图像对应坐标获取模块430基于坐标变换关系，将所述红外图像中人脸区域的中心点的坐标变换为所述可见光图像中的对应点的对应坐标。

示例性地，如图5所示，在本发明一实施例中，红外图像人脸中心点坐标获取模块420包括坐标获取子模块4201、像素标记子模块4202、人脸区域提取子模块4203和红外图像人脸中心点坐标计算子模块4204。

坐标获取子模块4201用于获取红外图像传感器感应到的热辐射点在所述红外图像中的坐标。坐标获取子模块4201可以由图1所示的电子设备中的处理器102/图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的红外图像中人脸区域的中心点的坐标获取方法中的步骤S301。

像素标记子模块4202用于将所述红外图像中所述热辐射点的坐标对应的像素值进行标记，以获取目标对象区域。示例性地，像素标记子模块4202将所述红外图像中所述热辐射点的坐标对应的像素值标记为1并将像素值为1的区域作为所述红外图像中的目标对象区域。像素标记子模块4202可以由图1所示的电子设备中的处理器102/图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的红外图像中人脸区域的中心点的坐标获取方法中的步骤S302。

人脸区域提取子模块4203用于提取所述目标对象区域中的预定区域作为所述红外图像中人脸区域。人脸区域提取子模块4203可以由图1所示的电子设备中的处理器102/图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的红外图像中人脸区域的中心点的坐标获取方法中的步骤S303。

红外图像人脸中心点坐标计算子模块4204用于获取所述红外图像中人脸区域的中心点的坐标值，作为所述人脸区域的中心点的坐标。在本发明一示例中，所述红外图像人脸中心点坐标计算子模块4204包括截取单元，所述截取单元用于截取所述红外图像中人脸区域的外切矩形，并以所述外切矩形的中心点的坐标作为所述红外图像中人脸区域的中心点的坐标。红外人脸中心点坐标计算子模块4204可以由图1所示的电子设备中的处理器102/图像信号处理器110运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的红外图像中人脸区域的中心点的坐标获取方法中的步骤S304。

进一步地，在本发明一实施例中，如图6所示，所述坐标变换关系获取模块460包括参照物图像获取子模块4601、参照点坐标获取子模块4602和坐标变换关系获取子模块4603。

参照物图像获取子模块4601用于通过所述可见光图像传感器和所述红外图像传感器分别获取包括所述第一参照物的可见光图像和包括所述第一参照物的红外图像，其中，所述第一参照物置于所述可见光图像传感器和所述红外图像传感器的视角范围内，并且所述第一参照物上标记有至少一个参照点。参照物图像获取子模块4601可以由图1所示的电子设备中的处理器102/图像信号处理器110运行存储装置104中存储的程序指令来实现。

参照点坐标获取子模块4602用于在所述包括所述第一参照物的可见光图像和包括所述第一参照物的红外图像中获取所述至少一个参照点的坐标。参照点坐标获取子模块4602可以由图1所示的电子设备中的处理器102/图像信号处理器110运行存储装置104中存储的程序指令来实现。

坐标变换关系获取子模块4603用于通过所述包括所述第一参照物的可见光图像中的所述至少一个参照点的坐标和所述包括所述第一参照物的红外图像中所述至少一个参照点的坐标获取所述坐标变换关系。坐标变换关系获取子模块4603可以由图1所示的电子设备中的处理器102/图像信号处理器110运行存储装置104中存储的程序指令来实现。

根据本发明的人脸跟踪装置，通过感应人体的热辐射并形成红外图像，然后从红外图像中获取人脸区域的中心点的坐标，并将红外图像中人脸区域的中心点的坐标转换为可见光图像中的对应点的对应坐标，然后获取可见光图像中的对应点相对可见光图像的中心点的水平夹角和垂直夹角，并基于所述水平夹角和垂直夹角控制云台转动，以对目标对象的人脸进行跟踪。即，根据本发明的人脸跟踪装置可以实现对被识别的目标对象人脸的自动跟踪对准，而无需目标对象主动走到相机正面进行对准，提高了对准时间和用户体验。

图7为根据本发明实施例的人脸跟踪设备的示意性结构框图。下面结合图7对根据本发明实施例的人脸跟踪设备系统进行描述。

如图7所示，根据本发明实施例的人脸跟踪设备700包括红外图像传感器710、可见光图像传感器720、云台730、处理器740和存储装置750。

所述红外图像传感器710用于采集红外图像，例如，目标对象的红外图像。可见光图像传感器720用于采集可见光图像，例如，目标对象的可见光曝光图像。可见光图像传感器720可以为RGB传感器，也可以为黑白传感器。红外图像传感器710和可见光图像传感器720可以采集图片亦可以采集视频。当然，红外图像传感器710和可见光图像传感器720采集数据的处理可以由图1所示的电子设备中的处理器102或图像信号处理器110运行存储装置104中存储的程序指令来实现，以获得图片或视频数据。

进一步地，在本发明实施例中，红外图像传感器710和可见光图像传感器720优选地具有相同的分辨率、水平视角和垂直视角，并且在电路板上水平设置且尽量靠近，以减少坐标变换的误差。

所述云台730用于支撑所述红外图像传感器710和可见光图像传感器720，并通过水平方向和垂直方向的转动调节红外图像传感器710和可见光图像传感器720的图像采集区域，以实现对目标对象的人脸的自动跟踪对准。

所述存储装置750存储用于实现根据本发明实施例的人脸跟踪方法中的相应步骤的程序代码。

所述处理器740用于运行所述存储装置750中存储的程序代码，以执行根据本发明实施例的人脸跟踪方法的相应步骤，并且用于实现根据本发明实施例的人脸跟踪装置中的图像获取模块410、红外图像人脸中心点坐标获取模块420、可见光图像对应坐标获取模块430、角度检测模块440、云台转动控制模块450和坐标变换关系获取模块460；以及红外图像人脸中心点坐标获取模块420中的坐标获取子模块4201、像素标记子模块4202、人脸区域提取子模块4203和红外图像人脸中心点坐标计算子模块4204，和坐标变换关系460中的参照物图像获取子模块4601、参照点坐标获取子模块4602和坐标变换关系获取子模块4603。

在一个实施例中，在所述程序代码被所述处理器740运行时执行以下步骤：

获取红外图像和可见光图像，所述红外图像和所述可见光图像分别通过红外图像传感器和可见光图像传感器采集；

检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标；

根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点的对应坐标；

获取所述红外图像中人脸区域的中心点在所述可见光图像中的所述对应点相对所述可见光图像的中心点的水平夹角和垂直夹角，所述水平夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的水平方向的夹角，所述垂直夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的垂直方向的夹角；以及

基于所述水平夹角和所述垂直夹角控制云台转动，以对目标对象的人脸进行跟踪。

在一个实施例中，处理器740可以实现为中央处理器(CPU)和/或图像信号处理器(ISP)。

示例性地，根据本发明实施例的人脸跟踪设备700可以实现为具有红外图像传感器、可见光图像传感器、云台、存储器、通信接口/单元和处理器的设备、装置或者系统。

根据本发明实施例的人脸跟踪设备700可以部署在人脸检测识别系统中，例如，在安防应用领域，可以部署在门禁系统或道路监控系统；在金融应用领域，可以银行、交易所等等的身份认证系统中。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的人脸跟踪方法、红外图像中人脸区域的中心点的坐标获取方法的相应步骤，并且用于实现根据本发明实施例的人脸跟踪装置、红外图像人脸中心点坐标获取模块、坐标变换关系获取模块的相应模块/子模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点相对所述可见光图像的中心点的水平夹角和垂直夹角的计算机可读的程序代码，另一个计算机可读存储介质包含用于基于所述水平夹角和所述垂直夹角控制云台转动的计算机可读的程序代码。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的人脸跟踪装置中的各个功能模块，并且/或者可以执行根据本发明实施例的人脸跟踪方法。

在一个实施例中，所述计算机程序指令在被计算机运行时执行以下步骤：获取红外图像和可见光图像，所述红外图像和所述可见光图像分别通过红外图像传感器和可见光图像传感器采集；检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标；根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点的对应坐标；获取所述红外图像中人脸区域的中心点在所述可见光图像中的所述对应点相对所述可见光图像的中心点的水平夹角和垂直夹角，所述水平夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的水平方向的夹角，所述垂直夹角为所述对应点与所述可见光图像中心点连线相对所述可见光图像的垂直方向的夹角；以及基于所述水平夹角和所述垂直夹角控制云台转动，以对目标对象的人脸进行跟踪。

根据本发明实施例的人脸跟踪装置中的各模块可以通过根据本发明实施例的人脸跟踪设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的人脸跟踪方法和装置、人脸跟踪设备及存储介质，通过感应人体的热辐射并形成红外图像，然后从红外图像中获取人脸区域的中心点的坐标，并将红外图像中人脸区域的中心点的坐标转换为可见光图像中的对应点的对应坐标，然后获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点相对可见光图像中心点的水平夹角和垂直夹角，并基于所述水平夹角和垂直夹角控制云台转动，以对目标对象的人脸进行跟踪。即，根据本发明的人脸跟踪方法及装置可以实现对被识别的目标对象的人脸的自动跟踪对准，而无需目标对象主动走到相机正面进行对准，提高了对准时间和用户体验。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。