通过计算装置进行面部识别的方法和装置制造方法

通过计算装置进行面部识别的方法和装置制造方法
【专利摘要】本发明披露了一种通过计算装置使用自适应搜索窗口和局部相似度分布分析以进行面部识别的方法和装置。所述方法包括：通过所述计算装置的处理器，识别一个目标图像的一个或多个特征；通过所述处理器将所述目标图像的一个或多个特征中的至少一个特征与一个参考图像的一个或多个特征进行匹配；通过所述处理器确定至少一个匹配特征的一个权重贡献；和通过所述处理器，部分地根据所述至少一个匹配特征的权重贡献，确定一个面部识别匹配的可信度，其中确定一个权重贡献包括：至少部分地根据与所述至少一个匹配特征相对的多个其他匹配特征的数量，提供一个更高权重给所述至少一个匹配特征。
【专利说明】通过计算装置进行面部识别的方法和装置
【【技术领域】】
[0001]本发明涉及面部识别。
【【背景技术】】
[0002]人脸识别、面部识别技术变得越来越普遍。例如，在社交网络、图像存储和共享技术里，面部识别功能正日益成为常见功能。例如，当照片上传到社交网络上或一些图像存储/分享网站上时，照片需要被扫描，需要识别人脸并与社交网络上或图像储存/共享网站上其它用户进行比对。面部识别还可以为安全领域提供好处。例如，某些设备可以提供面部识别技术，以访问该设备的内容，如在锁定屏幕时解锁该设备。此外，面部识别技术还可在监视和/或警察工作等领域提供好处。例如，使用面部识别在监视视频或一大群人中检测出一个犯罪嫌疑人，凸显了面部识别的潜在效用。
[0003]但是，也有许多因素会限制面部识别技术的有用性。例如，这些会妨碍面部识别匹配能力的因素包括:化妆，外观上的改变、配饰和面部表情等等。另外，部分目标面孔可能部分模糊，这也会导致做面部识别匹配更加困难。 【【专利附图】

【附图说明】】
[0004]将参照以下描述非限制性和非穷尽的实施例，其中相同的附图标记指代相同的部分，除非另有规定进行说明。
[0005]图1显示可能的面部图像。
[0006]图2显示执行特征匹配的一种方法。
[0007]图3显示一个实施例的特征匹配的方法。
[0008]图4显示另一个实施例的面部识别匹配流程。
[0009]图5显示一个实施例的面部识别方法。
[0010]图6显示一个实施例的一个示例性面部识别功能。
[0011]图7显示一个实施例的另一个示例性面部识别功能。
[0012]图8显示一个实施例的计算设备的步骤图。
【【具体实施方式】】
[0013]在以下详细描述中陈述了许多具体细节，以对本发明主题有全面的了解。然而，所属领域的技术人员将了解，可在没有这些具体细节的情况下实践本发明主题。在其它例子中，未详细描述一般技术人员已知晓的方法、设备或系统，以免混淆本发明主题。
[0014]在整个说明书中，“一个实施例”或“一实施例”是指结合特定实施例而描述的特定特征、结构或特性可包含在本发明主题的至少一个实施例中。因此，短语“在一个实施例中”或“一实施例”出现在整个此说明书中各个地方不一定意在指代同一实施例或所描述的任一特定实施例。此外，应了解，可在一个或一个以上实施例中以各种方式来组合所描述的特定特征、结构或特性。当然，一般来说，这些和其它问题可随用途的具体情形而变化。因此，描述的具体情形或者这些术语的用途可提供关于将对所述情形得出的推论的有益的指导。
[0015]在整个说明书中，可以参照一个“装置”或者一个或多个“装置”。如本文所使用的，“装置”可以指能够支持和/或促进本文讨论的面部识别功能的任何设备、机器或制品。此外，即使一个具体描述是指一个“装置”，也要理解为该功能性可以在多个装置上执行且并不偏离本公开范围。该描述也可以包括讨论的一个或多个“计算设备”。如本文所用，“计算设备”指的是能够执行后面讨论的面部识别功能的任何一个或多个设备。一个计算设备可包括有指令在其上的非临时性计算机可读介质。该计算设备能够执行非临时性计算机可读介质上的指令，以实施在此讨论的面部识别功能。计算设备的非限制性例子包括:一个或多个客户端计算机，一个或多个服务器，笔记本电脑或台式电脑，平板电脑，智能手机，和/或它们通信联网的任何组合(如一个计算系统)。事实上，与前面的描述相一致，计算设备包括能够执行或参与面部识别性能的任何设备。将会结合图8对计算设备进行更详细的讨论。
[0016]本发明的描述可以包括过程和/或方法描述。这些描述可以包括信号和/或状态的存储、传输和/或处理。面部识别过程包括这些信号和/或状态的变换，使得它具有不同的功能和/或适于不同的用途。举例来说，对应于一个目标图像，接收信号和/或状态，进行面部识别，将所接收的信号和/或状态变换，以具有不同功能和/或适合于不同的使用(如面部识别)。
[0017]关于执行面部识别的方法和/或过程，本说明书中使用术语如“识别”、“面部识另IJ”、“面部识别匹配”，和/或“匹配”。在特定实施方式中，面部识别可以是指确定人脸出现、比较人脸和人脸记录、和/或获得一个识别人脸和人脸记录里的一个人脸之间的一个匹配的计算机实施过程。因此，“识别”、“面部识别匹配”和/或“匹配”可以是指获得一个识别人脸和人脸记录里的一个人脸之间的一个匹配的方法和/或过程。可以理解，至少在某些情况下，所识别的人脸可以是从一个图像里识别的，其可以通过信号和/或状态的组合来表示。例如，能够进行面部识别的计算系统可能接收到包含一个或多个人脸的图像。分析该图像并识别人脸。该计算系统可以在面部识别过程中使用一个或多个检测帧。如本文所用，检测帧是指一个图像的一个部分或子部分，用于执行面部识别功能。例如，一个图像可以包括多个人脸，该图像的一部分可以是通过一个检测帧的方式来提取。
[0018]在一个特定的实施方式中，面部识别可指由一个或多个计算设备识别出面部的一个过程。在某些情况下，面部识别可以使用给定用户的一个参考图像101，以确定目标图像102a或102b是否是给定用户。例如，一个或多个计算设备可以访问一个人的一个或多个与用户A相关联的图像。例如，有可能有一个或多个数据库包括用户图像，其可被用作参考图像。与用户A相关联的一个或多个图像中的任何一个图像(或图像的任意组合)可以是参考图像，用于面部识别。例如，参照图1，参考图像101可以是与用户A相关联的一个或多个图像。
[0019]一种方式是，一个或多个计算设备通过参照参考图像101来识别目标图像中的人。例如，一个或多个计算设备可以针对一个目标图像102a，通过比较目标图像102a和参考图像101,确定目标图像102a中的人脸是否是用户A的面部。有一种情况，目标图像102a中的人脸可能有参考图像101中没有的面部表情，例如，目标图像102a中的嘴部区域有一个表情105b，但是在参考图像101中没有相应的匹配表情。在某些情况下，当参考图像中的表情不匹配目标图像中的表情时，一个或多个计算设备就无法识别脸部，即使目标图像和参考图像都是同一个人。这种情况，即使图像目标和参考图像是同一个人，如果目标图像和参考图像中的表情是不同的，那么一个或多个计算设备也不能够匹配或识别目标图像中的人。因此，对于计算系统来说，任何可能的面部表情和/或面部扭曲会使脸部识别更具挑战性。例如，如表情105a所示的皮肤表面的皱纹，可能在识别目标图像102a里人脸的过程中出现困难。当然，这只是面部表情可能会影响到面部识别过程的几个例子和方式，本公开内容不应被理解为限制性意义。
[0020]这样，在一个面部识别系统里，除了面部表情会影响面部识别过程，配饰和/或变化也会使面部识别更具挑战性。例如，参见图1的目标图像2，目标图像里的人可能会穿戴一些配饰，如眼镜110，这会形成遮掩，或使得实现面部识别匹配更加困难。这些配饰包括但不限于验光眼镜、太阳眼镜、帽子、面罩、头巾、耳环、穿环、隐形眼镜、围巾等，都可能会影响到面部识别过程。类似于前面提到的面部表情的例子，目标图像或参考图像里出现的一个或多个配饰会影响一个或多个计算设备进行面部识别匹配的能力。
[0021]此外，外貌的改变也会影响一个或多个计算装置进行面部识别匹配的能力。例如，面部毛发的生长(或去除)，如图1所示的胡须115，会给面部识别过程带来挑战。本申请考虑了外貌的任何变化，包括但不限于皮肤瑕疵、痣、胎记、烧伤、疤痕、割伤以及其它。
[0022]在一个实施例中，面部识别是将一个目标图像的“特征”跟一个参考图像的特征进行匹配的过程。本文所用的，特征是指图像里面部的识别特征或“标志”。例如，特征可以是指眼睛、鼻子、颧骨、颚、口等的大小、位置、和/或形状。在一个实施例中，图像里的面部特征可以是指皮肤详情，如皱纹、疤痕、痣、酒窝、雀斑、胎记等。此外，特征可以包括和/或是指“局部特征”。局部特征是指包括独特纹理和/结构的局部面部图像小块。例如，眼角区域可以是一个局部特征，可以与标志(如一个或多个眼睛或鼻子)相比。应该注意，标志(如眼睛)可以包括多个局部特征。在一个实施例中，局部特征可以通过使用特定过程和/或算法来检测到，例如 Harris, Hessian, Harris-Laplace, Hessian-Laplace,尺度不变特征变换(SIFT)，高斯差(DoG)，加速稳健特征(SURF)，或最大稳定极值区域(MSER)及其它。
[0023]举个例子，图2包括目标图像202和参考图像201。可以对目标图像202和参考图像201执行一个过程或方法，使得目标图像202里的面部能够被面部识别。在一个实施例中，该过程可以实时进行。该过程包括特征的使用及其匹配。例如，可以在目标图像202和参考图像201里找出一个或多个特征。在一个实施例中，对找出的特征进行比较，以确定是否有任何匹配的特征。例如，目标图像202的一个特征220可以与参考图像201的相应特征(如特征222a和222b)进行比较。
[0024]在一个实施例中，执行面部识别的过程可以包括将目标图像202和参考图像201划分成多个区域。例如，可以将目标图像和参考图像中的面部进行缩放和/或居中，并使得面部被划分为相等区域。在一个实施例中，在图像中的一个或多个面部可以被安置在检测帧的中心以方便面部识别。如图2所示，先找到目标图像202里的一个特征，然后目标图像202的相应区域225可与参考图像201的相应区域(如区域226)进行比较。在一个实施例中，参考图像201中的一个或多个找到特征的各个区域也可以与上述目标图像的相应区域进行比较。因此，与参考图像的局部特征222a和222b对应的区域可以与目标图像中的对应区域进行比较。根据目标图像和参考图像的特征/区域比较，判断是否有一个面部识别匹配。例如，如果确定目标图像和参考图像没有足够的共同特征，那么可以判定不存在面部识别匹配。相反，如果匹配特征的数量或分布满足或超过某个阈值，那么可以判定在目标图像和参考图像之间存在一个面部识别匹配。
[0025]在本发明另一个实施例中，无需将目标图像和参考图像划分成固定区域，可以使用一个自适应的搜索窗口。例如，自适应搜索窗口可以是指目标图像或参考图像的一个具有适应性大小、形状和/或位置的区域。在一个实施例中，自适应搜索窗口能够被安置在目标图像或参考图像的给定特征的中心，并且自适应搜索窗口可以与其它图像的对应的自适应搜索窗口相比。在一个实施例中，一个将被匹配的特征可以用做自适应搜索窗口的中心。
[0026]图3显示目标图像302和参考图像301。目标图像302里的一个特征320被找出来，在参考图像301里使用一个自适应搜索窗口 328，以便于将特征320匹配到参考图像301里的一个特征。自适应搜索窗口 328的大小、形式和/或形状可以是通过以下任何因子而定，包括但不限于所考虑特征的大小、参考图像301里可能匹配特征的数量、在特征320区域内的特征数目或分布、和/或图像或检测帧的大小。例如，在一个实施例中，可以选择自适应搜索窗口 328，使得特征322a、322b、322c落在自适应搜索窗口内。此外，在一个实施例中，自适应搜索窗口 328可以位于一个给定特征的中心。
[0027]在一个实施例中，接收一个目标图像用于面部识别。使用一个检测帧来方便面部识别过程。在目标图像的检测帧中检测出多个特征。至少部分地根据所检测到的特征，从数据库选择一个或多个参考图像。在一个例子中，使用一个自适应搜索窗口，提取目标图像的第一特征，并与一个或多个参考图像中的特征进行比较。可以确定，至少部分地根据所述自适应搜索窗口，所述第一特征在一个或多个参考图像中有一个匹配。然后使用另一个自适应搜索窗口，提取目标图像的第二个特征，与一个或多个参考图像中的特征进行比较。可以确定，至少部分地根据自适应搜索窗口，所述第二特征在一个或多个参考图像中有一个匹配。其他特征可以使用一个或多个自适应搜索窗口，进行比较，以确定他们在一个或多个参考图像中是否有一个匹配。这个过程通常如图4所述，并在以下段落中讨论。
[0028]图4显示确定参考图像和目标图像之间面部识别匹配的方法400。在步骤405，从目标图像和参考图像中提取特征。在某些情况下，参考图像中的特征可能已经找到了。在步骤410，如前所述，所提取的特征可使用自适应搜索窗口进行匹配。接下来，在步骤415，在匹配特征上进行区域相似度分布分析(RSDA)。RSDA是指对匹配特征进行加权以得到一个面部识别匹配的置信度值(confidence value)的一个过程。例如，如果有大量的匹配特征不符合一定条件，那么可以判定该面部识别匹配的置信度不高。也就是，如果确定因为某些可能因素，匹配特征不符合某些最低条件，那么这些匹配特征对整个面部检测过程中的贡献的权重可以减少。例如，匹配特征的总权重或贡献会产生一个置信度值，该值大致对应于在整体面部识别匹配中的统计置信度。同样，如果确定匹配特征符合某些最低条件，则这些匹配特征的权重可以增加，从而可以提高置信度值。
[0029]图5显示本发明一个实施例的面部识别匹配流程500。请注意流程500将参照前面的和后续的附图进行说明。在一个实施例中，流程500开始于步骤505，比较一个或多个目标图像和一个或多个参考图像，以确定一个匹配特征池。确定匹配特征已经在以上附图1-4描述了。在一个例子中，当确定了匹配特征时，它们可以被包含在一个匹配特征池中。在一种情况下，使用一个自适应搜索窗口，如附图3的自适应搜索窗口 328，以形成一个匹配特征池。另一个例子，图6(a)描述一个示范图像，其显示一个匹配特征集合，如面部上的圆点和星点(如650a, 650b, 651a, 651b,和651c)所示。请注意特征650a和650b被标记为星点以便于讨论流程500，但标记为星点的特征并不是不同于标记为圆点的其它特征。在一个示例中，至少部分地根据一个或多个自适应搜索窗口如自适应搜索窗口 628，可以确定图6(a)中的匹配特征。
[0030]在步骤510，从匹配特征池中提取一个特征。在图5，这被标记为第i个特征，并在整个流程500内对每个后续循环而递增(如i+1，i+2，, i+n)。因此，举例来说，在一个实施例中，提取匹配特征650a进行分析。在本实施例中，匹配特征650a可以被传递下去以进一步处理和/或分析。在步骤515，确定该特征是否是几何孤立的。特征的几何隔离可以是指例如在一个自适应搜索窗口内，被提取的特征周围是否还有其它匹配特征。因此，在一个实施例中，提取匹配特征650a，并确定特征650a是否是几何隔离的。因此，在一个实施例中，如图6(a)所示，在特征650a附近还有其它匹配特征(特征651a和651b)。在这种情况下，特征650a可以被确定为不是几何隔离的。因此，在步骤515，流程500可以继续到步骤525,更新可信度(credibility)。在一个例子中，在步骤525上的更新可信度包括提供一个更高的权重给匹配特征。但是，在匹配特征650b的例子中，在几何隔离判定步骤515上，可以确定特征650b是几何隔离的，如图6(a)和6(c)所示，然后流程500继续到步骤520。在一种情况下，在步骤520上的降低可信度包括提供一个更低的或负的权重贡献给匹配特征。
[0031]在步骤525，更新面部识别匹配的可信度。面部识别匹配的可信度可以是指一个潜在面部识别匹配的可靠性。本发明公开了一个过程，每个匹配特征进行比较，并分配给一个可信度或权重贡献。然后，该过程使用所有匹配特征的权重贡献或权重的总和，以形成一个面部识别匹配的整体可信度。在一个实施例中，面部识别匹配的可信度可以通过以下公式建模:
【权利要求】
1.一种通过计算装置进行面部识别的方法，本方法包括: 通过所述计算装置的处理器，识别一个目标图像的一个或多个特征； 通过所述处理器将所述目标图像的一个或多个特征中的至少一个特征与一个参考图像的一个或多个特征进行匹配； 通过所述处理器确定至少一个匹配特征的一个权重贡献；和 通过所述处理器，部分地根据所述至少一个匹配特征的权重贡献，确定一个面部识别匹配的可信度，其中确定一个权重贡献包括:至少部分地根据与所述至少一个匹配特征相对的多个其他匹配特征的数量，提供一个更高权重给所述至少一个匹配特征。
2.如权利要求1所述的方法，其中所述确定一个权重贡献包括:至少部分地根据到一个或多个其他匹配特征的距离，提供一个更高权重给所述至少一个匹配特征。
3.如权利要求1所述的方法，其中匹配所述一个或多个特征中的至少一个特征包括:使用一个自适应窗口。
4.如权利要求1所述的方法，其中所述确定一个权重贡献包括:至少部分地根据一个几何隔离判定，提供一个更低权重给所述至少一个匹配特征。
5.如权利要求3所述的方法，还包括:将所述自适应窗口的中心置于所述至少一个匹配特征上。
6.如权利要求1所述的方法，还包括: 至少部分地根据一个检测帧的匹配面积对表面积的比率，确定一个利用率。
7.如权利要求6所述的方法，还包括:至少部分地根据所述利用率，确定面部识别匹配的一个最终相似度因子。
8.如权利要求3所述的方法，其中所述自适应窗口是一个半径介于
9.如权利要求1所述的方法，其中所述至少一个匹配特征包含在一个匹配特征池里。
10.一种装置，其包括一个其上有指令的非临时性计算机可读介质，所述指令可被执行以: 识别一个目标图像的一个或多个特征； 使用一个自适应窗口，将所述目标图像的一个或多个特征中的至少一个特征与一个参考图像的一个或多个特征进行匹配； 确定至少一个匹配特征的一个权重贡献；和 至少部分地根据所述至少一个匹配特征的权重贡献，确定一个面部识别匹配的可信度。
11.如权利要求10所述的装置，其中可执行确定一个权重贡献的指令还包括:至少部分地根据到一个或多个其他匹配特征的距离，提供一个更高权重给所述至少一个匹配特征。
12.如权利要求11所述的装置，其中所述可执行确定一个权重贡献的指令还包括:至少部分地根据也在所述自适应窗口内的多个其他匹配特征的数量，提供一个更高权重给所述至少一个匹配特征。
13.如权利要求11所述的装置，其中所述可执行确定一个权重贡献的指令还包括:至少部分地根据一个几何隔离判定，提供一个更低权重给所述至少一个匹配特征。
14.如权利要求11所述的装置，其中所述可执行使用一个自适应窗口将一个或多个特征中的至少一个特征匹配的指令还包括:将所述自适应窗口的中心置于所述至少一个匹配特征上。
15.如权利要求10所述的装置，其中所述指令还包括: 至少部分地根据一个检测帧的匹配面积对表面积的比率，确定一个利用率。
16.如权利要求15所述的装置，其中所述指令还包括:至少部分地根据所述利用率，确定面部识别匹配的一个最终相似度因子。
17.—种通过计算装置进行面部识别的方法，包括: 通过一个计算装置的处理器，使用一个自适应窗口，将一个目标图像的至少一个特征与一个参考图像的至少一个特征进行匹配； 通过所述处理器，确定所述至少一个特征的匹配的一个权重贡献；和 通过所述处理器，至少部分地根据所述至少一个匹配特征的权重贡献，确定一个面部识别匹配的可信度。
18.如权利要求17所述的方法，其中确定一个权重贡献包括:至少部分地根据到一个或多个其他匹配特征的距离，提供一个更高权重给所述至少一个匹配特征。
19.如权利要求17所述的方法，其中所述确定一个权重贡献包括:至少部分地根据在自适应窗口内的多个其他匹配特征的数量，提供一个更高权重给所述至少一个匹配特征。
20.如权利要求17所述的方法，其中所述确定一个权重贡献包括:至少部分地根据一个几何隔离判定，提供一个更低权重给所述至少一个匹配特征。
【文档编号】G06K9/00GK104021380SQ201410262274
【公开日】2014年9月3日 申请日期:2014年6月12日 优先权日:2014年5月2日
【发明者】胡金晖, 田艺, 陈珉 申请人:香港应用科技研究院有限公司