专利名称：使用半脸图像的脸部识别的制作方法
技术领域：
本发明涉及计算机视觉领域，尤其涉及基于脸部特征的识别系统。
背景技术：
脸部识别通常用于保安的用途。在人工安全系统中，使用包含脸部照片的安全证件来控制对保密地区或保密材料的访问权限。在自动和半自动系统中，使用脸部识别软件来对，例如由摄像机得到的一个人的当前图象，和存储的图象进行相似性比较。在传统系统中，用户他或她自己来进行识别，而脸部识别软件将要被识别的人的视频图象和一个或多个存储的图象进行比较。
脸部识别也被用于各种不同的其它应用中。于2000年10月10日提交的待决美国专利申请《DEVICE CONTROL VIA IMAGE-BASEDRECOGNITION》公开了基于用户的脸部识别和与所识别用户相关联的偏好的用户装置的自动控制，该美国专利申请序列号为09/685683，发明人为Miroslav Trajkovic、Yong Yan、Antonio Colmenarez和Srinivas Gutta，代理人卷号为US000269，该申请以引用的方式并入本文。
1999年9月21日授权给Agraharam等人的美国专利5956482，《MULTIMEDIA INFORMATION SERVICE ACCESS》，该专利以引用的方式并入本文，该专利提供了一种安全技术，其中用户要求获得信息服务，系统拍摄用户的视频快照，只有当快照与授权用户相对应时才授予访问信息服务的权利。1998年11月10日授权给Lobo等人的美国专利5835616，《FACE DETECTION USING TEMPLATES》，该专利以引用的方式并入本文，该专利提供了一种两个步骤的方法，用于在一幅数字化图像中自动找到人脸，并通过检查脸部特征来确定人脸的存在。Lobo等人的系统特别适合于在照相机的视野中找到一个或多个人脸，即使视野也许不与标准的脸部快照对应。
脸部识别算法的一个共同问题是不同的光照强度。随着一个人从一个区域走到另一个区域，人脸一般是从不同的方向受到照射的。由于现拍的脸部图像的光照强度和方向和用于识别人的参考脸部图像的光照强度和方向不同，所以系统识别人的能力降低了。由于在暗黑的图像中区分颜色的能力被相当大地减少，所以，例如，一个附有阴影的面颊能被误认为胡须。同样地，强光能减少通常由于阴影的作用才会明显的特征和细节。
发明内容
本发明的一个目的是提高脸部识别算法的有效性。本发明的一个另一个目的是减少图象中由光照强度和方向的变化所引起的变化。
这些目的和其它目的通过在脸部识别算法中将左和右半脸的图象作为独立的部分加以处理而实现的。为了与全脸图像识别系统兼容，使用半脸图像的镜像来创建与每个左和右半脸的图像对应的全脸图像。使用传统的脸部识别方法，对每个创建出的全脸图像与参考全脸图象进行比较。通过比较每个基于左脸的图象和每个基于右脸的图象，系统克服了由方向性的或不一致的光照引起的识别问题。可选择地，可以基于每个左和右半脸图像的特征的混合创建一幅合成的全脸图像，从而滤除掉了光照的变化。
下面将参照附图，并且借助实例，对本发明进行更加详细的解释说明，其中图1表示按照本发明的脸部识别系统的示例框图。
图2表示按照本发明的脸部识别系统的示例流程图。
图3表示在按照本发明的脸部识别系统中合成脸部的示例流程图。
全部附图中，相同的附图标记表示相似或相应的特征或功能。
具体实施例方式
本发明是以这样的观察为前提而提出的除了异常情况之外，人脸是左右对称的。这样，整个脸的图像就包含了冗余信息。换言之，半脸的图象能被用来创建全脸的图象，或，基于对称冗余信息的混合，可以使用一幅全脸的图象的两个半边来形成合成的全脸图像。Srinivas Gutta、Miroslav Trajkovic和Vasanth Philomin于2001年9月28日提交的共同待决的美国专利申请《System and Method ofFace Recognition through 1/2 Faces》(序列号为09/966436，代理人卷号为US010471)，公开了一种图象分类器，它能被训练用于获知半脸或全脸的图像，该申请以引用的方式并入本文。
图1表示按照本发明的脸部识别系统100的示例框图。使用本领域的公知技术，构造了一个脸部搜寻器110来识别图象中的脸。一般来说，比如，脸部是通过找到肤色的局部区域(而深色区域对应于眼睛)而识别出来的。在120处，对每张得到定位的脸进行处理，以提供两个半脸。
在优选的实施例中，图像中的脸部被“变形”(平移、旋转、和投影)来形成一幅几乎是全脸的脸部图象，而这幅全脸的图象被分割成两半来形成左和右的半脸图象。假定图象中的两只眼是可见的，那么整个脸部的图像是通过这样的方法来形成的在图像中的眼角之间投影一条线，并平移和旋转图象，从而使该直线水平，并且该直线位于与图象平面平行的平面上。此后，通过在眼角之间的直线的中点处平分这个平面，产生左和右半脸的图象。将一幅全脸的图象分成两个半脸的图像的其它技术对于本领域的普通技术是显然的。类似地，例如，当脸部图象是侧面像时，提取单个的半脸的图象的技术对于本领域的普通技术也是显然的。
构造了一个脸部合成器130，用于根据脸部分割器120提供的半脸图象来创建一个或多个全脸图象。在优选的实施例中，正如以下将进一步讨论的，通过对半脸图象和它的镜像进行合成，每个半脸图像都可用于创建一幅全脸图象。除了在异常的环境下，两个相反的半脸图象之间的区别通常代表脸部图象的每一边的不同的亮度。由于在大多数环境下光照是有方向性的，如果半脸图像不同，通常是因为脸的一边受到了适当的光照，而另一边没有。因此，两个创建出的全脸图像中可能包括一个能通过传统的脸部比较器140与参考图像比较的、光照适当的全脸图像。即使半脸图象光照都不适当，通过创建过程创建的全脸图像将是对称光照的，因此更有可能与一幅对称光照的参考图像相匹配。
可以采用很多种技术来从两个创建出的全脸图象中选择哪一个是光照更合适的，并将光照更合适的图像与参考图象进行比较。然而在优选实施例中，省略了在将两个创建出的全脸图像与参考图像进行比较之前进行的选择处理，因为对两个创建出的图像进行互相比较所需要的处理时间看起来与将每个创建出的图像与参考图像进行比较所需要的处理时间是相当的。
可以采用很多其它技术来从提取出的半脸图像中创建全脸图像。例如，在另一个优选的实施例中，上述的两幅创建的全脸图像被合并来形成另一幅全脸图像。这一合并可以基于每幅图像内的象素值的简单平均，或者它可以基于更复杂的技术，比如在传统图象处理系统中用来“变形”图像的技术。
脸部比较器140使用了传统的脸部比较技术，例如在本发明的背景技术中提及的专利文献所提出的。注意，本发明对于传统的脸部比较系统而言，特别适合于作为一个独立的“附加”处理。方框110-130只为脸部比较器140提供了原始的和创建出的图像，作为用于与参考脸部图像进行比较的单独图像。
图2表示按照本发明的脸部识别系统的一个示例流程图。在210处，接收到现场图像，在220处，从中可以提取一个或多个脸部。没有表示的是，可以基于多个图像画面，利用本领域的公知技术对所提取出来的脸部图像进行处理和合成，以突出特征，减少噪声等等。通过循环过程230-280来处理每幅脸部图像，从而提供在270处各自与一个或多个参考脸部进行比较的备选脸部。
在240处，对每幅全脸图像进行处理来提取一个左脸和一个右脸图像。如果220的脸部提取处理没有提供一幅全脸图像，则处理240执行必要的平移和旋转处理来提供一幅全脸图像，如上所述。如果左和右脸基本相同，那么基于这些相同的半脸所创建出的新的脸部通常与原始的全脸图像几乎相同。为了避免相同的新的脸部的不必要的创建，当在250处判定两个半脸的图像几乎相同时，则绕过脸部合成方框260。各种各样的技术中的任意一种都可用来判定半脸图像之间是否相等。在优选的实施例中，使用了平方和差值测量来确定每个半边图像之间差的量级。
图3中详细表示了示例的脸部合成处理260。通过循环过程310-340处理每幅半脸图像。在320处，创建出了半脸图像的镜像，而且在330处，将这个镜像和半脸图像结合起来以产生全脸图像。注意，如果图2的提取处理240仅产生一幅半脸图像，例如当脸部图像是侧面时，通过这一镜象和合成处理320-330，处理260提供至少一幅全脸图像来与参考图像比较。如果图2的提取处理240提供全部两个半脸图像，那么将产生两个全脸图像。根据需要，如上所述，在350处，基于每个半脸图像的选择特征的合并可以产生其它的全脸图像。
回到图2，在270处，将每个创建的图像(可选地，将原始图像)与一个或多个参考图像进行比较，来识别可能的匹配。因为每个创建图像有效地表示了不同光照下相同的脸部，本发明的处理增加了正确识别脸部的可能性，即使当光照强度和/或方向不均匀或不连贯时。
上述仅说明了本发明的原理。因此应当意识到，本领域的技术人员能设计出包含本发明原理的不同方案，尽管其没有在本文明确地描述或表示，但体现了本发明的原理，因此仍在本发明的精神和范围内。比如，本发明给出的是就处理半脸来形成与参考全脸图像比较的多种完整的脸部的情况。可选地，可以将参考脸部图像保存为半脸图像，而且上述的处理和比较可以对于半脸参考图像进行，和以上提及的共同待决的美国专利申请09/966436公开的技术一致。就是说，在这个可选的实施例中，每个半脸图像或它的镜像直接与半脸参考图像比较。另外，基于两个半脸图像特征的合成的半脸能与半脸参考图像比较。鉴于本文所公开的内容，这些和其它系统的设计和优化特征对于本领域熟练的技术人员来说是显然的，并被包括在后附的权利要求的范围内。
权利要求
1.一种脸部识别系统(100)，包括脸部分割器(120)，该脸部分隔器构造用于从脸部图像中提取一个或两个半脸图像，和脸部合成器(130)，可操作地与脸部分割器(120)连接，该脸部合成器构造用于基于一个或两个半脸图像中的至少一个为脸部比较器(140)提供一个或多个比较图像。
2.如权利要求1所述的脸部识别系统(100)，还包括脸部搜寻器(110)，可操作地与脸部分割器(120)连接，该脸部搜寻器被构造用于从现场图像中提取脸部图像。
3.如权利要求1所述的脸部识别系统(100)，还包括脸部比较器(140)，该脸部比较器被构造用于将一个或多个比较图像与一个或多个参考图像比较。
4.如权利要求3所述的脸部识别系统(100)，其中，所述一个或多个参考图像相当于半脸参考图像，和所述脸部比较器(140)被构造用于镜像一个或多个参考图像和一个或多个比较图像中的至少一个以实现比较。
5.如权利要求1所述的脸部识别系统(100)，其中，脸部分割器(120)还构造用于调整输入脸部图像，以将该脸部图像提供作为全脸图像，所述全脸图像与由脸部分隔器(120)用来提取一个或两个半脸图像的图像平面平行。
6.如权利要求4所述的脸部识别系统(100)，其中，脸部分割器(120)基于投影在输入脸部图像中的眼角之间的一条直线调整输入脸部。
7.如权利要求1所述的脸部识别系统(100)，其中，脸部合成器(130)通过将一个或两个半脸图像的每一个的镜象与一个或多个半脸图像的每一个结合，创建一个或多个比较图像。
8.如权利要求1所述的脸部识别系统(100)，其中，脸部合成器(130)通过结合一个或多个半脸图像的每一个的特征，创建一个或多个比较图像。
9.一种在脸部识别系统中使用的处理脸部图像的方法，该方法包括从脸部图像中提取(220)至少一幅半脸图像，基于所述至少一幅半脸图像，为脸部识别系统提供(260)一个或多个比较图像。
10.如权利要求9所述的方法，其中脸部识别系统被构造用于比较全脸图像，和提供(260)一个或多个比较图像包括将所述至少一个半脸图像的镜象与所述至少一个半脸图像结合(330)。
11.如权利要求9所述的方法，其中所述至少一个半脸图像包括左脸图像和右脸图像，和提供(260)一个或多个比较图像包括合并(350)每个左脸和右脸图像的特征。
12.如权利要求11所述的方法，其中脸部识别系统被构造用于比较半脸图像。
13.如权利要求9所述的方法，还包括对输入图像进行平移和旋转，以提供脸部图像。
14.如权利要求13所述的方法，其中输入图像的平移和旋转是基于投影在输入图像中的眼角之间的一条直线进行的。
15.一种计算机程序，当该程序在计算机系统上运行时，被设计用于使计算机系统从脸部图像中提取(220)至少一个半脸图像，和基于所述至少一个半脸图像，提供(260)至少一个比较图像，用于与一个或多个参考图像进行比较。
16.如权利要求15所述的计算机程序，还设计用于使计算机系统将所述至少一个比较图像与一个或多个参考图像进行比较(270)。
17.如权利要求15所述的计算机程序，还被设计用于使计算机系统平移和旋转输入图像，以提供脸部图像。
18.如权利要求15所述的计算机程序，还被设计用于使计算机系统通过下述方式提供至少一幅比较图像创建(320)所述至少一个半脸图像的镜象，和将所述镜象与所述至少一个半脸图像结合(330)，以形成至少一个比较图像。
19.如权利要求15所述的计算机程序，其中所述至少一个半脸图像包括左脸图像和右脸图像，和所述计算机程序还被设计用于使计算机系统通过以下方式提供至少一个比较图像将左脸和右脸图像的每一个的特征合并(350)，以形成至少一个比较图像。
全文摘要
在脸部识别算法中，将左和右半脸图像作为独立的部分加以处理。为了实现与全脸图像识别系统的兼容，半脸图像的镜象被用来创建与每一个左和右半脸图像对应的全脸图像。采用传统的脸部识别算法，将每个创建出的全脸图像与参考全脸图像进行比较。通过比较每个左脸图像和右脸图像，系统克服了方向性或不均匀的光照所引起的识别问题。可选地，可以基于每个左和右半脸图像的特征的混合来创建合成的全脸图像，从而滤除掉光照的变化。
文档编号G06K9/00GK1659578SQ03812740
公开日2005年8月24日 申请日期2003年5月19日 优先权日2002年6月3日
发明者S·古特塔, V·菲洛明, M·特拉科维 申请人:皇家飞利浦电子股份有限公司