用于基于环境适应性识别面部的装置的制作方法

用于基于环境适应性识别面部的装置相关申请的交叉引用本发明要求于2012年2月29日提交的韩国专利申请No.10-2012-0021306的优先权，其通过引用并入本文中。技术领域本发明涉及安全认证技术；更具体地，涉及面部识别技术。

背景技术：
在诸如访问控制、考勤管理、集成建筑物管理系统、自动出纳机、计算机安全、电子商务认证、机场信息系统等领域中提出以生物识别技术代替指纹识别技术。具体地，面部识别技术用于通过使用指示人的唯一特征的面部信息来识别人的面部。通常的面部识别装置配置为使得用户在监控屏幕上捕获的人的面部的同时对人进行认证。能够通过仅使用可见光捕获图像的装置可以在具有可见光的比较明亮的环境下很好地工作，但在没有可见光的黑暗环境下输出黑色图像。通常的照度计不存在这种问题，但在亮光变暗或者在用户遮挡光时导致故障。

技术实现要素：
鉴于以上，本发明提供一种用于识别人的面部的装置，其能够在转换变化的环境下获取可识别出面部的最佳图像。根据本发明的一个方面，提供一种用于识别人的面部的装置，包括：可见光图像获取单元，配置为获取人的可见光图像；红外图像获取单元，配置为获取人的红外图像；图像分析模块，配置为从所述可见光图像和所述红外图像检测各自的面部区域，在未检测到所述可见光图像的面部区域的情况下，通过使用所述红外图像来估计所述可见光图像的面部区域，以 及分析所检测到或者所估计的所述可见光图像的面部区域中的面部特征来确定面部识别的适合性；以及照明控制单元，配置为当所述图像分析模块确定所述可见光图像的面部区域不适合用于面部识别时，控制照明的亮度以使得所述可见光图像获取单元重新获取可识别出面部的可见光图像，其中，所述图像分析模块包括：面部区域检测单元，配置为检测所述可见光图像和所述红外图像各自的面部区域；面部特征提取单元，配置为当检测到所述可见光图像的面部区域时，从可见光面部区域去除背景图像，并提取所述可见光图像的面部区域中的所述面部特征；以及面部特征验证单元，配置为验证是否提取到所述面部特征。根据本发明的另一个方面，提供一种用于识别人的面部的装置，包括：可见光图像获取单元，配置为获取所述人的可见光图像；红外图像获取单元，配置为获取所述人的红外图像；图像分析模块，配置为从所述可见光图像和所述红外图像检测各自的面部区域，在未检测到所述可见光图像的面部区域的情况下，通过使用所述红外图像来估计所述可见光图像的面部区域，以及分析所检测到的或者所估计的所述可见光图像的面部区域中的面部特征来确定面部识别的适合性；以及照明控制单元，配置为当所述图像分析模块确定所述可见光图像的面部区域不适合用于面部识别时，控制照明的亮度以使得所述可见光图像获取单元重新获取可识别出面部的可见光图像，其中，所述图像分析模块包括：面部区域检测单元，配置为从所述可见光图像和所述红外图像检测各自的面部区域；面部区域估计单元，配置为当未检测到所述可见光图像的面部区域时，从所检测到的所述红外图像的面部区域去除背景图像，在所述可见光图像中估计与所述红外图像的面部区域相对应的所述可见光图像的面部区域，以及从所估计的所述可见光图像的面部区域去除背景图像；以及面部区域验证单元，配置为验证所述可见光图像的面部区域的亮度。根据本发明的另一个方面，提供一种用于识别人的面部的装置，包括：可见光图像获取单元，配置为获取人的可见光图像；红外图像获取单元，配置为获取人的红外图像；图像分析模块，配置为检测所述可见光图像和所述红外图像各自的面部区域，在未检测到所述可见光图像的面部区域的情况下，使用所述红外图像来估计所述可见光图像的面部区域，以及分析 所检测到或者所估计的所述可见光图像的面部区域中的面部特征来确定所检测到或者所估计的所述可见光图像的面部区域是否具有用于面部识别的适合性；以及图像输出单元，配置为基于所述图像分析模块的确定结果，选择性地显示所述可见光图像和所述红外图像中的一个，其中，所述图像分析模块包括：面部区域检测单元，配置为从所述可见光图像和所述红外图像检测各自的面部区域；面部特征提取单元，配置为当检测到所述可见光图像的面部区域时，从所检测到的所述可见光图像的面部区域去除背景图像，并从所述可见光图像的面部区域提取面部特征；以及面部特征验证单元，配置为验证是否提取到用于面部识别的所述面部特征。根据本发明的另一个方面，提供一种用于识别人的面部的装置，包括：可见光图像获取单元，配置为获取所述人的可见光图像；红外图像获取单元，配置为获取所述人的红外图像；图像分析模块，配置为检测所述可见光图像和所述红外图像各自的面部区域，在未检测到所述可见光图像的面部区域的情况下，使用所述红外图像来估计所述可见光图像的面部区域，以及分析所检测到或者所估计的所述可见光图像的面部区域中的面部特征来确定所检测到或者所估计的所述可见光图像的面部区域是否具有用于面部识别的适合性；以及图像输出单元，配置为基于所述图像分析模块的确定结果来选择性地显示所述可见光图像和所述红外图像中的一个，其中，所述图像分析模块包括：面部区域检测单元，配置为检测所述可见光图像和所述红外图像各自的面部区域；面部区域估计单元，配置为当未检测到所述可见光图像的面部区域时，从所检测到的所述红外图像的面部区域去除背景图像，在所述可见光图像中估计与所述红外图像的面部区域相对应的所述可见光图像的面部区域，以及从所估计的所述可见光图像的面部区域去除背景图像；以及面部区域验证单元，配置为验证所述可见光图像的面部区域的亮度。根据本发明的实施例，通过获得针对环境优化的用于面部识别的图像，可以增大面部识别率。换句话说，不管用于图像获取的周围环境如何，例如在明亮照明变暗或者用户遮挡光时，借助通过图像分析适应性地控制照明的亮度，或者借助通过图像分析选择并输出已经针对环境适应性地优化的图像，可以获得用于面部识别的最佳图像。附图说明依据结合附图的以下实施例的说明，本发明的目的和特征将变得明显，在附图中：图1是根据本发明第一实施例的用于识别人的面部的装置的方框图；图2是图1中所示的图像分析模块的详细方框图；图3是根据本发明第二实施例的用于识别人的面部的装置的方框图；图4是图3中所示的图像分析模块的详细方框图；图5是示出根据本发明第一实施例的用于识别人的面部的方法的流程图；以及图6是示出根据本发明第二实施例的用于识别人的面部的方法的流程图。具体实施方式依据结合附图的以下说明会清楚地理解实施例和完成其的方法的优点和特征。然而，实施例不限于所述的这些实施例，因为可以以各种形式来实现实施例。应注意，提供这些实施例以构成充分的公开，还允许本领域技术人员获知实施例的完整范围。因此，实施例仅由所附权利要求的范围来限定。在整个说明书和附图中，相似的参考标记指代相同或功能上类似的元件。图1是根据本发明第一实施例的用于识别人的面部的装置的方框图。该实施例的面部识别装置100包括红外图像获取单元10、可见光图像获取单元12、控制器14A、操作单元16和图像输出单元18A。面部识别装置100用于识别人的面部，从而应用于诸如访问控制、考勤管理、集成建筑物管理系统、自动出纳机、计算机安全、电子商务认证、机场信息系统等各种领域中。应注意，图1仅示意性地示出解释本发明实施例所需的面部识别装置100的部件。因此，面部识别装置100可以包括另外的部件，用于执行其操作所需的其它功能。该实施例的面部识别装置100通过图像分析适应性地控制人周围照明的亮度。结果，不管用于面部识别的各种环境如何，例如连续变暗和变亮 或者用户遮挡光的环境，借助通过照明的适应性亮度控制来获得针对环境的最佳图像可以增大面部识别装置100的识别率。红外图像获取单元10和可见光图像获取单元12获取人的面部图像，红外图像获取单元10和可见光图像获取单元12例如可以分别是红外相机和可见光相机。红外图像获取单元10辐射红外线并获取人的红外图像。红外图像获取单元10包括红外辐射单元10A，用以向人辐射红外线。可以将红外辐射单元10A布置在红外图像获取单元10的外侧，如图1所示，或者可以布置在其中。红外辐射单元10A可以控制红外照明的波长，例如，具有约700nm到1400nm波长的近红外照明、具有约1400nm波长的长波红外照明。根据实施例，无论外部照明为何，红外图像获取单元10通过使用红外照明单元10A获得人的红外图像，从而使得用户能够稳定地识别人的面部。例如，即使在昼夜连续改变的环境中或者诸如低照度环境的受外部照明影响很大的室内环境中，也可以获得红外图像，以使得可以识别面部。根据实施例，在难以识别由可见光图像获取单元12获得的可见光图像中的人的面部时，红外图像获取单元10提供红外图像，以便可以从红外图像得到可见光图像的面部区域。可见光图像获取单元12向人辐射可见光，并捕获人的可见光图像。可见光图像获取单元12包括可见光辐射单元12A，用以辐射可见光。可以将可见光辐射单元12A布置在可见光图像获取单元12的外侧，如图1所示，或者可以布置在其中。可以使用各种类型的可见光照明。可见光照明的代表性源可以是绿色发光二极管(LED)、白色发光器件，以及具有可见光波长的发光器件。另外，也可以使用卤素灯、白炽灯、氙气闪光灯等。根据实施例，可以控制由可见光辐射单元12A辐射的光的亮度。可替换地，可以由除了可见光辐射单元12A以外的附设的可见光辐射单元来辐射可见光。在照明控制单元142控制人周围的照明的亮度的状态下，可见光图像获取单元12重新获取可见光图像。同时，尽管在图1中分别示出了红外图像获取单元10和可见光图像获取单元12，但它们可以实现为能够同时获取红外图像和可见光图像的集成图像获取单元。控制器14A包括图像分析模块140和照明控制单元142，并执行面部识别装置100的操作所需的总体管理和控制功能。更具体地，控制器14A控制红外图像获取单元10和可见光图像获取单元12，以便可以分别获得红外图像和可见光图像。此外，控制器14A控制红外辐射单元10A和可见光辐射单元12A以在人周围辐射红外线和可见光。图像分析模块140分析可见光图像和红外图像，并分别检测可见光图像的面部区域和红外图像的面部区域。当由于较差的照明而无法适当地检测到可见光图像的面部区域时，可以借助红外图像来估计可见光图像的面部区域，并通过检查所检测或估计的面部区域的亮度来确定对面部区域的面部识别的适合性，下面将参考图2来说明。当图像分析模块140确定可见光图像的面部区域不适合于面部识别时，照明控制单元142控制人周围的照明的亮度，以使得可见光图像获取单元12可以重新获取可以识别出面部的人的可见光图像。例如，可以通过增大由可见光辐射单元12A辐射的可见光的强度来增大照明的亮度。可替换地，可以通过增大可见光辐射单元12A的数量的方式来增大照明的亮度。操作单元16接收由用户输入的操作信号，并将其提供给控制器14A，从而处理对应于操作信号的事件。图像输出单元18A显示由可见光图像获取单元12获取的可见光图像和由红外图像获取单元10获取的红外图像中的至少一个。此时，图像输出单元18A可以显示在由照明控制单元142控制照明的亮度的状态下由可见光图像获取单元12重新获取的可见光图像。用户于是可以在监控由图像输出单元18A显示的图像的同时识别面部。图2是图1中所示的图像分析模块140的详细方框图。图像分析模块140包括面部区域检测单元1400、面部特征提取单元1410、面部特征验证单元1420、面部区域估计单元1430和面部区域验证单元1440。面部区域检测单元1400检测可见光图像的面部区域和红外图像的面部区域。可以通过利用本领域已知的任意一种技术来实现面部区域的检测。例如，面部区域检测单元1400可以从输入图像检测面部的轮廓，捕捉诸如眼、鼻、口等的面部中的面部组成部分，并随后基于所提取的面部组成部 分来提取面部区域。在提取过程中，如果捕捉到两个眼睛的位置，则可以计算眼睛之间的距离。面部区域检测单元1400可以基于眼睛之间的距离，从输入图像提取面部区域。当面部区域检测单元1400确定适当地检测到可见光图像的面部区域时，面部特征提取单元1410从检测到的面部区域中去除背景图像。从面部区域中去除背景图像的原因在于通过在无背景图像的情况下测量面部区域的亮度可以增大面部识别的精度。此外，面部特征提取单元1410从面部区域提取面部特征。面部特征指的是指示面部区域中包含的独特特征，诸如眼、鼻、口等的信息。例如，PCA(主成分分析)、LDA(线性判决分析)等可以用于提取面部特征。也可以使用能够通过使用局部图像信息而指示纹理信息的LBP(局部二元模式)。LBP可以提取几乎不受照明变化影响的面部特征，从而广泛地用于表示面部的特征。另外，可以使用2D-PCA(2维主成分分析)方法，其能够基于二维图像矩阵来提取面部的面部特征。2D-PCA方法中使用的投影矩阵比典型PCA方法中使用的小，以使得可以相对地减小计算负荷和所需的存储器。这样，2D-PCA技术可以容易地应用于便携式设备、低性能嵌入式系统等。因此，可以在较短时段中，即实时地，实现面部的识别。面部特征验证单元1420验证是否由面部特征提取单元1410准确提取了面部特征。换句话说，验证所提取的面部特征是否足以用于面部识别。更具体地，如果确定没有提取到面部特征，或者由于在低照明环境下获得可见光图像的较差质量，所提取的面部特征不足以用于面部识别，则照明控制单元142增大照明的亮度，以使得可见光图像获取单元12可以在受控的照明亮度下重新获取可见光图像。如果面部区域检测单元1400确定由于可见光图像的较差质量而没有检测到可见光图像的面部区域，则面部区域估计单元1430设法使用红外图像来提取面部区域。更具体地，面部区域估计单元1430从红外图像的面部区域中去除背景图像，并将红外图像的面部区域与可见光图像进行比较，以估计可见光图像中与红外图像的面部区域现对应的面部区域。此外，面部区域估计单元1430从所估计的可见光图像的面部区域中去除背景图像。从可见光图像的面部区域中去除背景图像的原因在于，通过在无背景图像的 情况下测量面部区域的亮度可以增大面部识别的精度。面部区域验证单元1440验证由面部区域估计单元1430估计的面部区域的亮度。面部区域验证单元1440可以通过将由面部区域估计单元1430估计的面部区域的亮度与预设阈值进行比较来验证面部区域的亮度。例如，假定按照范围从0到255的256个亮度级来测量可见光图像的面部区域的亮度，面部区域验证单元1440测量可见光图像的面部区域的亮度级，以验证所测量的亮度级是大于还是小于预设阈值。此时，可以预先存储用于亮度级的参考数据，可以对其进行比较，以测量面部区域的估计亮度的亮度级。如果可见光图像的面部区域的亮度级小于或等于预设阈值，则照明控制单元142控制可见光辐射单元12A，以增大用户周围的照明的亮度。相应地，可见光图像获取单元12在受控的照明亮度下重新获取可见光图像。结果，用户可以通过使用重新获取的可见光图像来识别面部。图3是根据本发明第二实施例的用于识别人的面部的装置的方框图。该实施例的面部识别装置200包括红外图像获取单元10、可见光图像获取单元12、控制器14B、操作单元16和图像输出单元18B。除了不包括照明控制器14A，并且图像输出单元18B与图像输出单元18A功能不同以外，面部识别装置200与面部识别装置100基本上相同。简言之，该实施例的面部识别装置200配置为通过图像分析提供适应于环境的最佳图像。在下文中，将主要基于与图1中所示的面部识别装置100的差异来详细说明面部识别装置200的结构。红外图像获取单元10辐射红外线，并获取人的红外图像。红外图像获取单元10包括红外辐射单元10A，用以向人辐射红外线。根据该实施例，无论外部照明如何，红外图像获取单元10使用红外辐射单元10A来获得红外图像，从而允许用户稳定地识别面部。根据实施例，在难以识别由可见光图像获取单元12获得的可见光图像中的人的面部时，红外图像获取单元10提供红外图像，以使得可以使用红外图像从可见光图像提取面部区域。可见光图像获取单元12向人辐射可见光，并捕获人的可见光图像。可见光图像获取单元12包括可见光辐射单元12A，用以辐射可见光。控制器14B包括图像分析模块140，并执行面部识别装置200的操作 所需的总体管理和控制功能。更具体地，控制器14B控制红外图像获取单元10和可见光图像获取单元12，以使得可以分别获得红外图像和可见光图像。图像分析模块140分析由红外图像获取单元10获取的红外图像和由可见光图像获取单元12获取的可见光图像，以分别检测可见光图像的面部区域和红外图像的面部区域。当由于较差的照明而没有适当地检测到可见光图像的面部区域时，可以借助红外图像来估计可见光图像的面部区域，并通过检查所检测或估计的可见光图像的面部区域的亮度来确定对面部区域的面部识别的适合性。操作单元16接收由用户输入的操作信号，并将其提供给控制器14A，从而处理与操作信号相对应的事件。图像输出单元18B选择性地显示由可见光图像获取单元12和红外图像获取单元10获取的图像之一。换句话说，图像输出单元18B输出针对可见光图像与红外图像之间的环境优化的图像，以便增大识别率。将参考图4来说明图像选择的详细说明。用户于是可以在监控由图像输出单元18B显示的图像的同时识别面部。图4是图3中所示的图像分析模块140的详细方框图。图像分析模块140包括面部区域检测单元1400、面部特征提取单元1410、面部特征验证单元1420、面部区域估计单元1430和面部区域验证单元1440。面部区域检测单元1400检测可见光图像的面部区域和红外图像的面部区域。当面部区域检测单元1400检测到可见光图像的面部区域时，面部特征提取单元1410从可见光图像的面部区域中去除背景图像。此外，面部特征提取单元1410从可见光图像的面部区域提取面部特征。面部特征验证单元1420随后验证是否由面部特征提取单元1410准确提取了面部特征。换句话说，验证所提取的面部特征是否足以用于面部识别。更具体地，如果确定没有提取到面部特征，或者由于可见光图像的较差质量，所提取的面部特征不足以用于面部识别，则图像输出单元18B显示红外图像。然而，如果确定已经提取到面部特征，则图像输出单元18B显示可见光图像。同时，在没有准确提取到面部特征时，则视为可见光图像具有较差的质量，并显示红外图像以代替可见光图像。如果面部区域检测单元1400确定没有检测到可见光图像的面部区域，则面部区域估计单元1430设法通过使用红外图像来提取可见光图像的面部区域。更具体地，面部区域估计单元1430从红外图像的面部区域中去除背景图像，并将红外图像的面部区域与可见光图像进行比较，以估计可见光图像中与红外图像的面部区域相对应的可见光图像的面部区域。此外，面部区域估计单元1430从所估计的可见光图像的面部区域去除背景图像。面部区域验证单元1440随后验证由面部区域估计单元1430估计的面部区域的亮度。如果由面部区域估计单元1430估计的面部区域的亮度级小于或等于预设阈值，则图像输出单元18B显示红外图像。当可见光图像的面部区域的亮度级小于或等于预设阈值时，视为可见光图像具有较差的质量，并显示红外图像以代替可见光图像。图5是示出根据本发明第一实施例的用于识别人的面部的方法的流程图。面部识别装置100分别在操作500和502中获取可见光图像和红外图像。随后，面部识别装置100在操作504和506中分析所获取的可见光图像和红外图像，以从可见光图像和红外图像检测各自的面部区域。在操作508中，检查是否成功检测到可见光图像的面部区域。当检测到可见光图像的面部区域时，在操作510中从可见光图像的面部区域去除背景图像，并在操作512中从可见光图像的面部区域提取面部特征。此后，在操作514中验证准确提取到面部特征。如果证实没有准确提取到面部特征，则在操作516中增大照明的亮度，这允许面部识别装置100在受控的照明亮度下重新获取可见光图像。同时，如果在操作508中确定没有检测到可见光图像的面部区域，则面部识别装置100在操作522中在可见光图像中估计可见光图像的面部区域，可见光图像的面部区域对应于通过从红外线图像的面部区域去除背景图像而在操作520中获得的红外图像的面部区域。此后，在操作524中从所估计的可见光图像的面部区域去除可见光图像的背景图像。如果可见光图像的面部区域的亮度小于或等于预设阈值，则在操作528中增大照明的亮度，这允许面部识别装置100在受控的照明亮度下重新获取可见光图像。图6是示出根据本发明第二实施例的用于识别人的面部的方法的流程图。面部识别装置200分别在操作600和602中获取可见光图像和红外图像。面部识别装置200随后分别在操作604和606中分析可见光图像和红外图像，以从图像检测面部区域。在操作608中，检查在操作606中是否成功检测到可见光图像的面部区域。当成功检测到可见光图像的面部区域时，随后在操作610中从可见光图像的面部区域去除可见光图像的背景图像，在操作612中从可见光图像的面部区域提取面部特征。此后，在操作614中验证准确提取到面部特征。如果证实没有准确提取到面部特征，或者提取的面部特征不足以用于面部识别，在操作618中，面部识别装置200在屏幕上显示红外图像。然而，如果证实已经准确提取到面部特征，面部识别装置200在操作616中显示可见光图像。同时，如果在操作608中确定没有检测到可见光图像的面部区域，方法进行到操作622。在操作622中，面部识别装置200根据可见光图像估计可见光图像的面部区域，该可见光图像的面部区域对应于通过从红外线图像的面部区域去除背景图像而在操作620中获得的红外图像的面部区域。此后，在操作624中从可见光图像的面部区域去除可见光图像的背景图像。在操作626中将可见光图像的面部区域的亮度与预设阈值进行比较。如果可见光图像的面部区域的亮度小于或等于预设阈值，在操作630中在屏幕上显示红外图像。尽管相对于实施例示出并说明了本发明，但本领域技术人员会理解在不脱离本发明的原始范围的情况下可以做出各种变化和修改。因此，在本发明中所述的实施例并非旨在限制本发明的技术概念，而仅仅旨在说明本发明。本发明的范围不受这些实施例的限制，而是由所附权利要求来限制。在与权利要求的范围等同的范围内的变化和修改应理解为包括在本发明的范围中。