提升人脸识别率的图像处理系统及图像处理方法
【专利摘要】本发明公开了一种提升人脸识别率的图像处理系统及图像处理方法，该方法包括下列步骤：首先，采集含有人脸的图像；接着，在图像中的默认区域进行脸部检测；当无法完成脸部检测时，调整默认区域的曝光值，使默认区域的曝光值符合期望值；当默认区域的亮度符合期望值且完成脸部检测时，分析图像的人脸区域中的图像信息；接着，依据图像信息，选取模型参数及模型参数所对应的图像调节参数，并对图像中的人脸区域进行图像处理，然后输出处理后的图像给人脸识别系统。通过上述技术方案，可将在背光或低照度的环境下采集的图像，增强至明亮且清晰的输出图像，以供后端人脸识别系统使用，如此可大幅提高检测以及识别的成功几率。
【专利说明】提升人脸识别率的图像处理系统及图像处理方法
【技术领域】
[0001]本发明涉及一种图像处理系统，尤其涉及一种提升人脸识别率的图像处理系统及图像处理方法。
【背景技术】
[0002]人像脸部识别技术能够应用于人机接口(human computer interface)、家庭视频监控(home video surveillance)或是生物检测的脸部识别及其图像数据库管理技术,可见人像脸部识别技术在图像识别技术中占有日益重要的角色，也是目前各大科技研究中心致力研发的技术之一。然而，人脸识别具有较高的难度以及许多变因，像是在背光或低照度的环境下，人脸识别系统往往无法采集足够的生物特征数据。
[0003]由此可见，目前人像脸部识别技术尚未完全成熟，而有待进一步改进。为了解决上述问题，相关领域纷纷费尽心思来谋求解决之道，但长久以来一直未见适用的方式发展完成。
【发明内容】
[0004]本发明提供一种提升人脸识别成功率的图像处理系统及方法。
[0005]本发明所提供的图像处理方法包括下列步骤:首先，采集含有人脸的图像；接着，在图像中的默认区域进行脸部检测；当无法完成脸部检测时，调整默认区域的曝光值，使默认区域的曝光值符合期望值；当默认区域的亮度符合期望值且完成脸部检测时，分析图像中的人脸区域的图像信息；接着，依据图像信息，选取模型参数及模型参数所对应的图像调节参数，并对图像中的人脸区域进行图像处理，然后输出处理后的图像给人脸识别系统。
[0006]本发明所提供的图像处理系统包括摄影装置、脸部检测单元、曝光调整单元、图像分析单元、图像处理单元与图像输出单元。摄影装置用以采集含有人脸的图像，脸部检测单元用以在图像中的默认区域进行脸部检测。当无法完成脸部检测时，曝光调整单元用以调整默认区域的曝光值，使默认区域的曝光值符合期望值。当默认区域的曝光值符合期望值且完成脸部检测时，图像分析单元用以分析图像的人脸区域中的图像信息。图像处理单元用以依据图像信息，选取模型参数及模型参数所对应的图像调节参数，并对图像中的人脸区域进行图像处理。图像输出单元用以输出处理后的图像给人脸识别系统。
[0007]综上所述，本发明的技术方案与现有技术相比具有明显的优点和有益效果。通过上述技术方案，可将在背光或低照度的环境下所采集的图像，增强至明亮且清晰的输出图像，以供后端人脸识别系统使用，如此可大幅提高检测以及识别的成功机率。
[0008]以下将以实施方式对上述的说明作详细的描述，并对本发明的技术方案提供更进一步的解释。
【专利附图】
【附图说明】
[0009]图1是依照本发明一实施例的一种提升人脸识别率的图像处理方法的流程图；
[0010]图2是依照本发明一实施例的图像中的默认区域的示意图；
[0011]图3是依照本发明一实施例的图像信息的示意图表；
[0012]图4是依照本发明一实施例的一种提升人脸识别率的图像处理系统框图；
[0013]图5A、图5B、图5C是依照本发明一实施例的图像采集画面；
[0014]图6A、图6B、图6C是依照本发明另一实施例的图像采集画面。
【具体实施方式】
[0015]为了使本发明的叙述更加详尽与完备，可参照附图及以下所述各种实施例，附图中相同的号码代表相同或相似的元件。另一方面，众所周知的元件与步骤并未在实施例中描述，以避免对本发明造成不必要的限制。
[0016]本文中所使用的“约”、“大约”或“大致”用以修饰任何可稍微变化的数量，但这种稍微变化并不会改变其本质。在实施方式中若无特别说明，则代表以“约”、“大约”或“大致”所修饰的数值的误差范围一般是容许在百分之二十以内，较好地是在百分之十以内，而更好地则是在百分五之以内。
[0017]图1是依照本发明一实施例的一种提升人脸识别率的图像处理方法100的流程图。如图1所示，图像处理方法100方法包含步骤110?180 (应了解到，在本实施例中所提及的步骤，除特别说明其顺序的，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行)。
[0018]在步骤110采集含有人脸的图像；举例来说，可利用摄影装置来对使用者的人脸进行图像采集，摄影装置可为电子产品上的内置摄影机或外接式摄影机，摄影装置所采集的图像可显示在电子产品屏幕的预览画面上，因此正常状况下，使用者会将脸部对准预览画面的中央位置。当摄影装置采集含有人脸的图像，正常情况下，可拍摄出清晰的图像，但若是在背光或低照度的环境下进行拍摄，自动曝光(Auto Exposure)无法调整至正确的曝光值，因此，无法根据图像进行人脸识别，请参考图5A?图6C所示，在背光的环境下，如图5A所示的图像，由于背景亮度高，画面中央范围的平均曝光值偏低，大约为16 ;另外，在低照度的环境下，如图6A所示的图像，整个画面过暗，画面中央范围平均曝光值仅约为43，因此，无法对图像进行人脸识别。
[0019]图1中，步骤120在图像中的默认区域进行脸部检测。在本实施例中，步骤120主要是判断图像中是否存在人脸，举例来说，脸部检测的方法可采用V1la - Jones的级联分类器算法来对图像中的默认区域(中央区域)进行是否有人脸的检测，以快速且有效的找到多种姿态和尺寸的人脸图像。在本实施例中，脸部检测的机制与步骤180所采用的人脸识别系统并不相同，脸部检测的方法只能判断图像中是否存在人脸，而在步骤180中所采用的人脸识别系统可进一步针对图像中的人脸特征进行生物特征的鉴别和识别。
[0020]在一实施例中，如图2所示的默认区域210小于图像200的整个图像220，默认区域210位于图像200的整个图像220的中央位置范围，以符合一般使用者会将脸部对准画面中央的习惯，因此人脸区域230将落于默认区域210内。至于默认区域210占据整个图像220的实际比例，本领域技术人员可视不同的电子产品而弹性调整。
[0021]回到图1，若在步骤120无法从图像中的默认区域识别出人脸，亦即无法完成脸部检测，代表在步骤110所采集的含有人脸的图像时，可能是在背光或低照度的环境下，因此，需在步骤130比对图像进行曝光调整，首先，可先对此图像中的默认区域的平均曝光值进行检测，判断当前默认区域的平均曝光值大小，依据检测出的平均曝光值大小与期望值进行比较，若平均曝光值低于期望值，代表在背光或低照度的环境下进行拍摄，因此，在步骤130可对图像进行曝光调整，亦即调整默认区域内的曝光值。
[0022]具体而言，在背光或低照度的环境下，在步骤130可根据其查找表(LookupTable)渐进式的调整阈值以增加中央位置范围(默认区域)的平均曝光值，在平均曝光值增加的过程中，在步骤120会持续对修正后的图像进行人脸识别，直到步骤130针对默认区域调整曝光值达到期望值，在步骤120即可找到图像中的人脸区域。
[0023]举例来说，在背光的环境下，原本图5A所示的图像可在步骤130调整成图5B所示的曝光值较适当的图像，其画面中央范围的曝光值约为84;另外，在低照度的环境下，原本图6A所示的图像可在步骤130调整成图6B所示的曝光值较适当的图像，其画面中央范围的曝光值约为79。实际操作上，若图像的曝光值偏低，则步骤120会检测不到人脸；但在低光源的情况下，若只单纯在步骤130调整曝光，虽然图像的曝光值很高，但却会造成图像的画面帧速率(frame rate)降低，容易使图像有残象或模糊不清的情况，因此，步骤180所采用的人脸识别系统也将无法识别出人脸的生物特征，也无法进行身份识别。但期望值也不可过高，以免画面帧速率降低。举例来说，期望值可约为70?90之间的曝光值，如85左右，但是此数值仅为例示，并不限制本发明，本领域技术人员应视当时需要弹性调整期望值的闻低。
[0024]因此，当默认区域的曝光值符合期望值时，可以得到一张曝光值较适当的图像，但是，为了要使图像能够被人脸识别系统更清楚的进行生物特征识别，还必须针对图像中的人脸区域进行图像调整，才能够被人脸识别系统识别。在调整图像时，在图像帧速率(framerate)不能过低的限制下，则可进行步骤140?160以实时增强图像中人脸区域的暗部区域细节。
[0025]当默认区域的曝光值符合期望值且完成脸部检测后，在步骤140继续分析及调整默认区域中人脸区域的图像信息；具体而言，步骤140包括子步骤141、142以分别从默认区域中的人脸区域分析出亮度直方图与平均亮度(曝光值)两个图像信息，请参照图3所示。依照本发明实施例的图像信息的示意图表，图表中包括默认区域中的亮度直方图310(Luminance Histogram)及平均亮度 320 (Average Brightness),其中亮度直方图 310 代表各个亮度所占的像素数目，平均亮度320则是将默认区域中各个像素的亮度平均后所得到的亮度值。本发明可从默认区域中分析出亮度直方图与平均亮度，并将两者结合形成一组256维度的空间向量以作为图像信息。
[0026]回到图1，在步骤150中，依据先前找出的图像信息(亮度直方图310及平均亮度320)，在步骤150及步骤160所做的选取图像调节参数及进行图像处理的步骤中，所利用的方法为一种宽动态范围(WDR，Wide Dynamic Range)的图像处理技术，其中，宽动态范围的方法预先建置有多个多维空间向量模型参数，每一个模型参数均有其对应的宽动态范围参数，且每组模型参数具有256维度的空间向量。
[0027]在步骤150及步骤160中，宽动态范围可从多个多维空间向量的模型参数中找出与上述该组256维度的空间向量所构成的图像信息最接近的一个所对应的宽动态范围参数，进而基于该宽动态范围参数来对图像执行宽动态范围的处理，并在步骤160对图像执行宽动态范围的处理，其主要目标为增强图像中暗部区域的清晰程度，使图像中暗部区域的亮度的增加幅度高于图像中亮部区域的亮度的增加幅度。再者，关于如何在多个多维空间向量中找出与该图像最接近的空间向量，在本实施例中，可采用扩展Jaccard相似系数法(extended Jaccard similarity coefficient)来测量任两组空间向量集合之间的重叠程度，借以从预先建置的多维空间向量模型参数中找出与该图像最近的一个多维空间向量。
[0028]如此，在步骤170中，人脸识别系统可以得到明亮且清晰的图像，进而从此图像中采集较充足的人脸的生物特征进行身份鉴别，大幅提高检测以及识别的成功机率。举例来说，在背光的环境下，原本图5B所示的图像经步骤150及160处理后为图5C所示的明亮且清晰的图像，其画面中央范围的亮度约为127;另外，在低照度的环境下，原本图6B所示的图像经步骤160处理后为图6C所示的明亮且清晰的图像，其画面中央范围的亮度约为120。
[0029]另一方面，在其他实施例中，本发明也可采用高动态范围(HDR, High DynamicRange)图像技术来取代宽动态范围的图像技术。具体而言，可预先建置场景以记录多个模型及其对应的多个高动态范围参数，在步骤150可从多个多维空间向量的模型参数中找出与上述该组256维度的空间向量所构成的图像信息最接近的一个所对应的高动态范围参数；接着，在步骤160基于该高动态范围参数，来对图像执行高动态范围的处理，其主要目标为增强图像中暗部区域的清晰程度。
[0030]实际操作中，上述的步骤120?180的【具体实施方式】可采用软件、硬件与/或固件。举例来说，图像处理方法100可适用于任意的电子产品，如:笔记本电脑、台式计算机、智能型手机、平板电脑等，而这些步骤可同时采用软件、硬件及固件协同作业。
[0031]图4是依照本发明一实施例的一种提升人脸识别率的图像处理系统400框图。如图4所示，图像处理系统400包括摄影装置410、脸部检测单元420、曝光调整单元430、图像分析单元440、图像处理单元450与图像输出单元460。
[0032]摄影装置410用以采集含有人脸的图像，脸部检测单元420用以在图像中的默认区域进行脸部检测。当无法完成脸部检测时，曝光调整单元430用以调整默认区域的曝光值，使默认区域的曝光值符合期望值。当默认区域的亮度符合期望值且完成脸部检测时，图像分析单元440用以分析图像的人脸区域中的图像信息。图像处理单元450用以依据图像信息，选取模型参数及模型参数所对应的图像调节参数，并对图像中的人脸区域进行图像处理。图像输出单元460用以输出处理后的图像给人脸识别系统490。
[0033]使用上，摄影装置410可为电子产品的内置摄影机或外接式摄影机，摄影装置410所采集的图像可显示在电子产品屏幕的预览画面上，因此正常状况下，使用者会将脸部对准预览画面的中央以进行人脸识别。当摄影装置410采集含有人脸的图像，但若是在背光或低照度的环境下，自动曝光尚未调整至适当的程度，人脸识别系统490无法从图像中采集足够的生物特征数据。请参考图5A?图6C所示，在背光的环境下，如图5A所示的图像，由于背景亮度高，画面中央范围的平均亮度偏低，大约为16 ;另外，在低照度的环境下，如图6A所示的图像，整个画面过暗，画面中央范围平均亮度仅约为43。
[0034]在本实施例中，脸部检测单元420主要是判断图像中是否存在人脸，举例来说，脸部检测单元420可采用V1la - Jones的级联分类器算法来对图像中的默认区域进行人脸型态的检测，以快速且有效的找到多种姿态和尺寸的人脸图像。在本实施例中，脸部检测单元420与人脸识别系统490并不相同，而人脸识别系统490可进一步针对图像中的人脸的生物特征进行身份鉴别。
[0035]当脸部检测单元420无法从图像中识别出人脸，代表摄影装置410采集含有人脸的图像时，可能是在背光或低照度的环境下，因此，需比对图像进行曝光调整，首先，会对默认区域进行测光，并将此测光的信息传入曝光调整单元430，曝光调整单元430会针对默认区域中的平均曝光值进行检测，判断当前默认区域的平均曝光值大小。曝光调整单元430中有具有期望值，以依据检测出的平均曝光值大小与期望值进行比较，若平均曝光值低于期望值，代表在背光或低照度的环境下进行拍摄，因此，曝光调整单元430即可对图像进行曝光调整。
[0036]具体而言，在背光或低照度的环境下，曝光调整单元430可根据其查找表渐进式的调整阈值以增加中央位置范围的平均亮度，在亮度增加的过程中，脸部检测单元420会持续对修正后的图像进行人脸识别，直到曝光调整单元430针对默认区域调整曝光值达到期望值，脸部检测单元420即可找到图像中的人脸区域。
[0037]举例来说，在背光的环境下，原本图5A所示的图像可被曝光调整单元430调整成图5B所示的亮度较适当的图像，其画面中央范围的亮度约为84 ;另外，在低照度的环境下，原本图6A所示的图像可被曝光调整单元430调整成图6B所示的亮度较适当的图像，其画面中央范围的亮度约为79。
[0038]实际操作上，若图像的亮度偏低，则脸部检测单元420会检测不到人脸；但在低光源的情况下，若只单纯使用曝光调整单元430调整曝光，虽然图像的亮度值很高，但却会造成图像的画面帧速率降低，容易使图像有残象或模糊不清的情况，因此，人脸识别系统490也将无法识别出人的生物特征，也无法进行身份识别。因此，当默认区域的亮度符合期望值时，可以得到一张亮度较适当的图像，在画面帧速率不能过低的限制下，则可搭配图像分析单元440、图像处理单元450与图像输出单元460以实时增强图像中暗部区域的细节。
[0039]应了解到，上述的预设期望值不可过低，以免脸部检测单元420失效；但期望值也不可过高，以免画面帧速率降低。举例来说，期望值可约为70?90之间的亮度值，如85左右，但是此数值仅为例示，并不限制本发明，本领域技术人员应视当时需要弹性调整期望值的闻低。
[0040]具体而言，当默认区域的亮度符合期望值时，图像分析单元440分析默认区域中的图像信息；亮度分析单元440可从默认区域中分析出亮度直方图与平均亮度，并将两者结合形成一组256维度的空间向量以作为图像信息。
[0041]图像处理系统400可预先建置场景以记录多个模型参数及其对应的多个图像调节参数。在一实施例中，本发明采用宽动态范围的图像处理技术，即预先建置多个多维空间向量的模型参数，每一个模型参数均有其对应的宽动态范围参数。图像处理单元450可于多个多维空间向量的模型参数中找出与上述该组256维度的空间向量所构成的图像信息最接近的一个所对应的宽动态范围参数，进而基于该宽动态范围参数来对图像执行宽动态范围的处理，其主要目标为增强图像中暗部区域的清晰程度，使图像中暗部区域的亮度的增加幅度高于亮部区域的亮度的增加幅度。
[0042]如此，人脸识别系统490可以得到明亮且清晰的图像，进而从此图像中采集较充足的人脸的生物特征来进行身份鉴别，大幅提高检测以及识别的成功机率。举例来说，在背光的环境下，原本图5B所示的图像被图像处理单元450处理后为图5C所示的明亮且清晰的图像，其画面中央范围的亮度约为127 ;另外，在低照度的环境下，原本图6B所示的图像可被图像处理单元450处理后为图6C所示的明亮且清晰的图像，其画面中央范围的亮度约为 120。
[0043]再者，关于如何在多个多维空间向量的模型中找出与该组256维度的空间向量最接近的一个，在一实施例中，图像处理单元450可采用扩展Jaccard相似系数法来测量任意两组空间向量集合之间的重叠程度，借以从预先建置的场景中找出与该组256维度的空间向量相距最近的模型参数。
[0044]另一方面，在其他实施例中，可采用高动态范围(HDR)图像技术来取代宽动态范围的图像技术。具体而言，图像处理系统400可预先建置场景以记录多个模型参数及其对应的多个高动态范围参数；图像处理单元450基于多个模型参数中与该图像信息最接近的一个所对应的高动态范围参数来对该图像执行高动态范围的处理，其主要目标为增强图像中暗部区域的清晰程度。
[0045]实际操作上，上述的脸部检测单元420、曝光调整单元430、图像分析单元440、图像处理单元450与图像输出单元460等，其【具体实施方式】可为软件、硬件与/或固件。举例来说，图像处理系统400可适用于任意的电子产品，如:笔记本电脑、台式计算机、智能型手机、平板电脑等，这些单元可同时采用软件、硬件及固件协同作业。
[0046]综上所述，本发明可将在背光或低照度的环境下所采集的图像，增强至明亮且清晰的输出图像，以供后端人脸识别系统使用，如此可大幅提高检测以及识别的成功机率。
[0047]虽然本发明已经以实施例公开如上，然其并非用以限定本发明，任何所属【技术领域】中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的变动与润饰，故本发明的保护范围当视权利要求书所界定者为准。
【权利要求】
1.一种提升人脸识别率的图像处理方法，适用于人脸识别系统，其特征在于，该图像处理方法包括: 采集含有人脸的图像； 在上述图像中的默认区域进行脸部检测； 当无法完成上述脸部检测时，调整上述默认区域的曝光值，使上述默认区域的曝光值符合期望值； 当上述默认区域的曝光值符合上述期望值时，进行上述脸部检测，且分析上述图像的人脸区域中的图像信息； 依据上述图像信息，选取模型参数及模型参数所对应的图像调节参数，并对上述图像中的人脸区域进行图像处理；以及输出处理后的图像至上述人脸识别系统。
2.如权利要求1所述提升人脸识别率的图像处理方法，其特征在于，所述图像信息包括所述人脸区域中的亮度直方图及平均亮度。
3.如权利要求1所述提升人脸识别率的图像处理方法，其特征在于，所述图像调节参数为宽动态范围参数。
4.如权利要求3所述提升人脸识别率的图像处理方法，其特征在于，所述进行图像处理的步骤包括: 基于所述宽动态范围参数，对所述图像执行宽动态范围的处理。
5.如权利要求1所述提升人脸识别率的图像处理方法，其特征在于，所述默认区域小于所述图像的整个画面，且位于所述图像的整个画面的中央位置范围。
6.如权利要求1所述提升人脸识别率的图像处理方法，其特征在于，所述采集含有人脸的图像的步骤中，采集方式利用拍摄或录像方式完成。
7.如权利要求1所述提升人脸识别率的图像处理方法，其特征在于，当无法完成所述脸部检测时代表所述图像的默认区域的平均曝光值过高或过低，因此，对所述默认区域进行曝光调整，直到所述图像完成脸部检测。
8.如权利要求1所述提升人脸识别率的图像处理方法，其特征在于，在对所述图像中的人脸区域进行图像处理的步骤中，所述处理方法增强图像中暗部区域的清晰程度。
9.一种提升人脸识别率的图像处理系统，适用于人脸识别系统，其特征在于，该图像处理系统包括: 装置，其用以采集含有人脸的图像； 脸部检测单元，其用以在上述图像中的默认区域进行脸部检测； 曝光调整单元，其用以当无法完成上述脸部检测时，调整上述默认区域的曝光值，使上述默认区域的曝光值符合期望值； 图像分析单元，当上述默认区域的曝光值符合上述期望值，该图像分析单元进行上述脸部检测，且分析上述图像的人脸区域中的图像信息； 图像处理单元，其用以依据上述图像信息，选取模型参数及模型参数所对应的图像调节参数，并对上述图像中的人脸区域进行图像处理；以及 图像输出单元，其用以输出处理后的图像至上述人脸识别系统。
10.如权利要求9所述提升人脸识别率的图像处理系统，其特征在于，所述图像信息包括所述人脸区域中的亮度直方图及平均亮度。
11.如权利要求9所述提升人脸识别率的图像处理系统，其特征在于，所述图像调节参数为宽动态范围参数。
12.如权利要求9所述提升人脸识别率的图像处理系统，其特征在于，所述图像处理单元基于所述宽动态范围参数，对所述图像执行宽动态范围的处理。
13.如权利要求9所述提升人脸识别率的图像处理系统，其特征在于，所述默认区域小于所述图像的整个画面，且位于所述图像的整个画面的中央位置范围。
【文档编号】G06K9/00GK104182721SQ201310192437
【公开日】2014年12月3日 申请日期:2013年5月22日 优先权日:2013年5月22日
【发明者】郭修瑞, 刘育诚, 郑义锜 申请人:华硕电脑股份有限公司