用于基于人类巩膜和瞳孔校正数字图像颜色的系统和方法与流程

本发明涉及图像处理技术，并且更特别地，本发明涉及用于在人类巩膜和瞳孔的颜色的基础上校正皮肤颜色的方法和系统。

背景技术：

最近，已经提出了与使用设备化妆相关的各种技术；然而，它们中的大多数并未将用户的面部皮肤颜色和光照环境考虑在内。常规技术公开了用于在没有照明影响的情况下测量真实皮肤颜色的方法；然而，它们具有诸如不得不利用用于基于普通用户不可获得的频谱来测量颜色信息的设备的缺点。

此外，已经提出了诸如利用标准颜色表拍摄照片以便利地测量光照环境的技术；然而，该技术要求准备颜色表并在拍摄照片的过程中使用它。

此外，do等人（2012）提出了用于使用人眼的巩膜来校正照明的方法；然而，该方法具有提取正确的皮肤颜色的困难，这是因为被提取的皮肤颜色的范围太宽，包括阴影和高光。

这样，针对能够使用人眼的巩膜和瞳孔从图像提取正确的面部皮肤颜色以改进用户便利性并为各种化妆相关的程序提供基础的技术的需求已经浮现。

本发明的构成

[本发明的技术目的]

本发明可以提供一种用于校正颜色的方法，其中所述方法从图像检测脸部和眼睛，用于在眼睛的巩膜和瞳孔的基础上校正颜色。更特别地，本发明可以提供一种用于通过从图像检测脸部和眼睛、提取眼睛的巩膜和瞳孔以及将巩膜和瞳孔的提取的区域与存储在数据库中的参考值进行比较来校正图像并从校正的图像提取面部皮肤颜色的方法。

[用于实现技术目的的手段]

根据本发明的实施例的用于校正颜色的方法可以包括以下步骤：通过拍摄照片获取图像；从获取的图像检测脸部和眼睛；提取被检测的（一个或多个）眼睛的巩膜和瞳孔；通过将提取的巩膜和瞳孔区域与存储在数据库中的参考值进行比较来校正图像；以及从校正的图像提取面部皮肤的颜色。

提取被检测的（一个或多个）眼睛的巩膜和瞳孔的步骤可以包括以下步骤：使用otsu算法和眼形掩模（eye-shapemask）划分巩膜和瞳孔；通过在临界光照值的基础上划分巩膜来提取具有高于预设值的亮度的巩膜区域；以及通过检测瞳孔和巩膜之间的边界来提取具有低于预设值的亮度的瞳孔区域。

校正图像的步骤可以包括以下步骤：在参考值的基础上转换图像的颜色，所述参考值与具有高于预设值的亮度的从巩膜提取的巩膜区域和具有低于预设值的亮度的从瞳孔提取的瞳孔区域进行比较。

提取面部皮肤颜色的步骤可以包括以下步骤：参考校正的图像的脸部中心提取皮肤区域，并将提取的皮肤区域与存储的皮肤颜色的测量值进行比较，以从校正的图像检测脸部的皮肤区域并通过在l*a*b值的测量范围的基础上对脸部的皮肤区域进行滤波来提取皮肤颜色。

从校正的图像提取脸部的皮肤颜色的步骤可以包括以下步骤：显示从校正的图像提取的脸部的皮肤的区域和从校正的图像提取的面部皮肤的颜色。

颜色校正方法可以进一步包括将参考值存储在数据库中用于根据不同光照环境提取面部皮肤的颜色的步骤，其中将参考值存储在数据库中用于根据不同光照环境提取面部皮肤的颜色的步骤可以是存储用于图像校正的巩膜和瞳孔的图像校正测量值以及利用脸部测量的皮肤颜色测量值的步骤。

将参考值存储在数据库中用于根据不同的光照环境提取面部皮肤的颜色的步骤可以包括参考包括皮肤颜色的标准色调来转换在不同光照环境下捕获的图像的步骤。

将参考值存储在数据库中用于根据不同的光照环境提取面部皮肤的颜色的步骤可以包括以下步骤：存储从检测自转换的图像的脸部的前额、上颌、颈部、下巴，颧骨和下颌中的至少一个或多个测量的皮肤颜色的测量值的平均值。

捕获图像的步骤可以包括以下步骤：通过在实时的基础上扫描脸部和眼睛来确定眼睛是睁开还是闭合，并且如果判断眼睛是睁开，则激活图像捕获模式。

根据本发明的实施例的用于构造用于颜色校正的计算机软件程序的颜色校正方法可以包括以下步骤：通过捕获图像来获取图像；从捕获的图像检测脸部和眼睛；提取被检测的（一个或多个）眼睛的巩膜和瞳孔；通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像；以及从校正的图像提取脸部的皮肤颜色。

根据本发明的实施例的颜色校正系统可以包括：采集单元，用于从捕获的图像获取图像；检测单元，用于从捕获的图像检测脸部和（一个或多个）眼睛；分离单元，用于提取被检测的（一个或多个）眼睛的巩膜和瞳孔；校正单元，用于通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像；以及提取单元，用于从校正的图像提取脸部的皮肤颜色。

分离单元使用otsu算法和眼形掩模从检测的（一个或多个）眼睛划分巩膜和瞳孔，并且可以通过在临界光照值的基础上划分巩膜来提取具有高于预设值的亮度的巩膜区域；以及通过沿着瞳孔的圆形轮廓上检测瞳孔和巩膜之间的边界，来提取具有低于预设值的亮度的瞳孔区域。

校正单元可以在参考值的基础上转换图像的颜色，所述参考值与具有高于预设值的亮度的从巩膜提取的巩膜区域和具有低于预设值的亮度的从瞳孔提取的瞳孔区域进行比较。

提取单元可以通过如下来提取皮肤颜色：参考校正的图像的脸部中心提取皮肤区域，并将提取的皮肤区域与存储的皮肤颜色的测量值进行比较，以从校正的图像检测脸部的皮肤区域并通过在l*a*b值的测量范围的基础上对脸部的皮肤区域进行滤波来提取皮肤颜色。

提取单元可以示出从校正的图像提取的面部皮肤的区域和从校正的图像提取的面部皮肤的颜色。

颜色校正系统可以进一步包括用于在数据库中存储参考值的存储单元，以便根据不同光照环境提取面部皮肤的颜色，其中存储单元可以存储用于图像校正的巩膜和瞳孔的图像校正测量值以及利用脸部测量的皮肤颜色测量值。

存储单元可以参考包括皮肤颜色的标准色调来转换在不同光照环境下捕获的图像。

存储单元可以存储从检测自转换的图像的脸部的前额、上颌、颈部、下巴，颧骨和下颌中的至少一个或多个测量的皮肤颜色的测量值的平均值。

采集单元可以通过在实时的基础上扫描脸部和眼睛来确定眼睛是睁开还是闭合，并且如果判断眼睛是睁开，则激活图像捕获模式。

[本发明的效果]

根据本发明的实施例的颜色校正系统可以通过利用瞳孔和眼睛的光学特性从简单的照相过程提取正确的皮肤颜色。

根据本发明的实施例的颜色校正系统提供了一种用于通过在参考值的基础上利用人眼的巩膜和瞳孔的色调执行颜色校正来在不使用任何附加的测量仪器或设备的情况下提取正确的皮肤颜色而不管光照环境如何的实用方法。

根据本发明的实施例的颜色校正系统可以应用于所有个体而不管其种族或起源地如何，这是因为所述系统利用对于所有人类而言共有的人眼的巩膜和瞳孔。

此外，预期根据本发明的实施例的颜色校正系统成为用于根据通信技术和移动设备的发展的各种应用软件程序的核心技术，这是由于所述系统通过提供用户便利性和多种族适用性而易于扩展。

附图说明

图1是根据本发明的实施例的颜色校正系统的操作的示意流程图。

图2是描绘根据本发明的实施例的颜色校正系统的配置的框图。

图3是示出根据本发明的实施例的可以包括在颜色校正系统的处理器中的结构元件的框图。

图4是例示根据本发明的实施例的颜色校正系统的数据采集的图像。

图5是图示根据本发明的实施例的用于利用颜色校正系统的眼睛的巩膜和瞳孔校正图像的方法的流程图。

图6和图7是描述根据本发明的实施例的用于颜色校正系统的颜色校正的方法的流程图。

具体实施方式

参考附图详细描述了本发明的示例性实施例。

图1是根据本发明的实施例的颜色校正系统的操作的示意流程图，颜色校正系统100可以以应用软件的形式在pc（个人计算机）、笔记本计算机、膝上型计算机、智能电话、平板计算机、可穿戴计算机或tv上运行。下面的描述基于颜色校正系统100正在图1中运行的假设。

终端可以配备有用于捕获主体（110）（例如用户）的图像的功能。终端可以拍摄用户的照片。终端可以通过扫描用户的脸部和眼睛来确定用户的眼睛是睁开还是闭合。如果确定眼睛是睁开，则终端可以激活图像捕获模式（111）。另一方面，如果判断眼睛是闭合，则终端可以停用（deactivate）图像捕获模式（112）。

终端可以获取捕获的图像以进行图像校正过程（120），用于提取图像中的面部皮肤的颜色。终端可以通过检测眼睛来分离眼睛的巩膜和瞳孔，并且在分离巩膜和瞳孔之后，终端可以通过将巩膜和瞳孔的提取区域与预设的存储的参考值进行比较来校正图像的颜色。下面参考优选实施例详细描述了图像校正的过程。

终端可以提取并示出从校正的图像（130）提取的面部皮肤的区域和从校正的图像提取的面部皮肤的颜色（140）。

图2是描绘根据本发明的实施例的颜色校正系统的配置的框图。

颜色校正系统（100）可以包括处理器（210）、通信单元（220）和显示单元（230）。此外，颜色校正系统（100）可以进一步包括用于存储针对在不同光照环境下提取面部皮肤的颜色而使用的数据的存储单元（230）。

处理器（210）可以控制颜色校正系统（100）的元件，并且可以运行由颜色校正系统（100）使用的软件程序或应用。此外，处理器（210）可以处理对于软件程序或应用的执行以及数据处理所要求的操作。

通信单元（220）可以是向其他终端的独立服务器传输数据和/或信息并从其他终端的独立服务器接收数据和/或信息的例如播放器的网络接口卡、网络芯片或联网接口端口、网络设备驱动器之类的硬件模块或者诸如联网程序之类的软件模块。

用于存储颜色校正系统（100）的信息的数据的存储单元（230）可以是存储器或其他类型的存储设备。存储单元（230）可以存储由处理器（210）运行的软件或应用以及相关的信息。

显示单元（240）可以显示捕获的图像，并且可以示出从校正的图像提取的面部皮肤的区域和从校正的图像提取的面部皮肤的颜色。

图3是示出根据本发明的实施例的可以包括在颜色校正系统的处理器中的结构元件的框图。

包括在颜色校正系统中的处理器（210）可以包括采集单元（310）、检测单元（320）、分离单元（330）、校正单元（340）和提取单元（350）。处理器（210）和处理器（210）的元件可以被配置为执行由操作系统的代码和存储器设备中的至少一个软件程序的代码给出的指令。这里，处理器（210）的元件可以是处理器（210）按照由存储在颜色校正系统中的软件代码提供的控制指令而执行的不同功能的表达。

采集单元（310）可以当捕获图像时获取图像。采集单元（310）可以通过在实时的基础上扫描脸部和眼睛来确定眼睛是睁开还是闭合，并且如果确定眼睛是睁开，则激活图像捕获模式。

检测单元（320）可以从捕获的图像检测脸部和眼睛。

分离单元（330）可以从检测的眼睛分离巩膜和瞳孔。分离单元（330）使用otsu算法和眼形掩模从检测的（一个或多个）眼睛划分巩膜和瞳孔，并且可以通过在临界光照值的基础上划分巩膜来提取具有高于预设值的亮度的巩膜区域，以及通过沿着瞳孔的圆形轮廓检测瞳孔和巩膜之间的边界来提取具有低于预设值的亮度的瞳孔区域。

校正单元（340）可以通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像。校正单元（340）可以在参考值的基础上转换图像的颜色，所述参考值与具有高于预设值的亮度的从巩膜提取的巩膜区域和具有低于预设值的亮度的从瞳孔提取的瞳孔区域进行比较。

提取单元（350）可以从校正的图像提取面部皮肤的颜色。提取单元（350）可以通过如下来提取皮肤颜色：参考校正的图像的脸部中心提取皮肤区域，并将提取的皮肤区域与存储的皮肤颜色的测量值进行比较，以从校正的图像检测脸部的皮肤区域并通过在l*a*b值的测量范围的基础上对脸部的皮肤区域进行滤波来提取皮肤颜色。提取单元（350）可以示出从校正的图像提取的面部皮肤的区域和从校正的图像提取的面部皮肤的颜色。

图4是例示根据本发明的实施例的颜色校正系统的数据采集的图像。

颜色校正系统可以在数据库中存储用于在不同光照环境下提取面部皮肤颜色的数据。更特别地，颜色校正系统可以在多样化的光照环境下拍摄不同用户的多个脸部的照片。在这时，可以通过捕获图像的设备以多样化的色调、照明的强度、色温等捕获图像，并且可以根据图像捕获的环境产生多样化的光照环境。例如，可以通过拍摄预定年龄范围（例如，从17到56之间）和大于预定数量（例如，300人）的数量的用户的照片来获取用于提取皮肤颜色的数据。

颜色校正系统可以参考包括皮肤颜色的标准色调来转换在不同环境下捕获的图像。例如，颜色校正系统可以参考标准颜色表转换在不同光照环境下利用标准颜色表捕获的图像。

颜色校正系统可以使用计算机图形技术或脸部检测器（例如，viola-jones脸部检测器）从图像检测脸部和眼睛区域。例如，颜色校正系统可以使用otsu算法和眼形掩模从眼睛区域分离巩膜和瞳孔。反射光的巩膜在反射光照环境的特性的色调中被捕获，并且吸收光的瞳孔是黑色的但是受到图像捕获设备的校正过程的影响。因此，颜色校正系统可以从图像分离眼睛的巩膜和瞳孔。用于分离巩膜和瞳孔的技术不限于上面的算法，这是因为可以分离眼睛的瞳孔和巩膜的各种其他技术也是可获得的。

颜色校正系统可以通过参考照明的临界值将巩膜划分成更亮的区域和更暗的区域来提取巩膜区域。颜色校正系统可以提取其中亮度高于预设水平的巩膜区域用于颜色校正。颜色校正系统将比预设水平更亮的提取的巩膜的区域取作不受血管、斑点等影响的白色区域。

此外，颜色校正系统可以使用hough变换沿着瞳孔的圆形轮廓检测瞳孔和巩膜之间的干涉。颜色校正系统可以通过检测瞳孔和巩膜之间的干涉，来从提取的瞳孔提取其中亮度低于预设水平的瞳孔区域。

如上面描述的，本发明的颜色校正系统可以在数据库中保存上面提取的其中亮度高于预设水平的巩膜区域和其中亮度低于预设水平的瞳孔区域。例如，本发明的颜色校正系统可以在数据库中保存其中亮度高于预设水平的巩膜区域和其中亮度低于预设水平的瞳孔区域的图像校正的测量值。在这时，可以在图像样本的每次添加或删除时更新被测量的图像校正的测量值。

颜色校正系统可以保存在参考标准颜色表转换的图像中包括的脸部的特定区域的皮肤颜色的信息。颜色校正系统可以测量从图像（410）检测的脸部的前额、鼻尖、下巴、颈部、脸颊、颧骨和颌（411~417）中的至少一个或多个的皮肤颜色。这里，颜色校正系统可以在l*a*b值的基础上参考测量的皮肤颜色信息来导出皮肤颜色的最终范围。

颜色校正系统可以计算被测量区域的至少一个或多个皮肤颜色的平均值。颜色校正系统可以在数据库中保存通过平均皮肤颜色的测量值而获得的平均值。类似地，可以在图像样本的每次添加或删除时更新皮肤颜色的测量值。

颜色校正系统可以在数据库中保存用于图像校正的巩膜和瞳孔的图像校正测量值以及利用脸部测量的皮肤颜色值。利用该数据，颜色校正系统可以导出针对巩膜和瞳孔的参考值以及用于提取面部皮肤颜色的参考值，用于图像校正。

根据本发明的实施例的颜色校正系统可以应用于所有个体而不管其种族或起源地如何，这是因为所述系统利用对于所有人类而言共有的人眼的巩膜和瞳孔。

根据本发明的实施例的颜色校正系统可以通过构造数据库来标准化数据、在标准化数据的基础上测量区的皮肤颜色以导出目标值和实际皮肤范围并且相应地提取皮肤颜色。

图5是图示根据本发明的实施例的利用颜色校正系统的眼睛的巩膜和瞳孔校正图像的方法的流程图。

颜色校正系统可以获取图像（510）。颜色校正系统可以扫描脸部和眼睛并从获取的图像检测眼睛（520）。颜色校正系统可以通过从图像检测眼睛来分离眼睛的巩膜和瞳孔（530，540）。例如，颜色校正系统可以使用otsu算法和眼形掩模从眼睛区域分离巩膜和瞳孔。

步骤（530~533），颜色校正系统例如可以通过确定照明的临界值来以更亮的组和更暗的组将像素分类，用于在otsu算法的基础上从皮肤像素划分巩膜。在划分巩膜之后，可以提取具有高于预定水平的亮度的巩膜区域用于颜色校正，以便消除由巩膜中的眼睑和暗血管投射（cast）的阴影的影响。例如，颜色校正系统可以从巩膜提取最高亮度的10％。可以导出与从巩膜提取的最亮区域的10％对应的值。

此外，颜色校正系统可以在步骤（540~543）中通过使用例如hough变换来检测瞳孔。hough变换可以沿着圆形轮廓标识瞳孔和巩膜之间的界面。颜色校正系统可以从提取的瞳孔提取其中亮度低于预设水平的瞳孔区域。在这时，可以提取其中亮度低于预设水平的瞳孔区域，以便移除归因于透明角膜的光反射的影响。例如，颜色校正系统可以从瞳孔提取最暗区域的10％。可以导出与从瞳孔提取的最暗区域的10％对应的值。

颜色校正系统可以在参考值的基础上转换图像的颜色，所述参考值与具有高于预设值的亮度的从巩膜提取的巩膜区域和具有低于预设值的亮度的从瞳孔提取的瞳孔区域进行比较（550）。

图6和图7是描述根据本发明的实施例的颜色校正系统的颜色校正的方法的流程图。

在步骤（610）中，颜色校正系统可以在实时的基础上检测用户的脸部和眼睛。例如，颜色校正系统可以通过相机检测用户的脸部和眼睛。

在步骤（620）中，颜色校正系统可以确定用户的眼睛是否睁开。例如，如果眼睛区域处于预设大小范围内，则颜色校正系统可以确定眼睛是睁开。在这时，如果颜色校正系统确定用户的眼睛是闭合，则所述系统可以再次检测脸部和眼睛。

在步骤（630）中，如果用户的眼睛是睁开，则颜色校正系统可以捕获图像。当利用相机捕获图像时，颜色校正系统可以在用户的眼睛睁开时捕获用户的图像。

在步骤（640）中，颜色校正系统可以从包括在图像中的眼睛分离瞳孔和巩膜。

在步骤（650）中，颜色校正系统可以在瞳孔和巩膜的基础上校正图像。颜色校正系统可以通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像。这里，数据库（670）可以在数据库中存储用于在不同光照环境下提取面部皮肤颜色的参考值。例如，数据库可以存储用于图像校正的巩膜和瞳孔的图像校正的测量值（671）以及脸部的测量的皮肤颜色值（672）。下面参考图4提供了数据库（670）的详细描述。

关于图7，颜色校正系统可以在步骤（710）中提取其中亮度高于预定值的巩膜区域并提取其中亮度低于预定值的瞳孔区域。在步骤（720）中，颜色校正系统可以将巩膜和瞳孔的提取的区域的测量值与存储在数据库中的测量的图像校正值进行比较。在步骤（730）中，颜色校正系统可以在测量的图像校正值的基础上转换图像的颜色。

在步骤（660）中，颜色校正系统可以从校正的图像提取皮肤区域。特别地，颜色校正系统可以通过如下来提取皮肤颜色：参考校正的图像的脸部中心提取皮肤区域，并将提取的皮肤区域与数据库中存储的皮肤颜色的测量值进行比较，以从校正的图像检测脸部的皮肤区域并通过在l*a*b值的测量范围的基础上对脸部的皮肤区域进行滤波来提取皮肤颜色。颜色校正系统可以提供从校正的图像提取的皮肤区域和皮肤颜色。

根据本发明的实施例的颜色校正系统可以改进皮肤颜色估计的准确性。

可以通过硬件元件或软件元件和/或硬件元件和软件元件的组合来实现上面描述的装置。例如，可以利用一个或多个通用计算机或专用计算机来实现实施例中描述的装置及其元件，所述通用计算机或专用计算机诸如处理器、控制器、算术逻辑单元（alu）、数字信号处理器、微计算机、现场可编程门阵列（fpga）、可编程逻辑单元（plu）、微处理器或可以执行和响应指令的任何其他设备。处理单元可以运行操作系统（os）和在所述操作系统上运行的一个或多个软件应用。此外，处理单元可以响应于软件的执行而访问、存储、操作、处理和生成数据。为了读者的理解的便利性，上面的描述可以包括单个处理单元；然而，对于本领域中的技术人员而言应清楚的是，处理单元可以包括多个处理元件和/或多个类型的处理元件。例如，处理单元可以包括多个处理器或一个处理器和一个控制器。此外，诸如并行处理器之类的不同处理配置也可以这样做。

软件可以包括计算机程序、代码、指令或其一个或多个组合，并且处理单元可以被配置为能够按照指示操作或者可以独立地或共同地被指示。软件和/或数据可以永久或临时地被体现在某个类型的机器、组件、物理设备、虚拟装备、计算机存储介质或设备中，以能够由处理单元解释或向处理单元提供指令或数据。可以通过被安装在由网络连接的分布式计算机系统上而以分布式方式存储或运行软件。软件和数据可以存储在利用计算机系统可读的一个或多个记录介质设备中。

可以以程序的形式实现根据本发明的实施例的方法，所述程序可以由各种计算机装置执行并被记录在计算机可读介质中。计算机可读介质可以独立地包括程序指令、数据文件和/或数据结构或通过其组合包括程序指令、数据文件和/或数据结构。可以针对本发明或计算机软件领域中的任何技术人员可获得的通用软件而专门设计和制造被记录在介质中的程序指令。计算机可读记录介质的示例包括诸如硬盘和磁带之类的磁介质、诸如cd-rom和dvd之类的光学介质、诸如光软盘之类的磁光介质以及专门被配置为存储和执行程序指令的诸如rom、ram和闪速存储器设备之类的硬件设备。软件指令的示例包括由编译器生成的机器代码和可以由计算机系统使用解释器执行的高级语言代码。

根据前述内容，应当相信，相关领域中的技术人员应当认识到本发明的有价值的进步，并且应当容易地理解，虽然已经与本发明的优选实施例相关联地并且在附图中描述了本发明，但是在不脱离本发明的精神和范围的情况下，本领域中的技术人员可以在其中做出许多改变和修改。例如，可以以与描述不同的顺序执行本文中公开的技术，并且/或者描述的系统、结构、设备、电路或其他元件可以以不同的配置被组合或者由其他元件或等同物被替代或替换，从而实现适当的结果。

因此，对权利要求的其他实现、实施例和等同物应当包括在本文中下面提供的权利要求书中。