技术领域本发明涉及对唇的颜色进行校正的图像处理技术。
背景技术：
近年，对使用数字照相机等拍摄的包含人的面部的图像(面部图像)自动地进行校正的技术开始普及。这样的技术之一存在对唇的色调进行校正的技术。通过从面部图像检测唇，对色调进行校正，从而得到如涂上了口红那样的效果，能够提高美观度。作为用于对唇的颜色进行校正的技术，例如存在专利文献1中记载的图像处理装置。在该图像处理装置中，基于面部图像而取得唇的代表色，基于所取得的唇的代表色，确定应进行校正的区域。现有技术文献专利文献专利文献1：(日本)特开2012－190287号公报在专利文献1中记载的方法中，基于唇的颜色，确定唇存在的区域(以下，唇区域)，对该区域进行校正。但是，由于唇的颜色存在个体差异，所以存在不一定能够准确地确定唇区域的情况。例如，在存在唇的大小相同，且偏红的区域宽的人物、和偏红的区域窄的人物的情况下，前者会被辨识为唇更大。
技术实现要素：
本发明是考虑上述的课题而完成的，其目的在于，提供用于更自然地对图像中包含的唇的颜色进行校正的技术。为了解决前述的课题，本发明所涉及的图像处理装置的特征在于，具有：图像取得部件，取得面部图像，所述面部图像是包含人物的面部的图像；唇提取部件，从所述面部图像中提取唇区域，所述唇区域是与唇对应的区域；代表色决定部件，基于所述唇区域中包含的像素，决定唇的代表色；值取得部件，关于所述面部图像中包含的各个像素，取得表示对于所述唇区域的接近度的第一值、和与对于所述代表色的颜色的类似度相关的第二值；唇校正图生成部件，基于所述第一值以及第二值的分布，生成唇校正图，所述唇校正图是表示在对所述面部图像中包含的唇的颜色进行校正时的权重的分布；以及图像校正部件，使用所述唇校正图，对所述面部图像中包含的唇的颜色进行校正。本发明所涉及的图像处理装置是生成在对面部图像中包含的唇的颜色进行校正时使用的图(唇校正图)的装置。唇校正图是表示在对唇的颜色进行校正时的校正的强度的图。在基于作为输入图像的面部图像，生成与唇对应的区域即唇区域和代表唇的颜色即代表色之后，使用该唇区域和代表色而进行唇校正图的生成。具体而言，在按每个像素算出表示对于唇区域的接近度的值(第一值)、和有关与代表色之间的颜色的类似度的值(第二值)之后，对该第一值的分布和第二值的分布进行整合而生成唇校正图。第二值也可以是与代表色之间的颜色的类似度，也可以是对该类似度乘以权重的值等。像这样，由于本发明所涉及的图像处理装置使用以距离和颜色这双方为基准而生成的唇校正图来进行图像的校正，所以与以一样的强度进行校正的情况、仅基于距离或颜色来进行校正的情况相比，能够进行更自然的校正。此外，也可以是，其特征在于，所述第二值是对于所述代表色的颜色的类似度和规定的权重相乘后的值，对象的像素的红色的分量越强则所述规定的权重变得越大。第二值可以是对于代表色的单纯的类似度，但也可以是对象的像素的色调越接近于红色则被校正为变得更大的值。由于与唇对应的像素具有红色系的颜色，所以通过这样，能够进一步对唇进行增强。此外，也可以是，其特征在于，所述第一值是随着对象的像素远离所述唇区域而衰减的值，嘴的内侧的衰减度比嘴的外侧的衰减度更急剧。第一值能够设为随着远离唇区域而衰减的值，但与嘴的内侧相比，嘴的外侧在远离唇区域的地方存在唇的概率更高。因此，使嘴的内侧的衰减率与嘴的外侧的衰减率相比变得更急剧。根据该结构，能够进行更自然的校正。此外，也可以是，其特征在于，所述图像校正部件使用在所述唇校正图中定义的权重，对规定的校正颜色和所述面部图像具有的像素的色调进行合成。通过使用在唇校正图中定义的权重，对对象像素的色调和规定的校正颜色进行合成，从而能够得到校正颜色被反映到唇上的面部图像。此外，也可以是，其特征在于，所述代表色决定部件对位于所述唇区域的内部的多个像素进行采样，基于所采样的像素的色调的分布，决定唇的代表色。与唇对应的代表色能够通过对位于所检测到的唇区域的内部的多个像素进行采样来决定。例如，考虑通过对所采样的多个像素的颜色进行平均来决定代表色这样的方法。但是，此时，根据唇区域的检测精度、所采样的像素的位置，存在没有充分地表现唇的颜色的像素混入样本的情况。为了防止该情况，也可以在对像素进行了采样之后，基于色调的分布来决定代表色。例如，也可以将分配给最多的像素的颜色设为代表色，也可以在提取到分配给较多的像素的颜色的范围之后，对属于该范围的像素再次进行采样。由此，能够除去不适合作为样本的像素。此外，也可以是，其特征在于，所述代表色决定部件生成表示所述采样的像素的色调的直方图，仅使用色调属于以平均值为中心的规定的范围内的像素来决定唇的代表色。例如，也可以以平均值为中心，对规定的百分比值中包含的像素进行再采样，基于再采样的结果来决定代表色。通过这样，能够决定更适当的代表色。另外，本发明能够特定为包含上述部件的至少一部分的图像处理装置。此外，本发明还能够特定为上述图像处理装置进行的图像处理方法。此外，本发明能够特定为使计算机执行上述图像处理方法的程序。上述处理、部件只要不产生技术上的矛盾，就能够自由地组合而实施。根据本发明，能够更自然地对图像中包含的唇的颜色进行校正。附图说明图1是实施方式所涉及的图像处理装置的系统结构图。图2是图像处理装置进行的处理的流程图。图3是详细地说明生成嘴图像的处理的流程图。图4(A)～图4(B)是嘴图像以及唇区域的例子。图5是详细地说明决定代表色的处理的流程图。图6是说明对像素进行采样的处理的图。图7是详细地说明生成唇校正图的处理的流程图。图8是说明位置程度图的图。标号说明10图像处理装置11图像取得部12嘴检测部13唇区域检测部14代表色取得部15唇校正图生成部16图像校正部具体实施方式以下，参照附图说明本发明的优选的实施方式。本实施方式所涉及的图像处理装置是取得包含面部的图像，对该图像中包含的人的唇的颜色进行校正的装置。图1是本实施方式所涉及的图像处理装置10的系统结构图。(第一实施方式)第一实施方式所涉及的图像处理装置10由图像取得部11、嘴检测部12、唇区域检测部13、代表色取得部14、唇校正图生成部15、图像校正部16构成。图像取得部11是取得处理对象的图像(包含人的面部的图像。以下，面部图像)的部件，典型地说，是固定盘驱动器、闪速存储器这样的存储装置。另外，图像取得部11也可以是从装置的外部取得图像的部件(例如，接口装置、无线通信装置)，也可以是经由镜头和拍摄元件对图像进行拍摄的部件。此外，处理对象的图像也可以是与构成运动图像的各帧对应的图像。另外，在本实施方式中，面部图像的颜色空间设为YCbCr，但也可以是RGB、Lab等。嘴检测部12是从图像取得部11取得的面部图像中提取与人的嘴对应的区域的部件。具体而言，在从面部图像中检测与人的嘴对应的特征点，确定了嘴存在的区域之后，对该区域进行剪切。所检测的特征点优选表示嘴的左端、嘴的右端、唇的边界的点等。以后，将剪切后的图像称为嘴图像。唇区域检测部13是基于嘴检测部12检测到的特征点，生成表示唇的边界的曲线，并生成唇存在的区域即唇区域的部件。例如能够通过沿着唇的边界线来描画将与嘴的左端对应的特征点、和与嘴的右端对应的特征点连接的曲线从而生成唇区域。例如，也可以对表示唇的边界的多个点进行样条插补，生成与上唇的上下、下唇的上下分别对应的共计4根曲线。通过这样生成的曲线，生成表示上唇的闭区域、和表示下唇的闭区域。以后，将这两个闭区域称为唇区域。代表色取得部14是取得代表嘴图像中包含的唇的颜色(以下，代表色)的部件。具体而言，对处于唇区域的内部的多个像素进行采样，基于采样结果，算出单一的代表色。关于具体的处理方法在后面叙述。唇校正图生成部15是基于唇区域检测部13生成的唇区域、和代表色取得部14取得的代表色，生成唇校正图的部件。唇校正图是表示在对面部图像中包含的唇的颜色进行校正时的权重的图，是对于应更大地校正颜色的部位给予更大的权重的图。即，唇校正图也可以说是表示唇可能性的图。关于具体的处理方法在后面叙述。图像校正部16是使用唇校正图生成部15生成的唇校正图，进行对于面部图像的校正的部件。图像校正部16进行的校正只要校正唇的颜色，则也可以是任意校正。例如，也可以是通过对面部图像中包含的唇，合成规定的校正颜色，从而得到涂上口红的效果的校正等。另外，以上说明的各部件也可以通过设计为专用的硬件来实现，也可以通过软件模块来实现。此外，也可以通过FPGA(现场可编程门阵列，FieldProgrammableGateArray)、ASIC(专用集成电路，ApplicationSpecificIntegratedCircuit)等来实现，也可以通过它们的组合来实现。在前述的部件作为软件而构成的情况下，在辅助存储装置中存储的程序被加载到主存储装置，由CPU执行该程序从而各部件发挥作用。(CPU、辅助存储装置、主存储装置都未图示)此外，执行程序的部件不限于CPU，也可以是ISP(图像信号处理器，ImageSignalProcessor)、DSP(数字信号处理器，DigitalSignalProcessor)、GPU(图形处理单元，GraphicsProcessingUnit)等。接着，参照图像处理装置10进行的处理流程图即图2，按顺序说明对所取得的面部图像中包含的唇的颜色进行校正的处理。图2的处理基于来自装置的用户的指示而开始。首先，图像取得部11取得面部图像(步骤S11)。在本实施方式中，设为从存储装置取得预先存储的面部图像，但也可以经由通信部件、拍摄部件来取得面部图像。接着，嘴检测部12从所取得的面部图像，提取与嘴对应的区域，通过剪切该区域而生成嘴图像(步骤S12)。图3是详细地示出在步骤S12中进行的处理的内容的流程图。首先，在步骤S121中，提取与图像中包含的面部对应的矩形区域(以下，面部区域)。由于从图像提取面部区域的方法是公知的，所以省略详细的说明。接着，在步骤S122中，检测面部区域中包含的嘴。具体而言，通过已知的方法来检测与嘴的左端、嘴的右端、唇的边界等对应的特征点。另外，在特征点的检测失败的情况下，也可以在进行了滤波后，通过匹配处理来检测嘴、唇。接着，在步骤S123中，进行图像的归一化。具体而言，剪切面部区域，生成规定的尺寸的矩形图像，以使嘴的左端和右端的点来到规定的坐标。此时，也可以使用任意的插补方法来进行分辨率的变换。此外，在面部图像中包含的嘴不是水平的情况下，也可以在通过仿射变换等而进行了旋转的处理以使嘴成为水平之后进行剪切。另外，嘴图像也可以是彩色图像，也可以是分离了彩色信息的多个图像的组。例如，在面部图像的颜色空间为YCbCr的情况下，也可以将分别分离了Y分量、Cb分量、Cr分量的三张图像的组设为嘴图像。图4(A)所示的图像401是嘴图像的例子。接着，唇区域检测部13基于在步骤S122中检测到的特征点，生成唇区域(步骤S13)。首先，生成将与嘴的左端对应的特征点设为起点，经由与上唇的上侧对应的多个特征点，直到与嘴的右端对应的特征点的样条曲线。同样，生成将与嘴的左端对应的特征点设为起点，经由与上唇的下侧对应的多个特征点，直到与嘴的右端对应的特征点的样条曲线。由此，与上唇对应的闭区域被生成。此外，以同样的方法生成与下唇对应的闭区域。其结果，如图4(B)所示那样的、由与上唇对应的区域和与下唇对应的区域构成的唇区域被生成。另外，在本实施方式中，通过使用特征点来生成样条曲线从而生成唇区域，但也可以使用其他方法来生成唇区域。例如，在通过图案匹配而检测到唇的情况下，也可以基于所使用的图案来生成唇区域，也可以使用其他方法来生成唇区域。接着，代表色取得部14使用嘴检测部12生成的嘴图像、和唇区域检测部13生成的唇区域，取得代表唇的颜色即代表色(步骤S14)。图5是详细地示出在步骤S14中进行的处理的内容的流程图。首先，设定在上下方向上横穿过唇的扫描线，一边将该扫描线向横向移动，一边提取上唇的宽度以及下唇的宽度都成为规定的宽度以上的区间(步骤S141)。在图6中，纵向的虚线为扫描线，由扫描线A和扫描线B包围的以标号601示出的区间是所提取到的区间。另外，规定的宽度是为了在后述的步骤S142中对像素进行采样而充分的宽度即可。例如，在上唇和下唇分别每6像素进行采样的情况下，也可以将规定的宽度设为每6像素。接着，关于上唇以及下唇的各个，配置采样点(步骤S142)。在本例中，在对所提取到的区间进行19等分，设定了20根线之后，按每根线，对上唇和下唇分别配置6个采样点。标号602是对于下唇的采样点的配置例。在本例中，由于按每根线配置上下各6个(共计12个)采样点，所以20根线合计配置240个采样点。另外，采样点被配置为与像素重合。接着，关于配置有采样点的各个像素，取得Y分量、Cb分量、Cr分量，生成各个值的直方图(步骤S143)。接着，关于所生成的三个直方图，算出平均值μ，仅提取三个值都属于以平均值为中心的规定的范围的像素，设为采样像素(步骤S144)。例如，在将标准偏差设为σ，将规定的范围设为±2σ的情况下，仅提取Y分量、Cb分量、Cr分量全部存在于以平均值为中心的±2σ的范围的采样像素。接着，在步骤S145中，使用所提取到的采样像素，决定唇的代表色。代表色能够使用采样像素的Y分量、Cb分量、Cr分量的各平均值等来决定，但也可以使用其他方法来决定。通过以上的处理，决定与唇区域对应的代表色。接着，唇校正图生成部15使用在步骤S13中生成的唇区域、和在步骤S14中取得的代表色，生成唇校正图(步骤S15)。图7是详细地示出在步骤S15中进行的处理的内容的流程图。首先，在步骤S151中，生成位置程度图。位置程度图是表示在对唇的颜色进行校正时的权重的图之一，且是基于对象的像素和唇区域之间的距离，给予256灰度的值的图。位置程度图具有的值在唇区域的内部成为最大(255)，随着远离唇区域而向0衰减(变小)。关于衰减的程度，优选在嘴的内侧变得急剧，在嘴的外侧平稳。图8是表示位置程度图具有的值的衰减的图。图表的横轴与在纵向上横穿过唇的线(标号801)上的Y坐标对应，图表的纵轴表示被分配给图的值。观看图8可知，在本实施方式中，在嘴的外侧和嘴的内侧，设定不同的衰减率。在本例中，在将唇的宽度设为m的情况下，以在上唇的上方(嘴的外侧)离开距离m的情况下值成为0，在上唇的下方(嘴的内侧)离开距离m/2的情况下值成为0的方式设定衰减度。另外，在图8中仅图示了上唇，但关于下唇，除了上下反相以外也成为同样的衰减度。当然，衰减度也可以是例示以外。在本步骤中，关于嘴图像中包含的全部像素，算出离唇区域的距离，生成位置程度图。接着，在步骤S152中，生成颜色程度图。颜色程度图是表示在对唇的颜色进行校正时的权重的图之一，且是基于嘴图像中包含的像素与代表色之间的颜色的类似度，给予256灰度的值的图。对象的像素越与代表色类似则颜色程度图具有的值变得越大。在此，若将对象的像素的Cb分量设为Cbx，将Cr分量设为Crx，将代表色的Cb分量设为Cb1，将Cr分量设为Cr1，则颜色的类似度scx由式(1)表示。颜色程度图是将在此得到的类似度scx重新分配到0～255的范围后的图。颜色程度图具有的值在颜色相同的情况下成为255，在色调的差为最大的情况下成为0。在本步骤中，关于嘴图像中包含的全部像素，算出与代表色之间的类似度，生成颜色程度图。【数1】scx＝(255-|Cbx-Cb1|)+(255-|Crx-Cr1|)···式(1)另外，式(1)是嘴图像中包含的像素为256灰度的情况下的例子，但灰度也可以是这以外。此外，只要是定量地表示与代表色之间的类似度的值，类似度scx也可以通过其他方法来求得。例如，在本例中，对颜色分量的差的绝对值进行了合计，但也可以对颜色分量的差的绝对值进行相乘。此外，也可以使用差的平方等而不是差的绝对值。接着，对在步骤S151中生成的唇位置程度图、和在步骤S152中生成的颜色程度图进行整合，生成唇校正图(步骤S153)。唇校正图是将唇位置程度图具有的值和颜色程度图具有的值相乘，将所得到的值重新分配到0～255的范围的图。这样生成的唇校正图基于离唇区域的距离和与代表色之间的颜色的类似度这双方而生成。所生成的唇校正图被发送至图像校正部16，图像校正部16使用所取得的唇校正图，执行对面部图像中包含的唇的颜色进行校正的处理(步骤S16)。具体而言，对面部图像的像素值，以在唇校正图中定义的值为权重，合成校正颜色，将合成后的像素值写回面部图像。另外，在面部图像分离为Y分量、Cb分量、Cr分量等多个通道的情况下，在仅对表示色调的通道(Cb分量以及Cr分量)进行了处理之后，对该多个通道进行整合即可。校正后的图像被存储至未图示的存储装置、或者被发送至外侧而提供给用户。如以上说明那样，本实施方式所涉及的图像处理装置在基于表示离所检测到的唇区域的距离的图、和表示与对应于唇区域的代表色的类似度的图这双方来生成唇校正图之后，以该唇校正图为权重来校正唇的颜色。由此，即使在唇的形状、颜色存在个体差异的情况下，也能够进行自然的校正。(第二实施方式)在第一实施方式中，在步骤S152中，使用嘴图像的Cb分量的类似度和Cr分量的类似度之和变得越大则值线性地增加那样的式(式(1))来生成颜色程度图。相对于此，第二实施方式是嘴图像中包含的像素的红色的分量越强，则越增大对于该像素的权重的实施方式。第二实施方式所涉及的图像处理装置的结构除了唇校正图生成部15进行的处理一部分不同的点之外，与第一实施方式相同。在第二实施方式中，在步骤S152的处理中，使用利用式(2)决定的类似度scx，生成颜色程度图。在此，α是对象的像素的红色的分量越强(即Crx越大)则变得越大的值。例如，能够设为α＝Crx/255。【数2】scx＝α×(255-|Cbx-Cb1|)+(255-|Crx-Cr1|)···式(2)在第二实施方式中，与第一实施方式相同地，生成具有0～255的范围的值的颜色程度图，但对于红更强的像素，给予进行更大的校正那样的权重。由此，能够得到张弛有度的校正结果。另外，在本实施方式中，将面部图像的颜色空间设为YCbCr，但面部图像的颜色空间也可以是这以外。此外，如果对象的像素的色调越接近红色，则能够越增大图具有的值，则也可以使用例示的方法以外的方法来生成颜色程度图。例如，也可以对通过式(1)求得的结果乘以α。同样，关于α的定义方法，也不限于例示。(变形例)上述的实施方式只是一例，本发明在不脱离其主旨的范围内可适当变更而实施。例如，也可以通过对所生成的唇校正图进一步乘以校正系数，从而能够调整校正的强度。此外，在实施方式的说明中，以对在存储装置中存储的图像进行处理的图像处理装置为例进行了说明，但图像不是必须从存储装置取得，例如也可以从装置的外部经由有线或者无线网络而取得。此外，本发明也可以对拍摄图像的拍摄部件、和前述的图像处理装置进行组合，作为具有对唇的色调进行校正的功能的拍摄装置而实施。