图像处理设备、图像处理系统、图像处理方法和记录介质的制作方法
【专利摘要】一种图像处理设备，包括从图像数据中提取皮肤区域的皮肤区域提取单元、计算所述皮肤区域的色相信息和饱和度信息的色度计算单元、转换所述色相信息以使得所述色相信息与目标信息一致的色相转换单元、接收变化指令以改变所述饱和度信息的接收单元、基于所述变化指令来确定转换参数的参数确定单元、和基于所述转换参数来转换所述饱和度信息的饱和度转换单元。
【专利说明】
图像处理设备、图像处理系统、图像处理方法和记录介质
技术领域
[0001]本发明涉及图像处理设备、图像处理系统、图像处理方法和记录介质。
【背景技术】
[0002]许多人习惯看到其中人物是摄影对象的图像。如果图像中人的皮肤颜色没有被适当地再现，所再现的图像可导致观看者感觉到不协调。而且，在给一个带着红色帽子或穿着红色衣服的人拍照的情况中，即使颜色本身被适当地再现，此人的皮肤也可能看起来泛蓝。存在这样的视觉特征，由于皮肤颜色和背景颜色之间的对比的效果，皮肤颜色看起来不适当。
[0003]为了改善图像中摄影人物的印象，可执行图像处理，从而将人物的皮肤颜色改变为与实际情况不同的颜色。例如，如果将图像中女性的皮肤颜色变得更白皙，或者将图像中男性的皮肤颜色变得更暗，图像中人物的印象将会改变。在用于例如广告和推销的商业目的的图像的情况中，需要给出人物和商品彼此相称地协调的印象。在这种情况中，将皮肤颜色相整至这种外貌的图像处理变得更加重要。而且，在其中照片被留作重要回忆(例如照片书)的印刷市场的情况中，最高优先级事情是再现皮肤颜色，从而可以改善图像中的人物的印象。
[0004]提供了图像处理方法，其中利用像素的亮度、饱和度和色相三个属性来获得图像中皮肤区域的像素的颜色分量，并调整皮肤区域的颜色分量以部分改变所述三个属性中的两个所代表的分布，从而调整图像中人物的皮肤颜色。例如，参见日本公开专利公布号2007-158824。
【发明内容】
[0005]本发明所要解决的问题
[0006]然而，在日本公开专利公布号2007-158824的图像处理方法中，用户所操作的是代表图像中皮肤颜色的参数，例如亮度、饱和度和色相。对于不熟悉图像处理的用户，要对所述参数进行调整并获得所期望的皮肤颜色表现，通常是困难的。在皮肤颜色的情况中，不同于例如红色或黄色的原色，细微颜色变化对观看者的影响很大，并且对色调或饱和度的调整非常困难。因此，上述图像处理方法难以轻易地再现用户所期望的皮肤颜色表现。
[0007]此外，在日本公开专利公布号2007-158824的图像处理方法中，可基于预定的标准色相转换参数来执行图像处理。然而，将失去用户的图像处理的自由度，且不必然再现用户所期望的皮肤颜色表现。
[0008]相应地，鉴于上述问题，本发明的目的在于提供轻易地再现所期望的皮肤颜色表现的图像处理设备。
[0009]用于解决所述问题的手段
[0010]—方面，本发明提供了能够轻易地再现所期望皮肤颜色表现的图像处理设备。
[0011]在一实施例中，本发明提供包括存储器的图像处理设备，该存储器存储计算机可读代码，当由处理器来执行计算机可读代码时，所述计算机可读代码将所述处理器配置为:皮肤区域提取单元，配置为从图像数据中提取皮肤区域;色度计算单元，配置为计算所述皮肤区域的色相信息和饱和度信息；色相转换单元，配置为转换所述色相信息使得所述色相信息与目标信息一致;接收单元，配置为接收变化指令以改变所述饱和度信息;参数确定单元，配置为基于所述变化指令来确定转换参数;和饱和度转换单元，配置为基于所述转换参数来转换所述饱和度信息。
[0012]根据本发明的一实施例，可提供轻易再现所期望皮肤颜色表现的图像处理设备。
[0013]当结合附图来阅读时，实施例的其他目标、特征和优点将从随后的详细描述显现出来。
【附图说明】
[0014]图1是示出了根据第一实施例的图像处理设备的硬件配置的图；
[0015]图2是示出了根据第一实施例的图像处理设备的功能配置的图；
[0016]图3A和图3B是示出了根据第一实施例的输入图像数据和皮肤区域的图；
[0017]图4A和图4B是示出了根据第一实施例的皮肤区域的色度信息的图；
[0018]图5是示出了根据第一实施例的目标信息的图；
[0019]图6A和图6B是示出了色相信息和目标信息的累计频率分布、以及色相转换表的图；
[0020]图7是示出了其中由用户指定皮肤的晒黑级别的指定屏幕的图；
[0021 ]图8A和图8B是示出了根据第一实施例的饱和度转换表的示例的图；
[0022]图9A和图9B是示出了根据第一实施例的饱和度转换表的示例的图；
[0023]图1OA和图1OB是示出了根据第一实施例的通过饱和度转换进行的饱和度分布变化的图；
[0024]图11是用于说明根据第一实施例的图像处理过程的流程图；
[0025]图12是示出了根据第二实施例的图像处理系统的配置的图；
[0026]图13是示出了根据第二实施例的图像处理设备的硬件配置的图；
[0027]图14是示出了根据第二实施例的图像处理服务器的硬件配置的图；
[0028]图15是示出了根据第二实施例的图像处理系统的功能配置的图。
【具体实施方式】
[0029]下面，将参考附图给出对优选实施例的描述。
[0030]第一实施例
[0031]图1示出了根据第一实施例的图像处理设备100的硬件配置。如图1所示，所述图像处理设备100包括控制单元101、主存储单元102、副存储单元103、记录介质接口单元104、网络接口单元105、操作单元106和显示单元107，各个单元通过总线B相互连接。
[0032]控制单元101可包括CPU(中央处理器单元)，其执行对图像处理设备各单元的控制，并执行计算和数据处理。所述控制单元101可包括处理器，其执行存储在主存储单元102中的程序，并且所述处理器从输入单元或存储单元接收数据，执行计算和所述数据的处理，并将已处理的数据输出至输出单元或存储单元。
[0033]主存储单元102可包括ROM(只读存储器)、RAM(随机存取存储器)等。在所述主存储单元102中，存储或暂时保存作为所述控制单元101所执行的基础软件的OS(操作系统)、应用程序和数据。
[0034]副存储单元103可包括HDD(硬盘驱动器)等。在所述副存储单元103中，存储与应用程序和其他相关的数据。
[00；35] 记录介质接口单元104提供在例如闪存的记录介质108与所述图像处理设备100之间的接口。例如，通过利用例如USB(通用串行总线)的数据传输线，将所述记录介质接口单元104连接到所述记录介质108。
[0036]在所述记录介质108中存储预定的程序，并且所述记录介质108被附接到所述图像处理设备100。通过所述记录介质接口单元104，将存储在所述记录介质108中的所述预定程序安装在所述图像处理设备100的所述主存储单元102中。在安装之后，从所述主存储单元102中读取所述预定程序，并由所述图像处理设备100的控制单元101执行。
[0037]所述网络接口单元105提供在未示出的外围设备与所述图像处理设备100之间的接口，所述外围设备具有通信功能，并经由由例如LAN(局域网)或WAN(广域网)的数据传输线所构成的有线或无线网络连接到所述图像处理设备100。
[0038]所述操作单元106可包括按键开关，该按键开关包括硬键、鼠标等。
[0039]所述显示单元107例如是LCD(液晶显示器)、有机EL(电致发光)显示器等。在所述显示单元107上显示图像、操作图标等，并且所述显示单元107用作用户在使用所述图像处理设备100的功能时进行各种设置处理的用户接口。
[0040]图2是示出了根据第一实施例的图像处理设备100的功能配置的图。如图2所示，所述图像处理设备100包括皮肤区域提取单元201、皮肤颜色信息获取单元202、色度计算单元203、存储单元204、目标信息获取单元205、色相转换单元206、接收单元207、参数确定单元208、饱和度转换单元209和显示输入单元210。
[0041]所述皮肤区域提取单元201、所述皮肤颜色信息获取单元202、所述色度计算单元203、所述目标信息获取单元205、所述色相转换单元206、所述参数确定单元208和所述饱和度转换单元209是所述图像处理设备100的功能单元，其通过所述控制单元101在执行存储在所述主存储单元102等中的程序时实现。所述存储单元204利用所述主存储单元102和所述副存储单元103实现。所述接收单元207和所述显示输入单元210是所述图像处理设备100的功能单元，其通过所述控制单元101所控制的所述操作单元106和所述显示单元107实现。
[0042]下面，将参考图3A到图SB来描述所述图像处理设备100的各单元对输入图像数据进行图像处理的的功能。
[0043]〈皮肤区域提取和皮肤颜色信息获取〉
[0044]当指示将被执行图像处理的肖像图像(包含人物)的图像数据被输入到所述图像处理设备100时，所述皮肤区域提取单元201从所述输入图像数据中提取人物皮肤区域。下文中，输入到所述图像处理设备100的所述图像数据被称作“输入图像数据”。
[0045]图3A和3B是示出了输入到所述图像处理设备100的输入图像数据301和所述输入图像数据301中的皮肤区域302的图。图3A示出了所述输入图像数据301，图3B示出了由所述皮肤区域提取单元201从所述输入图像数据301中提取的皮肤区域302(白色部分)。
[0046]所述皮肤区域提取单元201将组成所述输入图像数据301的像素的颜色信息与预定的皮肤颜色阈值进行比较，并确定每个像素是皮肤区域还是非皮肤区域。对组成所述输入图像数据301的所有像素进行所述确定，并将已被确定为在皮肤区域中的一组像素确定为皮肤区域302。
[0047]在图3B所示的示例中，皮肤区域302(白色部分)和皮肤区域302以外的区域(黑色部分)利用清楚的分界线分开。可替换地，在所述皮肤区域302和所述皮肤区域302以外的区域之间的分界线可被遮蔽。而且，所述边界线的遮蔽程度可以根据位置而改变。
[0048]在皮肤区域提取单元201从输入图像数据301中提取了皮肤区域302之后，皮肤颜色信息获取单元202获取组成所述皮肤区域302的像素的皮肤颜色信息。
[0049]例如，对于组成所述皮肤区域302的所有像素的每个RGB颜色分量，利用8位灰度值(0-255)来代表所述皮肤颜色信息。然而，取决于图像处理环境，可应用各种颜色规范分量。例如，可替代使用应用于显示器或数字相机的内部处理的YUV或YCbCr颜色系统。可替换地，当通过用于胶版印刷的CMYK的4个颜色分量来表现图像数据时，CMYK的半色相点比率(％)可用作颜色规范分量。
[0050]在根据本实施例的图像处理设备100中，用户在看到显示在所述显示单元107上的输入图像数据301时，可利用操作单元106来指定皮肤区域302。此外在这个情况中，所述皮肤颜色信息获取单元202类似地从所指定的皮肤区域302获取皮肤颜色信息。
[0051 ]〈色度计算〉
[0052]在皮肤颜色信息获取单元202从所述皮肤区域302中获取皮肤颜色信息后，色度计算单元203基于所述皮肤颜色信息来执行色度计算，并计算用于指示与皮肤区域302中的色相角H对应的像素的频率分布的色相直方图信息、和用于指示与所述皮肤区域302中的饱和度S对应的像素的频率分布的饱和度直方图信息。可通过根据工作环境选择例如LCH、HSV等的颜色空间中的最优者，来确定色度。在本实施例中，使用HSV(色相、饱和度、值)颜色空间。
[0053]色度计算单元203所计算的频率分布中的频率利用与某一色相角H(或某一饱和度S)对应的像素数量与组成皮肤区域302的像素的总数的比率来表示。所述频率的值在O到I之间的范围内。
[0054]图4A和图4B是示出了色度计算单元203所计算的皮肤区域302的色相直方图信息401和饱和度直方图信息402的示例的图。图4A示出了所述色相直方图信息401，并且在图4A中，横轴表示色相角H，而纵轴表示对应所述色相角H的像素的频率。图4B示出了所述饱和度直方图信息402，并且在图4B中，横轴表示饱和度S，纵轴表示对应所述饱和度S的像素的频率。
[0055]〈色相转换〉
[0056]预定为目标色相直方图的目标信息被存储在所述图像处理设备100的存储单元204中，并通过所述目标信息获取单元205从所述存储单元204中读取所述目标信息。
[0057]图5示出了所述目标信息501的示例。与所述色相直方图信息401类似，图5中所示的所述目标信息501指示对应于色相角H的像素的目标频率分布。在图5中，横轴表示所述色相角H，而纵轴表示对应所述色相角H的像素的频率。
[0058]所述目标信息501是皮肤区域的色相直方图信息，通过该色相直方图信息，肖像图像(包含人物)的观看者将以很高的概率感觉到图像中人物的皮肤颜色再现以平均且舒适的方式来表现。通过分析利用多组样本图像数据从大量测试对象获得的主观评价结果，来定量地确定这样的目标信息501。
[0059]在存储单元204中可存储多个目标信息项。可为按种族、年龄或性别分类的几个类别中的每一类，准备最优的目标信息项。在这个情况中，目标信息获取单元205可识别包含在输入图像数据301中的人物的特征(种族、年龄或性别)，并可选择性地从存储在存储单元204中的目标信息项中获取适合于所述特征的目标信息项。
[0060]在色度计算单元203计算皮肤区域302的色相直方图信息401、且目标信息获取单元205获取目标信息501之后，色相转换单元206基于目标信息501来对皮肤区域302的色相进行转换。色相转换单元206执行转换处理，使得作为转换对象的皮肤区域302的色相直方图信息401与目标信息501—致。
[0061]图6A是用于说明所述色相转换单元206所执行的转换处理的图，并示出了色相直方图信息401和目标信息501的累计频率分布的示例。
[0062]图6A右手边的曲线图是累计色相直方图601，其中沿着纵轴取得基于作为转换对象的皮肤区域302的色相直方图信息401的累计频率。图6A左手边的曲线图是累计目标直方图602，其中，沿着纵轴取得基于作为所述目标信息501的目标色相直方图信息的累计频率，且横轴(色相角H)是相反的。在图6A中，所述累计色相直方图601的色相角H(右手侧的一半)在向右方向上增加，并且所述累计目标直方图602的色相角H(左手侧的一半)在向左方向上增加。两个曲线图都达到最大值I。
[0063]如图6A所示，当累计色相直方图601中的色相角Hl的累计频率等于gl时，色相转换单元206被配置为将与所述累计频率gl对应的累计目标直方图602的色相角Hf确定为色相角Hl的转换后的色相角。类似地，当累计色相直方图601中的色相角H2的累计频率等于g2时，色相转换单元206被配置为将与累计频率g2对应的累计目标直方图602的色相角H2'确定为色相角H2的转换后的色相角。
[0064]以这种方式，所述色相转换单元206被配置为将累计目标直方图602中的最大色相角Hmax7和最小色相角Hmir/分别确定为累计色相直方图601中的最大色相角Hmax的转换后的色相角和累计色相直方图601中的最小色相角Hmin的转换后的色相角。
[0065]如上所述，所述色相转换单元206被配置为基于在累计色相直方图601和累计目标直方图602中色相角与同一累计频率的对应关系来确定与累计色相直方图601中转换前的色相角相关的累计目标直方图602中转换后的色相角，并生成如图6B所示的色相转换表603。
[0066]如图6B所示，色相转换表603中的横轴表示转换前的色相角，且色相转换表603中的纵轴表示转换后的对应色相角。色相转换单元206被配置为基于色相转换表603来将组成输入图像数据301中皮肤区域302的所有像素的色相角H转换为色相角Η\下文中，其中皮肤区域302的色相角H已被转换的图像被称作“色相转换后的图像数据”。
[0067]在根据本实施例的图像处理设备100中，输入图像数据301的色相转换不需要用户执行复杂的参数操作，并可将输入图像数据301中皮肤区域302的图像数据转换为平均颜色色相，该平均颜色色相不导致观看者感觉到不协调。
[0068]〈饱和度转换参数的确定〉
[0069]在色相转换单元206执行了皮肤区域302的色相转换、且生成了色相转换后的图像数据之后，显示输入单元210在显示单元107上显示输入图像数据301和色相转换后的图像数据。
[0070]图7示出了指定屏幕的示例，其包括输入图像数据301、色相转换后的图像数据
701、饱和度转换后的图像数据702、和用于允许用户指定皮肤的晒黑等级的滑动条703。
[0071]如图7所示，显示输入单元201在显示单元107上进行显示，输入图像数据301显示在屏幕的上排左手部分，色相转换后的图像数据701显示在屏幕的上排中间部分，饱和度转换后的图像数据702显示在屏幕的上排右手部分。在执行这些图像数据的颜色空间从HSV色度信息转换为RGB灰度信息后，显示色相转换后的图像数据701和饱和度转换后的图像数据
702。
[0072]在屏幕的中排，显示滑动条703，滑动条703用于接收用户指定的包含在图像中的人物的皮肤晒黑等级。在图7所示的示例中，如果滑动条703向左移动，图像中人物的皮肤颜色连续地改变为白色皮肤，其中晒黑受到抑制；如果滑动条703向右移动，图像中人物的皮肤颜色连续地改变为褐色皮肤，其中皮肤晒得很好。
[0073]在屏幕上显示的饱和度转换后的图像数据702中，实时反映根据滑动条703的位置来执行的图像转换处理(后面将描述)的结果。当检查最终图像时，用户通过利用例如鼠标的操作单元106在屏幕上向右或向左移动在屏幕上显示的滑动条703来指定所期望的皮肤晒黑等级。当点击了屏幕下排的“确定”按钮后，用户所指定的晒黑等级被确定。要重新指定晒黑等级，点击屏幕下排的“取消”按钮，使得用户指定再次可能进行。
[0074]如果用户移动滑动条703并指定了晒黑等级，接收单元207接收所指定的晒黑等级，并且参数确定单元208基于所接收的晒黑等级来确定饱和度转换参数。
[0075]在图7所示的示例中，可通过操作所述滑动条703来指定晒黑等级，所述晒黑等级以O为中心、在最小值-5到最大值+5之间变化。例如，参数确定单元208被配置为基于所接收的晒黑等级来线性地确定饱和度转换参数，使得当所接收的晒黑等级是O时，所述饱和度转换参数设为“I” ；当所接收的晒黑等级是最小值-5时，所述饱和度转换参数设为“0.5” ；以及当所接收的晒黑等级是最大值+5时，所述饱和度转换参数设为“1.5”。在本实施例中，所述参数确定单元208被配置为依照转换方程式:k=( 1+0.1L)来确定饱和度转换参数k，其中L表示晒黑等级。
[0076]晒黑等级L的范围并不限于本实施例中的-5到+5之间的范围。所述晒黑等级L的值可设置为具有任意步长的任意范围的数值。可替换地，可为所述指定屏幕提供数值输入字段，数值输入字段被配置为使得用户可直接输入晒黑等级L的值或饱和度转换参数k的值。而且，参数确定单元208所使用的确定饱和度转换参数k的方法并不限于本实施例。可替换地，通过使用不同的转换方程式，可在任意范围的数值中设置饱和度转换参数k。
[0077]在参数确定单元208确定了饱和度转换参数k后，饱和度转换单元209基于饱和度转换参数k来转换输入图像数据301的皮肤区域302的饱和度。
[0078]〈饱和度转换处理〉
[0079]利用以下将要说明的一些饱和度转换表生成方法的任一个，饱和度转换单元209生成饱和度转换表，并基于所生成的饱和度转换表来转换所述输入图像数据301的皮肤区域302的饱和度。
[0080]图8A是示出了饱和度转换表801的示例的图，所述饱和度转换表801是饱和度转换单元209基于饱和度转换参数k来生成的。在图8A所指明的曲线图中，横轴表示转换前的饱和度，而纵轴表示转换后的饱和度。
[0081]在图8A的示例中，“Save”表示组成皮肤区域302的所有像素的饱和度S的平均值，“Smin”表示饱和度S的最小值，而“Smax”表示饱和度S的最大值。通过假设所述平均饱和度值“Save”是饱和度不变点，基于斜率等于饱和度转换参数k的直线来确定饱和度转换表801。图8A中所示的饱和度转换表801是当饱和度转换参数k等于1.5时饱和度转换表801的示例。
[0082]如图8A所示，当所述饱和度转换参数k大于I时，与图8A中的虚线所指示的高饱和度区域802对应的转换后饱和度变得大于最大饱和度值255，该最大饱和度值255是转换后饱和度的上限。为了避免这种情况，如图8A中实线所指示的，设置所述饱和度转换表801，使得所述高饱和度区域中的转换后的饱和度收敛于最大饱和度值。类似地，当与低饱和度区域对应的转换后饱和度小于最小饱和度值0(即转换后饱和度的下限)时，设置所述饱和度转换表801(未示出)，从而对应于所述低饱和度区域的转换后饱和度收敛于O。
[0083]图8B是示出了饱和度转换表803的示例的图，所述饱和度转换表803由饱和度转换单元209基于饱和度转换参数k来生成。在图8B所示的曲线中，横轴表示转换前的饱和度，纵轴表示转换后的饱和度。
[0084]在图SB的示例中，“Save”表示组成皮肤区域302的所有像素的饱和度S的平均值，“Smin”表示所述饱和度S的最小值，“Smax”表示所述饱和度S的最大值。通过假设所述最小饱和度值“Smin”是饱和度不变点，基于斜率等于饱和度转换参数k的直线来确定所述饱和度转换表803。图8B中所示的饱和度转换表803是当饱和度转换参数k等于1.5时饱和度转换表801的示例。
[0085]如图SB所示，当饱和度转换参数k大于I时，对应于图SB中虚线所表示的高饱和度区域804的转换后饱和度变得大于最大饱和度值255，该最大饱和度值255是转换后饱和度的上限。为了避免这种情况，如图SB中实线所指示的，设置所述饱和度转换表803，使得所述高饱和度区域中的转换后饱和度收敛于最大饱和度值。类似地，当对应于低饱和度区域的转换后饱和度小于最小饱和度值0(即转换后饱和度的下限)时，设置所述饱和度转换表803(未示出)，使得对应于所述低饱和度区域的转换后饱和度收敛于O。
[0086]如上所述，饱和度转换单元209被配置为通过假设所述平均饱和度值“Save”或所述最小饱和度值“Smin”是饱和度不变点，基于斜率等于饱和度转换参数k的直线来生成饱和度转换表。
[0087]无论所述饱和度不变点是平均饱和度值“Save”还是最小饱和度值“Smin”，都可适当地表现用户所指定的皮肤晒黑等级。如果假设最小饱和度值“Smin”为饱和度不变点，则可能从皮肤区域302的高亮部分到阴影部分均匀地改变饱和度。如果假设平均饱和度值“Save”为饱和度不变点，则可能抑制所述皮肤区域302中饱和度并不像高亮部分那么高也不像阴影部分那么低的部分的皮肤颜色波动。
[0088]此外，所述饱和度转换单元209可被配置为通过下面的方法来生成饱和度转换表。
[0089]假设“Smin”和“Smax”表示组成皮肤区域302的所有像素的饱和度S的最小饱和度值和最大饱和度值；“Smin, ”表示最小饱和度目标值，它是所述最小饱和度值“Smin”的转换目标值；以及“SmaV ”表示最大饱和度目标值，它是所述最大饱和度值“Smax”的转换目标值。
[0090]当所述饱和度转换参数k小于l(k〈l)时，所述饱和度转换单元209依照下面的方程式(I)来计算最小饱和度目标值“Smir/ ”和最大饱和度目标值“Smax, ”。
[0091 ] k<l: Smin，=k.Smin ,Smax，=k.Smax(I)
[0092]当所述饱和度转换参数k大于或等于I(k多I)时，所述饱和度转换单元209依照下面的方程式(2)来计算最小饱和度目标值“Smir/ ”和最大饱和度目标值“SmaV ”。
[0093]k^l: Smin' =SminA1Smax' =k.Smax(2)
[0094]图9A和图9B是示出了饱和度转换表901和902的示例的图，所述饱和度转换表901和902基于最小饱和度目标值“Smir/ ”和最大饱和度目标值“Smax, ”来生成，所述最小饱和度目标值“Smir/ ”和所述最大饱和度目标值“SmaY ”是饱和度转换单元209基于所述最小饱和度值“Smin”、所述最大饱和度值“Smax”、和上述方程式(I)和(2)来生成。图9A示出了当所述饱和度转换参数k小于I时所生成的饱和度转换表901，以及图9B示出了当饱和度转换参数k大于或等于I时所生成的饱和度转换表902。
[0095]如图9A和图9B所示，在横轴表示转换前饱和度而纵轴表示转换后饱和度的坐标系中，所述饱和度转换单元209被配置为基于4个点来计算二次函数的近似曲线，所述4个点包括最小饱和度点SI (Smin，Smir/ )、最大饱和度点S2(Smax，SmaxQ、非彩色点SO (O，O)、和最高饱和度点S255(255，255)，并基于所计算出的近似曲线来生成与皮肤区域302相关的饱和度转换表。
[0096]图9A中所示的饱和度转换表901是当用户指定晒黑等级(Kl)以使皮肤区域302的颜色接近白色皮肤时饱和度转换表的示例，且所述饱和度转换表901的曲线具有向下凸的形状。
[0097]图1OA示出了本情况中饱和度转换所引起的饱和度分布的变化。在图1OA中，实线表示转换前的饱和度直方图信息，虚线表示转换后的饱和度直方图信息。如图1OA所示，当用户指定晒黑等级，以使皮肤区域302的颜色接近白色皮肤时(k〈l)，所述饱和度转换降低整体的饱和度分布。
[0098]而且，图9B中所示的饱和度转换表902是当用户指定晒黑等级(k〈l)以使皮肤区域302的颜色接近褐色皮肤时饱和度转换表的示例，且所述饱和度转换表902的曲线具有向上凸的形状。
[0099]图1OB示出了本情况中的饱和度转换所引起的饱和度分布的变化。在图1OB中，实线表示转换前的饱和度直方图信息，虚线表示转换后的饱和度直方图信息。如图1OB所示，当用户指定晒黑等级，以使皮肤区域302的颜色接近褐色皮肤时(k多I)，饱和度分布在较高饱和度方向上变化很大，而在较低饱和度方向上仅略有延伸。通过这样的饱和度转换，可改善较高饱和度一侧的饱和度，可以延展整体饱和度分布的宽度，并可获得强调低饱和度部分和高饱和度部分的对比的效果。
[0100]所述饱和度转换单元209被配置为基于通过利用任一上述方法所生成的饱和度转换表来转换组成皮肤区域302所有像素的饱和度S。当已对皮肤区域302进行饱和度转换并已通过饱和度转换单元209生成所述饱和度转换后的图像数据702后，显示输入单元210在显示单元107上显示所述饱和度转换后的图像数据702(在图7所示屏幕的上排右手部分)。
[0101]用户核实在显示单元107上显示的饱和度转换后的图像数据702是最终图像，并再次确定或调整皮肤的晒黑等级。因此，用户可能通过移动图7所示屏幕中的滑动条703的简单操作来指定晒黑等级而将皮肤区域302的颜色转换为所期望的晒黑条件。
[0102]〈图像处理的流程〉
[0103]图11是用于说明根据第一实施例的图像处理过程的流程图。
[0104]如图11所示，当指示作为图像处理对象的肖像图像(包含人物)的图像数据被输入到图像处理设备100时，在步骤SI中，皮肤区域提取单元201从输入图像数据301中提取皮肤区域302。接下来，在步骤S2中，皮肤颜色信息获取单元202获取组成所提取的皮肤区域302的所有像素的皮肤颜色信息。
[0105]在步骤S3中，色度计算单元203基于皮肤颜色信息来计算组成皮肤区域302的所有像素的色度，并获取色相直方图信息401和饱和度直方图信息402。
[0106]在步骤S4中，目标信息获取单元205从存储单元204获取作为目标信息501的目标色相直方图信息。
[0107]在步骤S5中，色相转换单元206基于色相转换表603来对组成皮肤区域302的所有像素的色相进行转换，所述色相转换表603是基于所述色相直方图信息401和所述目标信息501来生成的。
[0108]在步骤S6中，控制所述显示输入单元210在所述显示单元107上显示所述输入图像数据301和用于指定晒黑等级的滑动条703，且所述接收单元207接收用户经由所述滑动条703指定的晒黑等级。
[0109]在步骤S7中，参数确定单元208基于用户所指定的晒黑等级来确定饱和度转换参数。
[0110]在步骤S8中，饱和度转换单元209基于饱和度转换表来对组成皮肤区域302的所有像素的饱和度进行转换，所述饱和度转换表是基于饱和度转换参数来生成的。
[0111]所期望的是，在色相转换单元206对皮肤区域302的色相进行转换之后，饱和度转换单元209执行皮肤区域302的饱和度转换。通常，在许多情况中，由于拍摄时来自光源和其环境的反射光线的影响，利用数字相机等获得的输入图像数据301的皮肤区域302的颜色色调可能偏离所期望的皮肤颜色。如果在不执行色相转换的情况下执行饱和度转换，则皮肤区域302的初始色相可保持不变，并且可保留皮肤区域的颜色色调的不协调感。
[0112]这样，所期望的是，在皮肤区域302的饱和度转换之前执行色相转换，使得皮肤区域302的颜色色调转换为所期望的皮肤颜色。提前执行色相转换将使用户能够轻易地想象最终的目标图像。
[0113]在步骤S9中，控制所述显示输入单元210来在显示单元107上显示已通过饱和度转换单元209执行饱和度转换处理的饱和度转换后的图像数据702，作为最终图像。当已对饱和度转换后的图像数据702进行目视检查的用户确定了晒黑等级时，图像处理设备100输出通过图像处理所获得的图像数据，并终止所述图像处理过程。当用户希望重新调整晒黑等级时，可重新执行从步骤S6开始的图像处理过程。
[0114]在前述实施例中，根据本发明的图像处理设备100的每一上述功能可通过由图像处理设备100的处理器(或者CPU)执行程序来实现，所述程序从所述主存储单元102(或者ROM)中读取并被加载至所述主存储单元102(或者RAM)。图像处理设备100的处理器所执行的程序被配置为包含多个模块，所述多个模块包括用于实现以下每一单元的程序:皮肤区域提取单元201、皮肤颜色信息获取单元202、色度计算单元203、目标信息获取单元205、色相转换单元206、参数确定单元208、饱和度转换单元209等。
[0115]而且，根据前述实施例的图像处理设备100的处理器所执行的程序可存储在例如CD-ROM、FD、CD-R、DVD等的计算机可读记录介质上的可安装形式或可执行形式的文件中，并可提供用于存储所述程序的计算机可读记录介质。
[0116]此外，根据前述实施例的图像处理设备100的处理器所执行的程序可存储在与例如互联网的网络连接的计算机中，且所存储的程序可经由所述网络下载至另一计算机。另夕卜，根据前述实施例的所述图像处理设备100的处理器所执行的程序还可经由例如互联网的网络来提供或分发。
[0117]如上所述，根据第一实施例的图像处理设备100从用户所输入的输入图像数据301中提取皮肤区域302，并基于目标信息对皮肤区域302的色相进行转换，使得可再现所期望的皮肤颜色。而且，根据第一实施例的图像处理设备100基于用户所指定的皮肤晒黑等级来对所述皮肤区域302的饱和度进行转换，使得可轻易再现用户所期望的皮肤颜色。这样，SP使用户不熟悉图像处理，也可能利用简单的操作必定将肖像图像的皮肤颜色转换为所期望的皮肤颜色。可能轻易再现所期望的皮肤颜色表现。
[0118]根据前述实施例的图像处理设备100可应用于例如MFP(多功能外围设备)、复印机、打印机、传真机、扫描仪、数字相机、PC (个人计算机)等的各种设备。
[0119]〈第二实施例〉
[0120]接下来，将参考附图来描述本发明的第二实施例。下文中，可以省略与根据第一实施例的图像处理设备100的构成和处理基本相同的根据第二实施例的图像处理设备的构成和处理。
[0121]图12示出了根据第二实施例的图像处理系统I的配置。
[0122]如图12所示，图像处理系统I包括经由网络相互连接的MFP(多功能外围设备)10和20、图像处理服务器30和40、和信息处理终端(例如，PC(个人计算机))50。
[0123]所述MFP 10和20是图像输入设备的示例。所述MFP 10和20中的每一设备都是具备包括打印机功能、扫描仪功能、复印机功能、传真机功能等多种功能的多功能外围设备，这些功能合并在单个机架中。所述MFP 10利用扫描仪功能通过扫描纸介质生成来自纸介质的图像数据，并将所述图像数据传输至图像处理服务器30和40以及信息处理终端50中的任一项。而且，所述MFP 10接收图像数据，并在打印介质上打印所述图像数据。被配置为输入图像数据的图像输入设备的其他示例可包括扫描仪、传真机、复印机等。
[0124]通过例如工作站的计算机来实现所述图像处理服务器30和40，其接收由所述MFP10和20所扫描和生成的图像数据，或接收从信息处理终端50传输来的图像数据，并执行各种图像处理功能。图像处理服务器30和40中的每一设备用作对所述输入图像数据执行图像处理的图像处理设备。
[0125]可替换地，作为图像处理设备的所述图像处理服务器30和40所提供的部分或全部功能可被安装在所述MFP 10和20以及所述信息处理终端50的任一个中。可替换地，所述图像处理系统I所包含并经由网络互连的MFP的数量、图像处理服务器的数量、以及信息处理终端的数量可以是任意的。
[0126]图13示出了MFP 10的硬件配置。应注意到，MFP 20具有与MFP 10相同的硬件配置，并且将省略所述MFP 20的硬件配置的描述。
[0127]如图13所示，所述MFP 10包括控制单元11、主存储单元12、副存储单元13、记录介质接口单元14、网络接口单元15、读取单元16、操作单元17、和引擎单元18，这些单元通过总线B相互连接。
[0128]所述控制单元11可包括CPU，其执行对所述MFP10的各单元的控制，并执行计算和数据处理。所述控制单元11可包括处理器，其运行存储在所述主存储单元12中的程序，且所述处理器从输入设备或存储单元接收数据，执行计算和数据处理，并将已处理的数据输出至输出单元或存储单元。
[0129]所述主存储单元12可包括ROM(只读存储器)、RAM(随机存取存储器)等。在所述主存储单元12中，存储或暂时保留作为所述控制单元11所执行的基本软件的OS(操作系统)、应用程序和数据。
[0130]所述副存储单元13可包括HDD(硬盘驱动器)等。在所述副存储单元13中，存储与应用程序和其他相关的数据。
[0131]所述记录介质接口单元14提供例如闪存的记录介质19与所述MFP10之间的接口。例如，通过利用例如USB(通用串行总线)的数据传输线，将所述记录介质接□单元14连接到所述记录介质19。
[0132]预定程序被存储在所述记录介质19中，并且所述记录介质19被附接到所述MFP
10。通过所述记录介质接口单元14，将所述记录介质19中存储的预定程序安装到所述MFP I的主存储单元12中。在安装之后，从所述主存储单元12中读取所述预定程序，并利用所述MFP 10的控制单元11运行所述预定程序。
[0133]所述网络接口单元15提供在外围设备与所述MFP10之间的接口，所述外围设备具备通信功能，并经由利用例如LAN(局域网)或WAN(广域网)的数据传输线所构成的有线或无线网络与所述MFP 10相连。
[0134]所述读取单元16可包括扫描仪设备，其通过扫描纸介质来读取图像，并从所读取的图像中获取图像数据。
[0135]所述操作单元17可包括按键开关(由硬键组成)，和具备包含GUI(图形用户界面)的软件按键的触摸屏功能的LCD(液晶显示器)。所述操作单元17可包括显示单元和/或用作UI(用户接口)的输入单元，以使用户在使用所述MFP 10的功能时执行各种设置处理。
[0136]所述引擎单元18可包括例如绘图仪的机械成像单元，其执行成像处理。
[0137]图14示出了图像处理服务器30的硬件配置。应注意到，图像处理服务器40具有与图像处理器30相同的硬件配置，将省略图像处理服务器40的硬件配置的描述。
[0138]如图14所述，图像处理服务器30包括控制单元13、主存储单元32、副存储单元33、记录介质接口单元34和网络接口单元35。
[0139]所述控制单元31可包括CPU，其对图像处理服务器的各单元执行控制，并执行计算和数据处理。所述控制单元31可包括处理器，其执行存储在所述主存储单元32中的程序，并且所述处理器从输入装置或存储单元接收数据，执行计算和数据处理，并将已处理的数据输出至输出单元或存储单元。
[0140]所述主存储单元32可包括ROM(只读存储器)、RAM(随机存取存储器)等。在所述主存储单元32中，存储或暂时保留作为所述控制单元31所执行的基础软件的OS(操作系统)、应用程序和数据。
[0141]所述副存储单元33可包括HDD(硬盘驱动器)等。在所述副存储单元33中，存储与应用程序和其他相关的数据。
[0142]所述记录介质接口单元34提供在例如闪存的记录介质19与所述图像处理服务器30之间的接口。例如，通过利用例如USB(通用串行总线)的数据传输线，将所述记录介质接口单元34连接到所述记录介质19。
[0143]预定程序被存储在所述记录介质19中，并且所述记录介质19被附接到图像处理服务器30的记录介质接口单元34。通过所述记录介质接口单元34，将所述记录介质19中存储的预定程序安装到所述主存储单元32中。在安装之后，从所述主存储单元32中读取所述预定程序，并通过所述图像处理服务器30的控制单元31执行所述预定程序。
[0144]所述网络接口单元35提供在外围设备与图像处理服务器30之间的接口，所述外围设备具备通信功能，并经由由例如LAN(局域网)或WAN(广域网)的数据传输线所构成的有线或无线网络连接到所述图像处理服务器30。
[0145]在本实施例中，图14中所示的图像处理服务器30不包括含有键盘等的操作单元，也不包括含有LCD等的显示单元。可替换地，操作单元和显示单元可被包括在图像处理服务器30中。
[0146]所述信息处理终端50具有与根据图1中所示第一实施例的图像处理设备100相同的硬件配置。
[0147]〈图像处理系统的功能〉
[0148]图15示出了在根据第二实施例的图像处理系统I中的MFP10、图像处理服务器30和信息处理终端50的功能配置。将参考图15来给出对所述图像处理系统I所执行的图像处理的描述。
[0149]尽管未在图15中示出，MFP 20和图像处理服务器40具有分别与MFP 10和图像处理服务器30相同的功能配置。在下面将说明的图像处理中，可使用所述MFP 20和所述图像处理服务器40来代替所述MFP 10和所述图像处理服务器30。
[0150]如图15所示，所述MFP 10包括读取单元16、通信单元21和引擎单元18。
[0151]所述读取单元16可通过扫描纸介质来读取图像，并获取将要被执行图像处理的图像数据。所述通信单元21可在所述图像处理服务器30和所述信息处理终端50之间传输并接收图像数据。所述引擎单元18可打印已由所述图像处理服务器30执行了图像处理的图像数据，并将其输出至例如记录页的打印介质。
[0152]所述信息处理终端50包括存储单元55、读取单元52、通信单元51、显示控制单元53和显示单元54。
[0153]所述存储单元55可存储图像数据、目标信息501等。所述读取单元52可从所述存储单元55读取所述图像数据和所述目标信息501。所述通信单元51可在所述MFP 10和所述图像处理服务器30之间传输和接收图像数据。所述显示控制单元53可在所述显示单元54上显示所述通信单元51所接收的图像数据。所述显示控制单元53可在所述显示单元54上显示所述信息处理终端50中存储的图像数据。所述显示单元54可包括LCD(液晶显示器)、有机EL(电致发光)显示器等中的任一种。图像、操作图标等在所述显示单元54上显示。
[0154]所述图像处理服务器30包括通信单元36、皮肤区域提取单元37、皮肤颜色信息获取单元38、色度计算单元39、色相转换单元41、饱和度转换单元42、目标信息获取单元43和参数确定单元44。
[0155]所述通信单元36可在所述MFP10和所述信息处理终端50之间传输并接收图像数据。所述图像处理服务器30的除所述通信单元36外的各单元37-39和41-44的功能与根据第一实施例的图像处理设备100的对应单元的功能相同，并将省略它们的描述。
[0156]在上述图像处理系统I中，用户可使用所述MFP10的读取单元16，获取将要对其执行图像处理的图像数据，将所述图像数据发送至所述图像处理服务器30，并请求所述图像处理服务器30执行图像处理。或者，用户可从所述信息处理终端50的存储单元55读取将要被执行图像处理的图像数据，将所述图像数据发送至所述图像处理服务器30，并请求所述图像处理服务器30执行图像处理。
[0157]在图像处理服务器30中，皮肤区域提取单元37可提取所述输入图像数据301的皮肤区域302。所述皮肤颜色信息获取单元38可获取所述皮肤区域302的皮肤颜色信息。所述色度计算单元39可基于所述皮肤颜色信息来计算至少包括色相和饱和度的色度，并生成色度的分布信息。所述色相转换单元41可基于所述目标信息获取单元43所获取的目标信息来对皮肤区域302的色相进行转换。所述饱和度转换单元42可基于所述参数确定单元44所确定的饱和度转换参数来对所述皮肤区域302的饱和度进行转换。
[0158]MFP 10可接收将要利用图像处理服务器30执行图像处理的图像数据，并使所述引擎单元18打印所接收的图像数据。或者，所述信息处理终端50可接收将要利用图像处理服务器30执行图像处理的图像数据，并使所述显示控制单元53在所述显示单元54上显示所接收的图像数据。因此，用户能够通过请求所述MFP 10打印图像或请求所述信息处理终端50显示图像，来得到再现了所期望皮肤颜色表现的输出图像。
[0159]如上所述，在根据第二实施例的所述图像处理系统I中，用户能够借助所述MFP10来获取将要被执行图像处理的图像数据，并借助图像处理服务器30或信息处理终端50来对图像数据执行图像处理。
[0160]可替换地，图像处理服务器30的部分功能可合并入所述MFP10或所述信息处理终端50，使得可利用图像处理服务器30以及所述MFP 10和所述信息处理终端50中的至少一个设备来执行图像处理。
[0161]根据上述实施例，从用户输入的输入图像数据301中提取皮肤区域302，并基于目标信息501来对所述皮肤区域302的色相进行转换，使得可再现所期望的皮肤颜色表现。此夕卜，基于用户所指定的皮肤晒黑等级来对皮肤区域302的饱和度进行转换，使得可再现用户所期望的皮肤颜色表现。用户必须执行的只是指定皮肤的晒黑等级，并且即使用户不熟悉图像处理，该用户也可能利用简单的操作必定将肖像图像的皮肤颜色转换为所期望的皮肤颜色。可轻易再现所期望的皮肤颜色表现。
[0162]根据本发明的图像处理设备并不限于上述实施例，并且可进行各种变形和修改而不离开本发明的范围。
[0163]本申请基于2014年2月13日提交的日本专利申请号2014-025594，并要求其优先权权益，所述专利申请的全部内容通过参考合并入本文。
[0164]附图标记的描述
[0165]I图像处理系统
[0166]50信息处理终端
[0167]30,100图像处理设备
[0168]201皮肤区域提取单元
[0169]203色度计算单元
[0170]204存储单元
[0171]206色相转换单元
[0172]207接收单元
[0173]208参数确定单元
[0174]209饱和度转换单元
[0175]301输入图像数据(图像数据)
[0176]302皮肤区域
[0177]401色相直方图信息(色相信息)
[0178]402饱和度直方图信息(饱和度信息)
[0179]501目标信息
[0180]603色相转换表
[0181]现有技术文献
[0182]【专利文献】
[0183]【专利文献I】日本已公开专利
[0184]公开号2007-158824
【主权项】
1.一种包括存储器的图像处理设备，该存储器存储计算机可读代码，当由处理器来执行所述计算机可读代码时，所述计算机可读代码将所述处理器配置为: 皮肤区域提取单元，配置为从图像数据中提取皮肤区域； 色度计算单元，配置为计算所述皮肤区域的色相信息和饱和度信息； 色相转换单元，配置为转换所述色相信息，使得所述色相信息与目标信息一致； 接收单元，配置为接收变化指令以改变所述饱和度信息； 参数确定单元，配置为基于所述变化指令来确定转换参数;和 饱和度转换单元，配置为基于所述转换参数来转换所述饱和度信息。2.如权利要求1所述的图像处理设备，其中，所述色相信息和所述目标信息被提供为针对所述皮肤区域的色相角的像素的频率分布，所述饱和度信息被提供为针对所述皮肤区域的饱和度的像素的频率分布。3.如权利要求1或2所述的图像处理设备，其中，所述色相转换单元被配置为基于色相转换表来转换所述皮肤区域的像素的色相，所述色相转换表基于所述色相信息和所述目标信息来生成。4.如权利要求1至3中任一项所述的图像处理设备，还包含其中存储有多个目标信息项的存储单元， 其中所述色相转换单元被配置为基于所述图像数据的特征从所述存储单元中选择性地获取所述多个目标信息项之一。5.如权利要求1至4中任一项所述的图像处理设备，其中，所述目标信息是基于利用多组样本图像数据获得的主观评估结果来确定的。6.如权利要求1至5中任一项所述的图像处理设备，其中，所述接收单元被配置为接收用户所指定的皮肤的晒黑等级的输入。7.—种图像处理系统，该图像处理系统包括相互连接的图像处理设备和信息处理终端，包含存储计算机可读代码的存储器，当由处理器来执行计算机可读代码时，所述计算机可读代码将所述处理器配置为: 皮肤区域提取单元，配置为从图像数据中提取皮肤区域； 色度计算单元，配置为计算所述皮肤区域的色相信息和饱和度信息； 色相转换单元，配置为转换所述色相信息，使得所述色相信息与目标信息一致； 接收单元，配置为接收变化指令以改变所述饱和度信息； 参数确定单元，配置为基于所述变化指令来确定转换参数;和 饱和度转换单元，配置为基于所述转换参数来转换所述饱和度信息。8.—种图像处理方法，包含: 皮肤区域提取步骤，从图像数据中提取皮肤区域； 色度计算步骤，计算所述皮肤区域的色相信息和饱和度信息； 色相转换步骤，转换所述色相信息，使得所述色相信息与目标信息一致； 接收步骤，接收变化指令以改变所述饱和度信息； 参数确定步骤，基于所述变化指令来确定转换参数;和 饱和度转换步骤，基于所述转换参数来转换所述饱和度信息。9.一种非暂时性计算机可读记录介质，存储代表计算机可读代码的程序，当由计算机执行所述计算机可读代码时，所述计算机可读代码使所述计算机执行如权利要求8所述的图像处理方法。
【文档编号】G06T1/00GK105981360SQ201480075040
【公开日】2016年9月28日
【申请日】2014年12月12日
【发明人】柿沼明宏
【申请人】株式会社理光