增强以批模式处理的肖像图像的方法和系统的制作方法

专利名称：增强以批模式处理的肖像图像的方法和系统的制作方法
技术领域：
本发明总体上涉及数字图像处理领域，具体地说，涉及创建源自人类主题的肖像类图像的改进的图像产品。
背景技术：
多个世纪以来，只有富有的或者有特权的社会阶层才有能力雇佣那些能以油画，雕塑和素描的方式制作精美肖像的熟练工匠。在许多情况下，肖像画不仅仅是为了产生一幅令人满意的逼真肖像。艺术家的工作以微妙的或者明显的方式与对象的愿望和意图相互作用。第二种类型的艺术创造包括对真实的改进。因此，以这样的方式描绘对象，将其身体上的缺陷最小化并尽可能表现其最有魅力的方面。
在现代社会中，肖像画不再是有钱人和有权有势人的专利了。照片在社会各阶层中的出现使得肖像图像的创作成为人生许多重大事件中普遍存在的一部分。在西方文化中，婚礼，毕业，生日，婴儿出生等—所有这些事情，还有其它事情—都用相对标准的肖像图像来拍摄。尽管现有技术使得业余爱好者个人能够拍摄甚至改进诸如此类的图像，但是仍然存在一些提供更高质量的肖像图像的专业摄影师。并不令人奇怪，这些肖像摄影师的目标仍然和过去的几个世纪一样一以尽可能令人高兴的方式表现对象。其实，对象想要以他们所希望的样子，而不是他们实际上的样子为大家所见。
为了满足人们希望能以他们所希望的样子而不是他们实际上的样子为大家所见的愿望，专业摄影师采取修饰肖像图像的手段给人们他们理想的外貌。修饰包含以某种原始照片图像上所没有拍摄到或表示出的方式改变照片图像。修饰肖像图像的一个目的在于，通过去除暂时性的缺陷如瑕疵或眼睛下的黑圈，或者永久性的缺陷如黑痣或皱纹，而仍然保持个人特征，使一个人看上去更好。去除面部瑕疵，黑痣或疤痕，柔和线条和皱纹，减轻眼袋，增白牙齿和眼白就是进行修饰以改进或增强肖像图像中个人外貌的例子。
在数字时代到来之前，人们在底片或者打印的图像上进行图像的修饰，通过使用染料修正或改变肖像图像中的缺陷来修改图像。现在日常生活中都可以使用数字图像拍摄设备，所以最佳修饰方法就是通过在拍摄的数字图像上执行的数字图像技术来实现的。数字方法允许实现一些以前在模拟图像上十分困难甚至不可实现的增强。可使用图像编辑软件如Adobe Photoshop通过去除瑕疵，使鼻子变挺，平衡眼睛和应用数字化妆来改善肖像。
计算机技术和图像处理算法上的改进正在使得一些新的类型的自动和半自动图像增强成为可能。关于肖像图像主题，相应的技术发展包括脸的检测和识别，脸部特征检测和修饰，脸部姿态重整和红眼检测和纠正。
在公开的PCT专利申请WO 00/76298 A1，“Skin Imaging AnalysisSystems and Methods”中，Hillebrand等人公开了一种可以检测皮肤缺陷并计算皮肤干净指数的系统。该系统瞄准了化妆品和护肤市场。该系统也可模拟在使用了推荐的可以消除或者隐藏皮肤缺陷的治疗手段或者产品后，该有缺陷的皮肤区域可以获得的改善情况。使用色彩信息检测皮肤缺陷，并使用标准形体技术来模拟有缺陷的皮肤区域的改善情况。
在公开的欧洲专利申请EP 1 030 276 A1，“Method of CorrectingFace Image，Makeup Simulation Method，Makeup Method，MakeupSupporting Device and Foundation Transfer Film”中，Utsugi描述了一种通过基于理想的脸或者模特脸的图像处理来制作一张理想的化妆后的脸的方法。该技术包含在可能通过化妆修饰的范围内，使得突出区域，和眉毛，眼线和唇线接近理想的脸或者模特脸。
特别对于如婚礼，毕业，学校和运动照片，生日，婴儿出生等使用的批量肖像系统来说，这些系统的缺点是需要和顾客之间进行繁忙的交流以输入偏好和评价结果。例如，在Utsugi的方法中，需要化妆顾客在场以决定模特的脸，如从受欢迎的明星，男女演员的脸中进行选择，并决定进行各种调整以尽力模仿模特的脸。另外，需要熟练的操作者和顾客一起工作以取得令人满意的结果。
因此，即使出现数字成像，修饰肖像本身仍是一种手艺，至今仍然更多的是一种艺术形式而不是科学。另外，修饰肖像图像的过程是由熟练操作者进行的一种高度手工的耗时的过程。因此，发展一种使用自动和半自动肖像图像增强方法来进行肖像的脸部修饰的系统是有好处的。通过提供对图像中人体对象外貌进行自动增强的方法和系统，本发明解决了当前本领域存在的上述缺点。
发明概述本发明旨在克服上面提出的一个或多个问题。简单而言，根据本发明的一个方面，一种用来增强位于数字图像中的脸的外观的批处理方法，其中该图像是通过批处理处理的大量图像中的一个，该方法包括步骤(a)提供脚本文件，该文件识别一个或多个选择要增强的原始数字图像，其中该脚本文件包括定位每个原始数字图像的指令；(b)使用该脚本文件中的指令，获取包含一个或多个脸的原始数字图像；(c)检测一个或多个脸中的脸部特征点的位置，所述脸部特征点包括识别包括皮肤，眼睛，眉毛，鼻子，嘴巴和头发中的一个或多个的突出特征的点；(d)使用脸部特征点的位置，将脸分割成不同区域，所述不同区域包括皮肤，眼睛，眉毛，鼻子，嘴巴，脖子和头发区域中的一个或多个；(e)确定不同区域的一个或多个脸部相关特征；(f)基于该不同区域的脸部相关特征，选择一个或多个增强过滤器，该过滤器每一个都是为特定区域特别定制的，并为该增强过滤器选择默认参数；(g)在特定区域执行增强过滤，从而在原始数字图像的基础上生成增强的数字图像；(h)存储该增强的数字图像；和(i)生成输出脚本文件，该脚本文件具有说明对该增强数字图像执行过的步骤(c)-(f)的一个或多个步骤中的一个或者多个运算的指令。
本发明的优点在于它在批处理中有效地使用了自动和半自动肖像图像增强方法，使得在不需要熟练操作者干涉来进行和指导修饰调整的情况下的肖像修饰成为可能。因此，避免了由熟练操作者执行的高度手工的费时的过程，而可以通过批处理实现该修饰方法。
从对以下优选实施例的详细描述和所附的权利要求的阅读中，并参考附图，可以更加清楚地理解和了解本发明的这些和其它方面，目的，特征和优点。
附图简述

图1A和1B分别是实施本发明的一个系统的图，和用于该系统的图形用户界面。
图2A是用来实施本发明的具有可选择的用户干预程度的实施例的流程图；图2B是用来在没有用户干预的情况下以批模式实施本发明的自动实施例的流程图；图2C是一个脚本文件的图例，该脚本文件具有用来在批模式中定位和处理原始数字图像的指令；图2D是用来在批模式中实现修饰模式的交互式实施例的流程图。
图2E是用来在消费者操作亭设置中实现修饰模式的交互式实施例的流程图。
图3是图2A和2B中所示的脸部检测和脸部点定位步骤的流程图。
图4是显示在被测脸中突出特征点位置的图。
图5A是用来检测颈部区域的方法的流程图。
图5B-5D是直观示出产生最终颈部概率图的过程的图。
图6A是在图2A和2B流程图中示出的系统中使用的增强过滤器的总体图。
图6B是用来产生前额区域的头发修饰的方法的流程图。
图7A是图6中所示的皮肤纹理增强过滤器的流程图。
图7B是包含皮肤纹理增强过滤器所使用的凹处边缘过滤器核心的像素邻域图。
图8是显示根据本发明选择和修改皮肤特征的优选实施例的流程图。
图9是说明缺陷像素周围所定义的线段的针轮过滤器的图例。
图10A和10B共同表示了一个流程图，该流程图说明了使用图9的针轮过滤器来估计缺陷像素的修正值的过程。
图11是说明在图10中示出的过程中用来计算新的像素值的优选实施例的流程图。
图12是说明在图9中所示的针轮过滤器中通过特征像素产生线段的过程的流程图。
图13是图6中所示的皮肤色调增强过滤器的当前优选实施例的流程图。
图14是在图13中所示的皮肤色调增强过滤器中使用的计算阴影/亮点强度的当前优选实施例的流程图。
图15A，15B和15C是几个函数图，显示了图13中示出的皮肤增强过滤器中使用不同混合系数的效果。
图16是图6中示出的牙齿和眼睛增强过滤器的当前优选实施例的流程图。
图17是在皮肤纹理增强过滤器中使用的混合函数图。
图18A和18B是在进行眼睛形状调整中使用的控制点的图例。
图19是图6中所示出的形状增强过滤器的当前优选实施例的流程图。
图20A和20B示出了重构曲线，其中(图20A)重构是增强等级的函数，而(图20B)重构是皮肤局部光滑度的函数。
发明详述由于大家都知道使用脸部特征检测和特征增强的图像处理系统，因此本说明书特别针对形成依照本发明的方法和系统的部分或者更直接与依照本发明的方法和系统协作的属性。这里没有特别示出或者描述的特性可以从本领域所熟知的那些特性中选取。在以下描述中，本发明的优选实施例一般用软件程序的形式实现，但是那些本领域的技术人员容易理解可以用硬件来构造和软件同样的效果。假定在根据本发明描述的系统中，对实现本发明有帮助的一些材料，软件在这里没有特别示出，建议或描述的话，那么就是常规的并在该领域的一般技术范围内。说到术语，在本发明的说明书中，增强过滤器就是在数字图像中增强脸的直观外貌的方法。例如，眼睛增强过滤器是增强眼睛的白色度和/或虹膜色彩的方法。
假如本发明用计算机程序的形式来实现，那么该程序可以存储在常规计算机可读存储媒介中，该媒介可包含，例如，磁盘(如软盘或硬驱)或者磁带；光存储媒介如光盘，光带或者机器可读条形码；固态电子存储设备如随机存储器(RAM)或只读存储器(ROM)；或者其它任何用来存储计算机程序的物理设备或者媒介。
图1A示出了有助于实现本发明的系统10。该系统10包括具有中央处理器(CPU)的个人计算机PC 12，在实施本发明的方法时，该中央处理器CPU可执行一组预定步骤。数字存储媒介20和PC 12相连接用来存储数字图像。该数字存储媒介20可包括不同类型的设备，如RAM，ROM，硬驱和软驱等等。该数字存储媒介20也可用来本地存储生成的增强图像。另外，也可将数字图像拍摄设备如扫描器28和数字照相机30提供给计算机12，这些是附加的数字图像源。可是应当理解，数字图像可以从任何数字图像源中获得。用户和计算机12之间通过输入设备40如鼠标和/或键盘以及连接到计算机12的显示监视器50进行互动。该系统10也可包含用来本地输出图像的设备如打印机。典型地，上述部件将存在于，即直接连接到PC 12上。
可选地，上述部件不需要都存在于主计算机12上，而是可以存在于服务器62上，该服务器62可以通过通信网络70与客户PC 12连接。该服务器也可包含中央处理器(CPU)，该中央处理器CPU在实施本发明的方法时可以执行一组预定步骤。该服务器也可和存储媒介65和一个或多个打印机60相连。这使得可以通过通信网络70使用连接到服务器62的存储媒介65和打印机60远程获得，存储和打印图像。用来实施本发明的软件典型地存储在存储媒介20上。可选地，可以通过通信网络70从服务器上下载该软件。可以通过使用包含在PC 12中的CPU在客户机上执行用于实施本发明的软件，或者可以通过使用包含在服务器62中的CPU在服务器一方执行用于实施本发明的软件。该通信网络70可包含专用网络如局域网(LAN)，或者公共网如可由个人通过Internet服务提供者(ISP)访问的Internet。按照这种网络中的惯例，顾客可以使用零售亭或者其它合适的通信设备访问远程网络服务提供者。
图1B示出了实施本发明的交互软件的图形用户界面(GUI)的例子软件在系统10上本地运行或者在服务器62上远程运行，并产生如图1B中所示的GUI屏78。用户启动软件并下载需要增强的图像。当下载好图像后，在显示器50上显示该GUI屏78。在该GUI屏78左边的图像80是下载的图像，该图像带有需要使用本发明的方法进行增强的脸。在右边的是带有增强了的脸的图像。在一个实施例中，当图像下载好以后，用户单击需要增强的脸80的眼睛。结果，正如稍后将详细描述的那样，该系统自动寻找脸部特征点并且将脸分割成不同特征(如眼睛，眉毛等等)和颈部区域。该系统设置默认参数并且按照预定次序对原始图像应用所有的增强过滤器。
在该GUI屏78的右边显示产生的图像82。滑块90，92，94，96和98允许用户交互改变各种增强过滤器的参数。该滑块的初始位置对应于系统自动设置的默认值。主外貌增强滑块90结合了所有组件增强滑块。组件滑块包括纹理增强滑块92，皮肤增强滑块94，眼睛增强滑块96和牙齿增强滑块98。该纹理增强滑块92控制纹理增强过滤器的参数。该皮肤增强滑块94控制皮肤色调增强过滤器的参数。该眼睛增强滑块96和牙齿增强滑块98分别控制眼睛和牙齿增白过滤器。在以下部分详细描述了所有的增强过滤器。所有滑块的最小值和最大值分别设置成“不增强”(如每个滑块的左极限)和“最大增强”(如每个滑块的右极限)。
用户可以通过使用全局外貌增强滑块90或者单独的组件滑块92-98来控制脸部增强的级别和外观。只要用户改变主外貌增强滑块90的位置，该系统就会将滑块的位置换算成增强过滤器的适合的参数值，并且按照预定次序对原始图像应用所有的增强过滤器。然后，在GUI屏78的右边显示该增强的图像82。只要用户改变该组件增强过滤器92-98中的一个，该系统就会基于每个组件增强过滤器的位置，按照预定的次序对原始图像应用所有的增强过滤器。然后，在GUI屏78的右边显示该增强的图像82。该优选实施例中GUI设计的一部分是修改脸部特征点和颈部区域轮廓的选项。当用户从GUI屏78的顶部条的下拉菜单“编辑”中选择该选项时，原始图像80上脸部特征点和颈部区域轮廓点被覆盖了，用户可以使用用户输入设备40如指点设备来修改显示点的位置。工具条84包含用户可用来作用或者修改显示图像的特殊工具。例如，用来放大和缩小的工具，用来编辑特征点的工具，将原始图像和增强图像进行本地混合的混合工具，用来在空间上修改增强过滤器的效果的工具等等。
图2A是描述根据本发明的增强肖像图像的方法的一个实施例的示意性流程图。步骤200初始化程序之后，在获取和显示步骤205中，由系统获取数字图像并将其显示在显示监视器50上。在本发明中，数字图像不仅仅指从照片获得的图像，还指不受限制地从任何源，如数字照相机，硬拷贝图像扫描或者从其它源上以电子方式获得的数字图像。在定位步骤210，检测到图像中的各个脸，并识别每张脸上脸部特征点的位置。定位脸部以及其相关特征点的步骤可以由用户手动执行或者使用图像处理技术半自动或自动执行。脸部特征点的定位用来识别和分割脸部的不同区域(例如皮肤，眼睛，鼻子，嘴巴，头发等等)和颈部区域。在显示步骤215，脸部特征点在图像上被覆盖，并显示在显示监视器50上。可选地，也显示描画颈部区域轮廓的特征点。假如自动或者半自动确定脸部特征点，在判断步骤220，用户有机会决定特征点是否需要调整。假如用户决定特征点需要进行调整，在修改步骤225，用户可以使用输入设备40调整脸部特征点。可选地，用户也可调整描画颈部区域轮廓的特征点。
在默认值设置步骤230，系统使用脸部特征点位置来识别和分割脸的不同区域，如皮肤，眼睛，鼻子，嘴巴，头发，脸部毛发等等，并确定增强过滤器的适合的默认参数。在该优选实施例中，基于脸部特征点位置自动分割颈部区域。稍后将详细阐述分割颈部区域的方法。因此，在步骤230，系统也确定颈部区域增强过滤器的适合的默认参数。可选地，在这个阶段可以手工地或者使用性别和年龄分类算法自动地判断脸的性别和年龄。在Proc.of 4thIEEE Int’l Conf. On Face& Gesture Recongnition，March 2000中的B.Moghaddam和M.H.Yang的“Gender Classification with Support Vector Machines”中阐述了自动性别分类的一个例子，该文章在此引作参考。通过对对象脸的数字图像进行特别的细节脸部特征分析，如脸部特征比率和皱纹分析，进行典型的年龄分类。在授予Lobo和Kwon的美国专利5,781,650中公开了一种对本发明的实施有用的自动年龄分类算法，该专利在此引作参考。可以使用性别和年龄分类来判断哪一种增强过滤器应该和性别特别参数一起执行。例如，默认女性的脸上可以比男性的脸上应用更大量的纹理和皮肤增强。优选默认参数也可以根据图像类来确定。图像类是在类型(如肖像)，内容(如家庭肖像或者学校肖像)，分辨率和布局方面相类似的一类图像。例如，用户可以通过从GUI屏78(图1B)的顶部条的下拉“编辑”菜单，并检查“选择”子菜单的典型图像类列表来检查图像类。
然后在执行步骤235，该系统使用适当选择的参数来执行增强过滤器。可选地，如虚线所示，在用户选择步骤240，用户可以决定应该执行哪一种增强过滤器和该增强过滤器合适的参数。当该系统完成步骤235中的执行增强过滤器之后，在显示245中，在显示监视器50上显示增强的图像。此时，用户可以判断该增强的图像是否令人满意。假如该图像不令人满意，则用户可以在用户选择步骤240中改变增强过滤器和/或它们的参数，或者在修改步骤225中调整脸部特征点的位置。在一个实施例中，用户可以选择按次序执行不同增强过滤器，以便观察图像上特定增强过滤器的效果。在该实施例中，用户可以循环进行步骤240，235，245，250，变化增强过滤器和参数，直到获得令人满意的效果。假如在判断步骤250，认为该增强的图像是令人满意的，那么用户可以选择在本地打印步骤255中在打印机34上进行本地打印，或者在本地存档步骤260中本地存档在存储媒介20上。可选地，假如该系统通过通信连接70连接到服务器62上，那么用户也可选择在远程打印步骤265中在打印机60上进行远程打印，或者在远程存档步骤270中远程存档在存储媒介65上。在选择并完成了合适的动作后，该系统询问是否有新的图像(询问步骤275)并根据回答，回到获取和显示步骤205以得到下一个图像，或者结束该过程(结束步骤280)。
图2B示出根据本发明的增强肖像图像的一个可选实施例，该实施例对于商业照片公司的高度自动生产和高效生产更加有益。该实施例描述了在不需要用户干预的情况下通过肖像增强系统允许处理大量图像的自动批处理。在获取步骤282，从包含选定要增强的图像名称和地址的脚本文件(计算机文件)中获取图像。该脚本文件也可包含另外的指令，该指令可用来控制该批处理。例如，该脚本可不仅仅包含图像的名称和地址，还可包含如何命名和在哪里存储该增强的图像以及在生成增强的图像后是否删除该原始图像的指令。多种多样的指令集使得各种商业照片实验室能够容易地利用灵活的批处理来适应它们特殊的工作流安排(参考以下内容)。在脸部检测和定位步骤284中，自动检测图像中的脸，并自动识别每张脸上的脸部特征点的位置。在增强选择步骤286中，该系统描绘脸部特征并确定合适的增强过滤器组和该增强过滤器的默认参数。可选地，在该阶段，可以使用性别和年龄分类算法自动判断脸的性别和年龄(如此前所述)。
可选地，通过和该图像有关的元数据，可以将图像中脸的年龄和性别提供给该系统，例如可以从客户提供的照相洗印加工封套或者通过询问用户，将年龄和性别提供给系统。在实施增强处理之前，也可提供默认过滤器和参数作为与图像有关的元数据或者作为与图像无关的设置。该元数据也可直接并入图像文件或者可以从脚本文件中获得。图2C示出了根据本发明控制自动批处理的脚本文件的例子。
然后在增强执行步骤288中，该系统使用适当选择的参数来执行该增强过滤器组。假如在图像中超过一张脸，那么在脸的询问步骤290中注意该事实并且该系统重复步骤286，288和290，直到图像中所有的脸都经过增强。在该过程中，可以产生包含图像信息(即修饰，特征图，特征点等等)的中间图像，该图像信息在特定步骤中产生，用于该步骤和后续步骤。在存储步骤292中，存储该增强的图像。除了存储该增强图像外，还可存储输出脚本文件(如下所述)，和中间图像(如上所述)。继续该增强图像的程序直到所有的输入图像都已经增强(图像询问步骤294)。在所有图像都经过处理(结束步骤296)后，可以将该增强的图像应用到图2A中所示的使用阶段255-270。可选地，在所有的图像都经过处理(结束步骤296)后，可以使该增强的图像进入用户交互式系统，如图2A，2D和2E中所描述的那样，以检查该增强图像的可接受性，如果需要的话，在使用阶段(图2A中的步骤255-270)之前进行修改。
图2d示出了根据本发明检查由批处理生成的增强肖像图像的可接受性的实施例。为了处理大量通过商业照片实验室处理的图像，这些实验室有非常紧迫的时间要求。因此用户交互式系统必须和该批处理系统的输出进行有效而又优化的结合，使得该批处理的图像得以快速地进行检查，假如需要就进行修改，以便满足商业实验室的产量要求。为了方便该需求，从批处理中生成了每个处理图像的输出脚本文件。该脚本文件包含描述对该图像执行的运算，以及原始，增强和中间图像存储在何处的信息，以及关于在接受或者拒绝该增强图像的情况下，如何处理原始，增强和中间图像的交互式系统的附加指令。可选地，该输出脚本中的数据或者该输出脚本的地址可以作为元数据存储在图像文件中。在获取步骤2000，使用该输出脚本文件中所包含的数据或者从图像中所包含的元数据中可获得该原始，增强和中间图像。从包含输出脚本文件的名称和地址或者批处理系统处理的图像的脚本文件中可以获得输出脚本文件或者图像的地址。在显示步骤2010，在显示监视器50上并排显示原始和增强图像。在接受/拒绝判断步骤2020，通过例如单击接受或者拒绝按钮，用户判断接受或者拒绝该批系统生成的增强图像。假如拒绝该增强图像，用户进入交互式修饰模式步骤2030，在该步骤中用户重复步骤286，288和290(图2B)直到图像中所有的脸都已增强(对于用户)。假如可能的话，可以使用中间图像(即修饰，特征图，特征点等等)对认为不可接受的增强图像进行快速修改。在应用增强过滤器时，使用中间图像可以减轻进行费时计算(重新计算)的需要。在接受/拒绝判断步骤2040，用户决定接受还是拒绝最后增强的图像。在清除步骤2050，系统执行输出脚本文件中的指令，决定原始，增强和中间图像的命运，一旦接受/拒绝当前图像，立即显示列表上下一个图像及其增强图像，使得操作者可以快速判断该增强图像的可接受性。继续检查批处理增强图像的程序，直到检查完所有的图像(询问步骤2060)。
为了进一步提高该批处理/交互系统的产量，该批处理系统可以自动对那些可能需要用户注意的增强图像进行标记。系统可以使用这些标记来限制那些必须使用交互式系统进行检查的增强图像的数量。该标记可表示该增强图像的可接受性的概率和/或该增强图像状态的文字描述。例如，假如在脸的检测和定位步骤284，系统不能找到脸，该系统可以用0.00可接受性标记和“找不到脸”标记进行标记图像。在另一个例子中，系统可以用与图像上执行的皮肤纹理增强量相对应的可接受性标记对该图像进行标记。增强的皮肤纹理越多，可接受性标记越低。在另一个例子中，假如系统判断该脸有胡子，可以设置“脸部毛发”标记，或者假如该人戴眼镜的话，设置“眼镜”标记。假如希望的话，在步骤2000，将只获取和打开那些可接受性概率低于特定域值的图像和/或带有特殊文字标记的图像，将跳过那些高概率图像。该领域的普通技术人员应当明白，对于大量商业照片实验室来说，在实施本发明过程中存在许多其它有用的批处理/交互式系统的可选实施例。
在客户操作的图像执行亭中，可以实现图2a中描述的肖像增强系统实施例。假如希望的话，消费者可以手动初始化该肖像增强系统。图2e示出了根据本发明增强肖像图像的可选实施例，该实施例对于根据照片，底片，数字文件等等生成照片的消费者操作亭更加有益。该实施例描述了一种半自动/自动程序，该程序用来判断需增强的图像的合适性，并在存在或者不存在用户干预的情况下对该图像进行肖像增强。用户在步骤2100中初始化该执行程序之后，在获取步骤2105中，由系统获得数字图像。通过扫描照片或者底片，或者从数字媒介上包含的文件中获取图像，假如该系统通过通信连接连接到服务器的话，也可从网络上的文件中获取图像。在脸检测步骤2110，在获得的图像显示给消费者之前，自动检测图像中的脸，假如发现了脸，则自动识别每张脸上脸部特征点的位置。在判断步骤2120，假如在图像中没有发现脸，或者没有一张脸适合进行增强，则显示获取的图像2180，并且用户继续使用传统的图像执行亭处理2190。有许多标准可以用来判断一张脸是否被认为适合增强。在一个优选实施例中，脸的大小和清晰度用来衡量该脸是否适合增强。为了实现增强脸的好处，该脸必须足够大并且十分清晰，以便用户可以看到改善。假如检测到一张认为适合增强的脸，那么系统在执行步骤2130中使用适当选择的参数来执行适合的增强过滤器。系统在步骤2130中完成执行增强过滤器之后，显示增强的图像2140。在用户不干预模式中，用户继续使用该图像执行亭处理2190。在用户干预模式中，用户可以判断该增强的图像是否可以接受。如果在判断步骤2150，对于用户来说该图像是可接受的，则用户继续使用该图像执行亭处理2190。否则假如图像是不可接受的，则用户在判断步骤2160可以选择忽略增强阶段并继续使用该图像执行亭程序2190，或者启动该肖像系统的交互版本。此时，显示交互式肖像系统的GUI(图1b)2170，然后消费者可以使用交互版本来增强图像，直到获得令人满意的结果。
图3是图2A和2B的脸部检测和点定位步骤的流程图，示出了根据本发明在图像中出现的脸上定位突出的脸部特征点的过程。对数字图像应用脸检测模块310，以便标出图像中出现的所有人脸的位置和粗略大小，脸部特征检测器315在被测的脸上定位突出脸部特征点。脸检测步骤可以由用户手动执行或者使用许多脸检测方法中的一个自动执行，该许多脸检测方法在学术文献中有所记载。该应用的一种优选自动脸检测方法包括Henry Schneiderman在A Statistical Modelfor 3D Object Detection Applied to Faces and Cars，Ph.D.Thesis，Robotics Institute，Carnegie Mellon University，May2000中所描述的方法，该文章在此引作参考。可选地，假如使用手动方法来检测脸，对于用户来说一种优选方法是单击图像中出现的一张或多张脸的两个眼睛。眼睛之间的空间间隔可用来估算脸的大小。
在检测到一张或多张脸之后，依次将每张脸的图像坐标和估算尺寸提供给脸部特征检测器315，该脸部特征检测器315具有在被测脸上定位突出脸部特征点的任务。在该优选实施例中，将活动形状模型用作脸部特征检测器。在A.Lanitis，C.J.Taylor和T.F.Cootes的“Automatic interpretation and coding of face images usingflexible models”，IEEE Trans.on PAMI，Vol.19，No.7，pp743-756，1997中描述了该活动形状模型，该文章在此引作参考。检测到的特征点用来识别，勾画和分割脸的不同区域，如脸部皮肤区域，眼睛，鼻子，嘴巴，眉毛，头发，脸部毛发等等，以及颈部区域。由相应的二进制掩码来识别被测区域。然后对该区域的二进制掩码进行空间毛边化，从而生成alpha掩码。在步骤235和288中使用该alpha掩码以便将该增强过滤器(即纹理增强过滤器)的结果和原始图像混和起来。毛边化二进制掩码并在混和运算中应用产生的alpha掩码保证了经过增强的区域和未经过增强的区域之间的平滑过渡。通过使用模糊函数将该二进制掩码模糊化来变换该二进制掩码，从而生成alpha掩码，其中根据脸部尺寸选择模糊半径。该二进制掩码用来确定在空间上哪里需要如图2A和图2B中所示那样应用增强过滤器。
参考图4，示出了被测脸410上突出特征点420位置的直观案例。典型地，手工地或者使用图像处理技术自动地定位这些脸部特征点。
在许多图像中，非常重要的是不仅对脸部区域，而且还要对颈部区域应用皮肤增强过滤器。在当前的优选实施例中，通过将修改的一般颈部形状和皮肤色彩分类器相结合，确定颈部区域。图5A中示出了确定颈部区域的方法的流程图。在一般绘图步骤550中，创建颈部区域的一般概率图。一般颈部概率图基于颈部形状的现有知识。在该优选实施例中，通过平均规格化图像的样本人数来创建一般概率图，该规格化图像的样本人数表示需增强的图像(如肖像类图像)的预期人数。通过将每个图像按比例调节到相同的预定眼睛位置来规格化样本图像。在每个样本图像中，手工勾画颈部区域轮廓。对于所有的样本图像来说，每个像素的最终颈部概率是得分的平均和，假如特定像素是颈部区域的一部分，得分函数等于1，否则等于0。使用启发近似法可以创建一般颈部概率图。在该优选实施例中，假如图像中一个人的性别已知，那么对男性和女性使用不同的概率图。通常，在女性肖像中皮肤区域较男性肖像明显。在调节步骤554中，按比例调节一般颈部概率图以便适应下巴线条和脸部轮廓的各个特征点。
在皮肤色彩分类步骤556中，根据色彩分割创建颈部概率图。使用被监督的基于像素的色彩分类器来标出皮肤色彩特定距离范围内的所有像素。该基于像素的色彩分类器是属于皮肤的像素色彩C的条件概率函数，该色彩分类器以Gaussian为模型(公式1)p(C|skin)=12π|Σskin|1/2exp[-12(C-μskin)TΣskin-1(C-μskin)]]]>其中平均向量μ和协方差矩阵∑从定义的皮肤区域中进行估算。向量C对应像素的红(R)，绿(G)和蓝(B)信号。当以其它色彩空间如CIELAB，YUV，HSV等等来表示C时，也可应用上述方法。使用脸部皮肤区域的子集来确定条件皮肤概率分布。在当前优选实施例中，眼睛以上的皮肤区域和检测到脸部毛发的区域不用于估算公式1中的平均向量μ和协方差矩阵∑。对于所有脸部区域之外和下巴线条以下的像素，根据公式1定义颈部概率，否则颈部概率等于0。
在最终概率图生成步骤558中，通过将按比例调节的一般颈部概率图和基于皮肤色彩的概率图相结合，创建最终概率图。在该优选实施例中，将两个概率图算术上相乘。将得到的颈部概率图用作alpha通道，以便确定如何将该增强过滤器的结果和原始图像混和。通过设定该最终颈部概率图的阈值来产生二进制颈部区域掩码。对于一个特定像素来说，假如概率大于0，则相应的掩码值等于1，从而说明是颈部区域，否则掩码值等于0，从而说明是非颈部区域。使用该二进制颈部区域掩码来确定哪里需要应用增强过滤器。
图5B-5D直观地演示了创建最终颈部概率图的过程。参考图5B，示出了一个按比例调节的一般颈部概率图。按比例调节一般概率图以便与勾画脸部轮廓的各个特征点相匹配。一般颈部概率图基于以上所述的一般颈部区域和脸部轮廓有关的现有知识。图5B中示出的一般颈部概率图是基于启发式规则的一个可能的例子，而不是基于以上所推荐的静态分析。它用来演示该过程的性质特征。在一般掩码中的中心区域570具有对应较高颈部概率的较高数值(如大于0.5并小于或等于1)。边缘区域570具有对应较低颈部概率的较低数值(如大于0小于0.5)。在区域572之外，该颈部概率逐渐减小到0。一般而言，该概率以连续方式在水平方向上从区域570的中心向区域572的边缘以及在垂直方向上从顶端到底部逐渐减小。正位于下巴线条以下的掩码中心区域具有与之相关的最大概率值。
图5C中示出了由皮肤色彩分类器确定的颈部概率图的轮廓574。根据如上所述的公式1计算基于皮肤色彩的概率。轮廓区域574以外的概率值等于0。如公式1所定义的那样，区域574内的概率值大于0。通过将两个颈部概率图按比例调节的一般颈部概率图和基于皮肤色彩分类器的颈部概率图算术上相乘，将其二者相结合。图5D中示出了随之产生的最终颈部概率图的轮廓。中心区域5 76对应于由皮肤色彩概率区域574修剪的高概率区域570。区域578对应于由皮肤色彩概率区域574修剪的低概率区域572。
一旦定位脸部特征点和颈部区域，就可以对图像中的脸和颈部区域应用外貌增强过滤器组(即一个或多个)。参考图6，示出了几种不同的增强过滤器。在该优选实施例中，执行了以下的增强过滤器皮肤纹理增强过滤器610，皮肤色调增强过滤器620，牙齿增强过滤器630，眼睛增强过滤器640，和脸部特征形状增强过滤器650。在说明书的以下部分详细说明了所有这些过滤器。可以按照任意次序应用该增强过滤器。在一个实施例中，用户可以选择任何增强过滤器，以任何他/她想要的次序将它们应用到图像中的脸和颈部区域。但是在该优选实施例中，该系统设置了一个默认的次序来应用增强过滤器及其适合的参数。
假如用户决定允许默认设置，那么按照默认的次序和默认参数来应用所有的增强过滤器，并在显示器中显示该增强的图像。增强过滤器的默认次序如下皮肤纹理增强过滤器，皮肤色调增强过滤器，牙齿和眼睛增白过滤器(以任意次序)，和脸部特征形状增强过滤器。在下一部分，按照同对原始图像应用过滤器的默认次序相同的次序描述该增强过滤器。
一些默认参数可能取决于图像类，其中图像类又基于主题的种类。例如，一组默认参数可以根据如学校肖像图像，家庭肖像图像，婴儿照片等等类型进行优化。在一个实施例中，当以批模式运行该系统时，操作者可以在控制脚本中规定每个过滤器的文件参数，或者仅仅规定图像类。当图象类已定，则使用特定图象类的优选参数组。对于本发明的交互式软件实施例，用户可以以类似的方式从选择菜单中选择图象类，那么就会自动建立增强过滤器的默认设置。
当应用改变皮肤外貌的增强过滤器(如皮肤纹理增强过滤器)时，修饰头发和脸部毛发通常是很重要的。否则，在产生的图像中，例如缺乏头发组织的假象可能会非常明显。由特征检测算法确定的特征点通常不能精确地描绘出高度易变特征如头发线条，其不规则且脸和脸之间有很大不同。在该优选实施例中，加上了一个改进步骤，以修饰与前额皮肤区域重叠的头发。参考6B，示出了改进发迹修饰的流程图。在步骤670中，定义了前额的边界区域。根据检测到的特征点(眼睛位置)和从人体解剖学的现有知识中已知的前额可能的最大尺寸，确定边界区域。在步骤672，在前额边界区域内创建不同的特征概率图。该特征概率图包括从原始图像中得到的纹理信息和色彩信息。在该优选实施例中，在水平，垂直和对角线方向创建定向边缘图。在以下关于纹理增强的部分中，将详细描述用来创建纹理图的定向边缘检测器。在一个优选实施例中，以以下步骤创建纹理概率图。首先，如纹理增强部分所述计算垂直边缘梯度。垂直边缘检测器核心尺寸取决于眼睛间隔距离。在第二个步骤中，对于所有梯度量大于特定阈值的垂直边缘，创建连接的部件图。在下一步骤中，根据公式2和3计算规格化的连接部件密度。
(公式2)d(x,y)=Σm=x-kx+kΣn=y-ky+kwm,nC(m,n)]]>(公式3)d‾(x,y)=d(x,y)dmax]]>其中d(x，y)是在以像素(x，y)为中心的周围区域(2k+1)(2k+1)内计算出的像素(x，y)上的连接部件密度，wm，n是基于到像素(x，y)的距离的加权因数，C(m，n)是像素(x，y)所属的连接部件的尺寸，dmax是在重要区域中d(x，y)的最大值，d(x，y)是像素(x，y)上的规格化连接部件密度。
接下来，给该规格化连接部件密度设定阈值。假如小于特定阈值(如0.3)，则密度值设为0，否则保留。该设定阈值的规格化连接部件密度图可以用作头发组织概率图。边缘检测器核心尺寸取决于眼睛间隔距离。使用和上述颈部色彩概率图同样的方法，可以创建皮肤色彩概率图。在步骤674，根据规格化加权概率和，将概率图结合起来。将最终概率图和原始脸alpha通道相结合，作为用于混和的新的alpha通道图。对于脸部毛发可以使用同样的技术。根据由特征检测算法确定的脸部特征点，定义胡须和/或小胡子的重要区域，以代替步骤670中定义前额的边缘区域。然后，对于重要的特别区域创建特征概率图。假如事先知道性别，可以使脸部毛发修饰对男性有效而对女性无效。这可以增加系统的总体速度并消除由于错误检测脸部毛发而可能产生的假象。
在本发明的实施例中，很重要的一点是对脸应用的增强不会产生或者增加脸部的不对称外观。例如，一些对称的典型皮肤特征如笑纹或者眼睛下面线条，如果去除的话则脸的两边都应该去除，假如增强的话则按比例对称地增强。当有关时，在以下部分将对每个实施例特别指出该对称问题。
纹理增强过滤器皮肤纹理增强过滤器的任务是平滑皮肤局部纹理，去除瑕疵或者减少皱纹的范围和深度。参考图7A，示出了根据本发明的皮肤纹理增强过滤器的流程图。在皮肤特征生成步骤710中，检测由脸部特征点描绘的皮肤区域内的皮肤特征。然后在特征修改步骤720中修改该检测到的皮肤特征。皮肤特征图包含我们希望修改的特征，如瑕疵，黑点，皱纹等等。
在现有技术中，使用色彩分析来定位特殊皮肤缺陷。在现有技术中，还通过分析和包含在有限二维窗口中的像素有关的色彩信号直方图，进行皮肤缺陷检测。假如发现相关直方图是双峰的，则认为该区域包含皮肤缺陷。由于这些技术使用色彩信息作为它们基本检测手段的一部分，因此就需要该图像系统进行色彩校准和/或需要检测的图像进行恰当的色彩平衡。当使用受控照明和/或彩色过滤器来拍摄图像时，会增强使用色彩信息的功效。另外，假如检测到的缺陷需要根据缺陷的色彩进一步分类为瑕疵，褐斑等等，就需要精确的色彩再现。
在照片中，皮肤缺陷如皱纹，瑕疵等等表现为(确实仅仅是)在不应该出现的地方出现的亮点和阴影。因此，该皮肤缺陷对应于局部亮度最大值和最小值。在亮度图像中，亮点对应于峰值而阴影对应于谷值。和现有技术不同，根据本发明的优选实施例，通过对亮度图像应用峰值和谷值检测器来检测皮肤缺陷，该亮度图像是根据组成的RGB信号形成的。谷值/峰值检测器是二阶差分算子。亮度定义为红R，绿G和蓝B信号的加权线性组合，如下所示L＝k1R+k2G+k3B (公式4)其中k值表示加权因子。用来生成亮度图像的当前优选加权因子是k1＝k2＝k3＝0.333。在D.E.Pearson和J.A.Robinson的“VisualCommunication at Very Low Data Rates，”Proceedings of theIEEE，Vol.73，No.4，April 1985中可以找到谷值/峰值算子的例子。
当前优选峰值/谷值算子是Pearson等人使用的那种类型的一组四个方向的算子。对图7B中示出的5×5像素邻域中的中间像素m应用垂直算子V，其中用a到y表示像素位置，该垂直算子V由公式5来定义，如下所示V＝f+k+p+j+o+t-2(h+m+r) (公式5)对勾画出的皮肤区域中的每个像素位置应用该算子。类似地，在勾画出的皮肤区域中的每个像素位置上，应用公式6中所示形式的水平算子H以及公式7和公式8中分别示出的一对右对角线和左对角线算子DR和DL，如下所示H＝b+c+d+v+w+x-2(l+m+n) (公式6)DR＝c+g+k+o+s+w-2(i+m+q)(公式7)DL＝c+i+o+k+q+w-2(g+m+s)(公式8)这些算子不仅仅检测峰值/谷值，而且对边缘的脚部/肩部也有二次响应。因此它们也被认为是谷边/峰边检测器。谷边特征对应于该算子输出的正值，而峰边特征对应于负值。通过对算子应用逻辑条件，可以获得仅仅对谷值/峰值敏感的谷值/峰值检测器。对于垂直谷值来说，以下给出了逻辑谷值检测器一致性if(f+k+p)＞(h+m+r)and(j+o+t)＞(h+m+r)then V＝(f+k+p+j+o+t)-2(h+m+r) (公式9)else V＝0
对于垂直峰值来说，以下给出了逻辑峰值检测器一致性if(f+k+p)＜(h+m+r)and(j+o+t)＜(h+m+r)then V＝(f+k+p+j+o+t)-2(h+m+r)(公式10)else V＝0对于水平和对角线谷值/峰值来说，逻辑检测器具有相似的形式。
对于根据本发明生成皮肤特征图来说，谷值/峰值和谷边/峰边算子都很有效。根据这一点，我们用术语谷值/峰值算子来指谷值/峰值和谷边/峰边算子。
在对图像应用定向谷值/峰值过滤器之前，通过应用噪声降低过滤器来抑止图象中噪声的影响。适合的噪声过滤器是低滤过过滤器，中间过滤器和其它通常用来降低数字图像中噪声的线性和非线性过滤器。
对由该算子生成的定向谷值/封装图像设定阈值，以便仅仅保留(强的)有关皮肤特征。对于谷值特征图来说，将数值小于特定阈值Tv的像素设置为零。对于峰值特征图来说，将数值大于特定阈值Tp的像素设置为零。该阈值可以是一个固定的全局阈值或者一个自适应阈值。当前优选阈值方法是使用自适应阈值，该自适应阈值的值由公式11给出。
T＝βLavg(公式11)其中β是常数，而Lavg是该像素的局部平均亮度。对于垂直，水平和对角线部分可以使用不同的β值。该局部平均两端Lavg可以是像素本身的值或者是像素邻域如像素的3×3邻域的平均亮度。
当前优选步骤是通过将各个定向特征图结合起来以产生混和皮肤特征图F。
F＝max{H，V，DR，DL} (公式12)另外，根据F中每个像素源自哪一个定向过滤器，可以为该像素加上标志。对于那些优先去除特定方向的特征的去除特征如皱纹的情况来说，该定向标志数据和/或各个定向皮肤特征图很有帮助。
该皮肤纹理增强过滤器的任务是平滑局部皮肤纹理。该皮肤纹理增强过滤器所平滑的皮肤纹理的空间尺寸是脸部尺寸的函数。因此，为了检测合适的皮肤特征，根据脸部尺寸适应地确定谷值/峰值过滤器的空间尺寸。另外，根据脸部的尺寸也可适应地选择谷值/峰值过滤器的类型(定向的，等方性的等等)。特别地，使用眼睛之间的间隔来确定谷值/峰值过滤器的尺寸和类型。垂直谷值/峰值算子的一个一般表示法是(公式13)V(x,y)=12hΣi=-hhI(x-w,y+i)-2I(x,y+i)+I(x+w,y+i)]]>其中w和h选为脸部尺寸的函数。水平和对角线谷值/峰值的一般谷值/峰值检测器具有类似的形式。
亮度图像I减去模糊亮度图像Ib，可以得到当前优选等方性谷值/峰值检测器F(x，y)＝I(x，y)-Ib(x，y) (公式14)通过对亮度图像应用模糊过滤器如Gaussian或者混和过滤器，生成模糊亮度图像。如上所述，对谷值/峰值检测器的输出设定阈值，以生成峰值和谷值特征图。该模糊过滤器的半径选为脸部尺寸的函数(这是默认参数的例子)或者人们想要检测的皮肤特征的尺寸的函数。
将相互之间通过连接部件标记连接的像素进行分组，进一步改进该特征图。该连接部件标记扫描图像，并将其像素分组成基于像素连通性的部件，即连接的部件中的所有像素以某种方式相互连接。一旦确定了所有的组别，根据其所分配的部件为每个像素加上标记。每个连接的部件对应一种皮肤特征。每种皮肤特征的特性在于基于特征的特性如尺寸，形状和皮肤区域中的位置，并根据该基于特征的特性进行分类。尺寸对应于部件中像素的数量(这是默认参数的例子)。形状信息描述了和皮肤特征的表面形状有关的特性。形状信息的例子是空间矩，边界区域，方向，主轴等等。在William S.Pratt，Digital ImageProcessing，2ndedition，John Wiley & Sons，1991中可以找到关于形状分析的其它信息。另外，使用和识别为皮肤特征的像素有关的色彩信息，可以进一步对皮肤特征图中描绘的特征进行分类。在描绘高阶特征如皱纹，瑕疵，痣，胎记，阴影，亮点等等时，形状和色彩信息很有帮助。一旦生成了皮肤特征图，就使用它们来选择需要在步骤720中修改的皮肤特征。
参考图8，示出了描述根据本发明选择和修改皮肤特征的优选实施例的流程图。在特征选择步骤810中，根据其特性选择需要修改的特征。如上所述，该特征的特性对应于尺寸，形状及色彩，并根据这些特征在皮肤区域中的位置选择该特征。同时，皮肤特征的选择必须考虑对称因素。一些皮肤特征关于脸的左右两边对称。选择和修改某些只位于脸的一边的特殊皮肤特征，可能产生一些可认为是假象的对称。当一个人笑的时候，可以明显地看到眼睛下面的皮肤褶皱或者明显的鼻唇褶皱(笑纹)就是一个例子。在该优选实施例中，根据其特性(如位置，形状，色彩等等)自动识别这些对称特征。当例如根据其尺寸或/和其它特性选择这些对称特征中的一个进行增强时，则同时自动选择脸的另一边相应的对称特征而不管其特性，以保证随之产生的增强的对称性。
哪一种对称皮肤特性通常不包括在该选择和增强中，以及哪一种适合选择，取决于增强的期望样子。这可以根据年龄或者性别确定。在另一个实施例中，一些对称皮肤特征可需要特别类型的增强。
然后在扩大步骤820中，自适应地扩大该选择的皮肤特征，然后在过滤步骤830中修改这些皮肤特征。一种皮肤特征上的扩大作用是加大该皮肤特征的尺寸。对于所有选择的皮肤特征来说，扩大量可以是一个固定量，也可以是一个基于该皮肤特征特性的自适应量。在一种当前优选实施例中，根据皮肤特征的尺寸和脸部的尺寸(这是默认参数的例子)，适应性地扩大该皮肤特征。较大的皮肤特征比较小的皮肤特征扩大更多。可以使用标准形态算子来执行该扩大过程。
虽然可以在步骤810，820和830的一个循环内可以选择并修改所有希望的皮肤特征，但是通过循环执行步骤810，820和830，同时改变需要修改的皮肤特征类型，可以依次修改皮肤特征，从而获得优化的皮肤增强。在一个当前优选实施例中，在步骤810-830中首先选择和修改谷值皮肤特征，然后在步骤810-830的第二个循环中选择和修改残余的峰值皮肤特征。为了保持皮肤纹理，只有那些尺寸在特定最大值和最小值尺寸之间的皮肤特征才会被修改。可选地，为了保持皮肤纹理，只有那些尺寸大于特定最大值尺寸的皮肤特征才会被修改。另外，需要修改的皮肤特征的最小值和最大值尺寸直接由脸部尺寸的比例决定。
在步骤830中，对扩大的特征中的每个像素应用针轮过滤器。扩大的特征中的像素被称为特征像素。所有其它剩余的像素被称为非特征像素。在本发明的实施例中，使用二进制掩码定义特征像素，其中数值0对应于特征像素，而数值1对应于非特征像素。通过使用以一个特定的特征像素为中心的线段中排列的相邻非特征像素，该针轮过滤器可以增添该特征像素的新数值。在共同转让的美国专利号6,104,839中详细描述了该针轮过滤器，该专利名为“Method andApparatus for Correcting Pixel Valuesina Digital Image”，于2000年8月15日以David R.Cok等人的名字提出申请，该专利在此引作参考。为清楚起见，这里对该针轮过滤器进行简单描述，并详细说明对Cok等人在专利中所描述的原始算法所进行的一些修改。参考图9，对于被选特征像素940，示出了四个线段930(垂直的V，水平的H，两个对角线段D1和D2)组成的集合。该四个线段分别相隔45°。以灰(阴影)色表示扩大的特征920。线910表示脸部轮廓。在集合中的每个线段都由像素940两边的特征和非特征像素组成。线段中的非特征和特征像素是在由线段定义的特定方向上和被选特征像素940相邻的像素。稍后将详细描述创建该线段集的方法。
参考图10A和10B，示出了引用针轮过滤器计算图像中每个特征像素的新数值的方法。在步骤1004中，设置线段的数量NL，线段一边像素的最大数量MAX_NP1和线段一边像素的最小数量MIN_NP1。稍后将参考图12详细解释这些参数。根据脸部的尺寸设置线段一边像素的最大数量MAX_NP1和线段一边像素的最小数量MIN_NP1(这是默认参数的例子)。脸的尺寸越大，则MAX_NP1和MIN_NP1的数值越大。相比Cok等人描述的方法来说，这两个参数对脸部尺寸的依赖性是本发明中独有的。在步骤1006中，选择第一特征像素PSEL。在步骤1008中，通过像素PSEL创建NL个线段的集合。在该优选实施例中，集合中线段的数量NL等于4，对应于垂直，水平和两个对角线线段。
图12中示出了创建线段的方法。在图12的步骤1110中，选择第一线段如垂直线段(V)。在步骤1120中，选择该线段一边的方向，按照该方向从像素PSEL开始添加像素到该线段上。对于每个线段来说，定义两个方向，对应于以像素PSEL为中心的线段的两边。在步骤1130中，沿着特定方向，将特征像素添加到该线段上，直到到达第一个非特征像素。在步骤1140中，将该第一个非特征像素添加到该线段中，并按照给定方向将相邻的非特征像素添加到该线段上，直到遇到以下条件之一到达一边的非特征点的最大数量MAX_NP1，到达脸部边界或者脸部特征边界，到达新的特征像素。
在步骤1004(图10A)中根据脸部尺寸设置该线段一边的非特征点的最大数量MAX_NP1。该线段一定不能越过脸部边界或者纹理增强过程所不包括的区域(如眼睛区域，嘴巴区域等等)边缘。相比Cok等人描述的方法来说，以上创建有效线段的限制条件是本发明中独有的。当添加像素到该线段的一边的工作完成时，然后在步骤1160中设置该线段的第二边的方向，并且在步骤1130-1140中对该线段的第二边重复该程序。当两边都完成(步骤1150)时，然后从集合中选择下一个线段(步骤1180)，并在步骤1120-1160中重复该程序。当集合中所有NL条线段都创建完(步骤1170)时，该过程完成(步骤1190)。
回过来参考图10A，如上所述在步骤1008中创建了NL条线段的集合之后，将那些至少一边上的非特征点小于MIN_NP1的线段从该集合中去除(步骤1010)。假如集合中没有留下有效线段(步骤1014)，那么像素PSEL的像素值不变(步骤1052)，并选择新的特征像素PSEL(步骤1046和1048)，然后重复该过程(从步骤1008开始)。假如集合中留下的有效线段数量N大于0(步骤1014)，则对于每个留下的有效线段，计算有效线段中非特征像素的每个通道的线性拟合(步骤1016)。在步骤1018中，根据上述步骤1016中计算出的线性拟合，计算每个有效线段非特征像素的每个通道的均方拟合误差。在步骤1020中，根据以下公式，计算每个有效线段总的均方拟合误差，该总的均方拟合误差是一个特定有效线段所有通道的均方拟合误差的平均值。
MSEn=1KΣk=1kMSEn,k]]>其中n＝1，...，N(公式15)其中K是图像中的通道数。对于黑色和白色图像来说，K等于1。对于彩色图像来说，K通常等于3(如3通道对应于R，G，B通道)。
根据步骤1016中计算出的线性拟合，在步骤1022中计算每个有效线段n的每个通道k的像素PSEL的值PSELn，k。在步骤1024中计算每个通道k的新的像素值PSELk。根据前面部分生成的alpha掩码，将每个通道k的新像素值PSELk和原始像素值相混和，确定该增强图像的最终像素值。该混和运算确保了皮肤的增强区域和没有增强的区域之间的光滑过渡。相比Cok等人描述的方法来说，步骤1024中的混和运算和alpha掩码是本发明中独有的。在一个可选实施例中，通过自适应地将每个通道的新像素值PSELk和原始像素值PSEL_INk相混和，确定该增强图像的最终像素值PSEL_OUTk。
PSEL_OUTk＝αPSELk+(1-α)PSEL_INk(公式16)用来混和新的和原始像素值的混和系数α取决于该像素源自的皮肤特征的特性。例如，如图17中所示，混和系数α可以是该像素源自的皮肤特征的尺寸的函数。参考图17，对于那些尺寸小于MIN的皮肤特征，原始像素值没有改变。对于那些尺寸在MIN和MID之间的皮肤特征，新像素值用作最终像素值。而对于那些尺寸大于MID的皮肤特征，通过混和新的和原始像素值来确定最终像素值。数值MIN，MID和MAX是纹理增强过滤器的参数之一，可以控制随之产生的纹理增强的外观，例如MIN数值越大，则在增强的皮肤区域中保留的皮肤纹理越多。MI D数值越大，在从增强的皮肤区域去除的皱纹和瑕疵越多。减小MIN值同时增加MID值，则会增加增强皮肤的光滑度。在本发明的交互式实施例中，依靠GUI 78的纹理增强滑块92来修改MIN，MID和MAX的数值。在一个优选实施例中，由眼睛之间的距离决定图17中示出的混和函数的MIN，MID和MAX的数值。
在本发明的另一个实施例中，在交互模式中由单独的滑块控制MIN，MID和MAX中每一个的数值。一些皮肤区域比其它区域需要更高程度的光滑度，如前额对比脸颊对比眼睛以下区域。在本发明的一个实施例中，为了解决这个问题，对于所有的皮肤区域，使用相同的如图17所示的混和函数，但是MIN，MID和MAX参数取决于皮肤区域。在本发明的另一个实施例中，对于不同的皮肤区域，定义不同形式混和函数和有别于MIN，MID和MAX的参数，以便产生期望的外观。一些皮肤特征可能具有相同的尺寸并位于同一皮肤区域，但是它们却应具有不同的混和系数。如上所述，一些特殊的皮肤特征可能不包括在任何纹理增强之内(α＝0)，以保持特定的外观和/或保持脸部对称(如鼻唇线)。在某些区域(如眼睛周围)，有时不用整体去除皮肤特征，而是修改其粗糙外表更为理想。因此在另一实施例中，该混和系数α也取决于皮肤特征的类型及其所位于的皮肤区域。可以根据其形状，色彩，位置等等分析该皮肤特征，并将其分类成不同类型如瑕疵，痣，笑纹，鱼尾纹等等，然后对不同类型的皮肤特征应用不同的混和函数。对于某些皮肤特征如眼睛下面的褶皱，脸的右边和左边的混和函数可以不同，以便在应用增强之后，脸两边的皮肤特征的外观能以对称的方式相匹配(如黑暗度，柔软度等等)。稍后将描述计算新像素值PSELk的不同方法。假如被选的特征像素PSEL不是最后一个特征像素(步骤1046)，则选择下一个特征像素(步骤1948)，并从步骤1008开始重复该程序。否则整个过程完成(步骤1050)。
在线段数量NL等于4的优选实施例中，图11详细示出了计算被选特征像素PSEL的新数值PSELk(图10中的步骤1024)的步骤。相比Cok等人描述的方法来说，这里在图11中出现的方法是本发明独有的。假定在集合中至少有一个有效线段(N＞0)。参考图11，假如集合中有效线段数量N等于1(步骤1026)，则每个通道k的新数值PSELk等于该线段计算出的数值PSEL1，k(步骤1028)。否则在步骤1030中，根据每个线段n的均方根误差值MSEn，按照递减的次序对有效线段集进行排序。作为步骤1030中排序的结果，集合中第一个有效线段(n＝1)具有集合中最高的均方根误差，而最后一个有效线段(n＝N)具有集合中最低的均方根误差。假如集合中有效线段数量N等于2(步骤1032)，则每个通道k的新数值PSELk等于PSEL1，k和PSEL2，k的平均值(步骤1034)。否则，假如集合中有效线段数量N等于3(步骤1036)，则每个通道k的新数值PSELk等于具有均方根误差中间值的有效线段(n＝2)计算出的数值PSEL2，k(步骤1038)。否则，有效线段数量N等于4，每个通道k的新数值PSELk等于PSEL2，k和PSEL3，k的平均值(步骤1040)。根据前面部分生成的alpha掩码，将每个通道k的新像素值PSELk和原始像素值相混和，计算出该增强图像的最终像素值(步骤1024)。
在计算新像素值的第二实施例中，以下面方式计算每个通道k的新数值PSELk。首先，根据公式17计算每个线段n每个通道k的加权值Wn，k。
Wn,k=1-MSEn,kΣi=1NMSEi,k]]>其中n＝1，…，N k＝1，…，K (公式17)接下来，根据公式18计算每个通道的新数值PSELk，该数值是每个有效线段n和每个通道k所决定的PSELn，k值的加权和。
(公式18)PSELk=Σn=1NWn,kPSELn,kΣn=1nWn,k]]>根据前面部分生成的alpha掩码，将每个通道k的新像素值PSELk和原始像素值相混和，计算出该增强图像的最终像素值(步骤1024)。相比Cok等人描述的方法来说，该混和运算和alpha掩码是本发明独有的。
当对皮肤应用大量纹理增强时，在整张脸上产生的皮肤纹理可以非常光滑和均匀。对脸部进行大量增强以去除粉刺，可以使脸变得非常光滑。缺乏精密比例结构的皮肤可以是可接受的，也可以是不可接受的，这取决于该增强图像希望的样子。对于那些增强图像光滑度在脸部不同区域之间突然变化的图像来说，这一点特别正确。假如在应用针轮添加之后，皮肤区域显得过于光滑或者缺乏纹理，那么如果希望的话，可以将理想的纹理加回到这些区域，以得到令人满意的外观。该理想的纹理的功能是，当将该理想的纹理应用到皮肤的光滑区域时，能产生视觉上吸引人的图像。
理想的纹理可以是相关噪声或不相关噪声，从皮肤中获得的纹理，或者视觉上类似的纹理模式。理想的皮肤纹理可以直接从具有良好皮肤纹理的样本照片中提取，或者可以使用“Pyramid-Based TextureAnalysis/Synthesis”，Computer Graphics Proceedings，page229-238，1995中所描述的纹理合成技术从皮肤纹理的典型图像中生成。可选地。理想的纹理可以从样本中直接生成，如“Real-time，Photo-realistic，Physically Based Rendering of Fine ScaleHuman Skin Structure”，A.Haro，B.Guenter and I.Essa，Proceeding12th Eurographics Workshop on Rendering，London，England，June2001中所描述的那样。在一个当前优选实施例中，为了生成视觉上吸引人的图像，希望根据脸部的尺寸在空间上按比例调节理想的纹理。特别地，使用眼睛间隔来确定比例因子。
在最简单的实施例中，可以通过在由特征点420勾画出的脸部区域上统一添加理想的纹理，重构皮肤区域。
Sout(x，y)＝Sin(x，y)+γTex(x，y) (公式19)其中Sin(x，y)是位置(x，y)上重构之前的皮肤像素，Sout(x，y)是重构之后的皮肤像素，Tex(x，y)是在像素(x，y)处添加到皮肤上的纹理元件，而γ是比例因子。对所有的色彩通道应用该重构运算。如果需要的话，添加到皮肤上的纹理量可以设置成增强级别的函数。参考图20A中示出了重构曲线，当增强级别增加时，添加到皮肤区域的纹理量也增加。在交互式实施例中，可以使添加到皮肤的纹理量受纹理增强过滤器92的控制。通过改变重构曲线的形状和大小，可以给予该增强的皮肤不同的外观。
该纹理元件是围绕零点进行波动的高频元件。该纹理元件也可作为皮肤位置的函数变化。皮肤精密比例结构的外观在整个脸上光滑变化，尽管每个皮肤区域具有完全不一样的外观。例如，前额精密比例结构和鼻子精密比例结构有很大的不同。
在一个优选实施例中，可以根据皮肤的局部光滑度，自适应地对皮肤进行重构。
Sout(x，y)＝Sin(x，y)+γ(x，y)Tex(x，y) (公式20)其中比例因子γ(x，y)是像素位置(x，y)上的皮肤光滑度ss(x，y)的函数。可以使用任意数量的统计学纹理测量或高滤过器来测量皮肤的局部光滑度ss(x，y)。例如，在计算皮肤的局部光滑度时，差异过滤器，边缘过滤器，二阶差分过滤器等等都很有用。参考图20B，示出了在应用本发明中有用的两种典型的重构函数。当皮肤的局部光滑度增加时，比例因子γ也增加，因此使得在皮肤中加入大量纹理。通过改变重构函数的形状和大小，可以给予该增强的皮肤不同的外观。
我们希望修改的大部分皮肤特征对应于谷值特征，即由亮区域包围的暗区域。在大多数例子中，无论与被识别为皮肤特征的像素有关的色彩信息怎样，都要修改皮肤特征，但是有的人不希望从其照片中去掉定义的脸部特征如美人痣。在这些例子中，和该皮肤特征像素有关的色彩信息可以用来确定应该或者不应该去除的皮肤特征的类型。一个可选方法是在图形用户界面中建立一种工具，允许操作者撤消不希望的修改(如去除想要的美人痣)。在一个优选实施例中，用户从工具84的图形列表中选择撤消/重复工具，并且通过定点设备40如鼠标将该撤消/重复工具移至原始图像80中用户想要恢复的皮肤特征位置。单击显示在左边的原始图像80中的该皮肤特征，使得该特征加回到显示在右边的增强图像82中。再次单击原始图形中的恢复的皮肤特征，现在使得该皮肤特征从该增强图像中去除。因此，该撤消/重复工具来回转换工作，假如一个皮肤特征存在于增强图像中，则从该增强图像中去除该皮肤特征，或者假如该皮肤特征不存在于该增强图像中，则将其恢复到该增强图像中。在一个交互式实施例中，该纹理增强滑块92可以设为不增强，而工具84可用来允许用户选择去除哪一种皮肤特征。
在另一个实施例中，该图像用户界面获取和显示包含一张或者多张脸的数字图像。使用任何上述技术来识别和绘制皮肤特征，可以生成皮肤特征图。因此该皮肤特征图表现该数字图像中一张或者多张脸上的皮肤特征。然后使用定点设备指向特定的皮肤特征。该定点设备指向和单击操作之后，对于指向的皮肤特征，在皮肤特征图中定出该特定特征的位置，并初始化由合适的增强过滤器提供的该特征合适的增强。
皮肤色调增强过滤器皮肤色调增强过滤器620(图6)的任务是提高皮肤色调总的外观。该色调过滤器使得不平衡的皮肤色调变得平滑，并产生更加平滑的彩色皮肤色调。另外，使用该皮肤色调过滤器来修改皮肤色调的颜色，以产生更加满意的皮肤色彩表示。这相当于修改皮肤的亮度和色度，以符合皮肤色调再现的个人和文化喜好。另外，相对纹理来说，皮肤色调问题倾向于更大的空间规模。很重要的一点是不要是皮肤色调过于平滑，因为没有亮点和阴影的脸是单调的，容易使人厌倦。
参考图13，示出了根据本发明的皮肤色调增强过滤器的当前实施例流程图。通过自适应地将输入图像I(x)和从模糊步骤1210得到的输入图像的模糊形式Ib(x)相混和(在混和步骤1240中)，该皮肤色调增强过滤器自适应地压缩亮点和阴影，如下所示O(x)＝α(x)Ib(x)+(1-α(x))I(x)(公式21)其中α(x)是系数生成步骤1230中得到的混和系数，x＝(x，y)是像素的位置。对所有的色彩通道应用该混和运算。该混和系数是从阴影/峰值生成步骤1220中得到的在x处的阴影/亮点SH(x)强度图像的函数，如下所示α(x)＝f[SH(x)] (公式22)参考图14，示出了根据本发明计算阴影/亮点强度图像的优选实施例。亮度图像1310减去平均亮度图像1320，产生了步骤1220中的阴影/亮点强度图像。使用公式2计算该亮度图像。该平均亮度图像可以是局部平均亮度图像，或者全局平均亮度。对亮度图像应用模糊过滤器如Gaussian或者箱式滤器的混和过滤器，可以产生局部平均亮度图像，而通过确定由特征点勾画出的皮肤区域内的平均亮度来计算全局平均亮度。当使用局部平均图像来计算该阴影/亮点图像时，该阴影/亮点强度和谷值/峰值图像类似。在一个优选实施例中，用来计算该阴影/亮点图的模糊半径应该比纹理增强过滤器中使用的谷值/峰值检测器的模糊半径或范围大。在任意一个例子中，该模糊半径都取决于脸部的尺寸(这是默认参数的例子)。
在最简单的实施例中，该混和系数是一个常数f[SH(x)]＝α(x)＝α，这是默认参数的例子，如图15A中所示，不依赖于阴影/亮点强度图像。对于降低由灯光和/或油性皮肤引起的亮点和热点，而不改变剩余的阴影区域来说，图15B和15C中示出的混和函数非常有用。
该皮肤色调过滤器也可用来修改皮肤的色彩再现。在当前优选实施例中，通过如下转换色彩分布的平均值和差异，可以修改区域如皮肤区域的色彩C，得到Cmod。
Cmod(x，y)＝k(C(x，y)-C)+Cpreferred(x，y) (公式23)其中向量C(x，y)对应于像素的红(R)，绿(G)和蓝(G)信号，Cpreferred是优选色彩向量，C是当前平均色彩向量，而k是在0和1之间变化的常数。该优选色彩Cpreferred(x，y)可以根据需要修改的皮肤区域进行空间上的变化。
使皮肤区域变亮或者变暗的优选实施例是如下所示改变该皮肤区域的对比度Cmod(x，y)＝Cγ(x，y) (公式24)其中γ值小于1对应于使皮肤色彩变亮，而γ值大于1对应于使皮肤色彩变暗。
使皮肤区域变亮的一个可选实施例为Cmod=C1-γ(1-C)]]>(公式25)以及使皮肤区域变暗的可选实施例为Cmod=1-1-C1-γC]]>(公式26)其中γ在0到1之间变化。
当C以其它色彩空间如CIELAB，YUV，HSV等等来表示时，上述方法仍可适用。另外，可以对C的所有的分量或其子集应用这些公式。当以某种分量涉及亮度(L*)和色度(a*b*)的色彩空间(如CIELAB)表示C时，这尤其正确。
牙齿和眼睛增强过滤器牙齿和眼睛增强过滤器630和640(图6)的任务是增加牙齿和眼睛的亮度和白色度。参考图16，示出了根据本发明的牙齿和眼睛增白过滤器当前优选实施例的流程图。在眼睛/牙齿掩码生成步骤1510中，使用突出脸部特征点420(图4)来生成掩码，该掩码可识别对应于眼睛和牙齿区域的像素。在谷值/峰值图生成步骤1520中，使用输入图像并应用公式14生成谷值/峰值图，在公式14中模糊半径由眼睛间距决定(这是默认参数的例子)。在比例因子生成步骤1530中，使用谷值/峰值图和色彩信息来计算眼睛和牙齿掩码中像素亮度和色度值的比例因子(这是默认参数的例子)。然后在像素修改步骤1540，对眼睛和牙齿区域中像素的亮度和色度应用该比例因子，从而产生新的亮度和色度值。
在当前优选实施例中，将掩码区域中像素的RGB值转换到CIELAB(a*b*)空间，如下所示改变亮点和色度值L*＝L*·(1+kP) (公式27)a*＝a*/(1+kP) (公式28)b*＝b*/(1+kP) (公式29)其中k是上述默认参数，而P是该像素属于眼白或者牙齿的概率。概率P的当前优选表达式如下 (公式30)其中F是使用公式14计算出来的，其中的模糊半径为脸部尺寸的函数，而β是阈值。
在某些图像中，牙齿的颜色非常不均匀和/或两个人眼白的色彩明显不一样。在这些情况下，增加牙齿和眼睛的亮度和白色度可能会产生不必要的负面影响，使得牙齿和/或眼睛的色彩更加不均匀。平衡牙齿和眼睛的色彩和均匀性通常可增加人们对特定脸部照片的主观可接受性。
用来平衡牙齿和眼白色彩和均匀性的当前优选实施例是基于修改皮肤色彩再现所使用的技术(参考前面)。将定义牙齿和眼白的像素的色彩分布的平均值和差异根据公式2 3进行转换，可以修改这些像素的色彩C，得到Cmod。其中向量C(x，y)对应于像素的色彩信号(L，a，b)，Cpreferred是优选色彩向量(Lp，ap，bp)，C是当前平均色彩向量(L，a，b)，而k是在0和1之间变化的常数。如公式23所示，可以对所有三个色彩通道或者可选地对该色彩通道的子集(如仅对L通道)应用这种修改。为了增加亮度和白色度，应该选择优选色彩，使得Lp＞L且该优选色彩的色彩饱和度小于平均色彩向量的色彩饱和度。为了平衡两个眼白，可以对两个眼睛使用同一优选色彩，或者可选地每个眼睛的优选色彩不同，但是两者之间的色彩差小于每个眼睛的平均色彩向量的色彩差。
形状增强过滤器形状增强过滤器650(图6中所示)的任务是修改脸部特征如眼睛，鼻子和嘴巴的形状。使用标准变形技术修改脸部特征的形状，可以增强脸部特征的形状。T.Beier和S.Neely在Feature-Based ImageMetamorphosis，Computer Graphics，26(2)35-42，New York，NY，July，1992，Proceedings of SIGGRAPH’92中给出了可用来实施本发明的变形技术的例子。
形状修改是用来产生更好的脸部外观。例如，假如在图像中眼睛有点闭着电话，使用变形技术将其张开到一定程度会更好一点。同样，增加脸部特征的对称性通常会增加人们对特定脸部照片的主观可接受性。例如，平衡两个眼睛的形状之后，该脸部照片通常具有更高的主观可接受性。同样，改变嘴巴的形状可以修改脸部总体表情，从而产生更好的外观。
参考图19，示出了根据本发明的形状增强过滤器650当前优选实施例的流程图。在源控制点确定步骤1910中，根据勾画需要形状增强的脸部特征(如眼睛)的特征点420(参看图4)，确定用来变形图像的源控制点1810(参看图18A)。在目标控制点确定步骤1920中，确定目标控制点1820。目标控制点1820的位置限定了形状增强图像中源控制点的新位置。目标控制点1820(D1，D2，D3和D4)分别是源控制点1810(S1，S2，S3和S4)的新位置。在变形步骤1930中，使用该源控制点和目标控制点来变形该图像。该目标控制点的位置1820由预期变化的脸部特征形状所限定。例如，假定希望增加眼睛的大小，则如图18A所示定位目标控制点1820。为了更好控制形状变化，如图18B所示，一些控制点可以包括特征点。源控制点S5，S6，S7，S8对应于眼睛特征点。目标控制点D5，D6，D7，D8限定了作为变形结果的新的眼睛形状。源控制点和目标控制点S1和D1，S2和D2，S3和D3，S4和D4是一样的，以限制对边界矩形(S1，S2，S3，S4)内区域进行变形所产生的变化。在优选实施例中，为了平衡眼睛的形状，一个眼睛的目标控制点(D5，D6，D7，D8)必须和另一眼睛的特征点的相对位置相匹配。在该优选实施例中，当改变眼睛形状(如张开眼睛)时，以这样的方式定义左眼的目标控制点(D5，D6，D7，D8)和右眼的目标控制点(D5’，D6’，D7’，D8’，即其中参考字符和图18B所使用的一样，但是加上(’)以指右眼)，使得左右眼之间的相应线段[S5，D5]和[S5’，D5’]，[S6，D6’]和[S6’，D6’]，[S7，D7]和[S7’，D7’]，[S8，D8]和[S8’，D8’]的长度和方向一致，从而保证两个眼睛形状上的变化相同。
在一个当前优选实施例中，通过规定目标控制点1820的位置，该形状增强过滤器的参数可用来限制该脸部特征形状是增大还是缩小。通过增加滑块控制，可以将该形状增强过滤器加入到GUI屏78(参看图1B)中。另外，每个脸部特征可以有一个单独的形状增强滑块。该系统将滑块的位置转换成该形状增强过滤器合适的参数值。向一个方向移动滑块引起脸部特征尺寸减小，而向反方向移动滑块则引起脸部特征尺寸增大。因为对于脸部外观来说对称是非常重要的，因此如上所述，在该优选实施例中，当改变对称脸部特征如眼睛的形状时，确保了形状对称。因此各个滑块的默认位置可以是中间位置，不影响任何形状增强(直到该滑块向一个方向或者另一方向移动)。
在以上描述中，指定了某些参数，可以作为系统默认参数，例如，确定增强过滤器的初始设定和图形用户界面中所使用的滑块的初始设定的参数。选择这些参数不是限制，而仅仅是作为合适的默认参数的例子，不应看成是确定的或者限制的参数组合。本领域的普通技术人员应当清楚，很多参数，包括在本说明书中引用的其它参数，都可以选为和/或指定为默认参数。
附组件列表11 系统12 个人计算机(PC)20 存储媒介28 扫描器30 数字照相机40 输入设备50 显示监视器60 打印机62 服务器65 存储媒介70 通信网络78 图形用户界面(GUI)屏80 原始图像82 增强图像90 外观增强92 纹理增强94 皮肤增强96 眼睛增强98 牙齿增强200初始化步骤205询问和显示步骤210定位步骤215显示步骤220判断步骤225修改步骤230默认设置步骤235执行步骤240用户选择步骤245显示步骤250判断步骤255本地打印步骤
260本地存档步骤265远程打印步骤270远程存档步骤275询问步骤280结束步骤282获取步骤284人脸检测和定位步骤286增强选择步骤288增强执行步骤290脸询问步骤292存储步骤294图像询问步骤310脸部检测模块315脸部特征检测器410被测脸420突出特征点550一般概率图绘制步骤554按比例调节步骤556皮肤色彩概率图绘制步骤558概率图结合步骤570具有一般掩码的中心区域572边缘区域574颈部概率图轮廓576中心区域610皮肤纹理增强过滤器620皮肤色调增强过滤器630牙齿增强过滤器640眼睛增强过滤器650脸部特征形状增强过滤器670前额边界区域定义672创建概率特征图的步骤674结合概率图的步骤
710 皮肤特征生成步骤720 特征修改步骤810 特征选择步骤820 扩大步骤830 过滤步骤910 脸部边界920 扩大的特征930 线段940 特征像素1002-1190针轮过滤器步骤1210模糊步骤1220阴影/峰值生成步骤1230系数生成步骤1240混和步骤1310亮度图像1320平均亮度图像1330相减步骤1510眼睛/牙齿掩码生成步骤1520谷值/峰值图生成步骤1530比例因子生成步骤1540像素修改步骤1810源控制点1820目标控制点1910源控制点确定步骤1920目标控制点确定步骤1930变形步骤2000获取步骤2010显示步骤2020接受/拒绝判断步骤2030交互式修饰模式2040接受/拒绝判断步骤
2050清除步骤2060询问步骤2100完成初始化2105获取步骤2110人脸检测2120脸的合适性判断2130过滤器执行步骤2140增强图像显示2150图像可接受性判断2160增强判断2170交互式增强步骤2180显示无脸图像2190传统图像执行亭处理
权利要求
1.一种用来增强位于数字图像中的脸的外观的批处理方法，其中该图像是由批处理处理的大量图像之一，所述方法包含步骤(a)提供脚本文件，该文件识别一个或多个选择要增强的原始数字图像，其中该脚本文件包括定位每个原始数字图像的指令；(b)使用该脚本文件中的指令，获取包含一个或多个脸的原始数字图像；(c)检测该一个或多个脸中的脸部特征点的位置，所述脸部特征点包括识别包括皮肤，眼睛，眉毛，鼻子，嘴巴和头发中的一个或多个的突出特征的点；(d)使用所述脸部特征点的位置，将脸分割成不同区域，所述不同区域包括皮肤，眼睛，眉毛，鼻子，嘴巴，脖子和头发区域中的一个或多个；(e)确定不同区域的一个或多个脸部相关特征；(f)基于该不同区域的脸部相关特征，选择一个或多个增强过滤器，该过滤器每一个都是为特定区域特别定制的，并为该增强过滤器选择默认参数；(g)对所述特定区域执行增强过滤器，从而在原始数字图像的基础上生成增强的数字图像；(h)存储该增强的数字图像；和(i)生成输出脚本文件，该脚本文件具有指示在对所述增强数字图像执行过的步骤(c)-(f)的一个或多个步骤中的一个或者多个运算的指令。
2.如权利要求1中所要求保护的方法，其中该脚本文件包括用来控制关于每个图像的批处理运算的附加指令。
3.如权利要求2中所要求保护的方法，其中该附加指令识别所述处理可利用的增强过滤器。
4.如权利要求1中所要求保护的方法，其中步骤(c)-(e)中的一个或多个步骤产生存储的中间图像，而该脚本文件包括定位该存储的中间图像的指令。
5.如权利要求4中所要求保护的方法，其中该脚本文件包括删除该原始图像，该中间图像和该增强图像中的一个或多个的指令。
6.如权利要求1中所要求保护的方法，其中使用元数据将该原始数字图像提供给批处理，该脚本文件包括定位该图像的指令。
7.如权利要求1中所要求保护的方法，进一步修改为适合在用户辅助的批处理中进行交互式修饰，所述方法进一步包含步骤获取用来定位原始和增强数字图像的输出脚本文件和指令；获取增强和原始数字图像；使用输出脚本文件中的数据，比较地显示增强数字图像和原始数字图像；提供交互式模式，用来检查该图像并决定接受或者拒绝该增强图像；假如前一步骤中的决定是拒绝该增强图像，则提供交互式修饰模式来修改图像，通过交互式地调整权利要求1中的步骤(c)到(f)中的一个或多个，以产生修饰的图像；和存储该修饰的数字图像。
8.如权利要求7中所要求保护的方法，进一步包括权利要求1中生成标记以表示该增强图像的可接受概率的步骤，其中该标记可用来确定为权利要求7中的交互式修饰获取哪一个增强图像。
9.如权利要求8中所要求保护的方法，其中可接受概率和提供给该数字图像的增强量有关。
10.如权利要求7中所要求保护的方法，进一步包括权利要求1中生成标记以表示该增强图像状态的文字描述的步骤，其中该标记可用来确定为权利要求7中的交互式修饰获取哪一个增强图像。
全文摘要
一种用来增强位于数字图像中的脸的外观的批处理方法，其中该图像是通过批处理处理的大量图像中的一个，该方法包括步骤(a)提供脚本文件，该文件识别一个或多个选择要增强的原始数字图像；(b)使用该脚本文件中的指令，获取包含一个或多个脸的原始数字图像；(c)检测一个或多个脸中的脸部特征点的位置；(d)使用脸部特征点的位置，将脸分割成不同区域；(e)确定不同区域的一个或多个脸部相关特征；(f)基于该不同区域的脸部相关特征，选择一个或多个增强过滤器，并为该增强过滤器选择默认参数；(g)对特定区域执行增强过滤器，从而在原始数字图像的基础上生成增强的数字图像；(h)存储该增强的数字图像；和(i)生成输出脚本文件。
文档编号G06T5/20GK1525401SQ200410007639
公开日2004年9月1日 申请日期2004年2月27日 优先权日2003年2月28日
发明者R·A·西蒙, T·马特拉斯泽克, R A 西蒙, 乩 乖罂 申请人:伊斯曼柯达公司