专利名称：用于增强人像图像的方法和系统的制作方法
技术领域：
本发明通常涉及数字图像处理领域，尤其是涉及来源于目标人的人像类型图像生成改善的图像产品。
背景技术：
数百年以来，只有上流社会富有的或者特权阶层有能力去雇用熟练的工匠以颜料、雕塑和绘图费劲地产生精巧的肖像。在很多情况下，肖像画提供一个大于满意的实际肖像简易生成的目的。以细微的或者明显的方法，该画家的工作将与目标对象的意愿和目的进行交互。第二类的艺术破格包括对实体的改进。因此，目标对象被以这样的一种方式再现，使得将其物理缺陷减到最少，并且呈现出最有吸引力的可允许的外部特性。
在现代社会，肖像画已不再是富人和强权的独占的领域。摄影术的出现进入社会的所有阶层，已经反映出人像图像的生成是一个许多生活的主要事件无所不在的一部分。在西方文化中，婚礼、毕业、生日、婴儿的到来等等，所有这些事件通常被以相对标准化的人像图像捕捉。虽然技术状态允许个体业余爱好者去捕捉，并且甚至增强诸如这些图像，仍然存在专业摄影师类别，其提供生成高质量的人像图像。并不令人惊讶，该肖像专家的目的仍旧与过去几百年相同，去以最令人喜爱的可能的方式呈现该目标对象。实质上，该目标对象想要成为被视为他们想要的样子，而不是他们实际上的样子。
应人们渴望被视为他们希望的样子的要求，而不是以他们实际上的样子，专业摄影师采取修饰该人像图像以给出人们他们更喜欢的外部特征。修饰包括以某些方式改变摄影图像，即在原始摄影图像中没有捕捉或者描述的图像。修饰人像图像的一个目的是通过除去暂时性的瑕疵，诸如在眼睛下面的斑痕或者深颜色眼圈，或者除去永久的瑕疵，诸如黑痣或者皱纹，使人看上去漂亮，同时仍然保持该个体的个性。除去面部的斑痕、黑痣和疮疤，使线条和皱纹柔和，减小在眼睛下面的眼袋，弄白牙齿和眼白是实施去在人像图像中改善或者增强个体的外部特征修饰的例子。
在出现数字信息时代之前，通过在人像图像中使用着色去掩盖或者改变瑕疵而修改该图像，或者在底片或者打印的图像上实施图像修饰。因为数字图像捕捉设备是很常用的，经由在该捕捉的数字图像上实施数字图像技术是优选的修饰方法。数字方法允许或者非常难做的或者先前在模拟图像上不可能实施的增强被实施。图像编辑软件，诸如Adobe Photoshop可用于通过除去斑痕、弄直鼻子、使眼睛平衡以及施加数字化妆使人像优美。
在计算机技术和图像处理算法方面中的改进允许新类别的自动和半自动化的图像增强。关于该人像图像的目标对象，相关的技术改造包括面部检测和识别，面部的特征检测和实施表征码(mask)，面部重新定位和红眼检测以及校正。
在公开的PCT专利申请WO 00/76398 A1，“皮肤图象分析系统和方法”中Hillebrand等人公开了一种系统，其可以检测皮肤疵点并且计算皮肤纯洁指标(skin severity index)。这个系统朝着瞄准化妆品和皮肤维护的方向。该系统还可以模拟改善疵点皮肤区域，当使用推荐的消除或者隐藏该皮肤疵点的治疗或者产品时其将被实现。该皮肤疵点被使用色彩信息检测，并且标准形态技术被用于在疵点的皮肤区域中模拟改善。
在公开的欧洲专利申请EP1030276 A1，“校正面部图像的方法、化妆模拟方法、化妆方法、化妆配套设备和基础贴花薄膜”中，Utsugi描述了一种基于一个所希望的面部或者一个模型面部，用于经由图像处理制定一个理想的化妆后的面部的方法。该技术包括制作明亮部分，和接近于所希望的面部或者在通过化妆修改可能的范围之内模型面部的眉毛的造型、眼线以及唇线。
这样的系统的缺点，尤其是用于一组肖像画使用的系统，例如，用于婚礼、毕业、学校和运动图像、生日、婴儿的到来等等，需要与该用户进行密切交互以便输入选择和评估结果。例如，在Utsugi中，该化妆用户的仪态要求根据该模型面部来形成，该模型例如，从流行的天才、女演员或者男演员中被选择出来，并且进行不同的调整制作来达到该模型面部。此外，一个技术熟练的操作员被要求同该用户一道工作去产生一个满意的结果。
因此，即使出现数字图像，修饰人像是一个它本身的技巧，并且迄今比一个学科保持更多的艺术形式。此外，修饰人像图像的处理是由技术熟练的操作员实施的高度人工并且费时的过程。因此，有益地去开发一种系统，其使用自动和半自动化的人像图像增强方法以能够容易地修饰人像。本发明通过提供用于自动增强在图像中目标对象的外部特征的方法和系统解决上述当前技术的缺点。
发明内容
本发明的目的是克服以上陈述的一个或多个问题。简要地综述，按照本发明的一个方面，一种用于增强位于数字图像中面部的外部特征的修饰方法，包括步骤(a)获取一个包括一个或多个面部的数字图像；(b)检测在一个或多个面部中面部特征点的位置，所述面部特征点包括标识显著的特征的点，该显著的特征包括皮肤、眼睛、眉毛、鼻子、嘴以及头发之中的一个或多个；(c)使用该面部特征点的位置去分割面部为不同的部位，所述不同的部位包括皮肤、眼睛、眉毛、鼻子、嘴、颈部以及头发部位之中的一个或多个；(d)确定一个或多个面部相关的表示不同的部位的特征；(e)基于该确定的面部相关的表示该面部不同的部位的特征，选择(1)两个或更多的增强型滤波器，每个尤其专用于一个特殊的部位，和(2)用于该增强型滤波器的缺省参数；和(f)在该特殊的部位上执行该增强型滤波器，从而从该数字图像产生一个增强的数字图像。
本发明的优点是高效地使用自动和半自动化的人像图像增强方法，去无需熟练的操作员干预能够制作和监控该修饰校正来修饰人像。因此，避免了由熟练的操作员实施的高度人工和费时的过程，并且该修饰方法可以用于批处理。
从阅读下面的优选实施例和附加的权利要求的详细说明以及参考伴随的附图，将更清楚地了解和理解本发明的这些及其他方面、目的、特点和优点。
图1A和1B分别是一个用于实践本发明的系统和供该系统使用的一个图形用户界面。
图2A是一个以可选择的用户干预度用于实施本发明实施例的流程图。
图2B是一个无需用户干涉用于以批处理方式自动实施本发明实施例的流程图。
图3是一个在图2A和2B示出的面部检测和面部点定位步骤的流程图。
图4是一个用图表示的例子，示出在一个检测的面部上特征点的位置。
图5A是一个用于确定颈部部位方法的流程图。
图5B-5D是用图表示的例子，它们可视地举例说明该最后的颈部概率图的产生过程。
图6是一个在图2A和2B的流程图中举例说明的系统中使用的增强型滤波器的集合体的示意图。
图7A是一个用于在图6中示出的皮肤肌理(skin texture)增强滤波器的流程图。
图7B是一个像素邻接的示意图，包括由该皮肤肌理增强滤波器使用的波谷边缘滤波器kernal。
图8是一个示出按照本发明选择和修改皮肤特征的优选实施例的流程图。
图9是一个针轮滤波器的用图表示的例子，举例说明围绕一个疵点像素划定的线段。
图10A和10B一起表示一个流程图，举例说明利用图9的针轮滤波器用于估算对于疵点像素校正值的过程。
图11是举例说明一个在图10举例说明的过程中用于计算新的像素值的优选实施例的流程图。
图12是一个举例说明在图9示出的针轮滤波器中经由特征像素用于产生线段的过程的流程图。
图13是一个如图6所示的肤色增强滤波器的目前优选实施例的流程图。
图14是一个供在图13示出的肤色增强滤波器中使用的计算阴影/高亮强度的目前优选实施例的流程图。
图15A、15B和15C说明几个功能，示出在图13示出的该皮肤增强滤波器中使用的不同的混和系数的结果。
图16是一个在图6示出的牙齿和眼睛增强滤波器的目前优选实施例的流程图。
图17是说明在该皮肤肌理增强滤波器中使用的混和功能。
图18是用图表示的在进行眼睛的形状调整中使用的控制点的例子。
图19是一个用于如图6所示的形状增强滤波器的目前优选实施例的流程图。
具体实施例方式
因为利用面部特征检测和特征增强的图像处理系统是为大家所熟知的，当前的说明书将提出尤其是形成为按照本发明的方法和系统的一部分的特性，或者更直接地与按照本发明的方法和系统配合。在此处特性没有明确地示出或者描述，可以从那些在该技术中的认识中被选择出来。在下面的描述中，本发明的优选实施例通常将作为软件程序执行，虽然那些本领域技术人员容易地理解这样的软件的等效也可以以硬件构成。在下面的资料中给出作为按照本发明描述的系统，在此处没有明确地示出、提出或者描述的软件是常规的，并且在这样的技术中在常规的技术之内，该软件对于实现本发明是有用的。作为术语的问题，在本发明的说明书中，作为在数字图像中增强面部的视觉外部特征存在参考增强型滤波器。例如，一个眼睛增强型滤波器是一种增强该眼睛的眼白和/或虹膜颜色的方法。
如果本发明作为一个计算机程序执行，该程序可以存储在常规的计算机可读存储介质中，它可以包括，例如磁存储介质，诸如磁盘(诸如软盘或者硬盘)或者磁带；光存储介质，诸如光盘、光带或者机器可读的条形码；固态电子存储设备，诸如随机存取存储器(RAM)或者只读存储器(ROM)；或者采用去存储计算机程序的任何其他的物理设备或者介质。
图1A举例说明一个在实践本发明中有效的系统10。该系统10包括一个包括中央处理单元(CPU)的个人计算机PC12，它可以执行一组实现本发明的方法预先确定的步骤。也提供了一个数字存储介质20与PC12相连，用于存储数字图像。该数字存储介质20可以包括不同类型的设备，诸如RAM、ROM、硬和软盘驱动器等等。该数字存储介质20还可以用于在本地存储产生的增强图像。此外，还可以提供数字图像捕捉设备诸如扫描仪28和数字式摄像机30到计算机12，扫描仪28和数字式摄像机30是数字图像附加的信源。但是，应该明白，该数字图像可以从任何信源中获得。用户与计算机12经由诸如鼠标和/或键盘的输入设备40相互作用，并且显示监视器50连接到计算机12。该系统10还可以包括一个诸如打印机34的设备，用于在本地输出该图像。典型地，在被直接连接到该PC12的意义上，以上所述的组件将保存在该PC12上。
做为选择，以上所述的组件不必都保存在该主计算机12上，而是可以保存在一个服务器62上，该服务器62可以经由通信网络70连接到客户PC12。该服务器还可以包括一个中央处理单元(CPU)，它可以执行一组实现本发明方法预先确定的步骤。该服务器还可以连接到存储介质65和一个或多个打印机60。使用连接到服务器62的该存储介质65和打印机60，经由该通信网络70这可以允许图像被遥远地获取、存储和打印。用于实现本发明的该软件典型地被存储在存储介质20上。做为选择，这个软件可以经由该通信网络70被从该服务器下载。用于实现本发明的软件可以被或者在该客户上使用包含在PC12中的CPU执行，或者在该服务器方上使用包含在该服务器62中的CPU执行。该通信网络70可以包括一个专用通信网，诸如局域网(LAN)，或者一个公共网络，诸如因特网，它们可以由一个个人使用因特网服务提供者(ISP)访问。在这样的网络中按照常例，该远程网络服务提供者还可以由用户使用零售亭或者任何其他适当的通信设备访问。
图1B示出一个用于执行本发明软件的图形用户接口(GUI)的例子，该软件在本地在该系统10上或者遥远地在该服务器62上运行，并且产生一个如图1B所示的GUI屏面78。该用户装入该软件并且下载一个要增强的图像，当该图像被下载的时候，该图形用户接口屏面78被显示在显示器50上。在该GUI屏面78左边的图像80是带有要由本发明的方法增强的面部原始下载的图像。在右边，给出一个带有增强面部的图像82。在一个实施例中，当该图像被下载的时候，该用户敲击要增强的面部80的眼睛。如将在稍后详细描述的，作为响应，该系统自动地查找面部的特征点，并且分割该面部为不同的特征(例如，眼睛、眉毛等等)以及颈部。该系统建立缺省参数，并且以一个预先确定的顺序施加所有的增强型滤波器给该原始图像。
该结果图像82被显示在该GUI屏面78的右侧上。该滑动器90、92、94、96和98允许用户交互地改变不同的增强型滤波器的参数。该滑动器的初始位置对应于该缺省值，由该系统自动地设置。该主要外部特征增强器滑动器90组合所有的组件增强滑动器。该组件滑动器包括一个皮肤肌理增强器滑动器92，一个皮肤增强器滑动器94，一个眼睛增强器滑动器96以及一个牙齿增强器滑动器98。该皮肤肌理增强滑动器92控制该皮肤肌理增强型滤波器的参数。该皮肤增强器滑动器94控制该肤色增强型滤波器的参数。该眼睛增强器滑动器96和该牙齿增强器滑动器98分别控制眼睛和牙齿变白滤波器的参数。在下面的章节中将详细描述所有的增强型滤波器。对于所有的滑动器的最小值和最大值被分别设置为“不增强”(例如，在每个滑动器的左末端)和“最大增强”(例如，在每个滑动器的右末端)。
通过使用一个通用的外部特征增强器滑动器90或者独立的组件滑动器92-98，该用户可以控制面部增强的程度和神情。每当该用户改变主要外部特征增强器滑动器90的位置的时候，该系统映射该滑动器的位置为该增强型滤波器适当的参数值，并且以预先确定的顺序施加所有的增强型滤波器给该原始图像。然后该增强的图象82被显示在该GUI屏面78的右侧上。每当该用户改变该组件增强器滑动器92-98的一个，该系统基于每个组件增强器滑动器的位置以预先确定的顺序施加所有的增强型滤波器给该原始图像。然后该增强的图象82被显示在该GUI屏面78的右侧上。在该优选实施例中的GUI结构的一部分是修改面部特征点和颈部轮廓的任选项。当用户从GUI屏面78的顶端条形图中，从菜单“编辑”选择选项的时候，面部的特征点和颈部轮廓点被叠加在该原始图像80上，通过使用用户输入设备40，诸如指示设备，该用户可以改变显示的点的位置。该工具栏84包括专用的工具，该用户可以使用去其与显示的图像相互作用，并且修改该显示的图像。例如，一个用于放大和缩小的工具，一个用于编辑特征点的工具，一个以增强的图像局部混和该原始图像的混和工具，一个用于间隙地修改增强型滤波器结果的工具等等。
图2A是一个简略流程图，举例说明一个按照本发明的增强人像图像方法的实施例。在步骤200开始该过程之后，在获取和显示步骤205由系统获取一个数字图像，然后显示在该显示监视器50上。在本发明中，数字图像不仅涉及从图片中获得的图像，而是涉及没有限制从任何的信源获得的数字图像，例如，从数字式摄像机，硬拷贝图像的扫描，或者用电子学方法来源于另一个信源。在定位步骤210中，在图像中该个体的面部被检测，并且在每个面部上的面部特征点的位置被标识。面部和其相关的特征点的定位过程可以由用户使用图像处理技术手动地或者半自动地或者自动地执行。该面部特征点的位置被用于标识和分割该面部为不同的部位(诸如皮肤、眼睛、鼻子、嘴、头发等等)以及颈部。在显示步骤215，该面部的特征点被叠加在该图像上，并且显示在该显示监视器50上。选择性地，描绘该颈部轮廓的特征点也被显示。如果该面部的特征点被自动地或者半自动地确定，在判断步骤220该用户有机会判断是否该特征点需要被调整。如果该用户判定特征点需要被调整，在修改步骤225，该用户可以使用输入设备40调整该面部的特征点。选择性地，该用户也可以调整描绘该颈部轮廓的特征点。
在默认值设置步骤230，该系统使用面部特征点的位置去标识和分割该面部为不同的部位，诸如皮肤、眼睛、鼻子、嘴、头发、面部的头发等等，并且确定用于该增强型滤波器适当的缺省参数。在优选实施例中，基于面部特征点的位置该颈部被自动地分割。稍后将详细描述分割颈部的方法。因此，在步骤230，该系统也确定适合于颈部用于增强型滤波器适当的缺省参数。选择性地，在这个阶段，该面部的性别和年龄可以使用性别和年龄类别算法手动地或者自动地确定。一个自动性别类别的例子被在Proc.of4th IEEE Int′l Conf.On Face &Gesture Recognition，2000年3月，B.Moghaddam和M.H.Yang的“GenderClassification with Support Vector Machines”中描述，其被作为参考合并在此处。用于年龄类别工作的典型的算法通过执行一个目标对象的面部的数字图像的分析，用于特殊的详细的面部特征，诸如面部的特点比率和皱纹分析。一个可用于实践本发明的自动年龄分类器被在Lobo和Kwon的美国专利No.5,781,650中公开，其作为参考被合并在此处。性别和年龄分类可用于选定增强型滤波器应该连同性别专用的参数一起执行的参数。例如，作为一个默认值，与男性面部相比，大量的皮肤肌理和皮肤增强可以被施加于女性的面部。
然后，在执行步骤235该系统使用该适当地选择的参数执行该增强型滤波器。做为选择，如虚线所示，在用户选择步骤240，该用户可以判断增强型滤波器应该连同用于该增强型滤波器适当的参数一起执行。在步骤235该系统完成执行该增强型滤波器之后，该增强的图像被显示在显示监视器50上的显示器245中。此时，该用户可以判断是否该增强的图像是满意的。如果该图像不是满意的，用户可以选择在用户选择步骤240或者去改变该增强型滤波器和/或其参数，或者在修改步骤225调整该面部的特征点的位置。在一个实施例中，该用户可以选择在其上具有该图像给定的增强型滤波器顺序地执行不同的增强型滤波器去了解效果。在这个实施例中，该用户将经由步骤240、235、245、250循环，改变该增强型滤波器和参数，直至获得一个满意的结果。如果在判断步骤250该增强的图像被认为是满意的，该用户可以选择或者在本地打印步骤255去在打印机34上本地打印，或者在本地存档步骤260在存储介质20上在本地存档。做为选择，如果该系统经由通信链路70被连接到服务器62，该用户还可以选择或者在远程打印步骤265在打印机60上遥远地打印，或者在远程存档步骤270在存储介质65上遥远地存档。在该适当的动作已经选择和完成之后，该系统查询新的图像(查询步骤275)的存在，并且取决于该响应，循环返回到获取和显示步骤205，用于下一个图像或者结束该处理(结束步骤280)。
图2B示出一个按照本发明增强人像图像的替换实施例，其更有助于在商业摄影用的设施上高度自动和有效生产。这个实施例描述了一种无需用户干预经由该人像增强系统用于运算许多图像的自动批处理。在获取步骤282，一个图像被从已经选择要增强的图像列表(计算机文件)中获取。在面部检测和定位步骤284，在图像中的面部被自动地检测，并且在每个面部上的面部特征点的位置被自动地标识。在增强选择步骤286中，该系统表征该面部并且确定适当的增强型滤波器的集合体，以及用于该增强型滤波器的缺省参数。选择性地，在这个阶段，该面部的性别和年龄可以使用性别和年龄分类算法(如在上文中描述的)被自动地确定。
做为选择，在图像中该面部的年龄和性别可以经由与该图像有关的元数据被提供给系统，例如，年龄和性别可以被从一个提供洗印照片封套的用户提供或者通过别的方式查询该用户。在执行增强处理之前，该默认滤波器和参数还可以被作为随元数据而定的图像或者作为一个独立设置的图像提供。然后，在增强执行步骤288，该系统使用该适当地选择的参数执行该增强型滤波器的集合体。如果在该图像中存在一个以上的面部，这个事实在面部查询步骤290被注释，并且该系统经由步骤286、288以及290重复，直至在该图像中所有的面部被增强。在存储步骤292，该增强的图像被存储。增强该图像的过程被继续直至所有的输入图像已经被增强(图像查询步骤294)。在所有的图像已经被处理(结束步骤296)之后，该增强的图像可以被应用于在图2A示出的应用级255-270。选择性地，在所有的图像已经被处理(结束步骤296)之后，该增强的图像能因此被纳入该用户交互系统，如在图2A描述的，被查验，并且是否在该应用级(在图2A中的步骤255-270)之前有必要修改。
图3是一个用于图2A和2B的面部检测和点定位步骤210的流程图，示出存在于按照本发明的图像中的面部上突出的面部特征点的定位处理。一个面部检测模块310适用于该数字图像去在存在于图像中所有的人的面部上标记位置和大致的尺寸，并且一个面部特点检测器315在该检测的面部上定位该突出的面部特征点。该面部检测步骤可以使用已经记载在学术的文献中许多的面部检测方法的一个由该用户手动或者自动地执行。一个优选的用于这个应用的自动面部检测方法由在HenrySchneiderman，A Statistical Modelfor 3D Object Detection Applied toFaces and Cars.Ph.D.Thesis Robotics Institute，Carnegie MellonUniversity，2000年5月中描述的方法组成，其作为参考被合并在此处。做为选择，如果一个手动方法被用于检测面部，优选的方法是供用户去敲击存在于该图像中一个或多个面部的两个眼睛。该眼睛的空间间隔可用于估算面部的大小。
下面检测一个或多个面部，每个面部的图像坐标和估算的尺寸被依次提供给该面部特征检测器315，该面部特点检测器315具有在检测的面部上定位突出的面部特征点的任务。在该优选实施例中，一个有源的形状模型被用作面部特征检测器。该有源的形状模型被在A.Lanitis，C.J.Taylor，和Cootes的“Automatic interpretation and coding of faceimages using flexible models”，IEEE Trans.on PAMI，Vol.19，No.7，pp 743 756，1997年中描述，其作为参考被合并在此处。该检测的特征点被用于标识、略述和分割该面部的不同的部位，诸如面部的皮肤部位、眼睛、鼻子、嘴、眉毛、头发、面部的头发等等，以及颈部。该检测的部位被通过相应的二进制表征码标识。该部位的二进制表征码然后被空间地装饰以产生α表征码。该α表征码被在步骤235和288使用以随该原始图像混和该增强型滤波器(例如皮肤肌理增强型滤波器)的结果。在混和操作中装饰二进制表征码并且施加该结果α表征码确保在已经增强和没有增强的部位之间平滑过渡。为了产生α表征码，该二进制表征码被通过以一个模糊函数模糊该二进制表征码而装饰，这里该模糊界限是基于该脸的尺寸选择的。如图2A和图2B所示，该二进制表征码被用于确定在哪里去间隙地施加该增强型滤波器。
参考图4，示出了一个可视的在检测的面部410上特征点420的位置的例子。典型地，这些面部的特征点被使用图像处理技术或者手动或者自动地定位。
在许多的图像中，不仅施加该皮肤增强型滤波器给面部部位而且给颈部是关键性的。在目前的优选实施例中，该颈部是通过合成修改的通用颈部形状模型与肤色分类器而确定的。用于确定颈部方法的流程图在图5A中示出。在通用绘图步骤550，一个用于颈部的通用概率图被产生。通用的颈部概率图是以该颈部形状的先验知识为基础的。在该优选实施例中，一个通用概率图是通过平均标准化图像的抽样总体产生的，该标准化的图像的抽样总体代表要增强的(例如，人像类型图像)图像的预期的总体。该采样图像是通过定标每个图像与该眼睛相同的预先确定的位置标准化的。在每个采样图像中，一个颈部被手动地略述。如果给定的像素是颈部的一部分，用于每一个像素该最后的颈部概率是计分函数的平均求和等于1，否则对于所有的采样图像等于0。一个通用颈部概率图可以使用渐进的近似值产生。如果在该图像中人的性别是已知的，在该优选实施例中，不同的概率图用于男人和女人。通常，在女人的人像中皮肤部位比男人更直观。在定标步骤554中，一个通用颈部概率图被定标以适合个体的下巴线条和面部轮廓的特征点。
在肤色分类步骤556中，一个颈部概率图被基于颜色分割产生。一个基于像素的监控颜色分类器被采用去标记在肤色规定的间隔之内所有的像素。该基于像素的颜色分类器被造型为一个高斯型的，其是归于皮肤的像素颜色C的条件概率函数，P(C|skin)=12π|Σskin|1/2exp[-12(C-μskin)TΣskin-1(C-μskin)]]]>(等式1)这里均值向量u和协方差矩阵M被从限定的皮肤部位估算。该矢量C对应于像素的红(R)、绿(G)和蓝(B)信号。当C被以其他的颜色配置，例如CIELAB、YUV、HSV等等表示的时候，上述的方法也是可应用的。该面部皮肤部位的一个子集被用于确定有条件的皮肤概率分布。在目前的优选实施例中，在眼睛之上的皮肤部位和被检测的面部的毛发的皮肤部位被排斥在等式EQ.1中使用估算均值向量p和协方差矩阵M之外。该颈部概率被按照等式EQ.1对于在面部部位外边和在下巴线条下面所有的像素限定，否则等于0。
在最后的绘图产生步骤558，该最后的概率图是通过合成该定标的通用颈部概率图和该基于肤色的概率图产生的。在该优选实施例中，二个概率图是用算术方法逻辑乘的。该结果的颈部概率图被用作一个α通道，去确定如何去混和该增强型滤波器的结果与该原始图像。该二进制颈部表征码是通过取最后的颈部概率图阈值产生的。如果对于给定的像素该概率大于0，该相应的表征码值等于1，从而表示该颈部，否则该表征码值等于0，从而表示非颈部。该二进制颈部表征码被用于确定在哪里去施加该增强型滤波器。
图5B-5D示范可视地产生该最后的颈部概率图的过程。参考图5B，示出了一个定标的通用颈部概率图。一个通用概率图被定标去和描绘面部轮廓的个体特征点相配。一个通用颈部概率图是以相对于如在先前的章节中描述的面部轮廓的颈部位置的先验知识为基础的。在图5B示出的该通用颈部概率是一个以渐进的规则而不是在先前的章节介绍的统计分析为基础可能的例子。其可作示范该过程品质特性的目的之用。在该通用表征码之内的中心部位570对应于该颈部的高的概率具有高的值(例如大于0.5和小于或等于1)。对应于该颈部的低的概率边界部位572具有低的值(例如，大于0小于0.5)。在该部位572的外边，该颈部的概率渐渐减少至0值。通常，该概率在水平方向和在垂直方向自上而下以连续的方式从部位570的中心至部位572的边缘减少。正好在该下巴线条下面的该框罩的中心部位具有与其有关最大的概率。
一个由肤色分类器确定的颈部概率图的轮廓574在图5C中示出。如在先前的章节中描述的，基于概率的该肤色是按照等式EQ.1计算的。在该轮廓部位574外边的概率值等于0。在该部位574之内的概率值大于0，如由等式EQ.1限定的那样。该二个颈部概率图该定标的通用颈部概率图和以肤色分类为基础的该颈部概率图通过该二个的乘法运算被合成。产生的最后的颈部概率图的轮廓被在图5D中示出。该中心部位576对应于由肤色概率部位574剪切的高概率部位570。该部位578对应于由肤色概率部位574剪切的低概率部位572。
一旦已经定位该面部的特征点和颈部，外部特征增强型滤波器的一个集合体(即，两个或更多)可以被应用于在图像中的面部和颈部。参考图6，示出了几个不同的增强型滤波器。在优选实施例中，下列增强型滤波器被执行皮肤肌理增强型滤波器610、肤色增强型滤波器620、牙齿增强型滤波器630、眼睛增强型滤波器640以及面部的特征形状增强型滤波器650。在该说明书的下列章节中将详细描述所有的这些滤波器。该增强型滤波器可以被以任何顺序适用。在一个实施例中，该用户可以以任何顺序选择任何一种增强型滤波器，他/她想要施加它们给在图像中的面部和颈部。但是，在该优选实施例中，该系统设置一个和适当的参数一起施加增强型滤波器的默认顺序。
如果用户选择运行默认设置，那么所有的增强型滤波器被与该缺省参数一起以该默认顺序施加，并且该增强的图像被显示在该监控器上。增强型滤波器的默认顺序如下皮肤肌理增强型滤波器、肤色增强型滤波器、牙齿和眼睛变白滤波器(以两种顺序)以及面部的特征形状增强型滤波器。在下面的章节中该增强型滤波器被以与施加滤波器给原始图像的默认顺序相同的顺序描述。
皮肤肌理增强滤波器该皮肤肌理(skin texture)增强滤波器的任务是平滑该皮肤的局部皮肤肌理，除去污点、暗斑等等，并且或者除去或者减轻皱纹的幅度和深度。参考图7A，示出了一个用于按照本发明的皮肤肌理增强滤波器的流程图。在皮肤特点产生步骤710中，在由面部特征点描绘的皮肤部位之内的该皮肤特点被检测。然后，该检测的皮肤特征被在特征修改步骤720改动。皮肤特征布局图包括我们希望去改动的特征，诸如污点、暗斑、皱纹等等。
在现有技术中，颜色分析被用于探测专门的皮肤疵点。同样在现有技术中，皮肤疵点的检测是通过解析颜色信号的频率曲线执行的，该颜色信号与包括在滑过该皮肤部位有限的2维窗口之内的像素有关。如果发现其相关的频率曲线是双峰的，该部位被认为是包括一个皮肤疵点。由于这些技术使用颜色信息作为其初级检测装置的一部分，其要求该成像系统是颜色校准的和/或要解析的该图像要恰当地色度调节。当控制的光和/或颜色滤波器被用于捕捉该图像的时候，使用颜色信息的功效被增强。此外，如果该检测的疵点将要被进一步分类为污点、褐色点等等，基于该疵点的颜色，准确的颜色再现是有必要的。
在图片中，该皮肤瑕疵，诸如皱纹、污点等等表明它们自己作为(实际上正好是)高亮和它们不应该在的位置的阴影。因此该皮肤瑕疵对应于局部极大和极小亮度。该高亮对应于波峰并且该阴影对应于在该亮度图像中的波谷。在背离现有技术的过程中，并且按照当前发明的优选实施例，通过施加峰值和谷值检测器给由分量红绿蓝信号形成的亮度图像，皮肤瑕疵被检测。波谷/峰值检波器是二阶差分控制器。该亮度被定义为红R、绿G和蓝B信号的加权线性组合，如同下述，L＝K1R+K2G+K3B(等式2)这里K值代表该加权。目前优选的用于产生该亮度图像的加权是k1＝k2＝k3＝0.333。波谷/波峰控制器的例子可以在IEEE科研报告集，Vol.73，No.4，1985年4月，D.E.Pearson和J.A.Robinson的“VisualCommunication at Very Low Data Rates”中找到。
目前优选的波峰/波谷控制器是由皮尔森等采用的类型的一连串的四个方向性的控制器。一个垂直运算符V由等式EQ.3限定，其被施加于在图7B中示出的5x5邻近像素的该中央像素m，这里该像素位置被指定为a至y，如同下述，V＝f+k+p+j+o+t-2(h+m+r)(等式3)这个运算符被施加在描绘的皮肤部位中的每一个像素位置上。类似地，一个水平运算符H的形式在等式EQ.4中示出，并且一对左右斜的运算符DL和DR如等式EQ.5和EQ.6所示。各自地被施加在描绘的皮肤部位中的每一个像素位置上，如同下述，H＝b+c+d+v+w+x-2(l+m+n)(等式4)DR＝c+g+k+o+s+w-2(i+m+q)(等式5)DL＝c+i+o+k+q+w-2(g+m+s)(等式6)这些运算符不仅检测波谷/波峰，而且它们也具有一个对于边缘底部/肩部的再次响应。因此，它们被称为valedge/peakedge检测器。Valedge特征对应于该运算符输出的正值，反之peakedge特征对应于负值。一个仅对波谷/波峰敏感的波谷/峰值检波器是对运算符施加逻辑条件获得的。对于垂直波谷，该逻辑波谷检测器的一致性是由以下给出如果(f+k+p)＞(h+m+r) 并且(j+o+t)＞(h+m+r)那么V＝(f+k+p+i+o+t)-2(h+m+r)(等式7)否则V＝0对于垂直峰值，该逻辑峰值检波器的一致性是由以下给出如果(f+k+p)＜(h+m+r) 并且(j+o+t)＜(h+m+r)那么V＝(f+k+p+j+o+t)-2(h+m+r)(等式8)否则V＝0用于水平和斜的波谷/波峰的逻辑检测器具有类似的形式。波谷/波峰和valedge/peakedge运算符两者对于产生按照本发明的皮肤特征布局图是行之有效的。从这点上，对于我们使用的术语波谷/波峰运算符涉及波谷/波峰和valedge/peakedge运算符两者。
在施加该定向波谷/波峰滤波器给图像之前，通过施加一个噪声减低滤波器抑制在该图像中的噪声效应。适当的噪声滤波器是低通滤波器、中值滤波器及其他通常在数字图像中采用去降低噪声的线性和非线性的滤波器。
由该运算符产生的该定向波谷/波峰图像被阈限以便仅保留(强的)相关的皮肤特征。对于波谷特征图，具有小于规定的阈值Tv值的像素被置零。对于波峰特征图，具有大于规定的阈值Tp值的像素被置零。该阈值可以或者是一个固定的通用阈值或者是一个自适应阈值。目前优选的阈限方法是使用一个自适应阈值，其值由等式EQ.9给出。
T＝βLavg(等式9)这里B是一个常数，并且Lavg是在该像素周围的局部平均亮度。不同的B值可以用于垂直、水平和斜的分量。该局部平均亮度Lavg可以是该像素本身的值或者像素邻域的平均亮度，例如像素的3×3邻域。
目前优选的步骤是通过合成独立的定向特征图去产生一个合成的皮肤特征布局图。
F＝max{H，V，DR，DL}(等式10)另外，在F中的每一个像素可以被按照其发源于定向的滤波器标注。该定向标号数据和/或该独立定向皮肤特征图可以在除去诸如皱纹的特征中是有用的，这里特殊的方向特征被优先地除去。
该皮肤肌理增强滤波器的任务是平滑该皮肤的局部皮肤肌理。该皮肤肌理增强滤波器的皮肤肌理的空间尺寸是随该面部的尺寸而变的。因此，该波谷/波峰滤波器的空间尺寸是自适应地基于该面部的尺寸确定的。明确地，在眼睛之间的间距被用于确定该波谷/波峰滤波器的尺寸。用于该垂直波谷/波峰运算符的一个通用表示是V(x,y)=12hΣi=-hhI(x-w,y+i)-2I(x,y+i)+I(x+w,y+i)]]>(等式11)这里w和h被选用作随面部尺寸而变。用于水平和斜的波谷/波峰的通用波谷/波峰检测器具有类似的形式。
一个目前优选的无向性的波谷/波峰检测器是通过从亮度图像I减去模糊的亮度图像Ib给出的F(x，y)＝I(x，y)-Ib(x，y)(等式12)该模糊的亮度图像可以通过施加一个模糊滤波器，诸如高斯型的或者一个箱式滤波器给该亮度图像而产生。该波谷/波峰检测器的输出被如上所述地阈限以产生波峰和波谷特征图。该模糊滤波器的界限被选用作随该面部尺寸(其是缺省参数的一个例子)和希望去检测的皮肤特征的尺寸而变。
通过分组经由连接的分量标注彼此连接的像素，该特征图被进一步细化。连接的分量标注扫描一个图像，分组其像素为基于像素连接性的分量，即，在连接的分量中所有的像素是以某种方式彼此相连接的。一旦已经确定了所有的分组，每一个像素被按照其分配给的分量标注。每个连接的分量对应于一个皮肤特征。由其在该皮肤部位中基于特征的特征，诸如尺寸、形状和位置每个皮肤特征被表征和分类。在该分量(其是一个缺省参数的例子)该尺寸对应于像素的数目。在从其他的皮肤特征，诸如斑痕描绘皱纹特征中形状信息是有用的。此外，在皮肤特征布局图中描绘的该特征可以使用与已经确定为皮肤特征的像素有关的颜色信息被进一步分类。一旦产生了该皮肤特征图，它们被用于选择将要在步骤720改动的该皮肤特征。
参考图8，示出了举例说明一个按照本发明选择和修改皮肤特征的优选实施例的流程图。在特征选择步骤810，基于其特征要改动的特征被选择。如上所述，该特征特性对应于尺寸、形状和颜色，并且基于在该皮肤部位中这些特征的位置被选择。在扩大步骤820，该选择的皮肤特征因而被(自适应地)扩大，然后在滤波步骤830修改。针对皮肤特征扩大的结果是放大该皮肤特征的尺寸。扩大的数量可以是或者对于所有选择的皮肤特征一个固定的量，或者基于表示该皮肤特征的特征一个自适应的量。在一个目前的优选实施例中，基于其尺寸和该面部的尺寸(其是一个缺省参数的例子)，该皮肤特征被自适应地扩大。大的皮肤特征与较小的皮肤特征相比较更加被扩大。扩大的过程可以使用标准形态运算符执行。
虽然在经由步骤810、820和830的一个周期中可以选择和修改所有想要的皮肤特征，通过经由步骤810、820和830循环顺序地修改皮肤特征，同时改变要修改的皮肤特征类型，获得最佳的皮肤增强。在目前的优选实施例中，在步骤810-830，该波谷皮肤特征被首先选择和修改，然后在经由步骤810-830的二次迭代中剩余的波峰皮肤特征被选择和修改。为了保留该皮肤肌理，仅其尺寸在规定的最小和最大尺寸之间的皮肤特征被修改。做为选择，为了保留该皮肤肌理，仅其尺寸大于规定的最小尺寸的皮肤特征被修改。此外，要修改的该皮肤特征的最小和最大尺寸直接地以该面部的尺寸定标。
在步骤830，一个针轮滤波器(pinwheel filter)被施加于扩大的特征的每一个像素。扩大的特征的像素被称为特征像素。所有其他的剩余像素被称为非特征像素。在本发明的实施例中，特征像素由二进制表征码限定，这里值0对应于特征像素，并且值1对应于非特征像素。该针轮滤波器通过使用集中在该特征像素上以线段调整的邻近非特征像素插入已有特征像素新的值。该针轮滤波器被在通常指定的美国专利No.6,104,839，“用于在数字图像中校正像素值的方法和装置”中详细描述，其以David R.Cok等的名义颁布，并且其作为参考合并在此处。该针轮滤波器的简要描述被包括在这里，用于清楚和指定对于在作为Cok等取得的专利中描述的原始算法的某些修改。参考图9，四个线段930组被示范地用图表表示(垂直V，水平H，二个斜的线段D1和D2)，用于该选择的特征像素940。该四个线段被以45度增量间隔。该扩大的特征920以灰色(阴影)表示。该线条910表示面部边缘。在该组中的每个线段由在该像素940的两侧上的特征和非特征像素两者组成。在该线段中的该非特征像素特征和特征像素是在由该线段限定的给定方向中选择的特征像素940的局部像素。稍后详细描述该线段组的产生方法。
参考图10A和10B，示出通过在该图像中施加该针轮滤波器用于计算适合于每个特征像素的新数值的方法。在步骤1004中，线段NL的数目，在线段MAX NP1的一侧上像素的最大数和在线段MIN NP1的一侧上像素的最小数被设置。参考图12将详细地解释这些参数。基于面部的尺寸(其是一个缺省参数的例子)，在线段MAX NP1的一侧上像素的最大数和在线段MIN NP1的一侧上像素的最小数被设置。该面部的尺寸越大，MAX NP1和MIN NP1的值越大。与由Cok等描述的方法相比，这二个参数依赖该面部的尺寸是只有本发明才有的。在步骤1006，第一个特征像素PSEL被选择。在步骤1008，通过该像素PSEL产生NL线段组。在该优选实施例中，在组中线段NL的数目等于4，对应于垂直、水平和二个斜的线段。
产生线段的方法在图12中示出。在图12的步骤1110，第一个线段被选择，例如，该垂直线段(V)。在步骤1120，该线段一侧的方向被选择。这是一个像素正在被加到起始于像素PSEL线段的方向。对于每个线段，对应于集中在像素PSEL的线段的二侧的二个方向被限定。在步骤1130，特征像素被增加给该线段，直到沿着一个给定的方向第一个非特征像素到达为止。在步骤1140，第一个非特征像素被增加给该线段，并且在一个给定方向中该邻近非特征像素被增加给该线段，直到满足下列条件的一个为止-在一侧MAX NP1上非特征点的最大数达到，-面部边缘或者面部特征边缘达到，-新的特征像素达到。
基于该面部尺寸，在步骤1004(图1A)，在该线段MAX NP1的一侧上非特征点的最大数被设置。该线段不必经过该面部边缘或者被排斥在该皮肤肌理增强处理(如眼睛部位、嘴部位等等)外的该部位的边缘。与由Cok等描述的方法相比，以上所述的用于产生有效线段的约束条件是只有本发明才有的。当完成增加像素到线段的一侧的时候，然后在步骤1160，用于线段的第二侧的方向被设置，并且在步骤1130-1140，对于线段的第二侧该过程被重复。当完成二个侧面的时候(步骤1150)，然后来自该组的下一个线段被选择(步骤1180)，并且该过程被在步骤1120-1160重复。当在组中所有的NL线段被产生(步骤1170)的时候，该过程完成(步骤1190)。
回到参考图10A，如上所述，在步骤1008产生NL线段组之后，在至少一侧上具有少于MIN NP1的非特征点的线段被从该组中去掉(步骤1010)。如果在该组中没有剩余有效线段被留下(步骤1014)，那么对于该像素PSEL像素值不改变(步骤1052)，并且一个新的特征像素PSEL被选择(步骤1046和1048)，以及该过程被重复(从步骤1008开始)。如果在组中剩余有效的线段的数目大于0(步骤1014)，那么对于每个剩余的有效线段，对于在有效线段中用于每个通道(channel)的非特征像素一个线性的适合被计算(步骤1016)。在步骤1018，基于在先前的步骤1016计算的线性适合，用于每个通道的非特征像素的每个有效线段的均方适合误差被计算。在步骤1020，作为对于给定有效线段所有的通道的平均均方适合误差，对于每个有效线段总的均方适合误差按照下列等式被计算。MSEn=1KΣK=1KMSEn,K]]>这里n＝1，...，N(等式13)这里K是在该图像中的通道数。对于黑白图像，K等于1。对于彩色图像，K通常等于3(例如，3个通道对应于R，G，B通道)。
在步骤1022，基于在步骤1016计算的线性适合，值PSELn，k对于每个通道的每个有效线段的像素PSEL被计算。在步骤1024，新的像素值PSELk被对于每个通道k计算。该增强的图象最后的像素值被通过混和对于每个通道k新的像素值PSELk与按照在先前的章节产生的α表征码的原始的像素值而确定。该混和操作确保在该皮肤的增强和不增强的部位之间平滑过渡。与由Cok等描述的方法相比，在步骤1024的该混和操作和α表征码是只有本发明才有的。在一个替换的实施例中，该增强的图象的最后的像素值PSEL_OUT被通过自适应地混和新的像素值PSEL与对于每个通道k原始的像素值PSEL_IN而确定。
PSEL_OUTK＝aPSELK+(1-a)PSEL_INK(等式14)用于混和新的和原始的像素值的该混和系数α是取决于表示像素来源于的该皮肤特征的特征。例如，如图17所示，该混和系数α可以随像素来源于的皮肤特征的尺寸而变。参考图17，对于小的皮肤特征尺寸该原始像素值是不修改的，其尺寸小于min。对于尺寸在min和mid之间的皮肤特征，该新的像素值被用作最后的像素值。以及对于其尺寸大于mid的大的皮肤特征，该最后的像素值被通过混和该新的和原始的像素值而确定。在某些部位(例如，围绕眼睛)中，不完全地除去皮肤特征，而是修改其粗糙的外部特征有时是更可取的。因此，在另一个实施例中，该混和系数a也取决于该皮肤特征像素的位置。稍后描述计算新的像素值PSEL ic不同的方法。如果选择的特征像素PSEL不是最后的特征像素(步骤1046)，那么下一个特征像素被选择(步骤1048)，并且该过程被从步骤1008开始重复。否则，该整个过程完成(步骤1050)。
在该优选实施例中线段NL的数目等于4，对于选择的特征像素PSEL计算新数值的步骤(在图10中的步骤1024)被详细地在图11中示出。与由Cok等描述的方法相比，在这里图11中介绍的方法是只有本发明才有的。假定在组中存在至少一个有效线段(N＞0)。参考图11，如果在组中有效线段N的数等于1(步骤1026)，那么用于每个通道k新的数值PSEL k等于对于其线段计算的值PSELi，k(步骤1028)。否则，在步骤1030，基于对于每个线段n的均方根误差值MSEn，有效线段组被按降序分类。作为在步骤1030分类的结果，在组中第一个有效线段(n＝1)具有最高的均方根误差，以及该在组中最后的有效线段(n＝N)具有最小均方根误差。如果在组中有效线段N的数等于2(步骤1032)，那么用于每个通道k新的数值PSEL k等于PSELi，k和PSEL2，k的均值(步骤1034)。否则，如果在组中有效线段N的数目等于3(步骤1036)，用于每个通道k新的数值PSEL k等于以均方根误差的中间值(n＝2)对于该有效线段计算的PSEL2，k的值(步骤1038)。否则，有效线段N的数目等于4，并且用于每个通道k新的数值PSEL k等于PSELz，k和PSEL2，k的均值(步骤1040)。该增强的图象最后的像素值被通过混和对于每个通道k新的像素值PSELk与按照在先前的章节产生的α表征码的原始的像素值而计算(步骤1024)。
在用于计算新的像素值的第二个实施例中，对于每个通道k(在图10中的步骤1024)的新数值PSEL k被用下列方式计算。首先，用于每个通道k的每个线段n的加权值Wn，k被按照等式EQ.15计算。Wn,K=1-MSEn,KΣi=1NMSEi,K]]>这里n＝1，...，N k＝1，...，K (等式15)其次，作为对于每个有效线段n和对于每个通道k确定的PSELn，k值的加权总和，对于每个通道的新数值PSEL k被按照等式EQ.16计算。PSELK=Σn-1NWn,KPSELn,KΣn=1NWn,K]]>(等式16)该增强的图象最后的像素值被通过混和对于每个通道k新的像素值PSELi＜与按照在先前的章节产生的α表征码的原始的像素值而计算(步骤1024)。与由Cok等描述的方法相比，该混和操作和α表征码是只有本发明才有的。
我们想要改动的大多数皮肤特征对应于波谷特征，即，由明亮的区域围绕的黑暗区域。在大多数情况下，不考虑与已经确定为皮肤特征像素有关的颜色信息，皮肤特征会被改动，虽然可能存在某种情况，一个个体也许不想要限定面部的特性，诸如要从该个体的图片上去掉的美丽标记。在这种情况下，与皮肤特征像素有关的颜色信息可被用于确定应否除去的皮肤特征的类型。一个替换的方法是建立一个工具进入该图形用户界面之内，其将允许操作者去取消一个不受欢迎的修改(例如，所希望的美丽标记的除去)。
在一个优选实施例中，该用户从图形工具单84中选择一个取消/再做工具，并且经由指示设备40诸如一个鼠标移动该取消/再做工具到在原始图像80中用户想要修复的该皮肤特征的位置。敲击在该原始图像80中的皮肤特征，其显示在左侧上，使该特征被增加返回到增强的图像82，其显示在右侧上。在原始图像中该修复的皮肤特征上再次单击现在使该皮肤特征被从该增强的图像上去掉。因此，如果其存在于该增强的图像中，通过或者从该增强的图像中除去一个皮肤特征，或者如果其存在于该增强的图像中，恢复其到该增强的图像中，该取消/再做工具前后地来回切换操作。在一个替换的实施例中，该皮肤肌理增强器滑动器92可以被设置为不增强，并且该工具84可用于允许用户去选择要除去哪个皮肤特征。
在另一个实施例中，该图形用户界面获取和显示一个包括一个或多个面部的数字图像。通过利用前述的任何技术去标识和映射该皮肤特征产生一个皮肤特征布局图，因此，该皮肤特征布局图代表在数字图像中一个或多个面部上的皮肤特征。因此该指示设备40被用于指向一个特定的皮肤特征。响应该指示设备的指向和单击操作，该皮肤特征布局图被参考，使得对于通过一个适当的增强型滤波器提供的特征该特定的特征和适当的增强被对于指向的该皮肤特征启动。
肤色增强型滤波器该肤色(skin tone)增强滤波器620(图6)的任务是改善肤色的整个外部特征。该肤色滤波器使不均衡的肤色平坦，并且生成更加均衡的颜色的肤色。此外，该肤色滤波器被用于修改肤色的颜色，以产生更合乎需要的肤色表示。这对应于既修改皮肤的亮度又修改皮肤的色度，以和个体相配，并且培养肤色表现的优先选择。此外，与皮肤肌理相比较，肤色问题势必在更大的空间规模上存在。重要的是不能使该肤色太平坦，因为没有加亮区或者阴影的面部是平坦的并且趋向于令人厌倦的。
参考图13，示出了一个用于按照本发明的肤色增强滤波器的目前优选实施例的流程图。该肤色增强滤波器通过自适应地混和(在混和步骤1240)输入图像I(x)与一个从混和步骤1210中获得的输入图像的模糊的版本I(x)继承性地压缩高亮和阴影，如同下述。
O(x)＝α(x)Ib(x)+(1-α(x))I(x)(等式17)这里α(X)是一个从系数产生步骤1230中获得的混和系数，并且x＝(x，y)是一个像素的位置。该混和操作适用于所有的彩色信号通道。该混和系数是随在从阴影/波峰产生步骤1220中获得的x阴影/高亮SH{x)强度图像而变的，如同下述。
α(x)＝f[SH(x)] (等式18)参考图14，示出了一个按照本发明计算该阴影/高亮强度图像的目前优选实施例。来自步骤1220的阴影/亮度强度图像通过从亮度图像1310减去平均亮度图像1320产生。该亮度图像被通过使用等式EQ.2计算。该平均亮度图像可以或者是局部平均亮度图像，或者是全局平均亮度。局部平均亮度图像可以通过施加一个模糊滤波器，诸如高斯型的或者箱式滤波器给亮度图像而产生的，但是全局平均亮度是通过确定在按照特征点描绘的皮肤部位之内皮肤的平均亮度而计算的。当使用局部平均图像去计算阴影/高亮图像的时候，该阴影/高亮强度类似于波谷/波峰图像。在一个优选实施例中，用于计算该阴影/高亮布局图的模糊界限应该大于在皮肤肌理增强滤波器中使用的该波谷/波峰检测器的模糊界限或者幅度。在任何一种情况下，该模糊界限取决于面部(其是一个缺省参数的例子)的尺寸。
在其最简单的实施例中，该混和系数是一个常数f[SH(X)]＝α(x)＝α，其是一个缺省参数的例子，并且不取决于如图15A所示的阴影/高亮强度图像。在图15B和15C示出的混和函数对沿着高亮的色调调和和由明亮的和/或油质的皮肤所引起的热点是有用的，同时留下阴影区不变。
该肤色滤波器还可以用于修改该皮肤的着色。在目前的优选实施例中，诸如皮肤部位的部位的颜色C可以通过移动该装置和变更部位的颜色分布被修改Cmod，如同下述Cmod(x，y)＝k(C(x，y)-C)+Cpreferred(x，y)(等式19)这里该矢量C(x，y)对应于该像素的红(R)、绿(G)和蓝(B)信号，Cprefered是优选的色彩矢量，C是当前平均色彩矢量，以及K是一个可以在0和1之间变化的常数。该优选的色彩Cprefered(x，y)取决于要改动的皮肤的部位可以空间地改变。
一个用于点亮或者使皮肤部位模糊的优选实施例是如同下述改动该皮肤部位的对比度Cmod(x，y)＝Cγ(x，y)(等式20)这里γ值小于一个对应的点亮肤色，并且γ值大于一个对应的变暗肤色。
一个用于点亮皮肤部位替换的实施例由下式给出Cmod=C1-γ(1-C)]]>(等式21)并且用于变暗皮肤部位由下式给出Cmod=1-1-C1-γC]]>(等式22)这里γ在0和1之间变化。
当C被以其他的颜色配置，例如CIELAB、YUV、HSV等等表示的时候，上述的方法也是可应用的。此外，这些等式可以应用于全部或者C分量的子集。
当C被以色彩配置(例如，CIELAB)表示的时候，这里该分量与亮度(L*)和色度(a*b*)有关，这尤其是真实的。
牙齿和眼睛增强滤波器该牙齿和眼睛增强滤波器630和640(图6)的任务是提高该牙齿和眼睛的亮度和眼白。参考图16，示出了一个用于按照本发明的牙齿和眼睛变白滤波器的目前优选实施例的流程图。在眼睛/牙齿表征码产生步骤1510，该突出的面部特征点420(图4)被用于产生一个表征码(mask)，其标识对应于眼睛和牙齿部位的像素。在波谷/波峰布局图产生步骤1520使用输入图像，该波谷/波峰布局图被使用等式12产生，这里该模糊的界限通过眼睛间距确定(其是一个缺省参数的例子)。在定标因数产生步骤1530，该波谷/波峰布局图和色彩信息被用于计算对于在眼睛和牙齿表征码之内像素的亮度和色度值的定标因数(其是缺省参数的例子)。然后，在像素修改步骤1540，该定标因数被应用于在产生新的亮度和色度值的眼睛和牙齿部位之内像素的亮度和色度值。
在一个目前的优选实施例中，用于在表征码部位之内像素的该RGB值被转换为CIELAB(L*a*b*)配置，并且亮度和色度值被如下改动，L*＝L*·(1+kP)(等式23)a*＝a*/1+kP) (等式24)b*＝b*/(1+kP) (等式25)这里K是前述的缺省参数，P是该像素或者属于眼白或者属于牙齿的概率。
一个目前优选的用于概率P的表示式如下， (等式26)这里随模糊界限选用作面部尺寸的函数并且β是一个阈值，F是使用等式12计算的。
形状增强型滤波器该形状增强滤波器650(在图6中示出)的任务是改变面部特征的形状，诸如眼睛、鼻子和嘴。面部特征的形状是通过使用标准弯曲技术改变其形状而增强的。对实践本发明有用的一个弯曲技术的例子由T.Beier和S.Neely给出。Feature-based Image Metamorphosis，ComputerGraphics(基于特征的图像形态变化，计算机图形学)，26(2)35-42，New York，NY，July，1992，Proceedings of SIGGRAPH′92，其作为参考合并在此处。
参考图19，示出了一个用于按照本发明的形状增强滤波器650的目前优选实施例的流程图。在源控制点确定步骤1910，该源控制点1810(参见图18)被用于弯曲由特征点420(参见图4)确定的图像，该特征点420描绘要增强的面部特征(例如，眼睛)的形状。在目标控制点确定步骤1920，该目标控制点1820被确定。目标控制点1820的位置限定该源控制点1810在形状改变的图像中的新的位置。该目标控制点1820(D1、D2、D3和D4)分别是源控制点1810(S1、S2、S3和S4)新的位置。在弯曲步骤1930，该源和目标控制点被用于弯曲该图像。目标控制点1820的位置是由想要改变的面部特征的形状限定的。例如，如果希望加大眼睛的尺寸，该目标控制点1820被如图18所示定位。
在一个目前的优选实施例中，通过指定该目标控制点1820的位置，该形状增强滤波器的参数被用于限定是否该面部特征形状被增减。通过一个附加的滑动器控制，该形状增强滤波器可以被结合进该GUI屏面78(参见图1B)。此外，对于每个面部的特征在那里可以存在一个独特的形状增强滑动器。该系统影射该滑动器的位置进入到该形状增强型滤波器的适当的参数值之内。在一个方向移动该滑动器使得该面部特征尺寸减小，同时在相反方向上移动该滑动器使得该面部特征尺寸增加。因此，该相应的滑动器的默认位置可以是一个不实施任何形状增强的空档位置(直到该滑动器被从某种意义上移动为止)。
贯穿上文的说明，某些参数已经作为用于系统缺省参数的候选者指定，例如，确定该增强型滤波器的初始设定和在图形用户界面中使用的该增强滑动器的初始设定。这些参数已经没有限制的作为适当的缺省参数的例子选择，并且不应该被视为参数设置的限定或者限制。一个本领域普通技术人员应该清楚，包括在这个说明书中引用的许多的其他的参数可以作为缺省参数被选择和/或指定。
权利要求
1.一种用于增强位于数字图像中面部的外部特征的方法，所述方法包括步骤(a)获取一个包括一个或多个面部的数字图像；(b)检测在一个或多个面部中面部特征点的位置，所述面部特征点包括标识显著的特征的点，该显著的特征包括皮肤、眼睛、眉毛、鼻子、嘴以及头发之中的一个或多个；(c)使用该面部特征点的位置去分割面部为不同的部位，所述不同的部位包括皮肤、眼睛、眉毛、鼻子、嘴、颈部以及头发部位之中的一个或多个；(d)确定一个或多个面部相关的表示不同的部位的特征；(e)基于该面部相关的表示不同的部位的特征，选择(1)两个或更多的增强型滤波器，每个尤其专用于一个特殊的部位，和(2)用于该增强型滤波器的缺省参数；和(f)在该特殊的部位上执行该增强型滤波器，从而从该数字图像产生一个增强的数字图像。
2.根据权利要求1的方法，进一步包括步骤(g)对该增强的数字图像施加一个图像利用过程。
3.根据权利要求1的方法，其中该增强型滤波器至少包括皮肤肌理、肤色、眼睛、牙齿和形状滤波器之中的二个。
4.根据权利要求1的方法，其中在步骤(e)选择该增强型滤波器之前施加一个性别类别算法以确定该面部的性别。
5.根据权利要求1的方法，其中在步骤(e)选择该增强型滤波器之前施加一个年龄类别算法以确定该面部的年龄。
6.根据权利要求1的方法，其中在该面部的眼睛之间的距离被用于确定对于在步骤(e)选择的一个或多个增强型滤波器的缺省参数。
7.根据权利要求2的方法，其中在步骤(g)施加的该利用过程包括在一个本地设备上打印该图像。
8.根据权利要求2的方法，其中在步骤(g)施加的该利用过程包括在一个本地设备上把该图像存档。
9.根据权利要求2的方法，其中在步骤(g)施加的该利用过程包括在一个远程设备上打印该图像。
10.根据权利要求2的方法，其中在步骤(g)施加的该利用过程包括在一个远程设备上把该图像存档。
11.根据权利要求1的方法，其中在步骤(d)确定的该面部特征包括从包括面部尺寸、在特殊的部位中面部特征之间的距离、在该图像中目标对象的性别以及该目标对象的年龄的组中选择出来的至少一个特征。
12.一种其中具有存储指令的计算机存储介质，该指令用于使计算机去执行根据权利要求1的方法。
全文摘要
一种用于增强位于数字图像中的面部外部特征的修饰方法，包括获取一个包括一个或多个面部的数字图像，并且检测在该面部中面部的特征点的位置，这里该面部的特征点包括标识显著特征的点，诸如皮肤、眼睛、眉毛、鼻子、嘴以及头发。该面部特征点的位置被用于分割该面部为不同的部位，诸如皮肤、眼睛、眉毛、鼻子、嘴、颈部以及头发部位。面部相关的表示不同的部位的特征被确定，并且基于这些面部相关的特征，一个增强型滤波器的集合体被选择，尤其是每个专用于一个特殊的部位，以及用于该增强型滤波器的缺省参数被选择。然后在该特殊的部位上执行该增强型滤波器，从而从该数字图像产生一个增强的数字图像。
文档编号G06T11/80GK1475969SQ0313640
公开日2004年2月18日 申请日期2003年5月27日 优先权日2002年5月31日
发明者R·A·西蒙, T·马特拉泽克, M·R·博林, H·尼克蓬斯盖, R A 西蒙, 乩 罂, 伺钏垢, 博林 申请人:伊斯曼柯达公司