数字化妆的制作方法

数字化妆的制作方法
【专利摘要】本发明的一些实施方式的一方面涉及一种用于处理人面部的图像的系统，该系统包括数据处理和分析工具，其包括：高通滤波模块，被配置用于接收指示图像的特征的输入图像数据并输出指示输入图像数据中的面部的边缘和轮廓中的至少一个的高通信号；至少一个带通滤波模块，被配置用于接收指示输入图像数据的数据并输出指示面部的低对比度的缓慢变化的定性特征的带通信号；低通滤波模块，被配置用于接收指示输入图像数据的数据并输出平滑低对比度区域且保留高对比度区域的低通信号；特征计算模块，被配置用于接收输入图像数据并针对图像的多个像素计算图像的局部特征；强度计算模块，被配置用于从特征计算模块接收局部特征，使用局部特征来确定局部操作数以确定高通滤波模块、带通滤波模块、低通滤波模块中的各滤波模块中使用的滤波器在所述多个像素处的强度，并将局部操作数传输至各个所述滤波模块；至少一个变换模块，被配置用于接收并改变高通信号、带通信号、和低通信号中的至少一个的至少一部分；以及加法模块，被配置用于在改变其所述至少一部分之后接收高通信号、带通信号、和低通信号，并将所接收的信号加在一起，由此产生指示改变的图像的特征的输出信号。
【专利说明】数字化妆

【技术领域】
[0001] 本发明属于图像处理领域，更具体地，属于处理人面部的图像的领域。

【背景技术】
[0002] 已经开发出许多技术以改变人面部的图像，以便改善面部的外观。
[0003] 在美国专利8, 107, 672中，公开了 一种化妆模拟系统（makeup simulation system)。该模拟系统将化妆应用于具有在其上捕获的用户的面部的图像的视频，并且特征 在于：用于捕获用户的面部的图像并输出视频的图像捕获装置；用于接收从图像捕获装置 输出的视频，对该视频执行图像处理并输出该视频的控制装置；以及用于显示从控制装置 输出的视频的显示装置，其中，控制装置包括：用于基于预定跟踪点从视频中识别用户的面 部的面部识别装置；以及基于跟踪点对包含在视频中的用户的面部施加预定化妆并将视频 输出到显示装置的化妆处理装置。
[0004] 美国专利6, 502, 583公开了一种方法，其包括确定想要校正照片或想要化妆的人 请求的所请求的面部，并基于所请求面部通过执行图像处理,如这个人原始面部图像或面 部的轮廓组合来创建校正或化妆的面部的图像。


【发明内容】

[0005] 本领域需要一种改善面部的图像的新颖技术，而无需识别面部的特定区域，并且 无需大量的处理能力。
[0006] 上文提及的美国专利8, 107, 672和美国专利6, 502, 583描述了识别面部的局部特 征（跟踪点），并基于所识别的局部特征来处理图像的面部识别技术。
[0007] 在美国专利5, 442, 462和美国专利5, 799, 111中所描述的其他一些已知的图像处 理技术利用施加于图像的自适应平滑滤波器。自适应单向和双向处理用于基于逐个像素提 取确定适用于像素信号和噪声特征的平滑处理过程的标准。更具体地，将要施加于给定像 素的滤波器的参数（例如，强度）取决于图像的局部特征。例如，为了针对图像的给定像素 确定滤波器的强度，计算第一序列中给定像素的值与相邻的前一个值的值之间的差。滤波 器的强度根据该差来计算。因为自适应滤波器的参数针对各方向进行局部计算，所以美国 专利5, 442, 462和美国专利5, 799, 111的技术可能涉及密集处理并且其执行可能是费时 的。这可能使得其难以对图像进行实时或近实时改变，因此对数字化妆应用可能没有用。
[0008] 所感知的人面部的美丽的外观众所周知包括多个基本因素，包括以下项：（a)面 部特征敏锐和活力，（b)面部皮肤光泽、清晰度和肤色（tone)，以及（c)面部形态、结构和对 齐。这些因素通常通过使用各种物质（例如，彩色透明液体、油和粉）以及工具（tool)(例 如，刷、海绵、画线笔、气刷等）的美容化妆技术来改善。
[0009] 就专业化妆来说，（a)活力通常利用眼线笔和唇线笔（例如经常为化妆铅笔和液 体眼线笔）来实现，（b)皮肤光泽、清晰度和肤色通过涂抹粉底、遮瑕膏、腮红和粉来改善， (c)通过在特定的面部部位施加相应的高亮和阴影来改善形态和结构。
[0010] 本发明是以本发明人对化妆过程的主要步骤的理解为基础，即打粉底、涂遮瑕膏、 描线、形态（morphology)、打腿红、散粉。更具体地：
[0011] 打粉底包括通过在整个面部涂抹透明粉底物质来平滑皮肤纹理，由此创建画布 (cancas)的步骤，即平坦、均匀、发白的整个面部区域的表面，所有后续步骤都施加到该表 面上。这有点类似于画家在平坦的白色画布上开始艺术创作。
[0012] 涂遮瑕膏包括局部涂抹与皮肤颜色匹配的遮盖物质的步骤，该遮盖物质覆盖局部 皮肤瑕疵和不规则，例如，暗疮、粉刺、炎症、红肿或变色区域、毛孔、胎记、斑点、雀斑、皱纹、 褶皱、蛛网痣、眼睛下的黑眼圈、嘴唇周围的蓝绿区域等。这些不规则的每一个都可能需要 不同的遮盖动作，例如，遮瑕膏摊开在将遮盖效果与附近的正常皮肤区域最好融合的方向 上。例如，眼睛下的黑眼圈通常通过以下动作来遮盖：在一般部位涂遮瑕膏，然后在向侧面 和向下（但不向上到眼睛）的多个方向上摊开该材料，接着在相对的方向上摊开遮瑕膏直 到均匀并实现所期望的融合。
[0013] 描线突出重要面部部位例如嘴唇和眼睛的轮廓和边缘，由此提高面部活力。
[0014] 形态包括根据需要，通过在面部的特定区域施加阴影和高亮来重构面部的步骤。 深色（阴影）遮光并使区域后退，例如脸颊、太阳穴、下巴、鼻子两侧的凹陷。浅色（高亮） 使事物（例如颧骨、眼睛下方、眉骨和下巴中间）更突显出来。
[0015] 打腮红包括给面部，在局部区域上或在整个面部上添加颜色和活力的步骤。
[0016] 散粉包括在整个面部或在产生闪亮的面部或头部的特定区域添加散粉的步骤，闪 亮通常取决于照明条件和角度。
[0017] 本发明涉及一种用于改变人面部的图像的数字图像处理技术，即数字化妆（DM)。 这个技术是基于本发明人认识到，许多上述化妆师动作可以由专门设计的算法进行逼真模 仿。根据本发明，DM处理适用于包括人面部的整个图像，而不需要具体知道图像中面部的 位置、面部结构、面部特征位置或面部皮肤的几何形状和边界的任何知识。DM处理通过以下 算法来模拟化妆处理的上述一些主要步骤：通过平滑面部像素来模拟粉底的涂抹，通过检 测局部的面部变化并将这些变化平滑为周围的肤色来模拟遮瑕膏的涂抹，通过提取面部边 缘和轮廓，并保留或增强该面部边缘和轮廓来模拟描线的动作，通过识别极端高亮并使用 图像变换进一步对这些变化进行平滑来模拟散粉，由此模仿海绵或刷的动作。任选地，腮红 的涂抹可以通过以下操作来模仿，感测轻微颜色变化的图像区域并增强它们，和/或实现 适用于彩色图像分量的全局非线性颜色直方图变换操作，由此增强主要影响面部区域的图 像色彩饱和度。
[0018] 上文在本发明中通过组合不同种类的数字滤波器（下面将定义）以构造一种改进 的面部图像表示来实现。在本发明中，通过滤波器的输出之间各自的差分（其中滤波器的 输入是指示原始面部图像的信号，或接收指示原始面部图像的信号的前一个滤波器的输出 作为输入），面部图像数据被分解成指示面部的定性特征（例如，细节和不同种类的瑕疵） 的不同分量信号。该差分产生高通信号、至少一个带通信号和一个低通信号。相应的变换 和/或滤波器被应用于分量信号的至少一个，以增加或减小所期望的面部定性特征的强度 (例如，以便实现改善的数字化妆效果，打粉底、涂遮瑕膏、描线、打腮红和散粉）。最后，变 换/滤波分量信号被相加在一起以形成输出信号，该输出信号可以被转换成输出图像。应 该注意，在不同的面部定性特征经由本发明的多重滤波和差分技术（multiple-filtering-a nd-differencing)分成它们对应的分量信号之后，一些定性特征可以被加强并且另一些定 性特征可以被平滑或衰减。例如，本发明的技术可以通过衰减不期望的定性特征（例如，皮 肤纹理、皱纹、浮肿、粉刺、疤痕、斑点）并加强期望的定性特征（面部的细节，例如，轮廓和 边缘）来改善面部的外观。然而，可以以相同的方式使用数字化妆，以便通过加强不期望的 定性特征和/或衰减期望的定性特征来提供一种面部的外观劣化（例如，老化而不是抗老 化）的输出图像。
[0019] 任选地，本发明的技术可以被进一步修改以改善面部形态。这通常通过向特定的 面部部位施加高亮和阴影来实现。为此，需要面部特征检测和/或面部皮肤检测/分割操 作，因为这些高亮和阴影将相对于这些面部特征而被放置在特定位置（例如，眼睛、眉毛、 嘴唇、鼻子、下巴、脸颊、颧骨、前额等）。在DM处理将被单独且选择性地施加到面部区域而 不是施加于任何背景区域的情况下，需要这种面部检测和皮肤分割。本发明不需要针对其 操作的这种面部检测和皮肤分割，但是可以使用此分割来进一步改善一些成像应用。
[0020] 因此，本发明的一些实施方式的一方面涉及一种用于处理人面部的图像的系统， 所述系统包括数据处理和分析工具（data processing and analyzing utility),其包括： 高通滤波模块，被配置用于接收指示图像的特征的输入图像数据并输出指示输入图像数据 中的面部的边缘和轮廓的至少一个的高通信号；至少一个带通滤波模块，被配置用于接收 指示输入图像数据的数据并输出指示面部的低对比度的缓慢变化的定性特征的带通信号； 低通滤波模块，被配置用于接收指示输入图像数据的数据并输出低对比度区域被平滑并且 保留高对比度区域的低通信号；特征计算模块，被配置用于接收输入图像数据并针对图像 的多个像素计算图像的局部特征；强度计算模块，被配置用于从特征计算模块接收所述局 部特征，使用局部特征来确定局部操作数（localized operand)以确定所述多个像素处的 高通滤波模块、带通滤波模块、低通滤波模块的各模块中使用的滤波器的强度，并将局部操 作数传输至所述滤波模块的各模块；至少一个变换模块，被配置用于接收并改变高通信号、 带通信号和低通信号的至少一个的至少一部分；以及加法模块，被配置用于在改变所述其 至少一部分之后接收高通信号、带通信号和低通信号，并将所接收的信号加在一起，由此产 生指示改变后的图像的特征的输出信号。
[0021] 在一个变形中，高通滤波模块包括：第一滤波工具（filtering utility)，被配置用 于接收输入图像数据，对其施加第一平滑滤波器，并输出第一平滑信号；以及第一减法工具 (subtracting utility)，用于从输入图像数据中减去第一平滑信号，由此产生高通信号。
[0022] 任选地，至少一个带通滤波设备包括：第二滤波工具，被配置用于接收输入图像数 据，将第二平滑滤波器施加于此，并输出第二平滑信号；以及第二减法工具，用于从第一平 滑信号中减去第二平滑信号，由此产生至少一个带通信号。
[0023] 任选地，低通滤波模块包括第二滤波工具，第二平滑信号是低通信号。
[0024] 在另一个变形中，至少一个带通滤波模块包括：第二滤波工具，被配置用于接收第 一平滑信号，将第二平滑滤波器施加于第一平滑信号，并输出第二平滑信号；以及第二减法 工具，用于从第一平滑信号中减去第二平滑信号，由此产生至少一个带通信号。
[0025] 任选地，低通滤波模块包括第二滤波单元，第二平滑信号是低通信号。
[0026] 在一个变形中，强度计算模块被配置用于确定局部操作数以确定多个像素处的平 滑滤波器的强度，并将局部操作数传输至滤波工具。
[0027] 在另一个变形中，滤波工具的至少一个被配置用于接收单独的全局参数 (individual global parameter),并使用全局参数和局部操作数来计算相应平滑滤波器 的强度。
[0028] 在又一个变形中，强度计算模块被配置用于确定多个局部操作数，每个局部操作 数对应于相应滤波工具并指示相应平滑滤波器的强度；并且每个滤波工具被配置用于使用 相应局部操作数来确定相应平滑滤波器的强度。
[0029] 在进一步变形中，滤波工具的至少一个被配置用于将多维自适应平滑滤波器应施 加于相应的接收信号。
[0030] 在再一个变形中，滤波工具的至少一个被配置用于将线性平滑滤波器施加于相应 的接收信号。任选地，第一滤波工具被配置用于施加线性平滑滤波器。
[0031] 根据本发明的一些实施方式，上面定义的系统包括带通滤波模块的阵列，其中，每 个带通滤波模块包括：相应的滤波工具，被配置用于接收指示输入图像数据的所述数据并 对其施加相应的平滑滤波器，并输出相应的平滑信号；以及相应的减法工具，用于从由包括 在前一个滤波模块中的前一个滤波工具输出的前一个平滑信号中减去相应的平滑信号，由 此产生相应的带通信号。
[0032] 任选地，低通滤波模块包括滤波工具，其是所述带通滤波模块的阵列中的最后带 通滤波模块的一部分，以生成作为低通信号的最后平滑信号。
[0033] 根据本发明的一些实施方式，提供了一种系统，包括：第一高通滤波模块，被配置 用于接收指示图像的特征的输入图像数据并输出指示图像中的面部的至少边缘和/或轮 廓的第一高通信号；抽取模块（decimating module),被配置用于接收输入图像数据，并处 理所接收的图像数据以减小输入图像的尺寸从而产生第一抽取图像，并输出指示第一抽取 图像的抽取信号；如上所述的滤波系统，被配置用于接收并处理第一抽取信号，并输出指示 第一输出图像的第一输出信号；插值模块，被配置用于接收第一输出信号，并对第一输出信 号进行插值以输出指示尺寸（size，大小）等于输入图像的尺寸的图像的插值信号；以及第 一加法模块，被配置用于接收插值信号和第一输出信号，并将插值信号和第一输出信号加 在一起，由此产生指示改变后的图像的特征的第二输出信号。
[0034] 任选地，系统包括：第一变换模块，被配置用于改变第一高通信号的至少一部分以 输出第一变换信号；第一加法模块，被配置用于接收插值信号和第一变换信号，并将其加在 一起，由此产生指示改变后的图像的特征的第二输出信号。
[0035] 在一个变形中，第一高通滤波模块包括：第二插值模块，被配置用于接收抽取信号 并对抽取信号进行插值以输出第二插值信号，第一高通滤波模块被配置用于接收输入图像 数据和第二插值信号；以及第一减法单元，被配置用于从输入图像数据中减去第二插值信 号，由此产生第一高通信号。
[0036] 在另一个变形中，系统包括第二抽取模块，被配置用于对第一抽取信号执行第二 抽取以输出第二抽取信号，所述第二抽取信号由所述滤波系统接收并处理以输出第一输出 信号。
[0037] 本发明的一些实施方式的另一方面涉及一种用于处理指示人面部的图像的特征 的输入信号的方法，所述方法由数据处理和分析工具实现并包括：
[0038] (i)对输入图像数据进行处理以针对图像的多个像素计算图像的局部特征；
[0039] (ii)使用局部特征来确定局部操作数；
[0040] (iii)将高通滤波器、至少一个带通滤波器和低通滤波器施加于指示输入图像数 据的数据，由此生成高通分量信号、至少一个带通分量信号和低通分量信号，使得每个滤波 器的强度取决于局部操作数；
[0041] (iv)将至少一个变换应用于高通分量信号、带通分量信号和低通分量信号的至少 一个，以至少一个改变分量信号的至少一部分；
[0042] (V)在改变分量的至少一个之后将分量信号相加，由此产生指示改变后的图像的 特征的输出信号。
[0043] 根据本发明的一些实施方式，提供了一种用于处理指示人面部的图像的特征的输 入信号的方法，所述方法包括：
[0044] 将第一高通滤波器施加于输入图像数据以生成指示图像中的面部的至少边缘和/ 或轮廓的第一高通信号；
[0045] 抽取输入图像数据以输出指示相对于输入图像尺寸减小的图像的抽取信号；
[0046] 将上述步骤⑴至（V)应用于抽取信号并输出第一输出信号；
[0047] 对第一输出信号进行插值以输出指示尺寸等于输入图像的尺寸的图像的插值信 号；
[0048] 将第一输出信号与插值信号相加，由此产生指示改变后的图像的特征的第二输出 信号。
[0049] 本发明的一些实施方式的又一方面涉及一种计算机可读介质，结合计算机使用并 在其上存储有数据处理和分析工具，所述数据处理和分析工具被配置用于使计算机响应于 输入图像数据执行以下各项：
[0050] 对输入图像数据进行处理以针对图像的多个像素计算图像的局部特征；
[0051] 使用局部特征来确定局部操作数；
[0052] 将高通滤波器、至少一个带通滤波器和低通滤波器施加于指示输入图像数据的数 据，由此生成高通分量信号、至少一个带通分量信号和低通分量信号，使得每个滤波器的强 度取决于局部操作数；
[0053] 将至少一个变换应用于高通分量信号、带通分量信号和低通分量信号的至少一 个，以改变分量信号的至少一个信号的至少一部分；
[0054] 在改变分量信号的至少一个之后将分量信号相加，由此产生指示改变后的图像的 特征的输出信号。

【专利附图】

【附图说明】
[0055] 为了更好理解在本文中公开的主题并示例如何在实践中实施，现在将参照附图仅 通过非限制性示例的方式来描述实施方式，其中：
[0056] 图la至图lb是示出了一般技术中已知的一些图像处理技术的附图；
[0057] 图2a至图2d是示出了通过利用多个滤波器对图像进行滤波来改变输入图像中的 面部的定性特征的本发明的技术的不同实施方式的附图，其中每个滤波器在每个像素处的 特征取决于图像在每个像素的局部特征；
[0058] 图3a至图3f是示出了根据本发明的一些实施方式的输入信号、由对输入信号施 加不同滤波器产生的分量信号、和输出信号的实例的绘图；
[0059] 图4a至图4c是示出了根据本发明的一些实施方式的将要施加在不同分量信号上 的不同变换的实例的绘图；
[0060] 图5a至图5c是示出了确定在本发明的一些实施方式中使用的不同平滑滤波器的 强度的不同操作数的实例的绘图；
[0061] 图6a至图6d是示出了本发明的用于处理输入的人面部的图像的系统300的框 图，其中输入图像沿两条不同的路径进行处理，并且两条处理路径的输出被组合以产生输 出图像；
[0062] 图7a至图7b是描绘经常需要打阴影和高亮的面部和头部的特定区域，以及经由 本发明的技术实施的阴影和高亮的附图；
[0063] 图8a至图8d和图9a至图9c是示出了本发明的实例的框图，其中上述DM处理经 由使用各种编解码器的视频压缩、和使用各种网络和平台的视频传输来执行；
[0064] 图10和图11示出了根据本发明的一些实施方式的由不同滤波器产生的多个图 像；
[0065] 图12a至图12b是通过本发明的处理技术产生的输入图像和输出图像的照片，示 出了粉底效果的实现；
[0066] 图13a至图13b是通过本发明的处理技术产生的输入图像和输出图像的照片，示 出了除皱效果的实现；
[0067] 图14a至图14c是通过本发明的处理技术产生的输入图像和输出图像的照片，示 出了粉刺遮盖效果的实现；
[0068] 图15a至图15f示出了由本发明的系统的不同配置产生的不同输出图像；
[0069] 图16a至图16f示出了当本技术在传输设备和接收设备之间通信的不同阶段应用 时本发明的效果技术；
[0070] 图17a至图17f表不用于以不同方式改变输入图像的本发明的技术的不同应用；
[0071] 图18a至图18b是由本发明的处理技术产生的输入图像和输出图像的照片，示出 了老化效果的实现；
[0072] 图19a至图19b是表不输入信号和输出信号的绘图；
[0073] 图20a至图20d和图21a至图21c比较了通过经由本领域中已知的处理技术对输 入图像进行不同处理产生的输出与通过经由本发明的处理技术的实施方式对相同输入图 像进行处理产生的输出；并且
[0074] 图22a至图22f是示出了本发明的技术在现今的市场上常见的各种平台上实施的 照片。

【具体实施方式】
[0075] 在描述当前发明之前，要定义此后将使用的一些术语。
[0076] 在图像处理中，"平滑滤波器"是施加于输入图像数据以便产生输出图像数据的处 理/函数，其中相邻像素的特征的差与输入图像数据的相邻像素的特征的差相比被减小。 通常，表征平滑滤波器的参数是滤波器的强度。滤波器越强（越粗糙），相邻像素的特征之 间的差就越小。较弱的（更精细的）滤波器在较小的程度上改变输入图像的像素，因此输 出图像中的相邻像素的特征之间的差更接近输入图像数据的相邻像素的特征之间的差。
[0077] "自适应平滑滤波器"是根据由相邻像素的特征的差驱动的优化算法自我调节其 参数（例如，强度）的平滑滤波器。在本发明中，像素的特征一般可以由像素的一个或多个 光分量（例如，一种或多种颜色）的强度来表示。例如，自适应平滑滤波器可以根据两个相 邻像素的强度之间的差来调节其强度。
[0078] "带通滤波器"是使具有所期望频带外部的特征的信号衰减，同时具有所期望频 带内的特征的信号基本上不变的滤波器。在上文提及的美国专利5, 442, 462和美国专 利5, 799, 111中，表明不同强度的平滑滤波器之间的差为带通滤波器。在美国专利申请 2010/0158330中描述的另一种已知技术中，表明带通滤波器可以被确定为施加在相同输入 上的自适应平滑滤波器之间的差，或施加在输入上的第一自适应平滑滤波器与施加在第一 平滑滤波器的输出上的第二自适应平滑滤波器之间的差。出于本发明的目的，该特征可以 是值或亮度。
[0079] "有限脉冲响应滤波器（FIR) "是使用输入信号的一个或多个特征以便产生输出的 滤波器。"无限脉冲响应滤波器（IIR)"是使用输入信号的一个或多个特征以及通过同一滤 波器作为输入信号的滤波的输出的信号的一个或多个特征的滤波器。
[0080] 自适应IIR滤波器可以被定义为"方向自适应滤波器"。这意味着为了改变具有 某一坐标（r，c)的给定像素，计算给定像素与前一个滤波像素之间的像素特征的差。再次 针对位于由第一像素和第二像素定义的线上的下一个像素重复该过程。单向自适应滤波 器（0DAF)的图示可以参见图la。例如，自上而下的自适应滤波器（TTBAF) 102使用输入像 素 I(r，c)的特征与输入像素上方的相邻像素处的同一滤波器的输出0(r-l，c)的特征之间 的差。在同一个图中，示出了自下而上的自适应滤波器（BTTAF) 100。BTTAF使用输入像素 I(r，c)的特征与位于输入像素下方的相邻像素处的同一滤波器的输出0(r+l，c)的特征之 间的差。
[0081] "多方向自适应滤波器（MDAF) "是通过考虑给定像素的特征与邻近给定像素的多 个像素的特征之间的差来改变输入图像的给定像素的滤波器。多方向自适应滤波器可以以 多种不同的方式来实现。在一个实例中，给定像素的输出特征可以根据输入像素的特征与 周围滤波像素的特征之间的差的平均值来确定。
[0082] 在另一个非限制性实例中，如图la中所示，示出了 IIR MDAF。为了计算具有给定 输入特征I(r，c)的像素（r，c)的输出特征，表示为P(r，c)的给定像素的中间特征通过对 来自前一个处理的行的三个0DAF进行加权来计算，
[0083] P (r, c) = W! · 0DAF1 (r, c) +w2 · 0DAF2 (r, c) +w3 · 0DAF3 (r, c)等式 1
[0084] w1+w2+w3 = 1 等式 2
[0085] 0DAF1 (r, c)用标号 106 表示，0DAF2(r, c)用标号 108 表示，0DAF3(r, c)用标号 110表示。给定的ODAF是给定像素的输入特征与前一个滤波的相邻像素的特征之间的差的 函数。
[0086] ODAFi (r, c) = function [I (r, c) - 0 (r-l, c_l)]等式 3
[0087] 0DAF2 (r, c) = function [I (r, c) - 0 (r-l, c)]等式 4
[0088] 0DAF3 (r, c) = function [I (r, c) - 0 (r-l, c+1)]等式 5
[0089] 0(r-l，c-l)是位于（r-l，c_l)的前一个滤波像素的特征。0(r-l，c)是位于 (r-l，c)的前一个滤波像素的特征。0(r-l，c+l)是位于（r-l，c+l)的前一个滤波像 素的特征。因此ODAFi是差[1(1*，(3)-0(1-1，(3-1)]的函数。任选地，0(1-1，(3-1)= TTBAF(r-l，c-1)，0(r-l，c) = TTBAF(r-l，c)且 0(r-l，c+1) = TTBAF(r-l，c+1)。
[0090] 中间特征P(r，c)以按前面所说的相同方式从侧面像素（r，C-1)和（r，c+1)进一 步进行滤波。由于从（r-l，c-l)、（r-l，c)、（r-l，c+l)、（r，c-l)和（r，c+l)处的像素的滤 波的平均方向向下，因此从五个方向的滤波的结果可以被视为TTBAF。
[0091] TTBAF (r，c) = w4 · 0DAF4 (r，c)+w5 · 0DAF5 (r，c)等式 6
[0092] w4+w5 = 1 等式 7
[0093] 0DAF4 (r, c)用标号 104 表不，0DAF5 (r, c)用标号 112 表不。
[0094] 0DAF4(r, c) = function[P(r, c) -0(r, c-1)] 等式 8
[0095] 0DAF5(r, c) = function [P (r, c) -0(r-l,c)] 等式 9
[0096] 任选地，
[0097] 0DAF4 (r，c) = function [P (r，c) - 0DAF4 (r，c_l)]等式 10
[0098] 0DAF5 (r，c) = function [P (r，c) - 0DAF4 (r_l，c)]等式 11
[0099] 利用单向滤波器116、118和120执行相同的预滤波处理，并且该结果经由侧面滤 波器114和122进行滤波，以便获得BTTAF(r，c)。
[0100] 最后，对TTBAF和BTTAF进行加权实现多方向和多维自适应滤波器（MDAF)的输 出，
[0101] MDAF (r，c) = w6 · TTBAF (r，c) +w7 · BTTAF (r，c)等式 12
[0102] w6+w7 = 1 等式 13
[0103] 可以看出经由MDAF仅对一个像素进行滤波需要多次操作。即，对于每个方向，都 要计算滤波器的强度，并且滤波器将被施加于所期望的像素，以便计算该像素的特征。该处 理因此需要高处理能力和/或可能缓慢执行，并且对于数字化妆应用可能不是优选的，尤 其是在将要执行实时数字化妆的时候。
[0104] 另一种MDAF是被构造成FIR滤波器的MDAF，如图lb中所描述。在本领域中，这种 滤波器被称为"双边滤波器"。在该非限制性实例中，每个像素处的对应MDAF取决于邻近像 素的自适应加权函数，由此通过以下等式给出像素（r，c)处的MDAF的输出0P(r，c):

【权利要求】
1. 一种用于处理人面部的图像的系统，所述系统包括数据处理和分析工具，所述数据 处理和分析工具包括： 高通滤波模块，被配置用于接收指示所述图像的特征的输入图像数据并输出指示所述 输入图像数据中的所述面部的边缘和轮廓中的至少一个的高通信号； 至少一个带通滤波模块，被配置用于接收指示所述输入图像数据的数据并输出指示所 述面部的低对比度的缓慢变化的定性特征的带通信号； 低通滤波模块，被配置用于接收指示所述输入图像数据的数据并且输出平滑低对比度 区域且保留高对比度区域的低通信号； 特征计算模块，被配置用于接收所述输入图像数据并且针对所述图像的多个像素计算 所述图像的局部特征； 强度计算模块，被配置用于从所述特征计算模块接收所述局部特征，利用所述局部特 征来确定局部操作数以确定所述高通滤波模块、所述带通滤波模块、所述低通滤波模块的 各滤波模块中使用的滤波器在所述多个像素的强度，并将所述局部操作数传输至各个所述 滤波模块； 至少一个变换模块，被配置用于接收并改变所述高通信号、所述带通信号、和所述低通 信号中的至少一个信号的至少一部分；以及 加法模块，被配置用于接收在改变了所述至少一部分之后的所述高通信号、所述带通 信号、和所述低通信号，并将所接收的信号加在一起，由此产生指示改变图像的特征的输出 信号。
2. 根据权利要求1所述的系统，其中，所述高通滤波模块包括： 第一滤波工具，被配置用于接收所述输入图像数据，对所述输入图像数据施加第一平 滑滤波器，并输出第一平滑信号；以及 第一减法工具，用于从所述输入图像数据中减去所述第一平滑信号，由此产生所述高 通信号。
3. 根据权利要求2所述的系统，其中，所述至少一个带通滤波设备包括： 第二滤波工具，被配置用于接收所述输入图像数据，对所述输入图像数据施加第二平 滑滤波器，并输出第二平滑信号；以及 第二减法工具，用于从所述第一平滑信号中减去所述第二平滑信号，由此产生所述至 少一个带通信号。
4. 根据权利要求3所述的系统，其中，所述低通滤波模块包括所述第二滤波工具，所述 第二平滑信号是所述低通信号。
5. 根据权利要求2所述的系统，其中，所述至少一个带通滤波模块包括： 第二滤波工具，被配置用于接收所述第一平滑信号，将第二平滑滤波器施加于所述第 一平滑信号，并输出第二平滑信号；以及 第二减法工具，用于从所述第一平滑信号中减去所述第二平滑信号，由此产生所述至 少一个带通信号。
6. 根据权利要求5所述的系统，其中，所述低通滤波模块包括所述第二滤波单元，所述 第二平滑信号是所述低通信号。
7. 根据权利要求2至6中的任一项所述的系统，其中，所述强度计算模块被配置用于确 定所述局部操作数以确定所述平滑滤波器在所述多个像素处的强度，并将所述局部操作数 传输至所述滤波工具。
8. 根据权利要求2至7中的任一项所述的系统，其中，所述滤波工具中的至少一个被配 置用于接收单独的全局参数，并利用所述全局参数和所述局部操作数来计算相应的平滑滤 波器的所述强度。
9. 根据权利要求2至7中的任一项所述的系统，其中： 所述强度计算模块被配置用于确定多个局部操作数，每个局部操作数对应于相应滤波 工具并指示所述相应的平滑滤波器的所述强度；并且 各滤波工具被配置用于利用相应的所述局部操作数来确定相应的平滑滤波器的所述 强度。
10. 根据权利要求2至9中的任一项所述的系统，其中，所述滤波工具中的至少一个被 配置用于将多维自适应平滑滤波器施加于相应的接收的信号。
11. 根据权利要求2至10中的任一项所述的系统，其中，所述滤波工具中的至少一个被 配置用于将线性平滑滤波器施加于相应的接收的信号。
12. 根据权利要求11所述的系统，其中，所述第一滤波工具被配置用于施加所述线性 平滑滤波器。
13. 根据权利要求2至12中的任一项所述的系统，包括：所述带通滤波模块的阵列，其 中，各带通滤波模块包括： 相应的滤波工具，被配置用于接收指示所述输入图像数据的所述数据并对所述数据施 加相应的平滑滤波器，并且输出相应的平滑信号；以及 相应的减法工具，用于从由在前滤波模块中包含的在前滤波工具输出的前一个平滑信 号中减去相应的平滑信号，由此产生相应的带通信号。
14. 根据权利要求13所述的系统，其中，所述低通滤波模块包括作为所述带通滤波模 块的所述阵列中的最后带通滤波模块的一部分的滤波工具，以生成作为所述低通信号的最 后平滑信号。
15. -种用于处理人面部的图像的系统，所述系统包括： 第一高通滤波模块，被配置用于接收指示所述图像的特征的输入图像数据并输出指示 所述图像中的所述面部的至少边缘和/或轮廓的第一高通信号； 抽取模块，被配置用于接收所述输入图像数据，并处理所接收的所述图像数据用于 减小所述输入图像的尺寸，以产生第一抽取图像，并输出指示所述第一抽取图像的抽取信 号； 根据前述权利要求中的任一项所述的滤波系统，被配置用于接收并处理所述第一抽取 信号，并输出指不第一输出图像的第一输出信号； 插值模块，被配置用于接收所述第一输出信号，并对所述第一输出信号进行插值以输 出指示尺寸等于所述输入图像的尺寸的图像的插值信号；以及 第一加法模块，被配置用于接收所述插值信号和所述第一输出信号，并将所述插值信 号和所述第一输出信号加在一起，由此产生指示改变的图像的特征的第二输出信号。
16. 根据权利要求15所述的系统，包括：第一变换模块，被配置用于改变所述第一高通 信号的至少一部分以输出第一变换信号，第一加法模块被配置用于接收所述插值信号和所 述第一变换信号并将它们加在一起，由此产生指示改变的图像的特征的第二输出信号。
17. 根据权利要求15或16所述的系统，其中，所述第一高通滤波模块包括：第二插值 模块，被配置用于接收所述抽取信号并对所述抽取信号进行插值以输出第二插值信号，所 述第一高通滤波模块被配置用于接收所述输入图像数据和所述第二插值信号；以及第一减 法单元，被配置用于从所述输入图像数据中减去所述第二插值信号，由此产生所述第一高 通信号。
18. 根据权利要求17所述的系统，包括：第二抽取模块，被配置用于对所述第一抽取信 号执行第二抽取以输出第二抽取信号，所述第二抽取信号由所述滤波系统接收并处理以输 出第一输出信号。
19. 一种用于处理指示人面部的图像的特征的输入信号的方法，所述方法由数据处理 和分析工具实现并且包括： (i) 处理输入图像数据以针对所述图像的多个像素计算所述图像的局部特征； (ii) 利用所述局部特征来确定局部操作数； (iii) 将高通滤波器、至少一个带通滤波器、和低通滤波器施加于指示所述输入图像数 据的数据，由此生成高通分量信号、至少一个带通分量信号、和低通分量信号，使得各滤波 器的强度取决于所述局部操作数； (iv) 将至少一个变换施加于所述高通分量信号、所述带通分量信号、和所述低通分量 信号中的至少一个，以改变所述分量信号的至少一个信号的至少一部分； (v) 在改变所述分量信号的至少一个信号的分量之后将所述分量信号相加，由此产生 指示改变的图像的特征的输出信号。
20. -种用于处理指示人面部的图像的特征的输入信号的方法，所述方法包括： 将第一高通滤波器施加于输入图像数据以生成指示所述图像中的所述面部的至少边 缘和/或轮廓的第一高通信号； 抽取所述输入图像数据以输出指示相对于输入图像减小尺寸的图像的抽取信号； 将权利要求19的步骤（i)至（v)应用于所述抽取信号并输出第一输出信号； 对所述第一输出信号进行插值以输出指示尺寸等于所述输入图像的尺寸的图像的插 值信号； 将所述第一输出信号与所述插值信号相加，由此产生指示改变的图像的特征的第二输 出信号。
21. -种与计算机结合使用的计算机可读介质，并且在所述计算机可读介质上存储有 数据处理和分析工具，所述数据处理和分析工具被配置用于使计算机响应于输入图像数据 执行以下各项： 处理输入图像数据以针对所述图像的多个像素计算所述图像的局部特征； 利用所述局部特征来确定局部操作数； 将高通滤波器、至少一个带通滤波器、和低通滤波器施加于指示所述输入图像数据的 数据，由此生成高通分量信号、至少一个带通分量信号、和低通分量信号，使得各滤波器的 强度取决于所述局部操作数； 将至少一个变换施加于所述高通分量信号、所述带通分量信号、和所述低通分量信号 中的至少一个，以改变所述分量信号的至少一个信号的至少一部分； 在改变所述分量信号的至少一个信号的分量之后将所述分量信号相加，由此产生指示 改变的图像的特征的输出信号。
【文档编号】G06T5/00GK104067311SQ201280068188
【公开日】2014年9月24日 申请日期:2012年12月4日 优先权日:2011年12月4日
【发明者】拉米·吉森, 埃坦·拉维, 盖伊·利夫席茨 申请人:数码装饰有限公司