专利名称:图像获取和处理设备的制作方法
技术领域：
本发明涉及图像获取和处理设备。
技术背景
尽管在未使用如美国专利No. 6，407，777以及美国公布申请No. 2005/0140801、 No. 2005/004112UNO. 2006/0093212和No. 2006/0204054中所述的技术优点进行操作的摄影机中红眼缺陷非常普遍，但所拍摄的数码相片被丢弃或毁掉的最普通的原因之一是因为相片中的一个或多个面部区域具有除红眼缺陷之外的摄影缺陷，上述这些申请指定了同一代理人，本文以引用的方式合并上述申请。最常见的例子就是人们移动或摇头时；某人闭眼或眨眼时或者某人打哈欠时。在一幅相片中存在若干脸时，一张脸有“缺陷”则足以毁掉整个相片。尽管数码摄影机允许用户对同一场景快速拍摄若干相片。通常，这些摄影机不提供面部错误的警告，在不重复拍摄相片的构成阶段(例如，再次将每个人组合在一起)并重新拍摄所述场景的情况下也不提供校正这种错误的方法。这类问题对于经常以不能复制的独特的自然姿势拍照的儿童来说尤其难于解决。由于儿童在拍摄时移动了头而毁掉了照片时，这对摄影师来说是非常令人失望的。
通过引用的方式合并的美国专利No. 6，301，440公开了一种图像拍摄装置，其中曝光时刻由图像内容控制。当触发器被激活时，分析用户所推荐的图像并且在所述装置对图像进行拍摄之前改变成像参数，以获得最佳的图像质量。例如，所述装置可以延迟对图像的拍摄，直至图像中的每个人都处于微笑状态。
发明内容
为了实现上述以及其它优点，根据第一方面，提供了一种图像获取和处理设备，包括
处理器(120)；
电连接到所述处理器的图像拍摄装置(60)，所述图像拍摄装置包括聚焦机构 (50)和光敏元件(40)，所述图像拍摄装置配置用于获取场景的主像；
电连接到所述图像拍摄装置的存储器(82)，所述存储器配置用于存储所获取的主像；
电连接到所述存储器的脸检测及跟踪模块(130)，所述脸检测及跟踪模块配置用于确定所述主像中的一个或多个面部区域；
图像校正模块(90)，配置用于电连接到所述脸检测及跟踪模块(130)，所述图像校正模块(90)配置用于对所述一个或多个面部区域进行分析以确定所述面部区域中的任意一个是否包含缺陷；
所述图像拍摄装置(60)还配置用于在不包括获取所述主像的时间的时间段内获取所述场景名义上的一系列较低分辨率图像；
所述脸检测及跟踪模块(130)还配置用于确定所述一系列低分辨率图像中的一个或多个低分辨率面部区域组；
所述图像校正模块(90)还配置用于对所述面部区域组进行分析以确定对应于所述主像的有缺陷的面部区域的组中的任意面部区域是否包含缺陷；
组合所述相应组中的无缺陷面部区域以提供高质量无缺陷的面部区域；以及
通过使用来自相应高质量无缺陷的面部区域的图像信息来对所述主像的任意有缺陷的面部区域的至少一部分进行校正，以生成校正图像；和
电连接到所述脸检测及跟踪模块(130)的图像显示器(100)，所述图像显示器配置用于显示所述主像，并且还配置用于接收响应于用户交互的输入。
根据本发明的实施方式，其中所述图像校正模块(90)进一步包括用于在包括获取所述主像的所述时间之前或之后的一个或多个时间段内获取所述场景名义上的一系列较低分辨率图像的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于对每个高质量无缺陷的面部区域以及相应的有缺陷的面部区域应用包括限定面部区域外围的多个顶点的模型的装置，以及
用于根据所述各区域的顶点的对应性来将所述高质量无缺陷的面部区域的像素映射至所述有缺陷的面部区域的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于应用主动外观模型(AAM)的装置。
根据本发明的实施方式，其中所述图像拍摄装置进一步包括用于以不同于所述低分辨率图像的曝光级的曝光级来获取所述主像的装置，并且
其中所述图像校正模块包括用于将所述高质量无缺陷的面部区域的亮度级映射至所述有缺陷的面部区域的亮度级的装置。
根据本发明的实施方式，其中所述存储器进一步包括用于将来自所述一系列低分辨率图像的低分辨率面部区域组存储于所述主像的图像头文件中的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于从所述面部区域组删除包括超过面部区域组中脸的平均尺寸门限量的脸的面部区域的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于从所述面部区域组删除包括具有超出面部区域组中脸的平均方向门限量的方向的脸的面部区域的装置。
根据本发明的实施方式，其中所述图像显示器进一步包括用于显示所述主像的装置，以及用于接收响应于用户交互的输入的装置。
根据本发明的实施方式，其中所述脸检测及跟踪模块进一步包括用于在所述获取所述主像之前的一个时间确定所述主像中的一个或多个面部区域的装置。
根据本发明的实施方式，所述图像显示器进一步包括用于显示所述校正图像的装置，以及用于响应于用户交互从而能够将所述校正图像保存到所述存储器中的装置。
根据本发明的实施方式，其中所述图像校正模块还包括[0031]主动外观模型模块(150)，用于对面部区域组中的每张脸应用主动外观模型 (AAM)；
电连接到所述主动外观模型模块的图像质量模块(140)，所述图像质量模块配置用于对面部区域组中的每张脸的AAM参数进行分析以提供面部表情的表示；
其中所述图像校正模块进一步包括用于从所述面部区域组删除具有有缺陷表情的脸的装置。
根据本发明的实施方式，其中所述图像校正模块包括
主动外观模型模块，用于对面部区域组中的每张脸应用主动外观模型(AAM)；
电连接到所述主动外观模型模块的图像质量模块，所述图像质量模块配置用于对面部区域组中的每张脸的AAM参数进行分析以提供面部方向的表示；
其中所述图像校正模块进一步包括用于从所述面部区域组删除具有不希望的方向的脸的装置。
根据本发明的实施方式，其中所述图像校正模块包括
主动外观模型模块，用于对每个面部区域应用主动外观模型(AAM)；以及
电连接到所述主动外观模型模块的图像质量模块，所述图像质量模块配置用于对每个面部区域的AAM参数进行分析以提供面部表情的表示。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于针对对比度、锐度、结构、亮度级或肤色中的一个或多个来对每个面部区域进行分析的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于对每个面部区域进行分析以确定所述面部区域中的任意眼睛是否是闭着的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于对每个面部区域进行分析以确定所述面部区域的任意嘴是否是张开的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于对每个面部区域进行分析以确定所述面部区域的任意嘴是否是微笑的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于当所述面部区域组超过给定数量时启动分析、组合和校正的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于对所述面部区域组的脸进行调整大小和对准的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于根据所述面部区域组的脸的基本点来对所述面部区域组的脸进行对准的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于使用所述主像的剩余部分来对所述主像的校正区域进行混合和/或填充的装置。
根据本发明的实施方式，其中所述图像显示器进一步包括用于显示所述校正图像，以及用于响应于用户交互来调整所述校正图像的校正的装置。
根据第二方面，提供了一种图像获取和处理设备，包括
处理器；
电连接到所述处理器的图像拍摄装置，所述图像拍摄装置包括聚焦机构和光敏元件，所述图像拍摄装置配置用于获取场景的主像；
电连接到所述图像拍摄装置的存储器，所述存储器配置用于存储所获取的主像；[0054]电连接到所述存储器的脸检测及跟踪模块，所述脸检测及跟踪模块配置用于确定所述主像中的一个或多个面部区域；
图像校正模块，配置用于电连接到所述脸检测及跟踪模块，所述图像校正模块配置用于针对缺陷来对所述一个或多个主像面部区域进行分析，并且确定一个或多个是有缺陷的；
所述图像拍摄装置还配置用于获取所述场景名义上的一系列较低分辨率图像；
所述脸检测及跟踪模块还配置用于确定所述一系列低分辨率图像中的一个或多个低分辨率面部区域组；
所述图像校正模块还配置用于
对所述一个或多个低分辨率面部区域组进行分析以确定对应于有缺陷的主像面部区域的一个或多个组；并且
通过用于使用来自一个或多个相应的低分辨率面部区域的图像信息来对有缺陷的主像面部区域的至少一部分进行校正，以生成校正图像，所述一个或多个相应的低分辨率面部区域不包括与所述有缺陷的主像面部区域的所述部分相同的缺陷；以及
电连接到所述脸检测及跟踪模块的图像显示器，所述图像显示器配置用于显示基于所述校正的校正图像，并且还配置用于响应于用户交互从而能够将校正图像保存到所述存储器中。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于对一个或多个不包括所述相同缺陷的低分辨率面部区域以及相应的有缺陷的主像面部区域应用包括限定面部区域的外围的多个顶点的模型的装置，以及用于根据各区域的顶点的对应性来将所述一个或多个低分辨率面部区域的像素映射至所述相应的有缺陷的主像面部区域的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于应用主动外观模型(AAM)的装置。
根据本发明的实施方式，其中所述图像拍摄装置进一步包括用于以不同于所述低分辨率图像的曝光级的曝光级来获取所述主像的装置，并且其中所述图像校正模块进一步包括用于将不具有所述相同缺陷的一个或多个低分辨率面部区域的亮度级映射至所述有缺陷的主像面部区域的亮度级的装置。
根据本发明的实施方式，其中所述存储器进一步包括用于将来自所述一系列低分辨率图像的低分辨率面部区域组存储于所述主像的图像头文件中的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于从至少一个面部区域组删除包括超过所述至少一个面部区域组中脸的平均尺寸门限量的脸的面部区域的
直ο
根据本发明的实施方式，其中所述图像校正模块进一步包括用于从面部区域组删除包括具有超出所述面部区域组中脸的平均方向门限量的方向的脸的面部区域的装置。
根据本发明的实施方式，其中所述图像显示器进一步包括用于显示所述主像的装置，以及用于用户交互从而通过所述图像校正模块启动对所述一个或多个组进行分析，对有缺陷的主像的至少一个部分进行校正，或者二者的装置。
根据本发明的实施方式，其中所述图像显示器进一步包括用于显示基于所述校正的校正图像的装置；以及所述存储器进一步包括用于响应于用户交互以保存所述校正图像的装置。
根据本发明的实施方式，其中所述图像校正模块还包括
主动外观模型模块，用于对面部区域组中的每张脸应用主动外观模型(AAM)；
电连接到所述主动外观模型模块的图像质量模块，所述图像质量模块配置用于对面部区域组中的每张脸的AAM参数进行分析以提供面部表情的表示；
其中所述图像校正模块进一步包括用于从所述面部区域组删除具有有缺陷表情的脸的装置。
根据本发明的实施方式，其中所述图像校正模块包括
主动外观模型模块，用于对面部区域组中的每张脸应用主动外观模型(AAM)；
电连接到所述主动外观模型模块的图像质量模块，所述图像质量模块配置用于对面部区域组中的每张脸的AAM参数进行分析以提供面部方向的表示；
其中所述图像校正模块进一步包括用于从所述面部区域组删除具有不希望的方向的脸的装置。
根据本发明的实施方式，其中所述图像校正模块包括
主动外观模型模块，用于对每个面部区域应用主动外观模型(AAM)；以及
电连接到所述主动外观模型模块的图像质量模块，所述图像质量模块配置用于对每个面部区域的AAM参数进行分析以提供面部表情的表示。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于确定所述面部区域的眼睛是否是闭着的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于确定所述面部区域的嘴是否是张开的装置。
根据本发明的实施方式，其中所述图像校正模块进一步包括用于确定所述面部区域的嘴是否是微笑的装置。
根据本发明的实施方式，其中所述图像显示器进一步包括用于显示校正图像的装置，以及用于响应于用户交互来调整所述校正图像的校正的装置。
根据本发明的实施方式，其中所述图像拍摄装置进一步包括用于在不包括获取所述主像的时间的时间段内获取所述一系列低分辨率图像的装置。
根据本发明的实施方式，其中所述图像校正装置进一步包括用于将无缺陷的低分辨率的面部区域组合成组合图像的装置，以及用于使用来自组合图像的图像信息来对所述有缺陷的主像面部区域的所述至少一部分进行校正的装置。
下文将参考附图，通过示例的方式来描述实施例，其中
图1是根据本发明实施例进行操作的图像处理设备的框图；
图2是根据本发明优选实施例的图像处理方法的流程图；以及
图3和图4是已经对其应用了主动外观模型的示例图像组。 具体实施方式
可以使用数码摄影机来实施某些实施例，该数码摄影机包括(i)对预览图像流进行操作的脸跟踪器；(ii)超分辨率处理模块，其被配置用于根据若干低分辨率图像的组合来创建较高分辨率的图像；以及(iii)面部区域质量分析模块，其用于确定各面部区域的质。
优选地，将超分辨率应用于脸跟踪期间提取所得的预览面部区域。
这些实施例使得可以通过使用预览图像数据并采用超分辨率技术来对数码摄影机内所获取的图像的面部区域中的错误和缺陷进行校正。
图1是根据某些实施例进行操作的图像获取装置20的方框图，其在本实施例中为便携式数码摄影机。应该理解，数码摄影机中实现的许多处理在运行在微处理器、中央处理单元、控制器、数字信号处理器和/或专用集成电路(它们统称为处理器120)之上的软件中实现，或者由该软件进行控制。诸如按钮和显示器的外围部件的所有用户接口以及控制均由微控制器122控制。
在操作中，处理器120响应于用户在122的输入(诸如半按快门按钮(预拍摄模式32))启动并控制数码摄影处理。使用光敏元件40来确定环境光的曝光，以自动地确定是否将使用闪光。使用聚焦机构50来确定对象的距离，所述聚焦机构还使图像聚焦于图像获取装置60之上。如果要使用闪光，处理器120就在完全按下快门按钮时使闪光装置70 产生与图像拍摄装置60对图像进行记录基本一致的摄影闪光。所述图像拍摄装置60对彩色图像进行数码记录。所述图像拍摄装置已为本领域技术人员所公知，并且其包括有利于数码记录的CCD(电荷耦合器件)或CMOS。可选地，可以响应于光敏元件40或者来自摄影机用户的人工输入72来产生闪光。图像拍摄装置60所记录的高分辨率图像被存储在图像存储器80中，该图像存储器可以包括诸如动态随机存取存储器或非易失性存储器的计算机存储器。所述摄影机装配有诸如IXD的显示器100，用于显示预览图像并且显示摄影机控制软件的用户界面。
在随着快门按钮被半按下而在预拍摄模型32中产生的预览图像的情况中，显示器100可以帮助用户构成图像，也可以用于确定聚焦和曝光。暂时存储器82用于存储一个或多个预览图像流，并且其可以为图像存储器80的一部分或者为独立部件。所述预览图像通常由图像拍摄装置60产生。出于速度以及存储效率的原因，预览图像通常具有比在完全按下快门按钮时拍摄的主像低的像素分辨率，并且可以使用软件1 对所拍摄的原始图像进行子采样来产生，所述软件可以是通用处理器120或专用硬件或其组合的一部分。
在本实施例中，诸如本文通过引用的方式合并的2006年8月11日提交的美国申请No. 11/464，083中所述的脸检测及跟踪模块130可操作地连接至子采样器124，以根据脸检测及跟踪模块的要求来控制预览图像的子采样分辨率。存储于暂时存储器82中的预览图像可用于记录在预览图像流中跟踪和检测到的脸的位置的模块130。在一个实施例中，模块130可操作地连接至显示器100，以使检测和跟踪到的脸区域的边界可以在预览期间在显示器上叠加在脸周围。
在图1的实施例中，脸跟踪模块130被安排用于提取跟踪到的面部区域并以较低分辨率将其存储到诸如存储器82的存储缓冲区中，也可能将其存储为存储于存储器80中的所获取的图像头文件中的元数据。当跟踪多个脸区域时，为每个跟踪的脸区域建立一个缓冲区。这些缓冲区为有限大小(在优选实施例中为10-20个所提取的脸区域的大小)并且通常基于先进先出(FIFO)进行操作。
根据优选实施例，装置20还包括图像校正模块90。其中模块90被安排用于在诸如台式计算机、彩色打印机或照片冲洗机的外部处理装置10中对所获取的图像进行脱机校正，优选地，预览图像中检测和/或跟踪到的脸区域被存储为图像头文件中的元数据。但是，当模块90在摄影机20中实现时，其可以对存储有预览图像和/或脸区域信息的缓冲区 82直接进行存取。
在该实施例中，模块90从存储器80接收所拍摄的高分辨率数码图像，并对其进行分析，以检测缺陷。如以下实施例中所述来进行所述分析。如果发现缺陷，该模块可以修改图像来消除缺陷。该修改后的图像可以显示在图像显示器100上、保存在内部或可以为诸如CF卡、SD卡的可移动存储器的永久性存储器112上，或者也可以通过可以为有线或无线的图像输出装置110来下载至另一装置。模块90可以在每次拍摄图像时自动地、或者根据通过输入端30输入的用户命令开始工作。尽管模块90被示为单独的零件，但是当其为摄影机的一部分时，其可以由处理器120上的适当软件来实现。
图像校正模块的主要部件包括质量模块140，其被安排用于分析来自低分辨率图像或高分辨率图像的脸区域，以确定这些脸区域是否包含有脸缺陷。超分辨率模块160被安排用于将同一对象(通常具有相同的姿势和期望的面部表情)的多个低分辨率脸区域进行组合，以提供用于校正处理的高质量的脸区域。在本实施例中，主动外观模型(AAM)模块 150再次根据低分辨率图像或高分辨率图像来产生脸区域的AAM参数。
AAM模块是众所周知的，并且2004年8月由F Dornaika和JAhlberg发表于IEEE Transactions on Systems, Man, andCybernetics-Part B !Cybernetics, Vol. 34 No. 4, pg 1838-1853 ^11 "Fast and Reliable Active Appearance Model Search for 3-D hceTracking”中公开了本实施例的适当模型，尽管也可以使用基于TF Cootes等发表 -f' Proc. European Conf. Computer Vision, 1998, pp484-498 1 ' !! "Active Appearance Models"的原始论文的其他模型。
优选地，AAM模块150可以与质量模块140合作来提供姿势和/或表情指示，以允许在分析中以及可选地在下文所述的校正处理中对图像进行选择。此外，AAM模块150还可以优选地与超分辨率模块160合作来提供姿势指示，以允许在校正处理中对图像进行选择，下文也将对其进行详细描述。
现在参考示出了某些实施例的示例处理流程的图2，当获取了主像(步骤230)时， 模块90将从模块130获知所获取的主像(高分辨率)中任意检测/跟踪到的脸区域的位置和大小。可以直接对所获取的图像应用脸检测，和/或预览图像流中先前检测和/或跟踪到的脸区域的信息可以用于主像中的脸检测(由从步骤220延伸的虚线表示)。在步骤 250中，面部区域质量分析模块140提取并分析主像中在步骤MO中跟踪/检测到的脸区域，以确定所获取的各脸区域的质量。例如，模块140可以进行预分析，以测量所检测到的脸区域的总的对比度、锐度和/或结构。这可以表明整个脸区域是否由于对象在获取时间移动而模糊。如果面部区域不能被很好地限定，则将其标记为模糊缺陷。除此之外或可选地，分析的另一阶段可以集中于脸的眼部区域，以确定是否存在一只或两只眼睛在获取时间完全或部分地闭着，并且相应地对脸区域进行分类。如上所述，如果对图像执行了 AAM分析，则AAM参数可用于表示对象的眼睛是否处于睁开状态。应该注意，在上述分析中，模块 90检测由于对象的局部移动而造成的眨眼或模糊，而不检测全局图像的模糊。
分析的另一或可选阶段集中于嘴部区域，并确定嘴是否由于打哈欠而张开或者实际上并不是微笑；再次相应地对脸区域进行分类。如上所述，如果对图像执行了 AAM分析，则AAM参数可用于表示对象的嘴的状态。
其他示例测试可以包括亮度级、肤色以及结构直方图、可引起面部特征(嘴形、额头皱纹)显著改变的意外面部表情(微笑、皱眉)。专门的测试可以被实现为另外的或可选的图像分析滤波器，例如Hough变换滤波器可以用于检测脸区域中眼睛上方的表示“带有皱纹的额头”的平行线。也可以采用诸如本领域技术人员已知的以及US6，301，440中所公开的其他图像分析技术来对主像的脸区域进行分类。
在该分析之后，确定是否存在所出现的这些缺陷中的任何一个(步骤沈0)，并且摄影机或外部处理装置用户可以提供有基于缓存的(低分辨率的)脸区域数据来修复缺陷的选项(步骤265)。
当用户启动修复选项时，首先由脸区域质量分析器来分析每个低分辨率的脸区域 (步骤270)。由于该分析对步骤200/210中获取并存储的低分辨率图像进行操作，因此该分析可以不同于在步骤250中对所获取的主像中的脸区域进行的分析。但是，这些分析步骤的类似之处在于对每个低分辨率的脸区域进行分析以确定其是否存在图像缺陷，当其存在缺陷时，则在280步骤中不应该选择该脸区域来重建主像中有缺陷的脸区域。在该分析和选择之后，如果从低分辨率图像流中不能得到对应于有缺陷的脸区域的足够“好”的脸区域，则向用户传递图像修复不可行的指示。如果存在足够“好”的脸区域，则对其进行传递， 以进行调整尺寸和对准(步骤观5)。
该步骤调整每张脸区域的大小，并且对某些局部的基本脸点执行对准，以校正姿势的改变并且确保低分辨率的脸区域中的每一个尽可能一致地进行互相重叠以用于以后的处理。
还应该注意，由于这些图像区域是连续地并在相对较短的时间内拍摄的，因此期望其具有大致相同的大小以及方向。因此，可以使用基本的脸点来实现图像对准，尤其是使用涉及到眼睛、嘴、通常由明显的边界边缘描绘的下脸(下巴区域)、以及通常由明显的发际线边缘描绘的上脸的那些脸点。所提取的脸区域的一些轻微的缩放以及变形可用于实现合理的对准，但是这些图像的非常精确的对准不可取的，这是因为这不利于能根据若干低分辨率图像来确定较高分辨率图像的超分辨率技术。
应该注意，可以在获取主像之前的时间段或者从获取主像之后的时间段(由从步骤230延伸的虚线表示)来拍摄在步骤200/210拍摄并存储的低分辨率图像。例如，可以在紧接着主像拍摄以后对象停止移动/眨眼等之后的时间段内拍摄合适的无缺陷的低分辨率图像。
接着，将该组所选择的无缺陷的脸区域传递至超分辨率模块160，超分辨率模块使用已知的超分辨率方法将它们组合，以产生与所获取的主像的相应区域一致的高分辨率脸区域。
此时，系统可以使用通常的相应的有缺陷的脸区域来获得高质量无缺陷的组合脸区域以及高分辨率的主像。
如果还没有执行质量分析，则对有缺陷的脸区域以及相应的高质量无缺陷的脸区域进行AAM分析(步骤300)。此时参考图3(a)至图3 (d)，它们示出了包括已由AAM模块 150处理了的脸区域的一些图像。在这种情况下，尽管可以部署用于倾斜的脸或侧脸的单独的模型，但是仍然将由叠加在脸上的线框表示的模型进行调整为大体为脸向前及直立的脸。一旦应用了该模型，则返回所述线框各顶点的一组坐标；并且返回由相邻顶点限定的每个三角形单元的结构参数。这些顶点的相对坐标以及结构参数转而可以提供与用于上述质量分析的脸的表情以及倾向相联系的指示。
因此，可以看出，AAM模块150也可用于面部区域分析步骤250/270中，以提供嘴或眼睛是否张开(即微笑并不眨眼)的指示；并且还有助于在步骤观5/四0中由超分辨率模块160执行的对用于超分辨率之前选择的面部区域是否类似地对准或倾斜进行确定。
因此，使用图3(a)作为由低分辨率图像的超分辨率产生的面部区域的示例，可以看到，包括AAM模型的外围的一组顶点限定了可以被映射至图3(b)至图3(d)的相应的外围顶点组，其中图3(b)至图3(d)中的这些图像已分类并且已被用户确认为有缺陷的面部区域和供校正的候选。
关于图4，图4(a)或图4(b)的可表示超分辨率无缺陷脸区域的模型参数可以表明这些脸区域的左右方向将不能使它们成为用于校正图4(c)的脸区域的适当候选。类似地， 与图4(e)的脸区域相比，图4(f)的脸区域是用于校正图4(d)的脸区域的更适合的候选。
在任意情况下，如果认为超分辨率脸区域与有缺陷的脸区域一致，则可以通过任意适当的技术来将来自超分辨率脸区域的信息贴在主像之上，以对主像的脸区域进行校正 (步骤320)。在最终接受或拒绝校正图像之前，可以查看该校正图像，并且用户可以根据映射性质来对校正图像进行调整(步骤330)。因此，例如，其中将校正脸区域外围周围的的抖色处理用作校正处理的一部分(步骤320)，抖色处理的程度可以调整。类似地，用户可以人工调整校正区域中的亮度级或结构参数，或者实际上甚至可以在用户最终接受或拒绝之前人工调整校正区域和映射处理的任意参数。
虽然AAM提供了一种确定面部区域的外边界的方法，但是除了或替代AAM，还可以使用诸如边缘检测、区域生长以及肤色分析的其他已知的图像处理技术。但是，这些方法可能不具有可用于分析脸区域的缺陷和/或姿势信息的优点。其他有用的技术包括在运行脸检测之前，将前景/背景分离应用于低分辨率图像或者主像，从而通过仅分析前景区域以及特定的前景皮肤部分来减小总的处理时间。跨越前景/背景轮廓的边界应用的本色段 (local colour segmentation)有助于进一步地细化面部区域的边界。
用户一旦对重建的脸区域的布局满意，则可以选择将其与主像合并；可替换地，如果用户不满意，则可以取消重建处理。通常，通过摄影机用户界面上的按钮来选择这些动作，其中在获取装置20上实现校正模块。
作为实际示例，我们考虑用于校正眼睛缺陷的系统示例。一个示例可用于由于获取期间对象“眨眼”所引起的主像帧中的一只眼睛闭着的缺陷。在主像获取之后，用户立即确定他们是否希望对该缺陷进行校正。如果用户确认要对该缺陷进行校正，则摄影机从对所存储的来源于紧接主像获取之前所获取的预览图像的脸区域组进行分析开始。假设在紧接图像获取之前的一秒内保存了一组(比方说)20幅图像。由于缺陷为眨眼，因此初始测试确定这些预览图像中的最后的(比方说)10幅图像是无用的。但是，前10副图像被确定为合适的。这些图像的其他测试可以包括面部姿势的确定，删去其面部姿势相对于所有预览图像的平均姿势改变超出5%的图像；面部区域大小的确定，删去其平均大小相对于所有图像的平均大小改变超出25%的图像。对于后面的测试来说门限较大的原因在于改变脸区域的尺寸比校正姿势的改变更容易。[0124]在上述实施例的变型中，被组合的区域可以包括主脸区域周围的背景区域的多个部分。这在所获取的主像中将要校正的缺陷是由于图像曝光期间脸移动而产生的情况下尤其重要。这将导致主像中具有不明确的外边界的脸区域以及叠加在其上的超分辨率图像通常包含用于适当校正该脸移动缺陷的背景的多个部分。是否包括用于脸重建的背景区域的确定可以由用户进行，或者可以在对所获取的主像执行缺陷分析之后自动地进行确定。在后一种情况下，缺陷包括由于脸移动产生的模糊，因此在超分辨率重建处理中通常包括背景区域。在替换实施例中，可以通过使用如下技术来创建重建的背景(i)区域填充技术，其用于具有相对均勻的颜色和结构特征的背景区域；或者(ii)使用图像对准和超分辨率技术直接根据预览图像流来进行。在后一种情况下，将重建的背景合并到通过将前景与背景分离而创建的主像背景中的间隙中；接下来将重建的脸区域合并到分离后的前景区域中，具体地，将重建的脸区域合并到前景的面部区域中以及最后将前景与加强的背景区域重新结合到一起。
在应用超分辨率方法来从多个低分辨率预览图像创建更高分辨率的脸区域之后， 通常涉及到一些额外的缩放以及对准操作。此外，可以使用一些混合、填充以及形态学操作来确保新构建的超分辨率脸区域与所获取的主像的背景之间的平滑过渡。尤其是在将要校正的缺陷为图像曝光期间脸移动而造成的情况下。在运动缺陷的情况下，在将重建的脸区域合并到主像中之前重建图像背景的多个部分也是比较理想的。
使新的脸区域的总亮度级与旧的脸区域的总亮度级匹配也是比较理想的，并且通过使旧区域与新构建区域之间的肤色匹配来实现最佳。预览图像在固定摄影机设置的情况下被获取并且可以曝光过度/曝光不足。这可能不会在超分辨率处理期间被完全补偿，从而可能会涉及其他图像处理操作。
虽然上述实施例是针对替换图像内的脸区域的，但是可以看出，可以使用AAM来模拟任意类型的图像特征。因此，在某些实施例中，用于超分辨率重建的补丁可以是脸区域内的子区域。例如，可以期望仅对脸区域的一部分(诸如眼睛或嘴区域)而不是整个脸区域进行重建。在这种情况下，由于子区域将要被合并到颜色和结构(即肤色和结构)基本类似的周围区域，因此该子区域的精确边界的确定就不太重要。因此，集中于将要组合的眼睛区域或者对准嘴区域的角以及依赖于将周围的肤色区域混合到主像中已经足够。
在上述一个或多个实施例中，分离的脸区域可以分别被跟踪(还可参见本文以引用的方式合并的美国申请No. 11/464，08 。可以以帧到帧的方式跟踪这些区域。可以对预览或立即预览(Post View，拍摄后立即显示图像)的脸区域进行提取、分析，并且可以使其相互对准以及与获取的主像中或最终获取的图像中的脸区域对准。此外，在根据某些实施例的技术中，可以在帧之间对脸进行跟踪，以发现预览或立即预览之间关于脸的更小的细节并将这些细节进行关联。例如，预览N中的Joe的脸的左眼可以与预览N+1中的Joe的脸的左眼相关联。这可以一起用于形成一个或多个Joe的眼睛的质量提高了的图像。这是有利的，这是因为小的特征(眼睛、嘴、鼻子、诸如眼睑或眼眉或瞳孔或虹膜的眼睛部件、或耳朵、下巴、下巴上的胡须、胡子、前额、发型等)不像较大的特征(它们在帧与帧之间的绝对或相对位移相对于其大小来说趋向于更大)一样容易在帧间进行跟踪。
本发明不限于本文中的上述实施例，在不脱离所附权利要求
、其结构以及其功能等同物所限定的本发明的范围的情况下，可以对上述实施例进行修改或改进。[0130]在可以根据本申请中的优选实施例执行的、以及以上描述的和/或以下要求保护的方法中，各操作是按照选择的印刷顺序来描述的。但是，为了印刷的方便选择了上述顺序并进行排序，而不旨在暗示执行这些操作的任何特定顺序。
此外，除了背景技术以及其
发明内容
之外，本文中所引用的所有参考文献在公开可替换实施例和部件的同时均通过引用的方式并入本文中优选实施例的详细描述中。为此，也通过引用的方式将以下申请并入本文美国专利申请No. 60/829，127、 No. 60/804，546、No.60/821，165、No. 11/554，539、No. 11/464，083、No. 11/027，001、 No. 10/842，244、No. 11/024，046、No. 11/233，513、No. 11/460，218、No. 11/573，713、 No. 11/319，766、No. 11/464，083、No. 11/744，020 和 No. 11/460，218、以及美国公布申请 No.2006/0285754。
权利要求
1.一种图像获取和处理设备，包括 处理器(120)；电连接到所述处理器的图像拍摄装置(60)，所述图像拍摄装置包括聚焦机构(50)和光敏元件(40)，所述图像拍摄装置配置用于获取场景的主像；电连接到所述图像拍摄装置的存储器(82)，所述存储器配置用于存储所获取的主像； 电连接到所述存储器的脸检测及跟踪模块(130)，所述脸检测及跟踪模块配置用于确定所述主像中的一个或多个面部区域；图像校正模块(90)，配置用于电连接到所述脸检测及跟踪模块(130)，所述图像校正模块(90)配置用于对所述一个或多个面部区域进行分析以确定所述面部区域中的任意一个是否包含缺陷；所述图像拍摄装置(60)还配置用于在不包括获取所述主像的时间的时间段内获取所述场景名义上的一系列较低分辨率图像；所述脸检测及跟踪模块(130)还配置用于确定所述一系列低分辨率图像中的一个或多个低分辨率面部区域组；所述图像校正模块(90)还配置用于对所述面部区域组进行分析以确定对应于所述主像的有缺陷的面部区域的组中的任意面部区域是否包含缺陷；组合所述相应组中的无缺陷面部区域以提供高质量无缺陷的面部区域；以及通过使用来自相应高质量无缺陷的面部区域的图像信息来对所述主像的任意有缺陷的面部区域的至少一部分进行校正，以生成校正图像；和电连接到所述脸检测及跟踪模块(130)的图像显示器(100)，所述图像显示器配置用于显示所述主像，并且还配置用于接收响应于用户交互的输入。
2.根据权利要求
1所述的设备，其中所述图像校正模块(90)进一步包括用于在包括获取所述主像的所述时间之前或之后的一个或多个时间段内获取所述场景名义上的一系列较低分辨率图像的装置。
3.根据权利要求
1所述的设备，其中所述图像校正模块进一步包括用于对每个高质量无缺陷的面部区域以及相应的有缺陷的面部区域应用包括限定面部区域外围的多个顶点的模型的装置，以及用于根据所述各区域的顶点的对应性来将所述高质量无缺陷的面部区域的像素映射至所述有缺陷的面部区域的装置。
4.根据权利要求
3所述的设备，其中所述图像校正模块进一步包括用于应用主动外观模型(AAM)的装置。
5.根据权利要求
1所述的设备，其中所述图像拍摄装置进一步包括用于以不同于所述低分辨率图像的曝光级的曝光级来获取所述主像的装置，并且其中所述图像校正模块包括用于将所述高质量无缺陷的面部区域的亮度级映射至所述有缺陷的面部区域的亮度级的直ο
6.根据权利要求
1所述的设备，其中所述存储器进一步包括用于将来自所述一系列低分辨率图像的低分辨率面部区域组存储于所述主像的图像头文件中的装置。
7.根据权利要求
1所述的设备，其中所述图像校正模块进一步包括用于从所述面部区域组删除包括超过面部区域组中脸的平均尺寸门限量的脸的面部区域的装置。
8.根据权利要求
1所述的设备，其中所述图像校正模块进一步包括用于从所述面部区域组删除包括具有超出面部区域组中脸的平均方向门限量的方向的脸的面部区域的装置。
9.根据权利要求
1所述的设备，其中所述图像显示器进一步包括用于显示所述主像的装置，以及用于接收响应于用户交互的输入的装置。
10.根据权利要求
1所述的设备，其中所述脸检测及跟踪模块进一步包括用于在所述获取所述主像之前的一个时间确定所述主像中的一个或多个面部区域的装置。
11.根据权利要求
1所述的设备，所述图像显示器进一步包括用于显示所述校正图像的装置，以及用于响应于用户交互从而能够将所述校正图像保存到所述存储器中的装置。
12.根据权利要求
1所述的设备，其中所述图像校正模块还包括主动外观模型模块(150)，用于对面部区域组中的每张脸应用主动外观模型(AAM)；电连接到所述主动外观模型模块的图像质量模块(140)，所述图像质量模块配置用于对面部区域组中的每张脸的AAM参数进行分析以提供面部表情的表示；其中所述图像校正模块进一步包括用于从所述面部区域组删除具有有缺陷表情的脸的装置。
13.根据权利要求
1所述的设备，其中所述图像校正模块包括主动外观模型模块，用于对面部区域组中的每张脸应用主动外观模型(AAM)；电连接到所述主动外观模型模块的图像质量模块，所述图像质量模块配置用于对面部区域组中的每张脸的AAM参数进行分析以提供面部方向的表示；其中所述图像校正模块进一步包括用于从所述面部区域组删除具有不希望的方向的脸的装置。
14.根据权利要求
1所述的设备，其中所述图像校正模块包括主动外观模型模块，用于对每个面部区域应用主动外观模型(AAM)；以及电连接到所述主动外观模型模块的图像质量模块，所述图像质量模块配置用于对每个面部区域的AAM参数进行分析以提供面部表情的表示。
15.根据权利要求
1所述的设备，其中所述图像校正模块进一步包括用于针对对比度、 锐度、结构、亮度级或肤色中的一个或多个来对每个面部区域进行分析的装置。
16.根据权利要求
1所述的设备，其中所述图像校正模块进一步包括用于对每个面部区域进行分析以确定所述面部区域中的任意眼睛是否是闭着的装置。
17.根据权利要求
1所述的设备，其中所述图像校正模块进一步包括用于对每个面部区域进行分析以确定所述面部区域的任意嘴是否是张开的装置。
18.根据权利要求
1所述的设备，其中所述图像校正模块进一步包括用于对每个面部区域进行分析以确定所述面部区域的任意嘴是否是微笑的装置。
19.根据权利要求
1所述的设备，其中所述图像校正模块进一步包括用于当所述面部区域组超过给定数量时启动分析、组合和校正的装置。
20.根据权利要求
1所述的设备，其中所述图像校正模块进一步包括用于对所述面部区域组的脸进行调整大小和对准的装置。
21.根据权利要求
20所述的设备，其中所述图像校正模块进一步包括用于根据所述面部区域组的脸的基本点来对所述面部区域组的脸进行对准的装置。
22.根据权利要求
1所述的设备，其中所述图像校正模块进一步包括用于使用所述主像的剩余部分来对所述主像的校正区域进行混合和/或填充的装置。
23.根据权利要求
1所述的设备，其中所述图像显示器进一步包括用于显示所述校正图像，以及用于响应于用户交互来调整所述校正图像的校正的装置。
24.—种图像获取和处理设备，包括 处理器；电连接到所述处理器的图像拍摄装置，所述图像拍摄装置包括聚焦机构和光敏元件， 所述图像拍摄装置配置用于获取场景的主像；电连接到所述图像拍摄装置的存储器，所述存储器配置用于存储所获取的主像； 电连接到所述存储器的脸检测及跟踪模块，所述脸检测及跟踪模块配置用于确定所述主像中的一个或多个面部区域；图像校正模块，配置用于电连接到所述脸检测及跟踪模块，所述图像校正模块配置用于针对缺陷来对所述一个或多个主像面部区域进行分析，并且确定一个或多个是有缺陷的；所述图像拍摄装置还配置用于获取所述场景名义上的一系列较低分辨率图像； 所述脸检测及跟踪模块还配置用于确定所述一系列低分辨率图像中的一个或多个低分辨率面部区域组；所述图像校正模块还配置用于对所述一个或多个低分辨率面部区域组进行分析以确定对应于有缺陷的主像面部区域的一个或多个组；并且通过用于使用来自一个或多个相应的低分辨率面部区域的图像信息来对有缺陷的主像面部区域的至少一部分进行校正，以生成校正图像，所述一个或多个相应的低分辨率面部区域不包括与所述有缺陷的主像面部区域的所述部分相同的缺陷；以及电连接到所述脸检测及跟踪模块的图像显示器，所述图像显示器配置用于显示基于所述校正的校正图像，并且还配置用于响应于用户交互从而能够将校正图像保存到所述存储器中。
25.根据权利要求
M所述的设备，其中所述图像校正模块进一步包括用于对一个或多个不包括所述相同缺陷的低分辨率面部区域以及相应的有缺陷的主像面部区域应用包括限定面部区域的外围的多个顶点的模型的装置，以及用于根据各区域的顶点的对应性来将所述一个或多个低分辨率面部区域的像素映射至所述相应的有缺陷的主像面部区域的装置。
26.根据权利要求
25所述的设备，其中所述图像校正模块进一步包括用于应用主动外观模型(AAM)的装置。
27.根据权利要求
M所述的设备，其中所述图像拍摄装置进一步包括用于以不同于所述低分辨率图像的曝光级的曝光级来获取所述主像的装置，并且其中所述图像校正模块进一步包括用于将不具有所述相同缺陷的一个或多个低分辨率面部区域的亮度级映射至所述有缺陷的主像面部区域的亮度级的装置。
28.根据权利要求
M所述的设备，其中所述存储器进一步包括用于将来自所述一系列低分辨率图像的低分辨率面部区域组存储于所述主像的图像头文件中的装置。
29.根据权利要求
M所述的设备，其中所述图像校正模块进一步包括用于从至少一个面部区域组删除包括超过所述至少一个面部区域组中脸的平均尺寸门限量的脸的面部区域的装置。
30.根据权利要求
M所述的设备，其中所述图像校正模块进一步包括用于从面部区域组删除包括具有超出所述面部区域组中脸的平均方向门限量的方向的脸的面部区域的装置。
31.根据权利要求
M所述的设备，其中所述图像显示器进一步包括用于显示所述主像的装置，以及用于用户交互从而通过所述图像校正模块启动对所述一个或多个组进行分析，对有缺陷的主像的至少一个部分进行校正，或者二者的装置。
32.根据权利要求
M所述的设备，其中所述图像显示器进一步包括用于显示基于所述校正的校正图像的装置；以及所述存储器进一步包括用于响应于用户交互以保存所述校正图像的装置。
33.根据权利要求
M所述的设备，其中所述图像校正模块还包括主动外观模型模块，用于对面部区域组中的每张脸应用主动外观模型(AAM)；电连接到所述主动外观模型模块的图像质量模块，所述图像质量模块配置用于对面部区域组中的每张脸的AAM参数进行分析以提供面部表情的表示；其中所述图像校正模块进一步包括用于从所述面部区域组删除具有有缺陷表情的脸的装置。
34.根据权利要求
M所述的设备，其中所述图像校正模块包括主动外观模型模块，用于对面部区域组中的每张脸应用主动外观模型(AAM)；电连接到所述主动外观模型模块的图像质量模块，所述图像质量模块配置用于对面部区域组中的每张脸的AAM参数进行分析以提供面部方向的表示；其中所述图像校正模块进一步包括用于从所述面部区域组删除具有不希望的方向的脸的装置。
35.根据权利要求
M所述的设备，其中所述图像校正模块包括主动外观模型模块，用于对每个面部区域应用主动外观模型(AAM)；以及电连接到所述主动外观模型模块的图像质量模块，所述图像质量模块配置用于对每个面部区域的AAM参数进行分析以提供面部表情的表示。
36.根据权利要求
M所述的设备，其中所述图像校正模块进一步包括用于确定所述面部区域的眼睛是否是闭着的装置。
37.根据权利要求
M所述的设备，其中所述图像校正模块进一步包括用于确定所述面部区域的嘴是否是张开的装置。
38.根据权利要求
M所述的设备，其中所述图像校正模块进一步包括用于确定所述面部区域的嘴是否是微笑的装置。
39.根据权利要求
M所述的设备，其中所述图像显示器进一步包括用于显示校正图像的装置，以及用于响应于用户交互来调整所述校正图像的校正的装置。
40.根据权利要求
M所述的设备，其中所述图像拍摄装置进一步包括用于在不包括获取所述主像的时间的时间段内获取所述一系列低分辨率图像的装置。
41.根据权利要求
M所述的设备，其中所述图像校正装置进一步包括用于将无缺陷的低分辨率的面部区域组合成组合图像的装置，以及用于使用来自组合图像的图像信息来对所述有缺陷的主像面部区域的所述至少一部分进行校正的装置。
专利摘要
一种图像处理技术，包括获取场景的主像以及确定所述主像中的一个或多个面部区域。对各面部区域进行分析，以确定所述面部区域中的任意一个是否包含缺陷。名义上获取相同场景的一系列较低分辨率图像。针对缺陷来确定并分析所述一系列低分辨率图像中的一个或多个低分辨率面部区域组。组合所述组中的各无缺陷面部区域，以提供高质量无缺陷的面部区域。使用来自相应高质量无缺陷的面部区域的图像信息来对所述主像的任意有缺陷的面部区域的至少一部分进行校正。
文档编号G06K9/36GKCN202018662SQ200790000136
公开日2011年10月26日 申请日期2007年5月24日
发明者埃兰·斯坦伯格, 彼得·科科伦, 彼得罗内尔·比焦伊 申请人:德萨拉技术爱尔兰有限公司导出引文BiBTeX, EndNote, RefMan