图像融合方法和设备与流程

以下描述涉及一种图像处理技术。

背景技术：

在低亮度的环境中拍摄图像的情况下，可能难以清楚地识别拍摄到的图像中的对象。作为解决此问题的方法，存在一种通过增加相机的曝光时间来拍摄图像的方法以及一种执行图像处理(例如，调节由相机拍摄的图像的亮度)的方法。这两种方法可增加图像的亮度。然而，前一种方法在对象移动时可能引起图像中的运动模糊，后一种方法在清楚地显示对象的方面受限。

技术实现要素：

提供本发明内容以简化的形式介绍将在以下具体实施方式中进一步描述的构思的选择。本发明内容不意在标识要求保护的主题的关键特征或重要特征，也不意在用于帮助确定要求保护的主题的范围。

在一个总体方面，一种图像融合方法包括：从第一图像帧检测在第一图像帧中示出的对象的第一特征点，基于检测到的第一特征点和预定义的参考点来转换第一图像帧；从第二图像帧检测在第二图像帧中示出的对象的第二特征点，基于检测到的第二特征点和参考点来转换第二图像帧；通过组合转换的第一图像帧和转换的第二图像帧来获得组合图像。

转换第一图像帧的步骤可包括：转换第一图像帧使得第一特征点被置于参考点的位置，转换第二图像帧的步骤可包括：转换第二图像帧使得第二特征点被置于参考点的位置。

转换第一图像帧的步骤可包括：基于检测到的第一特征点从第一图像帧检测第一对象区域，并基于包含在检测到的第一对象区域中的第一特征点和参考点通过图像变形来转换第一对象区域。

转换第二图像帧的步骤可包括：基于检测到的第二特征点从第二图像帧检测第二对象区域，并基于包含在检测到的第二对象区域中的第二特征点和参考点通过图像变形来转换第二对象区域。

获得的步骤可包括：组合转换的第一对象区域和转换的第二对象区域。

获得的步骤可包括：通过组合转换的第一图像帧的第一像素值和转换的第二图像帧的第二像素值来生成组合图像。

所述图像融合方法还可包括：测量第一图像帧或转换的第一图像帧的图像质量；响应于测量到的图像质量满足预设条件，确定从第一图像帧检测第一特征点，或确定基于转换的第一图像帧获得组合图像。

所述图像融合方法还可包括：从第三图像帧检测在第三图像帧中示出的对象的第三特征点，基于检测到的第三特征点和参考点来转换第三图像帧，组合获得的组合图像和转换的第三图像帧。

在另一个总体方面，提供一种存储指令的非暂时性计算机可读存储介质。当所述指令由处理器执行时，使处理器执行上述的图像融合方法。

在另一个总体方面，一种图像融合设备包括：处理器，处理器可被配置为：从第一图像帧检测在第一图像帧中示出的对象的第一特征点；基于检测到的第一特征点和预定义的参考点来转换第一图像帧；从第二图像帧检测在第二图像帧中示出的对象的第二特征点；基于检测到的第二特征点和参考点来转换第二图像帧；通过组合转换的第一图像帧和转换的第二图像帧获得组合图像。

通过以下的具体实施方式、附图和权利要求，其他的特征和方面将清楚。

附图说明

图1示出图像融合设备的整体操作的示例。

图2是示出图像融合方法的示例的流程图。

图3和图4是示出图像融合方法的示例的流程图。

图5是示出将图像融合方法应用于脸部验证的示例的流程图。

图6和图7示出基于多个图像帧执行图像融合的示例。

图8示出图像融合设备的配置的示例。

图9示出计算设备的配置的示例。

贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考数字将被理解为表示相同的元件、特征和结构。附图可不按比例绘制，为了清楚、说明和方便，附图中的元件的相对大小、比例和描述可被夸大。

具体实施方式

以下结构性或功能性的描述是示例性的，以仅描述示例，并且示例的范围不限于本说明书中提供的描述。本领域的普通技术人员可对其进行各种改变和修改。

尽管术语“第一”或者“第二”用于解释各种组件，但是组件不限于该术语。这些术语应仅用于区分一个组件和另一个组件。例如，在根据本公开的构思的权利的范围内，“第一”组件可被称为“第二”组件，或者相似地，“第二”组件可被称为“第一”组件。将理解，当组件被称为“连接到”另一个组件，该组件可直接连接或结合到另一组件，或者可以存在中间组件。

如此处所使用，除非上下文明确另有指示，否则单数形式也意在包括复数形式。还将理解为，当术语“包括”和/或“包含”用在本说明书中时，说明存在陈述的特征、整数、步骤、操作、元件、组件或它们的组合，但是不排除存在或增加一个或多个其他的特征、整数、步骤、操作、元件、组件和/或它们的组合。

除非在此另有定义，否则在此所用的所有术语(包括技术术语或科学术语)具有与本领域的普通技术人员通常理解的含义相同的含义。除非在此另有定义，否则在通用字典中定义的术语应被解释为具有与相关领域中上下文含义匹配的含义，并且不被解释为理想化或过于形式的含义。

在下文中，将参考附图详细的描述示例，其中，相同的附图参考数字用于相同的元件，因此为了简洁，其重复的描述将被省略。

图1示出图像融合设备的整体操作的示例。

参照图1，图像融合设备100是通过使用处理器融合至少两个图像帧110来生成组合图像122、124、126、……128的设备。例如，图像融合设备100通过融合当前图像帧和与当前图像帧时间上相邻的先前的n个图像帧，来生成组合图像，n是大于0的整数。例如，当假设当前图像帧是图像帧116且图像融合设备100要基于三个图像帧生成组合图像时，图像融合设备100可通过融合图像帧112、114和116来生成组合图片。如果图像融合设备100要基于两个图像帧生成组合图像，则图像融合设备100可通过融合作为当前图像帧的图像帧116和作为先前图像帧的图像帧114，来生成组合图像。

图像帧110包括由相机在时间上连续地拍摄的图像帧112、114、116、……、118。这里，术语“图像帧”可被“输入图像”或者“图像”代替。在图像帧在低亮度的黑暗环境中拍摄的情况下，难以清楚的识别图像帧中的对象。在对象识别重要的应用领域，如脸部验证中，尽管图像帧是在黑暗的环境中拍摄的，但是清楚地识别图像帧中的脸部区域是重要的。脸部区域的清楚识别极大地影响脸部验证的准确性。作为克服在低亮度的环境中拍摄图像帧的缺点的通用解决方案，一种通过增加相机曝光时间来拍摄图像帧的方法被采用。然而，当曝光时间增加时，当相机和/或对象移动时在图像帧中引起运动模糊的可能性增加，这再次阻碍对象识别。

在一个示例中，通过组合在低亮度环境中拍摄的图像帧，图像融合设备100生成亮度被提高并且在其中对象被相对容易地识别的组合图像。在本示例中，图像融合设备100不是简单地组合图像帧，而是基于图像帧的每一帧的特征点来转换图像帧，并组合转换的图像帧，从而使运动模糊的发生最小化。例如，图像融合设备100从图像帧提取表示对象的形状特征的特征点，转换图像帧使得提取的特征点被置于参考点的位置，并组合转换的图像，从而生成亮度被提高且在其中运动模糊最小化的组合图像。图像融合设备100适用于用户认证系统、金融交易认证系统、访问控制和监视系统以及使用生物特征(biometrics)的对象识别系统。

在下文中，将参照附图，进一步描述图像融合设备100的操作。

图2是示出图像融合方法的示例的流程图。

可按照图2中示出的顺序执行图像融合方法的操作，或者部分操作可被省略，或者在不脱离下文中阐述的示例的技术精神和范围的情况下以不同顺序执行所述操作。此外，可并行或同时执行如图2中所示的操作。例如，可并行执行操作210、220和操作230、240。

在操作210中，图像融合设备从第一图像帧检测在第一图像帧中示出的对象的第一特征点。基于对象的类型提取不同的特征点。例如，在对象是脸部的情况下，从第一图像帧提取面部关键点(例如，眼睛的两个端点、眼睛中心、鼻子的端点以及嘴巴的两个端点)。在对象是物体的情况下，从第一图像帧提取表示相应的对象的形状特征的特征点。例如，在对象是车辆的车牌的情况下，提取矩形车牌的四个顶点作为特征点。

在操作220中，图像融合设备基于检测到的第一特征点和预定义的参考点来转换第一图像帧。这里，参考点针对对象的类型具有预先固定的位置，与从第一图像帧提取的特征点的位置无关。例如，在对象是脸部的情况下，参考点的位置是固定在脸部部位(例如，眼睛、鼻子和嘴巴)的参考位置。

图像融合设备使用图像变形(warp)转换第一图像帧，使得第一特征点被置于参考点的位置。例如，图像融合设备基于第一特征点的位置值和参考点的位置值来计算指示第一特征点和参考点之间的相应性的仿射变换矩阵，并通过将计算的仿射变换矩阵应用于第一图像帧的像素的位置值来转换第一图像帧。在另一示例中，转换第一图像帧的处理包括这样的处理：基于第一特征点从第一图像帧检测第一对象区域(例如，脸部区域)，通过图像变形转换第一对象区域，使得包含在检测到的第一对象区域中的第一特征点被置于参考点的位置。

在操作230中，图像融合设备以与操作210中所述方式相同或相似的方式从第二图像帧检测在第二图像帧中示出的对象的第二特征点(例如，面部关键点)。

在操作240中，图像融合设备以与操作220中所述方式相同或相似的方式基于第二特征点和参考点来转换第二图像帧。例如，图像融合设备使用仿射变换矩阵来转换第二图像帧，使得第二特征点被置于参考点的位置。在另一个示例中，转换第二图像帧的处理包括这样的处理：基于检测到的第二特征点从第二图像帧检测第二对象区域，并通过图像变形转换第二对象区域，使得包含在检测到的第二对象区域中的第二特征点被置于参考点的位置。这里，参考点的位置与操作220中使用的参考点的位置相同。

在操作250中，图像融合设备通过组合转换的第一图像帧和转换的第二图像帧来获得组合图像。例如，该处理包括：组合第一图像帧的转换的第一对象区域和第二图像帧的转换的第二图像区域的处理。图像融合设备通过组合转换的第一图像帧的第一像素值和转换的第二图像帧的第二像素值来生成组合图像。例如，第一像素值和第二像素值的组合包括：在转换的第一图像帧和转换的第二图像帧中的相应位置处的第一像素值和第二像素值的和、平均值、加权和或者加权平均值。然而，示例不限于此。

在另一个示例中，考虑图像帧的图像质量来选择用于图像融合的图像帧。图像融合设备测量输入的第一图像帧或转换的第一图像帧的图像质量，响应于测量到的图像质量满足预设条件，确定从第一图像帧检测第一特征点或确定基于转换的第一图像帧获得组合图像。例如，图像融合设备测量第一图像帧的亮度，并且响应于测量到的第一图像帧的亮度小于预设的阈值，确定从第一图像帧检测第一特征点或确定基于转换的第一图像帧获得组合图像。响应于第一图像帧的亮度大于或等于阈值，图像融合设备认为相应的第一图像帧不是在低亮度的环境中获取，且不使用第一图像帧获取组合图像。相似地，图像融合设备测量输入的第二图像帧或转换的第二图像帧的图像质量(例如，亮度)，响应于测量到的图像质量满足预设条件，确定从第二图像帧检测第二特征点或确定基于转换的第二图像帧来获得组合图像。例如，响应于第二图像帧的亮度大于或等于阈值，图像融合设备不使用相应的第二图像帧来获得组合图像。

在操作260中，图像融合设备转换组合图像。在一个示例中，选择性的执行操作260。图像融合设备基于作为最近输入的图像帧的第二图像帧的第二特征点和参考点之间的相应性来转换组合图像。当假设基于第二特征点的位置和参考点的位置来确定仿射变换矩阵，且在操作240中通过相应的仿射变换矩阵转换第二图像帧时，图像融合设备通过将上述仿射变换矩阵的逆变换矩阵应用于组合图像，来将在组合图像中所示的对象的形状恢复成它的原始形状。随后，转换的组合图像用于适当的目的。例如，在脸部验证中，从转换的组合图像提取用于脸部验证的特征。

在第三图像帧输入到图像融合设备的情况下，图像融合设备以与上述关于第一图像帧和第二图像帧描述的方式相同的方式，从第三图像帧检测在第三图像帧中示出的对象的第三特征点，并基于检测到的第三特征点和参考点来转换第三图像帧。当假设组合图像基于三个图像帧被生成时，图像融合设备通过组合在操作250中获得的组合图像和转换的第三图像帧来获得新的组合图像。使用在组合图像和第三图像帧中的相应位置处的像素值的和、平均值、加权和、或者加权平均值来组合操作250的组合图像和转换的第三图像帧。然而，组合的示例不限于此。

如上所述，图像融合设备转换图像帧使得图像帧的特征点被置于参考点的固定位置，并且融合转换的图像帧，从而提供在其中运动模糊和噪音减小、对象的特征很好地表示的组合图像。在组合图像用于准确地提取对象的特征很重要的基于图像的认证系统的情况下，识别的准确性提高。

图3是示出图像融合方法的示例的流程图。

参照图3，在操作310中，图像融合设备接收第n图像帧，n为大于0的整数。在操作320中，图像融合设备测量接收到的图像帧的图像质量。例如，图像融合设备测量图像帧的亮度或模糊等级。图像帧的图像质量用于确定是否使用相应图像帧来生成组合图像。

在操作330中，图像融合设备确定测量到的图像质量是否满足预设条件。例如，图像融合设备确定图像帧的亮度是否小于阈值。响应于图像质量满足预设条件，图像融合设备执行操作340。响应于图像质量不满足预设条件，图像融合设备执行操作390来选择后续的图像帧。通过这样，防止在明亮的环境中拍摄的图像帧用于生成组合图像，确定用于图像融合的图像帧是否被连续地接收。这是因为不需要对在明亮环境中拍摄的并且因此具有足够大的亮度来定义对象的特征图像帧进行图像融合。在一个示例中，在图像质量不满足预设条件的情况下，终止目前执行的图像融合过程，指定后续的图像帧为图像融合过程的第一图像帧使得图像融合处理重新开始。

在操作340中，图像融合设备从图像帧检测对象区域和目标对象的特征点。在操作350中，图像融合设备通过对图像帧执行图像转换(例如，图像变形)来生成转换的图像帧，使得从图像帧检测到的特征点被置于相应的参考点的固定位置。在一个示例中，图像融合设备基于检测到的特征点从图像帧提取将被执行图像转换的区域；确定用于定义包含在提取的区域中的特征点的位置和参考点的位置之间的转换关系的转换矩阵；并通过将确定的转换矩阵应用于图像帧或相应的提取的区域来生成转换的图像帧。

在操作360中，图像融合设备通过图像融合获得组合图像。图像融合设备通过融合先前转换并存储的图像帧和当前转换的图像帧来获得组合图像。这里，图像融合包括通过像素值的和、平均值、加权和、或者加权平均值来融合在转换的图像帧之间的相应的位置处的像素值的处理。然而，图像融合的示例不限于此。

在操作370中，图像融合设备为了使用组合图像的目的，对组合图像执行特定的图像处理。例如，图像融合设备对组合图像执行逆图像变形，来将在组合图像中示出的对象的形状恢复成它的原始形状。在本示例中，执行逆图像变形来将在组合图像中示出的对象的特征点置于当前图像帧中相应的特征点的位置。

在操作380中，图像融合设备确定是否存在后续的图像帧。在后续的图像帧存在的情况下，在操作390中图像融合设备选择该后续的图像帧。在进行选择后，图像融合设备针对所选择的后续的图像帧再次执行操作320到380的处理。

图4是示出图像融合方法的示例的流程图。

参照图4，操作410、操作420、操作430、操作440、操作450、操作460、操作470、操作480、操作490分别对应于图3中的操作310、操作340、操作350、操作320、操作330、操作360、操作370、操作380、操作390。因此，参照图3所提供的描述适用于图4的操作。

然而，图4的示例在执行图像转换的操作430后执行的测量图像质量的操作440和确定测量到的图像质量是否满足预设条件的操作450与图3的示例不同。此外，在操作420中，从图像帧检测对象区域。在操作430中，对检测到的对象区域执行图像转换(例如，图像变形)，使得特征点被置于相应的参考点的位置。然后，在操作440中，测量转换的对象区域的图像质量(例如，亮度)。在操作450中，确定图像质量是否满足预设条件。通过考虑作为感兴趣的区域的对象区域的图像质量，可将图像融合应用于整体明亮但包含黑暗的对象区域的图像帧(例如，逆光拍摄的图像帧)。

图5是示出将图像融合方法应用于脸部验证的示例的流程图。

脸部验证是用于基于用户的脸部信息确定尝试认证的用户是否为有效用户的用户认证的方法。例如，此处描述的图像融合方法用于提供在脸部认证处理中更清楚的显示脸部特征的图像，尽管图像是在低亮度的环境中拍摄的。在基于图像的对象识别技术(例如，脸部验证)的情况下，在图像中示出的对象的特征有多好极大地影响识别准确性。当在图像中示出的模糊或噪音等级相对较大时，从相应的图像准确地提取对象的特征相对困难。通过基于如上所述的特征点执行的图像融合处理，图像融合设备生成在其中模糊或噪音减少同时其亮度得到改善的图像。

参照图5，在操作505中，脸部验证设备接收查询脸部图像(queryfacialimage)的第n图像帧，n是大于0的整数。查询脸部图像是用于脸部验证的图像。在操作510中，脸部验证设备从图像帧检测脸部区域，并从检测到的脸部区域检测面部关键点。为了检测脸部区域，使用基于haar的级联adaboost分类器或viola-jones检测器。然而，示例不仅限于此。在一个示例中，图像归一化处理(例如，图像缩放或图像裁减)针对图像帧的脸部区域被执行。

在操作515中，脸部验证设备针对脸部区域执行图像转换使得脸部区域被转换。例如，脸部验证设备针对脸部区域执行图像变形，使得从脸部区域检测到的面部关键点被置于预定义的脸部区域中的参考点的位置。

在操作520中，图像验证设备测量转换的脸部区域的图像质量。在操作525中，脸部验证设备确定图像质量是否满足预设条件。例如，脸部验证设备测量转换的脸部区域的亮度，并确定测量到的亮度是否小于阈值。

在操作530中，响应于图像质量满足预设条件，脸部验证设备通过图像融合组合在先前图像帧中转换的脸部区域和在操作515中转换的脸部区域，来获得组合图像。该处理包括融合在转换的脸部区域中相应的位置处的像素值的处理。在一个示例中，除了两个图像帧之外，脸部验证设备还通过组合至少三个图像帧的转换的脸部区域来获得组合图像。

在操作535中，脸部验证设备对组合图像执行图像处理，使得获得的组合图像具有更适合于脸部验证的形状。例如，脸部验证设备通过对组合图像执行逆图像变形、用于清楚地表现在组合图像中示出的脸部特征的伽马校正或者用于减小色差的图像处理，来执行将脸的形状恢复到它的原始形状的处理。

在操作550中，脸部验证设备从处理后的组合图像提取特征。例如，脸部验证设备使用基于神经网络的特征提取器来提取特征或者特征向量。响应于操作525确定包含在当前图像帧中的脸部区域的图像质量不满足预设条件，例如，响应于检测到的脸部区域的亮度大于或等于阈值，脸部验证设备在操作550中从当前的图像帧提取特征，而不执行操作530和535。在这个示例中，图像融合处理被初始化，使得先前存储的对图像帧进行图像转换的结果和组合图像从存储器(例如，内存)移除。

在操作555中，图像验证设备基于提取的特征来确定脸部验证是否成功。脸部验证设备基于提取的特征和预先注册的特征之间的相似度来计算匹配分数，响应于计算的匹分数值满足预设条件(例如，响应于匹配分数大于阈值)，确定脸部验证成功。例如，基于提取的特征向量和预先注册的特征向量之间的相似度或距离来确定匹配分数。

在操作560中，脸部验证设备确定脸部验证是否成功。响应于脸部验证不成功(例如，失败)，脸部验证设备在操作540中确定是否存在后续的图像帧。响应于确定不存在后续的图像帧，脸部验证设备确定脸部验证失败。在操作545中，响应于确定存在后续的图像帧，脸部验证设备选择后续的图像帧，并且针对后续的图像帧重复以上处理。

通过以上处理，虽然基于在低亮度的环境下拍摄的脸部图像来执行脸部验证，但是通过基于特征点执行图像融合处理，即使在低亮度的环境中也可更准确地执行脸部验证。

图6示出图像融合方法的示例。

参照图6，图像融合方法的示例(具体地，针对包含车牌的第一图像帧612和第二图像帧614执行图像融合的示例)被示出。在一个示例中，第一图像帧612和第二图像帧614是时间上连续的图像帧或者虽然时间上邻近但不紧连着的图像帧。例如，第一图像帧612和第二图像帧614分别是第n图像帧和第(n+1)图像帧，或者分别是第n图像帧和第(n+m)图像帧。这里，n是大于0的整数，m是大于或等于“2”的自然数。

当第一图像帧612被输入时，测量第一图像帧612的亮度。响应于由于测量到的亮度小于阈值而确定第一图像帧612在黑暗环境中获取，图像融合设备从第一图像帧612检测特征点622。例如，检测车牌的四个顶点作为特征点622。基于检测到的特征点622从第一图像帧612检测车牌的区域。然后，图像融合设备通过执行图像变形生成转换的第一图像帧632，使得特征点622被置于预定义的参考点的位置。

针对第二图像帧614也执行相似的处理。当第二图像帧614被输入时，测量第二图像帧614的亮度。响应于测量到的亮度小于阈值，图像融合设备从第二图像帧614检测特征点624。基于检测到的特征点624从第二图像帧614检测车牌的区域。然后，图像融合设备通过执行图像变形生成转换的第二图像帧634，使得特征点624被置于预定义的参考点的位置。

在一个示例中，在执行图像变形之后测量图像帧的亮度。在这个示例中，测量到的图像帧的亮度应小于预设的阈值，以基于相应的图像帧连续地执行图像融合处理。如果测量到的亮度大于或等于阈值，则图像融合处理被终止或初始化。

图像融合设备通过组合转换的第一图像帧632和转换的图像帧634来生成组合图像640。例如，图像融合设备通过融合转换的第一图像帧632的像素值和转换的第二图像帧634的像素值来生成组合图像640。然后，图像融合设备通过将在组合图像640中示出的车牌的形状恢复成在图像帧中示出的它的原始形状，来生成恢复的组合图像650。例如，图像融合设备通过将用于上述图像变形的变换矩阵的逆变换矩阵应用于组合图像640来恢复车牌的形状。

图7示出图像融合方法的示例。

参照图7，图像融合方法的示例(具体地，针对包含脸部区域的第一图像帧712和第二图像帧714执行图像融合的示例)被示出。在一个示例中，第一图像帧712和第二图像帧714是时间上连续的图像帧或者虽然时间上邻近但不紧连着的图像帧。例如，第一图像帧712和第二图像帧714分别是第n图像帧和第(n+1)图像帧，或者分别是第n图像帧和第(n+m)图像帧。这里，n是大于0的整数，m是大于或等于“2”的自然数。

当第一图像帧712被输入时，测量第一图像帧712的亮度。响应于测量到的亮度小于阈值，图像融合设备从第一图像帧712检测面部关键点722作为特征点。例如，检测主要的脸部部位(例如，眉毛、眼睛、鼻子和嘴巴)的特征点。基于检测到的关键点722从第一图像帧712检测脸部区域732。通过图像裁剪提取检测到的脸部区域732作为与脸部区域732对应的脸部图像742。然后，图像融合设备通过对脸部图像742执行图像变形来生成转换的脸部图像762，使得在脸部图像742中示出的特征点被置于预定义的参考点750的位置。例如，执行图像变形使得在脸部图像742中示出的眉毛、鼻子、和嘴巴的特征点被分别置于与眉毛、鼻子和眼睛对应的参考点750的位置。

针对第二图像帧714也执行相似的处理。当第二图像帧714被输入时，测量第二图像帧714的亮度。响应于测量到的亮度小于阈值，图像融合设备从第二图像帧714检测面部关键点724。基于检测到的关键点724从第二图像帧714检测脸部区域734。通过图像裁剪提取检测到的脸部区域734作为与脸部区域734对应的脸部图像744。然后，图像融合设备通过对脸部图像744执行图像变形来生成转换的脸部图像764，使得在脸部图像744中示出的特征点被置于预定义的参考点750的位置。

在一个示例中，在执行图像变形之后测量图像帧的亮度。在这个示例中，测量到的图像帧的亮度应小于预设的阈值，以基于相应的图像帧连续地执行图像融合处理。如果测量到的亮度大于或等于阈值，图像融合处理被终止或初始化。

图像融合设备通过组合转换的图像帧762和转换的图像帧764来生成组合图像770。例如，图像融合设备使用转换的脸部图像762的像素值和转换的脸部图像764的像素值的和、平均值、加权和、或者加权平均值来生成组合图像770。然后，图像融合设备通过将在组合图像770中示出的脸部的形状恢复成在图像帧中示出的它的原始形状，来生成恢复的组合图像775。将恢复的组合图像775应用于第二图像帧714。通过以上处理，获得在其中脸部区域的亮度被提高以及运动模糊和噪音被减少的结果图像。因此，在使用相应的结果图像执行脸部验证的情况下，脸部特征被更准确地提取，因此提高脸部验证的准确性。

在图6和图7的示例中，基于两个图像帧来执行图像融合。然而，示例不限于此。图像融合也可针对至少三个图像帧执行。

图8示出图像融合设备的配置的示例。

参照图8，图像融合设备800接收一系列的图像帧。图像融合设备800从图像帧检测对象的特征点，并基于检测到的特征点在图像帧之间执行图像融合。在这个示例中，图像融合设备800基于图像帧的图像质量(例如，亮度)确定是否执行图像融合。图像融合设备800执行此处描述的或说明的关于图像融合方法的至少一个操作，并且向用户提供脸部验证的结果。

图像融合设备800包括至少一个处理器810和存储器820。处理器810执行指令来执行参照图1到图7描述的至少一个操作。例如，处理器810从第一图像帧检测在第一图像帧中示出的对象的第一特征点，并基于检测到的第一特征点和预定义的参考点来转换第一图像帧。例如，处理器810通过执行图像变形来转换第一图像帧，使得第一特征点被置于参考点的位置。在另一个示例中，处理器810基于检测到的第一特征点从第一图像帧检测第一对象区域，并基于包含在检测到的第一对象区域中的第一特征点和参考点对第一对象区域执行图像变形。

此外，处理器810从第二图像帧检测在第二图像帧中示出的对象的第二特征点，并基于检测到的第二特征点和参考点来转换第二图像帧。例如，处理器810通过执行图像变形转换第二图像帧，使得第二特征点被置于参考点的位置。在另一个示例中，处理器810基于检测到的第二特征点从第二图像帧检测第二对象区域，并基于包含在检测到的第二对象区域中的第二特征点和参考点对第二对象区域执行图像变形。

处理器810通过组合转换的第一图像帧和转换的第二图像帧来生成组合图像。处理器810通过，例如，使用转换的第一图像帧的每个像素的像素值和转换的第二图像帧的每个像素的像素值的和、平均值、加权和或者加权平均值，组合转换的第一图像帧的每个像素的像素值和转换的第二图像帧的每个像素的像素值，来生成组合图像。处理器810基于第二图像帧的第二特征点和参考点之间的相应性来转换组合图像。这包括这样的处理：基于在第二图像帧中示出的特征点的位置，将在图像融合处理期间转换的对象的形状恢复成它的原始形状。

存储器820与处理器810相连接，并存储由处理器810可执行的指令和将由处理器810计算的数据或由处理器810处理的数据。存储器820包括非暂时性计算机可读介质，例如，高速随机存取存储器(ram)和/或非易失性计算机可读存储介质。

图9示出计算设备的配置的示例。

参照图9，计算设备900是使用上述图像融合方法执行应用的设备。在一个示例中，计算设备900与图5的脸部验证设备对应。例如，计算设备900是图像处理设备、智能电话、可穿戴设备、平板电脑、上网本电脑、笔记本电脑、台式计算机、个人数字助理(pda)、机顶盒、家用电器、生物特征门锁、安全设备或车辆启动设备。计算设备900包括与图8的图像融合设备800的功能相同的功能。

参照图9，计算设备900包括：处理器910、存储装置920、相机930、输入装置940、输出装置950和网络接口960。处理器910、存储装置920、相机930、输入装置940、输出装置950和网络接口960通过通信总线970彼此通信。

处理器910执行将由计算设备900执行的功能和指令。例如，处理器910处理存储在存储装置920中的指令。处理器910执行参照图1到图8描述的至少一个操作。

存储装置920存储处理器910的执行所需的信息或数据。存储装置920包括计算机可读存储介质或计算机可读存储装置。存储装置920存储将由处理器910执行的指令，并在计算设备900执行应用程序或软件时存储相关信息。

相机930拍摄包含多个图像帧的图像。例如，相机930拍摄尝试脸部验证的用户，并获取包含多个图像帧的查询脸部图像。

输入装置940通过触觉、视频、音频或触摸输入从用户接收输入。例如，输入装置940包括：键盘、鼠标、触摸屏、麦克风或从用户检测输入并将检测到的输入发送到计算设备900的其他预先确定的装置。

输出装置950通过视觉、听觉或触觉通道向用户提供计算设备900的输出。例如，输出装置950包括：显示器、触摸屏、扬声器、振动发生器或向用户提供输出的其他预先确定的装置。网络接口960通过有线或无线网络与外部装置通信。

图像融合设备100和800、计算设备900和其他设备、单位、模块、装置以及此处针对图1和图8到图9所述的其他组件由硬件组件实现。可用于执行本申请所述的操作的硬件组件的示例可适当包括：控制器、传感器、发生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请所述的操作的任意其他电子组件。在另一个示例中，执行本申请中描述的操作的一个或多个硬件组件由计算硬件(例如，由一个或多个处理器或计算机)实现。处理器或计算机可由一个或多个处理元件(例如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、编程逻辑阵列、微处理器或被配置为以限定的方式响应和执行指令来获得期望的结果的任意其他装置或装置的组合)实现。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行指令或软件(例如，操作系统(os)和在os上运行的一个或多个软件应用)来执行本申请中描述的操作。硬件组件还可响应于指令或软件的执行来访问、操作、处理、创建和存储数据。为了简单起见，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述中，但在另外的示例中，多个处理器或计算机可被使用，或者一个处理器或计算机可包括多个处理元件或多种类型的处理元件的或者两者。例如，单个硬件组件或者两个或更多硬件组件可由单个处理器、或者两个或更多处理器、或者一个处理器和一个控制器实现。一个或多个硬件组件可由一个或多个处理器、或者一个处理器或一个控制器实现，一个或多个其他硬件组件可由一个或多个其他处理器、或者另外的处理器和另外的控制器实现。一个或多个处理器、或者一个处理器和一个控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有任意一个或多个不同的处理配置，其中，一个或多个不同的处理配置的示例包括：单处理器、独立处理器、并行处理器、单指令单数据(sisd)多处理、单指令多数据(simd)多处理、多指令单数据(misd)多处理、多指令多数据(mimd)多处理。

图2到图7示出的执行本申请中描述的操作的方法由计算硬件(例如，一个或多个处理器或计算机)执行，其中，计算硬件被实现为如上所述地执行指令或软件，以执行通过所述方法执行的本申请中描述的操作。例如，单个操作或者两个或多个操作可由单个处理器、或者两个或更多处理器、或者一个处理器和一个控制器执行。一个或多个操作可由一个或多个处理器、或者一个处理器和一个控制器执行，一个或多个其他操作可由一个或多个其他处理器、或者另外的处理器和另外的控制器执行。一个或多个处理器、或者一个处理器和一个控制器可执行单个操作、或者两个或更多个操作。

用于控制处理器或计算机来实现硬件组件并执行如上所述的方法的指令或软件被编写为计算机程序、代码片段、指令或它们的任意组合，以单独或共同地指示或配置处理器或计算机作为机器或专用计算机进行操作，来执行由硬件组件执行的操作和上述方法。在一个示例中，指令或软件包括由处理器或计算机直接执行的机器代码(例如，由编译器产生的机器代码)。在另一个示例中，指令或软件包含由处理器或计算机使用解释器执行的高级代码。本领域普通编程人员可基于在附图中示出的框图和流程图以及在说明书中相应的描述容易地编写指令或软件，其中，附图中示出的框图和流程图以及在说明书中相应的描述公开了用于执行由硬件组件执行的操作和如上所述的方法的算法。

用于控制处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件、以及任意相关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-rlth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态驱动器(ssd)、卡式存储器(例如，多媒体卡或微型卡(例如，安全数字(sd)或极限数字(xd)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及被配置为以非暂时性的方式存储指令或软件以及任意相关联的数据、数据文件和数据结构，并向处理器或计算机提供指令或软件以及任意相关联的数据、数据文件和数据结构使得处理器和计算机可执行指令的任意其他装置。

尽管本公开包含特定的示例，但是在不脱离权利要求和它们的等同物的精神和范围的情况下，对于本领域的普通技术人员将清楚的是可在这些示例中做出形式上和细节上的各种改变。在此描述的示例将被认为仅是描述性意义，而不是为了限制的目的。在每个示例中的特征或方面的描写将被认为适用于另外示例中的相似的特征或方面。如果描述的技术以不同的顺序执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式结合，和/或由其他的组件或它们的等同物代替或补充，则可实现合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，在权利要求和它们的等同物的范围内的所有变化将被解释为包含在本公开中。