图像处理装置、图像处理方法以及电子设备的制作方法
【专利摘要】本发明提供了图像处理装置、图像处理方法以及电子设备，以克服利用现有的图像处理技术所得到的结果图像的精度低和/或准确度低、以及/或图像质量差的问题。上述装置包括：分块单元，其用于在待处理图像中确定多个图像块；运动图像块确定单元，其用于通过运动估计获得上述多个图像块在多个图像中的运动矢量，以确定上述多个图像块中的运动图像块，其中，上述多个图像与待处理图像是预先针对相同的目标区域所捕获的；以及图像恢复单元，其用于根据运动图像块在上述多个图像中的运动矢量中的至少部分，确定运动图像块中的至少一个在目标时刻的运动矢量，以恢复目标区域在目标时刻的图像。本发明的上述技术能够应用于图像处理领域。
【专利说明】图像处理装置、图像处理方法以及电子设备
【技术领域】
[0001] 本发明涉及图像处理领域，尤其涉及图像处理装置、图像处理方法以及电子设备。
【背景技术】
[0002] 在例如图像融合、图像恢复等图像处理技术中，通常需要根据多幅图像来获得某 个特定图像。例如，图像融合技术可以通过对多个低动态范围的图像进行融合便可获得一 个高动态范围图像。
[0003] 然而，目前利用上述诸如图像融合或图像恢复等图像处理技术来进行图像处理所 得到的结果图像(如融合的图像或恢复的图像等）往往精度较低和/或准确度较低，以及/ 或图像质量较差。例如，在某些图像中存在运动对象的情况下，通过现有的如图像融合或图 像恢复等图像处理技术所得到的结果图像中可能存在鬼影等不利因素，而导致上述结果图 像的图像质量较差。
【发明内容】
[0004] 在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本 理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的 关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概 念，以此作为稍后论述的更详细描述的前序。
[0005] 鉴于此，本发明提供了图像处理装置、图像处理方法以及电子设备，以至少解决利 用现有的图像融合或图像恢复等图像处理技术来进行图像处理时所得到的结果图像的精 度低和/或准确度低、以及/或图像质量差的问题。
[0006] 根据本发明的一个方面，提供了一种图像处理装置，该图像处理装置包括：分块单 元，其用于在待处理图像中确定多个图像块；运动图像块确定单元，其用于通过运动估计获 得上述多个图像块在多个图像中的运动矢量，以确定上述多个图像块中的运动图像块，其 中，上述多个图像与待处理图像是预先针对相同的目标区域所捕获的；以及图像恢复单元， 其用于根据运动图像块在上述多个图像中的运动矢量中的至少部分，确定运动图像块中的 至少一个在目标时刻的运动矢量，以恢复目标区域在目标时刻的图像。
[0007] 根据本发明的另一个方面，还提供了一种图像处理方法，该图像处理方法包括：在 待处理图像中确定多个图像块；通过运动估计获得上述多个图像块在多个图像中的运动矢 量，以确定上述多个图像块中的运动图像块，其中，上述多个图像与待处理图像是预先针对 相同的目标区域所捕获的；以及根据运动图像块在上述多个图像中的运动矢量中的至少部 分，确定运动图像块中的至少一个在目标时刻的运动矢量，以恢复目标区域在目标时刻的 图像。
[0008] 根据本发明的另一个方面，还提供了一种电子设备，该电子设备包括如上所述的 图像处理装置。
[0009] 根据本发明的又一个方面，还提供了一种存储有机器可读取的指令代码的程序产 品，上述程序产品在执行时能够使上述机器执行如上所述的图像处理方法。
[0010] 此外，根据本发明的其他方面，还提供了 一种计算机可读存储介质，其上存储有如 上所述的程序产品。
[0011] 上述根据本发明实施例的图像处理装置、图像处理方法以及电子设备，其利用运 动矢量来确定待处理图像中的运动图像块，并基于确定的运动图像块在目标时刻的运动矢 量来完成对目标区域在目标时刻的图像的恢复，能够获得至少以下益处之一：提高结果图 像的精度和/或准确度；减少结果图像中鬼影的存在；以及改善结果图像的质量。
[0012] 通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优 点将更加明显。
【专利附图】
【附图说明】
[0013] 本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所 有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的 详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本 发明的优选实施例和解释本发明的原理和优点。在附图中：
[0014] 图1A是示意性地示出根据本发明的实施例的图像处理装置的一种示例结构的框 图；
[0015] 图1B是示出计算运动矢量的一个示例的示意图；
[0016] 图1C是示出计算两个运动矢量之间的夹角的一个示例的示意图；
[0017] 图2A是示意性地示出根据本发明的实施例的图像处理装置的另一种示例结构的 框图；
[0018] 图2B是示出调整图像的像素动态范围的一个示例的示意图；
[0019] 图3是示意性地示出根据本发明的实施例的图像处理装置的又一种示例结构的 框图；
[0020] 图4是示意性地示出根据本发明的实施例的图像处理方法的一种示例性处理的 流程图；以及
[0021] 图5是示出了可用来实现根据本发明的实施例的图像处理装置和图像处理方法 的一种可能的信息处理设备的硬件配置的结构简图。
[0022] 本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的， 而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以 便有助于提高对本发明实施例的理解。
【具体实施方式】
[0023] 在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见， 在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施 例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符 合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有 所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开 内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
[0024] 在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中 仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明 关系不大的其他细节。
[0025] 本发明的实施例提供了一种图像处理装置，该图像处理装置包括：分块单元，其用 于在待处理图像中确定多个图像块；运动图像块确定单元，其用于通过运动估计获得上述 多个图像块在多个图像中的运动矢量，以确定上述多个图像块中的运动图像块，其中，上述 多个图像与待处理图像是预先针对相同的目标区域所捕获的；以及图像恢复单元，其用于 根据运动图像块在上述多个图像中的运动矢量中的至少部分，确定运动图像块中的至少一 个在目标时刻的运动矢量，以恢复目标区域在目标时刻的图像。
[0026] 如上文所述，在诸如图像融合或图像恢复等的图像处理技术中，常常根据多幅图 像来获得某个特定图像。以图像融合(如曝光融合）为例，其可以将多个低动态范围的图像 融合成一个高动态范围图像，而得到的高动态范围图像的对比度和信息往往比任何一个参 与融合的低动态范围图像要好。
[0027] 然而，融合的过程中常常伴随的一个问题是图像区域内物体的局部运动。图像区 域内物体的局部运动是指图像内存在某个图像块内的物体在不同图像中对应的位置和/ 或方向等不同，其会使得融合后图像产生相应的鬼影，从而影响融合后图像的质量。
[0028] 下面结合图1A来详细描述根据本发明的实施例的图像处理装置的一个示例。
[0029] 如图1A所示，根据本发明的实施例的图像处理装置100包括分块单元110、运动图 像块确定单元120以及图像恢复单元130。
[0030] 分块单元110首先在待处理图像中确定多个图像块。其中，这里的待处理图像可 以是针对某个目标区域所捕获的图像。
[0031] 在根据本发明的实施例的图像处理装置的一种实现方式中，分块单元110可以利 用现有的图像分块技术来对待处理图像进行分块，这样，可以将分块的结果作为待处理图 像中的上述"多个图像块"。需要注意的是，图像块之间是相互不覆盖的。此外，图像块例如 可以是方块、矩形块等形状。对于本领域的技术人员来说，分块处理是可以根据公知常识和 /或结合已有的公开资料所获知的，故这里不再详述描述。
[0032] 然后，运动图像块确定单元120通过运动估计来获得上述多个图像块在多个图像 中的运动矢量，以确定上述多个图像块中的运动图像块。
[0033] 其中，与待处理图像一样，上述多个图像也是预先针对上述目标区域所捕获的。
[0034] 在一个例子中，假设预先针对某个目标区域捕获了 100幅图像，则可以选取这100 幅图像中的某一幅(例如第20幅)图像来作为上述待处理图像，而选取其余99幅(或者该99 幅中的预定数量的图像，其中，预定数量可以根据经验值或通过试验的方法来确定）来作为 上述多个图像。在一个优选例子中，上述多个图像可以包括曝光时间早于待处理图像的曝 光时间的图像和曝光时间晚于待处理图像的曝光时间的图像。
[0035] 此外，在另一个例子中，上述待处理图像也可以包括在上述多个图像中，S卩，上述 待处理图像可以是上述多个图像中的其中一个。
[0036] 需要说明的是，"上述多个图像块在多个图像中的运动矢量"包括上述多个图像块 中的每一个图像块在多个图像中的每一个图像中的运动矢量。
[0037] 如图1B所示，图1B右侧的图像士表示待处理图像，而图1B左侧的图像LLp，则表 示上述多个图像中的任一个图像。此外，BLn表示待处理图像中的任一个图像块，而BL' η 则表示图像LLP，中与待处理图像LLP中的图像块BLn最匹配的那个图像块(后面将描述如何 确定匹配的图像块)。
[0038] 如图1B所示，在该例子中，待处理图像^^是一幅低动态范围图像，其可以被分成 很多个不重叠的尺寸相同的块(为了清楚起见，图中未示出所有的块，而仅示出了与描述最 为相关的块)，尺寸可以是2x2, 4x4或者8x8(单位为像素)。其中，待处理图像LLP中的每一 个块即上文所说的图像块。下面以图像LL P,和待处理图像LLP中的图像块BLn为例来描述 计算运动矢量的一个示例，其他运动矢量的计算可以参考该描述来进行，不再赘述。
[0039] 类似地，图像LLp，也可以被分成很多个不重叠的尺寸相同的块（图中未示出）。在 图像LL p，中，可以确定一个搜索范围，然后可以在这个搜索范围内寻找到与图像块BLn最匹 配的块BL'n。其中，最匹配的概念可以是：两个块的绝对误差和最小。例如，可以通过以下 方式来确定与图像块BLn最匹配的块：针对在图像LL P，的上述搜索范围内的每个块，可以计 算该块与待处理图像LLP中的图像块BLn之间的绝对误差和；然后，将图像LL P，中与待处理 图像LLP中的图像块BLn之间的绝对误差和最大的那个块确定为与图像块BLn最匹配的块， 记为BL' η。此外，也可以通过其他现有技术来确定最匹配的图像块，这里不再赘述。
[0040] 假设待处理图像LLP中的图像块BLn左上顶点处(假设图像块均为方块）像素 A 的坐标为（xA，yB)，图像LLP,中的块BL' η左上顶点处像素 A'的坐标为（xA,，yB,)，则图像块 BLn在图像LLP，中的运动矢量可以记为[xA_xA，，yB_y B，]。需要注意的是，图像块BLn在图像 LLP，中的运动矢量为[xA-xA，，yB-y B，]，而图像块BLn中每个像素均对应于同一个运动矢量即 [xA-XA，，y B-yB，]。也就是说，图像块BLn中不同的像素对应的运动矢量是相同的。需要说明 的是，运动矢量[x A-xA，，yB-yB，]中的"χΑ-χ Α，"表示该运动矢量的端点的X轴坐标，而"yB-yB，" 则表示该运动矢量的端点的y轴坐标。
[0041] 此外，如图1B所示，R表示上述搜索范围。在一个例子中，搜索范围R可以是图像 LLP，的整幅图像。在另一个例子中，搜索范围R也可以根据待处理图像LLP中的图像块BLn 的位置来确定。例如，搜索范围R可以是以图像块BLn在待处理图像LLP中的坐标为中心 的矩形(或方形)，该矩形(或方形）的长和宽(或边长）例如可以根据图像块BLn的尺寸来确 定(例如长、宽分别为图像块BLn边长的3倍和2倍)。
[0042] 在根据本发明的实施例的图像处理装置的一种实现方式(下面称为实现方式一） 中，为了确定待处理图像的上述多个图像块中哪个或哪些图像块是运动图像块(也即发生 了局部运动的图像块)，针对上述多个图像块中的每一个，运动图像块确定单元120可以在 该图像块在多个图像中的运动矢量中的至少一个运动矢量的分量不为零的情况下，判定该 图像块为运动图像块。例如，假设上述多个图像的数量为99,针对待处理图像中的多个图像 块中的某个图像块BL1来说，假设图像块BL1对应于上述99个图像的运动矢量分别为mvl、 mv2、……、mv99,其中，除mv2之外的其他所有运动矢量的所有分量均为0,而mv2的X分量 或y分量不为〇,则可以将图像块BL1判定为运动图像块。在这样一个实现方式中，通过上 述处理即可以确定待处理图像的多个图像块中哪个或哪些图像块是运动图像块，进而可以 在后续处理中将待处理图像中的运动图像块和非运动图像块区分开来，以进行不同的操作 或处理，实现对某个曝光时刻的整幅图像的恢复(或融合)。传统技术没有将图像中的运动 图像块和非运动图像区分对待，因此使得融合后或恢复后的图像中很可能存在鬼影，图像 质量较低；而在本发明的上述实施例中，运动图像块确定单元120通过确定运动图像块（即 区分运动图像块和非运动图像块）来使得后续处理中通过对运动图像块和非运动图像块的 区别处理而减少鬼影的存在，进而能够使得处理结果的图像质量较高。
[0043] 在根据本发明的实施例的图像处理装置的另一个实现方式(下面称为实现方式 二）中，运动图像块确定单元120所确定的运动图像块可以包括规则运动图像块。其中，运 动图像块确定单元120例如可以将这样的图像块确定为规则运动图像块：该图像块在多个 图像中的每两个相邻图像中的运动矢量之间的夹角小于第一预定角度。
[0044] 在一个例子中，第一预定角度可以在[0°，15° ]内取值(例如为15° )。需要说明 的是，在实际应用中，可以根据经验值或者通过试验的方法来确定上述第一预定角度，这里 不再赘述。
[0045] 这样确定的规则运动图像块表示该规则运动图像块中的对象发生了规则运动，例 如，在实际应用中，这样的规则运动图像块中可能包括行走的人或飘动的云，等等。在本发 明的实施例中，"在多个图像中的每两个相邻图像中的运动矢量之间的夹角小于第一预定 角度"的图像块反映了这个图像块在一定的角度范围内运动。如果第一预定角度取值较小 的话，例如接近0〇,则根据上述处理所确定的规则运动图像块所对应的对象(如行走的人 等）所做的运动是近似直线运动的。因此，在确定规则运动图像块的情况下，能够使得后续 的处理针对这种特定的图像块(规则运动图像块）的运动规律来减少诸如鬼影之类的不利 因素的存在，从而有望改善处理结果的图像质量。
[0046] 例如，针对图像块BL1，假设图像块BL1对应于上述99个图像的运动矢量分别为 mvl、mv2、......、mv99,那么图像块BL1 "在多个图像中的每两个相邻图像中的运动矢量之 间的夹角"包括mvl与mv2之间的夹角（记为夹角a l-2)、mv2与mv3之间的夹角（记为夹角 a 2-3)、mv3与mv4之间的夹角（记为夹角α 3-4)、......、mv97与mv98之间的夹角（记为夹 角a97_98)、mv98与mv99之间的夹角（记为夹角α 98-99)，如果夹角al-2、夹角α2_3、 夹角a 3-4、......、夹角a 97-98和夹角a 98-99这98个夹角中的每个夹角都小于第一预 定角度(例如15° )，则运动图像块确定单元120可以将图像块BL1判定为规则运动图像块。 [0047] 需要说明的是，在实际应用中，可以直接利用实现方式二中所述的处理方式来确 定规则运动图像块，也可以首先进行如上述实现方式一中的处理来先确定待处理图像的多 个图像块中的运动图像块，再进一步判定这些运动图像块中哪些是规则运动图像块。
[0048] 其中，两个运动矢量之间的夹角例如可以通过以下所描述的方式来计算获得。
[0049] 如图1C所示，在x-y坐标系中(其中，X为横坐标，y为纵坐标）对于任两个运动矢 量mva与mvb来说,假设运动矢量mva的端点坐标为（xl, yl),运动矢量mvb的端点坐标为 (x2，y2)，其中，xl、x2分别为运动矢量mva和mvb的横坐标，而yl、y2分别为运动矢量mva 和mvb的纵坐标。此外，假设运动矢量mva与X轴正方向之间的夹角为α，运动矢量mvb与 X轴正方向之间的夹角为β，其中，ct =arctg(yl/xl), β =arctg(yl/x2)。于是，可以得到运 动矢量 mva 与运动矢量 mvb 之间的夹角 θ =| α-β | = |arctg(yl/xl)_arctg(yl/x2) |。
[0050] 在根据本发明的实施例的图像处理装置的又一个具体实现方式(下面称为实现方 式三)中，运动图像块确定单元120所确定的运动图像块除了包括如上文所述的规则运动图 像块之外，还可以包括随机运动图像块。其中，运动图像块确定单元120可以将这样的图像 块确定为随机运动图像块：该图像块在多个图像中的至少两个相邻图像中的运动矢量之间 的夹角大于或等于第二预定角度，第二预定角度大于或等于第一预定角度。
[0051] 这样确定的随机运动图像块表示该随机运动图像块中的对象发生了随机运动，例 如，在实际应用中，这样的随机运动图像块中可能包括摇曳的树叶等。在确定随机运动图像 块的情况下，能够使得后续的处理针对这种特定的图像块(随机运动图像块）的运动规律来 改善处理结果的图像质量。尤其在对规则运动图像块、随机运动图像块以及非运动图像块 分别区分处理的话，能够分别执行与各自的特征适应的处理，使得处理的精度和/或准确 度较高，图像质量也较高。
[0052] 在一个例子中，第二预定角度在[15°，90° ]内取值(例如为15° )。需要说明的 是，在实际应用中，可以根据经验值或者通过试验的方法来确定上述第二预定角度，这里不 再赘述。
[0053] 例如，针对待处理图像的多个图像块中的某个图像块BL2，假设图像块BL2对应 于上述99个图像(作为上述"多个图像"的示例）的运动矢量分别为mvl'、mv2'、……、 mv99'，那么图像块BL2 "在多个图像中的每两个相邻图像中的运动矢量之间的夹角"包括 mvl'与mv2'之间的夹角（记为夹角a ' l-2)、mv2'与mv3'之间的夹角（记为夹角α ' 2-3)、 mv3'与mv4'之间的夹角（记为夹角α ' 3-4)、......、mv97'与mv98'之间的夹角（记为夹 角α ' 97-98)、mv98'与mv99'之间的夹角（记为夹角α ' 98-99)，如果夹角α ' 1-2、夹角 α ' 2-3、夹角α ' 3-4、......、夹角α ' 97-98和夹角α ' 98-99这98个夹角中存在至少一 个夹角大于第二预定角度(例如15° )，则运动图像块确定单元120可以将图像块BL2判定 为随机运动图像块。
[0054] 需要说明的是，在实际应用中，可以直接利用实现方式三中所述的处理方式来确 定规则运动图像块和随机运动图像块，也可以首先进行如上述实现方式一中的处理来先确 定待处理图像的多个图像块中的运动图像块，再进一步判定这些运动图像块中哪些是规则 运动图像块以及哪些是随机运动图像块。
[0055] 此外，在根据本发明的实施例的图像处理装置的另一种实现方式中，通过上面的 实现方式一、二或三中的处理，可以确定上述多个图像块中的运动图像块(或确定规则运动 图像块；或确定规则运动图像块和随机运动图像块)，则其余的图像块没有被确定为运动图 像块。对于这些没有被确定为运动图像块的图像块(下面称为非运动图像块）来说，如果某 个非运动图像块的所有周围相邻图像块都是运动图像块的话，则运动图像块确定单元120 可以将这个非运动图像块更新为运动图像块(即将这个图像块重新确定为运动图像块)。其 中，某个图像块的相邻图像块是指具有与该图像块中的某个或某些像素相邻的像素的图像 ±夬，例如，图像块BL1中的像素 PBU与图像块BL2中的像素 Ρ%2是相邻的像素，则图像块BL1 与图像块BL2为相邻图像块。
[0056] 在实际应用中，对图像中一些没有纹理的运动物体（图像块）进行运动估计的时 候，常常会形成空洞现象。在上述实现方式中，运动图像块确定单元120通过将被运动图像 块包围的非运动图像块进行调整，将其重新确定为运动图像块，则能够有效弥补上述缺陷 (空洞现象)。
[0057] 图像恢复单元130用于根据运动图像块在上述多个图像中的运动矢量中的至少 部分，确定运动图像块中的至少一个在目标时刻的运动矢量，以恢复目标区域在目标时刻 的图像。
[0058] 在根据本发明的实施例的图像处理装置的一种实现方式中，这里所说的目标时刻 是上述多个图像的曝光时间范围内的某个时刻。例如，上述多个图像的所有曝光时间中的 最早时间和最晚时间可以构成一个时间范围，则目标时刻可以是这个时间范围中的某个时 间。
[0059] 此外，在根据本发明的实施例的图像处理装置的一种实现方式（以下称为实现方 式四）中，在运动图像块确定单元120所确定的运动图像块包括规则运动图像块的情况下， 图像恢复单元130可以在多个图像中选择两个图像，其中，所选择的这两个图像中的一个 图像的曝光时间位于目标时刻之前，而这两个图像中的另一个图像的曝光时间位于目标时 亥IJ之后。这样，根据目标时刻与这两个图像的曝光时间之间的关系，并利用规则运动图像块 在两个图像中的运动矢量，则可以获得规则运动图像块在目标时刻的运动矢量。
[0060] 举例来说，假设目标时刻为h，图像恢复单元130所选择的两个图像的曝光时间分 别为1和t b，其中，ta早于h，而tb晚于V以某个规则运动图像块BU为例，假设规则运 动图像块在t a时刻的图像中的运动矢量为mv_ta，而规则运动图像块在tb时刻的 图像中的运动矢量为mv_t b。其中，mv_ta例如用[xa，ya]表示，x a表示运动矢量mv_ta端点 的X轴坐标，ya表示运动矢量mv_t a端点的y轴坐标,mv_tb例如用[xb, yb]表示，xb表示运 动矢量mv_tb端点的X轴坐标,y b表示运动矢量mv_tb端点的y轴坐标。于是，根据h与ta 和tb之间的比例关系，可以分别得到规则运动图像块BU在h时刻图像中的运动矢量的端 点的X轴坐标和y轴坐标。例如，规则运动图像块在h时刻图像中的运动矢量的端点 的X轴坐标可以根据如下的公式一来计算，而规则运动图像块BU在h时刻图像中的运动 矢量的端点的y轴坐标则可以根据如下的公式二来计算。
[0061] 公式一 ：（x〇-xa)/ (xb_xa)= (t〇_ta)/ (tb_ta)
[0062] 公式二：（7。1)/ (yb_ya)= (t。-、）/ (tb_ta)
[0063] 在一个例子（以下称为例子一）中，在运动图像块确定单元120所确定的运动图像 块仅包括规则运动图像块的情况下，在通过例如实现方式四中所描述的处理得到规则运动 图像块在目标时刻的运动矢量之后，图像恢复单元130可以基于规则运动图像块在目标时 刻的运动矢量以及多个图像对应的相机反应函数，利用上述多个图像对目标时刻的图像中 与规则运动图像块对应的部分进行恢复。
[0064] 在一个实现方式中，在利用上述多个图像对目标时刻的图像中与规则运动图像块 对应的部分进行恢复的过程中，图像恢复单元130可以首先利用上述待处理图像、根据规 则运动图像块在目标时刻的运动矢量，来得到目标时刻的图像中与规则运动图像块对应的 部分中的各个像素的像素初值；然后，图像恢复单元130可以利用获得的目标时刻的图像 中与规则运动图像块对应的部分中的各个像素的像素初值、以及上述多个图像中的相应像 素的像素值，并根据相机反应函数，来最终计算得到目标时刻的图像中与规则运动图像块 对应的部分中的各个像素的像素值。
[0065] 例如，图像恢复单元130可以根据如下的公式三来计算获得目标时刻的图像中 的、与规则运动图像块对应的部分中的各个像素的像素值。
[0066]
【权利要求】
1. 一种图像处理装置，包括： 分块单元，其用于在待处理图像中确定多个图像块； 运动图像块确定单元，其用于通过运动估计获得所述多个图像块在多个图像中的运动 矢量，以确定所述多个图像块中的运动图像块，其中，所述多个图像与所述待处理图像是预 先针对相同的目标区域所捕获的；以及 图像恢复单元，其用于根据所述运动图像块在所述多个图像中的运动矢量中的至少部 分，确定所述运动图像块中的至少一个在目标时刻的运动矢量，以恢复所述目标区域在所 述目标时刻的图像。
2. 根据权利要求1所述的图像处理装置，其中，所述运动图像块确定单元所确定的运 动图像块包括规则运动图像块，所述规则运动图像块在所述多个图像中的每两个相邻图像 中的运动矢量之间的夹角小于第一预定角度。
3. 根据权利要求2所述的图像处理装置，其中，所述第一预定角度在[0°，15° ]内。
4. 根据权利要求2或3所述的图像处理装置，其中，所述图像恢复单元用于：在所述 多个图像中确定两个图像，使得所述两个图像的曝光时间分别位于所述目标时刻之前和之 后，以根据所述目标时刻与所述两个图像的曝光时间之间的关系并利用所述规则运动图像 块在所述两个图像中的运动矢量，获得所述规则运动图像块在所述目标时刻的运动矢量。
5. 根据权利要求4所述的图像处理装置，其中，所述图像恢复单元还用于： 基于所述规则运动图像块在所述目标时刻的运动矢量以及所述多个图像对应的相机 反应函数，利用所述多个图像对所述目标时刻的图像中与所述规则运动图像块对应的部分 进行恢复。
6. 根据权利要求2-5中任一项所述的图像处理装置，其中，所述运动图像块确定单元 所确定的运动图像块还包括随机运动图像块，所述随机运动图像块在所述多个图像中的至 少两个相邻图像中的运动矢量之间的夹角大于或等于第二预定角度，所述第二预定角度大 于或等于所述第一预定角度。
7. 根据权利要求6所述的图像处理装置，其中，所述图像恢复单元还用于： 选择所述多个图像中的中度曝光图像，基于所述多个图像对应的相机反应函数并利 用所述中度曝光图像，对所述目标时刻的图像中与所述随机运动图像块对应的部分进行恢 复。
8. 根据权利要求1-7中任一项所述的图像处理装置，其中，所述运动图像块确定单元 还用于： 针对所述多个图像块中未被确定为运动图像块的每个图像块，在该图像块的所有周围 相邻图像块都是运动图像块的情况下，将该图像块更新为运动图像块。
9. 一种图像处理方法，包括： 在待处理图像中确定多个图像块； 通过运动估计获得所述多个图像块在多个图像中的运动矢量，以确定所述多个图像块 中的运动图像块，其中，所述多个图像与所述待处理图像是预先针对相同的目标区域所捕 获的；以及 根据所述运动图像块在所述多个图像中的运动矢量中的至少部分，确定所述运动图像 块中的至少一个在目标时刻的运动矢量，以恢复所述目标区域在所述目标时刻的图像。
10. -种电子设备，包括如权利要求1-8中任一项所述的图像处理装置。
【文档编号】H04N5/355GK104243844SQ201310224132
【公开日】2014年12月24日 申请日期:2013年6月6日 优先权日:2013年6月6日
【发明者】郑艳 申请人:富士通株式会社