图像处理装置、图像处理方法、成像装置和程序的制作方法

专利名称：图像处理装置、图像处理方法、成像装置和程序的制作方法
技术领域：
本发明涉及执行用于估计图像序列的两个图像之间的全局运动量的运动矢量估计(运动估计(ME))的图像处理装置、图像处理方法、成像装置和程序。
背景技术：
作为已经非常频繁用于执行运动估计的方法，存在块匹配方法。为了使用块匹配方法估计各图像之间的全局运动，跨越整个屏幕，基本上获得针对每一个分割块产生的运动矢量(MV 局部MV)的加权平均。这里，通过减小不可靠的局部MV的块的权重可以提高鲁棒性(例如，参照 JP-A-5-289159 和 JP-A-2006-222933)。作为另一种运动估计方法，已知Lucas-Kanade方法(LK方法)(参照An Iterative Image Registration Technique with an Application to Stereo Vision, B.D. Lucas, T. Kanade, Intl. Joint Conf. on Al,pp.674-679，1981)。特别地，如果跨越整个屏幕使用LK方法，则可以进行计算执行效率相比于块匹配方法相当好的全局ME。

发明内容
然而，关于JP-A-5-289159和JP-A-2006_22^33中公开的方法，块匹配方法(其中需要获得对于每个块的MV)，需要大量计算资源，从而块匹配方法是一般具有较差执行效
率的处理。即使可以使用LK方法执行全局ME(其中计算执行效率相比于块匹配方法相当好)，也难以使用与JP-A-5-289159和JP-A-2006_22^33相同的方法来提高鲁棒性，这是由于在LK方法中未跨越整个屏幕计算局部MV。因此，期望提供这样的图像处理装置、图像处理方法、成像装置和程序其能够在保持高计算效率的同时执行对于局部运动对象或亮度变化而言具有鲁棒性的全局运动估计。根据本发明的实施例，提供了一种图像处理装置，包括全局运动估计装置，其对当前图像和基准图像执行全局运动估计(ME)，然后输出运动矢量(MV)，所述全局运动估计装置包括运动估计处理单元，其具有跨越整个屏幕执行Lucas-Kanade方法(下文称为LK 方法)两次或更多次以便执行所述当前图像与所述基准图像之间的全局运动估计的功能； 并且所述运动估计处理单元在第一运动估计中，至少基于关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意计算表达式的计算结果的信息，来获得一组运动矢量，以及在所述第二运动估计中，当获得至少关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意计算表达式的计算结果的信息时，根据设置条件确定是否对于每一个像素执行相加，其中所述水平方向上的像素值变化、所述垂直方向上的像素值变化以及所述时间方向上的像素值变化是使用所述LK方法获得运动矢量所必需的，并且当满足条件时，获得并输出一组新的运动矢量，作为第二 LK 方法的结果。根据本发明的另一实施例，提供了一种图像处理方法，包括以下步骤当对当前图像和基准图像执行全局运动估计(ME)并然后输出运动矢量(MV)时，跨越整个屏幕执行两次或更多次Lucas-Kanade(LK)方法，以便执行当前图像与基准图像之间的全局运动估计； 在第一运动估计中，至少基于关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意计算表达式的计算结果的信息，来获得一组运动矢量，并且在第二运动估计中，当获得关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中 跨越整个屏幕添加包括对于使用所述LK方法获得运动矢量所需要的水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意表达式的计算结果的信息时，根据条件确定是否对每一个像素执行相加，并且当满足条件时，获得并输出新的一组运动矢量作为第二 LK方法的结果。根据本发明的又一实施例，提供了一种成像装置，包括固态成像器件；光学系统，其在所述固态成像器件上形成物体图像；图像处理装置，其使用所述固态成像器件对图像执行图像处理；以及全局运动估计装置，其对当前图像和基准图像执行全局运动估计 (ME)，然后输出运动矢量(MV)，其中所述全局运动估计装置包括运动估计处理单元，其具有这样的功能跨越整个屏幕执行Lucas-Kanade(LK)方法两次或更多次，以便执行所述当前图像与所述基准图像之间的全局运动估计；并且其中所述运动估计处理单元在第一运动估计中，至少基于关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意计算表达式的计算结果的信息，来获得一组运动矢量，并且在第二运动估计中，当获得关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括对于使用所述LK方法获得运动矢量所需要的水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意表达式的计算结果的信息时，根据条件确定是否对每一个像素执行相加，并且当满足条件时，获得并输出新的一组运动矢量作为第二 LK方法的结果。根据本发明的再一实施例，提供了一种使得计算机执行图像处理的程序，所述图像包含以下步骤在对当前图像和基准图像执行全局运动估计(ME)并且然后输出运动矢量(MV)时，跨越整个屏幕执行两次或更多次Lucas-Kanade(LK)方法，以便执行当前图像与基准图像之间的全局运动估计；在第一运动估计中，至少基于关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意计算表达式的计算结果的信息，来获得一组运动矢量，并且在第二运动估计中，当获得关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括对于使用所述LK方法获得运动矢量所需要的水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意表达式的计算结果的信息，并且获得并输出新的一组运动矢量作为第二 LK 方法的结果时，根据条件确定是否对每一个像素执行相加，并且当满足条件时，获得并输出新的一组运动矢量作为第二 LK方法的结果。根据本发明的实施例，可以在保持高计算效率的同时执行对于局部运动对象或亮度变化而言具有鲁棒性的全局运动估计。


图1是图示根据本发明实施例的图像处理装置中包括的全局运动估计装置的图。图2是图示图1的全局运动估计装置的基本功能的框图。图3是图示根据本发明实施例的全局ME处理过程的概述的流程图。图4是图示根据本发明实施例的第一 ME过程的流程图。图5是图示图4的步骤ST105的偏微分计算的示例的图。图6是图示根据本发明实施例的有效/无效ME确定过程的流程图。图7是图示根据本发明实施例的第二 ME过程的流程图。图8是图示使用根据本发明实施例的图像处理装置的成像装置(相机系统)的配置的示例的图。图9是图示当将根据本发明实施例的全局运动估计装置应用于包括图像稳定功能(数字图像稳定器(DIS))的图像处理装置时的配置的示例的图。
具体实施例方式下文参照附图描述本发明的实施例。同时，将以如下顺序进行描述。1.作为图像处理装置的全局运动估计(ME)装置2.全局ME装置的详细处理3.成像装置(相机系统)的配置的示例<1.作为图像处理装置的全局运动估计(ME)装置>图1是图示根据本发明实施例的图像处理装置中包括的全局运动估计装置的图。图2是图示图1的全局运动估计装置的基本功能的框图。根据实施例的图像处理装置1包括全局运动估计(或运动估计(ME))装置10。如图1所示，全局ME装置10基本上执行全局ME处理，其中输入两个图像(即，当前图像CIM和基准图像RIM)，并输出一组运动矢量(MV)。如图2所示，全局ME装置10基本上包括作为功能块的第一 ME处理单元11、ME确定单元12、第二 ME处理单元13和存储器14。在实施例中，全局ME装置10包括如下功能跨越整个屏幕执行两次或更多次 Lucas-Kanade方法(在下文中，LK方法)，以便按照如下那样在图像序列I (x，y，t)的两个图像之间执行全局ME。
[第一 ME]在第一 ME中，除了使用LK方法获得MV所需要的Σ (Ιχ)2、Σ (Iy)2、Σ Ixly、 Σ IxIt和Σ IyIt之外，还将包括Ix、Iy和It的项的预定数量(η)的相加值Σ Fn(Ix,Iy, It)作为变量保存在存储器14中。然后，作为第一 LK方法的结果，第一 ME处理单元11计算一组MV(vx，vy)。[关于ME的结果的有效/无效确定]ME确定单元12确定由第一 ME处理单元11执行的ME是有效还是无效。如果ME确定单元12确定ME有效，则第二 ME处理单元13执行第二 ME。如果确定 ME无效，则将MV设置为0，然后如按照下面描述的那样进行输出。[第二 ME]在第二ME中，当获得使用LK方法获得MV所需要的Σ (Ι’χ)2、Σ (I’y)2、E I’xl’y 和Σ I’ xl’ t.E I’ yl’ t时，确定是否对每一个像素执行相加。这里，使用包括以下变量的条件表达式来确定条件。第一，对应像素的I，x、I，y和I，t。第二，在第一ME 处获得的Σ (Ιχ)2、Σ (Iy)2>E Ixly、Σ IxIt.E IyIt 和 MV(vx， vy)。第三，在第一 ME处获得的相加值Σ Fn (Ix, Iy, It)。第四，阈值参数。新近计算一组MV (ν，χ，V’ y)，作为第二 LK方法的结果，然后输出。在以上描述中，Ix、Iy和It分别表示对应像素的“水平方向上的像素值变化”、“垂直方向上的像素值变化”以及“时间方向上的像素值变化”。Σ表示跨越整个屏幕执行的相加。因此，可以将Σ Fn(Ix, Iy, It)表示为“跨越整个屏幕针对包括水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的任意计算表达式的计算结果执行的相加”。为了将第一计算与第二计算进行区分，对于已经第二次读取的图像使用符号I’。 然而，由于对相同的图像对(image pair)执行两次LK方法，因此I实际上等于I’。然而， (vx, vy)的值与(v’x，v’y)的值不同。[关于ME结果的有效/无效确定的详细示例]ME确定单元12接收由第一 ME处理单元11获得的MV(vx，vr)，并且当确定全局ME 的难度级别高时确定无效ME (MV为0)。在这种情况下，不需要由第二 ME处理单元13执行第二 LK方法。这里，使用包括以下变量的条件表达式来确定条件。第一，在第一ME 处获得的 Σ (Ιχ)2、Σ (Iy)2>E Ixly、Σ IxIt.E IyIt 和 MV(vx， vy)。第二，在第一 ME处获得的相加值Σ Fn (Ix, Iy, It)。第三，阈值参数。这里，引入四个值，即Σ Ιχ、Σ Iy>E It和Σ (It)2，作为相加值Σ Fn (Ix, Iy, It), 并且计算跨越整个屏幕的LK方法的误差函数值的分布的标准偏差。
然后，将计算结果是否大于预定阈值当作条件表达式之一，并且当实现条件表达式时确定ME无效。进一步，使用Σ It作为相加值Σ !^(IhIydt),并且计算对于单个像素时间方向上像素值变化的绝对值。将计算结果是否大于预定阈值当作条件表达式之一，并且当实现条件表达式时确定ME无效。进一步，在第二 ME处理中，可以执行如下处理。使用四个值，即Σ Ιχ、Σ Iy>E It和Σ (It) 2，作为相加值Σ 1 (Ix，Iy，It)，并且计算LK方法的误差函数值的跨越整个屏幕的分布的平均和标准偏差。然后，基于平均和标准偏差，根据每一个像素的误差函数值计算离群度(outlier degree)。将离群度是否大于预定阈值当作条件表达式之一，并且当实现条件表达式时，在 MV计算中不包括对应的像素。进一步，在第二 ME处理中，可以执行如下处理。使用两个值，即Σ Ix和Σ (It)2，作为相加值Σ !^(IhIydt),并且计算时间方向上的像素值变化的跨越整个屏幕的分布的平均和标准偏差。然后，基于平均和标准偏差，根据每一个像素的像素值变化来计算离群度。将离群度是否大于预定阈值当作条件表达式之一，并且当实现条件表达式时，在MV计算中不包括对应的像素。<2.全局ME装置的详细处理〉下文参照图3到图7描述全局ME装置10的详细处理。图3是图示根据本发明实施例的整个全局ME处理过程的概述的流程图。[步骤STl]首先，在步骤STl执行第一 ME。[步骤 ST2 和 ST3]在步骤ST2和ST3，基于第一 ME的结果确定全局ME的难度级别和可靠性，并且确定ME是否有效。[步骤ST4]当在步骤ST3，ME无效时，处理出现分支，以便将MV设置为0然后输出MV，并且终止处理。当ME有效时，在步骤ST4执行第二 ME，输出与第二 ME的结果对应的MV，并且处理终止。当ME无效时，不执行第二 ME，以便可以防止不期望的MV的错误使用，并且可以减
小吞吐量。图4是图示根据本发明实施例的第一 ME过程的流程图。以增强(augment) Lucas-Kanade (LK)方法的方式执行图4的ME处理，并且基本
上，根据如下等式获得MV。
「_·Π v ^Wlyk-ZiIyfHJt L0081」vx— m)2Wy)2_aiJxIy)2
「 ι Σ Ix Iy ΣIJt-Σ !χ)2 Σ Iy It _2」Vy — IiixYI(Iy)2-OlIJy)2 在以上等式中，Σ表示跨越整个屏幕的和。进一步，IX、Iy和It如上所述那样表示图像序列I (X，y，t)的水平、垂直和时 间方向上的各个偏微分值。尽管存在各种计算方法，但是执行图5的流程图中所示的计算作为示例。在任意存储范围(图4中的AXX、Ayy、AXy、AXt和Ayt)中保存作为途中计算结果的Σ (Ix)2、Σ (Iy)2、Σ Ixly、Σ IxIt和Σ Iylt，以便在下面用于随后的无效ME确定或第
二 ME。进一步，以相同的方式(图4中的Ax、Ay、At和Att)计算和保存对于LK方法来说基本上不需要的Σ Ιχ、Σ Iy>E It和Σ (It)2。[步骤 ST101]在步骤ST101，接收当前图像排列I和基准图像排列J，并且获得每一个图像的宽度W和高度H。[步骤 ST102]在步骤ST102，将与 Σ (Ιχ)2、Σ (Iy)2>E IxIy>E IxIt 和 Σ IyIt 对应的参数 Axx、 Ayy、Axy、Axt和Ayt设置到初始值0。[步骤 ST103]在步骤ST103，将与Σ Ιχ、Σ Iy>E It 和Σ (It)2 对应的参数 Αχ、Ay、At 和 Att 设置到初始值0。[步骤 ST104]在步骤ST104，通过指定范围从0到W-2的坐标χ以及范围从0到Η_2的坐标y来开始二维循环。[步骤 ST105]在步骤ST105，获得坐标(X，y)处的当前图像I和基准图像J的偏微分Ix、Iy和 It。图5是图示图4的步骤ST105处的偏微分计算的示例的图。在步骤ST1051获得坐标(x，y)处的当前图像I和基准图像J，并且在步骤ST1052 获得对应图像的偏微分Ix、Iy和It。在这种情况下，Ix= I [y] [x+l]-I [y] [χ]Iy = I[y+1] [x]-I[y] [χ]It = I [y] [x]-I[y] [x][步骤 ST106]在步骤ST106，通过Axx+Ix*Ix获得与Σ (Ix)2对应的参数Αχχ。通过Ayy+Iy*Iy获得与Σ (Iy)2对应的参数Ayy。通过Axy+Ix*Iy获得与Σ IxIy对应的参数Axy。通过Axt+Ix*It获得与Σ IxIt对应的参数Axt。通过Ayt+Iy*It获得与Σ IyIt对应的参数Ayt。[步骤 STlO7]在步骤ST107，通过Ax+Ix获得与Σ Ix对应的参数Αχ。通过Ay+Iy获得与Σ Iy对应的参数Ay。通过At+It获得与Σ It对应的参数At。通过Att+It*It获得与Σ (It)2对应的参数Att。
[步骤 ST108]在步骤ST108确定xy循环是否终止。当xy循环未终止时，处理返回到步骤ST104。 当xy循环终止时，处理进行到步骤ST109的处理。[步骤 ST109]在步骤ST109，获得MV(vx，vy)，然后输出到ME确定单元12。此时，使用vx = (Axy+Ayt-Ayy*Axt)/div 来获得 MV(Vx)。使用Vy = (Axy+Axt_Axx*Ayt) /div 来获得 MV (vy)。这里，div 是 Axx*Axt_Axx*Axy。图6是图示根据实施例的有效/无效ME确定过程的流程图。[步骤 ST201]在步骤ST201获得关于每一个图像的宽度W和高度H的信息。[步骤 ST202]在步骤ST202，通过执行第一 ME获得MV(vx，vy)，并且获得第一 ME的参数值 Axt ( Σ IxIt), Ayt ( Σ IyIt)、Ax( Σ Ix)、Ay( Σ Iy)、At( Σ It)和 Att ( Σ (It)2)的累加值。[步骤 ST2O3]在步骤ST203，通过使用上述第一 ME处理的结果获得标准偏差σ e (Se)和绝对值 δ (D)0同时，oe表示在LK方法中误差函数值的跨越整个屏幕的分布的标准偏差，而绝对值S (D)表示对于单个像素时间方向上的像素值变化的绝对值。[步骤 ST204]在步骤ST204，通过使用预设的阈值参数，对标准偏差ο e(Se)执行阈值确定。[步骤 ST205]如果作为阈值确定的结果，在步骤ST205确定标准偏差oe(Se)高于阈值，则确定 ME无效并且处理终止。[步骤 ST206]如果确定标准偏差σ e(Se)低于阈值，则在步骤ST206，通过使用预设阈值参数， 对绝对值δ (D)执行阈值确定。[步骤 ST207]如果作为阈值确定的结果，在步骤ST207确定绝对值δ (D)高于阈值，则确定ME 无效并且处理终止。如果确定绝对值δ (D)低于阈值，则确定第一 ME有效。通过确定标准偏差oe(Se)的阈值，可以防止要在屏幕中的局部运动太大时经历输出的非期望MV的错误使用。以相同的方式，通过确定绝对值δ (D)的阈值，可以防止要在屏幕中的亮度变化太大时经历输出的非期望MV的错误使用。同时，当执行阈值确定时，可以通过使用先前标准偏差Qe(Se)(与绝对值δ (D) 中相同)执行平均滤波之后执行阈值比较来获得优选结果。此外，可以通过执行具有滞后的阈值比较来获得优选结果。
图7是图示根据实施例的第二 ME过程的流程图。尽管第二ME是如第一ME中那样增强Lucas-Kanade(LK)方法且基本上获得MV (vx， vy)的处理，但是第二 ME与第一 ME的不同之处在于不对特定像素执行Σ，即“跨越整个屏幕的相加”。为了确定不用于计算的特定像素，在步骤ST403，使用第一ME的结果(νχ、\、Σ Ιχ、 Σ Iy>E It和Σ (It)2)首先获得如下。获得LK方法的误差函数值的跨越整个屏幕的分布的平均μ e (Me)以及LK方法的误差函数值的跨越整个屏幕的分布的标准偏差σ 。此外，获得时间方向上像素值变化的跨越整个屏幕的分布的平均Pi(Mi)以及时间方向上像素值变化的跨越整个屏幕的分布的标准偏差Si。此外，在步骤ST405 到 ST410 新近获得Σ (Ι，χ)2、Σ (Ι，γ)2、Σ Ι，χΙ，γ、Σ I'xl't 和Σ I’ yl’ t的循环中，在步骤ST407和ST408引入为了估计下面的条件表达式的条件分支。在计算偏微分之后，基于分布的平均μ e (Me)和标准偏差。e (Se)，根据每一个像素的误差函数值来计算离群度。然后，确定计算结果是否大于预定阈值。进一步，基于分布的平均μ i (Mi)和分布的标准偏差Si，根据每一个像素的像素值变化来计算离群度。然后，确定计算结果是否大于预定阈值。这里，I，x、I，y和I，t未用在第一 ME中，但却是在第二 ME循环中步骤ST406获得的每一个像素的偏微分值。然而，对相同的图像对仅执行两次LK方法，从而实际上1 = 1’。如步骤ST407和ST408所示，当实现条件之一或二者时，不计算Σ，并且处理进行
到下一像素。因此，可以在某种程度上去除用作噪声的局部运动或亮度变化，并且可以获得作为全局MV的优选结果。同时，下面是可以容易地估计的变化，且包括在本发明中。尽管ME的重复数量限于两次，但是即使在重复数量增大时也可以应用本实施例。除了仅包括平移运动分量(translation motion component)的MV估计之外，可以采用应用于包括旋转放大的仿射参数估计或投影变换矩阵估计的版本。如上所述，根据本实施例，在保持Lucas-Kanade (LK)方法的高计算执行效率的同时，可以执行对于局部运动对象或亮度变化而言具有鲁棒性的全局ME。特别地，当将实施例应用于DIS时，可以仅使用输入图像的缩小图像执行全局ME， 以便可使用更少的计算资源实现本实施例。当使用块匹配方法时，经常使用普通的专用硬件。然而，依照根据该实施例的方法，一般的图像缩小电路、一般的存储器和处理器就足够了。具有上述优点的固态成像器件可以作为成像器件应用于数码相机或数码摄像机。<3.成像装置(相机系统)的配置的示例>图8是图示使用根据本发明实施例的图像处理装置的成像装置(相机系统)的配置的示例的图。将根据实施例的全局ME装置110应用于成像装置100。进一步，成像装置100包括光学系统，其将入射光引导至成像器件120 (如，互补金属氧化物半导体(CMOS)图像传感器)的像素区域(聚焦至物体图像)，其例如包括将入射光(图像光)聚焦至成像表面的透镜230。成像装置100进一步包括前信号处理设备140和后信号处理设备150。在成像装置100中，透镜系统130和成像器件120捕获的图像信号经前信号处理设备140处理，以便产生对于两个序列的像素值信号。关于前信号处理设备140，响应于单个像素值信号，顺序地将当前图像和基准图像提供到全局ME装置110，以便输出运动矢量。另一方向上的像素值信号经后信号处理设备 150使用其运动矢量予以处理，然后将作为结果的信号输出为图像信号。图9是图示当根据本发明实施例的全局ME装置应用于包括图像稳定(DIS)功能的图像处理装置时的配置的示例的图。除了全局ME装置10之外，图像处理装置IA还包括前信号处理设备20和后信号处理设备30。前信号处理设备20包括存储器21和22以及缩小/平滑电路23。后信号处理设备30包括运动矢量(MV)滤波器31和分段单元32。在图像处理装置IA中，从输入端子Tll获得图像序列。逐一地接收图像，并在一个路径中无改变地将其存储在存储器21中。其原因在于，主要同步时间延迟和ME路径中输出。在其它路径中，缩小/平滑电路23对图像执行缩小/平滑处理，并且将经处理的图像存储在存储器22中。通过执行缩小处理减少了全局ME的计算量，并且通过将缩小处理与平滑处理加以组合可以获得高度精确的抗噪MV。然后，从存储器22读出最近输入的图像的缩小/平滑的图像(当前图像)和前一个缩小/平滑的图像(基准图像)，并且将它们输入到上述全局ME装置10。通过运动矢量滤波器31，作为全局ME的结果获得的MV转换为校正矢量。在最简单的情况下，滤波器31执行联合(integration)滤波(顺序地添加输入的 MV序列)。最终，从存储器21读出最新输入的图像，并且由分段单元32根据校正矢量执行分段/放大(或只是分段)，以便产生已经执行了图像稳定的稳定后的图像序列，并且从端子 T12输出图像序列。同时，除了如图9所示的DIS之外，本发明的实施例还可应用于对整个屏幕执行 运动估计/对准的任何一种。例如，本发明的实施例可应用于立体视觉匹配、超分辨率、3维降噪、全景接图、摇摄(将运动物体变为静止图像)和视频编码。本发明不限于上述实施例，在不脱离本发明的要点的情况下，任意修改都是可能的。进一步，以上详细描述的方法可以形成为基于过程的程序，并且可以配置为由计算机(如CPU)执行。
进一步，这种程序配置为由记录介质(如，半导体存储器、磁盘、光盘或软盘 )或设置了记录介质的计算机进行访问，以便执行程序。本申请包含与2010年4月28日向日本专利局提交的日本优先权专利申请JP 2010-104353中公开的主题有关的主题，其全部内容通过引用的方式合并在此。本领域的技术人员应当理解，依据设计要求和其它因素，可能出现各种修改、组合、部分组合和变更，只要其在所附权利要求书或其等价体的范围内即可。
权利要求
1.一种图像处理装置，包括全局运动估计装置，其对当前图像和基准图像执行全局运动估计ME，然后输出运动矢量MV，其中，所述全局运动估计装置包括运动估计处理单元，其具有这样的功能跨越整个屏幕执行Lucas-Kanade方法两次或更多次，以便执行所述当前图像与所述基准图像之间的全局运动估计，其中所述Lucas-Kanade方法在下面称为LK方法；并且所述运动估计处理单元在第一运动估计中，至少基于关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意计算表达式的计算结果的信息，来获得一组运动矢量，并且在第二运动估计中，当获得至少关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括对于使用所述LK方法获得运动矢量所需要的水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意表达式的计算结果的信息时，根据设置的条件确定是否对每一个像素执行相加，并且当满足条件时，获得并输出新的一组运动矢量作为第二 LK 方法的结果。
2.如权利要求1所述的图像处理装置，其中，在所述第二运动估计中用以建立是否对每一个像素执行相加的确定所使用的条件至少包括以下之一关于对应像素的水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的信息；关于对应像素的水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的信息的跨越整个屏幕的相加值，此信息在所述第一运动估计中获得； 运动矢量；以及要设置的阈值参数。
3.如权利要求1或2所述的图像处理装置，其中，所述全局运动估计装置包括确定单元，其确定所述第一运动估计的结果有效还是无效，并且当确定所述全局运动估计的难度级别高时，所述确定单元确定所述第一运动估计无效。
4.如权利要求3所述的图像处理装置，其中，所述确定单元确定所述第一运动估计的结果有效还是无效所使用的所述条件至少包括以下之一关于水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的信息的跨越整个屏幕的相加值，此信息在所述第一运动估计中获得； 所述运动矢量；以及所述要设置的阈值参数。
5.如权利要求4所述的图像处理装置，其中，所述确定单元使用关于水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的信息的跨越整个屏幕的相加值作为用于确定的条件；获得所述LK方法的误差函数值的跨越整个屏幕的分布的标准偏差；以及设置所述标准偏差是否大于阈值作为所述条件之一，并且当满足条件时确定所述第一运动估计无效。
6.如权利要求4或5所述的图像处理装置， 其中所述确定单元使用关于时间方向上的像素值变化的信息的跨越整个屏幕的相加值作为确定条件； 获得每一个像素的时间方向上的像素值变化的绝对值；以及设置所述绝对值是否大于阈值作为所述条件之一，并且当满足对应条件时确定所述第一运动估计无效。
7.如权利要求4到6中任一项所述的图像处理装置，其中，当所述第一运动估计无效时，所述全局运动估计装置不执行第二运动估计。
8.如权利要求1到7中任一项所述的图像处理装置， 其中，所述运动估计处理单元，在所述第二运动估计中，使用关于水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的信息的跨越整个屏幕的相加值；获得所述LK方法的误差函数值的跨越整个屏幕的分布的平均和标准偏差； 基于所获得的平均和标准偏差，根据每一个像素的误差函数值获得离群度； 设置所获得的离群度是否大于阈值作为所述条件之一，并且当满足条件时确定对应像素不用于所述运动矢量的计算。
9.如权利要求1到8中任一项所述的图像处理装置， 其中所述运动估计处理单元在第二运动估计中，使用关于时间方向上的像素值变化的信息的跨越整个屏幕的相加值；获得所述LK方法的像素值变化的跨越整个屏幕的分布的平均和标准偏差； 基于所获得的平均和标准偏差，根据每一个像素的误差函数值获得离群度；以及设置所获得的离群度是否大于阈值作为所述条件之一，并且当满足条件时确定对应像素不用于所述运动矢量的计算。
10.如权利要求1到9中任一项所述的图像处理装置，进一步包括前信号处理单元，其将已经在前信号处理中缩小并平滑的像素值信号输出到所述全局运动估计装置；以及后信号处理单元，其在时间上对所述全局运动估计装置的运动矢量输出进行数字滤波以获得校正矢量，并且根据由所述校正矢量表示的位置从原始输入图像中切掉与预定比例尺寸对应的部分。
11.一种图像处理方法，包括以下步骤在对当前图像和基准图像执行全局运动估计ME并然后输出运动矢量MV时，跨越整个屏幕执行两次或更多次Lucas-Kanade LK方法，以便执行当前图像与基准图像之间的全局运动估计；在第一运动估计中，至少基于关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意计算表达式的计算结果的信息，来获得一组运动矢量，并且在第二运动估计中，当获得关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括对于使用所述 LK方法获得运动矢量所需要的水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意表达式的计算结果的信息时，根据条件确定是否对每一个像素执行相加，并且当满足条件时，获得并输出新的一组运动矢量作为第二 LK方法的结果。
12.如权利要求11所述的图像处理方法，其中，在所述第二运动估计中用以建立是否对每一个像素执行相加的确定所使用的条件至少包括以下之一关于对应像素的水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的信息； 关于对应像素的水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的信息的跨越整个屏幕的相加值，此信息在所述第一运动估计中获得； 运动矢量；以及要设置的阈值参数。
13.如权利要求11或12所述的图像处理方法，进一步包括以下步骤 确定所述第一运动估计的结果有效还是无效；以及当确定所述全局运动估计的难度级别高时，确定所述第一运动估计无效。
14.如权利要求13所述的图像处理方法，其中，确定所述第一运动估计的结果有效还是无效所使用的所述条件至少包括以下任眉、^^ ；关于水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的信息的跨越整个屏幕的相加值，此信息在所述第一运动估计中获得； 所述运动矢量；以及所述要设置的阈值参数。
15.如权利要求14所述的图像处理方法，进一步包括以下步骤使用关于水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的信息的跨越整个屏幕的相加值作为用于确定的条件；获得所述LK方法的误差函数值的跨越整个屏幕的分布的标准偏差； 设置所述标准偏差是否大于阈值作为所述条件之一，并且当满足条件时确定所述第一运动估计无效。
16.如权利要求14或15所述的图像处理方法，进一步包括以下步骤使用关于时间方向上的像素值变化的信息的跨越整个屏幕的相加值作为所述确定条件；获得每一个像素的时间方向上的像素值变化的绝对值；设置所述绝对值是否大于阈值作为所述条件之一；并且当满足对应条件时确定所述第一运动估计无效。
17.如权利要求11到16中任一项所述的图像处理方法，进一步包括以下步骤 在第二运动估计中，使用关于水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的信息的跨越整个屏幕的相加值；获得所述LK方法的误差函数值的跨越整个屏幕的分布的平均和标准偏差； 设置所获得的离群度是否大于阈值作为所述条件之一，并且当满足对应条件时确定对应像素不包括在所述运动矢量的计算中。
18.如权利要求11到17中任一项所述的图像处理方法，进一步包括以下步骤在所述第二运动估计中，使用关于时间方向上的像素值变化的信息的跨越整个屏幕的相加值；获得所述LK方法的像素值变化的跨越整个屏幕的分布的平均和标准偏差； 基于所获得的平均和标准偏差，根据每一个像素的误差函数值获得离群度；以及设置所获得的离群度是否大于阈值作为所述条件之一，并且当满足对应条件时确定对应像素不包括在所述运动矢量的计算中。
19.一种成像装置，包括 固态成像器件；光学系统，其在所述固态成像器件上形成物体图像； 图像处理装置，其使用所述固态成像器件对图像执行图像处理；以及全局运动估计装置，其对当前图像和基准图像执行全局运动估计ME，然后输出运动矢量MV，其中，所述全局运动估计装置包括运动估计处理单元，其具有这样的功能跨越整个屏幕执行Lucas-Kanade LK方法两次或更多次，以便执行所述当前图像与所述基准图像之间的全局运动估计；并且所述运动估计处理单元在第一运动估计中，至少基于关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意计算表达式的计算结果的信息，来获得一组运动矢量，并且在第二运动估计中，当获得关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括对于使用所述 LK方法获得运动矢量所需要的水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意表达式的计算结果的信息时，根据设置的条件确定是否对每一个像素执行相加，并且当满足条件时，获得并输出新的一组运动矢量作为第二 LK方法的结果。
20.一种使得计算机执行图像处理的程序，所述图像包含以下步骤在对当前图像和基准图像执行全局运动估计ME并且然后输出运动矢量MV时，跨越整个屏幕执行两次或更多次Lucas-Kanade LK方法，以便执行当前图像与基准图像之间的全局运动估计；在第一运动估计中，至少基于关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意计算表达式的计算结果的信息，来获得一组运动矢量，并且在第二运动估计中，当获得关于像素的水平方向上的像素值变化、垂直方向上的像素值变化和时间方向上的像素值变化的信息、以及其中跨越整个屏幕添加包括对于使用所述 LK 方法获得运动矢量所需要的水平方向上的像素值变化、垂直方向上的像素值变化以及时间方向上的像素值变化的任意表达式的计算结果的信息时，根据条件确定是否对每一个像素执行相加，并且当满足条件时，获得并输出新的一组运动矢量作为第二 LK方法的结果。
全文摘要
在此公开了图像处理装置、图像处理方法、成像装置和程序。所述图像处理装置包括全局运动估计装置，其对当前图像和基准图像执行全局运动估计，然后输出运动矢量，其中所述全局运动估计装置包括运动估计处理单元，其具有跨越整个屏幕执行LK方法两次或更多次以便执行当前图像与基准图像之间的全局运动估计的功能；并且所述运动估计处理单元在第一运动估计中至少基于关于像素值变化的信息和其中跨越整个屏幕添加任意计算表达式的计算结果的信息来获得一组运动矢量，并且在第二运动估计中，当获得所述至少的信息时，根据设置的条件确定是否对每一个像素执行相加，并且当满足条件时，获得并输出新的一组运动矢量作为第二LK方法的结果。
文档编号H04N5/232GK102238332SQ201110100539
公开日2011年11月9日 申请日期2011年4月21日 优先权日2010年4月28日
发明者松浦俊, 葛谷直规 申请人:索尼公司