专利名称：使用运动估计的图像处理方法和图像处理装置的制作方法
技术领域：
本发明的实施例涉及包括运动估计器单元的图像处理装置并且涉及帧率转换装置。其它实施例涉及包括运动矢量的确定的图像处理方法并且涉及帧率转换方法。
背景技术：
像素运动分析被用于实现视频流中的各种事件函数，诸如解交织、帧率转换、图像编码以及多帧噪声降低。运动分析试图识别可以在相继的或交错的帧中的哪儿找到表示有可能运动的对象上的点的每个像素。运动分析确定被指派给单个像素或像素组的运动矢量，其中每个像素已经或将要逐帧移动。
发明内容
本发明一个实施例的目的是提高运动估计的性能。该目的是通过独立权利要求的主题来实现的。在从属权利要求中分别指定了更多实施例。根据本发明的一个方面，提供了一种图像处理装置，包括全局运动估计器单元 (110)，被配置为从第一图像数据和第二图像数据中确定全局运动矢量，所述第一图像数据和所述第二图像数据描述相互具有第一时间距离的被捕获的第一图片和第二图片，所述全局运动矢量描述当至少两个图像部分以相同速度移动时和当所述图像部分以不同速度移动时，所述至少两个图像部分相对于第一轴的全局位移的符号和大小。根据本发明的另一个方面，提供了一种操作图像处理装置(100)的方法，所述方法包括在全局运动估计单元中从第一图像数据和第二图像数据确定全局运动矢量，所述第一图像和第二图像数据描述相互具有第一时间距离的被捕获的第一图片和第二图片，所述全局运动矢量描述当相对于第一轴移动的所有图像部分以相同速率移动时以及当所述图像部分相对于所述第一图像和所述第二图像中的不运动图像部分以不同速度移动时，所述所有图像部分的全局位移。
从以下结合附图对实施例的描述，本发明的细节将变得更加明显。不同实施例的图可以相互组合，除非它们相互排斥。图1是图示出根据涉及运动矢量估计的一个实施例的包括全局运动估计器单元的图像处理装置的简化框图。图2A是示出具有运动对象的4个连续图片帧的示意图。图2B是图示出用于描述帧率转换的原理并且用于澄清本发明实施例的效果的被插入帧的流中的两个交错帧的示图。图2C是示出图2B的细节的示意图。图3是图示出根据本发明一个实施例的使用两个高速缓冲存储器和全局运动矢量的运动矢量估计器单元的示意框图。
图4是图示出根据涉及帧率转换的实施例的使用两个高速缓冲存储器和全局运动矢量的插值单元的简化框图。图5是示出用于图示出根据本发明的实施例的运动估计器单元的操作模式的简化运动矢量字段以及被指派给两个图片存储器的高速缓冲存储器的两个地址窗口之间的关系的示意图。图6A是用于图示出在全局运动矢量等于零的情形下根据实施例的图像处理装置的操作模式的示图。图6B是用于图示出在全局运动矢量具有最大值的情形下根据图6A的实施例的图像处理装置的操作模式的示图。图7是图示出根据本发明另一实施例的全局运动估计器单元的细节的简化框图。图8是图示出根据涉及一维行轮廓的偏移值的滤波的实施例的图7的全局运动估计器单元的细节的示意框图。图9A包含用于图示出根据一个实施例的图像处理方法的细节的、图示出垂直行轮廓上的水平移动的对象的效果的两个示图。图9B包含用于图示出根据一个实施例的图像处理方法的细节的、图示出垂直行轮廓上的垂直移动对象的效果的两个示图。图IOA是图示出根据一个实施例的将图像帧分割为4个图片部分以用于根据涉及全局运动矢量估计器单元的细节的实施例确定行轮廓的简化示图。图IOB是图示出根据另一个实施例的将图像帧分割为9个图片部分以用于根据涉及全局运动估计器单元的细节的实施例确定行轮廓的简化示图。图IOC是图示出根据另一个实施例的将图像帧分割为12个图片部分以用于确定行轮廓而的简化示图。图11是用于图示出根据涉及全局运动估计器单元的实施例的轮廓匹配的操作模式的细节的示意图。图12A是图示出根据涉及使用全局运动矢量的图像处理装置的细节的实施例从全局运动矢量获得地址偏移的映射规则的示图。图12B是图示出根据另一实施例从全局运动矢量获得地址偏移的另一映射规则的示图。图13是用于图示出根据涉及全局运动矢量的使用的实施例的图像处理方法的简化流程图。图14是用于图示出根据涉及全局运动矢量的生成的实施例的图像处理方法的简化流程图。
具体实施例方式图1涉及包括全局运动估计器单元110的图像处理装置100。从描述相互以第一时间距离被捕获的第一图片和第二图片的第一图像数据和第二图像数据中，全局运动估计器单元110确定全局运动矢量，全局运动矢量描述当至少两个图像部分相对于一个第一轴以相同速度移动时和当它们以不同速度移动时，这些图像部分相对于第一轴的全局位移的符号和大小。
例如，全局运动矢量表示相对于第一轴移动的所有图像对象关于不移动的背景的加权平均速度。第一和第二图片可以是视频流SI的相继帧(subsequent frames) 0可以针对每一对相继帧来重复全局运动矢量的确定。根据一个实施例，运动图像部分对应于对象或对象的部分。根据另一实施例，运动图像部分对应于帧中预先定义的窗口或图片片段，其中被指派给各个图片片段的速度从两个连续帧的对应图片片段中的对应像素值的比较得出。例如，两个连续帧的对应图片片段中的对应行或对应列的像素值的和可以被相互比较来确定表征图片片段内的速度的参数。 在后一情况中，速度不是被指派给对象，而是分别表征图片片段中的一个图片片段内的移动的和。全局运动矢量概括多个运动对象沿同一轴的不同移动。例如，当多个不同对象在同一方向以近似相同的速率移动时，全局运动矢量本质上表示此共同速度。否则，当具有近似相同大小的两个对象在相反方向上以相同速度移动时，全局运动矢量趋向于变为0。全局运动估计器单元110可以以专涉及帧参数的单位表示全局运动矢量的值。根据其它实施例，全局运动估计器单元110将全局运动矢量与应用或硬件特定值相结合。例如，全局运动估计器单元110输出用于装载高速缓冲存储器的地址偏移s_。根据图1中示出的实施例，图像处理装置还包括运动矢量估计器单元140。基于在全局运动估计器单元110中确定的全局运动矢量以及第一和第二图像数据，运动矢量估计器单元140确定运动矢量字段，运动矢量字段为每个图像部分描述沿第一轴和第二轴的局部位移，其中第二轴与第一轴垂直。例如，第一轴可以是垂直图片轴并且第二轴可以是水平图片轴。运动矢量字段可以向图像的每个像素或向被识别为属于同一运动对象的像素组指派运动矢量S-。运动矢量Smv可以作为绝对值或者作为例如涉及地址偏移的相对值来提供。运动矢量Smv可以被临时缓冲在运动矢量字段存储器中。根据一个实施例，运动矢量Smv和从全局运动估计器单元110中确定的全局运动矢量可以在图像处理单元170中被使用。图像处理单元170例如可以是例如在监管任务和监视系统的架构内的用于确定和分类视频流Sl中的运动对象的视频分析单元。根据其它示例，图像处理单元170是用于图像数据压缩的图像编码设备。根据另一实施例，图像处理单元170是插值单元，其被配置为基于第一和第二图像数据、运动矢量Smv以及从全局运动矢量导出的值来生成描述第三图像的第三图像数据， 并且输出第三图像的序列作为输出视频流SO。插值单元通过利用一个第二像素的像素值或第二图像数据的像素组的像素值来对第一像素的像素值或第一图像数据的像素组的像素值进行滤波，来获得第三图像的像素的像素值。第一和第二像素是基于以下信息被识别的 第三图像中的对应像素的位置，与那个像素相关联的运动矢量字段中的一个或多个条目或者与和那个像素相邻的多个像素相关联的运动矢量字段中的条目组，全局运动矢量以及第一和第二图片之间的第一时间距离和第一和第三图片之间或第二和第三图片之间的第二时间距离。本发明一个实施例涉及帧率转换器，其包括如图1中所示的全局运动估计器单元 110、运动矢量估计器单元140和图像处理单元170。帧率转换器被应用于这样的情况，其中源，例如图像拾取设备、图像处理设备或存储设备，以第一帧率提供视频流的图片数据，而接收器，例如显示设备、另一图像处理设备或另一存储设备，要求更高或更低的第二帧率。 例如，帧率可以为了提高视频流的感知质量被增大或者在不同视频标准之间转变期间被增大。图2A示出表示视频流的片段的4个相继帧202、204、206和208的序列。没对相继帧表示相互以第一时间距离被捕获的图片。帧202、204、206和208朝向水平的χ轴和垂直的1轴被定位。例如，运动对象210从202、204、206到208逐帧改变其位置并且沿着y 轴执行线性移动。图2B涉及帧率转换，其中帧率被增大约50%。使用描述帧204、206和208的图片数据，运动对象210的运动被估计，并且从估计出的运动以及描述相邻帧204、206、208的图片数据，运动对象201在η+τ和η+2 τ时的位置被估计。基于运动对象210的估计出的位置，用于另外两帧205和207的图片数据被生成并且被插入到视频流中，同时帧206被删除。图2C更详细地描述在第一帧212和第二帧214之间生成额外帧213。第一和第二帧212和214包含在静止背景前的运动背景对象220。在第二帧214中，运动对象220相对于其在第一帧212中的位置被移位。矢量ν描述沿着y轴的位移。为了在时间η+τ(0 < τ < 1)时适当地插入中间帧213，插值单元利用因子τ对矢量ν进行缩放来找到运动对象220的插值位置。线219表示运动对象220的假定移动。为了生成额外帧213，插值单元存取(access)包含第一帧212和第二帧214的图片数据的图片存储器。线219表示分别在时间索引η和η+1处的前一帧212和后一帧214 中的对应像素位置Pl和Ρ2，其中在那些位置Pl和Ρ2处的图像部分在滤波处理中被用来产生在插入帧213中的对应像素处的插值图像部分。换而言之，当插值单元计算位置Ρ3处的图像部分的像素值时，其方位被指派给Ρ3处的图像部分的运动矢量。此外，位移矢量ν的因子τ和l-τ被用来存取分别在时间索引η和η+1处的图片数据。然而，这样的运动估计系统的设计中的限制因素是所支持的用来寻址和读取分别在时间η和η+1处的帧中的图片数据位置的运动矢量的最大长度。依赖于系统体系架构， 运动矢量的长度关于帧维度中的至少一个维度受到约束。例如，插入帧213可以是从图片的左上角向右下角逐行被生成。插入帧213的每个像素被指派给先前计算出的运动矢量，先前计算出的运动矢量被用来寻址第一和第二帧 212和214中的对应像素以用于执行插值。需要对包含第一和第二图片数据的存储器的快速自由随机存取。然而，快速自由随机存取与例如DRAM(动态随机存取存储器)技术相冲突，这是因为通常被用作图片存储器的DRAM仅在DRAM内容以在基于扫描行的处理单元中所使用的线性方式被寻址时才提供最好的数据吞吐量。因此，通常，专用高速缓冲存储器是以支持快速随机存取的另一种存储器技术来提供的。根据一个实施例，该高速缓冲存储器被实现为SRAM(静态随机存取存储器)技术中的搜索范围存储器。由于SRAM不需要更多系统资源，所以存储器缓存通常不包含整个图片帧。而是，在整个图片帧的处理期间，利用每个新的扫描行，在滑动地址窗口的上边界处的第一行在SRAM中被丢弃并被用滑动地址窗口中的下边界处的新一行替换，使得地址窗口以FIFO(先进先出)方式在图片存储器中被逐行下移。图3涉及其中从全局运动矢量导出的地址偏移SVU)在运动矢量估计器单元140中被使用的实施例。运动矢量估计器单元140的第一子单元142使用第一地址Adrl从第一图片存储器121将第一图像数据的第一子集(窗口)123装载到第一高速缓冲存储器122 中。另外，第一子单元142使用第二地址Adr2从第二图片存储器131中将第二图像数据的第二子集133装载到第二高速缓冲存储器132中。高速缓冲存储器122和123比图片存储器121和131具有更快的随机存取时间。根据一个实施例，高速缓冲存储器122和123是 SRAM，而图片存储器121和131是DRAM。第一和第二子集123和133对应于被沿第一轴被相互移位从全局运动矢量导出的位移的像素。位移对应于第一地址Adrl和第二地址Adr2之间的具体存储器地址偏移VL0。具体存储器地址偏移VLO是从由图1的全局运动估计器单元110提供的Svm导出的。运动矢量估计器单元140的第二子单元144存取第一和第二高速缓冲存储器，从前一图片导出第一图像数据P-SI并且从接连的图像导出第二图像数据S-SI，以便导出可以存储在运动矢量字段存储器150中的运动矢量Smv。由于被装载在高速缓冲存储器122和123中的窗口是彼此的偏移，因此运动矢量估计器单元140可以应对沿着垂直图片方向移动的更快的对象。该实施例利用这样的事实，在真实生活视频中，这样的情形占主要，即其中，当视频显示在第一方向上移动的快速对象时，很少有在相反方向上移动的快速对象。另外，通常快速移动对象吸引注意力，使得当快速移动对象的感知被提高时，视频的感知就被提高。图4涉及帧率转换器的插值单元171。第一子单元172将第一图像数据的第三子集153从第三图片存储器151装载到第三高速缓冲存储器152并且将第二图像数据的第四子集163从第四图片存储器161装载到第四高速缓冲存储器162中。高速缓冲存储器152 和162比图片存储器151和161具有更快的随机存取时间。第三和第四子集153和163表示沿着第一轴被彼此相反地移位从全局运动矢量导出的位移的像素。第二子单元174依赖于从运动矢量字段存储器150接收并被指派给相应输出像素或像素组的运动矢量Smv，寻址第一和第二高速缓冲存储器152和162。换而言之，第一子集172装载高速缓冲存储器152 和162，其中在图片存储器151和161的读存取期间，其应用从当前全局运动矢量导出的地址偏移VL0。在用于前一图像的搜索范围存储器中被拷贝的子集153和163或“窗口”可以被向上或向下偏移，并且在用于接着的图像的子集或窗口可以被相反地向下和向上偏移， 如果预定垂直运动在例如有关垂直相机环绕(pans)或火箭发射的图像序列中是可观测的话。图3和图4中所示的实施例可以以不同方式相互组合。例如，插值单元171和运动矢量估计器140可以共用相同的图片存储器121或151，以及131或161，使得运动矢量估计器单元140和插值单元171共用相同的图片存储器。一旦图片存储器已经被装载，则两个运动矢量^v都被从其导出并且帧率转换被执行。根据另一实施例，它们使用不同的图片存储器，其中第三和第四图片存储器151和161可以包含与第一和第二图片存储器121 和131不同的视频流的其他图片数据，以使得包含运动矢量估计器单元140的第一级准备稍后在包括插值单元171的第二级中使用的运动矢量。根据一个实施例，被指派给插值单元171的高速缓冲存储器152和162与被指派给运动矢量估计器单元140的高速缓冲存储器122和132具有相同大小和存取配置。根据另一实施例，被指派给运动矢量估计器单元140的高速缓冲存储器122和132比被指派给插值单元171的高速缓冲存储器152和162具有更小的地址空间。这样的实施例可以确保 当插值单元171尝试存取第三和第三高速缓冲存储器152和162时，运动矢量估计器单元 140不会生成涉及无效地址的运动矢量。如果高速缓冲存储器具有相同的大小，则插值单元171可以存取搜索范围存储器中的所有部分，以使得搜索范围存储器被有效地使用。根据另一实施例，共同地址偏移针对相同时间实例被评估，并且在运动矢量估计器单元和插值单元两者中都被使用。图5以简化的形式来示出具有沿χ轴延伸的10行和沿y轴延伸的7列的运动矢量字段502、第一图片存储器504和第二图片存储器506的内容。运动矢量字段502中的每个条目可以用列索引和行索引来存取并且表示描述沿y轴的位移的第一值和描述沿χ轴的位移的第二值。为了简化，假定第一值直接表示行偏移。根据其他实施例，条目可以表示相对于高速缓冲存储器的地址偏移的相对参考。当插值单元尝试评估要在两个其它帧的半中间(τ = 0. 5ms)插入的估计帧的像素的4时，其可以存取运动矢量字段502的条目的4等。根据参考图2C描述的τ = 0. 5ms 的存取方案，插值单元尝试存取第一图片存储器504中的条目p51和第二图片存储器506 中的条目P57。窗口 553表示被指派给第一图片存储器504的第一高速缓冲存储器的内容并且覆盖被指派给第一图片存储器504中的条目p51的像素。然而，如果第二图片存储器 506中的第二窗口原本如针对搜索窗口 563a的情况一样，要被定位于相同的搜索范围上， 则插值单元将不能够存取用于第二图片存储器504中的对应像素的条目p57。然而，如果对于运动矢量字段502，全局运动矢量可用，则当第二图片存储器506的内容被传送至第二高速缓冲存储器中时，垂直行偏移可被应用。如果垂直行偏移大于或等于3，则插值单元可以如在针对搜索窗口 56 的情况中一样存取条目p57。基本上，当图像中的运动是非常不均一时，其中图片包括在相反的垂直方向上以不同速度移动的多个运动对象，全局运动矢量为0或近似为0。当运动图片是均一的并且所有运动对象在同一方向上以或多或少相同的速度移动时，行偏移本质上对应于从对象速度导致的像素位移。本质上，如果所有运动对象朝着同一方向移动时，垂直行偏移可以对应于对象速度的加权平均值。图6A涉及全局运动矢量为0的情形。用于前一图像(其对应于时间η处的第一图片)的搜索范围存储器P-SRAM和用于接连图像(其对应于时间η+1处的图片)的搜索范围存储器S-SRM涉及相同的像素地址。这两个搜索范围存储器中心对称地环绕插值单元当前计算插值帧的像素值所针对的具体输出行L。再参考图2C，τ =0.5，插值单元可以应对的沿1轴的最大对象速度Vmax对应于搜索范围存储器P-SRAM和S-SRM中所包含的行数。如果运动对象在沿y轴的两个相继帧之间的位移对应于比搜索范围存储器的行深度更大的行数，则插值单元不能正确地插值出运动对象在插值帧中的位置，从而发生可感知的图像劣化。图6B涉及由全局运动估计器单元确定的垂直行偏移等于搜索范围存储器P-SRAM 和S-SRM中所包含的行数的情形。插值单元现在可以应对的最大垂直运动是定义搜索范围存储器大小的矢量与垂直行偏移矢量的和。根据一个实施例，垂直行偏移矢量ννω不限于某一值。根据另一实施例，垂直行偏移等于或低于行数，即垂直图像大小。根据另一实施例，搜索范围存储器P-SRAM和S-SRM两者都在时间上的每一点包含零矢量存取位置。换而言之，搜索范围存储器P-SRAM和S-SRM具有重叠的地址空间或至少直接邻接的地址空间，允许在运动补偿期间测试非运动假设并且在没有全局运动矢量可被确定的情况中允许插值方法回到标准的(即无运动补偿的)插值方案。换而言之，根据该实施例，垂直行偏移矢量■等于或小于搜索范围存储器的深度。一种包括上述全局运动估计器、运动矢量估计器和插值单元的帧率转换装置，允许估计这样的插值帧，该插值帧包含以是传统插值单元能够应对的速度的两倍的速度沿垂直轴移动的对象。补偿范围的长度仍然与用于现有技术系统的一样，并且仅通过垂直行偏移矢量被调节。然而，真实生活视频很少同时既包含向上移动的对象又包含向下移动的对象。在一种图像处理装置中，像运动矢量估计单元和插值单元这样的现有模块仅需要被略作改编。附加的全局运动估计器单元可以是由控制运动矢量估计和/或插值单元的控制单元执行的软件例程或在ASIC(专用集成电路)中实现的电子电路或它们的组合并且仅需要很少的系统资源。因此，本发明的实施例提供一种用于例如提高在帧率转换之后的视频流的感知质量或图像数据压缩的效率或自动视频分析的质量的简单且低成本的解决方案。根据一个实施例，第一和第二图片之间的第一时间距离大于第一或第二图片和通过插值生成的第三图片之间的第二时间距离，使得图像处理装置将描述第一时间距离的第一帧率转换为描述第二时间距离的更高的第二帧率。图像处理装置可以包括被配置来接收包括第一和第二图像数据的接口。图像处理装置可以是被集成到消费电子设备中的帧率转换器，消费电子设备例如是电视机、摄像机、 包括摄像机功能的蜂窝电话、计算机、电视广播接收机或可被配置为插入视频输出或输入插孔的适配器。根据其他实施例，图像处理装置包括图像拾取单元，图像拾取单元被配置为捕获包含相互具有第一时间距离的第一和第二图片的视频流并且将描述第一和第二图片的第一和第二图像数据分别存储在第一和第二图片存储器中。以下描述的实施例涉及能够确定全局运动矢量的全局运动估计器单元的细节，全局运动矢量描述当相对于一个第一轴移动的至少两个图像部分以相同速度移动时和当图像部分以不同速度移动时，相对于一个第一轴移动的至少两个图像部分的全局位移的符号和大小。运动图像部分对应于帧的预先定义的窗口或图片片段并且被指派给各个图片片段的速度从两个连续帧的对应图片片段中的对应像素值的比较得出。本质上，两个连续帧的对应图片片段中的对应的行或列的像素值的和可被相互比较来确定表征图片片段内的速度的参数。速度不是被指派给对象，而是分别表征图片片段中的一个图片片段内的移动的和。全局运动估计器单元本质上检测所捕获的图片中存在的垂直运动充分一致的时间，例如以用于允许将地址偏移应用于图片存储器存取，并且如果这样，则确定针对该地址偏移的有用值。以下描述的全局运动估计器单元可以在上述帧率转换的上下文中使用。根据其他实施例，全局运动估计器单元可以在例如监管任务和监视系统的架构内的图像处理单元中被使用，以用于图像编码或用于图像数据压缩，其中该图像处理单元用于包括运动对象的确定和分类的视频分析。图7涉及图像处理设备100，其包括接收图像数据的序列的全局运动估计器单元110，每个图像数据描述视频流SI的图片(帧)。轮廓(profile)生成器单元112为每个图像数据生成涉及不同图片片段的至少两个一维轮廓，其中每个一维轮廓包括针对每个图片行或沿第二轴延伸的每个图片列的一个轮廓值。根据一个实施例，第一轴是垂直轴并且第二轴是水平轴。根据其他实施例，第一轴是水平轴并且第二轴是垂直轴。第一和第二轴的选择通常取决于硬件的内部组织，例如取决于高速缓冲存储器被装载的方式。图9A涉及行轮廓P1 (y)、P2 (y)的生成。根据左手侧的示例，前一帧902包含从第一位置910沿水平轴移动的运动对象911。图9A的右手侧示出相继帧912，其中运动对象 911已经到达第二位置912。行轮廓PJy)、P2(y)可以从例如对一行中的所有像素值进行加和得到。至少在均一背景的情况中，行轮廓P1(Y)近似相同。根据其它实施例，可以对加和轮廓应用变换，并且变换后的加和轮廓，例如其离散倒数，可以被用于进一步的处理。图9B涉及垂直运动。在图9B的左右侧，前一帧942示出沿着y轴从第一位置950 移动到第二位置952的对象951。第三行轮廓P3(y)示出与第一位置950相对应的行中被指派给运动对象951的具体特性。图9B的右手边示出相继帧962，其中运动对象951已经到达第二位置952。在第四行轮廓中，在与第二位置952相对应的行编号处出现被指派给运动对象951的具体图案(pattern)。所生成的行轮廓允许相对于水平运动来滤波垂直运动。图9A和图9B中描述的行轮廓？乂。至&(7)仅用于说明的目的。通常，行轮廓在与运动对象相对应的位置处不具有最大值。再次参考图7，轮廓生成器单元112将二维矢量信息精简为一维矢量集合。输入图像中的水平运动将不会影响行轮廓的形状，而大范围垂直运动具有引人注意的影响。另外，轮廓生成器单元112为每个图像至少生成两个不同轮廓，其中，它们中的每一个仅由总图像区域的一部分形成并且其中每个轮廓覆盖不同的区域。图IOA示出被分割成4个片段990的图像区域980。对于每个片段990，行轮廓被生成。4个片段990可以覆盖完整的图像区域980。根据一个实施例，4个片段不覆盖图像区域980的下边缘和上边缘，使得尺寸设定(letter box)内容中的黑色条带(例如与在 16:9编码帧中出现的2..21:1内容一起出现)不会影响运动测量。排除区域992的垂直大小可以被选择，使得从内容高宽比和图像帧高宽比之间的不一致导致的最大的可能的黑色条带被爆出在行轮廓生成之外，并且，有效行轮廓针对尺寸设定和完整帧内容两者被生成。图IOB涉及提供9个片段990的实施例，其中一些片段相互重叠。片段990可以被定义，使得水平和垂直相邻的片段具有大约20%至80&，例如5%的区域重叠。根据一些实施例，所有片段990具有相同的水平尺寸和相同的垂直尺寸，使得所产生的轮廓在轮廓大小和轮廓值方面是可比较的。选择不同但重叠的图像区域片段的多个不同轮廓使得行轮廓的生成对抗多个大范围运动更为强壮。图IOC涉及这样的实施例，其中图像982被分割成仅在一个重叠方向上重叠的片段。重叠方向可以是水平方向。根据图示出的实施例，重叠方向是垂直方向使得每个片段 990与在垂直方向上相邻的片段990重叠而不与在水平方向上相邻的片段重叠。片段数可以是3的多倍，例如9或12。再次参考图7，轮廓生成器单元112为每个图像输出轮廓矩阵SP，矩阵$包含具有相同长度的N个轮廓矢量。N至少为2并且通常小于20以便使轮廓生成器保持较低的复杂度。根据一个实施例，N在3和12之间。前一图像或第一图像Sp,的轮廓矩阵可以被临时缓冲到轮廓矩阵存储单元114中，直到轮廓生成器单元112已经为下一图像生成轮廓矩阵Sp,su。。为止。轮廓匹配单元116可以接收第二图像数据的轮廓矩阵Sp,su。。，并且从轮廓矩阵存储单元114接收第一图像数据的存储矩阵SP,pre。轮廓匹配单元116将之前的和接连的行轮廓单独比较来确定每个图像区域片段990的主导垂直偏移，如以上参考图IOA和图 IOB所述。根据一个实施例，轮廓匹配单元116为每一对对应的第一和第二行轮廓生成描述轮廓之间的位移的偏移值。第一移位被定义为第二轮廓相对于第一轮廓的位移，其中第二轮廓的预先定义的中心片段与第二轮廓的任意片段最佳匹配。这参考图11来更详细地描述。图11示意性地示出被指派给前一第一图像的第一轮廓矩阵995和被指派给第二相继图像的第二轮廓矩阵997。每个轮廓矩阵995和997包含N个行轮廓，其中每个行轮廓具有长度H。轮廓匹配单元比较每一对对应行轮廓，例如第一轮廓矩阵995的第一行轮廓和第二轮廓矩阵997的对应的第一行轮廓。高度h的中心区域被定义在第二轮廓矩阵997中的每个行轮廓中。相同高度的区域被定义在第一轮廓矩阵995中的第一行轮廓中。第一行轮廓被偏移经过从_r到+r定义的搜索范围的所有位置，并且对于每个偏移位置，第二轮廓矩阵997的第一行轮廓的中心区域h被与第一轮廓矩阵995的偏移后的第一行轮廓中的对应区域相比较。轮廓搜索范围可以大于或等于2vmax，使得匹配处理可以被改进以用于超出 2vfflax的真实垂直运动。在第一轮廓矩阵995处的第一行轮廓的每个偏移位置中，匹配区域被计算并且具有最小残留匹配误差的偏移位置作为偏移值Smv,γ被记录并且被输出。该过程针对所有行轮廓对被重复，使得轮廓匹配单元116针对每个时间实例输出具有与行轮廓的数目相对应的长度的偏移值Smv,γ的矢量。用于确定具有最小残留匹配误差的偏移位置的匹配标准可以是均方差的和。根据其它实施例，可以根据应用和内容类型采用归一化互相关。 根据一个实施例，匹配标准可以是绝对差的和。再次参考图7，偏移值矢量Smv,γ被传送至计算器单元118，计算器单元118基于偏移值矢量Smv,γ来确定全局运动矢量和/或垂直行偏移。计算器单元118可以包括变换滤波器单元。根据偏移值，变换滤波器单元可以生成滤波后的偏移值，其中离群(outlier)偏移值相对于非离群(non-outlier)偏移值被衰减。计算器单元118可以基于滤波后的或未滤波后的偏移值来确定全局运动矢量。根据其它实施例，计算器单元118可以从全局运动矢量或直接从滤波后的或未滤波后的偏移值导出应用特定值。例如，计算器单元118导出用于将图片存储器的内容装载到两个高速缓冲存储器中的地址偏移。图8涉及计算器单元118从滤波后的偏移值Smv, γ导出地址偏移S·的实施例，其中，N个不同的偏移值，在一个信号值被选作表示整个图像帧中的估计的主导垂直运动的全局矢量之前，通过一抽头IIR(无限脉冲响应)滤波器被分别滤波。计算器单元118可以依靠多个系数乘算器。根据一个实施例，计算器单元118仅包括一个单独的系数乘算器。根据另一实施例，计算器单元118包括用于适应性地从N个偏移值Smv,γ的方差计算一抽头滤波器的滤波器系数α的AFC(适应性滤波器系数)单元810。相同的滤波器系数α可以被用于所有N格并行滤波器实例。系数针对每个时间步骤被确定为
权利要求
1.一种图像处理装置，包括全局运动估计器单元(110)，被配置为从第一图像数据和第二图像数据中确定全局运动矢量，所述第一图像数据和所述第二图像数据描述相互具有第一时间距离的被捕获的第一图片和第二图片，所述全局运动矢量描述当至少两个图像部分以相同速度移动时和当所述图像部分以不同速度移动时，所述至少两个图像部分相对于第一轴的全局位移的符号和大小。
2.根据权利要求1所述的图像处理装置，其中运动图像部分对应于所述第一图片和所述第二图片的预先定义的图片片段，并且被指派给各个图片片段的速度从所述第一图片和所述第二图片的对应图片片段中的对应像素值的比较得出。
3.根据权利要求1所述的图像处理装置，还包括运动矢量估计器单元(140)，被配置为从所述全局运动矢量和所述第一图像数据和所述第二图像数据中确定运动矢量字段，所述运动矢量字段描述每个图像部分沿着第一轴和垂直于所述第一轴的第二轴的局部位移。
4.根据权利要求3所述的图像处理装置，其中所述运动矢量估计器单元(140)还被配置为将所述第一图像数据的第一子集从第一图片存储器(121)装载到第一高速缓冲存储器(122)中，并且被配置为将所述第二图像数据的第二子集从第二图片存储器(131)装载到第二高速缓冲存储器(132)中，所述高速缓冲存储器(122，132)比所述图片存储器(121，131)具有更快的随机存取时间，并且所述第一子集和所述第二子集对应于沿着所述第一轴相互移位了从所述全局运动矢量得出的位移的像素，并且所述运动矢量估计器单元(140)被配置为访问所述高速缓冲存储器(122， 132)以用于确定所述运动矢量字段。
5.根据权利要求1所述的图像处理装置，还包括插值单元(177)，被配置为生成描述第三图像的第三图像数据，其中所述第三图像的第三像素的像素值是通过对所述第一图像数据的至少一个第一像素的像素值和所述第二图像数据的至少一个第二像素的像素值进行滤波而获得的，其中所述第一像素和所述第二像素是通过以下信息来识别的所述第三像素的位置、所述运动矢量字段中与所述第三像素相关联的至少一个条目，所述全局运动矢量以及所述第一时间距离与所述第一图片和所述第三图片之间的第二时间距离之间的比率。
6.根据权利要求5所述的图像处理装置，其中所述插值单元(171)还被配置为将所述第一图像数据的第三子集从所述第三图片存储器(151)装载到第三高速缓冲存储器(152)中，并且被配置为将所述第二图像数据的第四子集从所述第四图片存储器(161)装载到第四高速缓冲存储器(16 中，所述高速缓冲存储器(152,16 比所述图片存储器(151，161)具有更快的随机存取时间，其中从所述全局运动矢量导出的地址偏移被应用于所述第三图片存储器和所述第四图片存储器(151，161)之一的读地址，并且所述插值单元(171)被配置为访问所述高速缓冲存储器(152，162)以用于生成所述第三图像数据。
7.根据权利要求5所述的图像处理装置，其中所述第一时间距离比所述第二时间距离大，以使得所述图像处理装置(100)被配置为将描述所述第一时间距离的第一帧率转换成描述所述第二时间距离的更高的第二帧率。
8.根据权利要求1所述的图像处理装置，其中所述全局运动估计器单元(110)包括轮廓生成器单元(112)，所述轮廓生成器单元 (112)被配置为针对所述第一图片数据和所述第二图片数据中的每一个，至少生成用于第一图片片段的第一行轮廓和用于另一图片片段的第二行轮廓，每个行轮廓包括用于沿所述第二轴延伸的图片行的轮廓值，并且所述全局运动估计器单元(110)还被配置为基于所述第一行轮廓和所述第二行轮廓的分别比较来确定所述全局运动矢量。
9.根据权利要求8所述的图像处理装置，其中所述全局运动估计器单元(Iio)还包括轮廓匹配单元(116)，所述轮廓匹配单元(116) 被配置为针对每一对对应的第一行轮廓和第二行轮廓生成描述所述行轮廓之间的第一位移的偏移值，其中，所述第一位移被定义为所述第二行轮廓相对于所述第一行轮廓的位移， 其中所述第二行轮廓的预先定义的中心片段与所述第一行轮廓的任意片段最佳匹配，以及计算器单元(118)，所述计算器单元(118)被配置为基于所述偏移值来确定所述全局运动矢量。
10.根据权利要求8所述的图像处理装置，其中所述计算器单元(118)包括变换滤波器单元(801)，所述变换滤波器单元(801)被配置为从所述偏移值生成滤波后的偏移值，其中离群偏移值相对于非离群偏移值被衰减，并且所述计算器单元(118)被配置为基于所述滤波后的偏移值来确定所述全局运动矢量。
11.根据权利要求9所述的图像处理装置，还包括图像处理单元(100)，所述图像处理单元(100)被配置为将所述第一图像数据的第一子集从第一图片存储器(121，151)装载到第一高速缓冲存储器(132,15 中，并且将所述第二图像数据的第二子集从第二图片存储器(131，161)装载到第二高速缓冲存储器(132， 162)中，所述高速缓冲存储器比所述图片存储器具有更快的随机存取时间，并且所述第一子集和所述第二子集对应于沿着所述第一轴被相互移位了从所述全局运动矢量导出的地址偏移的像素，并且所述图像处理单元(100)被配置为访问所述高速缓冲存储器以用于图像处理，以及偏移变换单元(840)，所述偏移变换单元(840)被配置为基于所述偏移值来从所述全局运动矢量确定所述地址偏移，其中描述所述全局运动矢量和所述地址偏移之间的关系的映射函数(890，891)是单调连续函数。
12.—种操作图像处理装置(100)的方法，所述方法包括在全局运动估计单元中从第一图像数据和第二图像数据确定全局运动矢量，所述第一图像和第二图像数据描述相互具有第一时间距离的被捕获的第一图片和第二图片，所述全局运动矢量描述当相对于第一轴移动的所有图像部分以相同速率移动时以及当所述图像部分相对于所述第一图像和所述第二图像中的不运动图像部分以不同速度移动时，所述所有图像部分的全局位移。
13.根据权利要求12所述的方法，还包括从所述全局运动矢量以及所述第一图像数据和所述第二图像数据确定运动矢量字段， 所述运动矢量字段描述每个图像部分沿着所述第一轴和垂直于所述第一轴的第二轴的局部位移。
14.根据权利要求12所述的方法，其中，确定所述全局运动矢量包括为所述第一图片数据和所述第二图片数据中的每一个，至少生成用于第一图片片段的第一一维轮廓和用于另一图片片段的第二一维轮廓，每个轮廓包括用于沿所述第二轴延伸的图片行或图片列的轮廓值，以及基于所述第一轮廓和所述第二轮廓的分别比较来确定所述全局运动矢量。
15.根据权利要求14所述的方法，其中，确定所述全局运动矢量包括为每一对对应的第一轮廓和第二轮廓生成描述所述轮廓之间的第一位移的偏移值，其中所述第一位移被定义为所述第二轮廓相对于所述第一轮廓的位移，其中所述第二轮廓的预先定义的中心片段与所述第一轮廓的任意片段最佳匹配，以及从所述偏移值生成滤波后的偏移值，其中离群偏移值相对于非离群偏移值被衰减，以及基于所述滤波后的偏移值来确定所述全局运动矢量。
全文摘要
本发明公开了使用运动估计的图像处理方法和图像处理装置。全局运动估计器单元(110)从描述相互具有第一时间距离的被捕获的第一和第二图片的第一和第二图像数据估计全局运动矢量，全局运动矢量描述当相对于第一轴移动的图像部分以相同速率移动时和当图像部分以不同速度移动时，相对于第一轴移动的图像部分的全局位移的符号和大小。全局运动矢量提高对快速运动对象的估计。全局运动矢量估计可以依赖于对多个一维轮廓的评估。
文档编号H04N7/26GK102271253SQ20111015835
公开日2011年12月7日 申请日期2011年6月7日 优先权日2010年6月7日
发明者奥利弗·尔德勒, 沃克尔·弗瑞博格, 艾尔特弗里德·迪尔利, 雅尔辛·英克苏 申请人:索尼公司