专利名称：信息处理设备，信息处理方法，程序和记录介质的制作方法
技术领域：
本公开涉及信息处理设备，信息处理方法，程序和记录介质。特别地，本公开涉及容易并且精确地计算运动向量。
背景技术：
过去，根据通过检测不同时间的图像中的物体的运动向量而获得的运动向量，进行了图像的高效编码期间的运动补偿帧的帧间编码，或者利用时域中的帧间滤波的噪声降低。例如，在日本专利申请公开No. 2007-136184中描述的块匹配被用作获得运动向量的方法。在这种块匹配中，一个屏幕被分成由一些像素构成的多个块。随后利用预定的评价函数，计算评价值。评价值指示分块图像和在不同时间的另一个画面中设定的待检查区·域中的图像之间的相似性。所述不同时间的画面用于检测其中图像已移动的区域。随后，根据计算的评价值，检测运动向量。在这种块匹配中，最好在每个块位置，寻求待检测其运动向量的块，和待检查区域中的各个块之间的相似性。这增大了检测运动向量的计算量。从而，在美国专利No. 5，793，985中，利用具有通过削减每个像素中的比特数而获得的低位深度的低比特图像，检测运动向量。
发明内容
当利用低比特图像检测运动向量时，存在检测运动向量的精度降低的风险，因为比特数的削减会减少图像信息。特别地，当削减的比特数减少图像信息时，图像的平坦部分中的诸如绝对差分和(SAD)之类评价值之间的差异降低。从而，难以稳定地检测精确的运动向量。这导致例如运动向量的分散。鉴于上面所述，在本公开中，理想的是提供一种能够利用简单的结构，更精确地检测运动向量的信息处理设备，信息处理方法，程序和记录介质。按照本公开的一个实施例，提供一种信息处理设备，它包括低比特基准图像生成部分，用于从基准图像生成具有低比特深度的低比特基准图像，低比特参考图像生成部分，用于从参考图像生成具有低比特深度的低比特参考图像，特征值计算部分，用于计算指示基准图像的亮度信息的非平坦度的特征值，成本值计算部分，用于利用与低比特基准图像中的块对应的基准图像中的块的特征值和在低比特基准图像中的块设定的估计的运动向量，计算在低比特基准图像和低比特参考图像之间的块匹配中的各个参考块位置的成本值，和块匹配部分，用于在各个参考块位置，根据在利用计算的成本值校正通过低比特基准图像和低比特参考图像之间的块匹配而获得的评价值之后的评价值，计算运动向量。在本公开中，例如，m比特基准图像的比特数被削减，以生成为η比特、并且具有比m比特的比特深度小的比特深度的低比特基准图像。类似地削减参考图像的比特数，以生成低比特参考图像。随后，利用基准图像，在各个块计算指示亮度信息的非平坦度的特征值。例如，利用按照均值滤波器或带通滤波器滤波的基准图像，计算亮度信息的动态范围或偏差，作为在各个块的特征值。利用特征值和估计的运动向量，计算在低比特基准图像和低比特参考图像之间的块匹配中的各个块位置的成本值。差分函数被用于计算所述成本值。差分函数指示运动向量和估计的向量之间的差分。运动向量表示块匹配中的低比特基准图像和低比特参考图像之间的块的运动。此外，差分的上限被限制为预定值。例如，与基准图像中其运动向量将被计算的当前块相邻的各个块的运动向量，与其中已临时计算各个块的运动向量的基准图像中的当前块相邻各个块的运动向量，通过收集相邻块的运动向量的统计信息而计算的运动向量，和零向量被用作估计的运动向量。此外，利用在各个块位置计算的成本值，校正评价值。所述评价值是通过低比特基准图像和低比特参考图像之间的块匹配获得的。评价值被表示成绝对差分和。根据具有最小的校正评价值并且与当前块的位置对应的参考块位置，计算运动向量。按照本公开的另一个实施例，提供一种信息处理方法，它包括从基准图像生成具有低比特深度的低比特基准图像；从参考图像生成具有低比特深度的低比特参考图像；计算指示基准图像的亮度信息的非平坦度的特征值；利用与低比特基准图像中的块对应的基准图像中的块的特征值和在低比特基准图像中的块设定的估计的运动向量，计算在低比特 基准图像和低比特参考图像之间的块匹配中的各个参考块位置的成本值；和在各个参考块位置，根据在利用计算的成本值校正通过低比特基准图像和低比特参考图像之间的块匹配而获得的评价值之后的评价值，计算运动向量。按照本公开的另一个实施例，提供一种在计算机上计算运动向量的程序，所述程序用于在计算机上，从基准图像生成具有低比特深度的低比特基准图像；从参考图像生成具有低比特深度的低比特参考图像；计算指示基准图像的亮度信息的非平坦度的特征值；利用与低比特基准图像中的块对应的基准图像中的块的特征值，和在低比特基准图像中的块设定的估计运动向量，计算在低比特基准图像和低比特参考图像之间的块匹配中的各个参考块位置的成本值；和在各个参考块位置，根据在利用计算的成本值校正通过低比特基准图像和低比特参考图像之间的块匹配而获得的评价值之后的评价值，计算运动向量。按照本公开的另一个实施例，提供一种保存在计算机上计算运动向量的程序的计算机可读记录介质，所述程序用于在计算机上，从基准图像生成具有低比特深度的低比特基准图像；从参考图像生成具有低比特深度的低比特参考图像；计算指示基准图像的亮度信息的非平坦度的特征值；利用与低比特基准图像中的块对应的基准图像中的块的特征值，和在低比特基准图像中的块设定的估计运动向量，计算在低比特基准图像和低比特参考图像之间的块匹配中的各个参考块位置的成本值；和在各个参考块位置，根据在利用计算的成本值校正通过低比特基准图像和低比特参考图像之间的块匹配而获得的评价值之后的评价值，计算运动向量。注意，可通过诸如光盘、磁盘或半导体存储器之类的计算机可读存储介质，把按照本公开的程序提供给计算机。例如，计算机是能够执行各种程序代码的通用计算机。以计算机可读格式提供这种程序，以致在计算机上实现按照所述程序的处理。按照本公开，在基准图像中的各个块计算指示亮度信息的非平坦度的特征值。利用特征值和估计的运动向量，计算在低比特基准图像和低比特参考图像之间的块匹配中的各个参考块位置的成本值。校正评价值，以根据校正的评价值，在各个参考块计算运动向量。评价值是利用计算的成本值，通过低比特基准图像和低比特参考图像之间的块匹配获得的。如上所述，不仅考虑到通过块匹配获得的评价值，而且考虑到亮度信息的非平坦度，相邻块的估计运动向量等，计算运动向量。因而，与通过其比特数未被削减的基准图像和参考图像之间的块匹配计算的运动向量相比，或者与仅仅根据通过块匹配获得的评价值计算的运动向量相比，能够利用简单的结构，更精确地计算运动向量。
图I是信息处理设备的结构的视图；图2是信息处理设备的操作的流程图；图3是生成I比特图像的低比特基准图像生成部分的结构的视
图4是生成I比特图像的低比特基准图像生成部分的操作的流程图；图5是生成2比特图像的低比特基准图像生成部分的结构的视图；图6是生成2比特图像的低比特基准图像生成部分的操作的流程图；图7是生成η比特图像的低比特基准图像生成部分的结构的视图；图8是生成η比特图像的低比特基准图像生成部分的操作的流程图；图9是比较结果和像素值之间的关系的例证视图；图10是特征值计算的操作的流程图；图11相邻块的计算的运动向量的例证视图；图12是块匹配部分的结构的视图；图13是块匹配部分的操作的流程图；图14是XOR值计算处理的说明图；图15是计算机上的硬件的例证结构的视图。
具体实施例方式下面参考附图，详细说明本公开的优选实施例。注意在说明书和附图中，功能和结构基本相同的构成元件用相同的附图标记表示，这些构成元件的重复说明被省略。下面说明本公开的实施例。按照本公开的信息处理设备削减基准图像和参考图像的比特的数目，从而生成具有低比特深度的低比特基准图像和低比特参考图像。所述比特被分配给像素。之后，信息处理设备计算基准图像的特征值，以利用计算的特征值和估计的运动向量，计算在块匹配的各个参考块位置的成本值。成本值用于校正通过块匹配而获得的评价值，以根据校正的评价值，计算运动向量。注意将按照以下顺序进行说明。I.信息处理设备的结构2.信息处理设备的操作3.低比特图像生成部分的结构和操作4.特征值计算部分的操作5.成本值计算部分的操作6.块匹配部分的结构和操作7.利用程序进行的处理〈I.信息处理设备的结构>
图I是信息处理设备的结构的视图。信息处理设备10包括保存输入图像数据的图像存储器部分21。信息处理设备10还包括削减分配给像素的比特的数目的低比特基准图像生成部分31-c，和低比特参考图像生成部分31-r。信息处理设备10还包括特征值计算部分41、成本值计算部分42和块匹配部分43。注意，信息处理设备10具备利用计算的运动向量，进行运动补偿的运动补偿部分51。图像存储器部分21保存基准图像和参考图像的图像数据。图像存储器部分21把保存的基准图像的图像数据DV-c输出给低比特基准图像生成部分31-c。图像存储器部分21把保存的参考图像的图像数据DV-r输出给低比特参考图像生成部分31-r和运动补偿单元51。低比特基准图像生成部分31-c削减基准图像的图像数据DV-c的比特的数目，从而生成比特深度比基准图像的比特深度低的低比特基准图像的图像数据DV-cb。低比特基准图像生成部分31-c还把生成的低比特基准图像的图像数据DV-cb输出给块匹配部分43。例如，低比特基准图像生成部分31-c削减基准图像的8比特图像数据的比特数，以生成低比特基准图像的I比特图像数据DV-cb，并把图像数据DV-cb输出给块匹配部分43。低比 特基准图像生成部分31-c还把滤波的基准图像的图像数据DV’ -C输出给特征值计算部分41。滤波的图像数据DV’-C已由比特数削减处理生成。低比特参考图像生成部分31-r削减参考图像的图像数据DV_r的比特的数目，从而生成具有比参考图像的比特深度低的比特深度，比如和低比特基准图像的比特深度相同的比特深度的低比特参考图像的图像数据DV-rb。低比特参考图像生成部分31-1■还把生成的低比特参考图像的图像数据DV-rb输出给块匹配部分43。例如，低比特参考图像生成部分31-r削减参考图像的8比特图像数据的比特数，以生成低比特参考图像的I比特图像数据DV-rb，并把图像数据DV-rb输出给块匹配部分43。特征值计算部分41在低比特基准图像中的各个块，利用与该块相关的基准图像的区域中的亮度信息，计算与亮度的非平坦度相应的特征值FD，随后把特征值FD输出给成本值计算部分42。成本值计算部分42在块匹配中的各个参考块位置，利用差分函数和特征值FD，计算成本值Cost。差分函数指示运动向量和估计的运动向量之间的差分。运动向量表示低比特基准图像的块(当前块)和参考图像中的待检查区域的参考块之间的运动(下面称为“检查位置运动向量”)。成本值计算部分42还把在各个参考块位置计算的成本值Cost输出给块匹配部分43。块匹配部分43利用从低比特基准图像生成部分31-c输出的低比特基准图像的图像数据DV-cb，和从低比特参考图像生成部分31-r输出的低比特参考图像的图像数据DV-rb,进行块匹配。块匹配部分43还在各个参考块位置，利用成本值校正评价值，随后计算具有最小的校正评价值的块位置的运动向量MV。评价值已通过块匹配获得。块匹配部分43随后把计算的运动向量MV输出给运动补偿部分51。运动补偿部分51按照和以前的信息处理设备相同的方式，根据在块匹配部分43中计算的运动向量MV，补偿参考图像中的运动，随后输出运动补偿图像的图像数据DV-mc。<2.信息处理设备的操作>图12是信息处理设备的操作的流程图。在步骤ST1，低比特基准图像生成部分31-c和低比特参考图像生成部分31-r生成低比特图像。低比特基准图像生成部分31-c削减基准图像的图像数据DV-c的比特数，从而生成低比特基准图像的图像数据DV-cb。低比特参考图像生成部分31-r削减参考图像的图像数据DV-r的比特数，从而生成低比特参考图像的图像数据DV-rb。如上所述，低比特基准图像生成部分31-c和低比特参考图像生成部分31-r生成低比特图像，随后处理进入步骤ST2。在步骤ST2,特征值计算部分41计算特征值。特征值计算部分41在低比特基准图像的各个块，计算与亮度信息相应的特征值，随后处理进入步骤ST3。在步骤ST3，成本值计算部分42计算成本值。成本值计算部分42在块匹配中的各个参考块位置，利用差分函数和计算的特征值，计算成本值。差分函数指示检查位置运动向量和估计的运动向量之间的差分。检查位置运动向量表示低比特基准图像的块和参考块之间的运动。处理随后进入步骤ST4。在步骤ST4，块匹配部分43进行块匹配。块匹配部分43以块为单位，利用低比特基准图像的图像数据DV-cb和低比特参考图像的图像数据DV-rb，进行块匹配，随后计算在各个参考块位置的评价值。块匹配部分43还利用计算的成本值，校正在各个参考块位置的 评价值。块匹配部分43还得出基准图像的当前块和参考图像的参考块位置之间的运动向量MV，随后处理进入步骤ST5。当前块和参考块位置之间的校正评价值最小。在步骤ST5，运动补偿部分51生成运动补偿图像。运动补偿部分51按照在步骤ST4中计算的运动向量MV，补偿参考图像中的运动，从而生成运动补偿图像的图像数据DV-mc ο随后终止处理。<3.低比特图像生成部分的结构和操作〉下面说明低比特图像的生成。低比特基准图像生成部分31-c对基准图像滤波，并在各个像素比较滤波前的图像数据和滤波后的图像数据，以按照比较结果，生成低比特基准图像的图像数据DV-cb。类似地，低比特参考图像生成部分31-1■对参考图像滤波，并在各个像素比较滤波前的图像数据和滤波后的图像数据，以按照比较结果，生成低比特参考图像的图像数据DV-rb。图3是生成I比特图像的低比特基准图像生成部分31-c的结构的视图。注意不但包括低比特基准图像生成部分31-c，而且包括低比特参考图像生成部分31-r，以按照和低比特基准图像生成部分31-c相同的方式处理参考图像。低比特基准图像生成部分31-c包括滤波部分311和图像比较部分312。滤波部分311对基准图像的图像数据DV-c滤波。滤波部分311利用例如均值滤波器、带通滤波器或准均值滤波器，对基准图像的图像数据DV-c滤波。当利用均值滤波器时，滤波部分311通过求解表达式(I)，计算像素数据I’(x，y)。像素数据I’ (X, y)是像素位置(X，y)的滤波后数据。注意，I(i，j)表示基准图像的像素数据，N表示像素的数目。
N N XH--y H--r(x,y) = -J-T Σ S1(Lj) · · · (1)
M ' . N . N
1 = χ- 2 J 2当利用带通滤波器时，滤波部分311通过求解表达式(2)，计算像素数据I’(X，y)。像素数据I’ (x, y)是像素位置(x，y)的滤波后数据。注意，表达式(2)中的“K”表示用于确定滤波器性质的系数，例如，包括表达式(3)中所示的值。
权利要求
1.一种信息处理设备,包括 低比特基准图像生成部分，用于从基准图像生成具有低比特深度的低比特基准图像； 低比特参考图像生成部分，用于从参考图像生成具有低比特深度的低比特参考图像； 特征值计算部分，用于计算指示基准图像的亮度信息的非平坦度的特征值； 成本值计算部分，用于利用与低比特基准图像中的块对应的基准图像中的块的特征值和在低比特基准图像中的块设定的估计的运动向量，计算在低比特基准图像和低比特参考图像之间的块匹配中的各个参考块位置的成本值；和 块匹配部分，用于在各个参考块位置，根据在利用计算的成本值校正通过低比特基准图像和低比特参考图像之间的块匹配而获得的评价值之后的评价值，计算运动向量。
2.按照权利要求I所述的信息处理设备，其中成本值计算部分利用与要进行块匹配的低比特基准图像中的块相邻的块的运动向量，作为估计的运动向量。
3.按照权利要求2所述的信息处理设备， 其中块匹配部分根据通过块匹配获得的评价值，在低比特基准图像中的各个块临时计算运动向量， 成本值计算部分利用相邻块的临时计算的运动向量，作为估计的运动向量。
4.按照权利要求2所述的信息处理设备，其中成本值计算部分利用通过收集相邻块的临时计算的运动向量的统计信息而计算的运动向量，作为估计的运动向量。
5.按照权利要求2所述的信息处理设备，其中成本值计算部分利用零向量作为估计的运动向量。
6.按照权利要求2所述的信息处理设备，其中成本值计算部分利用差分函数计算成本值，所述差分函数指示估计的运动向量与低比特基准图像的块和参考块之间的运动向量之间的差分。
7.按照权利要求6所述的信息处理设备，其中成本值计算部分把差分的上限限制为预定值。
8.按照权利要求I所述的信息处理设备，其中特征值计算部分计算基准图像中与低比特基准图像中的块对应的区域的亮度信息的动态范围或偏差，作为特征值。
9.按照权利要求I所述的信息处理设备，其中特征值计算部分利用已被滤波的基准图像，计算特征值。
10.一种信息处理方法,包括 从基准图像生成具有低比特深度的低比特基准图像； 从参考图像生成具有低比特深度的低比特参考图像； 计算指示基准图像的亮度信息的非平坦度的特征值； 利用与低比特基准图像中的块对应的基准图像中的块的特征值和在低比特基准图像中的块设定的估计的运动向量，计算在低比特基准图像和低比特参考图像之间的块匹配中的各个参考块位置的成本值；和 在各个参考块位置，根据在利用计算的成本值校正通过低比特基准图像和低比特参考图像之间的块匹配而获得的评价值之后的评价值，计算运动向量。
11.一种使计算机计算运动向量的程序，所述程序使计算机执行 从基准图像生成具有低比特深度的低比特基准图像；从参考图像生成具有低比特深度的低比特参考图像； 计算指示基准图像的亮度信息的非平坦度的特征值； 利用与低比特基准图像中的块对应的基准图像中的块的特征值和在低比特基准图像中的块设定的估计的运动向量，计算在低比特基准图像和低比特参考图像之间的块匹配中的各个参考块位置的成本值；和 在各个参考块位置，根据在利用计算的成本值校正通过低比特基准图像和低比特参考图像之间的块匹配而获得的评价值之后的评价值，计算运动向量。
12.—种保存使计算机计算运动向量的程序的计算机可读记录介质,所述程序使计算机执行 从基准图像生成具有低比特深度的低比特基准图像； 从参考图像生成具有低比特深度的低比特参考图像；计算指示基准图像的亮度信息的非平坦度的特征值； 利用与低比特基准图像中的块对应的基准图像中的块的特征值和在低比特基准图像中的块设定的估计的运动向量，计算在低比特基准图像和低比特参考图像之间的块匹配中的各个参考块位置的成本值；和 在各个参考块位置，根据在利用计算的成本值校正通过低比特基准图像和低比特参考图像之间的块匹配而获得的评价值之后的评价值，计算运动向量。
全文摘要
本公开涉及信息处理设备，信息处理方法，程序和记录介质。所述信息处理设备包括低比特基准图像生成部分，用于生成具有低比特深度的低比特基准图像，低比特参考图像生成部分，用于生成具有低比特深度的低比特参考图像，特征值计算部分，用于计算指示基准图像的亮度信息的非平坦度的特征值，成本值计算部分，用于利用特征值和估计的运动向量，计算在低比特基准图像和低比特参考图像之间的块匹配中的各个参考块位置的成本值，和块匹配部分，用于在各个参考块位置，根据在利用计算的成本值校正通过低比特基准图像和低比特参考图像之间的块匹配而获得的评价值之后的评价值，计算运动向量。
文档编号H04N7/26GK102843557SQ20121019436
公开日2012年12月26日 申请日期2012年6月13日 优先权日2011年6月21日
发明者罗俊, 名云武文 申请人:索尼公司