专利名称：用于变换扫描格式的装置和方法
技术领域：
本发明涉及一种用于变换扫描格式的自适应装置和方法，特别涉及一种通过根据运动补偿和时空时间分割(TEMPORAL-SPATIAL TIME DIVISION)自适应地选择插值而变换扫描格式的改进自适应装置和方法。
背景技术：
近年来多媒体信息的数字化获得了快速发展。因此，图像信号的压缩技术引起了多媒体行业的广泛关注。压缩编码和解码使采用低速率信道，传输图像信号成为可能，并降低对存储图像信号的存储器容量的要求。因此，压缩编码和解码成为多媒体行业中非常重要的技术，因为该行业需要诸如存储和传输图像信号的应用。
由于自相关，大多数图像信号具有冗余，这种冗余分为二维空间上的时间冗余和空间冗余。可以根据以块为单位的运动估计和运动补偿来减小时间冗余，根据离散余弦变换(DCT)来减小空间冗余。通过减小这类冗余，运动图像专家组(MPEG)可以改善随时间变化的视频帧/半帧的数据压缩效果。
为此，需要在连续输入的参考帧/半帧和当前帧/半帧之间搜索最相似的块，这称为运动估计。此外，块运动过程中的位置变化称为运动矢量。
通常，使用块匹配算法(BMA)来估计运动矢量。BMA比较两幅连续图像，比如以主块为单位的参考帧/半帧和当前帧/半帧，并基于信号类型匹配来估计图像的运动。根据BMA，通过参考参考帧/半帧和当前帧/半帧来估计运动矢量，并用所估计的运动矢量执行运动补偿预测。
图1是说明用于变换扫描格式的传统装置100的总体结构的方框图。图2是说明在图1所示的传统装置100中进行的图像分割的示意图。
根据图1，变换扫描格式的传统装置100包括图像分割单元110、运动估计单元120、运动矢量改进单元130以及运动补偿插值(MCI)单元140。
所述图像分割单元110将外部输入信号分割成更改/未更改区域。此外，如图2所示，所述图像分割单元110又将未更改区域分割成覆盖/未覆盖区域、背景和运动对象。图2中，“帧t”表示当前帧，“帧(t-1)”表示前一帧，“帧(t+1)”则表示后一帧。因此，用于变换扫描格式的所述装置100可以对每个区域施加正确的运动补偿插值。
图3是说明图1中所示传统装置100的运动估计单元120的基本结构的方框图。
如图3所示，所述运动估计单元120包括参考帧/半帧存储单元122、当前帧/半帧存储单元124和全局搜索运动估计单元126。所述运动估计单元120以像素或块为单位对运动进行估计。
所述参考帧/半帧存储单元122和当前帧/半帧存储单元124分别存储参考帧/半帧和当前帧/半帧的像素数据。所述参考帧/半帧和当前帧/半帧的像素数据用来估计运动矢量。所述全局搜索运动估计单元126通过使用存储在所述参考帧/半帧存储单元122和当前帧/半帧存储单元124中的帧/半帧以全局搜索方法估计运动矢量。
所述全局搜索方法确定搜索范围，并考虑位于该搜索范围最大位移内的所有块。这意味着，所述全局搜索方法选择上述块中具有最小匹配误差的块的位置作为运动矢量。在所述全局搜索方法中，对上述搜索范围内的参考帧/半帧和当前帧/半帧中的所有块进行模式匹配。只要该块的实际运动不超出所述搜索范围，所述全局搜索方法就能高精度地搜索出所述运动矢量。
但是，如果没有用全局搜索方法搜索出适合的运动矢量，那么与没有使用运动矢量的方法相比，前者将降低视觉效果。在这种情况下，所述运动矢量改进单元130必须根据BMA对在所述运动估计单元120中获得的不适合的运动矢量进行改进。由此可以改善运动估计单元120中获得的不适合的运动矢量。
所述MCI单元140搜索需要插值的前一帧图像和后一帧图像的前向运动矢量，并对该图像进行运动估计和插值。在这里，所述MCI单元140使用了以块为单位的简单MCI法和线性插值法。在所述简单MCI法中，在一局部区域内对运动进行搜索。搜索后的运动用于所述线性插值方法，从而简化了运动补偿的计算。
另外，所述MCI单元140通过使用相应于由所述图像分割单元110分割的区域的估计运动矢量来表达要插值的图像。这意味着，根据所述简单MCI法，图像的运动补偿和插值使用相邻图像，比如前一帧和后一帧的运动信息。由此扫描格式得到了变换。
但是，如果增加块大小，则使用全局搜索方法的运动估计将无法估计出反映真实运动的平滑运动矢量。上述问题可以采用预测运动估计方法加以解决。然而在所述预测运动估计方法中，不适合的运动矢量被用作候选运动矢量，因此可能无法搜索到精确的运动矢量。其结果是，虽然进行了运动补偿预测，与没有使用运动信息的方法相比，可能还是会降低视觉效果。此外，仅通过采用运动矢量的运动补偿来变换扫描格式，因此很难进行平稳而精确的运动估计。
发明内容
因此，本发明的目的是提供一种用于变换扫描格式的装置和方法，所述装置和方法可以根据运动矢量、运动类型以及运动估计的精确性，自适应地选择宏块的扫描格式变换方法。
本发明的其它目标和优点将在以下的描述或发明实施方式中进行说明。
为了实现本发明的一个方面，用于变换扫描格式的装置包括运动估计单元、运动分析单元、运动估计类型分析单元、运动补偿单元、时空插值单元以及格式变换单元。所述运动估计单元通过选择由全局搜索确定的第一运动矢量或由候选运动矢量组预测的第二运动矢量，从而估计出插值块的最终运动矢量，并确定该最终运动矢量的第一运动估计类型。所述运动分析单元通过分析上述最终运动矢量确定全局运动是否存在，并向外提供有关全局运动是否存在的信息。所述运动估计类型分析单元确定位于插值块周围相邻(外围)块的第二运动估计类型，并基于所述第一运动估计类型、所述第二运动估计类型以及有关全局运动是否存在的信息，确定第三运动估计类型。所述运动补偿单元用所述最终运动矢量，从参考帧和/或半帧中生成用于插值帧和/或半帧的第一像素。所述时空插值单元从当前帧和/或半帧、所述参考帧和/或半帧以及通过由全局搜索获得的像素(单个或多个)中生成用于插值帧和/或半帧的第二像素。所述格式变换单元通过基于至少第三运动估计类型和有关全局运动是否存在的信息之一，自适应地选择所述第一像素或第二像素，从而对扫描格式进行变换。
所述运动估计单元包括全局搜索运动估计单元、预测运动估计单元以及运动矢量选择单元。所述全局搜索运动估计单元基于连续输入的当前帧/半帧和参考帧/半帧，从预先确定的搜索范围内所有块的运动矢量中估计出所述第一运动矢量。所述预测运动估计单元从估计候选运动矢量组的块的外围块中估计出所述第二运动矢量。所述运动矢量选择单元接收所述第一和第二运动矢量，将所述第一和第二运动矢量与预先所存储的第一阈值进行比较，并选择位置误差较小的运动矢量作为最终运动矢量。
所述运动估计单元包括候选矢量组生成单元，用以生成所述候选运动矢量组，并向所述预测运动估计单元提供该候选运动矢量组。
所述外部运动矢量是全局运动矢量、由用户定义的局部运动矢量以及零运动矢量的其中之一。
所述运动矢量选择单元包括运动矢量输出单元、第一阈值存储单元以及第一阈值选择单元。所述运动矢量输出单元选择第一或第二运动矢量作为所述最终运动矢量，确定该最终运动矢量的第一运动估计类型，并输出该最终运动矢量和第一运动估计类型。所述第一阈值存储单元存储第一阈值。所述第一阈值选择单元将输出到所述运动矢量输出单元的第一和第二运动矢量与存储在所述第一阈值存储单元的第一阈值进行比较，并控制所述运动矢量输出单元的选择，从而将位置误差较小的运动矢量作为最终运动矢量。
在由所述候选矢量组提供单元提供的候选运动矢量组运动矢量的比较过程中，所述运动矢量输出单元采用了不同的阈值。
所述运动分析单元包括直方图计算单元、运动分析单元以及运动类型提供单元。所述直方图计算单元将插值帧和/或半帧的每个块的最终运动矢量集中起来，并计算这些最终运动矢量的直方图数据。所述运动分析单元将该直方图数据与预先所存储的第二阈值进行比较，以此确定全局运动是否存在，并将与全局运动相应的运动矢量确定为全局运动矢量。所述运动类型提供单元将该全局运动矢量与所述最终运动矢量进行比较，以此确定该最终运动矢量是否为全局运动的一部分。
如果上述直方图数据的峰值大于所述第二阈值，所述运动分析单元将确定全局运动是存在的。
如果所述运动类型提供单元确定最终运动矢量是全局运动的一部分，则扫描格式变换单元通过使用所述运动补偿单元生成的第一像素对扫描格式进行变换。
所述运动估计类型分析单元包括第一运动估计类型存储单元、第二运动估计类型存储单元以及运动估计类型判断单元。所述第一运动估计类型存储单元存储从运动矢量确定的最终运动矢量的第一运动估计类型。所述第二运动估计类型存储单元存储位于插值块周围的相邻块的第二运动估计类型。所述运动估计类型判断单元根据第一和第二运动估计类型以及从所述运动分析单元输入的有关全局运动是否存在的信息确定第三运动估计类型。
如果根据有关全局运动是否存在的信息确定了全局运动存在，则运动估计类型判断单元确定第三运动估计类型为第一运动估计类型。
所述格式变换单元包括扫描格式变换单元和第二阈值选择单元。所述扫描格式变换单元选择第一或第二像素，并用所选择的像素以及当前帧和/或半帧的像素对扫描格式进行变换。所述第二阈值选择单元当从所述运动矢量估计单元输入的最终运动矢量的SAD小于预先所存储的第三阈值时控制所述扫描格式变换单元选择第一像素。
所述格式变换单元还包括第三阈值存储单元。如果根据全局运动是否存在的信息确定了存在全局运动，且上述第二阈值选择单元根据全局运动矢量选择了不同的第三阈值，其中所述全局运动矢量是运动为全局运动、运动类型为第三运动估计类型的运动矢量，并且将所选择的不同的第三阈值与最终运动矢量的SAD进行了比较，则所述第三阈值存储单元将存储该第三阈值。
所述装置还包括帧半帧存储单元，用以存储参考帧和/或半帧的像素以及当前帧和/或半帧的像素。
在本发明的另一个方面，一种变换扫描格式的方法，包括通过选择由全局搜索所确定的第一运动矢量或由候选运动矢量组预测的第二运动矢量，以此估计插值块的最终运动矢量；确定该最终运动矢量的第一运动估计类型；通过分析该最终运动矢量确定全局运动是否存在；向外提供有关该全局运动是否存在的信息；确定位于插值块周围相邻(外围)块的第二运动估计类型；基于所述第一运动估计类型、所述第二运动估计类型以及有关全局运动是否存在的信息，确定第三运动估计类型；通过使用所述最终运动矢量从参考帧和/或半帧中生成用于插值帧和/或半帧的第一像素；从当前帧和/或半帧、所述参考帧和/或半帧以及由全局搜索获得的像素(单个或多个)中生成用于插值帧和/或半帧的第二像素；并且通过基于至少所述第三运动估计类型和有关全局运动是否存在的信息之一，自适应地选择所述第一或第二像素对扫描格式进行变换。
所述估计和确定操作包括执行全局搜索估计操作、预测运动估计操作以及运动矢量选择操作。所述全局搜索估计操作基于连续输入的当前帧/半帧以及参考帧/半帧，从预先确定的搜索范围内所有块的运动矢量中估计所述第一运动矢量。所述预测运动估计操作从估计所述候选运动矢量组的块周围相邻的块中估计所述第二运动矢量。所述运动矢量选择操作接收上述第一和第二运动矢量，将该第一和第二运动矢量与预先所存储的第一阈值进行比较，并选择位置误差较小的运动矢量作为最终运动矢量。
通过使用所述所有块的像素差累加值计算全局搜索估计操作中所估计的第一运动矢量的精度。
所述候选矢量组生成操作包括存储所述最终运动矢量；向所述预测运动估计操作提供包括最终运动矢量以及一个外部运动矢量在内的所述候选运动矢量组，其中的最终运动矢量由运动矢量存储单元输入。
所述运动矢量选择操作包括将所述第一和第二运动矢量与预先所存储的第一阈值进行比较；选择上述比较操作中生成的具有较小位置误差的运动矢量作为最终运动矢量；确定该最终运动矢量的第一运动估计类型；输出该最终运动矢量和第一运动估计类型。
上述比较操作根据所述候选矢量组提供操作所提供的候选运动矢量组来采用不同的第一阈值。
所述全局运动确定操作包括直方图计算操作、运动分析操作以及运动类型提供操作。所述直方图计算操作将插值帧和/或半帧的每个块的最终运动矢量集中起来，并计算这些最终运动矢量的直方图数据。所述运动分析操作将该直方图数据与预先所存储的第二阈值进行比较，以此确定全局运动是否存在，并将与全局运动相应的运动矢量确定为全局运动矢量。所述运动类型提供操作将该全局运动矢量与上述最终运动矢量进行比较，以此确定该最终运动矢量是否是全局运动的一部分，并提供有关该全局运动是否存在的信息。
所述方法还包括在所述运动分析操作之前，根据上述最终运动矢量选择不同的第二阈值；以及如果上述直方图数据的峰值大于所述第二阈值，则所述运动分析操作将确定全局运动是存在的。
所述运动估计类型确定操作包括存储根据最终运动矢量所判断的第一运动估计类型和位于插值块周围相邻块的第二运动估计类型，以及根据该第一、第二运动估计类型以及有关全局运动是否存在的信息，确定第三运动估计类型。
如果根据有关全局运动是否存在的信息确定了存在全局运动存在，则所述第三运动估计类型的确定操作将第一运动估计类型确定为第三运动估计类型。
所述扫描格式变换操作包括接收估计判断操作中所估计的所述最终运动矢量，并将该最终运动矢量的SAD与预先所存储的第三阈值进行比较；选择所述第一或第二像素，并用所选择的像素和当前帧和/或半帧的像素对扫描格式进行变换；如果最终运动矢量的SAD小于预先所存储的第三阈值，上述比较操作将确保所述第一像素被选中。
如果在该比较操作之前确定了存在全局运动，则根据全局运动矢量采用不同的第三阈值，其中全局运动矢量是运动为全局运动、运动类型为第三运动估计类型的运动矢量。
根据本发明，当从隔行扫描转换到逐行扫描时，或反之亦然，所述用于运动估计和模式确定的装置和方法可以防止降低再压缩性能，并提高再编码率。此外，通过从解码后的运动矢量中生成所述候选矢量组来估计反隔行扫描图像的运动，将导致计算量的减少。还可以执行编码转换来支持18 ATSC DTV格式。
通过结合附图对本发明的优选实施例进行详细描述，本发明的上述和其它目的、特性和优点将会变得更加清楚，其中图1是说明用于变换扫描格式的传统装置的总体结构的方框图；图2是说明在图1所示的传统装置中进行的图像分割的示意图；图3是说明图1中所示传统装置的运动估计单元的基本结构的方框图；图4是说明根据本发明的一个具体实施例的用于变换扫描格式的装置的总体结构的方框图；图5是说明图4中所示装置的帧半帧存储单元的详细结构的方框图；图6A是说明图4中所示装置的运动估计单元的详细结构的方框图；图6B是说明候选运动矢量块及其外围块的方框图；图7是说明图4中所示装置的运动分析单元的详细结构的方框图；图8是说明图4中所示装置的运动估计类型分析单元的详细结构的方框图；图9是说明图4中所示装置的格式变换单元的详细结构的方框图；图10是说明在图4中所示的装置中变换扫描格式的方法的流程图；图11是图10所示变换扫描格式方法中操作S1200的详细流程图；图12是图10所示变换扫描格式方法中操作S1300的详细流程图；图13是图10所示变换扫描格式方法中操作S1400的详细流程图；图14是图10所示变换扫描格式方法中操作S1700的详细流程图；图15是详细说明图4中所示的扫描格式变换装置的方框图。
具体实施例方式
下面将结合
本发明的实施例。在以下说明中，即使在不同的附图中也采用了相同的附图参考数字。说明中所定义的诸如详细结构和电路元件等内容，只提供来帮助全面理解本发明。因此很明显，即使没有这些内容，也可以实施本发明。同样，由于已公知的功能或结构可能会使本发明淹没在不必要的细节中，因此没有对其详细说明。
图4是说明根据本发明的一个实施例的一种用于变换扫描格式的装置400的总体结构的方框图。
根据图4，用于变换扫描格式的装置400包括帧半帧存储单元500、运动估计单元600、运动分析单元700、运动估计类型分析单元800、运动补偿单元900、时空插值单元1000以及格式变换单元1100。
如图5所示，帧半帧存储单元500包括第一存储单元510和第二存储单元520。所述第一存储单元510和第二存储单元520分别存储一个参考帧/半帧和一个当前帧/半帧。所存储的参考帧/半帧和当前帧/半帧用于运动矢量估计、运动补偿以及时空插值。
图6A是说明用于变换扫描格式的装置400中运动估计单元600的详细结构的方框图。
如图6A所示，所述运动估计单元600包括全局搜索运动估计单元610、预测运动估计单元620、候选矢量组生成单元630以及运动矢量选择单元640。所述运动估计单元600选择通过一次全局搜索所确定的第一运动矢量MV1或由候选运动矢量组所预测的第二运动矢量MV2，并估计插值块的最终运动矢量MV。此外，所述运动估计单元600还确定该最终运动矢量MV的第一运动估计类型。
所述全局搜索运动估计单元610根据全局搜索运动估计法估计第一运动矢最MV1。这意味着，所述全局搜索运动估计单元610基于分别从第一存储单元510和第二存储单元520输入的参考帧/半帧和当前帧/半帧，从预先确定的搜索范围内所有块中估计第一运动矢量MV1。第一运动矢量MV1是位于所述搜索范围最大位移内的块中具有最小匹配误差的块的运动矢量。
为了根据上述全局搜索运动估计法获得第一运动矢量MV1，首先要确定搜索范围。如果假定估计当前帧/半帧fn中具有“N×N”大小的参考块的运动在参考帧/半帧f’的像素“±p”范围内，则所述参考帧/半帧的运动估计范围大小是“(N+2P)×(N+2P)”。在所述全局搜索运动估计法中，对代替第一运动矢量MV1的(2p+1)2个位置计算相关系数，并将具有最大相关性的位置确定为第一运动矢量MV1。
可以采用比如均方误差(MSE)、平均绝对误差(MAE)或平均绝对差(MAD)的评价函数来估计具有最大相关性的第一运动矢量MV1。<公式1>MSE(i,j)=1MNΣm=0MΣn=0N[St,k(m,n)-St-1,k(m+1,n+j)]2]]><公式2>MAE(i,j)=1MNΣm=0MΣn=0N|St,k(m,n)-St-1,k(m+i,n+j)|]]>在公式1和2中，St，k表示第t帧/半帧的第k个宏块，St-1，k表示第(t-1)帧/半帧的第k个宏块。这类评价函数建立在像素差的基础上，以便选择具有最小MAD或MSE值的运动矢量作为第一运动矢量MV1。
同时，所述运动估计单元600根据预测运动估计法估计第二运动矢量MV2。该预测运动估计法在预测运动估计单元620中执行。所述预测运动估计单元620从估计由候选矢量组生成单元630提供的候选运动矢量组的块周围的相邻(外围)块中估计所述矢量MV2，该候选运动矢量组包括至少一个候选运动矢量。
所述候选矢量组生成单元630包括运动矢量存储单元632和候选矢量组提供单元634。候选运动矢量生成单元630生成候选运动矢量组MV组，并向所述预测运动估计单元620提供该候选运动矢量组MV组。所述运动矢量存储单元632存储至少一个最终运动矢量MV。
所述候选矢量组提供单元634用至少一个存储在所述运动矢量存储单元632中的最终运动矢量MV和至少一个由所述运动分析单元730提供的外部运动矢量MV外生成所述候选运动矢量组MV组。该外部运动矢量MV外是全局运动矢量MVG、由用户定义的局部运动矢量MVL以及零运动矢量MVZ的其中之一。所述侯选运动矢量组MV组包括至少一个侯选运动矢量。所生成的候选运动矢量组MV组被提供给预测运动估计单元620。
所述预测运动估计单元620从6B中所示的一个候选运动矢量块以及图其相邻(外围)块中估计第二运动矢量MV2。如图6B所示，该候选运动矢量块是有阴影的部分，其相邻(外围)块是没有阴影的部分。此外，该候选运动矢量块的运动矢量用“V0”表示，其外围块的运动矢量用Vi(i＝1，...，8)表示。预测运动估计单元620将这些外围块的运动矢量中具有最小绝对差之和(SAD)的块的运动矢量估计为第二运动矢量。
所述运动矢量选择单元640包括第一阈值存储单元642、第一阈值选择单元644以及运动矢量输出单元646。第一阈值存储单元642存储多个与预先确定的运动矢量相应的第一阈值。第一阈值选择单元644根据所述运动矢量组选择MV组从第一阈值存储单元642中选择一个合适的第一阈值。此外，第一阈值选择单元644将输入到运动矢量输出单元646的第一运动矢量MV1和第二运动矢量MV2与所选择的合适的第一阈值进行比较，并控制运动矢量输出单元646选择所述最终运动矢量MV，从而将位置误差较小的运动矢量确定为最终运动矢量MV。
所述运动矢量输出单元646从分别由全局搜索运动估计单元610和预测运动估计单元620输入的第一运动矢量MV1和第二运动矢量MV2选择最终运动矢量MV。另外，所述运动矢量输出单元646在所述第一阈值选择单元644的控制下确定所述最终运动矢量MV的第一运动估计类型MET。运动估计类型MET1表示估计最终运动矢量MV的方法或过程。
例如，如果从所述预测运动估计单元620输入的第二运动矢量MV2的SAD大于由候选运动矢量组MV组选择的第一阈值，则运动矢量输出单元646选择第一运动矢量MV1作为最终运动矢量MV。因此，最终运动矢量MV的第一运动估计类型MET1被视为是全局搜索估计类型。
与此相反，如果第二运动矢量MV2的SAD小于所选择的第一阈值，则运动矢量输出单元646选择第二运动矢量MV2作为最终运动矢量MV。因此，该最终运动矢量MV的第一运动估计类型MET1被视为是预测运动估计类型。另一方面，如果第二运动矢量MV2的SAD等于所选择的阈值，则可以使用第一运动矢量MV1和第二运动矢量MV2的任何一个。最终运动矢量MV输出到运动矢量存储单元632，第一运动估计类型MET1输出到第一运动估计类型存储单元810。
图7是说明图4所示装置400中运动分析单元700的详细结构的方框图。
如图7所示，所述运动分析单元700包括直方图计算单元710、第二阈值存储单元720、运动分析单元730以及运动类型提供单元740。运动分析单元700通过分析从所述运动矢量输出单元646输出的最终运动矢量MV，以确定运动类型MT，即全局运动是否存在。
为此，直方图计算单元710将输入的半帧图像分割成“8×8”大小的块。然后，所述直方图计算单元710将与各块相应的最终运动矢量MV集中起来，并计算这些最终运动矢量MV的直方图数据。直方图计算单元710将该直方图数据输出到运动分析单元730。
第二阈值存储单元720存储多个根据预先确定的运动矢量定义的第二阈值。运动分析单元730确定全局运动是否存在，并计算全局运动矢量MVG。运动分析单元730从第二阈值存储单元720中取出与最终运动矢量MV相应的第二阈值。然后将所述直方图数据的峰值与该第二阈值进行比较，并确定运动类型MT。该运动类型MT分为全局运动、局部运动和零运动。
如果水平直方图和垂直直方图分别是hx和hy，则可以根据公式3估计和确定全局运动是否存在。
<公式3> 其中Ix和Iy由下面公式4定义。<公式4> 公式4中，[-sr，sr]表示搜索范围，“εp”表示第二阈值。全局运动矢量vg＝(vgx，vgy)T由公式5表示<公式5>vg=(vxg,vyg)T=(argk∈[-sr,sr]maxhx(k),argk∈[-sr,sr]maxhy(k))1]]>根据公式3至公式5，运动分析单元730确定是否存在全局运动，并用所输入的直方图数据计算全局运动矢量MVG。如果该直方图数据的峰值大于第二阈值，则运动分析单元730确定全局运动存在于包括每个块最终运动矢量MV的半帧图像中，并将与全局运动相应的运动矢量确定为全局运动矢量MVG。由于所述峰值大于第二阈值意味着很多块的运动相同，因此可以确定全局运动是存在的。
此外，如果没有运动或仅轻微运动，则所述运动分析单元730确定存在零运动，并将与零运动相应的运动矢量确定为零运动矢量MVZ。如果运动是由用户定义的，则运动分析单元730判断存在局部运动，并将与局部运动相应的运动矢量确定为局部运动矢量MVL。
在运动分析单元730中作为全局运动矢量MVG、零运动矢量MVZ和局部运动矢量MVL的其中之一确定的运动矢量输出到候选矢量组提供单元632和运动类型提供单元740。其中输出到候选矢量组提供单元632的运动矢量是外部运动矢量MV外。
为此，运动类型提供单元740从运动矢量输出单元646接收最终运动矢量MV，从运动分析单元730接收全局运动矢量MVG。运动类型提供单元740通过将最终运动矢量MV与全局运动矢量MVG进行比较，以此确定最终运动矢量MV是否为全局运动的一部分。然后，该运动类型提供单元740向运动估计类型判断单元830和第二阈值选择单元1120提供有关全局运动是否存在的信息MGI。
图8是说明图4所示装置400中运动估计类型分析单元800的详细结构的方框图。
如图8所示，所述运动估计类型分析单元800包括第一运动估计类型存储单元810、第二估计类型存储单元820以及运动估计类型判断单元830。运动估计类型分析单元800通过分析第一运动估计类型MET1、相邻块的第二运动估计类型MET2以及有关全局运动是否存在的信息GMI，从而确定第三运动估计类型MET3。
第一运动估计类型存储单元810存储从运动矢量输出单元646输入的最终运动矢量的第一运动估计类型MET1。第二运动估计类型存储单元820存储第二运动估计类型MET2。该第二运动估计类型MET2是位于插值块周围相邻块的一个运动矢量MV邻的运动估计类型。
所述运动估计类型判断单元830用从第一运动估计类型存储单元810输入的第一运动估计类型MET1、从第二运动估计类型存储单元820输入的第二运动估计类型MET2以及从运动类型确定单元740输入的有关全局运动是否存在的信息GMI，确定第三运动估计类型MET3。如果根据有关全局运动是否存在的信息GMI确定了全局运动GMI存在，则运动估计类型判断单元830确定第三运动估计类型MET3就是第一运动估计类型MET1。
与此相反，如果根据有关全局运动是否存在的信息GMI确定了全局运动不存在，则运动估计类型判断单元830基于位于输入块周围相邻块(如果是“3×3＝9”个块，则相邻块为8个)的运动估计类型MET确定第三运动估计类型MET3。这意味着，运动估计类型判断单元830将相邻块的运动矢量MV邻的运动估计类型MET之一确定为第三运动估计类型MET3。该运动估计类型MET之一具有相应于第二运动估计类型MET2的最大值。
运动补偿单元900用最终运动矢量MV和存储在第一存储单元510中的参考帧和/或半帧参考像素生成用于插值帧和/或半帧的第一像素像素1。另一方面，时空插值单元1000用存储在第一存储单元510中的参考帧和/或半帧参考像素、存储在第二存储单元520中的当前帧和/或半帧当前像素以及由全局搜索运动估计单元610获得的像素(单个或多个)全局像素，生成用于插值帧和/或半帧的第二像素像素2。
图9是说明图4所示装置400中格式变换单元1100的详细结构的方框图。
如图9所示，所述格式变换单元1100包括第三阈值存储单元1110、第二阈值选择单元1120以及扫描格式变换单元1130。格式变换单元1100通过自适应地选择由运动补偿单元900生成的第一像素像素1或由时空插值单元1000生成的第二像素像素2，对帧和/或半帧进行插值。插值结束后，所述格式变换单元1100输出反隔行扫描(de-interlaced)的图像信号。
所述第三阈值存储单元1110存储多个与预先确定的运动矢量相应的第三阈值。所述第二阈值选择单元1120从运动矢量输出单元646接收量终运动矢量MV，从运动类型提供单元740接收有关全局运动是否存在的信息GMI和全局运动矢量MVG，还从运动估计类型判断单元830接收第三运动估计类型MET3。
此外，第二阈值选择单元1120根据全局运动矢量MVG和第三运动估计类型MET3从第三阈值存储单元1110中选择合适的第三阈值。特别是，在选择第三阈值时，第二阈值选择单元1120极大地受到是否将最终运动矢量MV确定为全局运动一部分的影响。第二阈值选择单元1120将最终运动矢量MV的SAD与第三阈值进行比较，并控制扫描格式变换单元1130的格式变换。
所述扫描格式变换单元1130在第二阈值选择单元1120的控制下，选择从运动补偿单元900输入的第一像素像素1或从时空插值单元1000输入的第二像素像素2。例如，如果第二阈值选择单元1120确定最终运动矢量MV的SAD小于第三阈值，则扫描格式变换单元1130用第一像素像素1对扫描格式进行变换。如果最终运动矢量MV的SAD大于第三阈值，则扫描格式变换单元1130用第二像素像素2对扫描格式进行变换。
以下将结合
本发明的一种变换扫描格式的方法。
图10是说明在图4所示装置中变换扫描格式的方法的流程图。
如图10所示，在操作S1100中存储用于估计最终运动矢量和变换扫描格式的参考帧/半帧和当前帧/半帧。在操作S1200中，通过使用所存储的帧/半帧选择由全局搜索确定的第一运动矢量或由候选运动矢量组预测的第二运动矢量估计插值块的最终运动矢量，并且确定最终运动矢量的第一运动估计类型。
然后，在操作S1300中通过分析该最终运动矢量确定全局运动是否存在。如果确定了全局运动存在，则在操作S1400中基于第一运动估计类型、位于插值块周围相邻块的第二运动估计类型以及有关全局运动存在的信息确定第三运动估计类型。
另一方面，在操作S1200中估计的最终运动矢量在操作S1500中生成用于运动补偿的第一像素。也就是说，用该最终运动矢量从操作S1100中存储的参考帧和/或半帧中生成用于插值帧和/或半帧的第一像素，从而进行运动补偿。此外，从操作S1100中存储的参考帧和/或半帧和当前帧和/或半帧以及操作S1600中通过全局搜索获得的像素(单个或多个)中生成用于插值帧和/或半帧的第二像素。生成第一和第二像素之后，在操作S1700中通过自适应地选择第一或第二像素，从而对扫描格式进行变换。
图11是说明图10所示方法中操作S1200的详细流程图。
如图11所示，在操作S1210中根据全局搜索运动估计法估计第一运动矢量。所述全局搜索运动估计法基于连续输入的当前帧和/或半帧以及参考帧和/或半帧，从预先确定范围内所有块的运动矢量中估计出第一运动矢量。
然后，在操作S1220中根据预测运动矢量估计法估计第二运动矢量。在该预测运动矢量估计法中，从估计候选运动矢量组的块周围的主块中估计第二运动矢量。估计第一和第二运动矢量之后，在操作S1230中对该第一运动矢量、第二运动矢量以及第一阈值进行比较。
在操作S1240中，具有较小位置误差的运动矢量被选为最终运动矢量，并且将该最终运动矢量的运动估计类型判断为第一运动估计类型。在操作S1250中将所述最终运动矢量和第一运动估计类型向外提供。详细地说，如果第二运动矢量的SAD小于与候选运动矢量组相应的第一阈值，则该第二运动矢量被选为最终运动矢量。此外，最终运动矢量的运动估计类型被判断为预测运动。
在操作S1240中选定的最终运动矢量在操作S1260中进行存储。在操作S1270中，用该最终运动矢量和外部运动矢量生成候选运动矢量组。该外部运动矢量是全局运动矢量、用户定义的局部运动矢量以及零运动矢量的其中之一。
图12是说明图10所示方法中操作S1300的详细流程图。图13是说明图10所示方法中操作S1400的详细流程图。
根据图12，在操作S1310中，插值帧和/或半帧的每个块的最终运动矢量都被集中起来，而且计算并输出每个最终运动矢量的直方图数据。输入直方图数据后，在操作S1320中选择与在操作S1240中估计的最终运动矢量相应的第二阈值。
在操作S1330中，通过将所述直方图数据与第二阈值进行比较，从而判断出全局运动是否存在，并将与全局运动相应的运动矢量确定为全局运动矢量。例如，如果所述直方图数据的峰值大于第二阈值，则确定全局运动存在。此外，在操作S1340中通过将操作S1330中的全局运动矢量与最终运动矢量进行比较，从而判断该最终运动矢量是否为全局运动的一部分，并提供有关全局运动是否存在的信息。
如图13所示，在操作S1410中存储从最终运动矢量中确定的第一运动估计类型以及位于插值块周围的块的第二运动估计类型。在操作S1420中根据该第一运动估计类型、第二运动估计类型以及操作S1340提供的有关全局运动是否存在的信息确定第三运动估计类型。
在操作S1420中，如果根据有关全局运动是否存在的信息确定了全局运动存在，则第一运动估计类型被确定为第三运动估计类型。另一方面，如果确定了全局运动不存在，则相邻块的某个运动估计类型被确定为第三运动估计类型MET3。该运动估计类型具有相应于第二运动估计类型MET2的最大值。
图14是说明图10所示方法中操作S1700的详细流程图。
如图14所示，输入在操作S1500中生成的第一像素、在操作S1600中生成的第二像素、在操作S1200中估计的最终运动矢量、在操作S1300中确定的有关全局运动是否存在的信息和全局运动矢量，以及在操作S1400中确定的第三运动估计类型。
如果根据有关全局运动是否存在的信息确定了全局运动存在，则在操作S1710中选定与全局运动矢量相应的第三阈值和第三运动估计类型。在操作S1720中，将最终运动矢量的SAD与预先所存储的第三阈值进行比较。在操作S1730中，根据比较结果，选择第一或第二像素，并用所选择的像素和当前帧/或半帧对扫描格式进行变换。如果最终运动矢量的SAD小于操作S1710中确定的第三阈值，则在操作S1730中选择第一像素。
图15是详细说明图4所示的扫描格式变换装置400的方框图。
由于图15表示利用图4至14的扫描格式变换的实施例，省略了对每个组件操作的详细说明，但在其中举例说明了一个信号流。
根据图4至15，运动矢量输出单元646选择最终运动矢量MV，并估计该最终运动矢量的第一运动估计类型MET1。所述最终运动矢量MV是第一运动矢量MV1或第二运动矢量MV2，它们分别是由全局搜索估计单元610和预测运动估计单元620估计的。
由运动矢量输出单元646选定的最终运动矢量MV存储在运动矢量存储单元632中，并输入到直方图计算单元710、运动类型提供单元830以及运动补偿单元900。候选矢量组提供单元634用存储在运动矢量存储单元632中的最终运动矢量MV以及从运动分析单元730输入的外部运动矢量MV外生成候选运动矢量组MV组。该候选运动矢量组MV组输入到预测运动估计单元620和第一阈值选择单元644。
运动分析单元730通过分析第二阈值以及从直方图计算单元710输入的直方图数据，从而确定运动类型MT，并向候选矢量组提供单元634提供外部运动矢量MV外。运动类型提供单元740向运动估计类型判断单元830和第二阈值选择单元1120提供有关全局运动是否存在的信息GMI。
在运动矢量输出单元646中确定的第一运动估计类型MET1存储在第一运动估计类型存储单元810中。第二运动估计类型存储单元820存储用于位于插值块周围相邻块的运动矢量的第二运动估计类型MET2。运动估计类型判断单元830用第一运动估计类型MET1、第二运动估计类型MET2以及有关全局运动是否存在的信息GMI，确定第三运动估计类型MET3。
运动补偿单元900生成第一像素像素1，时空插值部件1000生成第二像素像素2。第二阈值选择单元1120控制扫描格式变换单元1130根据运动矢量MV、第三运动估计类型MET3以及有关全局运动是否存在的信息GMI来选择第一像素像素1或第二像素像素2。扫描格式变换单元1130通过选择第一像素像素1或第二像素像素2，从而变换扫描格式。
按照本发明，所述最终运动矢量是根据由全局搜索确定的运动估计和由候选运动矢量组确定的运动估计来估计的。具有该最终运动矢量的运动矢量半帧比具有通过全局搜索所获得的运动矢量的运动矢量半帧更为平滑，以便在变换扫描格式过程中最小化图像质量的恶化。此外，可以通过使用表示一种估计最终运动矢量、全局运动是否存在以及运动类型的方法的运动估计类型自适应地选择适合于插值半帧的扫描格式变换方法。
尽管本发明参照其特定的优选实施例来描述的，但本领域的技术人员应该理解，在不脱离由所附权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种修改。
权利要求
1.一种用于变换扫描格式的装置，包括运动估计单元，用于通过选择由全局搜索确定的第一运动矢量或由候选运动矢量组预测的第二运动矢量来估计插值块的最终运动矢量，并确定该最终运动矢量的第一运动估计类型；运动分析单元，用于通过分析所述最终运动矢量、确定全局运动是否存在，并提供有关该全局运动是否存在的信息；运动估计类型分析单元，用于确定位于插值块周围相邻块的第二运动估计类型，并根据所述第一运动估计类型、第二运动估计类型以及有关全局运动是否存在的信息确定第三运动估计类型；运动补偿单元，用于通过使用所述最终运动矢量从参考帧和/或半帧中生成用于插值帧和/或半帧的第一像素；时空插值单元，用于从当前帧和/或半帧、所述参考帧和/或半帧以及由全局搜索获得的像素中生成用于所述插值帧和/或半帧的第二像素；和格式变换单元，用于通过基于所述第三运动估计类型或有关全局运动是否存在的信息、自适应地选择所述第一或第二像素，从而对扫描格式进行变换。
2.根据权利要求1所述的装置，其中，所述运动估计单元包括全局搜索运动估计单元，用于基于连续输入的当前帧/半帧和参考帧/半帧、从位于预先确定的搜索范围内所有块的运动矢量中估计出所述第一运动矢量；预测运动估计单元，用于从位于估计所述候选运动矢量组的块周围的相邻块中估计出所述第二运动矢量；和运动矢量选择单元，用于接收所述第一和第二运动矢量，将该第一和第二运动矢量与预先所存储的第一阈值进行比较，并从该第一和第二运动矢量中选择位置误差较小的运动矢量作为所述最终运动矢量。
3.根据权利要求2所述的装置，其中，所述运动估计单元还包括候选矢量组生成单元，用于生成所述候选运动矢量组，并向所述预测运动估计单元提供该候选运动矢量组。
4.根据权利要求3所述的装置，其中，所述候选矢量组生成单元包括运动矢量存储单元，用于存储所述最终运动矢量；和候选矢量组提供单元，用于向所述预测运动估计单元提供具有所述最终运动矢量和外部运动矢量的所述候选运动矢量组，其中的最终运动矢量来自所述运动矢量存储单元。
5.根据权利要求4所述的装置，其中，所述外部运动矢量是全局运动矢量、由用户定义的局部运动矢量以及零运动矢量的其中之一。
6.根据权利要求2所述的装置，其中，所述运动矢量选择单元包括运动矢量输出单元，用于选择所述第一或第二运动矢量作为所述最终运动矢量，确定该最终运动矢量的第一运动估计类型，并输出该最终运动矢量和第一运动估计类型；第一阈值存储单元，用于存储第一阈值；和第一阈值选择单元，用于选择第一阈值，并控制所述运动矢量输出单元、将输入到该运动矢量输出单元的所述第一和第二运动矢量与存储在所述阈值存储单元中的第一阈值进行比较，从而将在第一和第二运动矢量的比较中具有较小位置误差的运动矢量作为所述最终运动矢量。
7.根据权利要求6所述的装置，其中，所述运动矢量输出单元在比较由所述候选矢量组提供单元所提供的候选运动矢量组过程中，使用不同的第一阈值。
8.根据权利要求7所述的装置，其中，如果所述第二运动矢量的绝对差之和(SAD)小于相应于所述候选运动矢量组的第一阈值，则所述运动矢量输出单元选择第二运动矢量作为最终运动矢量，并将该最终运动矢量的运动估计类型确定为预测运动估计类型。
9.根据权利要求2所述的装置，其中，所述全局搜索运动估计单元用所述所有块中像素差的累加值计算所述第一运动矢量的精度。
10.根据权利要求1所述的装置，其中，所述运动分析单元包括直方图计算单元，用于集中插值帧和/或半帧中每个块的最终运动矢量，并计算这些最终运动矢量的直方图数据；运动分析单元，用于通过将所述直方图数据与预先所存储的第二阈值进行比较，从而确定全局运动是否存在，并将与该全局运动相应的运动矢量确定为全局运动矢量；和运动类型提供单元，用于通过将所述全局运动矢量与最终运动矢量进行比较，从而确定该最终运动矢量是否为全局运动的一部分。
11.根据权利要求10所述的装置，其中，所述运动分析单元还包括第二阈值存储单元，用于存储第二阈值。
12.根据权利要求10所述的装置，其中，所述运动分析单元将直方图数据与根据不同最终运动矢量而不同的第二阈值进行比较。
13.根据权利要求12所述的装置，其中，如果所述直方图数据的峰值大于所述第二阈值，则所述运动分析单元确定全局运动存在。
14.根据权利要求12所述的装置，其中，如果所述运动类型提供单元确定最终运动矢量是全局运动的一部分，则扫描格式变换单元用在运动补偿单元中生成的第一像素对扫描格式进行变换。
15.根据权利要求1所述的装置，其中所述运动估计类型分析单元包括第一运动估计类型存储单元，用于存储从所述运动矢量确定的所述最终运动矢量的所述第一运动估计类型；第二运动估计类型存储单元，用于存储所述相邻块的所述第二运动估计类型；和运动估计类型判断单元，用于根据所述第一和第二运动估计类型和从所述运动分析单元输入的有关全局运动是否存在的信息、确定所述第三运动估计类型。
16.根据权利要求15所述的装置，其中，响应根据有关全局运动是否存在的信息对全局运动存在的确定，所述运动估计类型判断单元确定第三运动估计类型为第一运动估计类型。
17.根据权利要求1所述的装置，其中所述格式变换单元包括扫描格式变换单元，用于选择第一或第二像素，并用所选择的像素以及当前帧和/或半帧的像素对扫描格式进行变换；和第二阈值选择单元，用于控制所述扫描格式变换单元当从所述运动矢量估计单元输入的最终运动矢量的SAD小于预先所存储的第三阈值时、选择所述第一像素。
18.根据权利要求17所述的装置，其中所述格式变换单元还包括第三阈值存储单元，用于存储第三阈值。
19.根据权利要求17所述的装置，其中，响应根据有关全局运动是否存在的信息对全局运动存在的确定，所述第二阈值选择单元根据全局运动矢量选择不同的第三阈值之一，其中所述全局运动矢量是运动为全局运动，运动类型为第三运动估计类型的运动矢量，并将该第三阈值与最终运动矢量的SAD进行比较。
20.根据权利要求1所述的装置，其中还包括帧/半帧存储单元，用于存储所述参考帧和/或半帧的像素以及所述当前帧和/或半帧的像素。
21.根据权利要求20所述的装置，其中所述帧/半帧存储单元包括第一存储单元，用于存储所述参考帧和/或半帧；和第二存储单元，用于存储所述当前帧和/或半帧。
22.一种变换扫描格式的方法，包括通过选择由全局搜索确定的第一运动矢量或由候选运动矢量组预测的第二运动矢量、估计插值块的最终运动矢量，并确定该最终运动矢量的第一运动估计类型；通过分析所述最终运动矢量、确定全局运动是否存在，并向外提供有关全局运动是否存在的信息；确定位于插值块周围的外围块的第二运动估计类型，并基于所述第一运动估计类型、第二运动估计类型以及有关全局运动是否存在的信息确定第三运动估计类型；用所述最终运动矢量、从参考帧和/或半帧中生成用于插值帧和/或半帧的第一像素；从当前帧和/或半帧、所述参考帧和/或半帧以及通过全局搜索获得的像素中生成用于插值帧/或半帧的第二像素；以及通过基于所述第三运动估计类型和/或有关全局运动是否存在的信息、自适应地选择所述第一或第二像素对扫描格式进行变换。
23.根据权利要求22所述方法，其中所述最终运动矢量估计的步骤包括执行全局搜索估计操作，基于连续输入的当前帧/半帧以及参考帧/半帧、从预先确定的搜索范围内所有块的运动矢量中估计所述第一运动矢量；执行预测运动估计操作，从估计所述候选运动矢量组的块周围相邻的块中估计所述第二运动矢量；以及执行运动矢量选择操作，接收所述第一和第二运动矢量，将该第一和第二运动矢量与预先所存储的第一阈值进行比较，并选择位置误差较小的运动矢量作为最终运动矢量。
24.根据权利要求23所述方法，其中所述全局搜索估计操作包括用所有块中像素差的累加值计算所述第一运动矢量的精度。
25.根据权利要求23所述方法，其中所述最终运动矢量估计步骤包括执行候选矢量组生成操作，在所述预测运动估计操作之前生成候选运动矢量组。
26.根据权利要求25所述方法，其中所述候选矢量组生成操作包括存储所述最终运动矢量；以及向所述预测运动估计操作提供具有最终运动矢量和外部运动矢量的候选运动矢量组，其中的最终运动矢量是由运动矢量存储单元输入的。
27.根据权利要求26所述方法，其中所述提供候选运动矢量组的步骤包括从全局运动矢量、用户定义的局部运动矢量以及零运动矢量中生成所述外部运动矢量。
28.根据权利要求23所述方法，其中所述运动矢量选择操作包括将第一和第二运动矢量与预先存储的第一阈值进行比较；选择位置误差较小的运动矢量作为最终运动矢量，并确定该最终运动矢量的第一运动估计类型；以及输出该最终运动矢量和第一运动估计类型。
29.根据权利要求28所述方法，其中第一和第二运动矢量的比较步骤包括根据所述候选矢量组提供单元提供的候选运动矢量组、采用不同的第一阈值。
30.根据权利要求28所述方法，其中，如果所述第二运动矢量的绝对差之和(SAD)小于与候选运动矢量组相应的第一阈值，则运动矢量的选择步骤包括选择所述第二运动矢量作为最终运动矢量；以及将该最终运动矢量的运动估计类型确定为预测运动估计类型。
31.根据权利要求22所述方法，其中确定所述全局运动是否存在的步骤包括执行直方图计算操作，集中插值帧和/或半帧中每个块的最终运动矢量，并计算这些最终运动矢量的直方图数据；执行运动分析操作，通过将该直方图数据与预先存储的第二阈值进行比较、从而确定全局运动是否存在，并将与该全局运动相应的运动矢量确定为全局运动矢量；以及执行运动类型提供操作，通过将所述全局运动矢量与最终运动矢量进行比较，从而判断该最终运动矢量是否为全局运动的一部分，并提供有关全局运动是否存在的信息。
32.根据权利要求31所述方法，其中确定所述全局运动是否存在的步骤还包括在所述运动分析操作之前，根据所述最终运动矢量选择不同的第二阈值。
33.根据权利要求32所述方法，其中，如果所述直方图数据的峰值大于所述第二阈值，则所述运动分析操作包括确定全局运动存在。
34.根据权利要求22所述方法，其中所述确定第二和第三运动估计类型的步骤包括存储从最终运动矢量确定的第一运动估计类型和外围块的第二运动估计类型；以及根据所述第一运动估计类型、第二运动估计类型以及有关全局运动是否存在的信息确定第三运动估计类型。
35.根据权利要求34所述方法，其中，响应根据全局运动是否存在的信息对全局运动存在的确定，所述确定第三运动估计类型的步骤包括将所述第一运动估计类型确定为第三运动估计类型。
36.根据权利要求22所述方法，其中所述变换扫描格式的步骤包括接收所述最终运动矢量，并将该最终运动矢量的SAD与预先所存储的第三阈值进行比较；以及选择第一或第二像素，并用所选择的像素以及当前帧和/或半帧的像素对扫描格式进行变换；以及如果所述最终运动矢量的SAD小于预先存储的第三阈值，则确保所述第一像素被选中。
37.根据权利要求36所述方法，其中，响应对全局运动存在的确定，所述比较SAD的步骤包括根据全局运动矢量选择不同的第三阈值，其中全局运动矢量是运动为全局运动、运动类型为第三运动估计类型的运动矢量。
38.根据权利要求22所述方法，还包括在估计所述最终运动矢量之前，存储参考帧和/或半帧的像素以及当前帧和/或半帧的像素。
39.一种用于从当前和参考图像帧/半帧中变换扫描格式的装置，该每个当前和参考图像帧/半帧具有多个块，该每个块具有多个像素，所述装置包括运动估计单元，用于估计每个块的第一运动矢量，估计上述块相邻块的第二运动矢量，将所述第一运动矢量和第二运动矢量与第一阈值进行比较、以选择所述第一运动矢量或第二运动矢量作为每个块的最终运动矢量，并产生该最终运动矢量的第一运动估计类型；运动分析单元，用于将块的最终运动矢量与第二阈值进行比较、以确定这些块是否存在全局运动，并产生有关该全局运动是否存在的信息；运动估计类型分析单元，用于确定代表相邻块运动矢量的第二运动估计类型，并根据有关全局运动是否存在的信息、将第一运动估计类型或第二运动估计类型确定为第三运动估计类型；运动补偿单元，用于通过使用所述最终运动矢量、从参考帧/半帧中生成用于插值帧/半帧的第一像素；时空插值单元，用于从当前帧/半帧和参考帧/半帧中生成用于插值帧/半帧的第二像素；和格式变换单元，用于根据所述第三运动估计类型和有关全局运动是否存在的信息、确定第三阈值，并根据最终运动矢量和所述第三阈值之间的比较选择所述第一像素或第二像素、以形成扫描格式。
40.根据权利要求39所述的装置，其中所述运动估计单元采用全局搜索方法、选择当前图像帧/半帧中块的一个运动矢量作为所述第一运动矢量，而且该运动矢量在与参考帧/半帧中块进行匹配时具有最小匹配误差。
41.根据权利要求39所述的装置，其中所述运动估计单元采用预测运动估计方法、选择相邻块的一个运动矢量作为所述第二运动矢量，该运动矢量在相邻块的运动矢量中具有最小的绝对差之和。
42.根据权利要求39所述的装置，其中所述第一阈值根据包含所述最终运动矢量的候选运动矢量组、与一个或全局运动的组合相应的全局运动矢量、用户定义的局部运动矢量以及与零运动值相应的零运动矢量而有所不同。
43.根据权利要求39所述的装置，其中，如果所述第一运动矢量的绝对差之和大于所述第一阈值，则所述运动估计单元将所述第一运动矢量确定为最终运动矢量；如果所述第二运动矢量的绝对差之和大于所述第一阈值，则将所述第二运动矢量确定为最终运动矢量。
44.根据权利要求39所述的装置，其中所述第一运动估计类型表示第一运动矢量或第二运动矢量的运动类型。
45.根据权利要求39所述的装置，其中，如果选择所述第一运动矢量作为最终运动矢量，则所述第一运动估计类型表示全搜索运动估计类型；如果选择所述第二运动矢量作为最终运动矢量，则所述第一运动估计类型表示预测运动估计类型。
46.根据权利要求39所述的装置，其中所述运动分析单元从块的最终运动矢量中生成直方图数据，并将该直方图数据的峰值与所述第二阈值进行比较、以确定全局运动是否存在。
47.根据权利要求46所述的装置，其中，如果所述直方图的峰值大于所述第二阈值，则所述运动分析单元确定全局运动存在。
48.根据权利要求46所述的装置，其中所述存在全局运动表示许多块的运动相同。
49.根据权利要求46所述的装置，其中所述运动分析单元生成与全局运动相应的全局运动矢量，并比较该全局运动矢量和最终运动矢量，以确定该最终运动矢量是否为全局运动的一部分。
50.根据权利要求49所述的装置，其中，响应最终运动矢量为全局运动的一部分的确定，所述运动分析单元产生有关全局运动是否存在的信息。
51.根据权利要求39所述的装置，其中，如果上述信息表明存在全局运动，则所述运动估计类型分析单元将第一运动估计类型确定为第三运动估计类型；如果上述信息表明不存在全局运动，则将第二运动估计类型确定为第三运动估计类型。
52.根据权利要求39所述的装置，其中，如果所述信息表明不存在全局运动，则所述运动估计类型分析单元将相邻块的运动矢量的一个运动类型确定为第三运动估计类型，该相邻块的运动类型在相邻块运动矢量的运动类型中具有最大的运动量。
53.根据权利要求39所述的装置，其中，如果最终运动矢量的绝对差之和小于第三阈值，则所述运动估计类型分析单元选择第一像素作为扫描格式；如果最终运动矢量的绝对差之和大于第三阈值，则选择第二像素作为扫描格式。
54.根据权利要求39所述的装置，其中所述第三阈值根据最终运动矢量是否为全局运动的一部分的确定而有所不同。
55.一种用于从当前和参考图像帧/半帧中变换扫描格式的装置，该每个当前和参考图像帧/半帧具有多个块，该每个块具有多个像素，所述装置包括运动估计单元，用于估计每个块的第一运动矢量，估计所述块的一个相邻块的第二运动矢量，根据所述第一运动矢量和第二运动矢量生成最终运动矢量，并产生该最终运动矢量的第一运动估计类型；运动分析单元，用于根据所述最终运动矢量产生有关全局运动是否存在的信息；运动估计类型分析单元，用于确定表示所述相邻块运动矢量的第二运动估计类型，并根据有关全局运动是否存在的信息将第一运动估计类型或第二运动估计类型确定为第三运动估计类型；运动补偿单元，用于根据所述最终运动矢量生成第一像素；时空插值单元，用于根据当前帧/半帧和参考帧/半帧生成第二像素；和格式变换单元，用于根据所述第三运动估计类型以及有关全局运动是否存在的信息、选择所述第一像素或第二像素、以形成扫描格式。
56.一种用于从当前和参考图像帧/半帧中变换扫描格式的方法，该每个当前和参考图像帧/半帧具有多个块，该每个块具有多个像素，所述方法包括估计每个块的第一运动矢量和该块的一个相邻块的第二运动矢量，将所述第一运动矢量和第二运动矢量与第一阈值进行比较、以选择所述第一运动矢量或第二运动矢量作为每个块的最终运动矢量，并产生该最终运动矢量的第一运动估计类型；将这些块的最终运动矢量与第二阈值进行比较、以确定所述块的全局运动是否存在，并产生有关全局运动是否存在的信息；确定表示相邻块运动矢量的第二运动估计类型，并根据有关全局运动是否存在的信息、将第一运动估计类型或第二运动估计类型确定为第三运动估计类型；用所述最终运动矢量、从参考帧/半帧中生成用于插值帧/半帧的第一像素；从当前帧/半帧和参考帧/半帧中生成用于插值帧/半帧的第二像素；以及根据第三运动估计类型和有关全局运动是否存在的信息确定第三阈值，并根据最终运动矢量和所述第三参考值之间的比较选择第一像素或第二像素、以形成扫描格式。
全文摘要
一种用于变换扫描格式的装置和方法，可以自适应地选择扫描格式变换方法。运动估计单元在由全局搜索和预测运动估计确定的运动矢量中估计最终运动矢量，并确定该最终运动矢量的第一运动估计类型。运动分析单元和运动估计类型分析单元分别用所述最终运动矢量确定全局运动是否存在以及第三运动估计类型。运动补偿单元和时空插值单元分别生成第一和第二像素。格式变换单元通过基于所述第三运动估计类型和/或有关全局运动是否存在的信息、自适应地选择所述第一或第二像素、对扫描格式进行变换。其结果是，可以根据运动类型从运动补偿方法和时空插值方法中自适应地选择扫描格式变换方法。
文档编号H04N7/32GK1441594SQ0310632
公开日2003年9月10日 申请日期2003年2月24日 优先权日2002年2月25日
发明者梁承埈 申请人:三星电子株式会社