与移动补偿相关的影像处理装置及影像处理方法与流程

本发明与影像处理技术相关，并且尤其与进行动态影像编码时会采用的移动补偿(motioncompensation)技术相关。

背景技术：

为了满足观看者对于逼真影像的期待，许多影像显示设备的主要发展方向之一是持续提升画面的尺寸和解析度。如何在保有良好画质的同时，透过编码技术降低影像的资料量，以节省储存空间与传输资源，是备受关注的议题。

移动补偿是一种被广泛应用的动态影像编码技术，奠基于时序上相邻两帧(frame)之内容通常有高度相似性的特点。每一个帧会被分割为多个影像区块，做为编码的基本单位。针对各个待编码的影像区块，编码器会从一特定影像范围(以下称搜寻范围)中找出一个最相似的影像区块做为参考区块。一待编码影像区块与其参考区块在帧中的座标差异称为移动向量(motionvector)，而这两个影像区块的影像内容差异称为残差(residual)。编码器只需要对残差与移动向量(而非整个待编码影像区块的内容)进行编码。一影像区块与其参考区块愈相似，残差便愈小。显然，找出适当的参考区块，对于降低编码结果的资料量大有助益。因此，选定适当的搜寻范围是一个重要的步骤。

最传统的移动补偿技术是以整个参考帧做为搜寻范围，逐一评估所有可能的移动向量，以找出其中能最小化残差资料量的影像区块做为参考区块。这种做法的缺点在于会耗费大量运算资源与时间。为此，第一种改良方案是采用一邻近区块的移动向量，做为待编码影像区块的移动向量预测值，据此进行范围较小的搜寻。请参阅图1(a)。假设目前待编码帧100中有待编码影像区块111，而已知待编码影像区块111的邻近影像区块110的参考区块为参考帧900中的影像区块r，则编码器可采用影像区块r相对于影像区块110的移动向量mv110做为待编码影像区块111的移动向量预测值pmv。如图1(b)所示，移动向量预测值pmv的大小及方向皆与移动向量mv110相同，惟其起点是对应于待编码影像区块111的中心点。以移动向量预测值pmv的尾端为中心点的特定大小区域被设定为搜寻范围s，做为编码器为待编码影像区块111寻找参考区块时的搜寻对象。

不同于只考量单一邻近区块的第一种改良方案，第二种改良方案将多个邻近区块的已知移动向量纳入考量。请参阅图1(c)的范例。在这个范例中，待编码影像区块111的四个邻近区块107～110的已知移动向量被纳入考量。更具体地说，第二种改良方案是令移动向量预测值pmv等于邻近影像区块107～110的移动向量mv107～mv110的中位数，并据此设定搜寻范围s。为便于说明向量预测值pmv与移动向量mv107～mv110的相对关系，在图1(d)中，移动向量mv107～mv110被绘示皆为以待编码影像区块111的中心点为起点。由图1(d)可看出，在待编码影像区块111与邻近影像区块107或是108关联性较高(相较于邻近影像区块109、110)的情况下，采用第二种改良方案会比采用第一种改良方案更好。相对地，若待编码影像区块111与邻近影像区块109或是110的关联性更高，采用第二种改良方案便未必能找出更理想的参考区块。

技术实现要素：

本发明提出一种新的影像处理装置及影像处理方法。

本发明的一具体实施例为一种影像处理装置，其中包含一搜寻范围提供电路、一搜寻电路与一编码器。该搜寻范围提供电路是用以为一目标影像区块取得n个移动向量预测值，并据此于一参考帧中设定相对应的n个搜寻范围。符号n为大于一的整数。该搜寻电路是用以于该n个搜寻范围中进行一移动补偿搜寻程序，借此为该目标影像区块找出一移动向量。该编码器是用以根据该移动向量为该目标影像区块编码。

本发明的另一具体实施例为一种影像处理方法。首先，一目标影像区块n个移动向量预测值被取得，且位于一参考帧中的相对应的n个搜寻范围据此被设定，其中n为大于一的整数。随后，一移动补偿搜寻程序于该n个搜寻范围中进行，借此为该目标影像区块找出一移动向量。接着，根据该移动向量，该目标影像区块被编码。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1(a)～图1(d)的帧及影像区块范例是用以说明两种传统的移动补偿方案。

图2(a)为本发明的一实施例中的影像处理装置的功能方块图。

图2(b)为本发明的一实施例中的搜寻电路的功能方块图。

图3(a)与图3(b)的帧及影像区块范例是用以说明与本发明相关的移动补偿方案。

图4为本发明的另一实施例中的影像处理装置的功能方块图。

图5(a)～图5(c)显示几种延伸搜寻范围的范例。

图6为本发明的另一实施例中的搜寻电路的功能方块图。

图7为本发明的一实施例中的影像处理装置的功能方块图。

图8为本发明的一实施例中的影像处理方法的流程图。

须说明的是，本发明的附图包含呈现多种彼此关联的功能性模块的功能方块图。这些附图并非细部电路图，且其中的连接线仅用以表示信号流。功能性元件及/或程序间的多种互动关系不一定要透过直接的电性连结始能达成。此外，个别元件的功能不一定要如附图中绘示的方式分配，且分散式的区块不一定要以分散式的电子元件实现。

符号说明：

100：待编码帧107～111：影像区块

r：参考区块s、s1～sn：搜寻范围

se：延伸搜寻范围mv107～mv110：移动向量

pmv：移动向量预测值200：影像处理装置

201：搜寻范围提供电路202：搜寻电路

202a：子搜寻电路202b：选择电路

202c：分派电路203：编码器

204：判断电路204a：量化电路

204b比较电路205：延伸电路

900：参考帧s801～s803：流程步骤

具体实施方式

本发明的一具体实施例为一影像处理装置，其功能方块图是绘示于图2(a)。影像处理装置200包含一搜寻范围提供电路201、一搜寻电路202以及一编码器203。于实际应用中，影像处理装置200可被整合在各种需要利用移动补偿技术进行动态影像编码的电子产品内。

如先前所述，影像区块为编码的基本单位。搜寻范围提供电路201负责为目前待编码的影像区块(以下称目标影像区块)取得n个移动向量预测值(n为大于一的整数)，并据此在一参考帧中设定n个相对应的搜寻范围s1～sn。举例而言，若目标影像区块周围有n个邻近影像区块的移动向量为已知数，则目标影像区块的n个移动向量预测值可以是该n个邻近影像区块各自的移动向量。须说明的是，此处所谓“相邻”可指空间上的相邻，亦可指时间上的相邻。图3(a)中的影像区块107～110是目标影像区块111在空间上的邻近影像区块，而前一张参考帧的影像区块111是目标影像区块111在时间上的邻近影像区块。实务上，数字n的决定因素可能有几种，例如硬件资源数量、可取得的参考资料个数。这些邻近影像区块的移动向量可能是借由对整个参考帧进行搜寻而找出，或者是借由搜寻电路202稍早进行的移动补偿搜寻程序所找出。请参阅图3(a)与图3(b)呈现的范例。假设目标影像区块为影像区块111，且n被设定为四，则搜寻范围提供电路201可将影像区块107～110各自的移动向量挪移至以影像区块111的中心点为起点，做为影像区块111的四个移动向量预测值(以符号pmv1～pmv4表示)，并据此在参考帧900中设定四个搜寻范围s1～s4。

在图3(b)呈现的范例中，搜寻范围s1～s4是各自以移动向量预测值pmv1～pmv4的尾端为中心点的特定大小区域。须说明的是，搜寻范围s1～sn的特性(例如大小与各边长)的决定因素可包含但不限于硬件资源数量、邻近影像区块与目标影像区块的关联性高低。一例中，假设搜寻电路202能提供在一特定工作周期中对总面积为64像素*64像素的搜寻范围进行移动补偿搜寻程序的硬件资源，且n被设定为四，则搜寻范围提供电路201可令搜寻范围s1～s4各自的大小被平均分配为32像素*32像素。须说明的是，该n个搜寻范围的大小或形状亦不需要完全相同。举例而言，相对于影像区块107、109，影像区块108、110距离影像区块111较近、在空间上的关联性较高。搜寻范围提供电路201可维持所有搜寻范围的总面积不变，但分配较大的搜寻范围(例如两个大小分别为32像素*48像素的区域)给移动向量预测值pmv2、pmv4，分配较小的搜寻范围(例如两个大小分别为32像素*16像素的区域)给移动向量预测值pmv1、pmv3。

接着，搜寻电路202便会在搜寻范围提供电路201设定的搜寻范围s1～sn中进行移动补偿搜寻程序，借此为目标影像区块找出一移动向量，亦即在搜寻范围s1～sn中逐一评估所有可能的移动向量，以找出其中能最小化残差资料量的移动向量。如图2(b)所示，搜寻电路202可被设计为包含n个子搜寻电路202a与一选择电路202b。这些子搜寻电路202a可平行化地进行移动补偿搜寻程序，各自搜寻范围s1～sn中的一个，并且各自在负责的搜寻范围中找出一个区域性移动向量(以符号lmv1～lmvn表示)。选择电路202b可根据区域性移动向量lmv1～lmvn与目标影像区块对应的n笔残差资料量(以符号re1～ren表示)，选出残差资料量最低的区域性移动向量，做为输出搜寻电路202的移动向量。

随后，编码器203会根据搜寻电路202找出的移动向量、参考帧的影像资料，以及目标影像区块的影像资料为目标影像区块编码。须说明的是，根据指定的移动向量为一影像区块编码的实施细节，为本发明所属技术领域中具有通常知识者所知，于此不赘述。

影像处理装置200的优点在于，无论目标影像区块是与哪一个邻近区块的关联性较高(也就是无论多个移动向量预测值中的哪一个移动向量预测值较准确)，各个相对应的搜寻范围都会被加以搜寻。在使用等量搜寻资源(例如搜寻总面积皆为64像素*64像素)的情况下，相较于先前技术根据单一个移动向量预测值，于单一个搜寻范围内进行移动补偿搜寻程序的做法，即使移动向量预测值pmv1～pmvn各自对应的搜寻范围可能较小，影像处理装置200通常仍可找出更理想的移动向量。

请参阅图4。于一实施例中，影像处理装置200进一步包含一判断电路204与一延伸电路205。判断电路204是用以判断搜寻范围s1～sn中是否有两个或多于两个的搜寻范围相互重叠。若判断电路204的判断结果为是，延伸电路205便会自参考帧中另外选出未与搜寻范围s1～sn重叠的延伸搜寻范围se，并使得搜寻电路202于寻找移动向量时，除了搜寻范围s1～sn，亦于延伸搜寻范围se中进行移动补偿搜寻程序。图5(a)～图5(c)呈现了几种可能的重叠情况与延伸搜寻范围的范例，说明如下。

首先请参阅图5(a)的范例。如图5(a)左侧所示，搜寻范围提供电路201提供的搜寻范围s3、s4有部分重叠(标示有斜线阴影的区域)。若搜寻电路202分别对搜寻范围s3、s4施以移动补偿搜寻程序，该重叠区域便会被搜寻两次，造成运算资源的浪费。因此，当判断电路204判定搜寻范围s3、s4符合重叠条件，延伸电路205可另外选出如图5(a)右侧所示的未与搜寻范围s1～s4重叠的延伸搜寻范围se，并请求搜寻电路202于寻找移动向量时，将原本会用于重复搜寻该重叠区域的运算资源用于搜寻延伸搜寻范围se。须说明的是，延伸搜寻范围se的位置与形状皆不限于图5(a)所示者。延伸搜寻范围se的特性(例如位置与形状)的决定因素可包含但不限于预先设计的模式、目标影像区块相对于原邻近影像区块的位置以及关联性高低等等。举例而言，延伸搜寻范围se亦可被选定在搜寻范围s3、s4的左侧，如图5(b)所示。另一例中，选择延伸搜寻范围se的位置时，延伸电路205考量在哪一个区域找出较佳移动向量的几率较高。举例而言，由于搜寻范围s1、s2位在搜寻范围s3、s4的左侧，较佳移动向量出现在搜寻范围s3、s4左侧的几率高于出现在搜寻范围s3、s4右侧的几率。因此，在搜寻范围s3、s4的左侧选定延伸搜寻范围se可能是较好的。另一方面，相较于不规则的多边形，令延伸搜寻范围se的形状为长方形或正方形，在实作上较容易。

在图5(c)的范例中，搜寻范围提供电路201提供的搜寻范围s3、s4完全相同、相互重叠(标示有斜线阴影的区域)，且延伸电路205首先自搜寻范围s3的中心点延伸出一个延伸搜寻范围se1。随后，判断电路204可以再次运作，判断搜寻范围s1～sn与延伸搜寻范围se1中是否另有两个或多于两个的搜寻范围相互重叠。如图5(c)所示，延伸搜寻范围se1与搜寻范围s2有部分重叠(标示有点状阴影的区域)。因此，延伸电路205可进一步选出如图5(c)最下方所示的延伸搜寻范围se2，并请求搜寻电路202于寻找移动向量时，除了搜寻范围s1～s4，亦于延伸搜寻范围se1、se2中进行移动补偿搜寻程序。

在搜寻范围s1～sn中有搜寻范围相互重叠的情况下，延伸电路205可令所有延伸搜寻范围se的总面积相等于所有重叠区域的总面积，借此维持运算资源的使用量不变。就图5(a)而言，便是令延伸搜寻范围se的面积相等于搜寻范围s3、s4的重叠区域的面积。就图5(c)而言，则是令延伸搜寻范围se1、se2的总面积相等于搜寻范围s3的面积。

实务上，判断电路204于判断搜寻范围s1～sn中是否有两个或多于两个的搜寻范围相互重叠时，除了可利用这些搜寻范围本身的涵盖区域来判断，亦可利用移动向量预测值pmv1～pmvn的尾端为中心点座标作为判断依据。更具体地说，由于搜寻范围的长宽通常为已知数，两个中心点座标的间距若小于一预设门槛，判断电路204便可判断相对应的两个搜寻范围是符合重叠条件的。于实际应用中，判断电路204与延伸电路205可利用多种控制和处理平台实现，包含固定式或可程序化的逻辑电路，例如可程序化逻辑门阵列、针对特定应用的集成电路、微控制器、微处理器、数字信号处理器。此外，判断电路204与延伸电路205亦可被设计为透过执行一存储器(未绘示)中所储存的处理器指令来完成任务。

请参阅图6。于一实施例中，除了图2(b)中绘示的n个子搜寻电路202a与选择电路202b，搜寻电路202进一步包含一分派电路202c。分派电路202c负责将搜寻范围s1～sn与延伸搜寻范围se依面积大小平均分配为互不重叠的n等分(以符号s1’～sn’表示)，分派给n个子搜寻电路202a，平行化地进行移动补偿搜寻程序。

请参阅图7。于一实施例中，判断电路204包含一量化电路204a与一比较电路204b。量化电路204a负责将移动向量预测值pmv1～pmvn量化，以产生量化后移动向量预测值pmvq1～pmvqn。当这些移动向量预测值是以多个二进位或八进位比特表示，此量化程序可被视为忽略较低有效比特，仅考虑较高有效比特。只要量化的解析度选择得当，两个移动向量预测值的较高有效比特相同便等同于距离近到会使得其搜寻范围相互重叠。因此，比较电路204b是用以比较量化后移动向量预测值pmvq1～pmvqn。若其中有m个量化后移动向量预测值相同(m为大于一的整数)，比较电路204b即判定相对应的m个搜寻范围符合重叠条件。

本发明的另一具体实施例为一种影像处理方法，其流程图是绘示于图8。首先，步骤s801是为一目标影像区块取得n个移动向量预测值，并据此于一参考帧中设定n个相对应的搜寻范围，其中n为大于一的整数。接着，步骤s802为于该n个搜寻范围中进行一移动补偿搜寻程序，借此为该目标影像区块找出一移动向量。随后，步骤s803为根据该移动向量为该目标影像区块编码。

本发明所属技术领域中具有通常知识者可理解，先前在介绍影像处理装置200时描述的各种操作变化亦可应用至图8中的影像处理方法，其细节不再赘述。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。