专利名称：一种基于avs的亚像素运动估计的装置的制作方法
技术领域：
本发明涉及数字图像处理技术领域，尤其涉及一种基于AVS的亚像素运动估计的
>J-U装直。
背景技术：
二十世纪九十年代以来，数字视频压缩技术被广泛应用于通信、个人计算机、广播电视、消费电子等领域，堪称数字媒体产业的核心技术。以MPEG-2为代表的信源编码标准 获得了巨大的成功。进入新世纪以来，以H. 264/AVC和AVS为代表的新一代信源编码标准出现了。AVS标准是我国具有自主知识产权的信源编码标准。2006年2月，AVS视频标准已经正式被批准为国家标准，进入了产业化推广的阶段。由于AVS视频标准的主要应用对象是标准清晰度/高清晰度电视，编码过程的计算复杂度较大，对编码器的硬件设计提出了挑战。编码器的核心算法是帧间预测。帧间预测的主要目的是去除视频序列中的时域冗余，它是混合视频编码框架中对性能影响最为重要的一个环节，也是复杂度最高、耗费芯片面积最大和功耗最高的环节。帧间预测包括整像素运动估计和亚像素运动估计。整像素运动估计是在整像素基础上进行的，在参考帧中搜索到与当前块最匹配的块作为当前块的预测块。亚像素运动估计是在整像素运动估计得到的最佳匹配位置基础上，插值出1/4精度的参考像素，然后在插值得到的1/4精度参考像素中搜索当前块的最佳匹配块。
发明内容
本发明解决的技术问题在于如何提高运动估算的处理速度。为了解决以上问题，本发明公开了一种基于AVS的亚像素运动估计的装置，由输入端、输出端和内部模块构成，其输入端包括并行输入的整像素运动估计所得到的整像素运动矢量、搜索参考像素窗和原始宏块信息，运动矢量预测模块计算得到的各模式的预测运动矢量和上层控制信息；其输出端包括各模式最匹配亚像素运动矢量，最匹配模式，最匹配亮度亚像素块，最匹配色度亚像素块；其内部模块包括顺序相连的1/2插值和代价计算单元、1/4运动矢量预选单元、跳跃插值单元、代价比较单元、参考模式选择单元、色度差值单元。进一步，作为一种优选，所述内部模块采用三级流水结构，1/2插值和代价计算单元和1/4运动矢量预选单元为第一级流水，跳跃插值单元和代价比较单元为第二级流水，参考模式选择单元和色度差值单元为第三级流水。进一步，作为一种优选，所述三级流水结构，第一级流水只处理前向参考模式和后向参考模式的各种可变大小块模式，第二级流水对前向参考模式、后向参考模式、直接参考模式和对称参考模式的待处理子块进行统筹调度以节省处理时间和电路面积，第三级流水根据前两级流水的运算结果进行参考模式选择和相应的色度亚像素插值。进一步，作为一种优选，所述三级流水结构，1/2插值后的亚像素不需要全部被存储起来备用，只需要保存最 优匹配的像素点，如果最优点是整像素点则只保存整像素点。进一步，作为一种优选，所述1/2插值和代价计算单元，只插值出紧邻最优整像素点的水平方向和垂直方向上的4个1/2像素点，计算4个点的编码代价，并比较这4个1/2像素点和最优整像素点的编码代价，找出其中编码代价最大和最小的两个点，并把结果传给1/4运动矢量预选单元。进一步，作为一种优选，所述1/4运动矢量预选单元，从1/2插值和代价计算单元中得到最优整像素点周围编码代价最大和最小的两个点的位置信息，并根据该信息预选出1/4最优匹配点。进一步，作为一种优选，所述跳跃插值单元，直接利用整像素插值出1/4像素点，并且所用的插值公式可以配于不同的参数插值出1/2像素点。进一步，作为一种优选，所述代价比较单元，只比较前向参考模式和后向参考模式中1/2插值、比较后得到的最匹配点和1/4跳跃插值后的得到的1/4像素点的编码代价，选出最匹配点。进一步，作为一种优选，所述参考模式选择单元，比较每种可变大小块模式在每种参考模式中的编码代价，选择最佳的参考模式。进一步，作为一种优选，所述色度差值单元，在参考模式选择之后，根据最佳参考模式下的最匹配参考点的运动矢量，插值出色度的分像素点。进一步，作为一种优选，所述预选1/4最优匹配点的方法如下(1)1/2搜索最优点为中心点，最差点落在四个水平垂直1/2点上，决断出的1/4点的位置为紧邻中心点，并且在最优点和最差点所在的直线上，距离最差点较远的那个1/4点；(2) 1/2搜索最差点为中心点，最优点落在四个水平垂直1/2点上，决断出的1/4点的位置为紧邻最优的1/2点，并且在最优点和最差点所在的直线上，距离最差点较远的那个1/4点；(3)最优点和最差点都落在周围四个1/2点上，且两个点都在水平方向或者都在垂直方向上，决断出的1/4点为紧邻最优点，并且在最优点和最差点所在的直线上，距离最差点较近的那个1/4点；(4)最优点和最差点都落在周围四个1/2点上,两个点一个落在水平方向上,一个落在都在垂直方向上，决断出的1/4点为紧邻最优点，并且也在水平方向或者垂直方向上，距离最差点较远的两个点中距离其他中间点较近的那个1/4点。进一步，作为一种优选，所述跳跃插值单元所用的插值公式，在使用三个不同公式插值计算1/4像素点时，将1/4像素点分为三种类型Q I、Q2、Q3，定义如下(1)Q1是与整像素点同在一条水平或者垂直方向的直线上；(2)Q2是只与1/2点在同一条水平或者垂直方向的直线上；(3)Q3是只与1/4点在同一条水平或者垂直方向的直线上。15.进一步，作为一种优选，所述三个不同跳跃插值计算公式，具体如下(I)Ql= (WA1*IA1+…+WA5*IA5+WA6)/WA7(2)Q2 = (WB1*IB1+…+WB20*IB20+WB21)/WB22(3)Q3 = (WC1*IC1+…+WC16*IC16+WC16)/WC17三个公式中W*代表不同的权重，I*代表整像素点，角标数字代表个数顺序。进一步，作为一种优选，所述三个不同跳跃插值计算公式，W*取不同的值，公式可以得到1/2像素点。本发明提供的亚像素运动估计的参考模式，有前向参考模式、后向参考模式、双向参考模式、直接参考模式。其中双向参考模式和直接参考模式复用前向参考处理模块和后向参考处理模块，四种模式通过复用模块以减少电路面积。
当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分 ，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中图I亚像素运动估计装置基本结构示意图；图2根据1/2像素的编码代价值进行1/4点的预选示意图；图3前向参考模式、后向参考模式的备选1/4像素点示意图；图4不同类型的1/4点示意图；图5实施实例中各模式块处理在1/4跳跃插值单元中的调度示意图。
具体实施例方式以下参照图1-5对本发明的实施例进行说明。为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式
对本发明作进一步详细的说明。如图I所示，所述AVS的亚像素运动估计的装置主要包括，输入信号存储单元、1/2插值和代价计算单元(46，47)、1/4运动矢量预选单元(48，49)、对称模式和直接模式运动矢量411存储单元、跳跃插值单元(410，412)、代价比较单元(413，414)、参考模式选择单元415、色度差值单元416，上层控制信息417，预测运动矢量418。所述装置中的输入端包括整像素运动矢量(41，45)存储器，参考窗像素(42，44)存储器，原始宏块43存储器，分别保存整像素运动矢量，参考窗像素信息，原始宏块信息，以供之后的插值操作和代价计算操作使用。所述装置中的1/2插值、代价计算单元连接在输入整像素运动矢量存储器和参考窗像素存储器与1/4运动向量预决选单元之间。其功能在于从整像素运动矢量存储器中获取整像素运动矢量，并通过该矢量在参考像素存储器中取得1/2插值所需整像素点。在插值过程中，只插值出在中心点周围的水平方向和垂直方向的共四个1/2像素，如图2所示a、b为水平位置1/2像素点，c、d为垂直位置1/2像素点。然后从原始宏块存储器中得到原始像素信息，再结合运动矢量预测模块给出的预测运动矢量，计算出四个1/2像素的编码代价，找出四个1/2像素点和中心点之中编码代价最大、最小的点分别为1/2搜索的最优点和最差点。所述装置中的1/4运动向量预选单元(48，49)连接在1/2插值、代价计算单元(46,47)和跳跃插值单元(410,412)之间。其功能在于从1/2插值、代价计算单元(46，47)得到1/2搜索的最优点和最差点位置信息，并根据此信息进行所需1/4像素点的预选。预选方法如图2所示(I) 1/2搜索最优点为中心点，最差点落在四个水平垂直1/2点上，决断出的1/4点的位置为紧邻中心点，并且在最优点和最差点所在的直线上，距离最差点较远的那个1/4点。(2) 1/2搜索最差点为中心点，最优点落在四个水平垂直1/2点上，决断出的1/4点的位置为紧邻最优的1/2点，并且在最优点和最差点所在的直线上，距离最差点较远的那个1/4点。(3)最优点和最差点都落在周围四个1/2点上，且两个点都在水平方向或者都在垂直方向上，决断出的1/4点为紧邻最优点，并且在最优点和最差点所在的直线上，距离最差点较近的那个1/4点。(4)最优点和最差点都落在周围四个1/2点上，两个点一个落在水平方向上，一个落在都在垂直方向上，决断出的1/4点为紧邻最优点，并且也在水平方向或者垂直方向上，距离最差点较远的两个点中距离其他中间点较近的那个1/4点。决断出所假设的最优1/4点后，将最优1/2点的位置和编码代价及决断出的1/4点的位置保存以进行1/4插值搜索。所述装置的1/2插值、代价计算单元(46,47)和1/4运动向量预选单元(48,49)只用于前向参考模式和后向参考模式的处理过程中。所述装置中的对称模式和直接模式运动矢量存储单元411与跳跃插值单元(410，412)相连接，主要从运动矢量预测模块418得到对称模式和直接模式的运动矢量，并存储起来以供跳跃插值单元(410，412)使用。所述装置中的跳跃插值单元(410，412)连接于1/4运动向量预决选单元(48，49)和代价比较单元(413，414)之间，还与参考窗像素存储器415相连。其功能在于从1/4运动向量预决选单元(48，49)和对称模式和直接模式运动矢量存储单元411中获得1/4精度运动矢量，根据得到的运动适量从参考窗像素存储器中获得所需的整像素点，并根据跳跃插值公式直接得到1/4像素点。在插值时，根据1/4像素与整像素之间的位置关系，把1/4像素点分为三类Q1、Q2、Q3，如图3所示(I)与整像素点同在一条水平或者垂直方向的直线上。(2)只与1/2点在同一条水平或者垂直方向的直线上。(3)只与1/4点在同一条水平或者垂直方向的直线上。下面三条插值公式分别对应三种类型的1/4点(I) Ql = (WA1*IA1+... +WA5*IA5+WA6) /WA7(2)Q2 = (WB1*IB1+...+WB20*IB20+WB21)/WB22(3)Q3 = (ffcl*Icl+-+ffcl6*Icl6+ffcl6)/ffcl7Q1、Q2、Q3代表三种不同类型1/4点，W代表插值权重，I代表不同的整像素点。如果将W*配与不同的值，可以得到1/2点，这也保证了如果直接和双向模式直接给出的最终决选向量指向1/2点，也可由三个公式得到。跳跃插值单元用于前向参考模式、后向参考模式、直接模式和对称模式处理过程中。 所述装置中的代价比较单元连接于各自对应的代价比较单元和同一个参考模式选择单元之间，其功能在于将1/2代价计算后的最优点和1/4插值出来的1/4像素点的编码代价进行比较，把最匹配像素点和编码代价保存起来。所述装置中的参考模式选择单元415连接在代价比较单元(413，414)和色度插值单元(416)之间，并有输出信号传送给下级功能模块。其功能在于根据代价比较单元所得到的各种参考模式的编码代价，选择出编码代价最小的参考模式。并把最优参考模式信息，最匹配像素点，最匹配运动矢量输出给下一级功能模块。还要把最优参考模式信息和最匹配运动矢量信息传给色度插值单元，以进行色度插值。所述装置中的色度插值单元与参考模式选择单元连接，并有输出信号传送给下级功能模块。其功能在于根据参考模式选择单元选择出的最优参考模式的最优运动矢量插值出对应的色度分像素，并输出给下级功能模块。所述装置的整体结构如图I所示采用三级流水，第一级为1/2差值搜索及1/4预决选，第二级为跳跃插值，根据前向参考模式和后向参考模式1/2插值搜索的时序特点调度四种模式的宏块进入跳跃插值模块进行1/4插值。第三级为根据各模式的最优分像素点的编码代价做出参考方向的选择及根据最优方向的最优运动向量进行相应的色度插值。 在实例化中，实例化两套1/2插值和代价计算单元(46，47)、1/4运动矢量预选单元(48，49)、跳跃插值单元(410，412)和代价比较单元(413，414)，分别用来处理前向参考模式和后向参考模式及其相关运动搜索。所述装置接到上层控制模块的启动信号之后，检查各输入存储器的空满状态，若有存储器为空，则向上层控制模块返回错误信号，并回到等待状态。若所有存储器非空，则开始工作。各流水级工作顺序如图5所示首先第一级流水并行处理前向参考模式和后向参考模式中16X16分块模式的1/2插值、代价计算和1/4运动矢量预决选。由于直接模式的运动向量是有运动预测直接得到，所以此时直接模式的亚像素精度运动矢量是已知的。第二级流水和第三级流水根据已知的亚像素运动矢量用跳跃插值单元和色度插值单元分别插值出直接模式的运动矢量指向的亮度亚像素点和色度亚像素点。第一级流水处理完16X16分块模式后，顺序并行处理前向参考模式和后向参考模式的16X8、8X16和8X8可变大小块模式的1/2插值、代价计算和1/4运动矢量预决选。第二级和第三级流水处理完直接模式后，由于对称模式的可变大小块模式(16X16,16X8,8X16和8X8)只需要进行后向参考搜索，而且各模式的亚像素精度运动矢量也是由运动矢量预测模块直接给出的，所以对称模式的4中可变大小块被平均分配到前向处理电路和后向处理电路中的跳跃插值单元和色度插值单元中进行处理。第二级流水处理完成对称模式时，第一级流水已完成前向参考模式和后向参考模式的16X16可变大小块模式，第二级流水开始根据第一级流水的处理结果数据开始顺序进行前向参考模式和后向参考模式的16X16、16X8、8X16和8X8可变大小块模式的跳跃插值和代价比较。在第二级流水处理完成16X16可变大小块模式后，第三级流水根据第二级流水的结果数据，开始顺序进行前向参考模式和后向参考模式的16X16、16X8、8X16和8X8可变大小块模式的参考模式选择和色度差值。图3为前向参考模式、后向参考模式的备选1/4像素点示意图；图4为不同类型的1/4点示意图。如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。
权利要求
1.一种基于AVS的亚像素运动估计的装置，其特征在于，由输入端、输出端和内部模块构成，其输入端包括并行输入的整像素运动估计所得到的整像素运动矢量、搜索参考像素窗和原始宏块信息，运动矢量预测模块计算得到的各模式的预测运动矢量和上层控制信息；其输出端包括各模式最匹配亚像素运动矢量，最匹配模式，最匹配亮度亚像素块，最匹配色度亚像素块；其内部模块包括顺序相连的1/2插值和代价计算单元、1/4运动矢量预选单元、跳跃插值单元、代价比较单元、参考模式选择单元、色度差值单元。
2.根据权利要求I所述的一种基于AVS的亚像素运动估计的装置，其特征在于所述内部模块采用三级流水结构，1/2插值和代价计算单元和1/4运动矢量预选单元为第一级流水，跳跃插值单元和代价比较单元为第二级流水，参考模式选择单元和色度差值单元为第三级流水。
3.根据权利要求2所述的一种基于AVS的亚像素运动估计的装置，其特征在于所述三级流水结构，第一级流水只处理前向参考模式和后向参考模式的各种可变大小块模式，第二级流水对前向参考模式、后向参考模式、直接参考模式和对称参考模式的待处理子块进行统筹调度以节省处理时间和电路面积，第三级流水根据前两级流水的运算结果进行参考模式选择和相应的色度亚像素插值。
4.根据权利要求2所述的一种基于AVS的亚像素运动估计的装置，其特征在于所述三级流水结构，1/2插值后的亚像素不需要全部被存储起来备用，只需要保存最优匹配的像素点，如果最优点是整像素点则只保存整像素点。
5.根据权利要求2所述的一种基于AVS的亚像素运动估计的装置，其特征在于所述.1/2插值和代价计算单元，只插值出紧邻最优整像素点的水平方向和垂直方向上的4个1/2像素点，计算4个点的编码代价，并比较这4个1/2像素点和最优整像素点的编码代价，找出其中编码代价最大和最小的两个点，并把结果传给1/4运动矢量预选单元。
6.根据权利要求2所述的一种基于AVS的亚像素运动估计的装置，其特征在于所述.1/4运动矢量预选单元，从1/2插值和代价计算单元中得到最优整像素点周围编码代价最大和最小的两个点的位置信息，并根据该信息预选出1/4最优匹配点。
7.根据权利要求2所述的种一种基于AVS的亚像素运动估计的装置，其特征在于所述跳跃插值单元，直接利用整像素插值出1/4像素点，并且所用的插值公式可以配于不同的参数插值出1/2像素点。
8.根据权利要求2所述的一种基于AVS的亚像素运动估计的装置，其特征在于所述代价比较单元，只比较前向参考模式和后向参考模式中1/2插值、比较后得到的最匹配点和1/4跳跃插值后的得到的1/4像素点的编码代价，选出最匹配点。
9.根据权利要求2所述的一种基于AVS的亚像素运动估计的装置，其特征在于所述参考模式选择单元，比较每种可变大小块模式在每种参考模式中的编码代价，选择最佳的参考模式。
10.根据权利要求2所述的一种基于AVS的亚像素运动估计的装置，其特征在于所述色度差值单元，在参考模式选择之后，根据最佳参考模式下的最匹配参考点的运动矢量，插值出色度的分像素点。
11.根据权利要求6所述的一种基于AVS的亚像素运动估计的装置，其特征在于所述预选1/4最优匹配点的方法如下(I) 1/2搜索最优点为中心点，最差点落在四个水平垂直1/2点上，决断出的1/4点的位置为紧邻中心点，并且在最优点和最差点所在的直线上，距离最差点较远的那个1/4点；(2) 1/2搜索最差点为中心点，最优点落在四个水平垂直1/2点上，决断出的1/4点的位置为紧邻最优的1/2点，并且在最优点和最差点所在的直线上，距离最差点较远的那个1/4点；(3)最优点和最差点都落在周围四个1/2点上，且两个点都在水平方向或者都在垂直方向上，决断出的1/4点为紧邻最优点，并且在最优点和最差点所在的直线上，距离最差点较近的那个1/4点；(4)最优点和最差点都落在周围四个1/2点上，两个点一个落在水平方向上，一个落在都在垂直方向上，决断出的1/4点为紧邻最优点，并且也在水平方向或者垂直方向上，距离最差点较远的两个点中距离其他中间点较近的那个1/4点。
12.根据权利要求7所述的一种基于AVS的亚像素运动估计的装置，其特征在于所述 跳跃插值单元所用的插值公式，在使用三个不同公式插值计算1/4像素点时，将1/4像素点分为三种类型Ql、Q2、Q3，定义如下(I) Q I是与整像素点同在一条水平或者垂直方向的直线上；(2)Q2是只与1/2点在同一条水平或者垂直方向的直线上；(3)Q3是只与1/4点在同一条水平或者垂直方向的直线上。
13.根据权利要求12所述的一种基于AVS的亚像素运动估计的装置，其特征在于所述三个不同跳跃插值计算公式，具体如下(1)Ql= (WA1*IA1+…+WA5*IA5+WA6)/WA7(2)Q2= (WB1*IB1+…+WB20*IB20+WB21)/WB22(3)Q3= (WC1*IC1+…+WC16*IC16+WC16)/WC17 三个公式中W*代表不同的权重，I*代表整像素点，角标数字代表个数顺序。
14.根据权利要求13所述的种基于AVS的亚像素运动估计的装置，其特征在于所述三个不同跳跃插值计算公式，W*取不同的值，公式可以得到1/2像素点。
全文摘要
本发明公开了一种基于AVS的亚像素运动估计的装置，该装置包含两套插值搜索电路。每套插值电路中分别包含1/2插值单元、1/4插值单元、模式选择单元和色度差值单元。在1/2像素差值搜索中记录最优1/2像素点和最差1/2像素点的位置。根据这两个点的位置信息预判出一个1/4像素点位置，并假定该点是最优1/4像素点。在1/4插值单元中使用跳跃插值单元直接用整像素插值出该1/4像素点。得到1/4像素点后，使之与最优1/2像素点做比较，选出两点中最优匹配点作为搜索结果。跳跃插值单元可通过配置参数和统筹调度复用于前向参考模式、后向参考模式、直接模式和对称模式，减少实现中电路的开销。
文档编号H04N7/36GK102647595SQ201210116960
公开日2012年8月22日 申请日期2012年4月19日 优先权日2012年4月19日
发明者李源, 王飞, 解晓东, 贾惠柱, 高文 申请人:北京大学