专利名称：：一种多视点视频信号的编码方法
技术领域：
：本发明涉及一种多视点视频信号的处理方法，尤其是涉及一种多视点视频信号的编码方法。
背景技术：
：多视点视频信号是单通道视频信号在空间方面的扩展。多视点视频系统与单通道视频系统相比，多视点视频系统能让用户自由地在不同的视角观测场景，并具有交互功能。多视点视频信号的编码技术在自由视点电视、立体电视、自由视点视频通信和三维远程医疗等领域具有广泛的应用前景。由于多视点视频信号的数据量随着相机数目的增加而成倍增加，因此要将多视点视频信号运用到实际的多视点视频系统之中，必须对多视点视频信号进行压縮编码，以缓解多视点视频信号带来的存储和传输压力。对多视点视频信号进行编码最简单的方法是采用先进的视频编码标准对各个视点的视频信号独立地进行编码。然而，多视点视频信号除了帧内和时间相关性外，还具有视点间的相关性，为了利用这些相关性对多视点视频信号进行高效压縮编码，可以采用精心设计的分层B帧(HierarchicalBPictures,HBP)编码预测结构。HBP除了采用运动估计消除时间上的冗余外，还采用了视差估计来消除视点间的相关性空间冗余，能够对多视点视频信号进行较好的压縮。HBP编码预测结构如图1所示，图1中GOP(groupofpictures，图像组)长度为8，S。S7表示8个视点，T。T7为GOP的8个时刻，箭头表示帧间参考关系，如帧SJ4参考了帧SJ。、帧SA、帧S。T4和帧S2T4，其中帧SJo和帧SJ8为时间参考帧，帧S。T4和帧S2T4为视点参考帧。JVT(JointVideoTeam)长期致力于视频编码的标准化工作，提出了多视点视频编码校验模型(JointMulti-viewVideoModel,JMVM)，作为多视点视频信号编解码的研究平台。JMVM中利用了H.264编码标准和HBP编码预测结构。在JMVM中，宏块编码牛莫式可分为SKIP、Interl6X16、Interl6X8、Inter8X16、Inter8X8Frext、Inter8X8、Intral6X16、Intra8X8和Intra4X4等。在编码过程中，如果当前正在处理的宏块所在帧为I帧，则编码器需测试Intral6X16、Intra8X8和Intra4X4宏块编码模式，从这三种宏块编码模式中找到具有率失真代价最小的宏块编码模式作为该宏块的最优宏块编码模式；如果当前正在处理的宏块所在帧为P帧或者B帧，则编码器将搜索多个参考帧的情况下还需依欠测i式SKIP、Interl6X16、Interl6X8、Inter8X16、Inter8X8、Inter8X8Frext、Intral6X16、Intra8X8和Intra4X4宏块编码模式，从这些宏块编码模式中找到具有率失真代价最小的宏块编码模式作为该宏块的最优宏块编码模式，其中，率失真代价通过J(s，c，M0DElAM0DE)=SSD(s，c，MODE|QP)+AM0DEK(s，c，MODE)计算得到，M0DE表示当前宏块的一种编码模式，J(s，c，M0DElAM。DE)表示MODE模式下的率失真代价，s为原始的视频信号，c为采用MODE模式编码后的重构视频信号，AM。DE为拉格朗日乘子，R(s，c，MODE)表示MODE模式下用来编码宏块头信息、视差矢量信息和所有DCT(DiscreteCosineTransform,离散余弦变换)系数的所有编码比特数，SSD(s，c，M0DElQP)为原始的视频信号和重构视频信号之间的平方差值和(SSD，SumofSquareDifference),SSD(s，c，MODE|QP)的值通过5SD^,c，M2M:i0P)-2^》[z'，y]-/,]f计算得到，Bl、B2分别为当前宏块的水平和垂直像素数，可以取值16、8或4，1=(lx，ly)T表示视差矢量，QP为量化参量，[i，j]表示像素的坐标，s[i，j]表示原始的视频信号中坐标为[i，j]的像素的像素值，c[i，j]表示重构视频信号中坐标为[i，j]的像素的像素值。这种传统的简单的多视点视频编码方法通过利用多参考帧技术和多种宏块编码模式全搜索的技术可以获得较高的率失真性能，但同时也导致非常高的计算复杂度。如果用a表示总视点数，e表示平均参考帧数，e表示宏块编码模式种类数，则该多视点视频编码方法编码的时间复杂度可以近似表示为O(aXeXe)，由此可见，该多视点视频编码方法具有非常巨大的计算复杂度，从而给实际运用带来了严重的障碍。
发明内容本发明所要解决的技术问题是提供一种在保证利用彩色视频编码的率失真性能的前提下，降低彩色视频编码的计算复杂度，提高彩色视频编码的编码速度的多视点视频信号的编码方法。本发明解决上述技术问题所采用的技术方案为一种多视点视频信号的编码方法，该编码方法在基于H.264编码标准的多视点视频编码校验模型JMVM上，采用JVT推荐的分层B帧编码预测结构对多视点视频信号中的彩色视频进行编码，具体过程如下对于彩色视频中的所有I帧以16X16宏块为单位进行处理，对于当前正在处理的I帧中的各个16X16宏块，编码器采用现有的H.264的率失真优化技术搜索Intral6X16、Intra8X8和Intea4X4宏块编码模式，从这三种宏块编码模式中选出率失真代价最小的宏块编码模式作为各个16X16宏块各自的最优宏块编码模式，再利用各个16X16宏块各自的最优宏块编码模式对各个16X16宏块进行编码；对于彩色视频中的所有P帧以16X16宏块为单位进行处理，对于当前正在处理的P帧中的各个16X16宏块，编码器采用现有的H.264的率失真优化技术搜索SKIP、Interl6X16、Interl6X8、Inter8X16、Inter8X8、Inter8X8Frext、Intral6X16、Intra8X8和Intra4X4宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为各个16X16宏块各自的最优宏块编码模式，再利用各个16X16宏块各自的最优宏块编码模式对各个16X16宏块进行编码；对于彩色视频中的所有B帧以16X16宏块为单位进行处理，对于当前正在处理的B帧中的各个16X16宏块采用如下步骤进行编码①定义当前正在处理的B帧为当前B帧，编码器针对当前B帧根据分层B帧编码预测结构形成两个参考帧队列，其中一个参考帧队列为当前B帧的前向参考帧队列，另一个参考帧队列为当前B帧的后向参考帧队列，前向参考帧队列中的第一个前向参考帧及后向参考帧队列中的第一个后向参考帧与当前B帧在时间上最近；②定义当前B帧中待编码的16X16宏块为当前宏块，判断当前B帧的前向参考帧队列中的第一个前向参考帧与当前B帧的后向参考帧队列中的第一个后向参考帧是否均为B帧，如果是，则继续执行，否则，执行步骤;③判断该前向参考帧及该后向参考帧中分别与当前宏块位置相对应的宏块的编码模式是否为SKIP或Interl6X16宏块编码模式，如果是，则编码器采用现有的H.264的率失真优化技术搜索SKIP和Interl6X16宏块编码模式，从这两种宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式，并执行步骤⑧，否则，执行步骤;④编码器采用现有的H.264的率失真优化技术搜索SKIP和Interl6X16宏块编码模式，判断SKIP宏块编码模式的率失真代价是否小于等于Interl6X16宏块编码模式的率失真代价，如果是，则将SKIP宏块编码模式作为当前宏块的最优宏块编码模式，并执行步骤⑧，否则，继续执行；⑤编码器采用现有的H.264的率失真优化技术搜索Inter8X8和Inter4X4宏块编码模式，在搜索这两种宏块编码模式时分别对当前B帧的前向参考帧队列中的所有前向参考帧和后向参考帧队列中的所有后向参考帧进行搜索，分别找出这两种宏块编码模式各自对应的最优参考帧，判断这两种宏块编码模式各自对应的最优参考帧是否为同一帧，如果是，则编码器采用现有的H.264的率失真优化技术搜索Interl6X8、Inter8X16、Inter8X4、和Inter4X8宏块编码模式，在搜索这些宏块编码模式时仅对最优参考帧进行搜索，并执行步骤⑦，否则，继续执行；⑥编码器采用现有的H.264的率失真优化技术搜索Interl6X8、Inter8X16、Inter8X4、和Inter4X8宏块编码模式，在搜索这些宏块编码模式时分别对当前B帧的前向参考帧队列中的所有前向参考帧和后向参考帧队列中的所有后向参考帧进行搜索；⑦编码器采用现有的H.264的率失真优化技术搜索Intral6X16、Intra8X8和Intra4X4宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式；⑧编码器利用当前宏块的最优宏块编码模式对当前宏块进行编码，然后将下一个待编码的16X16宏块作为当前宏块，重复执行步骤②⑧，直至当前B帧中的所有16X16宏块编码完毕，完成当前B帧的编码过程。所述的步骤③中判断该前向参考帧及该后向参考帧中分别与当前宏块位置相对应的宏块的编码模式是否为SKIP或Interl6X16宏块编码模式时，该前向参考帧及该后向参考帧中分别与当前宏块位置相对应的宏块的编码模式的组合存在四种情况，情况一该前向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式；情况二该前向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式；情况三该前向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式；情况四该前向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式。与现有技术相比，本发明的优点在于利用了多视点视频编码过程的统计特性，如在HBP编码预测结构中B帧占了绝大部分的比例、B帧中各宏块编码模式的测试所花的时间比例是严重不均衡的、B帧中各种宏块编码模式为最优宏块编码模式的比例都是不均衡的、帧间对应位置的宏块的宏块编码模式具有非常强的相关性、通常SKIP宏块编码模式的率失真代价比Interl6X16宏块编码模式的率失真代价小及当Inter8X8和Inter4X4宏块编码模式的最优参考帧为同一参考帧时，Interl6X8、Inter8X16、Inter8X4和Inter4X8宏块编码模式的最优参考帧也为该参考帧具有很高的概率等，设计了宏块编码模式搜索过程的提前终止方法和减少部分帧间宏块编码模式搜索的参考帧数方法来加速编码速度。经过对"Racer，、"Ballroom，，、"Exit，，、"AltMoabit，，、"LeavingLaptop"、"Breakdancers"、"Champagne—tower"禾口"Pantomime"领lj试序歹ll的实验，实验表明上述领lj试序列采用本发明方法进行多视点视频信号编码与采用现有的JMVM方法相比，本发明编码方法率失真性能只有略微的下降，有效降低了计算复杂度，大大地提高了编码速度，并经统计，表明本发明编码方法的峰值信噪比PSNR平均下降0.08dB，码率就上升2.03%，编码速度约提高了3.717.22倍。图1为分层B帧编码预测结构的示意图；图2a为"AltMoabit"测试序列中各种宏块编码模式的分布比例示意图；图2b为"Exit"测试序列中各种宏块编码模式的分布比例示意图；图3为"AltMoabit"、"ChampagneJ:ower"、"Exit"禾[I"Racer，测试序列中各自的当前B帧的时间上最近的前向参考帧和后向参考帧均为B帧，且该最近的前向参考帧和该最近的后向参考帧中与当前正在处理的宏块对应位置的宏块均为SKIP或Interl6X16宏块编码模式时，当前B帧中宏块编码模式为SKIP或Interl6X16的比例示意图；图4为对视频的一个B帧中的各个宏块编码的流程框图；图5a为"Racel"测试序列采用JMVM编码方法和本发明编码方法的率失真性能对比示意图；图5b为"Ballroom"测试序列采用JMVM编码方法和本发明编码方法的率失真性能对比示意图；图5c为"Exit"测试序列采用JMVM编码方法和本发明编码方法的率失真性能对比示意图；图5d为"AltMoabit"测试序列采用JMVM编码方法和本发明编码方法的率失真性能对比示意图；图5e为"LeavingLaptop"测试序列采用JMVM编码方法和本发明编码方法的率失真性能对比示意图；图5f为"Breakdancers"测试序列采用JMVM编码方法和本发明编码方法的率失真性能对比示意图；图5g为"Champagne—tower"测试序列采用JMVM编码方法和本发明编码方法的率失真性能对比示意图；图5h为"Pantomime"测试序列采用JMVM编码方法和本发明编码方法的率失真性能对比示意图。具体实施例方式以下结合附图实施例对本发明作进一步详细描述。对多视点视频信号进行编码，可以采用JVT(JointVideoTeam,联合视频专家组)推荐的分层B帧(HBP，HierarchicalBPictures)编码预测结构进行编码，可以充分利用多视点视频信号的时间相关性和视点间相关性，取得很好的压縮性能。图1给出了GOP(GroupofPictures,图像组)长度为8的HBP编码预测结构的示意图，每个GOP所包含的帧数为视点数XG0P的长度，图1所示的HBP编码预测结构中视点数为8，因此可知该GOP所包含的帧数为64帧。在一个GOP中B帧通常占有很大的百分比，如图1中每个GOP有64帧，B帧有59个，占整个GOP所包含的帧数的92.19%，同样，当GOP的长度为12或15时，B帧在整个GOP所包含的帧数中所占的百分比将更高，表1给出了当GOP的长度分别为8、12和15时，B帧的占有百分比。表1一个GOP中B帧的占有比例GOP长度81215B帧占有比(％)92.19%94.79%95.83%在基于H.264编码标准的多视点视频编码校验模型JMVM(JointMulti-viewVideoModel)上，由于B帧采用双向预测的编码方式，这样导致其计算复杂度极高。而B帧中各种宏块编码模式测试所花的时间是不平衡的，表2列出了B帧中各种宏块编码模式测试所花时间的百分比例，从表2中可以看出，帧内模式(Intra宏块编码模式)和SKIP宏块编码模式测试所花时间即计算复杂度远小于其他帧间模式(帧间模式包括Interl6X16、Interl6X8、Inter8X16、Inter8X8禾卩Inter8X8Frext)的计算复杂度，而其中Interl6X16、Interl6X8、Inter8X16和Inter8X8Frext宏i央编码模式的计算复杂度比较相近，但是它们的计算复杂度都远小于Inter8X8宏块编码模式的计算复杂度。此外，B帧中各种宏块编码模式的分布也是不平衡的，一般说来SKIP宏块编码模式占绝大部分比例，其次为Interl6X16宏块编码模式，其它的宏块编码模式占的部分比例很小，图2a给出了"AltMoabit"测试序列中各种宏块编码模式的分布比例，图2b给出了"Exit"测试序列中各种宏块编码模式的分布比例，从图2a和图2b中均可以看出，SKIP宏块编码模式占绝大部分比例，其次为Interl6X16宏块编码模式。表2B帧中各种宏块编码模式测试所花时间的百分比例SKIPInterl6X16Interl6X8Inter8X16Inter8X8Inter8X8FrextIntraTotal所花时间Us)2340241145023844962194384百分比(％)0.529.189.3710.2754.3711.34.99100由于多视点视频信号具有非常强的时间相关性，编码过程中宏块编码模式的选择也存在相似性，在编码过程中编码器针对当前B帧根据分层B帧编码预测结构形成两个8参考帧队列，其中一个参考帧队列为当前B帧的前向参考帧队列，另一个参考帧队列为当前B帧的后向参考帧队列，前向参考帧队列中的第一个前向参考帧及后向参考帧队列中的第一个后向参考帧与当前B帧在时间上最近。图3给出了"AltMoabit"、"Champagne—tower"、"Exit"和"Racel"测试序列中各自的当前B帧的时间上最近的前向参考帧和后向参考帧均为B帧，且该最近的前向参考帧和该最近的后向参考帧中与当前正在处理的宏块对应位置的宏块均为SKIP或Interl6X16宏块编码模式时，当前B帧中宏块编码模式为SKIP或Interl6X16的比例，从图3中可以看出，由此看来，帧间对应位置的宏块编码模式存在较强的相关性，如果我们利用参考帧的宏块编码模式来预测当前宏块的宏块编码模式将节省部分宏块编码模式遍历的时间。因此，如果当前B帧的最近的前向参考帧和最近的后向参考帧都为B帧，且该最近的前向参考帧和该最近的后向参考帧中与当前正在处理的宏块对应位置的宏块均为SKIP或Interl6X16宏块编码模式，则当前宏块仅搜索SKIP和Interl6X16宏块编码模式，并选择率失真代价值较小的宏块编码模式作为当前宏块的最优宏块编码模式。每个宏块的率失真代价由失真和编码比特数两部分构成，而B帧的SKIP宏块编码模式的率失真代价仅由运动/视差矢量、参考帧和模式等的编码比特数决定，因此，当编码位于静止区域或背景区域的宏块时，也就是当前帧与参考帧相同位置的内容相近或相同时，则需编码的失真会很小，这时，率失真代价主要由编码比特数决定，从而最终选择SKIP宏块编码模式作为最优宏块编码模式的概率也会很大。因此，在这些静止区域或背景区域中，通常SKIP宏块编码模式的率失真代价比Interl6X16宏块编码模式的率失真代价小，假如SKIP宏块编码模式的率失真代价小于等于Interl6X16宏块编码模式的率失真代价，则可以跳出对其它宏块编码模式的测试过程，直接以SKIP宏块编码模式作为最终的宏块编码模式。表3给出了"Racer，、"Exit，，、"Ballroom，，、"Breakdancers，，、"AltMoabit"、"LeavingLaptop"、"Champagne_tower"和"Pantomime"等测试序列的B帧中SKIP宏块编码模式的统计结果，从表3中可知通过上述方法确定SKIP宏块编码模式为最优宏块编码模式的准确率较高。表3B帧中SKIP宏块编码模式的统计结果<table>tableseeoriginaldocumentpage9</column></row><table><table>tableseeoriginaldocumentpage10</column></row><table>在多视点视频信号的B帧中，各种帧间模式都有多个前向参考帧和多个后向参考帧。所有宏块编码模式在每个参考帧中都进行运动/视差估计，这种多参考帧全搜索的方法可以获得最好的编码效果，然而编码复杂度随着参考帧数量的增加呈线性增长。但是在编码过程，对于同一个宏块，在参考帧选择上具有一定的相关性，即每种宏块编码模式的最优参考帧为同一帧的可能性很大。经过统计分析，Interl6X8、Inter8X16、Inter8X4和Inter4X8宏块编码模式的最优参考帧与Inter8X8和Inter4X4宏块编码模式的最优参考帧有很大的相关性，特别是，当Inter8X8和Inter4X4宏块编码模式的最优参考帧为同一参考帧时，Interl6X8、Inter8X16、Inter8X4和Inter4X8宏i央编码模式的最优参考帧也为该参考帧具有很高的概率。因此，在参考帧选择上，可以考虑策略如果与Inter8X8和Inter4X4宏块编码模式的最优参考帧为同一帧，则Inter8X4、Inter4X8、Interl6X8和Inter8X16宏块编码模式仅搜索该帧，这样可以节省大量的参考帧搜索时间。基于以上深入分析，本申请提出了一种多视点视频信号的编码方法，该编码方法在基于H.264编码标准的多视点视频编码校验模型JMVM上，采用JVT推荐的分层B帧编码预测结构对多视点视频信号中的彩色视频进行编码，具体处理过程如下对于彩色视频中的所有I帧以16X16宏块为单位进行处理，对于当前正在处理的I帧中的各个16X16宏块，编码器采用现有的H.264的率失真优化技术搜索Intral6X16、Intra8X8和Intea4X4宏块编码模式，从这三种宏块编码模式中选出率失真代价最小的宏块编码模式作为各个16X16宏块各自的最优宏块编码模式，再利用各个16X16宏块各自的最优宏块编码模式对各个16X16宏块进行编码。对于彩色视频中的所有P帧以16X16宏块为单位进行处理，对于当前正在处理的P帧中的各个16X16宏块，编码器采用现有的H.264的率失真优化技术搜索SKIP、Interl6X16、Interl6X8、Inter8X16、Inter8X8、Inter8X8Frext、Intral6X16、Intra8X8和Intra4X4宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为各个16X16宏块各自的最优宏块编码模式，再利用各个16X16宏块各自的最优宏块编码模式对各个16X16宏块进行编码。对于彩色视频中的所有B帧以16X16宏块为单位进行处理，对于当前正在处理的B帧中的各个16X16宏块采用如图4所示的流程进行快速编码，步骤如下①定义当前正在处理的B帧为当前B帧，编码器针对当前B帧根据分层B帧编码预测结构形成两个参考帧队列，其中一个参考帧队列为当前B帧的前向参考帧队列，另一个参考帧队列为当前B帧的后向参考帧队列，前向参考帧队列中的第一个前向参考帧及后向参考帧队列中的第一个后向参考帧与当前B帧在时间上最近。②定义当前B帧中待编码的16X16宏块为当前宏块，判断当前B帧的前向参考帧队列中的第一个前向参考帧与当前B帧的后向参考帧队列中的第一个后向参考帧是否均为B帧，如果是，则继续执行，否则，执行步骤。③判断该前向参考帧及该后向参考帧中分别与当前宏块位置相对应的宏块的编码模式是否为SKIP或Interl6X16宏块编码模式，如果是，则编码器采用现有的H.264的率失真优化技术搜索SKIP和Interl6X16宏块编码模式，从这两种宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式，并执行步骤⑧，否则，执行步骤。在此，判断该前向参考帧及该后向参考帧中分别与当前宏块位置相对应的宏块的编码模式是否为SKIP或Interl6X16宏块编码模式时，该前向参考帧及该后向参考帧中分别与当前宏块位置相对应的宏块的编码模式的组合存在四种情况，情况一该前向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式；情况二该前向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式；情况三该前向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式；情况四该前向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式。④编码器采用现有的H.264的率失真优化技术搜索SKIP和Interl6X16宏块编码模式，判断SKIP宏块编码模式的率失真代价是否小于等于Interl6X16宏块编码模式的率失真代价，如果是，则将SKIP宏块编码模式作为当前宏块的最优宏块编码模式，并执行步骤⑧，否则，继续执行。⑤编码器采用现有的H.264的率失真优化技术搜索Inter8X8和Inter4X4宏块编码模式，在搜索这两种宏块编码模式时分别对当前B帧的前向参考帧队列中的所有前向参考帧和后向参考帧队列中的所有后向参考帧进行搜索，分别找出这两种宏块编码模式各自对应的最优参考帧，判断这两种宏块编码模式各自对应的最优参考帧是否为同一帧，如果是，则编码器采用现有的H.264的率失真优化技术搜索Interl6X8、Inter8X16、Inter8X4、和Inter4X8宏块编码模式，在搜索这些宏块编码模式时仅对最优参考帧进行搜索，并执行步骤⑦，否则，继续执行。⑥编码器采用现有的H.264的率失真优化技术搜索Interl6X8、Inter8X16、Inter8X4、和Inter4X8宏块编码模式，在搜索这些宏块编码模式时分别对当前B帧的前向参考帧队列中的所有前向参考帧和后向参考帧队列中的所有后向参考帧进行搜索。⑦编码器采用现有的H.264的率失真优化技术搜索Intral6X16、Intra8X8和Intra4X4宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式。⑧编码器利用当前宏块的最优宏块编码模式对当前宏块进行编码，然后将下一个待编码的16X16宏块作为当前宏块，重复执行步骤②⑧，直至当前B帧中的所有16X16宏块编码完毕，完成当前B帧的编码过程。对于上述各个B帧本发明利用了多视点视频编码的宏块编码模式和参考帧选择的统计特性，设计了宏块编码模式搜索过程的提前终止方法和减少部分帧间宏块编码模式搜索的参考帧数方法来加速多视点视频编码的速度。为了衡量本发明编码方法的性能，利用现有的JMVM编码方法和本发明编码方法分另ll对"Racel"、"Ballroom"、"Exit"、"AltMoabit，，、"LeavingLaptop"、"Breakdancers"、"Champagne—tower"和"Pantomime"等测试序列在相同的环境下作了两轮编码测试，第一轮采用现有的JMVM编码方法，第二轮采用本发明编码方法。编码测试主要根据JVT提出的多视点视频公共的测试环境，具体参数如表4所列。实验中，"Ballroom"和"Exit"测试序列的G0P长度设置为12，其它测试序列的G0P长度设置为15;所有测试序列在每轮实验中都测试了61帧。实验在Inter(R)Xeon(TM)3.2GHzCPU,13GB内存的服务器机上完成。表4测试参数设置<table>tableseeoriginaldocumentpage12</column></row><table>表5给出了"Racer，、"Ballroom"、"Exit"、"AltMoabit"、"LeavingLaptop"、"Breakdancers"、"Champagne_tower"禾卩"Pantomime"各个测试序列采用JMVM方法以及本发明编码方法进行多视点视频信号编码的编码速度提升的情况。从表5可以得知，与现有的JMVM方法相比，本发明编码方法的编码速度提高了3.717.22倍。表5各测试序列采用JMVM编码方法的编码时间、采用本发明编码方法的编码时间和本发明方法相对于JMVM编码方法的加速倍数列表<table>tableseeoriginaldocumentpage12</column></row><table><table>tableseeoriginaldocumentpage13</column></row><table>图5a至图5h分别给出了"Racel"、"Ballroom"、"Exit"、"AltMoabit"、"LeavingLaptop"、"Breakdancers"、"Champagne—tower"禾口"Pantomime"领lH式序歹ll分另ll米用JMVM编码方法和本发明编码方法进行编码的编码率失真性能比较示意图，从图5a至图5h可以看出，本发明编码方法率失真性能和JMVM编码方法相比，只有略微的下降。经统计，峰值信噪比PSNR平均下降0.08dB，码率上升2.03%，由此可见，本发明编码方法在保证了编码率失真性能的前提下，有效降低了计算复杂度，大大地提高了编码速度。权利要求一种多视点视频信号的编码方法，其特征在于该编码方法在基于H.264编码标准的多视点视频编码校验模型JMVM上，采用JVT推荐的分层B帧编码预测结构对多视点视频信号中的彩色视频进行编码，具体过程如下对于彩色视频中的所有I帧以16×16宏块为单位进行处理，对于当前正在处理的I帧中的各个16×16宏块，编码器采用现有的H.264的率失真优化技术搜索Intra16×16、Intra8×8和Intea4×4宏块编码模式，从这三种宏块编码模式中选出率失真代价最小的宏块编码模式作为各个16×16宏块各自的最优宏块编码模式，再利用各个16×16宏块各自的最优宏块编码模式对各个16×16宏块进行编码；对于彩色视频中的所有P帧以16×16宏块为单位进行处理，对于当前正在处理的P帧中的各个16×16宏块，编码器采用现有的H.264的率失真优化技术搜索SKIP、Inter16×16、Inter16×8、Inter8×16、Inter8×8、Inter8×8Frext、Intra16×16、Intra8×8和Intra4×4宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为各个16×16宏块各自的最优宏块编码模式，再利用各个16×16宏块各自的最优宏块编码模式对各个16×16宏块进行编码；对于彩色视频中的所有B帧以16×16宏块为单位进行处理，对于当前正在处理的B帧中的各个16×16宏块采用如下步骤进行编码①定义当前正在处理的B帧为当前B帧，编码器针对当前B帧根据分层B帧编码预测结构形成两个参考帧队列，其中一个参考帧队列为当前B帧的前向参考帧队列，另一个参考帧队列为当前B帧的后向参考帧队列，前向参考帧队列中的第一个前向参考帧及后向参考帧队列中的第一个后向参考帧与当前B帧在时间上最近；②定义当前B帧中待编码的16×16宏块为当前宏块，判断当前B帧的前向参考帧队列中的第一个前向参考帧与当前B帧的后向参考帧队列中的第一个后向参考帧是否均为B帧，如果是，则继续执行，否则，执行步骤④；③判断该前向参考帧及该后向参考帧中分别与当前宏块位置相对应的宏块的编码模式是否为SKIP或Inter16×16宏块编码模式，如果是，则编码器采用现有的H.264的率失真优化技术搜索SKIP和Inter16×16宏块编码模式，从这两种宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式，并执行步骤⑧，否则，执行步骤④；④编码器采用现有的H.264的率失真优化技术搜索SKIP和Inter16×16宏块编码模式，判断SKIP宏块编码模式的率失真代价是否小于等于Inter16×16宏块编码模式的率失真代价，如果是，则将SKIP宏块编码模式作为当前宏块的最优宏块编码模式，并执行步骤⑧，否则，继续执行；⑤编码器采用现有的H.264的率失真优化技术搜索Inter8×8和Inter4×4宏块编码模式，在搜索这两种宏块编码模式时分别对当前B帧的前向参考帧队列中的所有前向参考帧和后向参考帧队列中的所有后向参考帧进行搜索，分别找出这两种宏块编码模式各自对应的最优参考帧，判断这两种宏块编码模式各自对应的最优参考帧是否为同一帧，如果是，则编码器采用现有的H.264的率失真优化技术搜索Inter16×8、Inter8×16、Inter8×4、和Inter4×8宏块编码模式，在搜索这些宏块编码模式时仅对最优参考帧进行搜索，并执行步骤⑦，否则，继续执行；⑥编码器采用现有的H.264的率失真优化技术搜索Inter16×8、Inter8×16、Inter8×4、和Inter4×8宏块编码模式，在搜索这些宏块编码模式时分别对当前B帧的前向参考帧队列中的所有前向参考帧和后向参考帧队列中的所有后向参考帧进行搜索；⑦编码器采用现有的H.264的率失真优化技术搜索Intra16×16、Intra8×8和Intra4×4宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式；⑧编码器利用当前宏块的最优宏块编码模式对当前宏块进行编码，然后将下一个待编码的16×16宏块作为当前宏块，重复执行步骤②～⑧，直至当前B帧中的所有16×16宏块编码完毕，完成当前B帧的编码过程。2.根据权利要求1所述的一种多视点视频信号的编码方法，其特征在于所述的步骤③中判断该前向参考帧及该后向参考帧中分别与当前宏块位置相对应的宏块的编码模式是否为SKIP或Inter16X16宏块编码模式时，该前向参考帧及该后向参考帧中分别与当前宏块位置相对应的宏块的编码模式的组合存在四种情况，情况一该前向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式；情况二该前向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式；情况三该前向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为SKIP宏块编码模式；情况四该前向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式，该后向参考帧中与当前宏块位置相对应的宏块的编码模式为Interl6X16宏块编码模式。全文摘要本发明公开了一种多视点视频信号的编码方法，优点在于利用多视点视频编码的宏块编码模式和参考帧选择的统计特性，设计了宏块编码模式搜索过程的提前终止方法和减少部分帧间宏块编码模式搜索的参考帧数方法来加速多视点视频编码的速度，对多个测试序列进行实验，表明采用本发明方法与JMVM方法相比，本发明编码方法率失真性能只有略微的下降，有效降低了计算复杂度，大大地提高了编码速度，并经统计，表明本发明编码方法的峰值信噪比PSNR平均下降0.08dB，码率就上升2.03％，编码速度约提高了3.71～7.22倍。文档编号H04N7/32GK101720042SQ20091015433公开日2010年6月2日申请日期2009年11月27日优先权日2009年11月27日发明者何萍,彭宗举,蒋刚毅,郁梅申请人:宁波大学