专利名称：空间遥操作环境下立体视频编码优化方法
技术领域：
本发明涉及一种编码方法，具体是一种立体视频编码的优化方法。
背景技术：
随着三维技术的日趋成熟，由多视点摄像系统采集的立体视频信号的应用正在迅速发展，视频显示技术在未来的发展方向必定由单纯的平面显示向立体显示转变。和普通的单通道视频相比，立体视频增加了景物的深度信息，增强视觉的现实感和逼真感。立体视频信号将是未来多媒体通信的重要内容，将被广泛应用于数字电视、远程教育、远程工业控制、三维视频会议系统和虚拟现实系统等多个方面，但是与普通的单通道视频相比，立体视频传输和存储的数据量至少增加一倍以上；而在空间遥操作环境下，由于通讯带宽有限， 为了对立体视频数据进行有效的存储和传输，必须充分利用空间、时间和两个通道之间的信息冗余，采用运动补偿预测技术和视差补偿预测技术来对立体图像视频数据进行有效压缩。
立体视频是由相距65mm左右的两个平行光轴摄像机同时对一个场景进行拍摄得到，因此图像对之间有很强的双目视相关性。
立体视频总体框架如图I所示，采集部分采用多通道数据采集技术，利用两个摄像头，对现场的立体景象进行实时数据采集，并且同步传输给视频数据编码器，编码器对采集的视频数据进行实时压缩，并且进行存储或者传输，视频数据解码器根据接收到的码流进行解码处理，解码后的图像分为左右两路后再进行立体显示。
该系统摄取的视频包括左右两个通道，两个通道的图像对之间有很强的双目相关性，H. 264是一种高效的单通道视频编码标准，但是对于立体视频编码而言，并不是对左右通道分别采用高效的单通道视频编码，就可以达到很好的压缩效果。这是由于立体视频编码中除了要考虑每个通道帧内图像的空间冗余度和帧间图像之间的时间冗余度外，还要考虑左右通道图像之间的空间冗余度。发明内容
本发明要解决的技术问题是提供一种具有良好压缩效果的的空间遥操作环境下立体视频编码优化方法。
本发明采用以下技术方案解决上述技术问题的在两路视频信号中，将左路视频作为参考图像，使用经典的基于运动补偿预测的视频编码方法进行编码，去除图像之间的空间相关性和时间相关性，将右路视频作为目标图像，采用视差估计/补偿技术消除图像对之间的冗余。这里的视差是指立体图像对之间的几何差异。
具体的，本发明是基于H. 264编码技术，提出下面的立体视频编码方案考虑左右通道相关性和右通道视差预测的残差，左通道采用H. 264编码，右通道采用基于左通道的 DCP (视差补偿预测)编码，右通道视差预测的残差也采用H. 264方式进行编码，在进行H.264编码过程中，结合实际需要，并对该编码进行了部分优化。4
本发明进一步具体为在左通道采用的H. 264编码中，对帧内预测算法和运动估计算法做了优化；
对帧内预测算法优化的方法为利用周围宏块的已知信息，对当前编码宏块的可能预测模式按照概率进行排序，然后依次计算各个模式的SATD值，如果SATD值低于设置的阈值，那么停止计算剩余模式的SATD值，色差分量和亮度分量均采用此算法；
对运动估计算法优化的方法为使用三步搜索法进行运动估计，三步搜索法的实现步骤如下
①以“I”点为中心，步长为4，搜索其±4范围内9个标记为“I”的点，依据评测准则函数，从这9个像素中找到具有最小MSE或最小均方绝对差的点，作为该步骤的最佳匹配像素点；
②围绕在步骤①中被选择作为最佳匹配的像素点，选择步长为2，搜索其±2 范围内所选择的8个标记为“2”的点，与步骤①相类同，依据准则函数找到一个最佳匹配像素点；
③选择步长为1，在步骤②的最佳匹配点±1范围内搜索，得到的最佳匹配像素点将作为三步搜索的最终结果。
优化的，在运动估计算法的运动搜索过程中，使用的率失真方程如下
J(m\ AmottJ = SA/|.v,c(m))+AiiwiJR{m-p)
在帧间和帧内编码模式选择时，使用下面的率失真方程式 /(.V，c·, palleni ( )1\ ) = SSlc, pallen)
+ U W。山I
其中，J(m| Amotion)是于选择运动矢量的衡量标准，使得该值最小的运动矢量被选择，J (s，c, pattern | QP, λ mode)用于模式选择的衡量标准，使得该值最小的编码模式被选择， SAD是源视频数据和目标视频数据之间差值的绝对值之和，SSD是源视频数据和目标视频数据之间差值的绝对值平方之和，Xmotion和λπ_是拉格朗日参数。
本发明的优化方法还可以对右路视频的压缩编码通进行优化，或者在对左路视频的压缩编码进行优化的基础上同时对右路视频的压缩编码进行优化，对右路视频的压缩编码的步骤为对右路视频进行视差估计，编码单位可以选择是16x16的宏块，首先当前编码的右路图像中的宏块在时间同步的左路图像中搜索最匹配的图像块，得到相应的视差矢量，对视差矢量进行无失真编码，同时，当前的编码块和搜索得到的最匹配块进行相减，得到视差估计残差，然后再对其进行变换编码，视察估计的快速算法包括以下一个或三个
首先，根据视差的偏振约束特性，搜索时只沿偏振线进行，在平行相机系统中只需沿水平方向进行搜索；其次根据方向性约束，搜索时优先向一个方向搜索，考虑到左通道图像作为基本层编码，右通道图像作为增强层编码，视差估计时优先向右进行搜索；利用时域相关性或空域相关性，在进行视差估计时，用前一帧图像的对应视差矢量作为搜索起始点。
本发明的优点在于结合最新的H. 264高效编码压缩技术特点，根据压缩率和实时性要求，对H. 264编码算法进行了优化处理，保证压缩率的基础上减少了运算量，主要对帧内预测算法和运动估计算法进行了优化，试验结果表明，优化后的效果明显，系统的实时性得到改善。
图I是立体视频总体框架图。
图2是H. 264算法流程图。
具体实施方式
I、左路视频的压缩编码
首先对立体视频中的左路视频使用最新的国际视频标准H. 264进行压缩。
H. 264是由ITU-T视频专家小组VCEG和IS0/IEC运动图像专家组联合推出的最新视频编码标准，和以前的编码标准相比，H. 264的编码性能取得了前所未有的提高，采用了一些新的算法，如预测方法，整数变换，4x4块的运动估计/运动补偿，环路滤波，新的熵编码方法，率失真优化技术RDO (rate distortion optimization)等,但H. 264在性能提高的同时，编码器的复杂度也大幅度增加，很难满足空间遥操作中实时性要求，根据压缩率和实时性的要求，本文只使用了 H. 264标准的基本档次(baseline prof ile)部分，并对H. 264 的编码进行了优化处理。H. 264算法流程图如图2所示。
I. I算法的优化处理
算法优化是在保证压缩率的基础上减少运算量，在图2中，我们主要对帧内预测算法和运动估计算法做了优化。视频数据中主要存在两种形式的冗余，即帧内的空间冗余和帧间的时间冗余，帧内预测主要消除帧内像素之间的空间冗余，用编码块周围的重建像素值来预测当前编码块，由于有多种编码模式可选，在编码的过程中，需要进行穷尽搜索， 计算复杂度比较大。而运动估计模块，消除的是帧间的时间冗余，用当前编码帧中的宏块在前一帧中搜索最优匹配块，然后对匹配残差和运动矢量进行编码，这里搜索过程的复杂度同样也很高。
I. I. I快速帧内预测编码
在帧内预测中，为了确定一个宏块的帧内预测模式，需要计算所有可能模式的 SATD值(Sum of Absolute Transform Difference,残差变换绝对值和)，然后选择具有最小SATD的模式作为最终的预测模式。在H. 264中，是基于16x16的帧内预测模式，色差分量的预测模式和亮度分量类似。为了减少帧内预测中计算SATD值的次数，我们利用周围宏块的已知信息，对当前编码宏块的可能预测模式按照概率进行排序，然后依次计算各个模式的SATD值，如果SATD值低于我们设置的阈值，那么停止计算剩余模式的SATD值，色差分量和亮度分量均采用此算法，从而有效的降低计算复杂度。
I. I. 2快速帧间预测编码
为了消除图像帧间的冗余，H. 264中采用了基于块匹配的运动估计算法，其基本思想是将图像划分成许多互不重叠的子块，并且认为块内所有像素的位移量都相同。全搜索算法是块匹配算法中研究和应用最广泛的一种技术，但是由于计算量相当大。为了减少计算量，在本项目中我们使用三步搜索算法进行运动估计，三步搜索算法的实现示意图如图3 所示。
三步搜索算法的实现步骤如下
①以“I”点为中心，步长为4，搜索其±4范围内9个标记为“I”的点，依据评测准则函数，从这9个像素中找到具有最小MSE或最小均方绝对差的点，作为该步骤的最佳匹配像素点。
②围绕在步骤①中被选择作为最佳匹配的像素点，选择步长为2，搜索其±2 范围内所选择的8个标记为“2”的点，与步骤①相类同，依据准则函数找到一个最佳匹配像素点。
③选择步长为1，在步骤②的最佳匹配点±1范围内搜索，得到的最佳匹配像素点将作为三步搜索的最终结果。
1.1.3率失真优化算法
率失真优化算法是指在有限带宽的条件下，如何获得最优的图像质量，本方案使用一个简单的方程表达式将码率和失真联系起来，从而在码率和失真度之间取得一个的平衡点，从而保证在给定的码率条件下取得最优的图像质量。
在运动搜索的过程中，使用的率失真方程如下
./(ot| AmoljJ = SAlMm))+ .mo Κφι-ρ)
在帧间和帧内编码模式选择时，使用下面的率失真方程式 /(\ C, pa"en\ ( )l\ Ain^,) = SSIJs, c\ patieri)
+ /U,*/《wock,K」/)
其中，J(m| Amotion)是用于选择运动矢量的衡量标准，使得该值最小的运动矢量被选择。J (s，c，pattern I QP，Amode)是用于模式选择的衡量标准，使得该值最小的编码模式被选择。
SAD (Sum of Absolute Difference,绝对差值和)是衡量失真度的尺度，由源视频数据和目标视频数据之间差值的绝对值之和。SSD (Sum of Squared Difference，差值平方和)也是用来衡量失真的另一尺度，由源视频数据和目标视频数据之间差值的绝对值平方之和。
Amotion是拉格朗日参数，它的大小决定码率和失真对于运动矢量选择的影响， λ motion大则码率对模式选择的影响更大，λ motion小则模式选择对失真更为敏感。
Amode是拉格朗日参数，它的大小决定码率和失真对模式选择的影响大小，大则码率对模式选择的影响大，λπ_小则模式选择对失真更为敏感。
使用上述的方法能够获得在指定带宽条件下的最优图像质量。
2右路视频的压缩编码
对右路视频进行视差估计，编码单位也是16x16的宏块。首先当前编码的右路图像中的宏块在时间同步的左路图像中搜索最匹配的图像块，得到相应的视差矢量，对视差矢量进行无失真编码，同时，当前的编码块和搜索得到的最匹配块进行相减，得到视差估计残差，然后再对其进行变换编码。
块匹配法是常用的视差估计方法，其基本思想是将图像分割成固定尺寸的块，块内部像素的视差值假定是相同的，在参考图像中按照一定的匹配准则寻找最佳匹配块。但是视差矢量的分布受到一定的约束，一帧图像内前后图像块的视差矢量之间，相邻帧图像对应块的视差矢量之间都存在相关性，我们将使用这些特性来进行快速的视差估计。
2. I偏振约束
对于一个给定的景物点，其在左右图像平面上的图像点总是出现在对应的左右偏振线上，因此在进行视差搜索时只需要沿着偏振线搜索即可。在平行相机系统中，偏振线和图像的水平扫描线是平行的，所以搜索只要沿着右图像所在的水平线即可。
2. 2方向性约束
在平行相机系统中，视差矢量只有水平分量，对于同一个景物，其透视投影左图像相对于右图像局部地向右移动，在搜索右图像在左图像中的匹配块时，可以优先向右搜索。
2. 3视差矢量的空域相关性和时间相关性
视差是深度的函数，深度相同的像素点具有相同的视差。深度就是物体表面到相机光心的距离，虽然实际景物表面一般是不连续的，但在局部区域内有可能看作是连续变化的，因为空间景物总是由若干物体构成，有些物体表面可近似看作是光滑的或局部光滑的。对于光滑表面，其视差值变化应该是连续的，而连续变化视差场中的视差矢量有很强的相关性，即同一帧内视差矢量之间存在相关性。
对于相邻两帧图像，仅有少数像素发生了运动，多数像素的位置并没有变化。对于位置不变的像素来说，其视差基本不变。所以在进行视差估计时，可以用前一帧图像的对应视差矢量作为搜索起始点进行小范围内的搜索，从而快速找到实际视差矢量。
2. 4视差估计的快速算法
基于上述视差分布约束和相关性分析，视差估计快速算法描述如下首先，根据视差的偏振约束特性，搜索时只沿偏振线进行，在平行相机系统中，偏振线和扫描线是平行的，左右像素的匹配点位于同一水平线上，因此，只需沿水平方向进行搜索即可。其次根据方向性约束，搜索时优先向一个方向搜索.考虑到左通道图像作为基本层编码，右通道图像作为增强层编码，视差估计是搜索右通道图像中的图像块在左通道图像中的匹配块，由方向性约束分析可知，视差估计时可优先向右进行搜索。此外，利用时域相关性或空域相关性能确定视差估计的起始值。对于空域相关性，由于不同区域其相关性不同，平坦区域相关性要强一些，非平坦区域相对弱一些，所以在搜索时，平坦区域的搜索范围可以取得小一些， 而非平坦区域的搜索范围可以大一些。
在试验中，使用Miss的CIF立体图像对进行仿真试验，均以左图像为参考图像，右图像为目标图像，分别采用基于H. 264和本发明的基于H. 264改进算法进行重建右图像的质量和压缩比，并对上对上述两种算法进行比较。
从试验结果图可以得出以下结论在压缩参数相同的情况下，通过改进后的算法重建的图像明显好于原算法，块效应得到明显的改善。
同时我们以峰值信噪比(PSNR)表示图像的客观质量上进行比较。比较结果如表一所示
表一实验数据对比
权利要求
1.一种空间遥操作环境下立体视频编码优化方法，其特征在于该方法是基于H. 264 编码技术，采用下面的立体视频编码方案考虑左右通道相关性和右通道视差预测的残差， 左通道采用H. 264编码，右通道采用基于左通道的视差补偿预测编码，右通道视差预测的残差也采用H. 264方式进行编码。
2.如权利要求I所述的空间遥操作环境下立体视频编码优化方法，其特征在于在左通道采用的H. 264编码中，对帧内预测算法做了优化，对帧内预测算法优化的方法为利用周围宏块的已知信息，对当前编码宏块的可能预测模式按照概率进行排序，然后依次计算各个模式的SATD值，如果SATD值低于设置的阈值，那么停止计算剩余模式的SATD值，色差分量和亮度分量均采用此算法。
3.如权利要求2所述的空间遥操作环境下立体视频编码优化方法，其特征在于在左通道采用的H. 264编码中，对运动估计算法做了优化，对运动估计算法优化的方法为使用三步搜索法进行运动估计，三步搜索法的实现步骤如下①以“I”点为中心，步长为4，搜索其±4范围内9个标记为“I”的点，依据评测准则函数，从这9个像素中找到具有最小MSE或最小均方绝对差的点，作为该步骤的最佳匹配像素点；②围绕在步骤①中被选择作为最佳匹配的像素点，选择步长为2，搜索其±2范围内所选择的8个标记为“2”的点，与步骤①相类同，依据准则函数找到一个最佳匹配像素占.③选择步长为1，在步骤②的最佳匹配点±1范围内搜索，得到的最佳匹配像素点将作为三步搜索的最终结果。
4.如权利要求3所述的空间遥操作环境下立体视频编码优化方法，其特征在于在运动估计算法的运动搜索过程中，使用的率失真方程如下I = SA Φ0)+KlnllJ I^m-P)其中，J(m| Amotion)是于选择运动矢量的衡量标准，最小的运动矢量被选择，SAD是源视频数据和目标视频数据之间差值的绝对值之和，λ motion是拉格朗日参数。
5.如权利要求4所述的空间遥操作环境下立体视频编码优化方法，其特征在于在帧间和帧内编码模式选择时，使用下面的率失真方程式 /(‘V，c\ paltcn\ 0I\ ) = SSl 叉s, c\ patterf)+ 人,x"(Wock,K」/)其中，J(s，C，pattern|QP，Amode)用于模式选择的衡量标准，最小的编码模式被选择， SSD是源视频数据和目标视频数据之间差值的绝对值平方之和，λπ_是拉格朗日参数。
6.如权利要求I至5任一项所述的空间遥操作环境下立体视频编码优化方法，其特征在于对右路视频的压缩编码的步骤为对右路视频进行视差估计，首先当前编码的右路图像中的宏块在时间同步的左路图像中搜索最匹配的图像块，得到相应的视差矢量，对视差矢量进行无失真编码，同时，当前的编码块和搜索得到的最匹配块进行相减，得到视差估计残差，然后再对其进行变换编码。
7.如权利要求6所述的空间遥操作环境下立体视频编码优化方法，其特征在于所述对右路视频进行视差估计的快速算法包括根据视差的偏振约束特性，搜索时只沿偏振线进行。
8.如权利要求7所述的空间遥操作环境下立体视频编码优化方法，其特征在于所述对右路视频进行视差估计的快速算法还包括根据方向性约束，搜索时优先向一个方向搜索，考虑到左通道图像作为基本层编码，右通道图像作为增强层编码，视差估计时优先向右进行搜索。
9.如权利要求8所述的空间遥操作环境下立体视频编码优化方法，其特征在于所述对右路视频进行视差估计的快速算法还包括利用时域相关性或空域相关性，在进行视差估计时，用前一帧图像的对应视差矢量作为搜索起始点。
10.如权利要求6所述的空间遥操作环境下立体视频编码优化方法，其特征在于对右路视频进行视差估计的编码单位是16x16的宏块。
全文摘要
本发明提出了一种空间遥操作环境下立体视频编码优化方法，该方法是基于H.264编码技术，采用下面的立体视频编码方案考虑左右通道相关性和右通道视差预测的残差，左通道采用H.264编码，右通道采用基于左通道的视差补偿预测编码，右通道视差预测的残差也采用H.264方式进行编码。在进行H.264编码过程中，结合实际需要，并对该编码进行了部分优化。本发明的优点在于结合最新的H.264高效编码压缩技术特点，根据压缩率和实时性要求，对H.264编码算法进行了优化处理，保证压缩率的基础上减少了运算量，试验结果表明，优化后的效果明显，系统的实时性得到改善。
文档编号H04N7/26GK102917233SQ20121045729
公开日2013年2月6日 申请日期2012年11月14日 优先权日2012年11月14日
发明者沈威, 董戴 申请人:中航华东光电有限公司