专利名称：一种基于avs的快速立体视频编码方法
技术领域：
本发明涉及一种立体视频编码方法，特别涉及一种基于AVS的快速立体视频编码方法。
背景技术：
立体视频是一种能使人眼观看时产生立体感的视频。它的原理是通过传输两路视频信号，根据人眼的 双目视差原理，以一定的方式送到人眼，在大脑中形成立体的效果。立体视频能使观众得到更真实强烈的 视觉冲击效果，在数字电视、远程教育、视频会议、虚拟显示等方面有着广泛的应用。但是传输两路视频 信号会带来比原来单通道信号大一倍的传输量。因此，必须通过有效的方法对其进行编码传输。
《信息技术先进音视频》国家标准(简称AVS标准)视频部分于2006年2月由国家标准化管理委员 会正式颁布，编号为GB/T 20090.2-2006,并从2006年3月1日起正式实施。AVS的产生是一个历史的机 遇，面对MPEG、 H,264等标准的昂贵专利使用费，我国迫切需要研究出具有自主知识产权的音视频标准， 这也有利于提高我国数字音视频产业的核心竞争力。
发明内容
本发明的目的就在于解决现有技术的缺陷，设计了一种基于AVS的快速立体视频编码方法。 本发明的技术方案是
一种基于AVS的快速立体视频编码方法，其特征在于包括以下步骤 一种基于AVS的快速立体视频编码方法，其特征在于包括以下步骤
(1) 左路参考视频编码
左路视频序列作为参考序列，通过AVS视频编码技术进行编码，产生后缀为.avs的比特流；
(2) 两级神经分类器处理
为了覆盖所有可能的分块和预测源，使用两级神经分类器来完成模式确定；第一级分类器完成16X16 直接、16X16、内部三种分类结果，第二级分类器估计出采用前向运动补偿或是视差补偿；
(3) 右路目标图像编码
通过两级神经分类器处理后的数据，根据确定的补偿类型进行相应的运动或是视差补偿；最后产生后
缀为.avs的比特流。
在所述的基于AVS的快速立体视频编码方法中，在所述的左路参考视频编码过程中，AVS编码 器使用的参考代码是RM5.0a,编码参数选择2D-VLC熵编码，使用率失真优化，2帧参考图像，2帧IBBP， 图像帧/场自适应，使用环路滤波。
在所述的基于AVS的快速立体视频编码方法中，所述的第一级分类器和第二级分类器采用的是基 于自组织映射(SOFM)神经网络的分类器。
在所述的基于AVS的快速立体视频编码方法中，所述的第一级分类器总共有7种特征，包括大块 的均值、大块的方差、顶部和底部的16X16块的均值、方差、左和右的16X16块的均值、方差、前景图 像在大块中所占的比重。
在所述的基于AVS的快速立体视频编码方法中，所述的第二级分类器计算的是输入右路视频当前
4帧、前向参考帧和同一时刻左路参考帧。总共有4种特征，包括前向子块的均值、子块的方差、参考图像 子块的均值、子块的方差。
在所述的基于AVS的快速立体视频编码方法中，所述的第一级分类器将一个大块分成3类16 X16直接、16X16、内部；分别使用4、 6、 3个神经元作为输入层、隐藏层和输出层；加速模式估计过程，
只选择3类分割中的一种i^进入下一步的评估，K,为第一级分类器的输出得分。
在所述的基于AVS的快速立体视频编码方法中，所述的第二级分类器分别使用了 5、 4、 2个神经 元作为输入层、隐藏层和输出层；与第一级相似，根据得分从两个输出中选取小的〖2，《2为第二级分类 器的输出得分。
在所述的基于AVS的快速立体视频编码方法中，所述的两级神经分类器处理过程采用的第二级分 类器计算视差使用的是块算法，其步骤如下
(1) 计算匹配代价
y， c/。 ) = F' o,力-,o + c/。,力 其中默认y方向上没有视差，这是使用到极限约束，即认为视差只出现在x方向上，y方向上没 有视差，其中A e(《in,c/max),这样考虑所有可能的视差情况以后就可以得到一个DSI空间，包括
所有可能的视差所决定的代价；
(2) 将得到的代价相加求和
如式所示，现在是以块为单位，所以计算某块的某一个视差对应的代价就是把这块内的所有像素
在该视差值处的代价值相加，而每一个块的大小由则是固定的；
(3) 计算视差
在上一步计算得到了各像素的代价加权相加的C空间后，找出使得每个像素的C0o，:^,力最小的d
作为该像素的视差值。
本发明的优点和效果在于
1. 利用了AVS技术，提高了编码效率和速度，在实用中也可避免支付高额的专利使用费。
2. 使用块匹配计算视差，计算速度快，计算量小。
3. 通过两级神经分类器技术，可以更加有效地确定使用何种补偿模式，获得比传统方法更快的速度。
本发明的其他优点和效果将在下面继续描述。
图1——基于AVS的快速立体视频编码算法流程图
图2——两级神经分类器算法框图
图3——目标序列参考帧示意图
图4——使用本方法与使用普通AVS编码比较图5——使用本方法与使用H.264编码比较
具体实施例方式
下面结合附图和实施例，对本发明所述的技术方案作进一步的阐述。
图1表示了基于AVS的快速立体视频编码算法流程图。该编码方法可以通过以下三个步骤完成。
一. 左路参考视频编码
左路视频作为参考序列，只做时间域上的运动估计，具体实现是通过现有的AVS编码器进行编码。
二. 两级神经分类器处理
该步骤是为了确定补偿模式的选取，选择基于SOFM神经网络的分类器。第一级分类器完成对每一个 大块的不同分割，第二级分类器选取是采用前向运动估计还是空间的视差估计。两级神经分类器算法框图 如图2所示，具体说明如下
1. 第一级分类器特征提取
第一级分类器计算当前帧和前向参考帧，计算出特征值，包括7种特征包括大块的均值、大块 的方差、顶部和底部的16X16块的均值、方差、左和右的16X16块的均值、方差、前景图像在大块 中所占的比重。
2. 第一级分类器块分割
第一级分类器将一个大块分成3类16X16直接、16X16、内部。方法中分别使用4、 6、 3个神 经元作为输入层、隐藏层和输出层。在充分的训练后，神经网络可以计算出每一个输出神经元的分数
&，分数的取值从0.0到1.0。 一个小的《,可以加速程序，但是会增加比特量。为了加速模式估计过
程，只选择3类分割中的一种i:,进入下一步的评估。不同的类在下面的处理过程中使用不同，比如
16X16直接和内部两类并不进入第二级神经分类，而16X16类会在第二级神经分类中进一步分为16 X8、 8X16、 8X8三种子块。
3. 第二级分类器特征提取
第二级分类器计算当前帧和前向运动估计，空间视差估计。视差估计釆用块估计算法-首先计算匹配代价
DS/(;c,:v,O-F'(jc,:v)-i^0: + c/。，力 (式1)
如(式l)所示，其中默认y方向上没有视差，这是使用到极限约束，即认为视差只出现在x方 向上，y方向上没有视差，其中"。e(《in,^^),这样考虑所有可能的视差情况以后就可以得到一
个DSI空间，包括所有可能的视差所决定的代价。要注意的是，视差的范围要合理的选择，这样才可 以得到一个比较满意的结果。 然后将计算出代价相加求和
C(x，_y,^)= Z D57(x,，力^。) (式2)
如(式2)所示，现在是以块为单位，所以计算某块的某一个视差对应的代价就是把这块内的所 有像素在该视差值处的代价值相加，而每一个块的大小由则是固定的。与DSI空间相比，C空间的尺寸大大减小，在程序的运算速度上会有提高。
最后计算出视差在上一个步骤计算得到了各像素的代价加权相加的C空间后，找出使得每个像素的
C(JC。, j;。,力最小的d作为该像素的视差值。
第二级分类器计算出的特征总共有4种特征，包括前向子块的均值、子块的方差、参考图像子块的均 值、子块的方差。 4.第二级分类器预测模式确定.-
第二级分类器分别使用了5、 4、 2个神经元作为输入层、隐藏层和输出层。与第一级相似，根据
分数从两个输出中选取小的《2， ^2为第二级分类器的输出得分。
这样就确定了目标图像帧块是采用前向运动补偿还是用空间视差补偿。
三. 右路目标图像编码
通过两级神经分类器处理后的数据，根据确定的补偿类型进行相应的运动或是视差补偿，如图3所示。
四. 性能评价
为了验证本发明提出的方法可以有效性和快速性，采用两个实验来比较验证。第一个是本发明提出的 方法和基于AVS不使用两级神经分类进行编码方法的比较。第二个是本发明提出的方法和基于H.264使用 两级神经分类进行编码方法的比较。实验使用2组视频序列"Puppy"、 "Bookseller"作为训练序列，使用 "Soccer"作为实验序列。
1. 和基于AVS不使用两级神经分类进行编码方法的比较
图4显示了使用本发明提出的方法和基于AVS不使用两级神经分类进行编码方法的比较结果。可以看 出，本发明提出的方法对于"Puppy"序列，在第一级分类器中增加了比特率0.12%，速度节省78.41%, 在第二级分类器后比特率增加2.44%,速度节省82.10%。本发明提出的方法对于"Bookseller"序列，在 第一级分类器中增加了比特率2.52%,速度节省77.93%，在第二级分类器后比特率增加6.79%,速度节省 83.28%。本发明提出的方法对于"Soccer"序列，在第一级分类器中增加了比特率2.17%，速度节省77.43%， 在第二级分类器后比特率增加7.68%,速度节省85.19%。
2. 和基于H.264使用两级神经分类进行编码方法的比较
图5显示了使用本发明提出的方法和基于H.264使用两级神经分类进行编码方法的比较结果。H.264 编码器使用的是JM6.1e，编码参数选择CABAC熵编码，使用率失真优化，2帧参考图像，2帧IBBP,宏 块帧/场自适应，使用环路滤波。AVS的量化步长选择的是28， &264除了第一帧步长为23，其它都为26。 从实验结果可以观察出，使用AVS编码比使用H.264编码有0.3~0.5db的性能差异，这主要是因为AVS视 频标准目前只支持图像级帧/场自适应编码。但是从计算实现复杂度来讲，AVS编码复杂度大致只有H.264 的70%。
权利要求
1.一种基于AVS的快速立体视频编码方法，其特征在于包括以下步骤(1)左路参考视频编码左路视频序列作为参考序列，通过AVS视频编码技术进行编码，产生后缀为.avs的比特流；(2)两级神经分类器处理为了覆盖所有可能的分块和预测源，使用两级神经分类器来完成模式确定；第一级分类器完成16×16直接、16×16、内部三种分类结果，第二级分类器估计出采用前向运动补偿或是视差补偿；(3)右路目标图像编码通过两级神经分类器处理后的数据，根据确定的补偿类型进行相应的运动或是视差补偿；最后产生后缀为.avs的比特流。
2. 根据权利要求1所述的一种基于AVS的快速立体视频编码方法，其特征在于，在所述的左路参考视频 编码过程中，AVS编码器使用的参考代码是RM5.0a，编码参数选择2D-VLC熵编码，使用率失真优化，2 帧参考图像，2帧IBBP，图像帧/场自适应，使用环路滤波。
3. 根据权利要求1所述的一种基于AVS的快速立体视频编码方法，其特征在于，所述的第一级分类器和 第二级分类器采用的是基于自组织映射(SOFM)神经网络的分类器。
4. 根据权利要求1所述的一种基于AVS的快速立体视频编码方法，其特征在于，所述的第一级分类器总 共有7种特征，包括大块的均值、大块的方差、顶部和底部的16X16块的均值、方差、左和右的16X16 块的均值、方差、前景图像在大块中所占的比重。
5. 根据权利要求1所述的一种基于AVS的快速立体视频编码方法，其特征在于，所述的第二级分类器计 算的是输入右路视频当前帧、前向参考帧和同一时刻左路参考帧；总共有4种特征，包括前向子块的均值、 子块的方差、参考图像子块的均值、子块的方差。
6. 根据权利要求1所述的一种基于AVS的快速立体视频编码方法，其特征在于，所述的第一级分类器将 一个大块分成3类16X16直接、16X16、内部；分别使用4、 6、 3个神经元作为输入层、隐藏层和输出层；加速模式估计过程，只选择3类分割中的一种^^进入下一步的评估，《i为第一级分类器的输出得分。
7. 根据权利要求1所述的一种基于AVS的快速立体视频编码方法，其特征在于，所述的第二级分类器分 别使用了5、 4、 2个神经元作为输入层、隐藏层和输出层；与第一级相似，根据得分从两个输出中选取小的尺2,尺2为第二级分类器的输出得分。
8. 根据权利要求1所述的一种基于AVS的快速立体视频编码方法，其特征在于，所述的视差估计采用块 估计算法，具体步骤如下(1)计算匹配代价:M。 ) = , 0,力-r o+4,力其中默认y方向上没有视差，这是使用到极限约束，即认为视差只出现在jc方向上，y方向上没 有视差，其中A e(c/^，J,)，这样考虑所有可能的视差情况以后就可以得到一个DSI空间，包括 所有可能的视差所决定的代价；(2) 将得到的代价相加求和如式所示，现在是以块为单位，所以计算某块的某一个视差对应的代价就是把这块内的所有像素在该视差值处的代价值相加，而每一个块的大小由则是固定的；(3) 计算视差在上一步计算得到了各像素的代价加权相加的C空间后，找出使得每个像素的C(:c。，_y。,d)最小的d 作为该像素的视差值。
全文摘要
本发明提出了一种基于AVS的快速立体视频编码方法，对左路的参考图像使用AVS编码器编码，对右路的目标图像同时在时间域和空间域进行预测，使用的是基于SOFM神经网络的两级神经分类器来快速确定预测模式。第一级分类的结果是产生对每一个大块的不同块分割的候选对象，第二级分类选出最合适的预测源，可能是前向的运动估计，也可能是视差估计。两级分类器的输入都是当前帧和其参考帧之间的简单计算。通过实验表明，本发明提出的方法可以在可忽略的质量衰减上节省80％的时间，同时占用的编码字节数仅多出可接受的7％左右。
文档编号H04N7/26GK101621683SQ20081012280
公开日2010年1月6日 申请日期2008年7月1日 优先权日2008年7月1日
发明者翀 王, 力 赵, 邹采荣, 昕 魏 申请人:邹采荣;赵 力