专利名称：可自动调节冗余的无反馈多描述分布式视频编解码器的制作方法
技术领域：
本发明属于视频编码技术领域，涉及多描述视频编码和分布式视频编码，特别涉及一种可自动调节冗余且不需要反馈信道的多描述分布式视频编解码器，适用于无线视频实时传输。
背景技术：
随着信息技术的高速发展，视频通信作为一种多媒体传输技术越来越广泛的应用到人们的日常生活中。由于无线通信网络的传输信道并不十分可靠，很有可能因为信道的阻塞或者外界信号的干扰，造成数据的错误或丢失，而导致信号重建性能的急剧下降。在无线视频通信中，判断一种编解码技术的优劣已经不能简单的用压缩率来衡量，如何保证信号的抗信道差错传输已经成为一个不容忽视的问题。
多描述编码是一种比较有效的传输差错控制技术，它可以在无线信道中实现鲁棒性传输。多描述编码问题最初由Gersho等人在1979年IEEE Information Workshop上提出。多描述编码将信息源分成多路描述，然后每个描述通过相互独立的信道进行传输，每个描述都有恢复整幅图像的能力，因此，即使在传输过程中丢失了某一个描述，仍然可以在一个可接受的范围内通过其他的描述来恢复图像，而当描述全部传输过去时，可以得到一个最佳的恢复质量。现在多描述视频编码方案大都基于当前的视频压缩标准，也即基于“运动补偿预测环路”。在无线传输中，由于信道丢包而导致解码端和编码端的参考帧不同，会造成多描述编码端和解码端的预测不匹配，这个偏差随着时间扩大，会对视频图像重建造成严重的影响。分布式视频编码技术因为编码端没有运动估计和运动补偿，所以可以应用到多描述编码中来避免预测误差。分布式视频编码技术是一种新兴的无线视频编码方案，它的特点是独立编码联合解码，在编码端对原始信号进行独立编码，不进行运动估计，解码端则利用视频序列的时域、空域等相关性进行联合解码，将复杂的运动估计、补偿技术从编码端移到了解码端。但是在现有的多描述分布式视频编解码系统中大多是通过迭代进行译码，迭代译码需要反馈信道的存在，反馈信道会造成信息的延迟，不适用实时传输。同时，现有的方案不能自适应地调节描述间的冗余度，无法使系统的性能达到最优。
发明内容
本发明的目的在于针对上述已有技术的不足，提供一种可自动调节冗余的无反馈多描述分布式视频编解码器，不仅保证了视频信号的实时传输，而且实现了描述间冗余的自动调节，使系统的性能达到最优。为实现上述目的，本发明提供的可自动调节冗余的无反馈多描述分布式视频编码器包括第一变换量化模块(101):用于对WZ帧进行基于nXn块的离散余弦变换DCT，并将得到的频率系数按其在ηΧη块中所处的位置划分构成系数子带，对系数子带进行量化得到量化系数，对该量化系数提取比特平面，将得到的比特平面传送给第一多描述分配器(103)；简单运动估计模块(102):用于对编码端的关键帧进行一个简单的运动估计，得到一个粗化边信息，通过该边信息的性能来判断当前WZ帧运动量的剧烈程度，设置相关因子r，将该因子r送至第一多描述分配器模块(103)；第一多描述分配器(103):利用传送过来的相关因子r，对收到的比特平面进行分配处理，生成两路比特平面描述，将第一路比特平面描述送至第一循环移位处理器(104)，将第二路比特平面描述送至第二循环移位处理器(105)；第一循环移位处理器(104):对收到的第一路比特平面描述按位进行循环移位处理，生成循环移位后的第一路比特平面并送至第一 LDPC编码器(106);第二循环移位处理器(105):对收到的第二路比特平面描述按位进行循环移位处 理，生成循环移位后的第二路比特平面并送至第二 LDPC编码器(107)；第一 LDPC编码器(106 ):对收到的循环移位后的第一路比特平面，进行LDPC编码，产生第一路校验比特WZl发送至解码端；第二 LDPC编码器(107):对收到的循环移位后的第二路比特平面，进行LDPC编码，产生第二路校验比特WZ2发送至解码端；H. 264/AVC帧内编码器(108):对关键帧进行H. 264帧内编码，得到编码后的关键帧压缩码流，然后将该码流复制成KFl和KF2并发送至解码端；所述的简单运动估计模块(102)包括基本层提取子模块(301):对于关键帧所有像素点，提取偶数行偶数列的像素点组成基本层，将基本层输出给块分类子模块(302)；块分类子模块(302):取基本层的每8X8像素点作为宏块，对所有宏块进行零矢量运动搜索，计算每块的绝对误差和SAD值，对SAD小于设定阈值Ntl的宏块标记为M0类宏块,对SAD大于设定阈值Ntl且小于设定阈值N1的宏块标记为M1类宏块,依次类推，对SAD大于设定阈值Nn_2且小于最大设定阈值Nlri的宏块标记为Mlri类宏块,其中，N/NA . .〈Nn_2〈Nn_1; η为阈值的个数，将分类后的宏块输出给宏块组设置子模块(303)；宏块组设置子模块(303):对于分类后的宏块，将每3X3个宏块设置为一个宏块组，中心宏块设为A级别，其他宏块设为B级别，将设置后的宏块组输出给运动矢量初始化子模块(304)；运动矢量初始化子模块(304):对设置后的宏块组中A级别的宏块进行处理，如果是M0类宏块，将其运动矢量初始化为Va = (O, O)，如果是M1类到Mlri类宏块，则通过全搜索得到运动矢量Va ;对设置后的宏块组中B级别的宏块进行处理，如果是Mtl类宏块，则其运动矢量初始化为Vb = (O, O)，如果是M1类到Mlri类宏块，则将运动矢量Va作为B级别宏块的初始运动矢量输出给运动矢量更新子模块(305)；运动矢量更新子模块(305):对B级别的M1类到Mlri类宏块的进行处理，处理顺序为从左向右，从上向下，对宏块组中左上角的宏块B11分别以矢量(VA，VA), (\±1，VA), (Va,VA±1)以及(VA±1，VA±1)进行块匹配搜索，得到最小SAD值的运动矢量^为其最终矢量，用B12宏块的运动矢量与当前宏块组所有已更新宏块的运动矢量取平均，作为B12宏块的初始运动矢量，对B12宏块进行与B11宏块相同的搜索，得到宏块B12的运动矢量，依次类推得到所有宏块的运动矢量，根据运动矢量通过内插的方法得到粗化边信息，并输出给相关因子提取子模块(306);相关因子提取子模块(306):用得到的粗化边信息与原始WZ帧的基本层进行比较得到其峰值信噪比，根据峰值信噪比设置阈值选择相关因子r，其中峰值信噪比与r成反比关系。为实现上述目的，本发明提供的可自动调节冗余的无反馈多描述分布式视频解码器包括H. 264/AVC帧内解码器(201):用于对接收到的关键帧压缩码流KFl和KF2进行H. 264帧内解码，并将解码得到的关键帧发送至帧内插模块(202)和多路复接器(213)；巾贞内插模块(202):用于对相邻的两个已解码的关键巾贞米用基于巾贞内插的方式产生边信息，并将其发送至第二变换量化模块(203)；
第二变换量化模块(203):用于对边信息进行基于块的nXn的离散余弦变换DCT，并将得到的频率系数按其在ηΧη块中所处的位置划分构成系数子带，对系数子带进行量化得到量化系数，对该量化系数提取比特平面，并将边信息比特平面传送给第二多描述分配器(204)；第二多描述分配器(204):对收到的边信息比特平面进行分配处理，当收到两路校验比特时，生成两路边信息比特平面描述，将产生的第一路边信息比特平面描述送至第三循环移位处理器(205)，将产生的第二路边信息比特平面描述送至第四循环移位处理器(206)，当收到一路校验比特时，产生一路边信息比特平面描述送至相应的循环移位处理器(205)；第三循环移位处理器(205):对收到的第一路边信息比特平面描述进行循环移位处理，将产生的循环移位后的第一路边信息比特平面送入第一 LDPC解码器(207)；第四循环移位处理器(206):对收到的第二路边信息比特平面描述进行循环移位处理，将产生的循环移位后的第二路边信息比特平面送入第二 LDPC解码器(208)；第一 LDPC解码器(207):用于在循环移位后的第一路边信息比特平面的辅助下，利用接收到的校验比特WZl进行解码处理，将第一路解码比特平面发送至第一反循环移位处理器(209)；第二 LDPC解码器(208):用于在循环移位后的第二路边信息比特平面的辅助下，利用接收到的校验比特WZ2进行解码处理，将第二路解码比特平面发送至第二反循环移位处理器(210);第一反循环移位处理器(209):对接收到的第一路解码比特平面进行反循环移位处理，将生成的反循环移位后的第一路比特平面描述送至多描述结合器(211);第二反循环移位处理器(210):对接收到的第二路解码比特平面进行反循环移位处理，将生成的反循环移位后的第二路比特平面描述送至多描述结合器(211);多描述结合器(211):当收到反循环移位后的两路比特平面描述时，对两路描述进行结合，冗余的部分舍弃，当收到一路反循环移位后的比特平面描述时，对该路描述进行处理，将生成的比特平面送入到反量化反变换模块(212);反量化反变换模块(212):用于对输入的比特平面进行反量化成变换域系数，变换域系数按块进行反离散余弦变换IDCT，得到重建的WZ帧，送入多路复接器(213)；
多路复接器(213):将接收到的WZ帧和关键帧按照图像序列数进行排列，生成重建图像。为实现上述目的，本发明提供的自动调节冗余的无反馈多描述分布式视频编码方法包括如下步骤(I)对关键帧进行H. 264帧内编码得到关键帧压缩码流并复制成两路发送到解码端;(2)对WZ帧进行DCT变换，并对变换后得到的系数子带进行量化后抽取，形成比特平面，将属于一个系数子带的比特平面设置为一个比特平面集；(3)根据比特平面集，通过估计边信息的峰值信噪比设定两个不同的阈值qi和q2， ，根据峰值信噪比和设定的阈值选择相关因子r，即当峰值信噪比大于阈值Q1时，设置
r=l，当峰值信噪比小于阈值Q1且大于阈值q2时，设置r=2，当峰值信噪比小于阈值q2时，设 置r=3 ;用这r个比特平面集构成感兴趣区域，将属于感兴趣区域内的比特平面集复制，产生两路比特平面集描述；(4)对于感兴趣区域之外的比特平面集，以四个为一组，取首尾比特平面集分配到第一个比特平面集描述中，取中间两个比特平面集分配到第二个比特平面集描述中，依次直到所有比特平面集都分配结束，得到两路比特平面描述；(5)根据上述两路比特平面描述，计算两路比特平面描述的比特平面数目分别为I= Σ ^0BPi和J= Σ P其中BPi和BP^分别代表了两路比特平面描述中第i个和第j个系数子带包含的比特平面数，每个比特平面有M个比特位，得到两个比特平面矩阵，M =1584 ；(6)根据上述的两个比特平面矩阵，对第一个比特平面矩阵的每行进行移位位数为S1 = MOD(k, I)的循环移位处理，对第二个比特平面矩阵的每行进行移位位数为S2 =MOD(k, J)的循环移位处理，得到循环移位后的两路比特平面描述，其中k为每个比特平面矩阵的行数，0〈k ( M,MOD为求余运算，I为第一个比特平面矩阵的比特平面数目，J为第二个比特平面矩阵的比特平面数目；(7)根据上述循环移位后的两路比特平面描述，对其分别进行LDPC编码，产生两路校验比特描述WZl和WZ2发送到解码端。为实现上述目的，本发明提供的自动调节冗余的无反馈多描述分布式视频解码方法包括如下步骤I)对收到的关键帧进行H. 264帧内解码得到解码关键帧，对解码关键帧通过帧内插处理得到边信息，对边信息进行DCT变换，并对变换后得到的系数子带进行量化后抽取，形成边信息比特平面，将属于一个系数子带的边信息比特平面设置为一个边信息比特平面集;2)当解码端收到两路校验比特描述WZl和WZ2时，执行步骤(3)，当解码端仅收到一路校验比特描述WZl时，跳到步骤(8)；3)根据步骤I)所述的边信息比特平面集，利用从编码端传送过来的相关因子r判断在两个描述中都存在的边信息比特平面集个数，这些边信息比特平面集构成感兴趣区域，将属于感兴趣区域的边信息比特平面集复制，产生两路边信息比特平面集描述，对于感兴趣区域外的边信息比特平面集，以四个为一组，取首尾边信息比特平面集分配到第一个边信息比特平面集描述中，取中间两个边信息比特平面集分配到另一个边信息比特平面集描述中，依次直到所有边信息比特平面集都分配结束，生成两路边信息比特平面描述，两路边信息比特平面描述的比特平面数目分别为Γ =1和1 =J，每个比特平面有M个比特位，M = 1584 ；4)根据步骤3)所述的两路边信息比特平面描述，得到两个边信息比特平面矩阵，对第一个边信息比特平面矩阵的每行进行移位位数为S' ! =M0D(k/，Γ )的循环移位处理，对第二个边信息比特平面矩阵的每行进行移位位数为S' 2 = M0D(k'，J')的循环移位处理，得到循环移位后的两路边信息比特平面描述，其中k'为每个边信息比特平面矩阵的行数，0〈k’ ^ M,M= 1584，I’为第一个边信息比特平面矩阵的比特平面数目，J’为第二个边信息比特平面矩阵的比特平面数目；5)根据步骤4)所述的循环移位后的两路边信息比特平面描述，通过对编码端传送的校验比特描述WZl和WZ2进行LDPC解码，得到两路解码比特平面描述，两路解码比特平
面描述的比特平面数目分别为I" =1和1" =J，每个比特平面有M个比特位，M= 1584;6)根据步骤5)所述的两路解码比特平面描述，得到两个解码比特平面矩阵，对第一个解码比特平面矩阵的每行进行移位位数为S" ! =M0D(k// ,I")的反循环移位处理，对第二个解码比特平面矩阵的每行进行移位位数为S" 2=M0D(k"，J")的反循环移位处理，得到反循环移位后的两路解码比特平面描述，其中k"为解码比特平面矩阵的行数，I"为第一个解码比特平面矩阵的比特平面数目，J"为第二个解码比特平面矩阵的比特平面数目；7)根据步骤6)所述的反循环移位后的两路解码比特平面描述，对其进行内插结合，冗余的部分舍弃不要，得到最终解码比特平面，跳到步骤(13);8)根据步骤I)所述的边信息比特平面集，按照其对应校验比特描述WZl中比特平面的分配方式，分配边信息比特平面，产生单路边信息比特平面描述，该边信息比特平面数目为I1 = I，每个比特平面有M个比特位，M = 1584 ；9)根据步骤8)所述的单路边信息比特平面描述，得到一个边信息比特平面矩阵，对该边信息比特平面矩阵的每一行进行移位位数为T1 = MOD(g, I1)的循环移位处理，得到循环移位后的单路边信息比特平面描述，其中g为该比特平面矩阵的行数，I1为该边信息比特平面矩阵的比特平面数目；10)根据步骤9)所述的循环移位后的单路边信息比特平面描述，通过对编码端传送的校验比特描述WZl进行LDPC解码，得到单路解码比特平面描述，该解码比特平面描述的比特平面数目为I2 = I，每个比特平面有M个比特位，M= 1584 ；11)根据步骤10)所述的单路解码比特平面描述，得到一个解码比特平面矩阵，对该解码比特平面矩阵进行移位位数为1~2 = MOD (g' ,I2)的反循环移位处理，得到反循环移位后的单路解码比特平面描述，为该解码比特平面矩阵的行数，I2为该解码比特平面矩阵的比特平面数目；12)根据步骤11)所述的反循环移位后的单路解码比特平面描述，将缺失的比特平面集直接用步骤I)所述的边信息比特平面集进行填充，得到最终解码比特平面；13)对最终解码比特平面经过重建得到最终的WZ解码图像。本发明与现有技术相比具有如下优点
I.本发明由于应用了循环移位处理方法和多描述分布式编解码结合，将不同描述中的每个比特平面的错误信息分散到所有比特平面，实现了比特平面的均匀化，达到去除反馈信道的目的，从而提高实时传输的性能。2.本发明由于使用了基于感兴趣区域的多描述分配器和简单运动估计模块，不仅产生了两路平衡的描述，而且实现了多描述之间冗余的自动调节，最大限度的保证了图像的质量符合人眼接受的性能。
图I是本发明的可自动调节冗余的无反馈多描述分布式视频编码器框图；图2是本发明的可自动调节冗余的无反馈多描述分布式视频解码器框图；图3是本发明的简单运动估计模块结构图；
图4是本发明的自动调节冗余的无反馈多描述分布式视频编码方法流程图；图5是本发明的自动调节冗余的无反馈多描述分布式视频解码方法流程图；图6是本发明的率失真性能对比图。
具体实施例方式参照图I，本发明的可自动调节冗余的无反馈多描述分布式视频编码器，用于将输入的视频帧流分为关键帧和Wyner-Ziv帧，并分别对关键帧和Wyner-Ziv帧进行多描述编码处理。它主要由第一变换量化模块101、简单运动估计模块102、第一多描述分配器103、第一循环移位处理器104、第二循环移位处理器105、第一 LDPC编码器106、第二 LDPC编码器107及H. 264/AVC帧内编码器108组成。其中第一变换量化模块101，对变换域信息进行基于块的nXn的离散余弦变换DCT，并将得到的频率系数按其在ηΧη块中所处的位置划分构成变换系数子带，该子带按其位置的不同，分别成为DC子带和AC子带，然后对整个子带进行均匀量化得到量化系数子带，将量化系数子带按照比特平面从高到低进行提取并发送至第一多描述分配器103 ;简单运动估计模块，在编码端进行一个简单运动估计，来判断Wyner-Ziv帧运动量的剧烈程度，得到相关因子r并传送到第一多描述分配器103。第一多描述分配器103，利用传送过来的相关因子r，对收到的比特平面进行多描述分配处理，该处理可以生成两路比特平面描述，将这两个比特平面描述分别送至第一循环移位处理器104和第二循环移位处理器105 ;第一循环移位处理器104，对收到的第一路比特平面描述进行循环移位处理，形成循环移位后的第一路描述并送至第一 LDPC编码器106 ;第二循环移位处理器105 :对收到的第二路比特平面描述进行循环移位处理，形成循环移位后的第二路描述并送至第二 LDPC编码器107 ;第一 LDPC编码器106，对接收到的循环移位后的第一路描述进行LDPC编码，并产生第一路校验比特描述WZl ;第二 LDPC编码器107，对接收到的循环移位后的第二路描述进行LDPC编码，并产生第二路校验比特描述WZ2 ；H. 264/AVC帧内编码器108，根据质量要求选择量化因子将关键帧送入进行编码，将得到的压缩码流复制成两路KFl和KF2发送至解码端。参照图3，本发明编码器中的简单运动估计模块102由基本层提取子模块301、块分类子模块302、宏块组设置子模块303、运动矢量初始化子模块304、运动矢量更新子模块305和相关因子提取子模块306组成。其中基本层提取子模块301，对关键帧的所有像素点，提取偶数行偶数列的像素点组成基本层，将得到的基本层输出给块分类子模块302 ;块分类子模块302，将收到基本层的每8X8像素点作为宏块，对所有宏块进行零矢量运动搜索，计算每块的绝对误差和SAD值，对SAD小于设定阈值Ntl的宏块标记为M0类宏块，对SAD大于设定阈值Ntl且小于设定阈值N1的宏块标记为M1类宏块,依次类推，对SAD大于设定阈值Nn_2且小于最大设定阈值Nlri的宏块标记为Mlri类宏块，其中N/NZ. . . <Νη_2<Νη_1； η为阈值的个数，将分类后的宏块输出给宏块组设置子模块303 ;宏块组设置子模块303，对于收到的分类后的宏块，将每3 X 3个宏块设置为一个宏块组，中心宏块设为A级别，其他宏块设为B级别，将设置后的宏块组输出给运动矢量初始化子模块304 ;运动矢量初始化子模块304，对收到的设置后的宏块组进行处理，对于A级别的宏块，如果是M0类宏块，将其运动矢量初始化为\ = (O, O)，如果是M1类到Mlri类宏块，则在I到η-I范围内进行全搜索，得到运动矢量\，对B级别的宏块，如果是M0类宏块，则其运动矢量初始化为Vb = (O, O)，如果是M1类到Mlri类宏块，则将运动矢量Va输出给运动矢量更新子模块305 ;运动矢量更新子模块305，将收到的运动矢量Va作为B级别的M1类到Mlri宏块的初始运动矢量，对B级别的M1类到Mlri类宏块进行处理，处理顺序从左向右，从上向下，对宏块组中左上角的宏块Bn分别以运动矢量(VA，VA), (Va±1，Va), (Va, Va±1)以及(Va±1，VA± I)进行块匹配搜索，将 得到最小SAD值的运动矢量作为最终运动矢量匕 ，用B12宏块的运动矢量与当前宏块组所有已更新宏块的运动矢量取平均，作为B12宏块的初始运动矢量，对B12宏块进行搜索，搜索方法与B11宏块的搜索方法相同，得到B12宏块的运动矢量，依次类推得到所有宏块的运动矢量，根据得到的运动矢量通过内插的方法得到粗化的边信息并输出给相关因子提取子模块306 ;相关因子提取子模块306，用得到的粗化边信息与原始WZ帧的基本层进行比较得到其峰值信噪比，根据峰值信噪比设置设定两个不同的阈值Q1与q2，qi>q2,根据峰值信噪比和设定的阈值选择相关因子r，即当峰值信噪比大于阈值Q1时，设置r=l，当峰值信噪比小于阈值qi且大于阈值q2时，设置r=2，当峰值信噪比小于阈值q2时，设置r=3 ；参照图2，本发明的可自动调节冗余的无反馈多描述分布式视频解码器，用于对接收到的描述进行解码，得到恢复视频帧。它由H. 264/AVC帧内解码器201、帧内插模块202、第二变换量化模块203、第二多描述分配器204、第三循环移位处理器205、第四循环移位处理器206、第一 LDPC解码器207、第二 LDPC解码器208、第一反循环移位处理器209、第二反循环移位处理器210、多描述结合器211、反量化反变换模块212及多路复接器213组成。其中H. 264/AVC帧内解码器201，用于对已编码关键帧进行帧内解码，并将已解码的前后相邻关键帧发送至帧内插模块202和多路复接器213 ;帧内插模块202，用于对已解码的前后两关键帧通过运动补偿内插，得到边信息SI，将边信息发送至第二变换量化模块203 ;第二变换量化模块203，对边信息进行基于nXn块的离散余弦变换DCT，并将得到的频率系数按其在ηΧη块中所处的位置划分构成边信息系数子带，对边信息系数子带进行量化后抽取边信息比特平面，将得到的边信息比特平面发送至第二多描述分配器204;第二多描述分配器204，利用从编码端传送过来的相关因子r，对收到的边信息比特平面进行多描述分配处理，将产生的两路边信息比特平面描述分别送至第三循环移位处理器205和第四循环移位处理器206 ;第三循环移位处理器，对收到的第一路边信息比特平面描述进行循环移位处理，产生第一路边信息比特平面描述送入第一 LDPC解码器207;第四循环移位处理器，对收到的第二路比特平面描述进行循环移位处理，产生第二路边信息比特平面描述送入第二LDPC解码器208 ;第一 LDPC解码器207，用于在第一路边信息比特平面描述的辅助下，利用接收到的第一路校验比特描述WZl进行LDPC解码，产生第一路解码比特平面描述发送至解码端第一反循环移位处理器209 ;第二 LDPC解码器208，用于在第二路边信息比特平面描述的辅助下，利用接收到的第二路校验比特描述WZ2进行LDPC解码，产生第二路解码比特平面描述发送至第二反循环移位处理器210 ;第一反循环移位处理器209，对接收到的第一路解码比特平面描述进行反循环移位处理，将生成的第一路反循环移位后的解码比特平面描述送至多描述结合器211 ;第二反循环移位处理器210，对接收到的第二路解码比特平面描述进行反循环移位处理，将生成的第二路反循环移位后的解码比特平面描述送至多描述结合器211 ;多描述结合器211，当收到两路反循环移位后的比特平面描述时，对两路描述进行结合处理，冗余的部分舍弃；当收到一路反循环移位后的解码比特平面描述时，对该路反循环移位后的解码比特平面描述进行处理，将生成的最终解码比特平面送入到反量化反变换模块212 ;反量化反变换模块212，用于对输入的最终解码比特平面进行反量化成变换域系数，变换域数据按块进行反离散余弦变换IDCT，得到WZ帧像素域帧数据，送入多路复接器213 ;多路复接器213，将产生的WZ帧和关键帧数据按照图像序列数进行排列，生成最后的重建图像。 参照图4，本发明的可自动调节冗余的无反馈多描述分布式视频编码方法，步骤如下步骤1，对关键帧进行H. 264帧内编码得到关键帧压缩码流，复制产生两路关键帧压缩码流发送到解码端。步骤2，对WZ帧进基于nXn块的离散余弦变换DCT后得到系数子带，对系数子带进行量化后得到量化系数，对该量化系数提取比特平面，然后划分比特平面集，将属于一个系数子带的比特平面设置为一个比特平面集。步骤3，根据步骤2所述的比特平面集，通过估计边信息的峰值信噪比设定两个不同的阈值Q1和q2，，根据峰值信噪比和设定的阈值选择相关因子r，即当峰值信噪比大于阈值Q1时，设置r=l，当峰值信噪比小于阈值Q1且大于阈值q2时，设置r=2，当峰值信噪比小于阈值q2时，设置r=3 ;用这r个比特平面集构成感兴趣区域，将属于感兴趣区域内的比特平面集复制产生两路比特平面集描述。步骤4，对于感兴趣区域之外的比特平面集，以四个为一组，取首尾比特平面集分配到一个比特平面集描述中，取中间两个比特平面集分配到另一个比特平面集描述中，依次直到所有比特平面集都分配结束，得到两路平衡的比特平面描述。步骤5，根据步骤4所述的两路平衡的比特平面描述，计算第一路比特平面描述的比特平面数目I= Σ ^BPi,计算第二路比特平面描述的比特平面数目J= Σ其中，BPi代表了第一路比特平面描述中第i个系数子带包含的比特平面个数，BPj代表了第二路比特平面描述中第j个系数子带包含的比特平面个数，每个比特平面有M个比特位，得到两个比特平面矩阵。步骤6，根据步骤5所述的两个比特平面矩阵，对每个比特平面矩阵的第k行，0〈k彡M，进行循环移位操作，对第一个比特平面矩阵的每行进行移位位数为S1 =MOD (k，I)的循环移位处理，对第二个比特平面矩阵的每行进行移位位数为S2 = MOD(k, J)的循环移位处理，MOD为求余运算，得到循环移位后的两路比特平面描述，其中I为第一个比特平面矩阵的比特平面数，J为第二个比特平面矩阵的比特平面数。步骤7，根据步骤6所述的循环移位后的两路比特平面描述，对第一路比特平面描述进行LDPC编码，产生第一路校验比特描述WZl发送到解码端，对第二路比特平面描述进行LDPC编码，产生第二路校验比特描述WZ2发送到解码端。参照图5，本发明的可自动调节冗余的无反馈多描述分布式视频解码方法，步骤如下步骤1，对收到的关键帧进行H. 264帧内解码，通过帧内插处理得到边信息，对边信息进行基于η X η块的离散余弦变换DCT后得到边信息系数子带，对边信息系数子带进行量化后得到量化系数，对该量化系数提取边信息比特平面，然后划分边信息比特平面集，将属于一个边信息系数子带的边信息比特平面设置为一个边信息比特平面集。步骤2，判断解码端收到的校验比特数目，当解码端收到两路校验比特描述WZl和WZ2时，跳到步骤3，当解码端仅收到一路校验比特描述WZl时，跳到步骤8。 步骤3，根据步骤I所述的边信息比特平面集，利用从编码端传送过来的相关因子r判断感兴趣区域，对属于感兴趣区域的边信息比特平面集分配到两路描述中，对于感兴趣区域外的边信息比特平面集，以四个为一组，取首尾边信息比特平面集分配到一个描述中，取中间两个边信息比特平面集分配到另一个描述中，依次直到所有边信息比特平面集都分配结束，生成两路边信息比特平面描述，两路边信息比特平面描述的比特平面数目分别为I’ =1和1 = J，每个比特平面有M个比特位，M = 1584。步骤4，根据步骤3所述的两路边信息比特平面描述，得到两个边信息比特平面矩阵，对第一个边信息比特平面矩阵的每行进行移位位数为S' ! =M0D(k/，Γ )的循环移位处理，对第二个边信息比特平面矩阵的每行进行移位位数为S' 2 = M0D(k'，J')的循环移位处理，得到循环移位后的两路边信息比特平面描述，其中k'为每个边信息比特平面矩阵的行数，0〈k’ ^ M,M= 1584，I’为第一个边信息比特平面矩阵的比特平面数目，J’为第二个边信息比特平面矩阵的比特平面数目。步骤5，根据步骤4所述的循环移位后的两路边信息比特平面描述，利用循环移位后的第一路边信息比特平面描述，与接收到的校验比特WZl进行LDPC解码，得到第一路解码比特平面描述，利用循环移位后的第二路边信息比特平面描述，与接收到的校验比特WZ2进行LDPC解码，得到第二路解码比特平面描述，这两路解码比特平面描述的比特平面数目分别为I" =1和·!" = J，每个比特平面有M个比特位，M = 1584。步骤6，根据步骤5所述的两路解码比特平面描述，得到两个解码比特平面矩阵，对第一个比特平面矩阵的每一行进行移位位数为S" ! = M0D(k"，I")的反循环移位处理，对第二个比特平面矩阵的每一行进行移位位数为S" 2 = M0D(k"，J")的反循环移位处理，得到反循环移位后的两路解码比特平面描述，其中k"为解码比特平面矩阵的行数，I"为第一个解码比特平面矩阵的比特平面数目，J"为第二个解码比特平面矩阵的比特平面数目。步骤7，根据步骤6所述的反循环移位后的两路解码比特平面描述，对其进行内插结合处理，冗余的部分舍弃不要，得到最终解码比特平面，跳到步骤13。步骤8，根据步骤I所述的边信息比特平面集，按照其对应的校验比特描述比特平面的分配方式分配部分比特平面，生成单路边信息比特平面描述，该边信息比特平面数目为I1 = I，每个比特平面有M个比特位，M = 1584。步骤9，根据步骤8所述的单路边信息比特平面描述，得到一个边信息比特平面矩阵，对该边信息比特矩阵的每一行进行移位位数为T1 = MOD(g，I1)的循环移位处理，g为比特平面矩阵的行数，得到循环移位后的单路边信息比特平面描述，送入相应的解码模块，I1为该边信息比特平面矩阵的比特平面数目。步骤10，根据步骤9所述的循环移位后的单路边信息比特平面描述，对编码端传送的相应的校验比特描述来进行LDPC解码，得到单路解码比特平面描述，该解码比特平面描述的比特平面数目为I2 = I，每个比特平面有M个比特位，M = 1584。步骤11，根据步骤10所述的解码后的单路解码比特平面描述，得到一个解码比特平面矩阵，对该解码比特平面矩阵进行移位位数为T2 = MOD(g/，J1)的反循环移位处理，得到反循环移位后的单路解码比特平面描述，为比特平面矩阵的行数，I2为该解码比特平面矩阵的比特平面数目。 步骤12，根据步骤11所述的反循环移位后的单路解码比特平面描述，将缺失的比特平面集用步骤I所述的边信息比特平面集进行填充，得到最终解码比特平面。步骤13，对最终解码比特平面进行反量化成变换域系数，变换域系数按块进行反离散余弦变换IDCT，得到重建的WZ帧。本发明的效果可以通过以下仿真进一步说明一.仿真条件(I)软件环境Visual Studio 2008 ；(2) GOP 大小2;(3)参考序列低速运动的Hall序列，中速运动的Foreman序列，高速运动的Soccer 序列；(4)分辨率176X144 ;(5)/[目号只考虑売度/[目号(6)性能指标峰值信噪比PSNR (dB)和码速率(kbps)二.仿真内容与结果(I)采用本发明对低速运动的Hall序列和高速运动的Soccer序列就WZ帧边路译码和中心路译码的性能相对于不同的相关因子r进行了仿真，仿真结果如表I所示。从表I可以看出，对于低速运动的Hall序列，当r从I增加到3时，r每增大1，码速率增加约为35kbps，中心路译码PSNR变化不大，边路译码PSNR提高约为O. 4dB,对于高速运动的Soccer序列，当r从I增加到3时，r每增大1，码速率增加约为40kbps,中心路译码PSNR变化不大，但边路译码的PSNR提高大于I. 5dB，仿真结果显示当视频运动量相差很大时，相关因子r的选取对系统性能有很大影响，因此通过调节冗余选取最优的相关因子r可以提高系统的整体性能。表I Hall和Soccer序列WZ帧的中心路和边路译码器性能序列边路PSNR(dB)中心路PSNR(dB) 码速率(kbps)
r=l37.5341.47240.17
Hall r=237.9941.51275.16r=338.3941.55310.86
r=l29.7636.86421.52
Soccer r=231.4137.11462.14
r=332.9437.12507.25(2)采用本发明和现有的方案对中速运动的Foreman序列就所有帧中心路译码的 峰值信噪比相对于码速率进行了仿真，仿真结果如图6(a)所示，采用本发明和现有的方案对中速运动的Foreman序列就所有帧边路译码的峰值信噪比相对于码速率进行了仿真，仿真结果如图6(b)所示，其中现有的方案包括有反馈的多描述视频编码MDC方案和无反馈的分布式视频编码方案，有反馈的多描述视频编码方案是Olivier Crave在2010年的文章Robust video coding based on multiple description scalarquantization with sideinformation提出的,无反馈的分布式视频编码方案是Catarina Brites在2007年在文章Encoder rate control for transform domain wyner-ziv video coding 中提出的。从图6 (a)可以看出，无反馈的分布式视频编码方案DVC与有反馈的单描述视频编码SDC相比PSNR下降了约4dB，本发明采用的无反馈多描述视频编码方案与现有的有反馈的多描述视频编码方案相比，中心路译码PSNR下降了 l-2dB。从图6(b)看出，本发明与有反馈的多描述视频编码系统相比，边路译码PSNR基本相同，所以本发明在去除了反馈信道后整体性能下降较少，保证了实时传输和传输信号的质量。
权利要求
1.一种可自动调节冗余的无反馈多描述分布式视频编码器，包括 第一变换量化模块(101):用于对WZ帧进行基于nXn块的离散余弦变换DCT，并将得到的频率系数按其在nXn块中所处的位置划分构成系数子带，对系数子带进行量化得到量化系数，对该量化系数提取比特平面，将得到的比特平面传送给第一多描述分配器(103)；简单运动估计模块(102):用于对编码端的关键帧进行一个简单的运动估计，得到一个粗化边信息，通过该边信息的性能来判断当前WZ帧运动量的剧烈程度，设置相关因子r，将该因子r送至第一多描述分配器模块(103)； 第一多描述分配器(103):利用传送过来的相关因子r，对收到的比特平面进行分配处理，生成两路比特平面描述，将第一路比特平面描述送至第一循环移位处理器(104)，将第二路比特平面描述送至第二循环移位处理器(105)； 第一循环移位处理器(104):对收到的第一路比特平面描述按位进行循环移位处理，生成循环移位后的第一路比特平面并送至第一 LDPC编码器(106)； 第二循环移位处理器(105):对收到的第二路比特平面描述按位进行循环移位处理，生成循环移位后的第二路比特平面并送至第二 LDPC编码器(107)； 第一 LDPC编码器(106):对收到的循环移位后的第一路比特平面，进行LDPC编码，产生第一路校验比特WZl发送至解码端； 第二 LDPC编码器(107):对收到的循环移位后的第二路比特平面，进行LDPC编码，产生第二路校验比特WZ2发送至解码端； H.264/AVC帧内编码器(108):对关键帧进行H. 264帧内编码，得到编码后的关键帧压缩码流，然后将该码流复制成KFl和KF2并发送至解码端。
2.根据权利要求I所述的可自动调节冗余的无反馈多描述分布式视频编码器，其特征在于简单运动估计模块(102)包括 基本层提取子模块(301):对于关键帧所有像素点，提取偶数行偶数列的像素点组成基本层，将基本层输出给块分类子模块(302)； 块分类子模块(302):取基本层的每8X8像素点作为宏块，对所有宏块进行零矢量运动搜索，计算每块的绝对误差和SAD值，对SAD小于设定阈值Ntl的宏块标记为M0类宏块，对SAD大于设定阈值Ntl且小于设定阈值N1的宏块标记为M1类宏块,依次类推，对SAD大于设定阈值Nn_2且小于最大设定阈值Nlri的宏块标记为Mlri类宏块，其中，^<^<. . . (KNn+ n为阈值的个数，将分类后的宏块输出给宏块组设置子模块(303); 宏块组设置子模块(303):对于分类后的宏块，将每3X3个宏块设置为一个宏块组，中心宏块设为A级别，其他宏块设为B级别，将设置后的宏块组输出给运动矢量初始化子模块(304)； 运动矢量初始化子模块(304):对设置后的宏块组中A级别的宏块进行处理，如果是Mtl类宏块，将其运动矢量初始化为\ = (0, 0)，如果是M1类到Mlri类宏块，则通过全搜索得到运动矢量\ ;对设置后的宏块组中B级别的宏块进行处理，如果是Mtl类宏块，则其运动矢量初始化为Vb = (0，0)，如果是M1类到Mlri类宏块，则将运动矢量Va作为B级别宏块的初始运动矢量输出给运动矢量更新子模块(305)； 运动矢量更新子模块(305):对B级别的M1类到Mlri类宏块的进行处理，处理顺序为从左向右，从上向下，对宏块组中左上角的宏块B11分别以矢量(VA，Va)，( Va± I，Va)，( VA，Va± I)以及(VA±1，VA±1)进行块匹配搜索，得到最小SAD值的运动矢量G11为其最终矢量，用B12宏块的运动矢量与当前宏块组所有已更新宏块的运动矢量取平均，作为B12宏块的初始运动矢量，对B12宏块进行与B11宏块相同的搜索，得到宏块B12的运动矢量，依次类推得到所有宏块的运动矢量，根据运动矢量通过内插的方法得到粗化边信息，并输出给相关因子提取子模块(306)； 相关因子提取子模块(306):用得到的粗化边信息与原始WZ帧的基本层进行比较得到其峰值信噪比，根据峰值信噪比设置阈值选择相关因子r，其中峰值信噪比与r成反比关系。
3.一种可自动调节冗余的无反馈多描述分布式视频解码器，包括 H.264/AVC帧内解码器(201):用于对接收到的关键帧压缩码流KFl和KF2进行H. 264帧内解码，并将解码得到的关键帧发送至帧内插模块(202)和多路复接器(213)； 帧内插模块(202):用于对相邻的两个已解码的关键帧采用基于帧内插的方式产生边信息，并将其发送至第二变换量化模块(203)； 第二变换量化模块(203):用于对边信息进行基于块的nXn的离散余弦变换DCT，并将得到的频率系数按其在nXn块中所处的位置划分构成系数子带，对系数子带进行量化得到量化系数，对该量化系数提取比特平面，并将边信息比特平面传送给第二多描述分配器(204)； 第二多描述分配器(204):对收到的边信息比特平面进行分配处理，当收到两路校验比特时，生成两路边信息比特平面描述，将产生的第一路边信息比特平面描述送至第三循环移位处理器(205)，将产生的第二路边信息比特平面描述送至第四循环移位处理器(206)，当收到一路校验比特时，产生一路边信息比特平面描述送至相应的循环移位处理器(205)；第三循环移位处理器(205):对收到的第一路边信息比特平面描述进行循环移位处理，将产生的循环移位后的第一路边信息比特平面送入第一 LDPC解码器(207)； 第四循环移位处理器(206):对收到的第二路边信息比特平面描述进行循环移位处理，将产生的循环移位后的第二路边信息比特平面送入第二 LDPC解码器(208)； 第一 LDPC解码器(207):用于在循环移位后的第一路边信息比特平面的辅助下，利用接收到的校验比特WZl进行解码处理，将第一路解码比特平面发送至第一反循环移位处理器(209)； 第二 LDPC解码器(208):用于在循环移位后的第二路边信息比特平面的辅助下，利用接收到的校验比特WZ2进行解码处理，将第二路解码比特平面发送至第二反循环移位处理器(210)； 第一反循环移位处理器(209 ):对接收到的第一路解码比特平面进行反循环移位处理，将生成的反循环移位后的第一路比特平面描述送至多描述结合器(211); 第二反循环移位处理器(210):对接收到的第二路解码比特平面进行反循环移位处理，将生成的反循环移位后的第二路比特平面描述送至多描述结合器(211); 多描述结合器(211):当收到反循环移位后的两路比特平面描述时，对两路描述进行结合，冗余的部分舍弃，当收到一路反循环移位后的比特平面描述时，对该路描述进行处理，将生成的比特平面送入到反量化反变换模块(212)； 反量化反变换模块(212):用于对输入的比特平面进行反量化成变换域系数，变换域系数按块进行反离散余弦变换IDCT，得到重建的WZ帧，送入多路复接器(213)； 多路复接器(213):将接收到的WZ帧和关键帧按照图像序列数进行排列，生成重建图像。
4.一种可自动调节冗余的无反馈多描述分布式视频编码方法，包括如下步骤 (1)对关键帧进行H.264帧内编码得到关键帧压缩码流并复制成两路发送到解码端； (2)对WZ帧进行DCT变换，并对变换后得到的系数子带进行量化后抽取，形成比特平面，将属于一个系数子带的比特平面设置为一个比特平面集； (3)根据比特平面集，通过估计边信息的峰值信噪比设定两个不同的阈值qi和q2， ，根据峰值信噪比和设定的阈值选择相关因子r，即当峰值信噪比大于阈值Q1时，设置r=l，当峰值信噪比小于阈值Q1且大于阈值q2时，设置r=2，当峰值信噪比小于阈值q2时，设置r=3 ;用这!■个比特平面集构成感兴趣区域，将属于感兴趣区域内的比特平面集复制，产生两路比特平面集描述； (4)对于感兴趣区域之外的比特平面集，以四个为一组，取首尾比特平面集分配到第一个比特平面集描述中，取中间两个比特平面集分配到第二个比特平面集描述中，依次直到所有比特平面集都分配结束，得到两路比特平面描述； (5)根据上述两路比特平面描述，计算两路比特平面描述的比特平面数目分别为I=E i= ClBPi和J= E ^ciBPp其中BPi和BP^分别代表了两路比特平面描述中第i个和第j个系数子带包含的比特平面数，每个比特平面有M个比特位，得到两个比特平面矩阵，M = 1584 ； (6)根据上述的两个比特平面矩阵，对第一个比特平面矩阵的每行进行移位位数为S1 = MOD(k, I)的循环移位处理，对第二个比特平面矩阵的每行进行移位位数为S2 =MOD(k, J)的循环移位处理，得到循环移位后的两路比特平面描述，其中k为每个比特平面矩阵的行数，0〈k ( M，M0D为求余运算，I为第一个比特平面矩阵的比特平面数目，J为第二个比特平面矩阵的比特平面数目； (7)根据上述循环移位后的两路比特平面描述，对其分别进行LDPC编码，产生两路校验比特描述WZl和WZ2发送到解码端。
5.一种可自动调节冗余的无反馈多描述分布式视频解码方法，包括如下步骤 1)对收到的关键帧进行H.264帧内解码得到解码关键帧，对解码关键帧通过帧内插处理得到边信息，对边信息进行DCT变换，并对变换后得到的系数子带进行量化后抽取，形成边信息比特平面，将属于一个系数子带的边信息比特平面设置为一个边信息比特平面集； 2)当解码端收到两路校验比特描述WZl和WZ2时，执行步骤(3)，当解码端仅收到一路校验比特描述WZl时，跳到步骤(8)； 3)根据步骤I)所述的边信息比特平面集，利用从编码端传送过来的相关因子r判断在两个描述中都存在的边信息比特平面集个数，这些边信息比特平面集构成感兴趣区域，将属于感兴趣区域的边信息比特平面集复制，产生两路边信息比特平面集描述，对于感兴趣区域外的边信息比特平面集，以四个为一组，取首尾边信息比特平面集分配到第一个边信息比特平面集描述中，取中间两个边信息比特平面集分配到另一个边信息比特平面集描述中，依次直到所有边信息比特平面集都分配结束，生成两路边信息比特平面描述，两路边信息比特平面描述的比特平面数目分别为I' = I和J’ = J，每个比特平面有M个比特位，M=1584 ；.4)根据步骤3)所述的两路边信息比特平面描述，得到两个边信息比特平面矩阵，对第一个边信息比特平面矩阵的每行进行移位位数为S' 1=MOD(k/，1')的循环移位处理，对第二个边信息比特平面矩阵的每行进行移位位数为S' 2 = MOD(k'，J')的循环移位处理，得到循环移位后的两路边信息比特平面描述，其中k'为每个边信息比特平面矩阵的行数，0〈k’ ^MjM= 1584，I’为第一个边信息比特平面矩阵的比特平面数目，J’为第二个边信息比特平面矩阵的比特平面数目； . 5)根据步骤4)所述的循环移位后的两路边信息比特平面描述，通过对编码端传送的校验比特描述WZl和WZ2进行LDPC解码，得到两路解码比特平面描述，两路解码比特平面描述的比特平面数目分别为I" =I和J" =J，每个比特平面有M个比特位，M= 1584; . 6)根据步骤5)所述的两路解码比特平面描述，得到两个解码比特平面矩阵，对第一个解码比特平面矩阵的每行进行移位位数为S" ! =MOD(k// ,I")的反循环移位处理，对第二个解码比特平面矩阵的每行进行移位位数为S" 2 = MOD(k"，J")的反循环移位处理，得到反循环移位后的两路解码比特平面描述，其中k "为解码比特平面矩阵的行数，I"为第一个解码比特平面矩阵的比特平面数目，J"为第二个解码比特平面矩阵的比特平面数目； .7)根据步骤6)所述的反循环移位后的两路解码比特平面描述，对其进行内插结合，冗余的部分舍弃不要，得到最终解码比特平面，跳到步骤(13); . 8)根据步骤I)所述的边信息比特平面集，按照其对应校验比特描述WZl中比特平面的分配方式，分配边信息比特平面，产生单路边信息比特平面描述，该边信息比特平面数目为I1 = I，每个比特平面有M个比特位，M = 1584 ； . 9)根据步骤8)所述的单路边信息比特平面描述，得到一个边信息比特平面矩阵，对该边信息比特平面矩阵的每一行进行移位位数为T1 = MOD(g, I1)的循环移位处理，得到循环移位后的单路边信息比特平面描述，其中g为该比特平面矩阵的行数，I1为该边信息比特平面矩阵的比特平面数目； .10)根据步骤9)所述的循环移位后的单路边信息比特平面描述，通过对编码端传送的校验比特描述WZl进行LDPC解码，得到单路解码比特平面描述，该解码比特平面描述的比特平面数目为I2 = I，每个比特平面有M个比特位，M = 1584 ； . 11)根据步骤10)所述的单路解码比特平面描述，得到一个解码比特平面矩阵，对该解码比特平面矩阵进行移位位数为T2 = MOD (g' ,I2)的反循环移位处理，得到反循环移位后的单路解码比特平面描述，g'为该解码比特平面矩阵的行数，I2为该解码比特平面矩阵的比特平面数目；. 12)根据步骤11)所述的反循环移位后的单路解码比特平面描述，将缺失的比特平面集用步骤I)所述的边信息比特平面集进行填充，得到最终解码比特平面； . 13)对最终解码比特平面经过重建得到最终的WZ解码图像。
全文摘要
本发明公开了一种可自动调节冗余的无反馈多描述分布式视频编码系统，主要解决现有的多描述分布式视频编解码方案中存在反馈信道造成延迟传输以及不能自适应调节描述间冗余的问题。该系统主要由两部分组成编码端和解码端。编码端通过简单运动估计模块来判断帧的运动量，然后通过运动量的大小动态调整相关因子来实现描述之间冗余的自动调节，利用基于感兴趣区域的多描述分配和循环移位处理得到了两路平衡的描述并去除反馈信道；解码端根据收到描述的数目对接收到的描述进行不同的处理。本发明保证了系统实时传输的能力，进一步提高了系统的整体率失真性能，可用于各种无线视频实时传输系统。
文档编号H04N7/50GK102811349SQ201210253379
公开日2012年12月5日 申请日期2012年7月20日 优先权日2012年7月20日
发明者阔永红, 张鹏, 陈健, 李婷, 杨龙 申请人:西安电子科技大学