专利名称：基于不等差错保护的实时视频通信方法
基于不等差错保护的实时视频通信方法
技术领域
本发明属于无线视频通信领域，尤其涉及一种在无线网络环境下为防止误码传播，根据视频码流数据的重要性进行不等差错保护的实时视频通信方法。
技术背景
无线通信网络和互联网的传输信道并不可靠，在视频比特流的传输过程中，信道干扰、网络拥塞等问题将会导致随机比特错误、突发性差错及分组丢失误码等现象，造成所传输的视频数据信息丢失。针对低比特率视频通信应用的H. 264标准由于其运动补偿机制的影响，预测编码中的误码将在时间和空间上扩散，任何当前帧中的差错都将影响参照它的后续帧；变长编码序列中的误码，将空间扩散而影响GOP内很大区域，直到下一个同步点；该系列标准采用熵编码方式以获得高压缩率，而熵编码的最大缺陷是对误码十分敏感。 码流在传输过程中即使出现少量误码，都可能导致视觉质量严重恶化。因此，H. 264视频流的鲁棒性传输对于无线多媒体应用十分重要。
由于底层网络的不可靠，有损网络中视频传输的抗误码技术研究已成为重要的需求。为满足视频通信的实时性,视频传输中通常不采用自动请求重传(ARQ，Automatic Request Retransmission)的方式重传接收错误的数据，而采用前向纠错(FEC)技术来进行分组保护。目前常用的前向纠错码主要有RS (Reed Solomon)码、LDPC (Low Density Erasure Code)码和 LDGM 码等。
采用前向纠错码可以提高视频传输的效果，但对于实时视频应用来说时延也是一个很重要的参数。在现有方法中，E. Baccaglini等采用RS码进行FEC保护，RS码块中的源数据分组包含整个GOP巾贞，因此引入一个GOP的时延。X. Yang等采用的方法中RS码块的源数据分组包含一个子GOP帧，因此时延取决于子GOP的长度。N. Tomos等采用RS码进行帧级保护，因此没有时延。然而，对于帧级的FEC保护，源数据分组较少，使得FEC码性能降低。针对上述问题，Jimin Xiao提出了一种实时FEC视频传输的新方法。该方法中采用RS码保护多个视频帧增强RS码的性能，同时没有引入时延。但该方法没有考虑视频分组的重要性等级，需进一步改进
发明内容
技术问题本发明通过研究不等差错保护和实时FEC的视频传输方法，提出了一种基于LDGM-UEP的实时H. 264视频传输抗误码方法。该方法在解码器端没有引入时延，但是有效的阻止了误码掩盖失真扩散到后续帧。
技术方案本发明 方法在发送端采用LDGM码对包含多个帧的子GOP进行不等差错保护。在接收端，视频解码器只需要子GOP中的某一帧的分组就可以解码显示该帧。由于解码器无需等待子GOP中的所有分组都接收，解码端无时延引入。接着，当子GOP中的所有分组都接收完成后，LDGM译码器尝试恢复丢失的分组。若LDGM译码器恢复出该子GOP中所有的丢失分组，则视频解码器对该子GOP中所有分组进行重新解码并更新参考帧，从而阻止误码掩盖的失真扩散到后续帧。
该方法包括进程一发送端对输入的视频数据进行信源编码，得到重要等级不同的多个视频码流， 采用前向纠错FEC技术对各个视频码流构成的分组进行保护，提高视频传输系统可靠性； 进程二 接收端对收到的视频码流进行实时解码，主要包括采用误码掩盖技术进行误码恢复，并结合FEC技术阻止误码掩盖失真扩散到后续帧。
前向纠错FEC技术，对H. 264编码器输出的视频码流，在I帧和各子GOP帧结束后加入LDGM保护分组，对不同重要等级数据进行不等差错保护UEP，给更重要的数据加更多的保护分组；对于LDGM编码，源数据分组保持不变，校验分组直接附加在其后，从而无编码时延。
接收端对收到的视频码流进行实时解码具体为接收端接收到视频分组后，如果当前收到的是I帧，则直接进行LDGM译码然后信源解码；如果当前收到的是P帧，即使子 GOP中视频分组未完全接收，视频解码器只需要子GOP中的某一帧的分组就可以直接信源解码并显示该帧；如果该帧有一些分组在传输过程中丢失，采用误码掩盖技术进行误码恢复；在这种情况下，解码器并不需要等待整个子GOP中的所有分组都接收到后再开始解码， 所以，解码端并无时延引入；接着，当子GOP中的所有分组都接收完成后，LDGM译码器尝试恢复丢失的分组；如果该子GOP中丢失的分组数小于编码端加入的保护分组数，则LDGM译码器恢复出该子GOP中所有的丢失分组，此时视频解码器对该子GOP中所有分组进行重新解码并更新参考帧，从而阻止误码掩盖的失真扩散到后续帧。
基于LDGM-UEP的实时H. 264视频传输抗误码方法为在发送端，本发明首先采用 H. 264编码器进行信源编码，然后在I帧和各子GOP帧结束后加入LDGM保护分组对不同重要等级的A、B、C三类数据进行不等差错保护。对于LDGM编码，源数据分组保持不变，校验分组直接附加在其后，从而无编码时延。在接收端，当接收到视频分组后，如果当前收到的是I 帧，则直接进行LDGM译码然后信源解码。如果当前收到的是P帧，即使子GOP中视频分组未完全接收，视频解码器只需要子GOP中的某一帧的分组就可以直接信源解码并显示该帧。 如果该帧有一些分组在传输中丢失，可采用误码掩盖技术进行误码恢复。在这种情况下，解码器并不需要等待整个子GOP中的所有分组都接收到后再开始解码，所以，解码端并无时延引入。接着，当子GOP中的所有分组都接收完成后，LDGM译码器尝试恢复丢失的分组。如果该子GOP中丢失的分组小于N-K， 则LDGM译码器恢复出该子GOP中所有的丢失分组，此时视频解码器对该子GOP中所有分组进行重新解码并更新参考帧，从而阻止误码掩盖的失真扩散到后续帧。因此，本发明既考虑了视频分组的重要性程度和实时视频传输的要求，又阻止了误码掩盖失真扩散到后续帧， 从而提高了整个实时视频传输系统的性能。
有益效果本发明方法既考虑了视频分组的重要性又满足了实时FEC视频传输的要求，无解码时延引入，又阻止了误码掩盖失真扩散到后续帧 ，从而提高了实时视频传输的主观效果。
图1是本发明子GOP FEC方法中LDGM保护分组示意图2是本发明基于LDGM-UEP的实时H. 264视频传输抗误码方法系统框具体实施例方式本方法主要包括三部分基于数据分割的不等差错保护，基于子GOP的FEC，基于LDGM-UEP的实时H. 264视频传输。首先，发送端根据H. 264编码器生成码流的不同部分对视频重建质量的作用不同，对码流结构中不同部分的数据采用不同级别的差错保护机制。对于那些对视频图像的重建起到至关重要的数据采用较高保护级别的差错保护机制，即对H. 264编码码流中较重要的A类数据采用强保护，而对于那些对图像的重建相对而言不是非常重要的数据，H. 264编码码流中的B和C类数据采用较低保护级别的信道编码，从而实现不同等级数据的不等差错保护方案，以提高视频传输系统可靠性。
·
另外，对于实时FEC视频分组保护，通常的做法是进行帧级的FEC编码，即源数据分组来自相同的帧。一般来说，I帧产生的码流大于P帧，因此I帧可产生更多的源分组。在本发明的子GOP FEC方法中，对I帧采用帧级的LDGM码保护，对于P帧则分配LDGM码到子GOP级。图1显示了如何产生子GOP帧和如何在每个子GOP末尾分配LDGM保护分组。同时为满足实时的要求，在信道编码中源分组保持不变。因此，在接收端，视频解码器只需要一帧的分组就可以解码显示该帧。如果该帧的分组在传输过程中丢失，则采用常规误码掩盖方法进行误码恢复。最后，基于LDGM-UEP的实时H. 264视频传输抗误码方法为在发送端，首先采用
H.264编码器对视频序列进行信源编码(采用FMO和数据分割DP模式)，然后在I帧和各子GOP帧结束后加入LDGM保护分组对不同重要等级的A、B、C三类数据进行不等差错保护。对于LDGM编码，源数据分组保持不变，校验分组直接附加在其后，从而无编码时延。在接收端，当接收到视频分组后，若为I帧，则直接进行LDGM译码然后信源解码。若为P帧，如果子GOP中视频分组未完全接收，则视频解码器只需要子GOP中的某一帧的分组就直接信源解码并显示该帧。若该帧出现误码，则不等待子GOP中所有的分组都接收而直接对该帧进行误码掩盖。因此，解码器无等待时延。当接收端接收到子GOP中后续的分组后，若丢失分组数小于况-Γ ,则LDGM译码器恢复出该子GOP中所有的分组，然后解码器对该子GOP重新解码，并更新参考帧。因此，该方法有效地防止了误码传播，同时无时延引入。本发明的仿真结果
本发明在仿真中采用JM14. 2信源编解码器，GOP的大小设置为30，即每30帧插入一个I帧。I帧单独进行FEC保护；Ρ1-Ρ4作为一个子GOP ;其余每5个P帧一个子GOP。Forman视频序列的QPI=31, QPP=29 ；Coastguard视频的QPI=30, QPP=30。所有的CIF视频序列中贞率均为30帧/秒，参考帧个数S设定为1，FMO分为8个片，一个视频包由一个完全的片组成，若传输过程发生差错则整个视频包均丢失，仿真丢包模型为随机丢包模型。在总码率近似相等的情况下，分别进行5%和10%丢包信道的视频传输实验，实验结果如表2所示。其中EEP-子GOP FEC (基于子GOP的前向纠错)方法为N. Thomos等人提出的，本发明方法为基于LDGM-UEP的实时H. 264视频传输抗误码方法。 表I Forman和Coastguard视频序列FEC保护后总码率
权利要求
1.一种基于不等差错保护的H. 264实时视频通信方法，其特征在于该方法包括 进程一发送端对输入的视频数据进行信源编码，得到重要等级不同的多个视频码流，采用前向纠错FEC技术对各个视频码流构成的分组进行保护，提高视频传输系统可靠性； 进程二 接收端对收到的视频码流进行实时解码，主要包括采用误码掩盖技术进行误码恢复，并结合FEC技术阻止误码掩盖失真扩散到后续帧。
2.如权利要求1所述的基于不等差错保护的H.264实时视频通信方法，其特征在于前向纠错FEC技术，对H. 264编码器输出的视频码流，在I帧和各子GOP帧结束后加入LDGM保护分组，对不同重要等级数据进行不等差错保护UEP，给更重要的数据加更多的保护分组; 对于LDGM编码，源数据分组保持不变，校验分组直接附加在其后，从而无编码时延。
3.如权利要求1所述的基于不等差错保护的H.264实时视频通信方法，其特征在于接收端对收到的视频码流进行实时解码具体为接收端接收到视频分组后，如果当前收到的是I帧，则直接进行LDGM译码然后信源解码；如果当前收到的是P帧，即使子GOP中视频分组未完全接收，视频解码器只需要子GOP中的某一帧的分组就可以直接信源解码并显示该帧；如果该帧有一些分组在传输过程中丢失，采用误码掩盖技术进行误码恢复；在这种情况下，解码器并不需要等待整个子GOP中的所有分组都接收到后再开始解码，所以，解码端并无时延引入；接着，当子GOP中的所有分组都接收完成后，LDGM译码器尝试恢复丢失的分组；如果该子GOP中丢失的分组数小于编码端加入的保护分组数，则LDGM译码器恢复出该子GOP中所有的丢失分组，此时视频解码器对该子GOP中所有分组进行重新解码并更新参考帧，从而阻止误码掩盖的失真扩散到后续帧。
全文摘要
本发明针对如何改善实时H.264视频传输中的抗误码效果，提高无线视频传输的质量，提出了一种基于LDGM-UEP的实时H.264视频传输抗误码方法。包括在发送端采用LDGM码对包含多个帧的子GOP进行基于数据分割的不等差错保护。在接收端，只需要子GOP中的某一帧的分组送到视频解码器就可以解码显示该帧。如果该帧有部分分组在传输中丢失，则采用误码掩盖技术进行误码恢复。由于解码器无需等待子GOP中的所有分组都接收，解码端并无时延引入。另外，当接收端收到子GOP中的所有分组后，LDGM译码器尝试恢复丢失的分组。若LDGM译码器恢复出该子GOP中所有的丢失分组，则视频解码器对该子GOP中所有分组进行重新解码并且更新响应的参考帧，从而阻止误码掩盖的失真扩散到后续帧。
文档编号H04N21/438GK103067719SQ20131003811
公开日2013年4月24日 申请日期2013年1月31日 优先权日2013年1月31日
发明者董育宁, 黄超, 陈海波 申请人:南京邮电大学