专利名称：基于运动信息的视频帧重要性评估方法
技术领域：
本发明属于视频通信技术领域，涉及基于运动信息的视频帧重要性评估方法， 可用于视频编解码系统和视频传输系统。
背景技术：
随着多媒体技术以及通信网络的迅速发展，多媒体应用已成为Internet不可缺少 的一部分，也逐渐成为人们日常生活的一部分。虽然目前多媒体应用有了很大的进步， 但存在私有性，不够灵活，不能给用户提供满意的视觉体验，如Real Player及Windows Media Player。随着视频压缩技术的不断发展，如MPEG-4和H.264的出现，其利用帧间 时间相关性和图像空间相关性获得高水平的压缩，增加了传输效率，但受误码扩散的影 响比较大。同时由于网络环境的带宽条件、分组丢失或者比特错误等因素影响多媒体流 的传输性能，导致媒体播放质量下降，因此必须对传输的视频数据使用多种差错控制方 法。多媒体应用实现差错控制有开环和闭环两种方式。开环方式在前向信道中实现 差错控制，不需要反馈信息，一定条件下可以有效的提高数据传输质量，但会引入较大 的开销和较高的计算复杂度，发端不能预测丢包情况，算法灵活性差，特别是针对时变 的传输网络。闭环方式主要利用现有网络条件的反馈信息自适应错误控制，该方式会增 加传输时延，但只需较小的带宽和处理代价就能有效恢复丢失数据，不会给网络增加过 多负担，主要方法是重传。近年来，人们在视频通信中提出使用选择性重传方法，该方 法只选择重传部分丢失数据包，不仅节省了带宽资源和运算处理代价，还降低了传输时 延，成为视频差错控制算法中的研究热点。码流经过封装后得到的不同数据包对恢复视 频质量的影响不同，有些数据包对恢复视频质量影响很大，有些数据包对恢复视频质量 影响不大。选择性重传方法通常选择重传那些对恢复视频质量影响较大的丢失数据。这 就要求评估视频数据的重要性，以方便选择重传的实现。在视频压缩与传输技术中，视频帧重要性的评估方法主要有以下两种1)均方误差MSE方法，这种方法是利用一帧图像丢失造成的信道失真值作为这 一帧图像的重要性，该失真值包括两部分第一部分是误码掩盖失真MSEec,即第η帧 丢失时使用第η-1帧的解码图像代替所造成的失真，可以表示为
ι M NMSEEC(n) = —YZUS^y) - /-^y)]2
MNttU其中fn(x，y)表示第η帧的原始图像像素值，f (x, y)表示第η_1帧的解码 图像像素值，M，N表示一帧图像的宽和高；第二部分是误码扩散失真MSEep,即第η帧丢失给后续帧造成的失真，可以表示 为MSEep (n) = (L-n-l) · MSEec (η)其中MSEec(η)表示第η帧的误码掩盖失真值，N表示GOP的长度。
第η帧的重要性值即第η帧丢失造成的信道失真值De(n)，可以表示为Dc (n) = MSEec (η)+MSEep (η)其中MSEec(II)表示第η帧的误码掩盖失真，MSEep (η)表示第η帧的误码扩散 失真。这种方法的缺点是同时需要原始图像和解码图像，而原始图像在流媒体服务器与 网络节点上不可得，并且完全解码视频码流大大增加了时间开销和计算复杂度，所以难 以使用该方法评估视频帧的重要性值；2)数据分割方法，这种方法将编码数据存放在3个独立的数据分割Α、B、C 中，分割A包含每个宏块头数据，如果分割A数据丢失则不能重建图像，因此分割A重 要性最高，分割B包含帧内的编码残差数据，分割C包含帧间宏块的编码残差数据，分 割B和分割C的重要性较低。这种方法的缺点是需要预先在编码端区分数据重要性级 别，对编码器的依赖性大。
发明内容
本发明的目的在于克服上述已有技术的缺点，提出一种基于运动信息的视频帧 重要性评估方法，在不需要原始图像和解码图像，也不依赖于编码器进行数据分割的情 况下，只需对视频码流部分解码，利用解码得到的宏块编码模式和运动信息实现对视频 帧重要性的评估。为实现上述目的，本发明提出基于运动信息的帧重要性评估方法，包括如下步 骤1. 一种基于运动信息的视频帧重要性评估方法，包括如下步骤(1)对接收到的包含宏块编码模式和运动信息的码流进行解码；(2)根据解码得到宏块编码模式将宏块分为三类帧间编码宏块、帧内编码宏 块和skip宏块；(3)根据三种宏块的运动特征，利用解码得到的运动信息估计宏块的重要性(3.1)估计帧间编码宏块的重要性设MVx和MVy分别表示帧间编码宏块中4X4子宏块运动矢量MV的χ分量和 y分量，则4X4子宏块运动矢量幅度值为
权利要求
1. 一种基于运动信息的视频帧重要性评估方法，包括如下步骤(1)对接收到的包含宏块编码模式和运动信息的码流进行解码；(2)根据解码得到宏块编码模式将宏块分为三类帧间编码宏块、帧内编码宏块和 skip宏块；(3)根据三种宏块的运动特征，利用解码得到的运动信息估计宏块的重要性(3.1)估计帧间编码宏块的重要性设MVx和MVy分别表示帧间编码宏块中4X4子宏块运动矢量MV的χ分量和y分 量，则4X4子宏块运动矢量幅度值为
全文摘要
本发明公开了一种基于运动信息的视频帧重要性评估方法，它属于视频通信技术领域，主要解决现有技术需要原始图像和解码图像，所需运算资源过多，且依赖编码端的问题。其实现步骤是首先，通过解码器解码部分码流得到宏块编码模式和运动信息；然后，按照宏块编码模式对宏块进行分类，再根据不同类型宏块的运动特征，利用运动信息估计不同类型宏块的重要性；最后，根据图像组GOP的长度、当前帧在图像组GOP中的序号以及不同类型宏块的重要性，得到视频帧的重要性。本发明与现有的均方误差MSE方法相比不需要原始图像和解码图像，且评估结果一致，可用于视频编解码系统和视频传输系统。
文档编号H04N7/32GK102026001SQ201110002058
公开日2011年4月20日 申请日期2011年1月6日 优先权日2011年1月6日
发明者吴炜, 彭学露, 李子诺, 秦浩, 赵月 申请人:西安电子科技大学