专利名称：通过解码质量控制降低视频解码复杂度的方法
技术领域：
本发明涉及视频播放终端，特别涉及到多媒体处理能力有限的视频播放终端。
背景技术：
MPEG视频压缩标准是目前使用最广泛的视频压缩标准。MPEG视频的解码过程一般包括以下步骤1)、变长熵解码；2)、反量化；3)、反离散余弦变换(IDCT，Inverse Discrete Cosine Transform)；4)、运动补偿。
在H.264等新标准中，在运动补偿后还包括环内去块滤波环节。上述的解码过程实现的具体技术细节可参见参考文献1《ISO/IEC 14496-2》(MPEG4的视频编解码标准)以及参考文献2《ISO/IEC 14496-10》(H.264的视频编解码标准)。
随着MPEG视频编码复杂度的增加，视频解码的压力也越来越大。在MPEG视频播放系统中，经常会遇到这样的问题输入到播放终端的视频序列的平均解码复杂度超出了终端的处理能力，当解码器解码完几帧视频图像之后，系统的当前时间便滞后于视频帧的正常显示时间，如果继续进行逐帧解码，则会进一步加剧视频图像显示的滞后，造成用户看到的是慢速播放的视频。
目前处理这种问题的方法一般是进行丢帧即对输入的视频序列进行尽力解码，如果当前的系统时间已经滞后于要解码的输入视频帧，则丢弃该视频帧，不进行解码。丢帧虽然能尽量保持被解码的视频图像的显示时间接近视频图像要求的显示时间，但是，丢帧意味着显示帧频的下降，容易造成观看时的不连续和停顿感。于是，如何在终端处理能力受限的情况下减轻视频解码的压力，避免丢帧造成的显示停顿，便具有实际应用价值。
发明内容
本发明的目的在于克服现有技术在多媒体处理能力不足的终端上进行视频播放时丢帧造成的播放画面停顿的弊端，为了减轻终端的视频解码压力，在尽量保持视频质量的原则下提高视频播放的流畅度，从而提供一种通过解码质量控制降低视频解码复杂度的方法。
为了实现上述目的，本发明提供了一种通过解码质量控制降低视频解码复杂度的方法，包含以下步骤1)、视频终端接收视频帧，并计算视频终端的系统当前时间与当前视频帧显示时间标签间的差值；2)、根据步骤1)计算所得到的差值对视频终端当前的视频解码压力进行估计，确定视频解码压力的级别；3)、利用步骤2)得到的视频解码压力的级别，对当前帧进行解码质量控制，根据色度优先处理策略和边缘优先处理策略，选择解码时的简化算法，确定简化处理的程度，然后对视频帧做解码操作。
上述技术方案中，在所述的步骤3)中，所述的解码时的简化算法包括反离散余弦变换简化运算和/或运动补偿简化运算，在视频解码时至少采用其中的一种；所述的反离散余弦变换简化运算在视频解码过程中代替反离散余弦变换运算，所述的运动补偿简化运算在视频解码过程中代替运动补偿运算。
在所述的步骤3)中，所述的解码时的简化算法还包括环内去块滤波控制，在视频解码过程中，所述的环内去块滤波控制代替视频解码过程中的环内去块滤波。
所述的色度优先处理策略是利用人眼对色度的灵敏度远低于对亮度的灵敏度，在进行降低复杂度的解码时，优先对色度块采用反离散余弦变换简化运算、或运动补偿简化运算、或环内去块滤波控制；所述的边缘优先处理策略是利用人一般对视频图像中央区域的关注程度较高，对视频图像边缘区域的关注较低的特点，在进行降低复杂度的解码时，优先对视频图像边缘的块或宏块采用反离散余弦变换简化运算、或运动补偿简化运算、或环内去块滤波控制。
所述的反离散余弦变换简化运算是将解码块中的部分离散余弦变换系数高频分量置为零，利用离散余弦变换系数低频分量构成的稀疏矩阵进行反离散余弦变换。
所述的运动补偿简化运算是降低视频帧解码过程中的运动矢量的象素精度，简化运动补偿中的象素插值运算。
所述的环内去块滤波控制是对进行控制的块禁止使用环内去块滤波的操作。
在所述的步骤3)中，所述的确定简化处理的程度是指对反离散余弦变换简化运算，确定反离散余弦变换中置零的高频分量的比例；对运动补偿简化运算，确定运动矢量精度下降的程度。
在所述的步骤2)中，所述的确定视频解码压力的级别是在差值可能的取值范围内设定至少一个阀值，从而形成不同的区域，根据步骤1)所得到的差值位于哪一个区域来确定视频解码压力的级别。
所述的阀值有6个，按照时间从小到大分别用a、b、c、d、e、f表示；所述的级别有7个，分别用S1～S7表示，其中，S1D＜a；S2a＜＝D＜b；S3b＜＝D＜c；S4c＜＝D＜d；S5d＜＝D＜e；S6e＜＝D＜f；S7D＞＝f。
在所述的步骤3)中，对不同级别的视频解码压力采用不同的视频解码算法，其中，a、当解码压力为S1时，采用常规视频解码算法；b、当解码压力为S2时，在视频解码时，对视频图像的左右各1/4区域内的色度块采用反离散余弦变换简化运算代替反离散余弦变换运算；c、当解码压力为S3时，在视频解码时，对视频图像的左右各1/4区域内的色度块采用反离散余弦变换简化运算代替反离散余弦变换运算，采用运动补偿简化运算代替运动补偿运算；d、当解码压力为S4时，在视频解码时，对视频图像的左右各1/4区域内的色度块、亮度块采用反离散余弦变换简化运算代替反离散余弦变换运算，采用运动补偿简化运算代替运动补偿运算；e、当解码压力为S5时，在视频解码时，对视频图像的左右各1/4区域内的色度、亮度块采用反离散余弦变换简化运算代替反离散余弦变换运算，采用运动补偿简化运算代替运动补偿运算，并禁止环内去块滤波；f、当解码压力为S6时，在视频解码时，对视频图像的左右和上下各1/4区域内的色度、亮度块采用反离散余弦变换简化运算代替反离散余弦变换运算，采用运动补偿简化运算代替运动补偿运算，并禁止环内去块滤波；
g、当解码压力为S7时，在视频解码时，对视频图像的所有区域内的色度、亮度块采用反离散余弦变换简化运算代替反离散余弦变换运算，采用运动补偿简化运算代替运动补偿运算，并禁止环内去块滤波。
本发明的优点在于(1)在视频解码的过程中，可根据当前的视频解码压力动态降低视频解码复杂度；(2)不对视频帧序列进行丢帧，保持了视频的连贯性；(3)利用人眼的视觉特性和观众的关注区域差异性，在降低复杂度解码时能够尽量保持视觉效果。
图1本发明的机顶盒应用场景示意图；图2当前系统时间与当前帧显示时间标签的差值对应的解码压力；图3图像的左右各1/4区域示意图；图4图像的上下左右各1/4区域示意图；图5为本发明的通过解码质量控制降低视频解码复杂度的方法的流程图。
具体实施例方式
下面结合附图和具体实施例对本发明做进一步的描述。
本发明的通过解码质量控制降低视频解码复杂度的方法可应用于如图1所示的数字电视播放系统中。机顶盒通过宽带网络向流媒体服务器发出视频服务请求，流媒体服务器响应该请求，并通过网络向机顶盒发送视频数据，机顶盒接受到视频数据后进行解码，然后送到电视机进行显示。在本实施例中，该系统的网络带宽能够满足视频流的传送需求，机顶盒的网络接收模块也有足够的能力进行数据接收，但机顶盒的视频解码能力不足，无法满足对视频流的全部数据进行实时解码。本发明的解码质量控制降低视频解码复杂度的方法正适用于这种视频终端(机顶盒)解码能力不足的情况。
本发明的解码质量控制降低视频解码复杂度的方法具体包含以下步骤1、机顶盒接收视频帧，并计算机顶盒的系统当前时间与当前视频帧显示时间标签的差值。在本实施例中，用D表示差值，则D＝系统当前时间-当前视频帧显示时间标签。
2、根据步骤1计算所得到的差值对机顶盒的视频解码压力进行估计，确定当前的机顶盒的视频解码压力的级别。在本发明方法中，按照差值的取值范围，将视频解码压力划分成不同的级别，差值的数值越大，则视频解码压力也越大。在本实施例中，机顶盒的视频解码压力划分为7个级别，用S1～S7表示。在图2中表示了各个级别的划分方法，其中S1D＜-10；S2-10＜＝D＜0；S30＜＝D＜10；S410＜＝D＜20；S520＜＝D＜30；S630＜＝D＜40；S7D＞＝40。
3、根据机顶盒当前的视频解码压力，判断是否需要对当前帧进行解码质量控制，当机顶盒的视频解码压力较大时，根据色度优先处理策略和边缘优先处理策略，降低视频解码复杂度。在对当前帧进行解码质量控制时，根据视频解码压力的不同级别，选择解码时的简化算法，确定简化处理的程度，然后再对视频帧做解码操作。
解码时的简化算法主要包括IDCT简化运算、运动补偿简化运算和环内去块滤波控制。在本实施例中，所述的IDCT简化运算保留解码块DCT系数中1/4低频分量，将其余系数分量均置为零，然后对稀疏DCT系数矩阵进行IDCT。所述的运动补偿简化运算把运动矢量的象素精度从子象素精度降为整象素精度，以避免象素插值，从而简化解码的复杂度。所述的环内去块滤波控制是指对进行控制的Block禁止使用环内去块滤波的操作。
所述的简化处理的程度是指对反离散余弦变换简化运算，确定反离散余弦变换中置零的高频分量的比例；对运动补偿简化运算，确定运动矢量精度下降的程度。如在本实施例中，置零的高频分量占到3/4，象素精度从子象素精度降为整象素精度。
在降低视频解码复杂度时主要遵循两个策略，色度优先处理策略和边缘优先处理策略。所述的色度优先处理策略主要考虑到人眼的视觉特性，一般来说，人眼对亮度的敏感度高，对色度的敏感度低，因此在降低视频解码复杂度时优先简化色度信息。所述的边缘优先处理策略主要考虑到人眼对视觉对象在不同位置的关注程度是不同的，通常位于图像中心位置的对象所受到的关注度最高，而在边缘位置的对象所受到的关注度相对较低，因此，在降低视频解码复杂度时可优先简化图像边缘部分的信息。
根据上述策略，在本实施例中，对7种不同级别的视频解码压力有不同的处理流程，其具体实现如下a、当解码压力为S1时，采用常规视频解码算法；b、当解码压力为S2时，在视频解码时，对视频图像的左右各1/4区域内的色度块采用IDCT简化运算代替IDCT运算；c、当解码压力为S3时，在视频解码时，对视频图像的左右各1/4区域内的色度块采用IDCT简化运算代替IDCT运算，采用运动补偿简化运算代替运动补偿运算；d、当解码压力为S4时，在视频解码时，对视频图像的左右各1/4区域内的色度块、亮度块采用IDCT简化运算代替IDCT运算，采用运动补偿简化运算代替运动补偿运算；e、当解码压力为S5时，在视频解码时，对视频图像的左右各1/4区域内的色度、亮度块采用IDCT简化运算代替IDCT运算，采用运动补偿简化运算代替运动补偿运算，并禁止环内去块滤波；f、当解码压力为S6时，在视频解码时，对视频图像的左右和上下各1/4区域内的色度、亮度块采用IDCT简化运算代替IDCT运算，采用运动补偿简化运算代替运动补偿运算，并禁止环内去块滤波；g、当解码压力为S7时，在视频解码时，对视频图像的所有区域内的色度、亮度块采用IDCT简化运算代替IDCT运算，采用运动补偿简化运算代替运动补偿运算，并禁止环内去块滤波。
权利要求
1.一种通过解码质量控制降低视频解码复杂度的方法，包含以下步骤1)、视频终端接收视频帧，并计算视频终端的系统当前时间与当前视频帧显示时间标签间的差值；2)、根据步骤1)计算所得到的差值对视频终端当前的视频解码压力进行估计，确定视频解码压力的级别；3)、利用步骤2)得到的视频解码压力的级别，对当前帧进行解码质量控制，根据色度优先处理策略和边缘优先处理策略，选择解码时的简化算法，确定简化处理的程度，然后对视频帧做解码操作。
2.根据权利要求1所述的通过解码质量控制降低视频解码复杂度的方法，其特征在于，在所述的步骤3)中，所述的解码时的简化算法包括反离散余弦变换简化运算和/或运动补偿简化运算，在视频解码时至少采用其中的一种；所述的反离散余弦变换简化运算在视频解码过程中代替反离散余弦变换运算，所述的运动补偿简化运算在视频解码过程中代替运动补偿运算。
3.根据权利要求2所述的通过解码质量控制降低视频解码复杂度的方法，其特征在于，在所述的步骤3)中，所述的解码时的简化算法还包括环内去块滤波控制，在视频解码过程中，所述的环内去块滤波控制代替视频解码过程中的环内去块滤波。
4.根据权利要求3所述的通过解码质量控制降低视频解码复杂度的方法，其特征在于，所述的色度优先处理策略是利用人眼对色度的灵敏度远低于对亮度的灵敏度，在进行降低复杂度的解码时，优先对色度块采用反离散余弦变换简化运算、或运动补偿简化运算、或环内去块滤波控制；所述的边缘优先处理策略是利用人一般对视频图像中央区域的关注程度较高，对视频图像边缘区域的关注较低的特点，在进行降低复杂度的解码时，优先对视频图像边缘的块或宏块采用反离散余弦变换简化运算、或运动补偿简化运算、或环内去块滤波控制。
5.根据权利要求4所述的通过解码质量控制降低视频解码复杂度的方法，其特征在于，所述的反离散余弦变换简化运算是将解码块中的部分离散余弦变换系数高频分量置为零，利用离散余弦变换系数低频分量构成的稀疏矩阵进行反离散余弦变换。
6.根据权利要求5所述的通过解码质量控制降低视频解码复杂度的方法，其特征在于，所述的运动补偿简化运算是降低视频帧解码过程中的运动矢量的象素精度，简化运动补偿中的象素插值运算。
7.根据权利要求6所述的通过解码质量控制降低视频解码复杂度的方法，其特征在于，所述的环内去块滤波控制是对进行控制的块禁止使用环内去块滤波的操作。
8.根据权利要求7所述的通过解码质量控制降低视频解码复杂度的方法，其特征在于，在所述的步骤3)中，所述的确定简化处理的程度是指对反离散余弦变换简化运算，确定反离散余弦变换中置零的高频分量的比例；对运动补偿简化运算，确定运动矢量精度下降的程度。
9.根据权利要求8所述的通过解码质量控制降低视频解码复杂度的方法，其特征在于，在所述的步骤2)中，所述的确定视频解码压力的级别是在差值可能的取值范围内设定至少一个阀值，从而形成不同的区域，根据步骤1)所得到的差值位于哪一个区域来确定视频解码压力的级别。
10.根据权利要求9所述的通过解码质量控制降低视频解码复杂度的方法，其特征在于，所述的阀值有6个，按照时间从小到大分别用a、b、c、d、e、f表示；所述的级别有7个，分别用S1～S7表示，其中，S1D＜a；S2a＜＝D＜b；S3b＜＝D＜c；S4c＜＝D＜d；S5d＜＝D＜e；S6e＜＝D＜f；S7D＞＝f。
11.根据权利要求10所述的通过解码质量控制降低视频解码复杂度的方法，其特征在于，在所述的步骤3)中，对不同级别的视频解码压力采用不同的视频解码算法，其中，a、当解码压力为S1时，采用常规视频解码算法；b、当解码压力为S2时，在视频解码时，对视频图像的左右各1/4区域内的色度块采用反离散余弦变换简化运算代替反离散余弦变换运算；c、当解码压力为S3时，在视频解码时，对视频图像的左右各1/4区域内的色度块采用反离散余弦变换简化运算代替反离散余弦变换运算，采用运动补偿简化运算代替运动补偿运算；d、当解码压力为S4时，在视频解码时，对视频图像的左右各1/4区域内的色度块、亮度块采用反离散余弦变换简化运算代替反离散余弦变换运算，采用运动补偿简化运算代替运动补偿运算；e、当解码压力为S5时，在视频解码时，对视频图像的左右各1/4区域内的色度、亮度块采用反离散余弦变换简化运算代替反离散余弦变换运算，采用运动补偿简化运算代替运动补偿运算，并禁止环内去块滤波；f、当解码压力为S6时，在视频解码时，对视频图像的左右和上下各1/4区域内的色度、亮度块采用反离散余弦变换简化运算代替反离散余弦变换运算，采用运动补偿简化运算代替运动补偿运算，并禁止环内去块滤波；g、当解码压力为S7时，在视频解码时，对视频图像的所有区域内的色度、亮度块采用反离散余弦变换简化运算代替反离散余弦变换运算，采用运动补偿简化运算代替运动补偿运算，并禁止环内去块滤波。
全文摘要
本发明公开了一种通过解码质量控制降低视频解码复杂度的方法，包括视频终端接收视频帧，并计算视频终端的系统当前时间与当前视频帧显示时间标签间的差值；根据差值对视频终端当前的视频解码压力进行估计，确定视频解码压力的级别；利用视频解码压力的级别，对当前帧进行解码质量控制，根据色度优先处理策略和边缘优先处理策略，选择解码时的简化算法，确定简化处理的程度，然后对视频帧做解码操作。本发明可根据当前的视频解码压力动态降低视频解码复杂度；不对视频帧序列进行丢帧，保持了视频的连贯性；并利用人眼的视觉特性和观众的关注区域差异性，在降低复杂度解码时能够尽量保持视觉效果。
文档编号H04N7/24GK101080007SQ20061008105
公开日2007年11月28日 申请日期2006年5月23日 优先权日2006年5月23日
发明者陈志辉, 张泰乐, 陈国平, 贺鹏程 申请人:中国科学院声学研究所, 北京易视威信息技术有限公司