可伸缩视频编码错误隐藏方法、解码器和系统的制作方法

文档序号:7806950阅读:321来源:国知局
专利名称:可伸缩视频编码错误隐藏方法、解码器和系统的制作方法
可伸缩视频编码错误隐藏方法、解码器和系统技术领域
本申请涉及视频编码技术领域,特别是涉及一种可伸缩视频编码错误隐藏方法、 解码器和系统。
背景技术
近年来,随着英特网以及第三代移动通信技术的普及,视频服务正面临着飞速的发展。为了使视频流能够更好地适应各种不同的网络环境和用户终端,SVC(Scalabile Video Coding,可伸缩视频编码)码流被认为是目前解决这一问题的最好方法。
SVC码流能提供一个空间、时间、质量可伸缩的码流,从这个码流中可以抽取子码流,以满足网络传输速率以及终端用户对视频在空间、时间和信噪比等方面的需求。在SVC 码流中,最低质量层被称作基本层,增强空间分辨率、时间分辨率或者信噪比强度的层被称作增强层。其中,为实现空间可伸缩性,可以利用层间的运动、纹理和残差信息,使用分层编码方法;为实现时间可伸缩性,采用分级双向编码帧编码方法;为实现信噪比可伸缩性,可以使用粗粒度可伸缩性和中粒度可伸缩性两种方法,这两种方法采用与空间可伸缩性相似的层间预测方法。
虽然视频编码算法充分利用了空间、时间和层间的冗余,最大限度地提高了编码效率,但是在实际视频应用中可用带宽动态变化或路由阻塞,造成码流传输出错,进一步影响到当前帧、时间后续帧以及后续层帧,从而使视频质量大大降低。现有的差错控制方法包括错误弹性方法和错误隐藏方法。错误弹性方法是在编码端加入一定的冗余,使解码端在丢包情况下,在一定程度上尽量减少视频质量损失,提高视频总体质量。错误隐藏方法是在解码端利用空间、时间和层间正确接收的信息对丢失部分进行重建。
在SVC中,由于分层技术的使用,可最大限度的利用层间相关性进行错误隐藏。如
公开日期为2009年11月18日,公开号为CN101583045A的专利申请“基于OBMC (Overlapped Block Motion Compensation,重叠块运动补偿)的SVC层间错误隐藏方法”,在使用基本层帧的运动矢量之前根据增强层帧和基本层帧的空间分辨率比率判断是否进行尺度放大,在找出若干补偿块进行OBMC加权之后,对基本层帧的残差数据采取可能的上采样滤波,加到 OBMC方法的重建值上,避免了使用单一运动矢量做运动补偿所带来的块效应问题。
然而上述基于OBMC的SVC层间错误隐藏方法适用于均勻运动序列,基本层帧为帧间编码帧,且增强层帧无连续丢包的情况。但是当基本层帧为帧内编码帧时,由于基本层帧不具有运动矢量以及残差信息,从而对该基本层帧的残差数据上采样后得到的重建值准确度降低,进一步导致包含该基本层帧和增强层帧的编码帧与后续参考该编码帧的编码帧质量降低,从而导致视频模糊。发明内容
有鉴于此,本申请实施例公开一种可伸缩视频编码错误隐藏方法、解码器和系统, 以提高编码帧质量,进一步提高视频清晰度。技术方案如下
基于本申请实施例的一方面,公开一种可伸缩视频编码错误隐藏方法,包括
解码正确编码帧的基本层帧和增强层帧;
对正确解码帧中的基本层帧进行上采样,计算上采样后的基本层帧中的各个像素的边缘强度,依据所述各个像素的边缘强度,将基本层帧的各个像素进行分类,得出像素分类结果;
依据所述像素分类结果,对正确解码帧中增强层帧的各个像素进行分类,依据基本层帧和增强层帧像素分类,确定与所述像素分类对应的维纳滤波器;
当丢失的增强层帧对应的基本层帧为帧间编码帧,且增强层的丢帧次数未超过预设次数时,判断基本层帧中的解码宏块是帧间编码块还是帧内编码块;
若所述基本层帧中的解码宏块为帧间编码块,获取所述基本层帧间编码块对应的重建值、运动矢量和残差信息;
对所述运动矢量进行上采样;
判断上采样后的运动矢量坐标是否超过所述丢失的增强层帧的参考帧边界,如果是,对所述重建值进行上采样,计算上采样后的重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为所述丢失的增强层帧中对应的解码宏块的错误隐藏值,如果否,用上采样后的运动矢量和上采样后的残差信息进行运动补偿,得出对应的所述丢失的增强层帧中的解码宏块的错误隐藏值;
若所述基本层帧中解码宏块为帧内编码块,获取所述帧内编码块对应的重建值;
对所述重建值进行上采样,计算上采样后的重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为丢失的增强层帧中对应的解码宏块的错误隐藏值。
优选地,还包括当所述丢失的增强层帧对应的基本层帧为帧间编码帧,且增强层的丢帧次数超过预设次数时,采用重编码方法,得到重编基本层帧,所述重编码方法为,获取所述丢失的增强层帧对应的基本层帧,将基本层帧作为原始帧,将到该基本层帧时间上最近的正确解码帧中的基本层帧为参考帧,对原始帧进行编码,得出重编码基本层帧;
判断重编码基本层帧中的解码宏块是帧间编码块还是帧内编码块;
若所述重编码基本层帧中的解码宏块为帧间编码块,获取该帧间编码块对应的原始重建值、运动矢量和残差信息,所述原始重建值在解码正确编码帧的基本层帧和增强层帧时获得;
对所述运动矢量进行上采样;
判断上采样后的运动矢量坐标是否超过所述丢失的增强层帧的参考帧边界,如果是,对所述原始重建值进行上采样,计算上采样后的原始重建值中的各个像素的边缘强度, 选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为所述丢失的增强层帧中对应的解码宏块的错误隐藏值,如果否,用上采样后的运动矢量和上采样后的残差信息进行运动补偿,得出对应的所述丢失的增强层帧中的解码宏块的错误隐藏值;
若所述重编码基本层帧中的解码宏块为帧内编码块,获取该帧内编码块对应的原始重建值,所述原始重建值在解码正确编码帧的基本层帧和增强层帧时获得;
对所述原始重建值进行上采样,计算上采样后的原始重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为丢失的增强层帧中对应的解码宏块的错误隐藏值。
优选地,还包括当所述丢失的增强层帧对应的基本层帧为帧内编码帧,采用重编码方法,得到重编基本层帧,该重编码方法为,获取所述丢失的增强层帧对应的基本层帧, 将基本层帧作为原始帧,将到该基本层帧时间上最近的正确编码帧中的基本层帧为参考帧,对原始帧进行编码,得出重编基本层帧;
判断重编码基本层帧中的解码宏块是帧间编码块还是帧内编码块;
若所述重编码基本层帧中的解码宏块为帧间编码块,获取该帧间编码块对应的原始重建值、运动矢量和残差信息,所述原始重建值在解码正确编码帧的基本层帧和增强层帧时获得;
对所述运动矢量进行上采样;
判断上采样后的运动矢量坐标是否超过所述丢失的增强层帧的参考帧边界,如果是,对所述原始重建值进行上采样,计算上采样后的原始重建值中的各个像素的边缘强度, 选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为所述丢失的增强层帧中对应的解码宏块的错误隐藏值,如果否,用上采样后的运动矢量和上采样后的残差信息进行运动补偿,得出对应的所述丢失的增强层帧中的解码宏块的错误隐藏值;
若所述重编码基本层帧中的解码宏块为帧内编码块,获取该帧内编码块对应的原始重建值;
对所述原始重建值进行上采样,计算上采样后的原始重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为丢失的增强层帧中对应的解码宏块的错误隐藏值。
优选地,所述对原始帧进行编码包括采用4X4编码块对原始帧进行编码。
优选地,所述重编基本层帧中帧间编码块和帧内编码块的个数可以通过调节拉格朗日参数λ来控制,其中λ = λ 0/α,λ 0为原始拉格朗日参数,α为错误隐藏质量参数, α > O。
优选地,还包括针对任一像素分类结果,判断所述像素分类结果中像素个数是否小于预设阈值T ;
在所述像素分类结果中像素个数小于预设阈值T时,将该像素分类结果中的像素划分到与该像素分类结果中的像素的边缘强度最接近的类中,其中预设阈值T为Ν/16/4,N 为图像中的像素总个数。
优选地,像素分类结果的个数依据公式var_SObel(i,j) = min(n, [sobel (i, j)]) 确定,其中n为给定值,sobel (i,j)为像素的边缘强度。
基于本申请实施例的一方面,公开一种解码器,包括
解码装置,用于解码正确编码帧的基本层帧和增强层帧;
与所述解码装置相连的第一分类器,用于对正确解码帧中的基本层帧进行上采样,计算上采样后的基本层帧中的各个像素的边缘强度,依据所述各个像素的边缘强度,将基本层帧的各个像素进行分类,得出像素分类结果;
与所述第一分类器相连的滤波器确定装置,用于依据所述像素分类结果,对正确解码帧中增强层帧的各个像素进行分类,依据基本层帧和增强层帧像素分类,确定与所述像素分类对应的维纳滤波器;
与所述滤波器确定装置相连的判断装置,用于当丢失的增强层帧对应的基本层帧为帧间编码帧,且增强层的丢帧次数未超过预设次数时,判断基本层帧中的解码宏块是帧间编码块还是帧内编码块;
与所述判断装置相连的获取装置,用于在所述判断装置判断所述解码宏块为帧间编码块,获取所述基本层帧间编码块对应的重建值、运动矢量和残差信息;在所述判断装置判断所述解码宏块为帧内编码块,获取所述帧内编码块对应的重建值;
与所述获取装置相连的第一重建装置,用于对所述运动矢量进行上采样,判断上采样后的运动矢量坐标是否超过所述丢失的增强层帧的参考帧边界,如果是,对所述重建值进行上采样,计算上采样后的重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为所述丢失的增强层帧中对应的解码宏块的错误隐藏值,如果否,用上采样后的运动矢量和上采样后的残差信息进行运动补偿,得出对应的所述丢失的增强层帧中的解码宏块的错误隐藏值;
与所述获取装置相连的第二重建装置,用于对所述重建值进行上采样,计算上采样后的重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为丢失的增强层帧中对应的解码宏块的错误隐藏值。
优选地,还包括连接在所述滤波器确定装置和所述判断装置之间的重编码装置, 用于当所述丢失的增强层帧对应的基本层帧为帧间编码帧,且增强层的丢帧次数超过预设次数,或者当所述丢失的增强层帧对应的基本层帧为帧内编码帧,采用重编码方法,得到重编基本层帧,该重编码方法为,获取所述丢失的增强层帧对应的基本层帧,将基本层帧作为原始帧,将到该基本层帧时间上最近的正确编码帧中的基本层帧为参考帧,对原始帧进行编码,得出重编基本层帧;
判断装置,还用于判断重编基本层帧中的解码宏块是帧间编码块还是帧内编码块。
优选地,所述重编码装置具体采用4X4编码块对原始帧进行编码。
优选地,所述重编基本层帧中帧间编码块和帧内编码块的个数可以通过调节拉格朗日参数λ来控制,其中λ = λ 0/α,λ 0为原始拉格朗日参数,α为错误隐藏质量参数, α > O。
优选地,还包括连接在所述第一分类器和所述滤波器确定装置之间的第一个数判断装置和第二分类器,其中
所述第一个数判断装置与所述第一分类器相连,用于针对任一像素分类结果,判断所述像素分类结果中像素个数是否小于预设阈值T ;
所述第二分类器连接在所述第一个数判断装置和所述滤波器确定装置之间,用于在所述第一分类器得出的像素分类结果中像素个数小于预设阈值T时,将该像素分类结果中的像素划分到与该像素分类结果中的像素的边缘强度最接近的类中,其中预设阈值T为 Ν/16/4,Ν为图像中的像素总个数。
优选地,还包括连接在所述第一分类器和所述滤波器确定装置之间的第二个数判断装置和第三分类器,其中
所述第二个数判断装置与所述第一分类器相连,用于针对任一像素分类结果,判断所述像素分类结果中像素个数是否小于预设阈值T ;
所述第三分类器连接在所述第二个数判断装置和所述滤波器确定装置之间,用于在所述第一分类器得出的像素分类结果中像素个数小于预设阈值T时,将该像素分类结果中的像素划分到与该像素分类结果中的像素的边缘强度最接近的类中,其中预设阈值T为 N/16/4,N为图像中的像素总个数。
优选地,所述第一分类器中像素分类结果的个数依据公式var_SObel(i,j)= min(n, [sobel(i, j)])确定,其中n为给定值,sobel(i, j)为像素的边缘强度。
基于本申请实施例的另一方面,公开一种可伸缩视频编码错误隐藏系统,包括编码器和传输设备,还包括上述解码器。
应用上述技术方案,在丢失的增强层帧对应的基本层帧为帧间编码帧,且丢帧次数未超过预设次数情况下,在帧间编码帧中的解码宏块为帧间编码块或帧内编码块时进行不同处理,得到重建的增强层帧的错误隐藏值;在丢失的增强层帧对应的基本层帧为帧间编码帧,且丢帧次数超过预设次数情况下或者丢失的增强层帧对应的基本层帧为帧内编码帧,采用重编码方法,得到重编基本层帧,在重编基本层帧中的的解码宏块为帧间编码块或帧内编码块时进行不同处理,得到重建的增强层帧的错误隐藏值。与现有技术相比,提高了重建的增强层帧的质量,从而提高视频清晰度,避免视频出现拉丝现象。


图1为本申请公开的可伸缩视频编码错误隐藏方法的一种局部流程图2为本申请公开的可伸缩视频编码错误隐藏方法中编码帧接收示意图3为本申请公开的可伸缩视频编码错误隐藏方法的另一种局部流程图4为本申请公开的可伸缩视频编码错误隐藏方法的再一种局部流程图5为本申请公开的可伸缩视频编码错误隐藏方法的完整流程图6为foreman序列经过不同错误隐藏方法的峰值信噪比增益结果示意图7为foothll序列经过不同错误隐藏方法的峰值信噪比增益结果示意图8为具有静止背景的序列经过不同错误隐藏方法的SSIM增益结果示意图9为具有静止背景的序列经过不同错误隐藏方法的PSNR增益结果示意图10为运动平稳的paris序列经过不同错误隐藏方法的PSNR增益结果示意图11为运动平稳的container序列经过不同错误隐藏方法的PSNR增益结果示意图12为本申请公开的解码器的一种结构示意图13为本申请公开的解码器的另一种结构示意图14为本申请公开的解码器的再一种结构示意图15为本申请公开的解码器的再一种结构示意图。
具体实施方式
上述基于OBMC的SVC层间错误隐藏方法以BLSkip (Base Layer Skip,基本层复用)方法为基础,在找出若干补偿块进行OBMC加权之后,对基本层帧的残差数据进行上采样滤波,加到OBMC方法的重建值上,进而可以依据该重建值,得出基本层帧对应的增强层帧。
然而,发明人经过多次实验发现,上采样后的运动矢量坐标超过运动补偿过程中参考帧边界,从而导致依据上采样后的运动矢量和残差信息进行运动补偿得出的增强层帧对应的帧间编码块质量降低,即增强层帧质量降低,进一步导致视频出现拉丝现象。为了解决该问题,本申请实施例公开了一种可伸缩视频编码错误隐藏方法,对上采样后的运动矢量坐标是否超过运动补偿过程中参考帧边界进行不同处理,以解决视频出现的拉丝现象。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式
对本申请作进一步详细的说明。
一个实施例
请参阅图1,图1为本申请实施例公开的可伸缩视频编码错误隐藏方法的流程图, 其适用于丢失的增强层帧对应的基本层帧为帧间编码帧,且增强层的丢帧次数未超过预设次数的情况,可以包括如下步骤
SlOl 解码正确编码帧的基本层帧和增强层帧。其中正确编码帧为基本层帧和增强层帧的解码结果分别与各自的编码结果一致的帧,如图2所示。图2为编码帧接收示意图,其中BL表示为基本层,EL表示为增强层,每个线框表示一帧,粗线框表示帧内编码帧,细线框表示帧间编码帧,实线框表示帧正确接收,虚线框表示帧丢失。从图2中可以看出由左至右,第5个增强层帧丢失,第1至第4个基本层帧和增强层帧正确接收,第1至第 4个编码帧则为正确编码帧。
S102:对正确编码帧中的基本层帧进行上采样,计算上采样后的基本层帧中的各个像素的边缘强度,依据边缘强度,将基本层帧的各个像素进行分类,得出像素分类结果。
上述计算上采样后的基本层帧中的各个像素的边缘强度可以采用Sobel算子计算,具体为依据下述公式
权利要求
1.一种可伸缩视频编码错误隐藏方法,其特征在于,包括 解码正确编码帧的基本层帧和增强层帧;对正确解码帧中的基本层帧进行上采样,计算上采样后的基本层帧中的各个像素的边缘强度,依据所述各个像素的边缘强度,将基本层帧的各个像素进行分类,得出像素分类结果;依据所述像素分类结果,对正确解码帧中增强层帧的各个像素进行分类,依据基本层帧和增强层帧像素分类,确定与所述像素分类对应的维纳滤波器;当丢失的增强层帧对应的基本层帧为帧间编码帧,且增强层的丢帧次数未超过预设次数时,判断基本层帧中的解码宏块是帧间编码块还是帧内编码块;若所述基本层帧中的解码宏块为帧间编码块,获取所述基本层帧间编码块对应的重建值、运动矢量和残差信息;对所述运动矢量进行上采样;判断上采样后的运动矢量坐标是否超过所述丢失的增强层帧的参考帧边界,如果是, 对所述重建值进行上采样,计算上采样后的重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为所述丢失的增强层帧中对应的解码宏块的错误隐藏值,如果否,用上采样后的运动矢量和上采样后的残差信息进行运动补偿,得出对应的所述丢失的增强层帧中的解码宏块的错误隐藏值;若所述基本层帧中解码宏块为帧内编码块,获取所述帧内编码块对应的重建值; 对所述重建值进行上采样,计算上采样后的重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为丢失的增强层帧中对应的解码宏块的错误隐藏值。
2.根据权利要求1所述的可伸缩视频编码错误隐藏方法,其特征在于,还包括当所述丢失的增强层帧对应的基本层帧为帧间编码帧,且增强层的丢帧次数超过预设次数时,采用重编码方法,得到重编基本层帧,所述重编码方法为,获取所述丢失的增强层帧对应的基本层帧,将基本层帧作为原始帧,将到该基本层帧时间上最近的正确解码帧中的基本层帧为参考帧,对原始帧进行编码,得出重编码基本层帧;判断重编码基本层帧中的解码宏块是帧间编码块还是帧内编码块; 若所述重编码基本层帧中的解码宏块为帧间编码块,获取该帧间编码块对应的原始重建值、运动矢量和残差信息,所述原始重建值在解码正确编码帧的基本层帧和增强层帧时获得;对所述运动矢量进行上采样;判断上采样后的运动矢量坐标是否超过所述丢失的增强层帧的参考帧边界,如果是, 对所述原始重建值进行上采样,计算上采样后的原始重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为所述丢失的增强层帧中对应的解码宏块的错误隐藏值,如果否,用上采样后的运动矢量和上采样后的残差信息进行运动补偿,得出对应的所述丢失的增强层帧中的解码宏块的错误隐藏值;若所述重编码基本层帧中的解码宏块为帧内编码块,获取该帧内编码块对应的原始重建值,所述原始重建值在解码正确编码帧的基本层帧和增强层帧时获得;对所述原始重建值进行上采样,计算上采样后的原始重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为丢失的增强层帧中对应的解码宏块的错误隐藏值。
3.根据权利要求1所述的可伸缩视频编码错误隐藏方法,其特征在于,还包括当所述丢失的增强层帧对应的基本层帧为帧内编码帧,采用重编码方法,得到重编基本层帧,该重编码方法为,获取所述丢失的增强层帧对应的基本层帧,将基本层帧作为原始帧,将到该基本层帧时间上最近的正确编码帧中的基本层帧为参考帧,对原始帧进行编码, 得出重编基本层帧;判断重编码基本层帧中的解码宏块是帧间编码块还是帧内编码块;若所述重编码基本层帧中的解码宏块为帧间编码块,获取该帧间编码块对应的原始重建值、运动矢量和残差信息,所述原始重建值在解码正确编码帧的基本层帧和增强层帧时获得;对所述运动矢量进行上采样;判断上采样后的运动矢量坐标是否超过所述丢失的增强层帧的参考帧边界,如果是, 对所述原始重建值进行上采样,计算上采样后的原始重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为所述丢失的增强层帧中对应的解码宏块的错误隐藏值,如果否,用上采样后的运动矢量和上采样后的残差信息进行运动补偿,得出对应的所述丢失的增强层帧中的解码宏块的错误隐藏值;若所述重编码基本层帧中的解码宏块为帧内编码块,获取该帧内编码块对应的原始重建值;对所述原始重建值进行上采样,计算上采样后的原始重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为丢失的增强层帧中对应的解码宏块的错误隐藏值。
4.根据权利要求2或3任意一项所述的可伸缩视频编码错误隐藏方法,其特征在于,所述对原始帧进行编码包括采用4X4编码块对原始帧进行编码;所述重编基本层帧中帧间编码块和帧内编码块的个数可以通过调节拉格朗日参数入来控制,其中λ = λΟ/α , λ0为原始拉格朗日参数,α为错误隐藏质量参数,α >0。
5.根据权利要求1至3任意一项所述的可伸缩视频编码错误隐藏方法,其特征在于,还包括针对任一像素分类结果,判断所述像素分类结果中像素个数是否小于预设阈值Τ,所述像素分类结果的个数依据公式var_SObel(i,j) =min(n, [sobel(i, j)])确定,其中n 为给定值,sobeKi, j)为像素的边缘强度;在所述像素分类结果中像素个数小于预设阈值T时,将该像素分类结果中的像素划分到与该像素分类结果中的像素的边缘强度最接近的类中,其中预设阈值T为N/16/4,N为图像中的像素总个数。
6.一种解码器,其特征在于,包括解码装置,用于解码正确编码帧的基本层帧和增强层帧;与所述解码装置相连的第一分类器,用于对正确解码帧中的基本层帧进行上采样,计算上采样后的基本层帧中的各个像素的边缘强度,依据所述各个像素的边缘强度,将基本层帧的各个像素进行分类,得出像素分类结果;与所述第一分类器相连的滤波器确定装置,用于依据所述像素分类结果,对正确解码帧中增强层帧的各个像素进行分类,依据基本层帧和增强层帧像素分类,确定与所述像素分类对应的维纳滤波器;与所述滤波器确定装置相连的判断装置,用于当丢失的增强层帧对应的基本层帧为帧间编码帧,且增强层的丢帧次数未超过预设次数时,判断基本层帧中的解码宏块是帧间编码块还是帧内编码块;与所述判断装置相连的获取装置,用于在所述判断装置判断所述解码宏块为帧间编码块,获取所述基本层帧间编码块对应的重建值、运动矢量和残差信息;在所述判断装置判断所述解码宏块为帧内编码块,获取所述帧内编码块对应的重建值;与所述获取装置相连的第一重建装置,用于对所述运动矢量进行上采样,判断上采样后的运动矢量坐标是否超过所述丢失的增强层帧的参考帧边界,如果是,对所述重建值进行上采样,计算上采样后的重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器,对像素进行滤波,滤波后的像素组成的重建值作为所述丢失的增强层帧中对应的解码宏块的错误隐藏值,如果否,用上采样后的运动矢量和上采样后的残差信息进行运动补偿,得出对应的所述丢失的增强层帧中的解码宏块的错误隐藏值;与所述获取装置相连的第二重建装置,用于对所述重建值进行上采样,计算上采样后的重建值中的各个像素的边缘强度,选取与所述各个像素的边缘强度对应的维纳滤波器, 对像素进行滤波,滤波后的像素组成的重建值作为丢失的增强层帧中对应的解码宏块的错误隐藏值。
7.根据权利要求6所述的解码器,其特征在于,还包括连接在所述滤波器确定装置和所述判断装置之间的重编码装置,用于当所述丢失的增强层帧对应的基本层帧为帧间编码帧,且增强层的丢帧次数超过预设次数,或者当所述丢失的增强层帧对应的基本层帧为帧内编码帧,采用重编码方法,得到重编基本层帧,该重编码方法为,获取所述丢失的增强层帧对应的基本层帧,将基本层帧作为原始帧,将到该基本层帧时间上最近的正确编码帧中的基本层帧为参考帧,对原始帧进行编码,得出重编基本层帧;判断装置,还用于判断重编基本层帧中的解码宏块是帧间编码块还是帧内编码块; 连接在所述第一分类器和所述滤波器确定装置之间的第一个数判断装置和第二分类器,其中所述第一个数判断装置与所述第一分类器相连,用于针对任一像素分类结果,判断所述像素分类结果中像素个数是否小于预设阈值T,所述第一分类器中像素分类结果的个数依据公式 var_SObel(i,j) =min(n, [sobel(i, j)])确定,其中n 为给定值,sobel(i, j) 为像素的边缘强度;所述第二分类器连接在所述第一个数判断装置和所述滤波器确定装置之间,用于在所述第一分类器得出的像素分类结果中像素个数小于预设阈值T时,将该像素分类结果中的像素划分到与该像素分类结果中的像素的边缘强度最接近的类中,其中预设阈值T为 N/16/4,N为图像中的像素总个数。
8.根据权利要求7所述的解码器,其特征在于,所述重编码装置具体采用4X4编码块对原始帧进行编码;所述重编基本层帧中帧间编码块和帧内编码块的个数可以通过调节拉格朗日参数入来控制,其中λ = λΟ/α , λΟ为原始拉格朗日参数,α为错误隐藏质量参数,α >0。
9.根据权利要求6所述的解码器,其特征在于,还包括连接在所述第一分类器和所述滤波器确定装置之间的第二个数判断装置和第三分类器,其中所述第二个数判断装置与所述第一分类器相连,用于针对任一像素分类结果,判断所述像素分类结果中像素个数是否小于预设阈值Τ,所述第一分类器中像素分类结果的个数依据公式 var_SObel(i,j) =min(n, [sobel(i, j)])确定,其中n 为给定值,sobel(i, j) 为像素的边缘强度;所述第三分类器连接在所述第二个数判断装置和所述滤波器确定装置之间,用于在所述第一分类器得出的像素分类结果中像素个数小于预设阈值T时,将该像素分类结果中的像素划分到与该像素分类结果中的像素的边缘强度最接近的类中,其中预设阈值T为 N/16/4,N为图像中的像素总个数。
10.一种可伸缩视频编码错误隐藏系统,包括编码器和传输设备,其特征在于,还包括如权利要求6至9任意一项所述的解码器。
全文摘要
本申请公开了一种可伸缩视频编码错误隐藏方法、解码器和系统。一种可伸缩视频编码错误隐藏方法,在丢失的增强层帧对应的基本层帧为帧间编码帧,且丢帧次数未超过预设次数情况下,在帧间编码帧中的解码宏块为帧间编码块或帧内编码块时进行不同处理,得到重建的增强层帧的错误隐藏值;在丢失的增强层帧对应的基本层帧为帧间编码帧,且丢帧次数超过预设次数情况下或者丢失的增强层帧对应的基本层帧为帧内编码帧,采用重编码方法,得到重编基本层帧,在重编基本层帧中的解码宏块为帧间编码块或帧内编码块时进行不同处理,得到重建的增强层帧的错误隐藏值。与现有技术相比,提高了重建的增强层帧的质量,从而提高视频清晰度,避免视频出现拉丝现象。
文档编号H04N7/32GK102547282SQ20111045204
公开日2012年7月4日 申请日期2011年12月29日 优先权日2011年12月29日
发明者张冬, 李厚强 申请人:中国科学技术大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1