专利名称：生成预览图像的方法
技术领域：
本发明属于多媒体信号处理领域，特别涉及一种视频解码和显示装置中生成预览图像的方法。
背景技术：
目前的标清和高清数字视频传输系统，例如DVB-S、DVB-C、DVB-T，都采用MPEG-2作为标准。MPEG-2的系统层定义了将多路视频流数据利用时分复用合成单路的传输流，MPEG-2的视频部分定义了在视频信号处理的编码和解码阶段分别采用离散余弦变换(DCT)和反离散余弦变换(IDCT)进行空间域和频率域的转换。
在单个传输流中包含多路视频流，用户在观看的时候就涉及到多路视频流之间的切换和节目检索问题。为方便用户提高节目检索的效率，视频设备终端通常会提供视频导航和视频预览的功能。视频导航和视频预览提供的方式有很多单个活动画面加视频流信息表、多个视频静止画面、多个视频活动画面、多个静止画面和活动画面的组合等等。这里提到的静止或活动的画面本说明书中称为“预览图像”。
现有的一种生成预览图像的方法是根据目标尺寸直接对解码得到的图像进行水平和垂直方向的降采样变换，该方法实现简单，但是会造成严重的频谱混叠而使播放的时候产生严重画质损失，比如行间闪烁等现象。
现有的另一种改进的方法是在对解码得到的图像进行水平和垂直方向的降采样之前先做一次空间域上的滤波操作，这样可以抑止图像缩小后的频谱混叠而改善画质，但是这种方法需要额外的滤波操作和较大的存储空间，耗费较多的资源，且严重影响预览图像的生成速度，降低了效率。
发明内容
本发明的目就是克服现有技术的不足，提出一种新的生成预览图像的方法，以更小的资源开销，克服产生预览图像过程中的因为频谱混叠造成的画质损失，同时进一步加快预览图像的生成速度。
为实现上述目的，本发明把必需的滤波操作分配到了解码和显示两个环节实现，在解码阶段对DCT系数进行二维频域滤波，在显示阶段进行平滑滤波消除解码阶段对DCT系数进行二维频域滤波引起的块效应，具体包含以下步骤A.在解码器的IDCT运算过程中，对DCT变换后的变换域象素块依据原始图像尺寸和预览图像尺寸进行二维频域滤波；B.对最终解码图像数据根据依据原始图像尺寸和预览图像尺寸进行整数倍数的降采样，把结果存储在预览图像空间；C.从预览图像空间中取出步骤B得到的预览图像数据，根据最终的预览图像显示尺寸对步骤B得到的预览图像数据进行缩放，同时对步骤B产生的边缘块效应进行空间域上的平滑滤波；D.依据应用目标要求，根据当前视频播放的屏幕信息，实时将各预览图像拼接成完整的目标图像；E.在完成拼接的目标图像上实时掩盖一层提供背景纯色或衬底图片和说明性信息的屏幕掩盖信息层形成最终的播放目标图像。
所述的步骤A中的解码器可以是任何把DCT变换作为其变换编码算法的解码系统。
所述的步骤A中的二维频域滤波是对该DCT系数矩阵中的各个DCT系数分别进行乘加权系数的操作。
所述的步骤B中的最终解码图像数据是由步骤A中经过二维频域滤波的DCT系数经IDCT运算和其他必要的解码操作之后得到的。
所述的步骤B中的整数倍数的降采样是最接近目标缩放比例的整数倍降采样；在水平和垂直方向上至少包含1、2、4等2的整数次幂。
所述的步骤C中平滑滤波，可以是简单的平滑滤波来消除步骤A引起的块效应，也可以是其他复杂的滤波算法。
所述的加权系数可以根据需要显示的画面质量和缩放倍数灵活选择。
本发明的一个关键技术是步骤A中的二维频域滤波，由于IDCT之前的DCT系数本身就代表频域分量的大小，所以只要对该系数矩阵中的各个DCT系数进行简单的乘系数操作即可实现足够精度的二维频域滤波，运算量很小，资源开销非常小。
本发明的另一个关键技术是步骤B中的整数倍数的降采样，由于严格的显示尺寸匹配和缩放放在步骤C中实现，所以步骤B中只要进行最接近目标缩放比例的整数倍降采样即可，运算量很小，资源开销非常小。
本发明的又一个关键技术是步骤C中平滑滤波，由于步骤A中已经完成了足够精度的二维频域滤波，把预览图像中的高频成分进行了比较理想的抑制，所以步骤C中只要进行简单的平滑滤波即可消除步骤A引起的块效应，相对于传统方法所需滤波器运算量明显减小，资源开销同时减小。
本发明的生成预览图像的方法在现有生成方法的基础上，把必需的滤波操作分配到了解码和显示两个环节实现，且利用DCT系数自身的含义在解码阶段进行更加有效的二维频域滤波，大大减少了各个环节的运算量和资源开销。同时由于运算量的减少，各个环节处理的实时性得到改善，从而提高了生成预览图像的效率。
图1是本发明的一实施例的硬件结构示意图；图2是图1中的内部数据处理流程视图。
具体实施方法下面的将结合本发明的一个具体实施方式
详细说明本发明的生成预览图像的方法的工作过程。
图1是本实施例的硬件结构示意图。其中，视频流数据提取11模块负责从传输流中提取压缩的原始视频流数据。这个提取包括从传输流中提取多路原始视频流数据和从多路原始视频流数据中提取指定的目标原始视频流数据。
SDRAM 12模块是整个系统的数据交换中心，起到数据缓存和模块隔离的作用。数据交换包括接收原始视频流数据，提供视频解码13模块解码数据，存储解码后的图像数据，存储对解码图像降采样后的预览图像数据，为屏幕掩盖信息层提供存储空间。
视频解码13模块从SDRAM中读取压缩的原始视频流数据，采用符合MPEG-2标准的解码流程将压缩的视频数据还原成原始的图像数据，并将它们写入到SDRAM指定的区域空间。
降采样14模块实时接收解码后的原始图像象素块，根据原始图像的尺寸、预览图像的目标尺寸和采用的最适目标预览图像尺寸的评价标准等信息，进行基本倍数的降采样变换。由于采用的基本倍数为2的幂次，降采样需要的资源非常少，执行速度很快。降采样后的数据写回到SDRAM。
后处理15模块根据播放信息从SDRAM中读取预览图像相应数据，根据预览图像的目标尺寸和基本倍数降采样后的尺寸选取合适的尺寸匹配方法，进行预览图像的尺寸匹配。后处理模块的另一个主要功能是对预览图中因为二维特征滤波而产生的振铃和边缘块效应进行空间域上的抑止和平滑滤波。
拼接16模块接收从后处理15模块过来的数据，完成区域的大小和位置控制、过渡带的填充、层叠图像的处理、图像的整合等操作。
信息层叠加17模块，根据视频播放信息读取在SDRAM中存储的屏幕掩盖信息层的相应数据，与拼接16模块输入的预览图像数据做整合，生成最终的播放图像。
视频编码18模块，根据配置的显示终端类型信息，将接收的播放图像数据编码成符合显示终端格式的数据流。对数字显示终端，信号将直接输出，对模拟显示终端，经过DA变换后再输出。
下面将结合图2说明本发明的方法如何在图1所示的硬件系统上实现。图2是一个标准的MPEG-2解码器实施例，主要包括一个变长码(VLD)解码单元21，一个反扫描和反量化处理单元22，一个IDCT处理单元24，一个运动补偿(MC)处理单元25，一个存储参考预测图像的参考帧存储单元27。从传输流中提取的压缩的原始视频流首先进入VLD解码器21，解码后的数据进行反扫描和反量化处理还原成8×8大小的DCT块，IDCT处理单元以块为单位将DCT块变换成空间域内的8×8的象素块，一帧/场内所有8×8的象素块组成的图像为残差图像，需要叠加上运动补偿后的图像形成最终的解码图像。运动补偿由另外一个数据通路完成，运动补偿单元25从VLD解码器21中提取运动矢量，根据运动矢量从参考帧存中提取相应的运动估计图像。残差图像和运动补偿图像通过合成单元26的叠加形成最终的解码图像，部分解码图像将存入到参考图像帧存中，为后面的解码过程提供参考数据。
本发明在标准的视频解码系统中增加了一些开销很小但针对性很强的处理单元，而且不影响原标准系统的解码过程，包括DCT滤波处理单元23，降采样处理单元28，后处理单元29，图像拼接处理单元30，信息覆盖处理单元31和视频播放处理单元32。
DCT滤波处理单元23的处理对象是经过反扫描和反量化处理后的DCT块，包含8×8个离散余弦变换系数，采用的方法是基于8×8滤波器模板的二维特征滤波。执行二维特征滤波的过程是将DCT块中的系数和二维特征滤波器模板对应相乘，并对结果按照一定的规则进行处理。“特征”的意思是该滤波器并不是固定不变的，需要依据原始视频流数据的特性和目标预览图像的要求进行配置。例如可以分级的方法，根据目标预览图像的要求，将滤波器系数分成高、中、低级别，各个级别滤波器的带宽不同，最终生成的预览图像特性也不同。
降采样处理单元28对解码后的图像在写入的过程中同时做一次基本倍数的降采样操作。所谓的基本倍数是对应现行的以预览图像尺寸为目标的任意倍数降采样过程。这里采用的基本倍数在水平和垂直方向上至少包含1、2、4，它们都为2的幂次，处理起来速度很快。对不同规格的图像采用的基本降采样倍数是不同的，依赖于采用的评价标准，可选的有最佳内部区域、最佳外部区域和最佳匹配区域。
后处理单元29所做的处理主要有两方面，一方面是做预览图像的尺寸匹配，另一方面对预览图像进行空间域上的简单后处理。预览图像的尺寸匹配的过程是将经过基本倍数降采样后的图像尺寸以预览图像的目标尺寸为基准进行匹配，匹配的方法根据两个尺寸和视频信息灵活选取，至少包含区域填充、区域截取、区域扩展和区域压缩。由于变换域内二维特征滤波的不理想，滤波后的图像可能出现不同程度的图像边缘扩散、区域边缘块效应、振铃等现象，所以在空间域上做了补偿、抑止和平滑过渡等处理。
图像拼接处理单元30的处理过程是实时的，它根据视频播放模块反馈的播放位置等信息，从存储区中读取相应的数据进行拼接处理，节省了大量的资源。拼接采用的方法视具体画面组织的要求而定，至少包括区域的大小和位置控制、过渡带的填充、层叠图像的处理、图像的整合等方法。
信息覆盖处理单元31在拼接后的图像上叠加一些必要的信息和对图像做些背景性的修饰。掩盖的过程是一个实时相应的过程，它根据视频播放模块反馈的播放位置等信息，从存储区中读取相应的数据进行掩盖处理，节省了大量的资源。屏幕掩盖信息至少包含背景色、衬底图片和说明信息等。
视频播放处理单元32是图像显示所必须的，它根据配置的显示终端类型信息，将接收的播放图像数据编码成符合显示终端格式的数据流。
如上所述，本发明的生成预览图像的方法把必需的滤波操作分配到了解码和显示两个环节实现，且利用DCT系数自身的含义在解码阶段进行更加有效的二维频域滤波，大大减少了各个环节的运算量和资源开销。同时由于运算量的减少，各个环节处理的实时性得到改善，从而提高了生成预览图像的效率。
尽管本发明是参照其优选实施例来具体描述的，但本领域的技术人员应该理解，在不脱离有所附权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种修改。
权利要求
1.生成预览图像的方法，其特征在于该方法把必需的滤波操作分配到了解码和显示两个环节实现，在解码阶段对DCT系数进行二维频域滤波，在显示阶段进行平滑滤波消除解码阶段对DCT系数进行二维频域滤波引起的块效应，具体包含以下步骤A.在解码器的IDCT运算过程中，对DCT变换后的变换域象素块依据原始图像尺寸和预览图像尺寸进行二维频域滤波；B.对最终解码图像数据根据依据原始图像尺寸和预览图像尺寸进行整数倍数的降采样，把结果存储在预览图像空间；C.从预览图像空间中取出步骤B得到的预览图像数据，根据最终的预览图像显示尺寸对步骤B得到的预览图像数据进行缩放，同时对步骤B产生的边缘块效应进行空间域上的平滑滤波；D.依据应用目标要求，根据当前视频播放的屏幕信息，实时将各预览图像拼接成完整的目标图像；E.在完成拼接的目标图像上实时掩盖一层提供背景纯色或衬底图片和说明性信息的屏幕掩盖信息层形成最终的播放目标图像。
2.如权利要求1所述的生成预览图像的方法，其特征在于所述的步骤A中的解码器可以是任何把DCT变换作为其变换编码算法的解码系统。
3.如权利要求1所述的生成预览图像的方法，其特征在于所述的步骤A中的二维频域滤波是对该DCT系数矩阵中的各个DCT系数分别进行乘加权系数的操作。
4.如权利要求1所述的生成预览图像的方法，其特征在于所述的步骤B中的最终解码图像数据是由步骤A中经过二维频域滤波的DCT系数经IDCT运算和其他必要的解码操作之后得到的。
5.如权利要求1所述的生成预览图像的方法，其特征在于所述的步骤B中的整数倍数的降采样是最接近目标缩放比例的整数倍降采样；在水平和垂直方向上至少包含1、2、4等2的整数次幂。
6.如权利要求1所述的生成预览图像的方法，其特征在于所述的步骤C中平滑滤波，可以是简单的平滑滤波来消除步骤A引起的块效应，也可以是其他复杂的滤波算法。
7.如权利要求1所述的生成预览图像的方法，其特征在于所述的加权系数可以根据需要显示的画面质量和缩放倍数灵活选择。
全文摘要
本发明涉及一种视频解码和显示装置中生成预览图像的方法。本发明把必需的滤波操作分配到了解码和显示两个环节实现，在解码阶段对DCT系数进行二维频域滤波，在显示阶段进行平滑滤波消除解码阶段对DCT系数进行二维频域滤波引起的块效应。本发明可以大大减少了各个环节的运算量和资源开销，同时由于运算量的减少，各个环节处理的实时性得到改善，从而提高了生成预览图像的效率。
文档编号H04N1/393GK1878229SQ20061009890
公开日2006年12月13日 申请日期2006年7月14日 优先权日2006年7月14日
发明者庞智博, 陈志勇 申请人:杭州国芯科技有限公司