一种视频帧的下采样方法和上采样方法以及传输处理方法
【技术领域】
[0001] 本发明属于图像处理领域，尤其涉及一种视频帧的下采样方法和上采样方法以及 传输处理方法。
【背景技术】
[0002] 随着显示器件的发展，高清视频在消费市场上非常流行。然而，有限的带宽资源限 制了高清图像的传输，比如，4k高清电视是人们非常喜爱的，但其每一个视频帧包含了大量 的像素数据，导致了在传输时占用了大量的带宽资源。为了突破带宽的限制，学者提出了视 频帧下采样和上采样概念。上、下采样属于一种伸缩编码，在下采样过程中，减少高清图像 传输的数据量；而在上采样过程中，恢复出高清图像原有的数据量。
[0003] 近年来，国内外学者提出了很多上、下采样方案，如插值，预测和估计等。然而，这 些方法只优化了上采样过程。而在下采样过程中，原视频帧数据只是在空间域或者变换域 中被截断。
[0004] 一些学者论证了在小波域或者DCT (离散余弦变换）域的下采样和上采样可以获 得很好的性能。DCT被广泛地应用在视频编码方案中，如AVC/H. 264。因为视频帧或者图像 中大部分的能量都集中在低频成分中，很多下采样方案是在DCT域中高频成分被简单地截 断。例如：加州大学圣芭芭拉分校的Mitra提出了子带DCT近似方案；首尔大学的Park提 出了无逆DCT的模块表示方案；纽约州立大学Chen提出了 DCT-维纳方案，其中维纳滤波器 被用来估计高频成分；香港理工大学的Siu提出了基于自学习的k-NN MMSE估计方案来提 高PSNR ;Mitra应用了 DCT系数之间的相关性来提高视觉质量。然而，这些方案都基于大部 分能量都集中于DCT低频系数上这个假设，但这个假设不满足时，这些方案的性能将变差。 因此，当视频帧中存在较多快速变换的区域或者边缘区域，即能量在高频DCT系数部分较 为集中，上述关于DCT的下采样方案的PSNR(峰值信噪比）和SS頂（结构相似度测量）将 会下降。
[0005] 另一方面，2006年T. Tao等人提出了压缩感知（Compressive Sensing ;CS)理论 [D. L. Donoho, "Compressed sensing,'，IEEE Transactions on Information Theory, vol .52, no. 4, pp. 1289 - 1306,2006]引起了国内外学者的广泛关注。利用压缩感知理论能够在 远低于奈奎斯特采样速率下进行采样，使压缩和采样同时进行，从而减少了大量的采样数 据，且能保证对信号的准确重构。但利用压缩感知理论的前提是压缩采样的信号必须是稀 疏的，因此，利用压缩感知进行图像采样处理，必须先对图像进行稀疏变换，但往往图像经 过稀疏变换以后，图像的数据量将变大，导致图像传输占用大的带宽。
[0006] 申请人通过对视频帧的DCT域进行大量理论研究和仿真实验，发现高频DCT系数 所对应的空域成分是稀疏的，即将视频帧的低频系数去除而保留高频成分时，在视频帧中 只有快速变化区域和边缘区域。
【发明内容】
[0007] 发明目的：为了克服现有技术中存在的不足，本发明提供一种视频帧的下采样方 法和上采样方法，通过利用DCT高频系数所对应空域的稀疏性对视频帧数据进行下采样和 相应的上采样，达到低数据量传输和高重构精度的效果。
[0008] 技术方案：为实现上述目的，本发明中视频帧的下采样方法包括以下步骤：
[0009] (1)将视频帧I"lginal进行离散余弦变换得到视频帧I "lginal在余弦变换域下的系 数W
[0010] (2)将所述余弦变换域下的系数1^中的高频系数利用截断矩阵进行截断，得到 低频成分的下采样结果Tlf;
[0011] (3)将所述余弦变换域下的系数IDCT中的低频系数置零得到高频成分，并将高频 成分通过逆离散余弦变换回到空间域Ihf;
[0012] (4)将所述空间域Ihf排列成向量，然后利用测量矩阵进行压缩采样，得到高频成 分的下采样结果Thf。
[0013] 相应的，本发明还公开了一种视频帧的上采样方法，包括以下步骤：
[0014] (1)将低频成分的下采样结果Tlf中的高频系数补零，然后使用逆离散余弦变换回 到空间域，得到低频空间域成分Ilf' ；
[0015] (2)将高频成分的下采样结果Thf利用压缩感知重构算法重构，并排列成一个矩 阵，得到空间域高频成分矩阵Γ hf;
[0016] (3)将所述低频空间域成分Ilf'和空间域高频成分Γ hf进行叠加恢复出原视频帧 I，。
[0017] 进一步地，本发明还提供一种视频帧的传输处理方法，包括以下步骤：
[0018] (1)发送端对输入的视频帧按照上述下采样方法对视频帧中的低频成分和高频成 分分别进行下采样得到低频成分的下采样结果Tlf和高频成分的下采样结果T hf;
[0019] (2)将所述低频成分的下采样结果Tlf和高频成分的下采样结果T hf进行发送；
[0020] (3)接收端接收到所述低频成分的下采样结果Tlf和高频成分的下采样结果T hf，并 利用上述上采样方法进行视频帧的还原。
[0021] 有益效果：本发明中利用视频帧的大部分能量集中在离散余弦变换的低频系数且 高频系数所对应的空域是稀疏的这两个性质，在对视频帧进行下采样的过程中先对低频成 分和高频成分进行分离，将视频帧的DCT低频系数截断并保留，高频DCT系数所对应的空 域成分采用压缩感知理论进行压缩采样，对低频系成分和高频成分分别进行下采样，保留 了视频帧的大部分信息，特别是高频系数所对应的边缘信息和快速变化区域的信息；相应 的，在对视频帧进行上采样的过程中，针对下采样的低频成分和高频成分，利用逆离散余弦 变换和h范数重构算法分别重构出低频成分和高频成分，将保留的DCT低频系数补零到与 原图像相同的数据大小，同时利用压缩感知重构算法重构出高频DCT系数所对应的空域成 分，两者相加即为原图像的高相似度重构图像，在下采样保留了视频帧的大部分信息的基 础上，上采样重构还原的图像便可达到很高的精度。本发明方法在与传统方案相同的下采 样比下，上采样得到的视频帧对原视频帧具有更高的相似度。
【附图说明】
[0022] 图1是视频帧DCT高频成分和低频成分的分解图；图1 (a)是原视频帧；图1 (b)是 原视频帧保留离散余弦变换低频系数并且高频系数补零的空域图；图1(C)是原视频帧离 散余弦变换高频系数对应的空域图；
[0023] 图2是本发明的视频帧下采样方法的流程图；
[0024] 图3是本发明的视频帧上采样方法的流程图；
[0025] 图4是本发明与现有的混合插值法在不同采样比条件下PSNR数据的仿真对比 图；
[0026] 图5是本发明与现有的混合插值法在不同下采样比条件下SS頂数据的仿真对比 图。
【具体实施方式】
[0027] 下面结合实施例对本发明作更进一步的说明。
[0028] 图1中可以看出，图1 (b)中相对于图1 (a)较为模糊，但基本上可以确定视频帧的 内容，足以见得，低频系数对应的空域图集中了原视频帧中的大部分能量，图1(c)中视频 帧的灰度值大部分是零或者接近于零（对应于图中黑色部分），只有边缘区域存在稀疏值， 可以看出视频帧的高频成分所对应的空间域是稀疏的。
[0029] 在图像处理过程中，视频以视频帧为一个处理单元，视频帧以矩阵的形式进行表 示，矩阵的元素为像素点，视频帧作为图像，其长度和宽度也都以像素为单位，全文中所提 到的视频帧和视频帧数据为同一概念，均表示指代某一视频帧的矩阵。
[0030] 图2中视频帧发送端利用离散余弦变换和压缩感知分别对视频帧的低频成分和 高频成分进行下采样，包括以下步骤：
[0031] ⑴输入原始的视频帧IOTlginal数据；