[0032] (2)将视频帧I"lginal进行离散余弦变换C 2D得到原视频帧在余弦变换域下的系数
[0034] 其中，Μ是图像的长度，N是图像的宽度，flf表示低频系数，fhf表示高频系数
均是一维离散余弦变换矩阵，C ^的长度为M，它的元素 是
i, j是位置坐标，当j = 1时，
当j = 2,…，Μ时，
C1Dn长度为Ν，它的元素是
：当j =
? 81 表示 Kronecker 积；C1Dn'为 C1Dn的转置。
[0035] (3)将视频帧在余弦变换域下的系数1^的高频系数进行行截断D。和列截断D p 得到低频系数对应的空间域视频帧图像，即低频成分的下采样结果Tlf:
[0037] 其中，
是行截断矩阵，M D是截断后的图像列数
是列截断矩阵，R表示实数集，ND是列截断后的图像宽度，E是单位矩 阵。
[0038] (4)将视频帧在余弦变换域下的系数1^的低频系数置零，并将高频系数通过逆 离散余弦变换回到空间域Ihf，该空间域中仅存在高频成分：
[0040] 其中是逆离散余弦变换矩阵。
[0041] (5)将空间域1排列成一个向量，然后利用压缩感知理论进行压缩采样，得到高 频成分下采样结果Thf:
[0043] 其中Φ是测量矩阵（measurement matrix)，测量矩阵是压缩感知理论里的一个 定义量，是一种随机矩阵，并且满足有限等距性质（RIP)即可为测量矩阵，所谓有限等距 性，简单解释就是矩阵的每一列近似正交，vec()是将矩阵排列成一个向量的操作，一般按 照矩阵的从左到右，从上到下排列，λ是中间变量，λ =vec(Ihf)。
[0044] 在对视频帧进行下采样之后，将采样后的数据发送给视频接收端，相应的，接收端 利用离散余弦变换和压缩感知分别对视频帧的低频成分和高频成分进行上采样处理，然后 进行整合得到复原后的视频帧数据，如图3所示，该方法包括以下步骤：
[0045] (1)将低频成分下采样结果Tlf的高频系数补零，然后使用逆离散余弦变换回到空 间域Ilf' ：
[0047] 其中，U。和L分别是上采样行补零矩阵和下采样列补零矩阵，E是单位矩阵。
[0048] (2)将高频成分下采样结果Thf利用压缩感知重构算法重构，并排列成一个矩阵， 得到空间域高频成分矩阵Γ hf:
[0051] 其中，λ '是重构的λ，mat ()是vec ()的逆操作，即将向量转化成矩阵，1?表示求 向量λ的〇范数，g卩为向量λ中非零元素的个数，argmin(·)是求最小值，s. t.表示约束 条件，Φ是测量矩阵，Thf是高频成分下采样后的结果，Ihf'是重构的离散余弦变换高频成 分对应的空域数据。
[0052] (3)将重构的空间域高频成分加上由逆离散余弦变换得到的低频空间域成分，即 可恢复出原视频帧矩阵I' ：
[0054] 为了验证本发明方法比现有技术的优势，在本发明的下上采样方法与现有的下上 采样方法在不同的采样率下，利用峰值信噪比PSNR和结构相似度测量SS頂数据的仿真对 比图进行比较两种方法的性能，PSNR和SS頂都是对两幅图相似性的一种量化评价，值越 高，相似度越高，本发明方法对比的两幅图为：原视频帧和上采样还原的图像；现有下采样 方法对比的两幅图为：原视频帧和其相应上采样还原的图像。
[0055] 如图4所示，在不同的下采样率下，本发明方法的峰值信噪比PSNR比离散余弦变 换-维纳插值法高1. 239dB以上，可以看出，随着采样率的升高，本发明方法的峰值信噪比 PSNR的提升率高于离散余弦变换-维纳插值法，而混合插值法随着下采样率的升高，峰值 信噪比PSNR增长的很少；另外，对于本发明方法而言，低频成分下采样数据固定（固定DCT 截断率）的性能比高频成分下采样数据固定（固定压缩采样率）的性能较高。
[0056] 如图5所示，在不同的下采样率下，本发明方法的结构相似度测量SS頂比离散余 弦变换-维纳插值法高〇. 0067以上。
[0057] 为了验证本发明方法对不同图像均有较好的普遍适用性，采用相同的下采样率利 用本发明方法和DCT维纳混合插值法和双三次插值对不同图像进行处理对比，表1中三种 方法的下采样率为〇. 5,针对不同图像进行处理（表中罗列了 12个图像），就PSNR而言，本 发明方法比DCT维纳混合插值法和双三次插值平均高至少2. 5dB ;就SS頂而言，本发明方 法比DCT维纳混合插值法和双三次插值平均高至少0. 05,足以见得本发明方法的稳定性和 普遍适用性。
[0058] 表1本发明方法与DCT维纳混合插值法和双三次插值的性能对比表
[0059]
[0060] 以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中 的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这 些等同变换均属于本发明的保护范围。
【主权项】
1. 一种视频帧的下采样方法，其特征在于，包括以下步骤： (1) 将视频帧I"lginal进行离散余弦变换得到视频帧I"lginal在余弦变换域下的系数 Idct; (2) 将所述余弦变换域下的系数1^中的高频系数利用截断矩阵进行截断，得到低频 成分的下采样结果Tlf; (3) 将所述余弦变换域下的系数IDCT中的低频系数置零得到高频成分，并将高频成分 通过逆离散余弦变换回到空间域Ihf; ⑷将所述空间域Ihf排列成向量，然后利用测量矩阵进行压缩采样，得到高频成分的 下采样结果Thf。2. 根据权利要求1所述的视频帧的下采样方法，其特征在于，所述截断矩阵包括行截 断矩阵队和列截断矩阵D。，表达式如下：式中，MD是截断后的图像列数，R表示实数集，ND是列截断后的图像宽度，E是单位矩 阵，Μ是图像的长度，N是图像的宽度。3. -种视频帧的上采样方法，其特征在于，包括以下步骤： (1) 将低频成分的下采样结果Tlf中的高频系数补零，然后使用逆离散余弦变换回到空 间域，得到低频空间域成分Ilf' ； (2) 将高频成分的下采样结果Thf利用压缩感知重构算法重构，并排列成一个矩阵，得 到空间域高频成分矩阵I'hf; (3) 将所述低频空间域成分Ilf'和空间域高频成分I'hf进行叠加恢复出原视频帧Γ。4. 一种视频帧的传输处理方法，其特征在于，包括以下步骤： (1) 发送端对输入的视频帧按照权利要求1所述的下采样方法对视频帧中的低频成分 和高频成分分别进行下采样得到低频成分的下采样结果Tlf和高频成分的下采样结果Thf; (2) 将所述低频成分的下采样结果Tlf和高频成分的下采样结果Thf进行发送； (3) 接收端接收到所述低频成分的下采样结果Tlf和高频成分的下采样结果Thf，并利用 权利要求2所述的上采样方法进行视频帧的还原。
【专利摘要】本发明公开了一种视频帧的下采样方法和上采样方法以及传输处理方法，利用视频帧经过离散余弦变换后大部分能量都集中在低频系数中和高频系数所对应的空间域是稀疏的这两个性质，将视频帧经过离散余弦变换后，下采样截取低频系数，将高频系数所对应的空间域利用压缩感知理论进行下采样；在上采样端，将高频系数补零利用逆离散余弦变换回到空间域，利用压缩感知重构算法重构高频系数所对应的空间域，低频系数补零的空间域成分加上高频压缩感知重构算法得到的空间域成分就得到与原视频帧高度一致的重构视频帧。本发明方法在与传统方案相同的下采样比下，上采样得到的视频帧对原视频帧具有更高的相似度。
【IPC分类】H04N19/59, H04N19/625
【公开号】CN105263027
【申请号】CN201510593694
【发明人】张萌, 陈廷欢, 孙知非
【申请人】东南大学
【公开日】2016年1月20日
【申请日】2015年9月17日