一种基于dct域本征变换的人脸图像超分辨率重建方法
【技术领域】
[0001] 本发明涉及图像处理方法，特别涉及一种基于DCT域本征变换的人脸图像超分辨 率重建方法。
【背景技术】
[0002] 高质量的图像和视频因其具有更丰富的信息和更真实的视觉感受，越来越成为一 种主流的需求。受到成像环境和成像系统性能的限制，成像系统获得的图像通常是清晰度 较低的低质量图像。例如，很多安全部门、敏感公共场所、交通要道、居民小区等都配备了全 天候实时视频监控系统。然而，由于受到监控摄像头分辨率性能、监控环境光照条件、监控 距离以及噪声等因素的影响，监控系统所获取的视频图像可能是模糊不清的低质量图像， 人脸图像的分辨率通常较低，人脸面部细节丢失严重，难以达到进一步自动分析和识别的 要求。因此，针对低质人脸图像，研究超分辨率复原技术，提高图像的质量，具有重要的理论 意义和实际应用价值。
[0003] 传统的简单的信号处理技术，直接采用最近邻、双向线性内插方法，虽然提高了图 像的分辨率，但是并没有添加图像的高频信息，图像质量难以提高。随后，研究者提出了基 于重建的方法和基于学习的方法预测高分辨率图像的高频信息。
[0004] 从早期的频域混迭开始，到各种基于正则化重建的空域方法。基于重建的技术得 到了广泛的研究，期间涌现了一批有效的算法。但是，当放大因子增大时，重建约束所能提 供的有效信息越来越少，因此这种方法的超分辨率复原能力受到了很大的限制。
[0005] 基于学习或基于示例的超分辨率复原则利用了不同图像在高频细节上的相似性， 通过学习低分辨率图像和对应高分辨率图像之间的关系来指导图像的超分辨率复原过程。 基于学习的方法对于人脸图像，在低分辨率图像质量较差、放大倍数较高时能取得很好的 效果。
[0006] DCT(Discrete Cosine Transform)具有很好的能量集中性能，经过变换大部分能 量集中在低频区域，能够很好的将图像块的中高频信息和低频信息进行分离。基于分块的 DCT变换，广泛应用于JPEG等压缩处理中。DC(Direct Current)系数表示子块图像的平均亮 度，AC(Alternating Current)系数代表子块图像的边缘、纹理信息。眼睛、鼻子、嘴唇等高 频信息丰富的区域，往往需要通过学习补偿得到。
[0007] 主成分分析算法(PCA，Principal Component Analysis)在人脸超分辨率复原算 法中得到了广泛应用。PCA是一种多元统计数据分析方法，它是采用很少的线性无关的变量 来表征多维空间的大部分时刻变化的信息，因此，它是目标统计特性的最佳正交变换。
[0008] 利用PCA算法和DCT变换的优势，我们提出了基于DCT域本征变换的人脸图像超分 辨率重建方法。
【发明内容】
[0009] 本发明的目的在于，面向低分辨率人脸图像，采用一种基于DCT域本征变换的人脸 图像超分辨率重建方法，提高人脸图像的质量。
[0010] 本发明是通过以下技术手段来实现的：
[0011] -种基于DCT域本征变换的人脸图像超分辨率重建方法，整体流程图如附图1所 示;算法分为离线部分和在线部分;其流程图分别如附图2和附图3所示;离线部分，根据高 分辨率(HR，High Resolution)人脸图像和下采样得到的低分辨率(LR，Low Resolution)人 脸图像，分别确定在DCT域基于PCA的特征向量矩阵拉和爲 1;首先将HR图像库中的每幅图像 进行下采样得到LR图像库;然后将LR图像进行DCT域插值放大，得到初始放大的图像样本库 (LR_Prim);接着分别将LR_Prim样本库中的图像和HR图像库中的图像进行DCT域基于PCA的 本征变换，分别得到LR_Prim图像和HR图像的特征向量矩阵拉和在线部分，将输入的LR 人脸图像进行DCT域插值放大，得到的DCT系数矩阵，经过归一化，列向量化，得到的结果记 为X1。将中心化，映射至ljLR_Prim图像对应的特征向量矩阵蹲，确定x^PCA系数 W1。将HR 图像进行分块DCT变换，归一化，列向量化，得到的结果记为xo。将xo去中心化映射到HR图像 库的特征向量矩阵，确定xo的PCA系数wo。对于同一幅HR图像，和下采样得到的LR图像，由 于图像内容相同，我们假定权重系数抑和奶相等;超分辨率复原过程，LR图像已知，因此我们 能够确S X1，W1，又因为#和名1可以通过样本库训练得到。通过矩阵运算，可以得到最终重 建后的DCT系数。具体运算过程，我们将会在下文具体阐述。由于分块DCT处理会导致块效应 的存在，我们采用基于DCT域的双边滤波的方法，自适应去除块效应。
[0012] 所述离线部分分为以下几个步骤：
[0013] ⑴将HR人脸图像样本库中的图像，经过下采样得到LR人脸图像样本库，通过DCT 域高频系数补零的方式进行插值放大获得LR图像的初始放大图像库LR_Prim。
[0014] (2)对（1)中得到的LR_Prim图像库和HR图像库，进行分块DCT变换，并将每幅图像 的DCT系数矩阵，归一化，列向量化，从而得到了人脸图像DCT域训练集，LR_Prim图像库对应 的训练样本矩阵L 1和HR图像库对应的训练样本矩阵ΙΛ
[0015] (3)对训练样本矩阵LU进行主成分量分析(PCA)，得到对应的特征向量矩阵爲 1和 E%
[0016] 所述在线部分分为5个步骤：
[0017] (1)输入一幅LR图像，分块DCT变换，得至IjDCT系数矩阵；
[0018] (2)对（1)中得到的DCT系数矩阵，进行DCT域插值放大，归一化，列向量化，得到的 结果记Sxi。将xi去中心化的结果映射到样本矩阵L1对应的特征向量矩阵句，得到权重系数 W1；
[0019] ⑶将权重系数奶与邢图像样本矩阵L°对应的特征向量矩阵贫乘积，得到重建HR图 像的DCT域的列向量，去中心化，归一化，并将该列向量矩阵转化成图像大小，获得每个子块 的尚频系数；
[0020] (4)将LR_Prim的低频部分作为重建目标图像的低频系数，（3)中得到的每个子块 的高频系数作为重建图像的高频系数；
[0021] (5)将重建图像进行基于DCT域的双边滤波处理，去除块效应，然后进行分块DCT逆 变换，得到重建高分辨率图像。
[0022]本发明与现有技术相比，具有以下明显的优势和有益效果：
[0023]本发明首先提出了一种新的DCT域人脸图像超分辨率复原算法，利用了 DCT变换的 能量集中特性，低频部分采用DCT域插值放大方法，高频部分利用基于PCA的方法，预测高频 信息。DCT域插值放大的得到的重建图像比双线性内插方法的得到的重建图像具有更好主 客观质量。相比其他算法，本发明的方法能针对输入的LR图像在DCT域操作，处理结束后采 用DCT域基于双边滤波的方法，自适应去除块效应。DCT变换被广泛应用于图像视频压缩中， 在DCT域进行图像超分辨率复原具有一定的应用基础。我们对压缩图像部分解压就可得到 图像的分块DCT系数，将DCT系数直接应用到提出的算法中，减少了图像处理算法的运行时 间。对于压缩图像，DCT系数的粗糙量化导致图像压缩失真，在DCT域进行超分辨率复原，是 从失真产生的根源出发进行算法处理，有助于更好地解决压缩失真问题。与传统的超分辨 率复原算法相比，本发明方法将来能够直接应用到压缩图像中，所重建的图像具有更高的 主客观质量。
[0024]本发明的特点：
[0025] 1.提出一种新的基于DCT域的人脸图像超分辨率重建算法，利用DCT域插值放大得 到的初始放大的图像，初始放大图像的分块DCT变换的低频系数作为重建图像的低频系数； [0026] 2.利用训练样本库，确定下采样插值放大LR图像和HR图像在DCT域基于PCA的特征 向量矩阵，假设同一幅高分辨率图像和下采样插值放大的低分辨率图像在对应特征向量矩 阵映射的PCA系数相同，来预测高频信息；
[0027] 3.在DCT域进行双边滤波处理，有效解决了图像超分辨率重建的块效应失真问题， 并且最大程度的保留了图像的高频信息；
[0028] 4.本方法在DCT域对图像进行超分辨率复原，将来能够更好的应用到压缩图像中。
[0029] 下面结合实例参照附图进行详细说明，以求对本发明的目的、特征和优点得到更 深入的理解。
【附图说明】：
[0030] 图1、发明方法总体流程图；
[0031] 图2、发明方法离线部分流程图；
[0032]图3、发明方法在线部分流程图；
[0033]图4、DCT域内插方法说明；
[0034]图5、DCT域基于本征变换的重建模型；
[0035]图6、目标块和平移块的定义；
[0036]图7、本发明方法实验结果。
[0037] 其中（a)LR图像 [0038] (b)插值放大后的结果
[0039] (c)重建后的高分辨图像
[0040] (d)滤波后的结果 [00411 (e)原始高分辨率图像
【具体实施方式】：
[0042]以下结合说明书附图，对本发明的实施实例加以详细说明：
[0043]本发明算法分为离线和在线两部分。离线部分，利用人脸图像样本库，在DCT域确 定基于PCA的LR图像和HR图像的特征向量矩阵;首先将HR样本库图像下采样，得到下采样后 的LR图像;然后对高分辨率图像进行分块DCT变换，对LR图像进行DCT域插值放大;接着分别 将分块DCT变换后的HR图像和DCT域插值放大的LR图像进行PCA，得到相应的特征向量矩阵； 在线部分，对输入LR图像进行DCT域插值放大和高频信息预测完成人脸图像超分辨率复原； 首先对输入的低比特率图像进行分块DCT变换，采用高频信息补零的方法，进行DCT域插值 放大，利用插值放大的图像在LR_Prim图像特征向量矩阵的映射，补偿高频信息。
[0044]( - )离线部分
[0045] (1)对人脸样本库图像进行下采样
[0046]选择一个HR图像样本库中的300幅HR人脸图像，然后对这些图像直接进行下采样， 生成300幅LR图像样本库。假设采样因子为fact，原始HR图像的大小为136X160,下采样后 LR图像组成的样本库中图像大小为136/factX160/fact。以下阐述中，我们令fact为4,那 么LR图像的分块DCT变换的大小为4 X 4，HR图像的分块DCT变换的大小为16 X 16.
[0047] (2)对HR图像进行DCT变换，对LR图像进行DCT域插值放大
[0048]首先，我们对H