一种面向混合噪声的人脸超分辨率的重建方法及装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，尤其涉及一种面向混合噪声的人脸超分辨率的重 建方法及装置。
【背景技术】
[0002] 在刑事侦查过程中，人脸图像作为最具信息量的对象，是最直接、最重要的破案线 索。然而，在监控系统中，一般感兴趣的人距离监控摄像头较远，加上带宽和存储资源限制 等原因，所捕获的人脸图像往往是低分辨率和低质量的。并且在图像采集和传输过程中丢 失了许多面部特征细节信息，感兴趣的人脸图像难以被辨识。
[0003] 现有技术中，因人脸超分辨率方法提高了观测低分辨率人脸图像的面部特征细节 信息，可以利用该方法从观测得到的低分辨率人脸图像中重构出一张高分辨率的人脸图 像。一般来说，根据高低分辨率图像对所构成的训练集这一先验信息，输入一张低分辨率的 人脸图像，就可以超分辨率重建出一张高分辨率的人脸图像。但是现有的人脸超分辨率方 法没有考虑噪声对重建过程的影响，或者只考虑单一噪声类型对重建过程的影响，如高斯 白噪声。然而，在实际情况下，特别是在视频监控系统中，脉冲噪声等其他噪声也是图像退 化过程中常见的噪声类型，与高斯白噪声一起影响着图像的获取过程。传统处理方法是先 去噪声，再进行超分辨率重建，但在去噪过程中误差会在接下来的超分辨率重建中被放大， 无法得到合理的重建结果，导致处理效果极差。
[0004] 基于此，如何设计一种既能对高斯白噪声、脉冲噪声等噪声鲁棒，又能超分辨率重 建人脸特征细节的联合人脸超分辨率方法是目前亟需解决的问题。
【发明内容】
[0005] 针对现有技术存在的问题，本发明实施例提供了一种面向混合噪声的人脸超分辨 率的重建方法及装置，用于解决现有技术中对低分辨率的人脸图像进行重建时，不能同时 进行混合噪声去除和人脸超分辨率重建，利用先去噪声再重建的方法导致噪声被放大、重 建结果不理想，人脸图像质量差，难以辨识的技术问题。
[0006] 本发明提供一种面向混合噪声的人脸超分辨率的重建方法，所述方法包括：
[0007] 接收低分辨率人脸图像I，将所述低分辨率人脸图像I、预设的低分辨率训练集 中的低分辨率人脸样本图像€及高分辨率训练集中的高分辨率人脸样本图 像划分为相互重叠的图像块；
[0008] 在lph双稀疏约束条件下，计算所述低分辨率人脸样本图像T中各个位置(i，j) 的图像块对应的最优权重系数#(i，j);
[0009] 将各个位置(i，j)的所述低分辨率人脸样本图像?Γ的图像块替换为对应的所述高 分辨率人脸样本图像g的图像块，根据所述最优权重系数#( i，j)合成各个位置(i，j)的高 分辨率人脸图像块XH(i，j);
[0010]根据所述各个位置（i，j)的高分辨率人脸图像块XH(i，j)在人脸对应的位置进行 融合，获取高分辨率人脸图像并输出；其中，所述μ为所述低分辨率人脸样本图像及所述 高分辨率人脸样本图像}^的个数，所述i为图像块的行号，所述j为图像块的列号，所述m为 样本图像的序号。
[0011]上述方案中，所述将所述低分辨率人脸图像XL、预设的低分辨率训练集{^丨^中 的低分辨率人脸样本图像f及高分辨率训练集中的高分辨率人脸样本图像划分 为相互重叠的图像块包括：
[0012] 按照从左到右、从上到下进行划分；
[0013] 当划分图像块至图像边缘，且所述图像剩余尺寸不大于预设的图像块的尺寸时， 以所述图像的边缘为基准进行回退划分。
[0014] 上述方案中，所述计算所述低分辨率人脸样本图像】Γ中各个位置(i，j)的图像块 对应的最优权重系数^(i，j)包括：
[0015] 根据公￥
j计算所 述最优权重系数其中，所述Xdi，j)为所述低分辨率人脸图像4中第i行第j列图像 块;所述wm(i，j)为所述低分辨率训练集07以=1中第m幅低分辨率人脸样本图像7中第i行 第j列图像块的重建系数;所述w(i，j)是由Μ幅低分辨率人脸样本图像f中第i行第j列图 像块的重建系数^(1」_)组成的行向量，所述为所述低辨率训练集中的第m 幅低分辨率人脸样本图像中第i行第j列的图像块;所述τ为平衡重建误差和稀疏约束的正 则化参数;所述11.11 :为1:范数。
[0016] 上述方案中，所述根据所述最优权重系数(i，j)合成各个位置(i，j)的高分辨率 人脸图像块XH(i，j)包括：
[0017] 根据公式含成各个位置(i，j)的高分辨率人脸图像 块XH(i，j);其中，
[0018] 所述为所述高辨率训练集中的第m幅高分辨率人脸样本图像中第i 行第j列的图像块;所述<(/,_/)为所述^(i，j)中的第m个元素。
[0019] 本发明还提供一种面向混合噪声的人脸超分辨率的重建装置，所述装置包括：
[0020] 划分模块，所述划分模块用于接收低分辨率人脸图像1，将所述低分辨率人脸图 像Xl、预设的低分辨率训练集丨;^中的低分辨率人脸样本图像ΙΓ及高分辨率训练集 中的高分辨率人脸样本图像校1划分为相互重叠的图像块；
[0021] 计算模块，所述计算模块用于在li-h双稀疏约束条件下，计算所述低分辨率人脸 样本图像^?中各个位置(i，j)的图像块对应的最优权重系数^(i，j);
[0022] 合成模块，所述合成模块用于将各个位置(i，j)的所述低分辨率人脸样本图像)7 的图像块替换为对应的所述高分辨率人脸样本图像?^的图像块，根据所述最优权重系数# (i，j)合成各个位置(i，j)的高分辨率人脸图像块Xh(i，j);
[0023] 融合模块，所述融合模块用于根据所述各个位置（i，j)的高分辨率人脸图像块Xh (i，j)在人脸对应的位置进行融合，获取高分辨率人脸图像并输出；其中，所述Μ为所述低分 辨率人脸样本图像f及所述高分辨率人脸样本图像}^的个数，所述i为图像块的行号，所 述j为图像块的列号，所述m为样本图像的序号。
[0024] 上述方案中，所述划分模块用于接收低分辨率人脸图像4，将所述低分辨率人脸 图像Xl、预设的低分辨率训练集中的低分辨率人脸样本图像y/ 1及高分辨率训练集 {5^ }二中的高分辨率人脸样本图像沒1划分为相互重叠的图像块包括：
[0025] 所述划分模块按照从左到右、从上到下进行划分；
[0026] 当划分图像块至图像边缘，且所述图像剩余尺寸不大于预设的图像块的尺寸时， 以所述图像的边缘为基准进行回退划分。
[0027] 上述方案中，所述计算模块具体用于：
[0028] 根据公式
计算所 述最优权重系数^(i，j);其中，
[0029] 所述XUi，j)为所述低分辨率人脸图像Xl中第i行第j列图像块;所述wm(i，j)为所 述低分辨率训练集中第 m幅低分辨率人脸样本图像if中第i行第j列图像块的重建 系数;所述w(i，j)是由Μ幅低分辨率人脸样本图像Ff中第i行第j列图像块的重建系数 Wm(i， j)组成的行向量，所为所述低辨率训练集中的第m幅低分辨率人脸样本图 像中第i行第j列的图像块;所述τ为平衡重建误差和稀疏约束的正则化参数;所述| | . | |:为 li范数。
[0030] 上述方案中，所述合成模块具体用于：
[0031] 根据公式 含成各个位置(i，j)的高分辨率人脸图像 块XH(i，j);其中，
[0032] 所述为所述高辨率训练集中的第m幅高分辨率人脸样本图像中第i 行第j列的图像块;所述<(/，刀为所述^(i，j)中的第m个元素。
[0033] 本发明提供了一种面向混合噪声的人脸超分辨率的重建方法及装置所述方法包 括:接收低分辨率人脸图像A，将所述低分辨率人脸图像1、预设的低分辨率训练集丨;^ 中的低分辨率人脸样本图像及高分辨率训练集·中的高分辨率人脸样本图像€划 分为相互重叠的图像块;在li-h双稀疏约束条件下，计算所述低分辨率人脸样本图像1T中 各个位置（i，j)的图像块对应的最优权重系数^ (i，j);将各个位置（i，j)的所述低分辨率 人脸样本图像?Γ的图像块替换为对应的所述高分辨率人脸样本图像沒1的图像块，根据所 述最优权重系数^(i，j)合成各个位置(i，j)的高分辨率人脸图像块Xh(i，j);根据所述各个 位置(i，j)的高分辨率人脸图像块Xh( i，j)在人脸对应的位置进行融合，获取高分辨率人脸 图像并输出；其中，所述Μ为所述低分辨率人脸样本图像^及所述高分辨率人脸样本图像 t的个数，所述i为图像块的行号，所述j为图像块的列号，所述m为样本图像的序号。如此， 引入h-h双稀疏范数，得到基于h范数的数据项和基于h的稀疏约束项，从而同时进行混 合噪声去除和人脸超分辨率重建，减小对低分辨率图像进行重建时的误差，进而获取高质 量的高分辨率人脸图像。
【附图说明】
[0034] 图1为本发明实施例一提供的面向混合噪声的人脸超分辨率的重建方法流程示意 图；
[0035] 图2为本发明实施例一提供的图像块(i