一种基于字典匹配的图像超分辨率重建方法，其特征在于，包括： 建立匹配字典库； 将待重建图像块输入到多层线滤波器网络，提取所述待重建图像块的局部特征； 从所述匹配字典库中寻找与所述待重建图像块的局部特征相似度最高的低分辨率图 像块的局部特征； 寻找在所述匹配字典库中，所述相似度最高的低分辨率图像块的局部特征所在联合样 本的残差值； 对所述相似度最高的低分辨率图像块的局部特征进行插值放大，加上所述残差值，获 得重建后的高分辨率图像块。2. 如权利要求1所述的基于字典匹配的图像超分辨率重建方法，其特征在于，所述建 立匹配字典库包括： 采集多个高分辨率图像块，分别对所述多个高分辨率图像块进行降采样，得到与每个 所述高分辨率图像块对应的低分辨率图像块，一个高分辨率图像块以及与所述高分辨率图 像块对应的低分辨率图像块组成一对训练样本； 将每对训练样本中的所述高分辨率图像块与所述低分辨率图像块进行插值放大后的 图像相减，得到所述训练样本的残差值； 将每对训练样本的低分辨率图像块输入多层线滤波器网络，提取每对训练样本的低分 辨率图像块的局部特征； 将所述每对训练样本的低分辨率图像块的局部特征以及所述训练样本的残差值拼接 起来作为所述训练样本的联合样本； 使用K均值聚类对多个联合样本进行训练，得到匹配字典库。3.如权利要求1或2所述的基于字典匹配的图像超分辨率重建方法，其特征在于，所述 多层线滤波器网络对图像的局部特征提取过程包括： 步骤一：多层线滤波器网络包括滤波层，所述滤波层的第一级滤波器利用N个不同大 小的线滤波窗口对输入网络中的图像进行滤波，得到对应的N个滤波图像，并输出到下一 级滤波器，所述滤波图像包括：所述图像的线特征，其中N为大于1的整数； 步骤二：所述滤波层的第二级滤波器利用M个不同大小的线滤波窗口分别对第一级滤 波器输出的所述N个滤波图像进行滤波，得到对应的MXN个滤波图像，其中M为大于1的 整数； 步骤三：重复将每级滤波器得到的所有滤波图像输出至下一级滤波器，下一级滤波器 利用多个线滤波窗口对上级滤波器输出的所有滤波图像分别进行滤波处理，直至最后一级 滤波器滤波完毕，得到的所有滤波图像输出至多层线滤波器网络的映射层； 步骤四：所述映射层对所述滤波层的所有滤波图像进行二值化处理，并输出至多层线 滤波器网络的输出层； 步骤五：若所述多层线滤波器网络的输入图像为局部图像块，所述输出层对所述映射 层输出的二值化处理后的滤波图像进行衔接并输出，即得到所述图像的局部特征；若所述 多层线滤波器网络的输入图像为整幅图像，所述输出层先对所述映射层输出的二值化处理 后的各个滤波图像分别做分块直方图，再进行衔接并输出，即得到所述图像的局部特征。4.如权利要求3所述的基于字典匹配的图像超分辨率重建方法，其特征在于，每个所 述滤波窗口的滤波过程为： 每个预设大小的滤波窗口利用其窗口区域内的多个不同方向的线型滤波器对所述输 入图像块中位于所述滤波窗口中间的像素点（ic，jc)进行线性滤波，响应公式如下：其中，Pf为滤波器窗口大小的图像块，Lk是滤波器窗口中第k(k= 1，2,…N)个方向 上的局部线，（i，j)是线Lk上的像素点的坐标，线L,定义如下： Lk= {(i,j)：j=Sk(i-i〇)+j〇,iePF} (2) 其中，Sk是线L^勺斜率。5. 如权利要求4所述的基于字典匹配的图像超分辨率重建方法，其特征在于，所述映 射层对所述滤波层的所有滤波图像进行二值化处理包括： 利用公式（3)对滤波图像进行二值化处理如下：其中，X为当前滤波窗口中间的像素点，Xp为该像素的相邻像素点。6. 如权利要求3所述的基于字典匹配的图像超分辨率重建方法，其特征在于，所述将 待重建图像块输入到多层线滤波器网络，提取所述待重建图像块的局部特征包括： 步骤一：多层线滤波器网络包括滤波层，所述滤波层的第一级滤波器利用N个不同大 小的线滤波窗口对输入的待重建图像块进行滤波，得到对应的N个滤波图像，并输出到下 一级滤波器，所述滤波图像包括：所述图像的线特征，其中N为大于1的整数； 步骤二：所述滤波层的第二级滤波器利用M个不同大小的线滤波窗口分别对第一级滤 波器输出的所述N个滤波图像进行滤波，得到对应的MXN个滤波图像，其中M为大于1的 整数； 步骤三：重复将每级滤波器得到的所有滤波图像输出至下一级滤波器，下一级滤波器 利用多个线滤波窗口对上级滤波器输出的所有滤波图像分别进行滤波处理，直至最后一级 滤波器滤波完毕，得到的所有滤波图像输出至多层线滤波器网络的映射层； 步骤四：所述映射层对所述滤波层的所有滤波图像进行二值化处理，并输出至多层线 滤波器网络的输出层； 步骤五：所述输出层对所述映射层输出的二值化处理后的滤波图像进行衔接并输出， 即得到所述输入的待重建图像块的局部特征。7. -种基于字典匹配的图像超分辨率重建装置，其特征在于，包括： 建立单元，用于建立匹配字典库； 提取单元，用于将待重建图像块输入到多层线滤波器网络，提取所述重建图像块的局 部特征； 匹配单元，用于从所述匹配字典库中寻找与所述待重建图像块的局部特征相似度最高 的低分辨率图像块的局部特征； 寻找单元，寻找在所述匹配字典库中，所述相似度最高的低分辨率图像块的局部特征 所在联合样本的残差值； 差值放大单元，用于对所述相似度最高的低分辨率图像块的局部特征进行插值放大； 重建单元，用于将所述差值放大单元进行放大后的低分辨率图像块的局部特征加上所 述寻找单元寻找到的残差值，获得重建后的高分辨率图像块。8. 如权利要求7所述的图像超分辨率重建装置，其特征在于，所述建立单元具体包括： 采集模块，用于采集多个高分辨率图像块，分别对所述多个高分辨率图像块进行降采 样，得到与每个所述高分辨率图像块对应的低分辨率图像块，一个高分辨率图像块以及与 所述高分辨率图像块对应的低分辨率图像块组成一对训练样本； 减法模块，用于将每对训练样本中的所述高分辨率图像块与所述低分辨率图像块进行 插值放大后的图像相减，得到所述训练样本的残差值； 提取模块，用于将每对训练样本的低分辨率图像块输入多层线滤波器网络，提取每对 训练样本的低分辨率图像块的局部特征； 拼接模块，用于将所述每对训练样本的低分辨率图像块的局部特征以及所述训练样本 的残差值拼接起来作为所述训练样本的联合样本； 训练模块，用于使用K均值聚类对多个联合样本进行训练，得到匹配字典库。9. 如权利要求7或8所述的图像超分辨率重建装置，其特征在于，所述提取单元具体包 括： 第一级滤波器，用于利用N个不同大小的线滤波窗口对输入的待重建图像块进行滤 波，得到对应的N个滤波图像，并输出到下一级滤波器，所述滤波图像包括：所述图像的线 特征，其中N为大于1的整数； 第二级滤波器，用于利用M个不同大小的线滤波窗口分别对第一级滤波器输出的所述N个滤波图像进行滤波，得到对应的MXN个滤波图像，其中M为大于1的整数； 滤波模块，用于重复将每级滤波器得到的所有滤波图像输出至下一级滤波器，下一级 滤波器利用多个线滤波窗口对上级滤波器输出的所有滤波图像分别进行滤波处理，直至最 后一级滤波器滤波完毕，得到的所有滤波图像输出至多层线滤波器网络的映射层； 映射层，用于对所述滤波层的所有滤波图像进行二值化处理，并输出至多层线滤波器 网络的输出层； 输出层，所述输出层用于对所述映射层输出的二值化处理后的滤波图像进行衔接并输 出，即得到所述输入的待重建图像块的局部特征。10. 如权利要求8所述的图像超分辨率重建装置，其特征在于，每个所述滤波窗口的滤 波过程为： 每个预设大小的滤波窗口利用其窗口区域内的多个不同方向的线型滤波器对所述输 入图像块中位于所述滤波窗口中间的像素点（％，进行线性滤波，响应公式如下：其中，Pf为滤波器窗口大小的图像块，Lk是滤波器窗口中第k(k= 1，2,…N)个方向 上的局部线，（i，j)是线Lk上的像素点的坐标，线L,定义如下： Lk= {(i,j)：j=Sk(i-i〇)+j〇,iePF} 其中，Sk是线L4勺斜率。
【专利摘要】本申请还提供一种基于字典匹配的图像超分辨率重建方法及装置，建立匹配字典库，将待重建图像输入多层线滤波器网络，提取待重建图像的局部特征，从匹配字典库中寻找与所述待重建图像的局部特征相似度最高的低分辨率图像块的局部特征，寻找在匹配字典库中，所述相似度最高的低分辨率图像块的局部特征所在联合样本的残差值，对相似度最高的低分辨率图像块的局部特征进行插值放大，加上残差值，获得重建后的高分辨率图像块。经过多层线滤波器网络提取的待重建图像的局部特征，精度更高，因此在后续与匹配字典库匹配时，匹配度更高，因而重建出的图像质量也跟好。因而，本申请可以大大提升重建的高分辨率图像的质量。
【IPC分类】G06T3/40
【公开号】CN105389778
【申请号】CN201510741060
【发明人】赵洋, 王荣刚, 高文, 王振宇, 王文敏
【申请人】北京大学深圳研究生院
【公开日】2016年3月9日
【申请日】2015年11月4日