基于多视图流行低秩表示的受损图像修复方法
【专利摘要】基于多视图流行低秩表示的受损图像修复方法，针对受损图像进行以下操作：首先，提取受损图像的多类型特征，获得受损图像的多视图表达；然后，构建并利用多视图流行保持受损图像的不同局部几何结构，对受损图像进行低秩矩阵分解，得到图像的多视图低秩表示和受损矩阵表示；最后，基于集成多视图低秩表示对受损图像进行修复，得到完整的原始图像。本发明的优点在于：充分考虑了受损图像的多视图补偿信息以及局部流行结构特征，能更好地恢复清晰而完整的原始图像，更有效地提高用户的视觉体验度，可应用于生物、医学和遥感探测等领域的图像修复。
【专利说明】基于多视图流行低秩表示的受损图像修复方法
【技术领域】
[0001]本发明涉及受损图像修复的【技术领域】，特别是基于多视图流行低秩表示的受损图像修复方法。
【背景技术】[0002]随着数字图像捕获设备广泛应用于生物、医学、文物保护和遥感探测等领域，并在人们的日常生活中大量普及，使得无时不刻都在产生记录各种类型的图像数据。图像作为传达信息的媒介，因其能直观明了地呈现丰富的内容，日益占据着人类生产生活的重要部分。因此，研究和发展图像技术在推动人类文明进步的历程中必将产生深远的影响。
[0003]在现实生活和应用中，人们捕获盒保存图像的过程常会受到各种外界的干扰，如野外拍摄动物时会有树叶遮挡、医学影像会有电磁波干扰、遥感探測中会受到大气扰动的影响等等。这些干扰在一定程度上将使捕获的图像受损，从而减弱了人们对图像的视觉效果。因此，对受损图像进行修复，提高和改善视觉体验度，是非常具有潜在价值和现实意义的研究课题。
[0004]目前，受损图像修复集中在传统的数字图像处理领域，主要方法有基于纹理合成的方法和基于偏微分方程的方法，涉及小波分析、傅里叶变换、离散余弦变换和神经网络等技木。这些传统方法在数据量少的情况下能取得很到的效果，但是当图像数据的数量很大时，统计学习的方法不管在修复效率还是修复质量上，都具有更为明显的优势。典型的用于图像修复的统计机器学习方法有低秩矩阵分解、压缩感知和非负稀疏表达等等。而本发明中利用图像的多视图表达及流行结构的特征进行图像修复则是较为前沿的修复技木。
【发明内容】
[0005]为了移除受损图像中的噪声或遮挡物，增强用户对图像的视觉体验效果，本发明提出了一种基于多视图流行低秩表示的受损图像修复方法，该方法包括以下步骤:
[0006]1、获取含有多种受损情形的图像库后，针对受损图像进行以下操作:
[0007]I)从不同角度(如色彩、形状、纹理等)提取受损图像的多类型特征，并得到包含K类特征的集合f={f\，…，fk}，获得受损图像的多视图表达；
[0008]2)构建并利用多视图流行保持受损图像的不同局部几何结构，对多视图受损图像进行低秩矩阵分解，得到多视图低秩表示和受损矩阵表示；
[0009]3)基于集成多视图低秩表示对受损图像进行修复，从而得到完整的原始图像。
[0010]进ー步，步骤I)中所述的受损图像的多视图表达，具体是:
[0011]I)将n幅受损图像缩放为同等大小，每幅受损图像用d维的向量表示，则所有受损图像可表示为ー个原始像素矩阵B e Rdxn5
[0012]2)从色彩、形状和纹理等角度对受损图像提取K种特征，每种特征对应ー个视图，如果受损图像的第V种特征具有Hlv維，那么全部受损图像的第V个视图用数据矩阵Iパ表示，这样，全部受损图像数据的多视图表达按列存放为矩阵V=LV1 ;…；Vk] G RmXn，其中
【权利要求】
1.基于多视图流行低秩表示的受损图像修复方法，该方法的特征在于获取含有多种受损情形的图像库后，针对受损图像进行以下操作: 1)从不同角度(如色彩、形状、纹理等)提取受损图像的多类型特征，并得到包含K类特征的集合f={f\，…，fk}，获得受损图像的多视图表达； 2)构建并利用多视图流行保持受损图像的不同局部几何结构，对多视图受损图像进行低秩矩阵分解，得到多视图低秩表示和受损矩阵表示； 3)基于集成多视图低秩表示对受损图像进行修复，从而得到完整的原始图像。
2.如权利要求1所述的基于多视图流行低秩表示的受损图像修复方法，其特征在于:步骤I)中所述的受损图像的多视图表达，具体是: 1)将n幅受损图像缩放为同等大小，每幅受损图像用d维的向量表示，则所有受损图像可表示为ー个原始像素矩阵B G Rdxn ； 2)从色彩、形状和纹理等角度对受损图像提取K种特征，每种特征对应ー个视图，如果受损图像的第V种特征具有mv维，那么全部受损图像的第V个视图用数据矩阵I"*+.SiT'*ヾ:表示，这样，全部受损图像数据的多视图表达按列存放为矩阵V=LV1 ；…；VK] g RmXn，其中+to =为多视图表达的数据维度。
3.如权利要求2所述的基于多视图流行低秩表示的受损图像修复方法，其特征在于:步骤2)中所述的构建并利用多视图流行保持受损图像的不同局部几何结构，具体是: 1)数据的流行反映了数据的本征结构，一般通过拉普拉斯矩阵表示，对受损图像的不同视图构建基于P近邻的拉普拉斯矩阵L可反映其不同的局部结构； 2)设第V个受损图像视图上对应的邻接权重矩阵为Wv，第V个视图的所有受损图像可看做ー个图，每幅图像看成图的顶点，对第V个视图中的任意一幅图像Xi，根据欧氏距离在整个视图中搜索它的P个邻居图像，在它们之间建立一条边并赋予它们之间的权重为1，即 =む其中j代表Xi的邻居索引，若两点之间无边，则权重设为O ; 3)根据邻接权重矩阵Wv计算对角矩阵Dv，该矩阵对角线上的元素值为Wv对应列元素的累加和，* I;叩I，这样，第V个受损图像视图对应的流行为じ=Dv-Wv ； 4)根据上述方法可以此构建受损图像多个视图对应的多个流行。
4.如权利要求3所述的基于多视图流行低秩表示的受损图像修复方法，其特征在于:步骤2)中所述的对多视图受损图像进行低秩矩阵分解，具体是: 1)假设受损图像的每个视图均可分解为无损部分(即清洁的图像)和受损部分(如噪声或遮挡等)，对第V个视图Vv，可分解为无损部分YT和受损部分ERr'^ %.其中Zv G Rmxn是对应的低秩表示； 2)考虑到每种视图反映原始受损图像的程度不同，赋予第V个视图Vv的权重为ev，从而充分利用多个视图提供的相互补偿信息，通过对受损图像多视图流行做低秩矩阵分解可求得对应的低秩表示Z=LZ1 ；…；ZK] G RKnXn和受损表示矩阵E=LE1 ；…；Ek] g Rmxn，即求解以下目标函数
5.如权利要求4所述的基于多视图流行低秩表示的受损图像修复方法，其特征在于:步骤3)中所述基于集成多视图低秩表示对受损图像进行修复，具体是: 1)基于上述步骤获得的受损图像对应的多视图低秩表示矩阵Z=LZ1；…;zx]及其相应的权重向量Q=Le1,…，eK]，计算权重线性组合
【文档编号】G06T5/00GK103559683SQ201310438772
【公开日】2014年2月5日 申请日期:2013年9月24日 优先权日:2013年9月24日
【发明者】卜佳俊, 李平, 王哲, 陈纯, 何占盈 申请人:浙江大学