本发明涉及图像处理技术领域，具体而言，涉及一种图像修补方法和一种图像修补装置。
背景技术：
图像修补的目的是将含有残缺部分的图像尽可能恢复到原始的样子。在自然图像中普遍存在自相似性，比如重复的图案和结构等，这些自相似性包含了一些互补的信息，对于图像修补有很大的帮助。
传统的图像修补方法是通过贝叶斯模型来估计图像中的缺失像素，给定一个损坏的图像，通过已有的像素来最大化未知像素的条件概率。如Besag等人将贝叶斯模型应用于后验概率，然后通过先验概率来达到一个最优值。然而，对于图像而言，先验概率模型并不一定有效或足够精确。再如Li和Orchard等人使用平稳高斯过程降低了模型复杂性。但是，自然图像在局部上可能并不具备平稳性，尤其是在边缘结构中。
基于边缘定向的图像修补方法在近年来也有较快的发展。由于人的视觉系统对于边结构很敏感，所以这些方法具有很好的视觉效果。然而，这些方法需要额外的信息来确定关键边，如果仅给定一个缺失的图像，自动探查关键边就成为了很困难的事情。
为了在图像中寻找更多的统计信息，产生了多尺度图像修补方法。这些方法均使用了离散余弦变换金字塔，即一个在较高尺度中的块可能会与较低尺度的块相关联。但是，由于可能同时有若干个块都比较相似，在高尺度图像中，每个块在每个较低尺度仅关联一个块会丢失一些有用信息。
因此，如何能够有效地对缺失像素的图像进行修补成为亟待解决的技术问题。
技术实现要素：
本发明正是基于上述技术问题至少之一，提出了一种新的图像修补方案，可以提高对缺失像素修补的准确性，有效地实现了对缺失像素的图像进行修补的目的。
有鉴于此，本发明提出了一种图像修补方法，包括：确定待修补图像中包含有缺失像素的至少一个缺失块；针对所述至少一个缺失块中的每个缺失块，按照从所述每个缺失块的边缘到中心的顺序逐次修补所述每个缺失块内的缺失像素，以对所述待修补图像进行修补。
在该技术方案中，通过在修补图像时，采用由外到内的顺序逐次进行修补，使得能够在最大程度上增强已填充像素(即未缺失像素和已修补的缺失像素)的可信度，进而以此作为待填充像素的可利用信息继续对缺失块中的缺失像素进行修补，提高了对缺失像素修补的准确性，有效地实现了对缺失像素的图像进行修补的目的。
具体地，由于待修补图像中与缺失块相邻的区域内的像素值未缺失，因此可以作为可利用信息对缺失块的边缘区域内的像素进行修补，而在缺失块的边缘区域被修补之后，可以以此作为可利用信息继续对缺失块的新的边缘区域内的像素进行修补，直到将缺失块内的所有缺失像素修补完成。
在上述技术方案中，优选地，按照从所述每个缺失块的边缘到中心的顺序逐次修补所述每个缺失块内的缺失像素的步骤具体为：围绕所述每个缺失块的中心将所述每个缺失块划分为多层缺失区域；按照由外层至内层的顺序逐次对所述多层缺失区域中的每层缺失区域内的缺失像素进行修补。具体地，可以根据需要设置每层缺失区域的宽度，如将宽度设置为1像素。
在上述技术方案中，优选地，还包括：将所述待修补图像按照不同比例进行缩小处理，以得到多个第一类图像；对所述多层缺失区域中的任一层缺失区域内的缺失像素进行修补的步骤具体为：
在所述待修补图像上设置预定大小的多个图像块，其中，所述多个图像块中的每个图像块包含所述任一层缺失区域内的部分缺失像素且不包含所述多层缺失区域内的其他层缺失区域内的缺失像素；对于所述多个图像块中的任一图像块，在所述多个第一类图像中查找与所述任一图像块相似的多个匹配块；根据所述任一图像块中未缺失像素的值和所述多个匹配块中未缺失像素的值计算所述任一图像块中包含的缺失像素的值；根据计算出的所述多个图像块中的每个图像块内包含的缺失像素的值，计算所述任一层缺失区域内的每个缺失像素的值，并通过所述每个缺失像素的值对所述每个缺失像素进行修补。
在该技术方案中，通过将待修补图像进行缩小处理得到多个第一类图像，在多个第一类图像中查找与任一图像块相似的匹配块，并根据多个匹配块内未缺失像素的值和该任一图像块内未缺失像素的值计算该任一图像块中包含的缺失像素的值，使得能够综合多个尺度的图像(即多个第一类图像)来确定缺失像素的值，提高了对缺失像素的值计算的准确性，避免了现有技术中仅考虑一个关联块而导致确定出的缺失像素的值不准确的问题。
在上述技术方案中，优选地，在所述多个第一类图像中查找与所述任一图像块相似的匹配块的步骤具体为：记录所述任一图像块在所述待修补图像中的位置；在每个所述第一类图像中的对应位置，根据逐像素作差求平方和的算法查找与所述任一图像块相似的匹配块。
具体地，即将通过逐像素作差求平方和之后的值小于或等于预定值的图像块作为上述的匹配块。
在上述技术方案中，优选地，根据所述任一图像块中未缺失像素的值和所述多个匹配块中未缺失像素的值计算所述任一图像块中包含的缺失像素的值的步骤具体包括：根据所述任一图像块内的所有像素的值和所述多个匹配块内所有像素的值构成矩阵；在所述矩阵的秩最小时，计算所述任一图像块中包含的缺失像素的值。
在上述技术方案中，优选地，根据计算出的所述多个图像块中每个图像块内包含的缺失像素的值，计算所述任一层缺失区域内的每个缺失像素的值的步骤具体包括：根据计算出的所述多个图像块中的每个图像块内的缺失像素的值统计所述任一层缺失区域内的每个缺失像素的多个值；计算所述每个缺失像素的多个值的平均值，将所述平均值作为所述每个缺失像素的值。
在该技术方案中，由于任一层缺失区域对应于多个图像块，每个图像块内包含的缺失像素与其他图像块包含的缺失像素可能是相同的缺失像素，因此通过将每个缺失像素的多个值的平均值作为每个缺失像素的值，可以提高计算出的缺失像素的值的准确性。
根据本发明的另一方面，还提出了一种图像修补装置，包括：确定单元，用于确定待修补图像中包含有缺失像素的至少一个缺失块；第一处理单元，用于针对所述至少一个缺失块中的每个缺失块，按照从所述每个缺失块的边缘到中心的顺序逐次修补所述每个缺失块内的缺失像素，以对所述待修补图像进行修补。
在该技术方案中，通过在修补图像时，采用由外到内的顺序逐次进行修补，使得能够在最大程度上增强已填充像素(即未缺失像素和已修补的缺失像素)的可信度，进而以此作为待填充像素的可利用信息继续对缺失块中的缺失像素进行修补，提高了对缺失像素修补的准确性，有效地实现了对缺失像素的图像进行修补的目的。
具体地，由于待修补图像中与缺失块相邻的区域内的像素值未缺失，因此可以作为可利用信息对缺失块的边缘区域内的像素进行修补，而在缺失块的边缘区域被修补之后，可以以此作为可利用信息继续对缺失块的新的边缘区域内的像素进行修补，直到将缺失块内的所有缺失像素修补完成。
在上述技术方案中，优选地，所述第一处理单元包括：划分单元，用于围绕所述每个缺失块的中心将所述每个缺失块划分为多层缺失区域；执行单元，用于按照由外层至内层的顺序逐次对所述多层缺失区域中的每层缺失区域内的缺失像素进行修补。具体地，可以根据需要设置每层缺失区域的宽度，如将宽度设置为1像素。
在上述技术方案中，优选地，还包括：第二处理单元，用于将所述待修补图像按照不同比例进行缩小处理，以得到多个第一类图像；
所述执行单元包括：
设置单元，用于在所述待修补图像上设置预定大小的多个图像块，其中，所述多个图像块中的每个图像块包含所述多层缺失区域中的任一层缺失区域内的部分缺失像素且不包含所述多层缺失区域内的其他层缺失区域内的缺失像素；查找单元，用于对于所述多个图像块中的任一图像块，在所述多个第一类图像中查找与所述任一图像块相似的多个匹配块；第一计算单元，用于根据所述任一图像块中未缺失像素的值和所述多个匹配块中未缺失像素的值计算所述任一图像块中包含的缺失像素的值；第二计算单元，用于根据所述第一计算单元计算出的所述多个图像块中的每个图像块内包含的缺失像素的值，计算所述任一层缺失区域内的每个缺失像素的值；修补单元，用于并通过所述每个缺失像素的值对所述每个缺失像素进行修补。
在该技术方案中，通过将待修补图像进行缩小处理得到多个第一类图像，在多个第一类图像中查找与任一图像块相似的匹配块，并根据多个匹配块内未缺失像素的值和该任一图像块内未缺失像素的值计算该任一图像块中包含的缺失像素的值，使得能够综合多个尺度的图像(即多个第一类图像)来确定缺失像素的值，提高了对缺失像素的值计算的准确性，避免了现有技术中仅考虑一个关联块而导致确定出的缺失像素的值不准确的问题。
在上述技术方案中，优选地，所述查找单元具体用于：记录所述任一图像块在所述待修补图像中的位置，在每个所述第一类图像中的对应位置，根据逐像素作差求平方和的算法查找与所述任一图像块相似的匹配块。
具体地，即将通过逐像素作差求平方和之后的值小于或等于预定值的图像块作为上述的匹配块。
在上述技术方案中，优选地，所述第一计算单元具体用于：根据所述任一图像块内的所有像素的值和所述多个匹配块内所有像素的值构成矩阵，并在所述矩阵的秩最小时，计算所述任一图像块中包含的缺失像素的值。
在上述技术方案中，优选地，所述第二计算单元具体用于：根据所述第一计算单元计算出的所述多个图像块中的每个图像块内的缺失像素的值统计所述任一层缺失区域内的每个缺失像素的多个值，并计算所述每个缺失像素的多个值的平均值，以将所述平均值作为所述每个缺失像素的值。
在该技术方案中，由于任一层缺失区域对应于多个图像块，每个图像块内包含的缺失像素与其他图像块包含的缺失像素可能是相同的缺失像素，因此通过将每个缺失像素的多个值的平均值作为每个缺失像素的值，可以提高计算出的缺失像素的值的准确性。
通过以上技术方案，可以提高对缺失像素修补的准确性，有效地实现了对缺失像素的图像进行修补的目的。
附图说明
图1示出了根据本发明的实施例的图像修补方法的示意流程图；
图2示出了根据本发明的实施例的图像修补装置的示意框图；
图3示出了根据本发明的实施例的对原始图像进行缩小得到多级图像的示意图；
图4示出了根据本发明的实施例的图像修补效果的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的实施例的图像修补方法的示意流程图。
如图1所示，根据本发明的实施例的图像修补方法，包括：步骤102，确定待修补图像中包含有缺失像素的至少一个缺失块；步骤104，针对所述至少一个缺失块中的每个缺失块，按照从所述每个缺失块的边缘到中心的顺序逐次修补所述每个缺失块内的缺失像素，以对所述待修补图像进行修补。
在该技术方案中，通过在修补图像时，采用由外到内的顺序逐次进行修补，使得能够在最大程度上增强已填充像素(即未缺失像素和已修补的缺失像素)的可信度，进而以此作为待填充像素的可利用信息继续对缺失块中的缺失像素进行修补，提高了对缺失像素修补的准确性，有效地实现了对缺失像素的图像进行修补的目的。
具体地，由于待修补图像中与缺失块相邻的区域内的像素值未缺失，因此可以作为可利用信息对缺失块的边缘区域内的像素进行修补，而在缺失块的边缘区域被修补之后，可以以此作为可利用信息继续对缺失块的新的边缘区域内的像素进行修补，直到将缺失块内的所有缺失像素修补完成。
在上述技术方案中，优选地，按照从所述每个缺失块的边缘到中心的顺序逐次修补所述每个缺失块内的缺失像素的步骤具体为：围绕所述每个缺失块的中心将所述每个缺失块划分为多层缺失区域；按照由外层至内层的顺序逐次对所述多层缺失区域中的每层缺失区域内的缺失像素进行修补。具体地，可以根据需要设置每层缺失区域的宽度，如将宽度设置为1像素。
在上述技术方案中，优选地，还包括：将所述待修补图像按照不同比例进行缩小处理，以得到多个第一类图像；对所述多层缺失区域中的任一层缺失区域内的缺失像素进行修补的步骤具体为：
在所述待修补图像上设置预定大小的多个图像块，其中，所述多个图像块中的每个图像块包含所述任一层缺失区域内的部分缺失像素且不包含所述多层缺失区域内的其他层缺失区域内的缺失像素；对于所述多个图像块中的任一图像块，在所述多个第一类图像中查找与所述任一图像块相似的多个匹配块；根据所述任一图像块中未缺失像素的值和所述多个匹配块中未缺失像素的值计算所述任一图像块中包含的缺失像素的值；根据计算出的所述多个图像块中的每个图像块内包含的缺失像素的值，计算所述任一层缺失区域内的每个缺失像素的值，并通过所述每个缺失像素的值对所述每个缺失像素进行修补。
在该技术方案中，通过将待修补图像进行缩小处理得到多个第一类图像，在多个第一类图像中查找与任一图像块相似的匹配块，并根据多个匹配块内未缺失像素的值和该任一图像块内未缺失像素的值计算该任一图像块中包含的缺失像素的值，使得能够综合多个尺度的图像(即多个第一类图像)来确定缺失像素的值，提高了对缺失像素的值计算的准确性，避免了现有技术中仅考虑一个关联块而导致确定出的缺失像素的值不准确的问题。
在上述技术方案中，优选地，在所述多个第一类图像中查找与所述任一图像块相似的匹配块的步骤具体为：记录所述任一图像块在所述待修补图像中的位置；在每个所述第一类图像中的对应位置，根据逐像素作差求平方和的算法查找与所述任一图像块相似的匹配块。
具体地，即将通过逐像素作差求平方和之后的值小于或等于预定值的图像块作为上述的匹配块。
在上述技术方案中，优选地，根据所述任一图像块中未缺失像素的值和所述多个匹配块中未缺失像素的值计算所述任一图像块中包含的缺失像素的值的步骤具体包括：根据所述任一图像块内的所有像素的值和所述多个匹配块内所有像素的值构成矩阵；在所述矩阵的秩最小时，计算所述任一图像块中包含的缺失像素的值。
在上述技术方案中，优选地，根据计算出的所述多个图像块中每个图像块内包含的缺失像素的值，计算所述任一层缺失区域内的每个缺失像素的值的步骤具体包括：根据计算出的所述多个图像块中的每个图像块内的缺失像素的值统计所述任一层缺失区域内的每个缺失像素的多个值；计算所述每个缺失像素的多个值的平均值，将所述平均值作为所述每个缺失像素的值。
在该技术方案中，由于任一层缺失区域对应于多个图像块，每个图像块内包含的缺失像素与其他图像块包含的缺失像素可能是相同的缺失像素，因此通过将每个缺失像素的多个值的平均值作为每个缺失像素的值，可以提高计算出的缺失像素的值的准确性。
图2示出了根据本发明的实施例的图像修补装置的示意框图。
如图2所示，根据本发明的实施例的图像修补装置200，包括：确定单元202，用于确定待修补图像中包含有缺失像素的至少一个缺失块；第一处理单元204，用于针对所述至少一个缺失块中的每个缺失块，按照从所述每个缺失块的边缘到中心的顺序逐次修补所述每个缺失块内的缺失像素，以对所述待修补图像进行修补。
在该技术方案中，通过在修补图像时，采用由外到内的顺序逐次进行修补，使得能够在最大程度上增强已填充像素(即未缺失像素和已修补的缺失像素)的可信度，进而以此作为待填充像素的可利用信息继续对缺失块中的缺失像素进行修补，提高了对缺失像素修补的准确性，有效地实现了对缺失像素的图像进行修补的目的。
具体地，由于待修补图像中与缺失块相邻的区域内的像素值未缺失，因此可以作为可利用信息对缺失块的边缘区域内的像素进行修补，而在缺失块的边缘区域被修补之后，可以以此作为可利用信息继续对缺失块的新的边缘区域内的像素进行修补，直到将缺失块内的所有缺失像素修补完成。
在上述技术方案中，优选地，所述第一处理单元204包括：划分单元2042，用于围绕所述每个缺失块的中心将所述每个缺失块划分为多层缺失区域；执行单元2044，用于按照由外层至内层的顺序逐次对所述多层缺失区域中的每层缺失区域内的缺失像素进行修补。具体地，可以根据需要设置每层缺失区域的宽度，如将宽度设置为1像素。
在上述技术方案中，优选地，还包括：第二处理单元206，用于将所述待修补图像按照不同比例进行缩小处理，以得到多个第一类图像；
所述执行单元2044包括：
设置单元204A，用于在所述待修补图像上设置预定大小的多个图像块，其中，所述多个图像块中的每个图像块包含所述多层缺失区域中的任一层缺失区域内的部分缺失像素且不包含所述多层缺失区域内的其他层缺失区域内的缺失像素；查找单元204B，用于对于所述多个图像块中的任一图像块，在所述多个第一类图像中查找与所述任一图像块相似的多个匹配块；第一计算单元204C，用于根据所述任一图像块中未缺失像素的值和所述多个匹配块中未缺失像素的值计算所述任一图像块中包含的缺失像素的值；第二计算单元204D，用于根据所述第一计算单元204C计算出的所述多个图像块中的每个图像块内包含的缺失像素的值，计算所述任一层缺失区域内的每个缺失像素的值；修补单元204E，用于并通过所述每个缺失像素的值对所述每个缺失像素进行修补。
在该技术方案中，通过将待修补图像进行缩小处理得到多个第一类图像，在多个第一类图像中查找与任一图像块相似的匹配块，并根据多个匹配块内未缺失像素的值和该任一图像块内未缺失像素的值计算该任一图像块中包含的缺失像素的值，使得能够综合多个尺度的图像(即多个第一类图像)来确定缺失像素的值，提高了对缺失像素的值计算的准确性，避免了现有技术中仅考虑一个关联块而导致确定出的缺失像素的值不准确的问题。
在上述技术方案中，优选地，所述查找单元204B具体用于：记录所述任一图像块在所述待修补图像中的位置，在每个所述第一类图像中的对应位置，根据逐像素作差求平方和的算法查找与所述任一图像块相似的匹配块。
具体地，即将通过逐像素作差求平方和之后的值小于或等于预定值的图像块作为上述的匹配块。
在上述技术方案中，优选地，所述第一计算单元204C具体用于：根据所述任一图像块内的所有像素的值和所述多个匹配块内所有像素的值构成矩阵，并在所述矩阵的秩最小时，计算所述任一图像块中包含的缺失像素的值。
在上述技术方案中，优选地，所述第二计算单元204D具体用于：根据所述第一计算单元204C计算出的所述多个图像块中的每个图像块内的缺失像素的值统计所述任一层缺失区域内的每个缺失像素的多个值，并计算所述每个缺失像素的多个值的平均值，以将所述平均值作为所述每个缺失像素的值。
在该技术方案中，由于任一层缺失区域对应于多个图像块，每个图像块内包含的缺失像素与其他图像块包含的缺失像素可能是相同的缺失像素，因此通过将每个缺失像素的多个值的平均值作为每个缺失像素的值，可以提高计算出的缺失像素的值的准确性。
以下结合图3和图4详细说明本发明的技术方案。
本发明提出了一种新的基于块匹配的多尺度低秩图像修补方法。对于含有多个独立的块状丢失区域的图像，对其进行多层下采(即将原始图像按照不同比例进行缩小)，对于每一个丢失区域，按照从外到内的顺序，一层层进行修复。在多个尺度中同时寻找相似块，并选择相近的一部分，采用低秩处理的方法，估计出丢失像素的值。
为实现以上目的，本发明采用的技术方案包括以下步骤：
1、对于原始的缺失图像进行多层下采，得到多个不同尺度的图像。
2、对于原始图像的每一个缺失块，采用由外向内的顺序一层层进行迭代，每次迭代填充缺失块中最外一圈的像素点。对于每次迭代，顺序进行以下几个操作：
2.1、找出包含最外层缺失区域的块；
2.2、对这些块在多尺度下进行块匹配，选出比较相似的块；
2.3、通过低秩处理，计算出缺失像素的备选值；
2.4、对于每个待填充像素，将其所有备选值取平均数作为最终结果进行填充。
3、对于原图中每一个缺失块，重复上述步骤2，直到将原图修补完整。
本发明的上述方案在填充未知像素时，采用了由外到内的顺序，可以较大程度增强已经填充的像素的可信度，并以此作为接下来待填充的像素的可以利用的信息。在经过低秩处理后，将每个未知像素的备选值综合平均得出最终填充结果，较大提升了填充准确率，避免了因偶然因素而导致的填充错误。
下面以对某张含有多个独立块状缺失区域的自然图像(假设每个丢失区域都是正方形)进行修复为例，对本发明的详细方法流程作进一步地描述：
步骤1：对于给定图像，进行不同尺度的下采操作，即将原始图像按照不同比例进行缩小，具体比例可以为0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95，再加上原始图像的尺度是1.0，一共得到11张不同大小的图像。该过程可以如图3所示，得到多级图像。
步骤2：对于单个的正方形缺失区域，通过若干次迭代的方法对其进行修补。每次迭代只填充缺失区域最外层宽度为1像素的一圈，多次迭代可使缺失区域不断缩小，最终填充完成。
对于每次迭代，又分为以下几个步骤：
步骤2.1
取出图像中所有包含缺失区域最外一层且不包含缺失区域其余部分的块(如图4中的块402所示)，即选出的块与缺失区域的重叠部分均为宽度为1像素(也可以是其他值)的条形区域。其中，若块的大小为16×16，缺失区域的大小为m×m，则会找到4m+56个满足条件的块。
步骤2.2
对于在步骤2.1中找到的每一个块，将位置为l的块记为bl，然后在每个尺度中找出相应的位置。在以l为中心的一定范围(记为Ωn(l))内寻找与bl相似的块，并将相似度在常数T以内的块的位置加入到集合Il中。
在计算块bl和bl'的相似度时，使用的是逐像素作差求平方和的方法，即Difference＝||bl-bl'||2；
那么与块bl相似的块的位置的集合Il由以下等式表示：
Il＝{l|||bl-bl'||2≤T,l'∈Ωn(l)}。
步骤2.3
在上一步骤中已经得到了与bl相似的块(也包含bl本身)的位置，那么所有这些块可以构成一个矩阵M，记为：
如果一个块包含n个像素，那么每一个就是一个长度为n的向量，表示这个块之中每个像素的值，M是一个大小为n×m的矩阵且应具有低秩性质。在M所包含的若干个相似的块中，一些像素是已知的，一些像素是未知的，本发明提出的技术方案是保持各个块中已知像素的值不变，求出各个块中未知像素的值，使得M的秩尽量低。因此，需要求出n×m的矩阵X满足：
由于求解上式最小值比较困难，因此可以使用一种近似的表达式来代替上式：
其中，
通过现有方法求解出X后，将其中每一个对应于缺失像素的位置的值添加到对应像素pl的备选结果resl中。
步骤2.4
对于最外层的每一个缺失的像素pl，在步骤2.1中都会找到多个包含它的块，因此经过步骤2.3后，pl的备选结果resl中会有若干个值。本发明提出的技术方案是对resl中的这些值求出平均数，作为像素pl的最终填充结果。将当前缺失块的最外圈的每个缺失像素填充完毕后，本次迭代结束。
步骤3：对于图像中的每一个缺失块，都采用步骤2中的方法一层层由外向内迭代填充，直到整个图像已经没有缺失像素，算法结束。具体地，如图4中所示，在(a)图的最外层缺失像素填充之后，再如(b)图所示，填充下一层的缺失像素。
以上结合附图详细说明了本发明的技术方案，本发明提出了一种新的图像修补方案，可以提高对缺失像素修补的准确性，有效地实现了对缺失像素的图像进行修补的目的。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。