一种图像修复方法及装置与流程

本发明涉及图像处理
技术领域：
，尤其是一种图像修复方法及装置。
背景技术：
：随着数字图像处理技术的发展，填充图像中某些区域的缺失信息，或移除图像中某些区域而仅保留需要的信息，使图像满足人眼视觉系统要求已经成为研究热点。这种修补缺失信息的图像处理技术称为图像修复。图像中信息缺失的区域或待移除的区域统称为图像中的待修复目标区域，图像中的其它区域称为信息已知区域。目前主流的图像修复方法有两种：一是利用图像中完好区域或非修复区域去修复需去除的区域；二是建立图像源数据库，通过匹配方法从数据库中获取当前图像修复区域所需的图像源进行修复。后一种方法需要建立足够丰富的数据库才能获得理想的修复效果，而且匹配过程耗时且繁琐，在实际应用中存在一定的障碍。相较而言，第一种方法获得广泛的应用，但在实际应用中仍存在以下问题：(1)修复区域和周围区域不协调，比如若修复区域周边存在暗部区域，那么暗部区域会向修复区域过多扩散；(2)修复完成后，为消除修复痕迹，会对修复区域进行融合，容易引起过度模糊。技术实现要素：为此，本发明提供了一种图像修复方法及装置，以力图解决或者至少缓解上面存在的至少一个问题。根据本发明的一个方面，提供了一种图像修复方法，包括步骤：根据待修复目标区域计算其与信息已知区域的边界上的点的优先级；根据优先级设置待填充块和相应的搜索区域；在搜索区域内搜索与相应待填充块最相似的块，并用该最相似块填充所述待填充块；更新被填充后的待修复目标区域与信息已知区域的边界上的点的优先级；重复上述设置、填充、更新步骤，直到待修复目标区域被填充完毕；计算待修复目标区域的距离权重图；以及根据距离权重图对待修复目标区域内的点进行高斯融合，得到修复后的图像。可选地，在根据本发明的图像修复方法中，计算边界点的优先级的步骤包括：确定每个边界点p的方形区域Ψp；依据方形区域Ψp计算该点p的优先权：P(p)＝C(p)·D(p)，其中，C(p)代表方形区域Ψp的置信度，D(p)为数据项，用于描述边界上点的连续性。可选地，在根据本发明的图像修复方法中，D(p)=|▿Ip⊥·np|α,]]>其中，|Ψp|是方形区域Ψp的面积，α是图像标准化因子，np是在点p处正交于边界的单位正交向量。可选地，在根据本发明的图像修复方法中，根据优先级设置待填充块和相应的搜索区域的步骤包括：取优先级最大的点作为待填充点；以待填充点为中心，确定块半径为第一数据的第一待填充块；确定以该待填充点为中心的、半径为第二数据的搜索区域，其中，第一数据小于第二数据。可选地，在根据本发明的图像修复方法中，第一数据和第二数据的取值大小均跟图像分辨率正相关。可选地，在根据本发明的图像修复方法中，在搜索区域内搜索与相应待填充块最相似的块的步骤包括：以优先级最大的点为中心，将第一数据扩大一倍作为块半径生成第二待填充块；在搜索区域内确定与第二待填充块相同尺寸的搜索块；依次将搜索块与第二待填充块进行匹配，得到最相似的搜索块作为第一目标块；以该第一目标块的中心为中心、以第一数据为半径，得到第二目标块；以及以该第二目标块作为最相似块来填充第一待填充块。可选地，在根据本发明的图像修复方法中，依次将搜索块与第二待填充块进行匹配的步骤包括：分别对搜索块和第二待填充块进行下采样，使得下采样后的块半径均为第一数据；以及对下采样后的搜索块和第二待填充块进行匹配运算。可选地，在根据本发明的图像修复方法中，确定搜索区域的步骤还包括：对于已填充过的点，判断其是否在当前待填充点对应的半径为第二数据的搜索区域内；若是，则将该已填充点在填充时所对应的最相似块合并到搜索区域中，得到新的搜索区域进行搜索匹配。可选地，在根据本发明的图像修复方法中，计算待修复目标区域的距离权重图的步骤包括：计算该待修复目标区域的第一距离图；根据第一距离图计算第二距离图；以及根据第二距离图计算距离权重图。可选地，在根据本发明的图像修复方法中，根据距离权重图对待修复目标区域内的点进行高斯融合的步骤包括：根据融合层数，对每一层都执行计算距离权重图、根据距离权重对目标区域内的点进行融合的步骤，得到修复后的图像。可选地，在根据本发明的图像修复方法中，计算第一距离图的步骤包括：对待修复目标区域中的每个点，获取其对应的填充像素来源点的位置坐标及像素值，分别获取其上下左右四个点对应的填充像素来源点的位置坐标及像素值；根据所获取的位置坐标计算待修复目标区域中每个点的位置梯度；根据所获取的像素值计算待修复目标区域中每个点的像素梯度；以及利用每个点的位置梯度和像素梯度计算距离值，得到第一距离图。可选地，在根据本发明的图像修复方法中，计算第二距离图的步骤包括：根据距离阈值对第一距离图进行二值化处理；以及通过欧氏距离变换生成第二距离图。可选地，在根据本发明的图像修复方法中，距离阈值取第一距离图中最大距离值的1/3。可选地，在根据本发明的图像修复方法中，根据第二距离图计算距离权重图的步骤包括：对第二距离图中的每个距离值进行如下处理，得到每个点的距离权重值：ωD(p)=11+ξD(p),]]>其中，D(p)表示第二距离图中点p对应的距离值，ωD(p)表示点p对应的距离权重值，ξ代表延迟系数；将距离权重值归化到[1，N]之间，其中N表示融合层数。可选地，在根据本发明的图像修复方法中，对待修复目标区域中的点进行融合的步骤还包括：计算待修复目标区域中任意点q融合后的像素值Iq：Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中，在融合半径内存在一系列点pi，其对应的方形区域Ψp中包含点q，wq(q-pi)表示点q依赖于点pi的权重，Iq(pi)表示点q在方形区域Ψp中对应的像素值。可选地，在根据本发明的图像修复方法中，wq(q-pi)根据距离权重图计算得出：wq(q-pi)=exp(-||q-pi||22σ2)]]>其中，||q-pi||表示点q(xq,yq)和点pi(xpi,ypi)之间的欧氏距离，σ是高斯权重系数：r为第一数据。可选地，在根据本发明的图像修复方法中，第n层的融合半径qr为：qr=nN-1qrmax]]>其中，N代表总的融合层数，qrmax代表最大融合半径。可选地，在根据本发明的图像修复方法中，融合层数根据第一数据确定。根据本发明的另一方面，提供了一种图像修复装置，包括：优先级计算单元，适于根据待修复目标区域计算其与信息已知区域的边界上的点的优先级、还适于更新被填充后的待修复目标区域与信息已知区域的边界上的点的优先级；设置单元，适于根据优先级设置待填充块和相应的搜索区域；匹配填充单元，适于在搜索区域内搜索与相应待填充块最相似的块，并用该最相似块填充待填充块；距离权重计算单元，适于计算待修复目标区域的距离权重图；融合单元，适于根据距离权重图对待修复目标区域内的点进行高斯融合，得到修复后的图像。可选地，在根据本发明的图像修复装置中，优先级计算单元进一步适于确定每个边界点p的方形区域Ψp、并依据方形区域Ψp计算该点p的优先权：P(p)＝C(p)·D(p)，其中，C(p)代表方形区域Ψp的置信度，D(p)为数据项，用于描述边界上点的连续性。可选地，在根据本发明的图像修复装置中，D(p)=|▿Ip⊥·np|α,]]>其中，|Ψp|是方形区域Ψp的面积，α是图像标准化因子，np是在点p处正交于边界的单位正交向量。可选地，在根据本发明的图像修复装置中，设置单元包括：选取子单元，适于选取优先级最大的点作为待填充点；第一确定子单元，适于确定以待填充点为中心、半径为第一数据的第一待填充块；第二确定子单元，适于确定以待填充点为中心、半径为第二数据的搜索区域，其中第一数据小于第二数据。可选地，在根据本发明的图像修复装置中，第一数据和第二数据的取值大小均跟图像分辨率正相关。可选地，在根据本发明的图像修复装置中，匹配填充单元包括：预处理子单元，适于以优先级最大的点为中心，将第一数据扩大一倍作为块半径生成第二待填充块、并在搜索区域内确定与第二待填充块相同尺寸的搜索块；匹配子单元，适于依次将搜索块与第二待填充块进行匹配，得到最相似的搜索块作为第一目标块、并以该第一目标块的中心为中心、以第一数据为半径，得到第二目标块；填充子单元，适于用第二目标块作为最相似块来填充第一待填充块。可选地，在根据本发明的图像修复装置中，匹配子单元进一步适于分别对搜索块和第二待填充块进行下采样，使得下采样后的块半径均为第一数据、并对下采样后的搜索块和第二待填充块进行匹配运算。可选地，在根据本发明的图像修复装置中，第二确定子单元还适于判断已填充过的点是否在当前待填充点对应的半径为第二数据的搜索区域内；若是则将该已填充点在填充时所对应的最相似块合并到搜索区域中，得到新的搜索区域进行搜索匹配。可选地，在根据本发明的图像修复装置中，距离权重计算单元还包括：第一计算子单元，适于计算该待修复目标区域的第一距离图；第二计算子单元，适于根据第一距离图计算第二距离图；以及第三计算子单元，适于根据第二距离图计算距离权重图。可选地，在根据本发明的图像修复装置中，融合单元还适于根据融合层数，对每一层都执行计算距离权重图、根据距离权重对目标区域内的点进行融合的步骤，得到修复后的图像。可选地，在根据本发明的图像修复装置中，第一计算子单元还包括：获取模块，适于对待修复目标区域中的每个点，获取其对应的填充像素来源点的位置坐标及像素值，且分别获取其上下左右四个点对应的填充像素来源点的位置坐标及像素值；以及计算模块，适于根据所获取的位置坐标和像素值分别计算待修复目标区域中每个点的位置梯度和像素梯度、利用每个点的位置梯度和像素梯度计算距离值，得到第一距离图。可选地，在根据本发明的图像修复装置中，第二计算子单元还适于根据距离阈值对第一距离图进行二值化处理、且通过欧氏距离变换生成第二距离图。可选地，在根据本发明的图像修复装置中，距离阈值取第一距离图中最大距离值的1/3。可选地，在根据本发明的图像修复装置中，第三计算子单元还适于对第二距离图中的每个距离值进行如下处理，得到每个点的距离权重值：ωD(p)=11+ξD(p),]]>其中，D(p)表示第二距离图中点p对应的距离值，ωD(p)表示点p对应的距离权重值，ξ代表延迟系数；第三计算子单元还包括归一模块，适于将距离权重值归化到[1，N]之间，其中N表示融合层数。可选地，在根据本发明的图像修复装置中，融合单元还适于计算待修复目标区域中任意点q融合后的像素值Iq：Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中，在融合半径内存在一系列点pi，其对应的方形区域Ψp中包含点q，wq(q-pi)表示点q依赖于点pi的权重，Iq(pi)表示点q在方形区域Ψp中对应的像素值。可选地，在根据本发明的图像修复装置中，融合单元还适于根据距离权重图计算得出wq(q-pi)：wq(q-pi)=exp(-||q-pi||22σ2)]]>其中，||q-pi||表示点q(xq,yq)和点pi(xpi,ypi)之间的欧氏距离，σ是高斯权重系数：r为第一数据。可选地，在根据本发明的图像修复装置中，第n层的融合半径qr为：qr=nN-1qrmax,]]>其中，N代表总的融合层数，qrmax代表最大融合半径。可选地，在根据本发明的图像修复装置中，融合层数根据第一数据确定。一般地，在图像修复中采用高斯融合去除痕迹时会使修复区域过度模糊，影响修复后图像的质量。本方案采用分层高斯融合方法，在融合过程中，采用块与块交界处尽量晚融合、块中心区域尽量不融合的方式，以达到消除块与块之间的接痕问题，又避免块内靠近中心位置的点过度融合而丢失纹理。另外，通过寻找源填充块的方式扩充了块匹配的搜索区域，能够避免暗部区域过多扩散的问题，同时又不增加计算的复杂度。附图说明为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。图1示出了根据本发明一个实施例的图像修复方法100的流程图；图2(a)-2(c)示出了根据本发明一个实施例的图像修复过程示意图；图3(a)-3(b)示出了根据本发明一个实施例的填充待修复目标区域的效果显示图；图4示出根据本发明一个实施例的图像修复装置400的示意图；以及图5示出根据本发明另一个实施例的图像修复装置400的示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本发明一个实施例的图像修复方法100的流程图。如图1所示，该方法始于步骤S110，根据待修复目标区域计算其与信息已知区域的边界上的点的优先级。针对图像中想要去除的部分设置蒙版，如图2所示，其中图2(a)为原图，对其中间区域设置蒙版(见图2(b)中白色区域)，称为待修复目标区域，非蒙版区域称为信息已知区域。可选地，通过如下方式计算边界点的优先级：①先确定边界上每个点p的方形区域Ψp。如图3(a)所示，用Ω表示待修复目标区域，Φ表示信息已知区域，两个区域的边界为点p为边界上任意一点，以点p为中心设置方形区域Ψp。②再依据方形区域Ψp计算点p的优先权P(p)：P(p)＝C(p)·D(p)，其中，C(p)代表方形区域Ψp的置信度，D(p)为数据项，用于描述边界上点的连续性，具体定义如下：C(p)=Σq∈Ψp∩(I-Ω)C(q)|Ψp|,]]>D(p)=|▿Ip⊥·np|α,]]>其中，|Ψp|是方形区域Ψp的面积，α是图像标准化因子，np是在点p处正交于边界的单位正交向量。按如下定义进行初始化：C(p)=0,p∈ΩC(p)=1,p∈I-Ω]]>随后在步骤S120中，根据计算出的优先级设置待填充块和相应的搜索区域。根据步骤S110计算出的优先级结果，取优先级最大的点作为待填充点，设点p为优先级最大的点，以点p为中心，确定块半径为第一数据的第一待填充块(设第一待填充块的块半径为pr)，以及，半径为第二数据的搜索区域(设搜索区域的半径为Rp)。在本实施例中，第一数据小于第二数据(即，第一待填充块半径pr小于搜索区域半径Rp)，且第一数据和第二数据的取值大小均跟图像分辨率正相关。例如，对于分辨率小于100万像素的图像，pr取值2-10，Rp取值5-20；对于分辨率超过100万像素的图像，pr取值10-20，Rp取值20-50。随后在步骤S130中，在搜索区域内搜索与相应待填充块最相似的块，并用该最相似块填充待填充块。搜索匹配块的具体步骤如下：①以优先级最大的点为中心，将第一数据(pr)扩大一倍作为块半径生成第二待填充块。也就是说，第一待填充块的大小为(2pr+1)×(2pr+1)，将其扩大为(4pr+1)×(4pr+1)，作为第二待填充块。②在搜索区域内确定与第二待填充块相同尺寸的搜索块，故搜索区域内搜索块的半径也是2pr。③依次将搜索区域中的所有搜索块与第二待填充块进行匹配，得到最相似的搜索块作为第一目标块。在本实施例中，先分别对搜索块和第二待填充块进行下采样，使得下采样后的块半径均为第一数据，例如，取第二待填充块中的奇数行和奇数列，对搜索块也是，这样，第二待填充块和搜索块的尺寸就变回(2pr+1)×(2pr+1)。然后对下采样后的搜索块和第二待填充块进行匹配运算，将算得的最相似的下采样搜索块对应的搜索块作为第一目标块。④以该第一目标块的中心为中心、以第一数据为半径，得到第二目标块。换言之，第一目标块以点s为中心，半径为2pr，第二目标块以点s为中心，半径为pr，也就是第二目标块的尺寸刚好等于第一待填充块的尺寸。⑤以该第二目标块作为最相似块来填充第一待填充块。如图3(b)示出了对图3(a)进行一次填充后的效果图。随后在步骤S140中，更新被填充后的待修复目标区域与信息已知区域的边界上的点的优先级。对比图3(a)、图3(b)，在完成一次填充后，待修复目标区域和信息已知区域的边界就发生了变化，此时要重新计算边界上点的优先级。可选地，计算优先级的方法同步骤S110。随后在步骤S150中，重复上述“设置待填充块和相应搜索区域”、“填充待填充块”、“更新边界点优先级”的步骤，即，重复步骤S120、S130、S140，直到待修复目标区域被全部填充完毕。根据本发明的实现方式，每一次要通过步骤S120确定搜索区域时，对于已经填充过的点，要判断其是否在当前待填充点对应的半径为第二数据的搜索区域内，即，第一次填充时待填充点为点p，在第二次(及以后)填充时，都要先判断点p是否在本次填充的搜索区域内。若是在搜索区域内，则将该已填充点在填充时所对应的最相似块也合并到本次的搜索区域中，得到新的搜索区域进行搜索匹配。也就是说，若点p在本次搜索的搜索区域内，则将第一次填充时的最相似块(也就是第二目标块)一并作为本次搜索的搜索区域。本方案采用这种方式扩大搜索区域，主要是考虑到：现有的基于块匹配进行图像修复的方案中，为提高计算效率和匹配效果，不会让每个待匹配块在信息已知区域内进行搜索(因为并非所有区域和待匹配块都存在相似性)，而是在每个待匹配块有限的周围区域内进行搜索(因为一般每个块的周围区域和该块才存在相似性)。但这样的块匹配原则，会导致暗部区域扩散过多——当待修复目标区域的边界处于暗部区域时，由于搜索范围的限制，会过多地在暗部区域进行搜索，导致处于暗部区域的边界匹配到的全是暗部区域的块，循环往内填充时，暗部区域不断向待修复目标区域内扩散，导致暗部区域过多扩散，修复后的待修复目标区域与周围区域不协调。故，在本实施例中，通过寻找源填充块的方式扩充了块匹配的搜索区域，能够避免上述暗部区域过多扩散的问题，同时不增加计算的复杂度。在完成对待修复目标区域的填充后，还需要对待修复目标区域进行融合，以消除块填充时产生的修复痕迹。故，在步骤S160中，计算待修复目标区域的距离权重图。根据本发明的实施方式，距离权重是通过对距离值计算权重得到的，而对于待修复目标区域内所有像素点的距离值(所有像素点的距离值就形成了距离图)，通过两次距离变换得到。首先，计算该待修复目标区域的第一距离图。可选地，对待修复目标区域中的每个点p(x,y)，获取其对应的填充像素来源点s的位置坐标(s_x,s_y)，以及，分别获取点p(x,y)上下左右四个点py[1]、py[-1]、px[-1]、px[1]对应的填充像素来源点的位置坐标(sy[1]_x,sy[1]_y)、(sy[-1]_x,sy[-1]_y)、(sx[1]_x,sx[1]_y)、(sx[-1]_x,sx[-1]_y)。根据所获取的位置坐标计算待修复目标区域中每个点的位置梯度，其中横向梯度为：ox＝max[abs(sx[1]_x-s_x),abs(s_x-sx[-1]_x)]，纵向梯度为：oy＝max[abs(sy[1]_y-s_y),abs(s_y-sy[-1]_y)]，故，位置梯度为：on=ox2+oy2.]]>同样地，对于点p(x,y)，获取对应源位置点s的像素值为(I_r,I_g,I_b)，其上下左右四个点py[1]、py[-1]、px[-1]、px[1]，其对应源匹配点的像素值分别为(Iy[1]_r,Iy[1]_g,Iy[1]_b)、(Iy[-1]_r,Iy[-1]_g,Iy[-1]_b)、(Ix[1]_r,Ix[1]_g,Ix[1]_b)、(Ix[-1]_r,Ix[-1]_g,Ix[-1]_b)。根据上述像素值计算待修复目标区域中每个点的像素梯度，以rgb颜色值中的r通道为例：ix_r＝max[abs(Ix[1]_r-I_r),abs(I_r-Ix[-1]_r)]iy_r＝max[abs(Iy[1]_r-I_r),abs(I_r-Iy[-1]_r)]则r通道的像素梯度为，in_r＝log2(1+ix_r2+iy_r2)结合rgb三个通道的像素梯度，得到最终的像素梯度：in＝(in_r+in_g+in_b)/3由此定义距离函数为：d(p)＝on*in利用每个点的位置梯度和像素梯度计算距离值，得到第一距离图。然后，根据第一距离图计算第二距离图。根据本发明一个实施例，根据距离阈值对第一距离图进行二值化处理，再通过欧氏距离变换生成第二距离图。可选地，距离阈值dthr取第一距离图中最大距离值的1/3。在二值化处理时，当距离值大于dthr时，将其设为1，否则为0。如下左右两个表给出了欧氏距离变换的示例，其中左边为二值化处理后的第一距离图，右边为左表经欧氏距离变换后生成的第二距离图。最后，根据第二距离图计算距离权重图。对第二距离图中的每个距离值进行如下处理，得到每个点p的距离权重值ωD(p)：ωD(p)=11+ξD(p),]]>其中，D(p)表示第二距离图中点p对应的距离值，ξ代表延迟系数。再将计算得到距离权重值ωD(p)归化到[1，N]之间，其中N表示融合层数，融合层数N一般根据第一数据pr确定。可选地，N＝2*pr。这样，对于块内靠近中心位置的点，其距离权重值为1，而位于块与块交接处的点，其具有较高的距离权重值，且慢慢接近N。随后在步骤S170中，根据距离权重图对待修复目标区域内的点进行高斯融合，得到修复后的图像。对待修复目标区域内的点q进行融合，要重新计算点q的像素值，点q处于不同的方块内，其对应的像素值不一样。若存在方块Ψp(方块中心为p)，其包含点q，在方块区域Ψp内构建高斯权重，点q离点p距离越远，权重越小，则点q依赖于点p的权重为wq(q-p)，其在块Ψp里对应的像素值为Iq(p)。为此，在融合半径内存在一系列点pi，其对应的方形区域Ψp中包含点q，那么，计算待修复目标区域中任意点q融合后的像素值Iq为：Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中，wq(q-pi)表示点q依赖于点pi的权重，Iq(pi)表示点q在方形区域Ψp中对应的像素值。根据本发明的一个实施例，根据上一步骤中计算得的距离权重图，即可计算出wq(q-pi)的大小：wq(q-pi)=exp(-||q-pi||22σ2),]]>其中，||q-pi||表示点q(xq,yq)和点pi(xpi,ypi)之间的欧氏距离，σ是高斯权重系数：||q-pi||=(xq-xpi)2+(yq-ypi)2]]>σ=r4ωD(q)]]>其中，r为块匹配过程中匹配块的半径(即第一数据pr)。一般地，高斯权重系数σ随着融合总层数N的增大而增大，故，融合层数跟距离权重图相关。点q的融合半径为qr，根据点q所处的层数n(0≤n＜N)来确定：qr=nN-1qrmax]]>一般地，初始化最大融合半径qrmax的范围为10-20。故融合过程就是：当距离权重值等于当前融合层数N时，该像素点在当前层数进行融合，随着层数的增加，融合半径也增加，即块与块交接处需要的融合半径也更大，保证消除交接处的接痕。本方案采用分层高斯融合方法，主要是考虑到采用高斯融合去除痕迹时会使修复区域过度模糊，影响修复质量。故在融合过程中，采用块与块交界处尽量晚融合、块中心区域尽量不融合的方式，以达到消除块与块之间的接痕问题，又避免块内靠近中心位置的点过度融合而丢失纹理。对于图2(a)中的原图，在经过上述图像修复过程后，得到的修复效果图如图2(c)所示。根据本发明的图像修复方法，扩充了块匹配搜索的范围，以避免暗部区域过多扩散；同时，引入分层融合来消除填充痕迹，解决了影响图像修复的两个突出问题，即暗部区域过多扩散和融合完后存在过度模糊或明显的修复痕迹，以得到好的图像修复效果。相应地，图4示出了适于完成图1方法的图像修复装置400，如图4所示。图像修复装置400包括：优先级计算单元410、设置单元420、匹配填充单元430、距离权重计算单元440和融合单元450。优先级计算单元410适于根据待修复目标区域计算其与信息已知区域的边界上的点的优先级。如图3(a)所示，对于边界上的任意一点p，确定点p的方形区域Ψp、并依据方形区域Ψp计算该点p的优先权：P(p)＝C(p)·D(p)，C(p)代表方形区域Ψp的置信度：C(p)=Σq∈Ψp∩(I-Ω)C(q)|Ψp|,]]>D(p)为数据项，用于描述边界上点的连续性：D(p)=|▿Ip⊥·np|α]]>其中，|Ψp|是方形区域Ψp的面积，α是图像标准化因子，np是在点p处正交于边界的单位正交向量。按如下定义进行初始化：C(p)=0,p∈ΩC(p)=1,p∈I-Ω]]>设置单元420适于根据优先级设置待填充块和相应的搜索区域。如图5所示，根据一种实现方式，设置单元420包括选取子单元422、第一确定子单元424和第二确定子单元426。其中，选取子单元422适于选取优先级最大的点(例如图3(a)中的点p)作为待填充点，第一确定子单元424适于确定以待填充点为中心、半径pr为第一数据的第一待填充块，第二确定子单元426适于确定以待填充点为中心、半径Rp为第二数据的搜索区域，其中第一数据小于第二数据，且第一数据和第二数据的取值大小均跟图像分辨率正相关，例如，对于分辨率小于100万像素的图像，pr取值2-10，Rp取值5-20；对于分辨率超过100万像素的图像，pr取值10-20，Rp取值20-50。根据本发明的实施方式，第二确定子单元426还适于判断已填充过的点是否在当前待填充点对应的半径为第二数据的搜索区域内，若是则将该已填充点在填充时所对应的最相似块合并到搜索区域中，得到新的搜索区域进行搜索匹配。匹配填充单元430适于在搜索区域内搜索与相应待填充块最相似的块，并用该最相似块填充待填充块。根据一个实施例，匹配填充单元430包括：预处理子单元432、匹配子单元434和填充子单元436。其中，预处理子单元432适于以选取子单元422选取的优先级最大的点为中心，将第一数据扩大一倍作为块半径生成第二待填充块、并在搜索区域内确定与第二待填充块相同尺寸的搜索块。此处并不是将待填充块在信息已知区域进行遍历式搜索，而是在设置好的搜索区域内进行搜索匹配，以减少计算的复杂度、加快搜索匹配效率，原因在前文已经详细解释，此处不再赘述。进一步地，本方案中，通过第二确定子单元426寻找源填充块的方式有目标地扩充了块匹配的搜索区域，能够避免暗部区域过多扩散的问题，同时又不增加计算的复杂度。匹配子单元434适于依次将搜索块与第二待填充块进行匹配，得到最相似的搜索块作为第一目标块、并以该第一目标块的中心为中心、以第一数据为半径，得到第二目标块。具体地，匹配子单元进一步被配置为，适于分别对搜索块和第二待填充块进行下采样，使得下采样后的块半径均为第一数据、并对下采样后的搜索块和第二待填充块进行匹配运算，得到最相似的搜索块作为第一目标块。可选地，取搜索块和第二待填充块的奇数行和奇数列。若第一待填充块的半径为pr，扩大一倍后的第二待填充块半径就是2pr，取其奇数行和奇数列得到的半径又变回为pr。填充子单元436适于用第二目标块作为最相似块来填充第一待填充块。如图3(a)所示，对以点p为中心的第一待填充块进行匹配、填充后，得到如图3(b)所示的图像。在每完成一次填充后，待修复目标区域和信息已知区域的边界就发生变化，优先级计算单元410还适于更新被填充后的待修复目标区域与信息已知区域的边界上的点的优先级。直到待修复目标区域被完全填充完毕。距离权重计算单元440适于计算待修复目标区域的距离权重图。如图5所示，距离权重计算单元440还包括：第一计算子单元442、第二计算子单元444和第三计算子单元446。第一计算子单元442适于计算该待修复目标区域的第一距离图。可选地，第一计算子单元442还包括获取模块和计算模块。对待修复目标区域中的每个点，获取模块适于获取其对应的填充像素来源点的位置坐标及像素值，且分别获取其上下左右四个点对应的填充像素来源点的位置坐标及像素值。计算模块适于根据所获取的位置坐标和像素值分别计算待修复目标区域中每个点的位置梯度和像素梯度、并利用每个点的位置梯度和像素梯度计算距离值，得到第一距离图。具体的计算过程在上文步骤S160的相关描述中，此处不再赘述。第二计算子单元444适于根据第一距离图计算第二距离图。第二计算子单元444进一步适于根据距离阈值对第一距离图进行二值化处理、且通过欧氏距离变换生成第二距离图。在本实施例中，距离阈值取第一距离图中最大距离值的1/3，若第一距离值大于距离阈值，则将其赋为1，反之赋为0。第三计算子单元446适于根据第二距离图计算距离权重图。第三计算子单元446被配置为对第二距离图中的每个距离值进行如下处理，得到每个点的距离权重值：ωD(p)=11+ξD(p),]]>其中，D(p)表示第二距离图中点p对应的距离值，ωD(p)表示点p对应的距离权重值，ξ代表延迟系数；可选地，第三计算子单元446还包括归一模块，适于将距离权重值归化到[1，N]之间，其中N表示融合层数，融合层数N一般根据第一数据pr确定。可选地，N＝2*pr。这样，对于块内靠近中心位置的点，其距离权重值为1，而位于块与块交接处的点，其具有较高的距离权重值，且慢慢接近N。融合单元450适于根据距离权重图对待修复目标区域内的点进行高斯融合，得到修复后的图像。若存在方块Ψp(方块中心为p)，其包含点q，在方块区域Ψp内构建高斯权重，点q离点p距离越远，权重越小，则点q依赖于点p的权重为wq(q-p)，其在块Ψp里对应的像素值为Iq(p)。为此，在融合半径内存在一系列点pi，其对应的方形区域Ψp中包含点q，融合单元450按如下公式计算待修复目标区域中任意点q融合后的像素值Iq：Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中，wq(q-pi)表示点q依赖于点pi的权重，Iq(pi)表示点q在方形区域Ψp中对应的像素值。根据本发明的一个实施例，融合单元450还适于根据上一步骤中计算得的距离权重图，计算出wq(q-pi)的大小：wq(q-pi)=exp(-||q-pi||22σ2),]]>其中，||q-pi||表示点q(xq,yq)和点pi(xpi,ypi)之间的欧氏距离，σ是高斯权重系数：||q-pi||=(xq-xpi)2+(yq-ypi)2]]>σ=r4ωD(q)]]>其中，r为块匹配过程中匹配块的半径(即第一数据pr)。一般地，高斯权重系数σ随着融合总层数N的增大而增大，故，融合层数跟距离权重图相关。点q的融合半径为qr，根据点q所处的层数n(0≤n＜N)来确定：qr=nN-1qrmax]]>一般地，初始化最大融合半径qrmax的范围为10-20。故融合过程就是：当距离权重值等于当前融合层数N时，该像素点在当前层数进行融合，随着层数的增加，融合半径也增加，即块与块交接处需要的融合半径也更大，保证消除块与快交接处的接痕。应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。A6、如A5所述的方法，其中在搜索区域内搜索与相应待填充块最相似的块的步骤包括：以优先级最大的点为中心，将第一数据扩大一倍作为块半径生成第二待填充块；在搜索区域内确定与第二待填充块相同尺寸的搜索块；依次将搜索块与第二待填充块进行匹配，得到最相似的搜索块作为第一目标块；以该第一目标块的中心为中心、以第一数据为半径，得到第二目标块；以及以该第二目标块作为最相似块来填充第一待填充块。A7、如A6所述的方法，其中依次将搜索块与第二待填充块进行匹配的步骤包括：分别对搜索块和第二待填充块进行下采样，使得下采样后的块半径均为第一数据；以及对下采样后的搜索块和第二待填充块进行匹配运算。A8、如A4-7中任一项所述的方法，其中确定搜索区域的步骤还包括：对于已填充过的点，判断其是否在当前待填充点对应的半径为第二数据的搜索区域内；若是，则将该已填充点在填充时所对应的最相似块合并到搜索区域中，得到新的搜索区域进行搜索匹配。A9、如A1-8中任一项所述的方法，其中计算待修复目标区域的距离权重图的步骤包括：计算该待修复目标区域的第一距离图；根据第一距离图计算第二距离图；以及根据第二距离图计算距离权重图。A10、如A9所述的方法，其中，根据距离权重图对待修复目标区域内的点进行高斯融合的步骤包括：根据融合层数，对每一层都执行计算距离权重图、根据距离权重对目标区域内的点进行融合的步骤，得到修复后的图像。A11、如A10所述的方法，其中计算第一距离图的步骤包括：对待修复目标区域中的每个点，获取其对应的填充像素来源点的位置坐标及像素值，分别获取其上下左右四个点对应的填充像素来源点的位置坐标及像素值；根据所获取的位置坐标计算待修复目标区域中每个点的位置梯度；根据所获取的像素值计算待修复目标区域中每个点的像素梯度；以及利用每个点的位置梯度和像素梯度计算距离值，得到第一距离图。A12、如A11所述的方法，其中计算第二距离图的步骤包括：根据距离阈值对第一距离图进行二值化处理；以及通过欧氏距离变换生成第二距离图。A13、如A12所述的方法，其中，距离阈值取第一距离图中最大距离值的1/3。A14、如A13所述的方法，其中根据第二距离图计算距离权重图的步骤包括：对第二距离图中的每个距离值进行如下处理，得到每个点的距离权重值：ωD(p)=11+ξD(p),]]>其中，D(p)表示第二距离图中点p对应的距离值，ωD(p)表示点p对应的距离权重值，ξ代表延迟系数；将距离权重值归化到[1，N]之间，其中N表示融合层数。A15、如A14所述的方法，其中，对待修复目标区域中的点进行融合的步骤还包括：计算待修复目标区域中任意点q融合后的像素值Iq：Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中，在融合半径内存在一系列点pi，其对应的方形区域Ψp中包含点q，wq(q-pi)表示点q依赖于点pi的权重，Iq(pi)表示点q在方形区域Ψp中对应的像素值。A16、如权利要求15所述的方法，其中，wq(q-pi)根据距离权重图计算得出：wq(q-pi)=exp(-||q-pi||22σ2)]]>其中，||q-pi||表示点q(xq,yq)和点pi(xpi,ypi)之间的欧氏距离，σ是高斯权重系数：r为第一数据。A17、如A16所述的方法，其中，第n层的融合半径qr为：qr=nN-1qrmax]]>其中，N代表总的融合层数，qrmax代表最大融合半径。A18、如A17所述的方法，其中融合层数根据第一数据确定。B24、如B23所述的装置，其中匹配填充单元包括：预处理子单元，适于以优先级最大的点为中心，将第一数据扩大一倍作为块半径生成第二待填充块、并在搜索区域内确定与第二待填充块相同尺寸的搜索块；匹配子单元，适于依次将搜索块与第二待填充块进行匹配，得到最相似的搜索块作为第一目标块、并以该第一目标块的中心为中心、以第一数据为半径，得到第二目标块；填充子单元，适于用第二目标块作为最相似块来填充第一待填充块。B25、如B24所述的装置，其中匹配子单元进一步适于分别对搜索块和第二待填充块进行下采样，使得下采样后的块半径均为第一数据、并对下采样后的搜索块和第二待填充块进行匹配运算。B26、如B22-25中任一项所述的装置，其中第二确定子单元还适于判断已填充过的点是否在当前待填充点对应的半径为第二数据的搜索区域内；若是则将该已填充点在填充时所对应的最相似块合并到所述搜索区域中，得到新的搜索区域进行搜索匹配。B27、如B19-26中任一项所述的装置，其中距离权重计算单元还包括：第一计算子单元，适于计算该待修复目标区域的第一距离图；第二计算子单元，适于根据第一距离图计算第二距离图；以及第三计算子单元，适于根据第二距离图计算距离权重图。B28、如B27所述的装置，其中融合单元还适于根据融合层数，对每一层都执行计算距离权重图、根据距离权重对目标区域内的点进行融合的步骤，得到修复后的图像。B29、如B28所述的装置，其中第一计算子单元还包括：获取模块，适于对待修复目标区域中的每个点，获取其对应的填充像素来源点的位置坐标及像素值，且分别获取其上下左右四个点对应的填充像素来源点的位置坐标及像素值；以及计算模块，适于根据所获取的位置坐标和像素值分别计算待修复目标区域中每个点的位置梯度和像素梯度、利用每个点的位置梯度和像素梯度计算距离值，得到第一距离图。B30、如B29所述的装置，其中，第二计算子单元还适于根据距离阈值对第一距离图进行二值化处理、且通过欧氏距离变换生成第二距离图。B31、如B30所述的装置，其中距离阈值取第一距离图中最大距离值的1/3。B32、如B31所述的装置，其中第三计算子单元还适于对第二距离图中的每个距离值进行如下处理，得到每个点的距离权重值：ωD(p)=11+ξD(p),]]>其中，D(p)表示第二距离图中点p对应的距离值，ωD(p)表示点p对应的距离权重值，ξ代表延迟系数；第三计算子单元还包括归一模块，适于将距离权重值归化到[1，N]之间，其中N表示融合层数。B33、如B32所述的装置，其中融合单元还适于计算待修复目标区域中任意点q融合后的像素值Iq：Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中，在融合半径内存在一系列点pi，其对应的方形区域Ψp中包含点q，wq(q-pi)表示点q依赖于点pi的权重，Iq(pi)表示点q在方形区域Ψp中对应的像素值。B34、如B33所述的装置，其中融合单元还适于根据距离权重图计算得出wq(q-pi)：wq(q-pi)=exp(-||q-pi||22σ2)]]>其中，||q-pi||表示点q(xq,yq)和点pi(xpi,ypi)之间的欧氏距离，σ是高斯权重系数：r为第一数据。B35、如B34所述的装置，其中，第n层的融合半径qr为：qr=nN-1qrmax]]>其中，N代表总的融合层数，qrmax代表最大融合半径。B36、如B35所述的装置，其中融合层数根据第一数据确定。此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本
技术领域：
内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本
技术领域：
的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。当前第1页1 2 3