一种图像修复方法及终端与流程

本发明涉及图像处理技术领域，尤其涉及一种图像修复方法及终端。

背景技术：

在拍摄数字图像过程中外界噪声的干扰、或在存储介质中数据的丢失、压缩都有可能造成数据图像的损坏。针对损坏的图像可以采用图像修复技术对图像中损坏的部分进行像素填充以恢复图像的视觉效果。

目前，图像修复主要通过纹理合成的方法进行的。在纹理合成方法中，首先划定需要修复的图像区域，然后运用算法计算优先权来确定用户从划定区域的哪一点开始修复，最后以该点的领域为参考基础，从本图像的其他区域搜索与该点领域最为匹配的领域来填充到该点领域的未知部分。这样不断进行下去，直到本图像的所有未知区域都被填充完成为止。

在运用算法计算优先权时，一般通过置信项和数据项的乘积得到。但是，随着图像修复过程的进行，置信项容易迅速降低为零，从而导致整个优先级公式不起作用，修复偏差较高。

技术实现要素：

本发明实施例公开了一种图像修复方法及终端，能够降低图像修复偏差。

本发明实施例第一方面公开了一种图像修复方法，包括：

确定图像中待修复区域的轮廓，所述轮廓包括至少一个轮廓点；以及确定所述轮廓点所设定的区域，所述轮廓点所设定的区域包括至少一个像素点；

计算所述轮廓点所设定的区域中像素点的第一像素差的平方和；

在所述轮廓点所设定的区域中，根据所述第一像素差的平方和确定优先修复区域优先进行修复。

本发明实施例第二方面公开了一种终端，包括：

确定单元，用于确定图像中待修复区域的轮廓，所述轮廓包括至少一个轮廓点；以及确定所述轮廓点所设定的区域，所述轮廓点所设定的区域包括至少一个像素点；

计算单元，用于计算所述确定单元确定的所述轮廓点所设定的区域中像素点的第一像素差的平方和；

修复单元，用于在所述轮廓点所设定的区域中，根据所述计算单元计算的所述第一像素差的平方和确定优先修复区域优先进行修复。

本发明实施例中，在该轮廓点所设定的区域中，通过根据计算该轮廓点所设定的区域中像素点的第一像素差的平方和来确定优先修复区域优先进行修复。另外，像素差的平方和一方面本身就是反映信息丰富程度的公式，信息量越丰富的区域越优先修复越合理；另一方面，由像素差的平方和公式可知，在同一块内可利用的已知像素越多，计算结果就越信服，应该优先修复。可见，实施本发明实施例，能够使信息丰富的轮廓点所述设定的区域优先修复，减低了图像修复偏差。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种图像修复方法的流程示意图；

图1(a)是本发明实施例公开的一种破损图像示意图；

图1(b)是本发明实施例公开的另一种破损图像示意图；

图1(c)是本发明实施例公开的另一种破损图像示意图；

图1(d)是本发明实施例公开的另一种破损图像示意图；

图1(e)是本发明实施例公开的另一种破损图像示意图；

图2是本发明实施例公开的一种终端的结构示意图；

图3是本发明实施例公开的另一种终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

本发明实施例公开了一种图像修复方法及终端，能够降低图像修复偏差。以下分别进行详细说明。

请参见图1，图1为本发明实施例公开的一种图像修复方法的流程示意图。如图1所示，该图像修复方法可以包括以下步骤。

S101、终端确定图像中待修复区域的轮廓，该轮廓包括至少一个轮廓点；以及确定该轮廓点所设定的区域，该轮廓点所设定的区域包括至少一个像素点。

本发明实施例中，用户设备可以包括单反、拍立得、智能手机、平板电脑、以及移动互联网设备(Mobile Internet Device，MID)等用户设备。

该图像可以指在该在终端传感器中以像素形式呈现的像，比如光敏传感器等。该待修复区域可以指该图像中的缺损区域。如图1(a)所示该图像，区域A显示该待修复区域，曲线C为该待修复区域的轮廓。

该终端可以把该图像划分成至少一个小区域，该终端可以通过检测该小区域中的像素是否全部为未知像素来判断该小区域是否为待修复小区域；若该小区域中的像素全部为未知像素，则该终端可以判断该小区域为待修复小区域。其中，像素可以呈现出2的8次方种颜色，大约256种，因此该终端可以通过该小区域中的像素所呈现的颜色是否存在这256种颜色中来判断该小区域中的像素是否为已知像素，若存在，则可以表明该像素为已知像素，反之，则可以表明该像素为未知像素。

该终端可以在该图像划分成的至少一个小区域中查找同时存在已知像素和未知像素的区域，然后根据该区域中已知像素的坐标来确定该图像中待修复区域的轮廓。该轮廓上的像素点可以为该轮廓的轮廓点。该轮廓点所设定的区域可以为以该轮廓点为中心所划定的小区域。

举例来说，如图1(b)所示，在单位为像素50*50的图像中，曲线C为待修复区域的轮廓，该曲线C的左下方为该待修复区域，该曲线C的右上方为图像完好区域，把该图像划分为5个单位为像素10*10的小区域A1，A2、A3、A4和A5，其中区域A1中的像素全部为已知像素，区域A2中一部分像素为已知像素，一部分像素为未知像素，区域A3中一部分像素为已知像素，一部分像素为未知像素区域，区域A4中一部分像素为已知像素，一部分像素为未知像素，区域A5中的全部像素为未知像素，所以在该图像中，区域A5可以组成该待修复区域。

接上述，区域A2、A3和A4同时存在已知像素和未知像素，如图1(c)所示，若以该图像的左下角的点为坐标原点建立坐标系，区域A2中已知像素的坐标分别为P1(10，40)，P2(13，37)和P3(14，36)，区域A3中已知像素的坐标分别为P4(15，35)和P5(17，33)，区域A4中已知像素的坐标为P6(25，25)，该终端可以按照纵坐标依次减少的规律依次连接点P1、P2、P3、P4、P5和P6，从而形成该图像中待修复区域A2的轮廓。在由像素P1、P2、P3、P4、P5和P6形成的轮廓中，像素P1、P2、P3、P4、P5和P6可以为该轮廓的轮廓点。其中，像素P1(10，40)为该轮廓点，则可以以像素P1为中心划定10*10的小区域作为该轮廓点P1所设定的区域，即图1(c)中的阴影部分等。

S102、该终端计算该轮廓点所设定的区域中像素点的第一像素差的平方和。

该第一像素差的平方和的公式可以为式(1)：

$P\left(p\right)={\Σ}_{i=1}^N{(x_i-u)}^2\mathrm{...}\left(1\right)$

其中，如图1(d)所示，在图像中曲线C为待修复区域的轮廓，该曲线C的左下方为该待修复区域，该曲线C的右上方为图像完好区域，L是图像完好区域中的一条结构线，P是曲线C上任意的一点，则A表示以像素P为中心的该轮廓点所设定的区域。N表示该轮廓点所设定的区域内已知像素的数目，x_i表示每一点的像素值，u表示该轮廓点所设定的区域内所有已知像素的平均值。

该像素值可以为比特每像素(英文：BPP)，用来表示该像素所能表达的颜色。比如，在一个8位图像中，像素值的范围可以为0到2的8次方，其中可以用255表示白色，用0表示黑色等。

可选的，该第一像素差的平方和的公式可以为式(2)：

$P\left(p\right)={\Σ}_{i=1}^N{(x_i-u)}^2+para\mathrm{...}\left(2\right)$

其中，para可以表示任一参数并可以任一设定，比如para可以为1,2,3等。式(2)中的其他参数含义同式(1)，在此不再赘述。

S103、该终端在该轮廓点所设定的区域中，根据该第一像素差的平方和确定优先修复区域优先进行修复。

可选的，在该轮廓点所设定的区域中，该终端可以查找该第一像素差的平方和最大的区域作为该优先修复区域；以及对该优先修复区域中的未知像素点优先进行修复。

若结合图1(d)和式(1)可得，以像素P1、P2、P3、P4、P5和P6为该轮廓的轮廓点所设定的区域的第一像素差的平方和P(P1)＝305，P(P2)＝304，P(P3)＝303，P(P4)＝302，P(P5)＝301和P(P6)＝300，则可以以像素P1为中心的区域作为该优先修复区域。

可选的，在执行步骤S103确定该优先修复区域优先进行修复之后，该终端可以重新执行步骤S101至步骤S103，直至该图像中的待修复区域完全被修复为止；或者，在执行步骤S103确定该优先修复区域优先进行修复之后，该终端还可以采用图像处理中的纹理合成算法重新选择该图像中的优先修复区域进行优先修复，直至该图像中的待修复区域完全被修复为止等。

可选的，该终端可以查找与该优先修复区域匹配的像素填充区域；以及利用该像素填充区域的像素点按照映射关系来填充该优先修复区域中的未知像素点。

可选的，该终端可以确定与该优先修复区域大小相等的N个准像素填充区域，该N为大于等于1的正整数，该准像素填充区域包括至少一个像素点；计算该N个准像素填充区域中每个准像素填充区域与该优先修复区域对应像素点的第二像素差的平方和；以及将最小的该第二像素差的平方和所对应的准像素填充区域作为与该优先修复区域匹配的像素填充区域。

该终端可以在该图像，或该图像中除该优先修复区域之外的其他区域中确定与该优先修复区域大小相等的N个准像素填充区域。如图1(e)所示，该终端在该图像中除该优先修复区域P1之外的其他区域中确定与该优先修复区域大小相等准像素填充区域B1、B2和B3。

若以中心像素为P1(X₁，Y₁)，大小为以像素为单位的L*L的该准像素填充区域中的至少一个像素点表示为P_1x(X_1x，Y_1x)；以中心像素为P2(X₂，Y₂)，大小为以像素为单位的L*L的该优先修复区域中的至少一个像素点表示为P_2x(X_2x，Y_2x)；则该准像素填充区域与该优先修复区域对应像素点可以理解为：

X_2x＝X_1x+(X₂-X₁).........................................(3)

Y_2x＝Y_1x+(Y₂-Y₁).........................................(4)

比如，若准像素填充区域的中心像素为P1(45,45)的10*10的区域，该优先修复区域是以P2(10，40)为中心的10*10的区域，则该准像素填充区域与该优先修复区域对应像素点为：X_2x＝X_1x-35；Y_2x＝Y_1x-5。

结合式(3)和式(4)得，该第二像素差的平方和可以为：

$P\left(P2P1\right)=\underset{x=1}{\overset{M}{\Σ}}{(p_{(X_{2x},Y_{2x})}-p_{(X_{1x},Y_{1x})})}^2\mathrm{...}\left(5\right)$

其中，P_(X2x，_Y2x)为该优先修复区域P2中像素点(X_2x，Y_2x)的像素值，P_(X1x，_Y1x)为该准像素填充区域P1中像素点(X_1x，Y_1x)的像素值，其中，M表示该优先修复区域中像素点的个数。

该终端可以将N个准像素填充区域中每个准像素填充区域根据式(5)与该优先修复区域对应的像素点进行像素差的平方和计算，比如，3个准像素填充区域包括区域B1、B2和B3，该优先修复区域为P1，分别按照式(5)计算优先修复区域P1与准像素填充区域B1中对应像素点的像素平方和P(P1B1)，优先修复区域P1与准像素填充区域B2中对应像素点的像素平方和P(P1B2)，和优先修复区域P1与准像素填充区域B3中对应像素点的像素平方和P(P1B3)，若P(P1B1)<P(P1B2)<P(P1B3)，则可以将区域B1作为与该优先修复区域P1匹配的像素填充区域。

若将准像素填充区域B1作为与该优先修复区域P1匹配的像素填充区域，且准像素填充区域B1是以中心像素P1(X₁，Y₁)，任一个像素点表示为P_1x(X_1x，Y_1x)；优先修复区域P1是以中心像素P2(X₂，Y₂)，任一个像素点表示为(X_2x，Y_2x)，则可以结合式(3)和式(4)利用该像素填充区域B1的像素点按照映射关系来填充该优先修复区域中的未知像素点，即B1中的像素点(X_1x，Y_1x)去修复P1中的像素点(X_2x，Y_2x)，且X_2x＝X_1x+(X₂-X₁)，Y_2x＝Y_1x+(Y₂-Y₁)。

在图1所描述的方法中，在该轮廓点所设定的区域中，通过根据计算该轮廓点所设定的区域中像素点的第一像素差的平方和来确定优先修复区域优先进行修复。另外，像素差的平方和一方面本身就是反映信息丰富程度的公式，信息量越丰富的区域越优先修复越合理；另一方面，由像素差的平方和公式可知，在同一块内可利用的已知像素越多，计算结果就越信服，应该优先修复。可见，实施图1描述的方法，能够使信息丰富的轮廓点所述设定的区域优先修复，减低了图像修复偏差。

请参见图2，图2是本发明实施例公开的一种终端的结构示意图。其中，图2所示的终端可以包括：

确定单元201，用于确定图像中待修复区域的轮廓，该轮廓包括至少一个轮廓点；以及确定该轮廓点所设定的区域，该轮廓点所设定的区域包括至少一个像素点。

该图像可以指在该在终端传感器中以像素形式呈现的像，比如光敏传感器等。该待修复区域可以指该图像中的缺损区域。如图1(a)所示该图像，区域A显示该待修复区域，曲线C为该待修复区域的轮廓。

该终端可以把该图像划分成至少一个小区域，该终端可以通过检测该小区域中的像素是否全部为未知像素来判断该小区域是否为待修复小区域；若该小区域中的像素全部为未知像素，则该终端可以判断该小区域为待修复小区域。其中，像素可以呈现出2的8次方种颜色，大约256种，因此该终端可以通过该小区域中的像素所呈现的颜色是否存在这256种颜色中来判断该小区域中的像素是否为已知像素，若存在，则可以表明该像素为已知像素，反之，则可以表明该像素为未知像素。

该终端可以在该图像划分成的至少一个小区域中查找同时存在已知像素和未知像素的区域，然后根据该区域中已知像素的坐标来确定该图像中待修复区域的轮廓。该轮廓上的像素点可以为该轮廓的轮廓点。该轮廓点所设定的区域可以为以该轮廓点为中心所划定的小区域。

计算单元202，用于计算该确定单元201确定的该轮廓点所设定的区域中像素点的第一像素差的平方和。

该第一像素差的平方和的公式可以参考式(1)或式(2)。

修复单元203，用于在该轮廓点所设定的区域中，根据该计算单元计算的该第一像素差的平方和确定优先修复区域优先进行修复。

可选的，该修复单元203，具体用于在该轮廓点所设定的区域中，查找该第一像素差的平方和最大的区域作为该优先修复区域；以及对该优先修复区域中的未知像素点优先进行修复。

可选的，该修复单元203，还具体用于查找与该优先修复区域匹配的像素填充区域；以及利用该像素填充区域的像素点按照映射关系来填充该优先修复区域中的未知像素点。

可选的，该修复单元203，还具体用于确定与该优先修复区域大小相等的N个准像素填充区域，该N为大于等于1的正整数，该准像素填充区域包括至少一个像素点；以及计算该N个准像素填充区域中每个准像素填充区域与该优先修复区域对应像素点的第二像素差的平方和；以及将最小的该第二像素差的平方和所对应的准像素填充区域作为与该优先修复区域匹配的像素填充区域。

该第二像素差的平方和的公式可以参考式(3)、式(4)和式(5)。

可选的，该根据该第一像素方差确定优先修复区域优先进行修复之后，重复执行该确定图像中待修复区域的轮廓，至该根据该第一像素方差确定优先修复区域优先进行修复的步骤，以完成该图像中待修复区域的修复。

可见，实施图2描述的终端，能够使信息丰富的轮廓点所述设定的区域优先修复，减低了图像修复偏差。

图3展示了一种运行上述应用界面切换方法的基于冯诺依曼体系的计算机系统10。该计算机系统10可以是智能手机、平板电脑、掌上电脑，笔记本电脑或个人电脑等用户终端设备。具体的，可包括通过系统总线连接的外部输入接口1001、处理器1002、存储器1003和输出接口1004。其中，外部输入接口1001可包括触控屏10016，可选的还可以包括网络接口10018。存储器1003可包括外存储器10032(例如硬盘、光盘或软盘等)和内存储器10034。输出接口1004可包括显示屏10042和音响/喇叭10044等设备。

在本实施例中，本方法的运行基于计算机程序，该计算机程序的程序文件存储于前述基于冯诺依曼体系的计算机系统10的外存储器10032中，在运行时被加载到内存储器10034中，然后被编译为机器码之后传递至处理器1002中执行，从而使得基于冯诺依曼体系的计算机系统10中形成逻辑上的操作监听模块310、指纹检测模块320、界面切换模块330、压力值判断模块340、第一步长确定模块350及第二步长确定模块360，且在上述应用界面切换方法执行过程中，输入的参数均通过外部输入接口1001接收，并传递至存储器1003中缓存，然后输入到处理器1002中进行处理，处理的结果数据或缓存于存储器1003中进行后续地处理，或被传递至输出接口1004进行输出。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例终端中的单元可以根据实际需要进行合并、划分和删减。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种图像修复方法及终端进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。