一种带有水印的图像修复方法及系统与流程

本发明属于图像修复技术领域，特别涉及一种带有水印的图像修复方法及系统。

背景技术

在数据科学运用中，图像作为图像处理学科重要的生产资料，在模型构建的数据分析中，起到了非常重要的作用。但是，目前从网络上找到的图像，大都存在水印。带有水印的图像无论用于图像处理分析实验，还是用于深度学习、数据集的训练，都会极大地影响算法的效率、准确率和鲁棒性。为了去除图像中的水印，现有的方法是采用固定水印模板来去除图像中的水印，当图像中的水印已知并且固定的情况下，可以取得较好的效果，但是当水印发生变化时，图像的修复效果会变差很多，因此，固定的水印模板不能适应多变的网络环境和需求。

技术实现要素：

本发明的目的是提供一种带有水印的图像修复方法及系统，实现根据图像自身的水印模板去除图像水印的目的，以提高图像的修复效果。

本发明提供的技术方案如下：

一种带有水印的图像修复方法，包括以下步骤：

获取带有水印标识的待修复图像；

在所述待修复图像上标定出包含所述水印标识的目标区域；

在所述目标区域中提取出前景图像，所述前景图像为所述待修复图像的水印模板；

根据所述水印模板修复所述待修复图像中的水印。

进一步地，所述在所述待修复图像上标定出包含所述水印标识的目标区域具体包括：

获取样本数据集，通过所述样本数据集训练神经网络模型；

根据训练后的所述神经网络模型识别出所述待修复图像中的水印标识，并获取所述水印标识的位置信息；

根据识别出的所述水印标识的位置信息在所述待修复图像上标定出包含所述水印标识的第一最小矩形框；所述第一最小矩形框为所述目标区域。

进一步地，还包括：标定出所述目标区域后，将所述目标区域外的像素删除。

进一步地，所述在所述目标区域中提取出前景图像具体包括：

在所述待修复图像中获取包含所述目标区域的第二最小矩形框；

在所述第二最小矩形框中提取出前景图像。

进一步地，所述根据所述水印模板修复所述待修复图像中的水印具体包括：

根据所述水印模板在所述待修复图像中的位置信息，在所述待修复图像的所述目标区域内查找到水印像素点，将所述目标区域内的所述水印像素点的像素置为零；

获取所述水印像素点周围预设半径内的所有非水印像素点的像素值，将所述所有非水印像素点的像素值求和并取平均，得到所述水印像素点的像素填充值；

利用所述像素填充值填充对应的所述水印像素点；

对填充后的所述目标区域内的图像进行平滑处理，得到修复图像。

进一步地，所述利用所述像素填充值填充当前所述水印像素点具体包括：

当所述目标区域为多个，且多个所述目标区域有交集时，若所述水印像素点位于所述目标区域的非交集区域时，利用所述像素填充值填充所述目标区域的非交集区域内的水印像素点；若所述水印像素点位于所述目标区域的交集区域时，计算所述像素填充值的平均值，利用所述平均值填充所述交集区域内的水印像素点。

本发明还提供一种带有水印的图像修复系统，包括：

获取模块，用于获取带有水印标识的待修复图像；

标定模块，用于在所述待修复图像上标定出包含所述水印标识的目标区域；

提取模块，用于在所述目标区域中提取出前景图像，所述前景图像为所述待修复图像的水印模板；

修复模块，用于根据所述水印模板修复所述待修复图像中的水印。

进一步地，所述标定模块包括：

第一获取单元，用于获取样本数据集；

训练单元，用于通过所述样本数据集训练神经网络模型；

识别单元，用于根据训练后的所述神经网络模型识别出所述待修复图像中的水印标识，并获取所述水印标识的位置信息；

标定单元，用于根据识别出的所述水印标识的位置信息在所述待修复图像上标定出包含所述水印标识的第一最小矩形框；所述第一最小矩形框为所述目标区域。

进一步地，还包括删除模块，用于在标定出所述目标区域后，将所述目标区域外的像素删除。

进一步地，所述提取模块包括：

第二获取单元，用于在所述待修复图像中获取包含所述目标区域的第二最小矩形框；

提取单元，用于在所述第二最小矩形框中提取出前景图像。

进一步地，所述修复模块包括：

查找单元，用于根据所述水印模板在所述待修复图像中的位置信息，在所述待修复图像的所述目标区域内查找到水印像素点；

删除单元，用于将所述目标区域内的所述水印像素点的像素置为零；

第三获取单元，用于获取所述水印像素点周围预设半径内的所有非水印像素点的像素值；

计算单元，用于将所述所有非水印像素点的像素值求和并取平均，得到所述水印像素点的像素填充值；

填充单元，用于利用所述像素填充值填充对应的所述水印像素点；

处理单元，用于对填充后的所述目标区域内的图像进行平滑处理，得到修复图像。

进一步地，所述填充单元还用于当所述目标区域为多个，且多个所述目标区域有交集时，若所述水印像素点位于所述目标区域的非交集区域时，利用所述像素填充值填充所述目标区域的非交集区域内的水印像素点；若所述水印像素点位于所述目标区域的交集区域时，计算所述像素填充值的平均值，利用所述平均值填充所述交集区域内的水印像素点。

通过本发明提供的一种带有水印的图像修复方法及系统，能够带来以下至少一种有益效果：

1、本发明通过先获取待修复图像的水印模板，然后根据获取到的待修复图像的水印模板修复待修复图像中的水印，可提高图像修复效果。

2、本发明根据训练好的神经网络模型来识别待修复图像中的水印标识，可提高水印标识的识别准确度，进一步可提高水印模板的精度，从而达到提高图像修复效果的目的。

3、本发明在获取到目标区域后，将目标区域外的像素删除，在后续进行前景提取时，可降低噪声干扰，以提高前景提取效果。

4、本发明获取到水印模板后，在待修复图像中，删除掉了相应的水印模板区域的像素，使得在图像修复的过程中，去除掉了水印区域的干扰，可提高图像修复效果。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种带有水印的图像修复方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种带有水印的图像修复方法的实施例一的流程示意图；

图2是本发明一种带有水印的图像修复方法的实施例二的流程示意图；

图3是本发明一种带有水印的图像修复方法的实施例四的流程示意图；

图4是本发明一种带有水印的图像修复方法的实施例四的第二最小矩形框的结构示意图；

图5是本发明一种带有水印的图像修复方法的实施例五的流程示意图；

图6是本发明一种带有水印的图像修复系统的实施例七的结构示意框图；

图7是本发明一种带有水印的图像修复系统的实施例八的结构示意框图；

图8是本发明一种带有水印的图像修复系统的实施例八的结构示意框图；

图9是本发明一种带有水印的图像修复系统的实施例八的结构示意框图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

根据本发明提供的第一实施例，如图1所示，

一种带有水印的图像修复方法，包括以下步骤：

获取带有水印标识的待修复图像；

在所述待修复图像上标定出包含所述水印标识的目标区域；

在所述目标区域中提取出前景图像，所述前景图像为所述待修复图像的水印模板；

根据所述水印模板修复所述待修复图像中的水印。

具体地，本实施例的带有水印的图像修复方法可应用于终端设备和服务器，终端设备可以是智能手机、平板电脑、笔记本电脑和pc机等。本实施例中，先获取带有水印标识的待修复图像，该待修复图像可为终端设备或服务器本地存储的图像，也可为网络上获取到的图像。

获取到待修复图像后，在待修复图像上标定出包含上述水印标识的目标区域，本实施例中的水印标识包括文字、字母、数字和符号等。目标区域可为一个或多个，如水印标识为多个，此时，目标区域也为多个，且多个目标区域之间可能相互重合、相互包含或相互分离，如水印标识为一个，此时，目标区域也为一个。获取到目标区域后，采用图像前景提取方法在目标区域内提取出前景图像，前景图像为待修复图像的水印模板，该水印模板中包含上述的水印标识。最后根据获取到的待修复图像自身的水印模板，去除待修复图像中的水印，并对去除水印的区域进行图像修复。本实施例，根据待修复图像自身的水印模板来修复待修复图像中的水印，可提高图像修复效果。

根据本发明提供的第二实施例，如图2所示，

所述在所述待修复图像上标定出包含所述水印标识的目标区域具体包括：

获取样本数据集，通过所述样本数据集训练神经网络模型；

根据训练后的所述神经网络模型识别出所述待修复图像中的水印标识，并获取所述水印标识的位置信息；

根据识别出的所述水印标识的位置信息在所述待修复图像上标定出包含所述水印标识的第一最小矩形框；所述第一最小矩形框为所述目标区域。

具体地，本实施例是上述第一实施例的优选实施例。本实施例中先收集大量的相关数据以得到样本数据集，该样本数据集中包括各类风格的字母、数字、各类字体、字形以及各种符号等。通过该样本数据集对神经网络模型进行训练，本实施例中的神经网络模型为fastrcnnresnetv2，当然本实施例还可以使用其他现有的神经网络模型，只要能实现对图像中的文字、字母、数字和符号等进行识别定位即可。

神经网络在训练的过程中，是一个求最优解的过程，在训练时，先对样本数据集进行标定，然后将识别定位到的文字、字母等区域与实际标定的区域进行比对，得到识别准确率，然后根据识别准确率继续进行训练，当神经网络模型的识别准确率基本不再变化时，神经网络模型最优，即经过训练后的神经网络模型在待修复图像中识别水印标识的准确率较高，使得后续获取到的水印模板的精度也较高。通过训练后的神经网络模型识别出水印标识(文字、字母、数字和符号等)，并获取到水印标识的位置信息，根据识别出的水印标识的位置信息在待修复图像上标定出包含水印标识的第一最小矩形框，该第一最小矩形框为上述的目标区域。第一最小矩形框中既包括水印像素点，也包括非水印像素点。当待修复图像中的水印标识为多个时，则具有多个第一最小矩形框，每个第一最小矩形框为包含某一个水印标识的最小的矩形框。本实施例中该第一最小矩形框是通过boundings算法求解得到，当然，本实施例还可使用其他现有方法，只要可得到该第一最小矩形框即可。标定出包含水印标识的第一最小矩形框后，可降低第一最小矩形框外的图像对后续处理过程的干扰，提高图像修复效果。

根据本发明提供的第三实施例，

还包括：标定出所述目标区域后，将所述目标区域外的像素删除。

具体地，本实施例是上述第一实施例和第二实施例的优选实施例，本实施例在标定出目标区域后，将目标区域外的像素删除。第一种方法是，先考虑对目标区域的矩形框求交点，判断是否相交，若相交的话，随后求得相交区域，然后再加上两者的不相交区域，得到一个最小区域，最后将最小区域外的像素删除，此种方法，算法的复杂度较高，可能容易出错。第二方法是，对图像进行遍历操作，判定每个像素点，是否属于任意一个目标区域(矩形框)，如果属于那么保留，如果不属于，则直接删除，此种方式，思路简单，且效率较高。将目标区域外的像素删除，在后续进行前景提取时，可降低噪声干扰，以提高前景提取效果。

根据本发明提供的第四实施例，如图3所示，所述在所述目标区域中提取出前景图像具体包括：

在所述待修复图像中获取包含所述目标区域的第二最小矩形框；

在所述第二最小矩形框中提取出前景图像。

具体地，本实施例是上述第一、第二和第三实施例的优选实施例，在获取到目标区域后，即得到一个或多个第一最小矩形框后，在待修复图像中获取到包含目标区域的第二最小矩形框，如图4所示，图中矩形框1代表目标区域(即第一最小矩形框)，矩形框2代表第二最小矩形框，从图4中可看出，当目标区域未与其他目标区域相交时，该目标区域(第一最小矩形框)即为第二最小矩形框，当目标区域与其他目标区域相交时，第二最小矩形框为包含相交的目标区域的最小矩形框。获取到第二最小矩形框后，采用前景提取方法提取出第二最小矩形框中的前景图像，本实施例可采用grabcut算法获取到第二最小矩形框中的前景图像，也可采用其他现有的算法获取到第二最小矩形框中的前景图像。采用grabcut算法提取前景图像时，输入的是上述第二最小矩形框，然后将第二最小矩形框中的前景图像提取出来，提取出的前景图像即为待修复图像的水印模板。先删除目标区域外的像素后，再进行前景提取，可减小在前景提取时的噪声干扰，提高前景提取效果。

根据本发明提供的第五实施例，如图5所示，

所述根据所述水印模板修复所述待修复图像中的水印具体包括：

根据所述水印模板在所述待修复图像中的位置信息，在所述待修复图像的所述目标区域内查找到水印像素点，将所述目标区域内的所述水印像素点的像素置为零；

获取所述水印像素点周围预设半径内的所有非水印像素点的像素值，将所述所有非水印像素点的像素值求和并取平均，得到所述水印像素点的像素填充值；

利用所述像素填充值填充对应的所述水印像素点；

对填充后的所述目标区域内的图像进行平滑处理，得到修复图像。

具体地，本实施例是上述第一、第二、第三和第四实施例的优选实施例。当获取到待修复图像自身的水印模板后，根据水印模板在待修复图像中的位置信息，在待修复图像的目标区域内查找到水印像素点，并将水印像素点的像素置为零。然后获取每个水印像素点周围预设半径内的所有非水印像素点的像素值，其中，预设半径可根据实际图像进行设置，本实施例中设置的半径为10个像素点，将每个水印像素点周围预设半径内的所有非水印像素点的像素值求和并取平均，得到每个水印像素点的像素填充值。例如，查找到水印像素点a和b，获取水印像素点a周围预设半径内的所有非水印像素点的像素值，并将水印像素点a周围的所有非水印像素点的像素值求和取平均，则得到水印像素点a的像素填充值a；获取水印像素点b周围预设半径内的所有非水印像素点的像素值，并将水印像素点周围的所有非水印像素点的像素值求和取平均，则得到水印像素点b的像素填充值b。然后利用像素填充值a填充水印像素点a，利用像素填充值b填充水印像素点b。将目标区域内的所有水印像素点填充完成后，将目标区域内的图像进行平滑处理，避免出现不连续及棱角问题。例如，可通过高斯滤波来对图像进行平滑处理，以提高图像修复效果。

根据本发明提供的第六实施例，

所述利用所述像素填充值填充当前所述水印像素点具体包括：

当所述目标区域为多个，且多个所述目标区域有交集时，若所述水印像素点位于所述目标区域的非交集区域时，利用所述像素填充值填充所述目标区域的非交集区域内的水印像素点；若所述水印像素点位于所述目标区域的交集区域时，计算所述像素填充值的平均值，利用所述平均值填充所述交集区域内的水印像素点。

具体地，本实施例是上述第五实施例的优选实施例。当目标区域为多个，且多个目标区域有交集时，若水印像素点位于目标区域的非交集区域时，直接利用该水印像素点的像素填充值对该水印像素点进行填充；若水印像素点位于目标区域的交集区域时，获取到交集区域内的各个水印像素点的像素填充值时，不要直接填充各个水印像素点，而是将交集区域内各个水印像素点的像素填充值再次取平均后，再利用该平均值填充交集区域内的水印像素点。例如，目标区域有两个，分别为目标区域d和目标区域e，目标区域d与目标区域e相交，其交集区域为f，水印像素点有三个，分别为c1、c2和c3，若c1位于非交集区域，即位于交集区域f外时，直接利用c1的像素填充值对c1进行填充；若c2和c3位于交集区域f内时，获取到c2和c3的像素填充值后，先不对c2和c3进行填充，而是分别对c2和c3的像素填充值再次取平均值，得到c2和c3的最后填充值并进行填充，其再次取平均的方式与实施例五中取平均的方式相同。对相交区域的像素填充值再次取平均，可使目标区域内的图像更连续，以提高图像修复效果。

根据本发明提供的第七实施例，如图6所示，

一种带有水印的图像修复系统，包括：

获取模块100，用于获取带有水印标识的待修复图像；

标定模块200，用于在所述待修复图像上标定出包含所述水印标识的目标区域；

提取模块300，用于在所述目标区域中提取出前景图像，所述前景图像为所述待修复图像的水印模板；

修复模块400，用于根据所述水印模板修复所述待修复图像中的水印。

本实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本发明提供的第八实施例，如图6至图9所示，

一种带有水印的图像修复系统，包括：

获取模块100，用于获取带有水印标识的待修复图像；

标定模块200，用于在所述待修复图像上标定出包含所述水印标识的目标区域；

提取模块300，用于在所述目标区域中提取出前景图像，所述前景图像为所述待修复图像的水印模板；

修复模块400，用于根据所述水印模板修复所述待修复图像中的水印。

优选地，所述标定模块200包括：

第一获取单元210，用于获取样本数据集；

训练单元220，用于通过所述样本数据集训练神经网络模型；

识别单元230，用于根据训练后的所述神经网络模型识别出所述待修复图像中的水印标识，并获取所述水印标识的位置信息；

标定单元240，用于根据识别出的所述水印标识的位置信息在所述待修复图像上标定出包含所述水印标识的第一最小矩形框；所述第一最小矩形框为所述目标区域。

优选地，还包括删除模块，用于在标定出所述目标区域后，将所述目标区域外的像素删除。

优选地，所述提取模块300包括：

第二获取单元310，用于在所述待修复图像中获取包含所述目标区域的第二最小矩形框；

提取单元320，用于在所述第二最小矩形框中提取出前景图像。

进一步地，所述修复模块400包括：

查找单元410，用于根据所述水印模板在所述待修复图像中的位置信息，在所述待修复图像的所述目标区域内查找到水印像素点；

删除单元420，用于将所述目标区域内的所述水印像素点的像素置为零；

第三获取单元430，用于获取所述水印像素点周围预设半径内的所有非水印像素点的像素值；

计算单元440，用于将所述所有非水印像素点的像素值求和并取平均，得到所述水印像素点的像素填充值；

填充单元450，用于利用所述像素填充值填充对应的所述水印像素点；

处理单元460，用于对填充后的所述目标区域内的图像进行平滑处理，得到修复图像。

优选地，所述填充单元450还用于当所述目标区域为多个，且多个所述目标区域有交集时，若所述水印像素点位于所述目标区域的非交集区域时，利用所述像素填充值填充所述目标区域的非交集区域内的水印像素点；若所述水印像素点位于所述目标区域的交集区域时，计算所述像素填充值的平均值，利用所述平均值填充所述交集区域内的水印像素点。

本实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。