图像去污方法、装置、可读存储介质及计算机设备与流程
本发明涉及电子技术领域，特别是涉及一种图像去污方法、装置、可读存储介质及计算机设备。
背景技术：
在档案数字化存档、教育等领域中经常需要对纸质文档的内容进行重复印刷，一般需要通过扫描和复印方式进行。但是若纸质文档表面存不干净或者表面不平整、粗糙时，文档扫描或复印后出现很多的污渍区域（如大块的黑斑、聚集散点等），影响使用。因此，通常需要对图像进行去污处理。
传统的扫描图像去除污渍方法是对二值化后的图像进行距离变换，得到若干个图像块后，再进行连通区域分析得到包围图像块的矩形框，对矩形框内的图像块逐一分析其几何特征（如投影面积比、实际像素占矩形框面积比、轮廓、hog特征等），对特征设定预设值，在预设值范围内的图像块视为污渍，并将该图像块的污渍标注出来，在预设值之外的图像块则视为正常图像。
由于大块污渍的形状、大小和表现形式各种各样，几何特征值无法覆盖绝大部分污渍类型，且稍微模糊的图像中，文字的特征易与污渍几何特征混淆导致文字被误去除。因而目前的污渍去除方案效果并不好，对污渍的去除没有泛化性。
技术实现要素：
鉴于上述状况，有必要针对现有技术中图像污渍处理困难的问题，提供一种图像去污方法、装置、可读存储介质及计算机设备。
一种图像去污方法，包括：
获取原始图像，并将所述原始图像的尺寸调整至阈值尺寸，得到第一处理图像；
利用训练后的生成式对抗网络模型对所述第一处理图像进行去污处理，得到第二处理图像；
将所述第一处理图像和所述第二处理图像进行结构相似性计算，得到所述第一处理图像和所述第二处理图像之间的差异特征图；
比对所述差异特征图和所述第一处理图像，以确定所述第一处理图像中的污渍区域和所述污渍区域所在的位置信息；
将所述污渍区域缩放至与所述原始图像对应的尺寸，并根据缩放后的污渍区域以及所述位置信息确定所述原始图像中的目标污渍区域；
去除所述原始图像中的目标污渍区域的内容。
进一步的，上述图像去污方法，其中，所述比对所述差异特征图和所述第一处理图像，以确定所述第一处理图像中的污渍区域和所述污渍区域所在的位置信息的步骤包括：
对所述差异特征图进行二值化和连通区域分析处理；
比对处理后的所述差异特征图和所述第一处理图像，以确定所述第一处理图像中的差异区域；
对所述差异区域进行外轮廓提取和拟合多边形处理得到所述第一处理图像中的污渍区域，并获取所述污渍区域的位置信息。
进一步的，上述图像去污方法，其中，所述利用训练后的生成式对抗网络模型对所述第一处理图像进行去污处理，得到第二处理图像的步骤之前还包括：
利用生成模型和判别模型构建生成式对抗网络模型，利用训练组图像对所述生成式对抗网络模型进行训练，所述训练组图像包括多组内容相同的干净图像和带污渍图像。
进一步的，上述图像去污方法，其中，所述生成模型和所述判别模型均采用卷积神经网络模型。
进一步的，上述图像去污方法，其中，所述将待原始图像的尺寸调整至阈值尺寸的步骤包括：
将所述原始图像的尺寸调整至分辨率为512*512的大小。
本发明实施例还提供了一种图像去污装置，包括：
第一处理模块，用于获取原始图像，并将所述原始图像的尺寸调整至阈值尺寸，得到第一处理图像；
第二处理模块，用于利用训练后的生成式对抗网络模型对所述第一处理图像进行去污处理，得到第二处理图像；
计算模块，用于将所述第一处理图像和所述第二处理图像进行结构相似性计算，得到所述第一处理图像和所述第二处理图像之间的差异特征图；
比对模块，用于比对所述差异特征图和所述第一处理图像，以确定所述第一处理图像中的污渍区域和所述污渍区域所在的位置信息；
确定模块，用于将所述污渍区域缩放至与所述原始图像对应的尺寸，并根据缩放后的污渍区域以及所述位置信息确定所述原始图像中的目标污渍区域；
去污模块，用于去除所述原始图像中的目标污渍区域的内容。
进一步的，上述图像去污装置，其中，所述比对模块具体用于：
对所述差异特征图进行二值化和连通区域分析处理；
比对处理后的所述差异特征图和所述第一处理图像，以确定所述第一处理图像中的差异区域；
对所述差异区域进行外轮廓提取和拟合多边形处理得到所述第一处理图像中的污渍区域，并获取所述污渍区域的位置信息。
进一步的，上述图像去污装置，还包括：
利用生成模型和判别模型构建生成式对抗网络模型，利用训练组图像对所述生成式对抗网络模型进行训练，所述训练组图像包括多组内容相同的干净图像和带污渍图像。
进一步的，上述图像去污装置，其中，所述第一处理模块用于：
将所述原始图像的尺寸调整至分辨率为512*512的大小。
本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的图像去污方法。
本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的图像去污方法。
本发明中，先将原始图像调整为预设尺寸，得到第一处理图像，并通过生成式对抗网络模型对第一处理图像进行去污处理，得到第二处理图像，再将第一处理图像和第二处理图像进行结构相似性计算，得到两者之间的差异特征图。将该差异特征图缩放至原尺寸后，与原始图像进行比对，从而确定该原始图像中的污渍区域，并去除该原始图像中的污渍区域的内容。
本发明中，采用了目前先进、流行的深度学习网络，生成对抗网络gan，率先应用于扫描图像污渍的去除。相比传统的手动擦除，选择固定区域擦除，或者目前通过分析污渍几何特征识别污渍等方案，本方案兼顾自动与高效，能够适应各种形状污渍的识别，相比现有技术，对于污渍的去除有明显的提升，变得更加智能化。
附图说明
图1为本发明第一实施例中的图像去污方法的流程图；
图2a为第一处理图像；
图2b为第二处理图像；
图3为本发明第二实施例中的图像去污方法的流程图；
图4为识别到污渍区域后的图像；
图5为本发明第三实施例中的图像去污装置的结构框图；
图6为本发明实施例中计算机设备的硬件结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1，为本发明第一实施例中的图像去污方法，包括步骤s11~s16。
步骤s11，获取原始图像，并将所述原始图像的尺寸调整至阈值尺寸，得到第一处理图像。
该原始图像为扫描装置扫描纸质文档（如试卷、作业等）得到的扫描图像或通过摄像设备（如照相机）拍照该纸质文档得到的拍照图像，也可以是从网站直接下载的图像。
本实施例中的图像去污方法中采用对抗式网络模型对图像进行处理，由于至的图像的尺寸影响模型的处理效率，图像的尺寸越大处理速度越慢。因此，在实际去除污渍时，为提高处理性能，首先将输入的原始图像的尺寸调整至阈值尺寸。一般情况下，当该原始图像的尺寸超过该阈值尺寸时，需要进行尺寸调整的操作，该阈值尺寸根据实际情况进行设置，例如可以将尺寸缩小为512×512（像素）大小。
步骤s12，利用训练后的生成式对抗网络模型对所述第一处理图像进行去污处理，得到第二处理图像。
该生成式对抗网络模型（gan模型）一般由生成模型（generativemodel）与判别模型（discriminativemodel）组成，生成模型和判别模型可以才有用不同的网络模型也可选择相同的网络模型，如本实施例中该生成模型和判别模型均选用卷积神经网络模型。
用该生成式对抗网络模型对该原始图像进行处理前需对该生成式对抗网络模型进行训练。具体实施时，利用训练组图像对该生成式对抗网络模型进行训练，该训练组图像包括多组内容相同的干净图像和带污渍图像。其带污渍图像为该生成式对抗网络模型的训练样本，该干净图像作为该生成式对抗网络模型的标签数据。
该生成模型的输入为带污渍图像，输出为模型处理后的干净图像。该判别模型的输入分为两部分，第一输入的数据与生成模型的输入相同，第二输入的数据为生成模型生成的干净图像和该训练组图像中的干净图像，该第二输入至的两部分数据的选择概率各百分之五十，输出为0到1之间的概率值，表示判别模型判断输入来自训练组图像中的干净图像的概率。
判别模型根据所述概率值计算模型损失，并反向传播至生成模型进行网络参数更新。利用生成式对抗网络更好地提升预测模型的训练精度。
生成模型的训练目标是尽可能地生成判别模型无法区分的生成数据，判别模型的训练目标是尽可能的区分输入是来自生成模型生成的数据还是来自训练组图像中的干净图像，生成模型与判别模型进行对抗式的训练，直到达到纳什均衡，即生成模型生成的数据与标签数据无明显差别，判别模型也无法正确的区分生成数据和标签数据。
该gan模型训练好后，以其生成模型作为图像的处理模型，即将该第一处理图像输入至训练好的生成模型中进行去污处理，并输出第二处理图像，该第二处理图像即为该第一处理图像进行去污后的图像。
步骤s13，将所述第一处理图像和所述第二处理图像进行结构相似性计算，得到所述第一处理图像和所述第二处理图像之间的差异特征图。
比较输入gan模型前后的图像，查找不同的区域，这些区域的位置坐标和大小通过按原图像比例还原后，即为原始图像的去污区域。
gan输入前后的图像对比算法采用ssim（structuralsimilarity）结构相似性特征计算两幅图像的不同之处。例如，给定两个图像，该两张图像的结构相似性可按照以下方式求出：
其中，
结构相似性的范围为0到1，当两张图像一模一样时，ssim的值等于1。除了特征值外，ssim算法能计算出差异特征图，结果如图2a和2b所示。
步骤s14，比对所述差异特征图和所述第一处理图像，以确定所述第一处理图像中的污渍区域和所述污渍区域所在的位置信息。
步骤s15，将所述污渍区域缩放至与所述原始图像对应的尺寸，并根据缩放后的污渍区域以及所述位置信息确定所述原始图像中的目标污渍区域。
步骤s16，去除所述原始图像中的目标污渍区域的内容。
对比差异的到的差异特征图与第一处理图像进行比对，即可确定该第一处理图像中的污渍区域以及该污渍区域的位置信息。将该第一处理图像中的污渍区域的尺寸按照原图比例缩放，得到与原图尺寸对应的图像，再根据该缩放的差异区域的图像和该位置信息即可确定该原始图像中的目标污渍区域。将该原始图像中的目标污渍区域的内容去掉后即可得到干净的图像。
本实施例中，采用了目前先进、流行的深度学习网络，生成对抗网络gan，率先应用于扫描图像污渍的去除。相比传统的手动擦除，选择固定区域擦除，或者目前通过分析污渍几何特征识别污渍等方案，本方案兼顾自动与高效，能够适应各种形状污渍的识别，相比现有技术，对于污渍的去除有明显的提升，变得更加智能化。
请参阅图3，为本发明第二实施例中的图像去污方法，包括步骤s21~s29。
步骤s21，获取原始图像，并判断所述原始图像的尺寸是否大于阈值尺寸。
步骤s22，当所述原始图像的尺寸大于阈值尺寸时，将所述原始图像调整至所述阈值尺寸。
为提高处理性能，首先将输入的原始图像的尺寸调整至阈值尺寸。具体实施时，当该原始图像的尺寸大于阈值时，则将该原始图像等比例缩小至阈值尺寸。可以理解的，在本发明实施例中，该阈值尺寸例如包括为长度阈值尺寸和宽度阈值尺寸，即判断到该原始图像的长度超过要长度阈值尺寸时或其宽度超过该宽度阈值尺寸时，将该原始图像进行等比例缩小，以使该图像的长宽均不超过对应的阈值尺寸。
步骤s23，利用训练后的生成式对抗网络模型对所述第一处理图像进行去污处理，得到第二处理图像。
该gan模型由生成模型与判别模型组成，生成模型和判别模型的互相博弈学习产生准确的输出值。将该第一处理图像输入至训练好的gan模型中进行去污处理，并输出第二处理图像，该第二处理图像即为该第一处理图像进行去污后的图像。
步骤s24，将所述第一处理图像和所述第二处理图像进行结构相似性计算，得到所述第一处理图像和所述第二处理图像之间的差异特征图。
gan输入前后的图像对比算法采用ssim（structuralsimilarity）结构相似性特征计算两幅图像的不同之处，以得到该第一处理图像和第二处理图像之间的差异特征图。
步骤s25，对所述差异特征图进行二值化和连通区域分析处理。
步骤s26，比对处理后的所述差异特征图和所述第一处理图像，以确定所述第一处理图像中的差异区域。
步骤s27，对所述差异区域进行外轮廓提取和拟合多边形处理得到所述第一处理图像中的污渍区域，并获取所述污渍区域的位置信息。
可以理解的，该污渍区域的位置信息可以为该污渍区域中标识的多个特定点的位置坐标。例如，以该第一处理图像的横边和纵边建立直角坐标系，该污渍区域的位置信息即为各个特定点在该直角坐标系中的坐标。
步骤s28，将所述污渍区域缩放至与所述原始图像对应的尺寸，并根据缩放后的污渍区域以及对应的位置信息确定所述原始图像中的目标污渍区域。
由于该第一处理图像为经过缩小处理后的图，因此需要该污渍区域的尺寸缩放还原，同时该目标区域的位置坐标也按照缩放比例对应调整。根据该缩放的污渍区域和对应的位置坐标即可确定出该原始图像中的目标污渍区域。
步骤s29，去除所述原始图像中的目标污渍区域的内容。
本实施例中，通过对差异特征图进行二值化和连通区域分析，获取的差异区域即为初确定的污渍区域，若直接用矩形包围框标识，对于较大的且形状不规则的污渍，易将污渍旁边的正常内容包括进来，因而需进一步对这些差异区域提取外轮廓并拟合多边形，得到最终的污渍区域，即最佳识别区域，如图4中所示。
确定了该第一处理图像中的污渍区域后，将该污渍区域缩放至与原始图像对应的尺寸，并根据该污渍区域的位置信息即可确定原始图像中的目标污渍区域，然后将该原始图像中确定的污渍区域的内容去掉后即可得到该原始图像对应的干净图像。
请参阅图5，为本发明第三实施例中的图像去污装置，包括：
第一处理模块41，用于获取原始图像，并将所述原始图像的尺寸调整至阈值尺寸，得到第一处理图像；
第二处理模块42，用于利用训练后的生成式对抗网络模型对所述第一处理图像进行去污处理，得到第二处理图像；
计算模块43，用于将所述第一处理图像和所述第二处理图像进行结构相似性计算，得到所述第一处理图像和所述第二处理图像之间的差异特征图；
比对模块44，用于比对所述差异特征图和所述第一处理图像，以确定所述第一处理图像中的污渍区域和所述污渍区域所在的位置信息；
确定模块45，用于将所述污渍区域缩放至与所述原始图像对应的尺寸，并根据缩放后的污渍区域以及所述位置信息确定所述原始图像中的目标污渍区域；
去污模块46，用于去除所述原始图像中的目标污渍区域的内容。
进一步的，上述图像去污装置，其中，所述比对模块44具体用于：
对所述差异特征图进行二值化和连通区域分析处理；
比对处理后的所述差异特征图和所述第一处理图像，以确定所述第一处理图像中的差异区域；
对所述差异区域进行外轮廓提取和拟合多边形处理得到所述第一处理图像中的污渍区域，并获取所述污渍区域的位置信息。
进一步的，上述图像去污装置，还包括：
利用生成模型和判别模型构建生成式对抗网络模型，利用训练组图像对所述生成式对抗网络模型进行训练，所述训练组图像包括多组内容相同的干净图像和带污渍图像。
进一步的，上述图像去污装置，
所述第一处理模块用于：
将所述原始图像的尺寸调整至分辨率为512*512的大小。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图1描述的本申请实施例中图像去污方法可以由计算机设备来实现，该计算机设备可以是服务器。图6为根据本申请实施例的计算机设备的硬件结构示意图。
该计算机设备可以包括处理器71以及存储有计算机程序指令的存储器72。
具体地，上述处理器71可以包括中央处理器（cpu），或者特定集成电路（applicationspecificintegratedcircuit，简称为asic），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器73可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器73可包括硬盘驱动器（harddiskdrive，简称为hdd）、软盘驱动器、固态驱动器（solidstatedrive，简称为ssd）、闪存、光盘、磁光盘、磁带或通用串行总线（universalserialbus，简称为usb）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器73可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器73可在数据处理装置的内部或外部。在特定实施例中，存储器73是非易失性（non-volatile）存储器。在特定实施例中，存储器73包括只读存储器（read-onlymemory，简称为rom）和随机存取存储器（randomaccessmemory，简称为ram）。在合适的情况下，该rom可以是掩模编程的rom、可编程rom（programmableread-onlymemory，简称为prom）、可擦除prom（erasableprogrammableread-onlymemory，简称为eprom）、电可擦除prom（electricallyerasableprogrammableread-onlymemory，简称为eeprom）、电可改写rom（electricallyalterableread-onlymemory，简称为earom）或闪存（flash）或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器（staticrandom-accessmemory，简称为sram）或动态随机存取存储器（dynamicrandomaccessmemory，简称为dram），其中，dram可以是快速页模式动态随机存取存储器（fastpagemodedynamicrandomaccessmemory，简称为fpmdram）、扩展数据输出动态随机存取存储器（extendeddateoutdynamicrandomaccessmemory，简称为edodram）、同步动态随机存取内存（synchronousdynamicrandom-accessmemory，简称sdram）等。
存储器72可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器71所执行的可能的计算机程序指令。
处理器71通过读取并执行存储器72中存储的计算机程序指令，以实现上述实施例中的任意一种图像去污方法。
在其中一些实施例中，计算机设备还可包括通讯接口73和总线70。其中，如图6所示，处理器71、存储器72、通讯接口73通过总线70连接并完成相互间的通信。
通讯接口73用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通讯接口73还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线70包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线70包括但不限于以下至少之一：数据总线（databus）、地址总线（addressbus）、控制总线（controlbus）、扩展总线（expansionbus）、局部总线（localbus）。举例来说而非限制，总线70可包括图形加速接口（acceleratedgraphicsport，简称为agp）或其他图形总线、增强工业标准架构（extendedindustrystandardarchitecture，简称为eisa）总线、前端总线（frontsidebus，简称为fsb）、超传输（hypertransport，简称为ht）互连、工业标准架构（industrystandardarchitecture，简称为isa）总线、无线带宽（infiniband）互连、低引脚数（lowpincount，简称为lpc）总线、存储器总线、微信道架构（microchannelarchitecture，简称为mca）总线、外围组件互连（peripheralcomponentinterconnect，简称为pci）总线、pci-express（pci-x）总线、串行高级技术附件（serialadvancedtechnologyattachment，简称为sata）总线、视频电子标准协会局部（videoelectronicsstandardsassociationlocalbus，简称为vlb）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线70可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的图像去污方法，本申请实施例可提供一种可读存储介质来实现。该可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像去污方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
- 还没有人留言评论。精彩留言会获得点赞！