图像消除修复方法及其装置、设备、介质、产品与流程

1.本技术涉及图像修复技术领域，尤其涉及一种图像消除修复方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。


背景技术：

2.随着科技发展的日新月异，电商业务需求与日俱增，在电商平台上销售商品的用户越来越多。总所周知，在电商平台上发布广告消息必须符合相关规定。而由于风控制度的影响，电商平台要求用户所发布的广告信息中不能在无商标授权的情况下展示带有商标信息的图片；此外具有违反风控制度的其他待处理信息亦如此。所述待处理信息可为敏感性信息，敏感性信息可以是例如商标图式、预设的特定图式等，商标可以是注册商标或者非注册商标。因此，所述带有待处理信息的图片需要对其开展目标轮廓区域的消除及修复工作。
3.对于电商平台这样的应用场景而言，当前目标轮廓区域的消除及修复技术主要是用户自行对目标区域图像进行涂抹、打马赛克的方式实现，以规避相关风控制度。具体实施上，首先选定带有待处理信息的目标轮廓，通过图像技术，手动对目标轮廓进行涂抹、打马赛克或换成其他无待处理信息的图像区域等。所述方法的实现流程全程需要人工处理，且要求处理人员具备一定的图像处理技术，每次处理流程只能针对一张图片,极度低效，对电商平台用户而言成本巨大。此外，人工处理方法虽能实现待处理信息的去除，但其修复的效果差强人意，其使得图像内容不协调的特点容易让客户产生不良的消费印象，从而影响销售量。
4.如今，电商平台上的商品快速迭代，其对应的广告信息亦如此，因此要求电商用户需满足在短时间内迅速更新广告信息，方能在电商市场中争夺销售份额。
5.因此，面对上面所述的效率低下和效果不佳这两个主要问题，如何高效地从包含了待处理信息的待修复图片中消除轮廓区域并实现修复，使消除和修复效果更佳，成为本领域需要解决的技术问题。


技术实现要素：

6.本技术的首要目的在于解决上述问题至少之一而提供一种图像消除修复方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品。
7.为满足本技术的各个目的，本技术采用如下技术方案：
8.适应本技术的目的之一而提供的一种图像消除修复方法，包括如下操作：
9.获取待修复图片和指示待修复图片中目标区域图像的目标图像标签；
10.采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像；
11.采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据；
12.采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像。
13.深化的实施例中，获取待修复图片和指示待修复图片中目标区域图像的目标图像标签，包括如下步骤：
14.响应用户触发的广告发布请求，获取其相对应提交的广告发布信息中的待修复图片；
15.响应用户触发的图像修复请求，获取指示所述待修复图片中目标区域图像的目标图像标签；
16.深化的实施例中，采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像，包括如下步骤：
17.采用所述目标检测模型中的主干网络块针对所述待修复图片提取多个不同尺度的特征图；
18.采用所述目标检测模型中的颈部块针对所述不同尺度特征图进行强语义信息和强定位信息融合，获得多个不同尺度的预测特征图；
19.采用所述目标检测模型中的预测块针对所述不同尺度预测特征图预测相应的边界框及其标签数据；
20.根据预测出的标签数据确定出与所述目标图像标签相匹配的所述边界框，从待修复图片中截取该边界框所指示的目标区域图像。
21.具体化的实施例中，所述目标检测模型的训练包括以下步骤：
22.确定带有待处理信息及其边界框标注数据与标签数据的相关图片作为所述目标检测模型的训练集中的训练样本；
23.针对所述训练集中的训练样本中的图片进行图像数据增强处理；
24.根据部分训练样本确定每次训练的最佳锚框参数，在此基础上采用目标检测模型确定每次训练时训练样本的图片的边界框及其标签；
25.根据每个训练样本的边界框及其标签与该训练样本的边界框标注数据与标签数据计算损失值，根据该损失值对目标检测模型进行梯度更新；
26.重复上述两个更新步骤，直至所述目标检测模型训练至收敛。
27.深化的实施例中，采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据，包括如下步骤：
28.针对所述目标区域图像进行多级编码，并相应产出相对应尺度的中间特征信息，所述中间特征信息为所述目标区域图像中待处理信息的特征表示；
29.在解码路径上相应进行多级解码，以最小尺度的中间特征信息产出第一图像特征信息，之外逐级以上一级图像特征信息及其同级编码产出的中间特征信息为参考，对应解码出更高尺度的图像特征信息，所述图像特征信息用于以掩膜形式表示所述目标区域图像中待处理信息的轮廓特征；
30.融合所有所述图像特征信息，生成所述目标区域图像中目标轮廓区域的掩膜数据，扩展该掩膜数据使其成为所述待修复图片的掩膜数据。
31.具体化的实施例中，所述图像分割模型的训练包括如下步骤：
32.确定带有待处理信息的相关图片并获取其目标轮廓区域的掩膜数据作为所述图像分割模型的训练集样本数据；
33.调用所述训练集中的数据样本对所述图像分割模型实施迭代训练，计算其模型损失并进行反向梯度传播；
34.重复上述更新操作，直至所述模型训练至收敛。
35.深化的实施例中，采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像，包括如下步骤：
36.将所述待修复图片及其掩膜数据馈入基于部分卷积的u-net架构构建的所述图像修复模型中进行局部特征提取，获得中间特征图；
37.针对中间特征图进行多级解码，获得中间修复图像，根据待修复图片的掩膜数据融合待修复图片及所述中间修复图像而生成修复图像。
38.具体化的实施例中，所述图像修复模型的训练包括如下步骤：
39.确定无需修复的相关图片以及对其进行随机擦除后获得的掩膜数据构成所述图像修复模型的训练集的数据样本；
40.构建生成对抗网络以备训练，其中，以所述图像修复模型为生成器，以已训练至收敛的判别模型作为判别器，初始化生成器参数；
41.冻结所述判别器，调用训练集的数据样本计算所述生成对抗网络中预设的损失函数，进行反向更新所述生成器参数；
42.重复上述更新步骤，直至所述生成对抗网络至收敛，则所述生成器即为已训练至收敛的图像修复模型。
43.适应本技术的目的之一而提供的一种图像消除修复装置，包括：数据获取模块，用于获取待修复图片和指示待修复图片中目标区域图像的目标图像标签；目标检测模块，用于采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像；图像分割模块，用于采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据；图像修复模块，用于采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像。
44.深化的实施例中，所述数据获取模块，包括：第一响应子模块，用于响应用户触发的广告发布请求，获取其相对应提交的广告发布信息中的待修复图片；第二响应子模块，用于响应用户触发的图像修复请求，获取指示所述待修复图片中目标区域图像的目标图像标签。
45.深化的实施例中，所述目标检测模块，包括：主干网络子模块，用于针对所述待修复图片提取不同尺度的特征图；颈部子模块，用于针对所述不同尺度特征图进行强语义信息和强定位信息融合，获得多个不同尺度的预测特征图；预测子模块，用于针对所述不同尺度预测特征图预测相应的边界框及其标签数据；截取子模块，用于根据预测出的标签数据确定出与所述目标图像标签相匹配的所述边界框，从待修复图片中截取该边界框所指示的目标区域图像。
46.具体化的实施例中，所述第一训练子模块，包括：第一训练集子单元，用于确定带有待处理信息及其边界框标注数据与标签数据的相关图片作为所述目标检测模型的训练集中的训练样本；增强子单元，用于针对所述训练集中的训练样本中的图片进行图像数据增强处理；第一更新子单元，用于根据部分训练样本确定每次训练的最佳锚框参数，在此基础上采用目标检测模型确定每次训练时训练样本的图片的边界框及其标签；第二更新子单元，用于根据每个训练样本的边界框及其标签与该训练样本的边界框标注数据与标签数据计算损失值，根据该损失值对目标检测模型进行梯度更新；第一重复子单元，用于重复上述第一更新子单元和第二更新子单元，直至所述目标检测模型训练至收敛。
47.深化的实施例中，所述图像分割模块，包括：编码子模块，用于针对所述目标区域图像进行多级编码，并相应产出相对应尺度的中间特征信息，所述中间特征信息为所述目标区域图像中待处理信息的特征表示；解码子模块，用于在解码路径上相应进行多级解码，以最小尺度的中间特征信息产出第一图像特征信息，之外逐级以上一级图像特征信息及其同级编码产出的中间特征信息为参考，对应解码出更高尺度的图像特征信息，所述图像特征信息用于以掩膜形式表示所述目标区域图像中待处理信息的轮廓特征；第一融合子模块，用于融合所有所述图像特征信息，生成所述目标区域图像中目标轮廓区域的掩膜数据，扩展该掩膜数据使其成为所述待修复图片的掩膜数据。
48.具体化的实施例中，所述第二训练子模块，包括：第二训练集子单元，用于确定带有待处理信息的相关图片并获取其目标轮廓区域的掩膜数据作为所述图像分割模型的训练集样本数据；第三更新子单元，用于调用所述训练集中的数据样本对所述图像分割模型实施迭代训练，计算其模型损失并进行反向梯度传播；第二重复子单元，用于重复上述第三更新子单元，直至所述模型训练至收敛。
49.深化的实施例中，所述图像修复模块，包括：特征提取子模块，用于将所述待修复图片及其掩膜数据馈入基于部分卷积的u-net架构构建的所述图像修复模型中进行局部特征提取，获得中间特征图；修复子模块，用于针对中间特征图进行多级解码，获得中间修复图像，根据待修复图片的掩膜数据融合待修复图片及所述中间修复图像而生成修复图像。
50.具体化的实施例中，所述第三训练子模块，包括：第三训练集子单元，用于确定无需修复的相关图片以及对其进行随机擦除后获得的掩膜数据构成所述图像修复模型的训练集的数据样本；初始化子单元，用于构建生成对抗网络以备训练，其中，以所述图像修复模型为生成器，以已训练至收敛的判别模型作为判别器，初始化生成器参数；第四更新子单元，用于冻结所述判别器，调用训练集的数据样本计算所述生成对抗网络中预设的损失函数，进行反向更新所述生成器参数；第三重复子单元，用于重复上述第四更新子单元，直至所述生成对抗网络至收敛，则所述生成器即为已训练至收敛的图像修复模型。
51.适应本技术的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本技术所述的图像消除修复方法的步骤。
52.适应本技术的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述图像消除修复方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。
53.适应本技术的另一目的而提供的一种计算机程序产品，包括计算机程序/指令，该
计算机程序/指令被处理器执行时实现本技术任意一种实施例中所述方法的步骤。
54.相对于现有技术，本技术的优势如下：
55.本技术获取待修复图片及指示待修复图片中目标区域图像的目标图像标签；采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像；其后采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据；采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像，实现端到端且高效的目标轮廓区域消除和修复工作。
56.本技术主要解决本应用领域中所遇到两个主要问题，即效率低下和修复效果不佳。因此本技术通过采用多种已训练至收敛的网络模型，先实现从待修复图片中定位目标区域图像，进一步从目标区域图像名分割出目标轮廓区域，然后有针对性地对目标轮廓区域进行图像消除和图像修复，这一过程完全自动化，由粗到细实现精细化图像处理，可大幅降低电商用户的时间和人力成本，同时实现电商用户对广告信息的快速迭代，获得更多的销售份额；通过目标检测模型根据输入目标标签直接定位目标区域图像，再根据图像分割模型获得目标轮廓区域的掩膜数据，最后采用图像修复模型进行目标轮廓区域的修复，整个工作流程使得用户操作简单，即只需要输入待修复图片和目标图像标签，便可得到一张完整的修复图像；且所述修复工作只修复目标轮廓区域，可大大减少修复难度，同时可有效提升其修复效果，使得所述修复后的目标轮廓区域与其他区域更好的融合，从而增大商品的客户吸引力、竞争力。
57.综上所述，本技术对待修复图片进行目标轮廓区域的消除和修复工作具有更高效率和更佳的修复效果，可被高度信赖，适于电商平台之类的应用场景中对包含了待处理信息的待修复图片进行目标轮廓区域的消除及修复。
附图说明
58.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
59.图1为本技术的图像消除修复方法所采用的技术原理框图；
60.图2为本技术的图像消除修复方法所采用的神经网络模型的网络架构图；
61.图3为本技术的图像消除修复方法的典型实施例的流程示意图；
62.图4为本技术基于u2net的图像分割模型的结构原理框图；
63.图5为本技术实施例中获取待修复图片以及目标图像标签的流程示意图；
64.图6为本技术实施例中针对待修复图片进行目标检测并截取目标图像标签指示的目标区域图像的流程示意图；
65.图7为本技术实施例中所述目标检测模型实施训练的流程示意图。
66.图8为本技术实施例中获取目标轮廓区域的掩膜数据并扩展至待修复图片掩膜数据的流程示意图；
67.图9为本技术实施例中所述图像分割模型实施训练的流程示意图。
68.图10为为本技术实施例中进行图像修复并生成修复图像的流程示意图；
69.图11为本技术实施例中所述图像修复模型实施训练的流程示意图。
70.图12为本技术实施例中生成对抗模型的网络架构图；
71.图13为本技术的图像消除修复装置的原理框图；
72.图14为本技术所采用的一种计算机设备的结构示意图。
具体实施方式
73.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本技术的限制。
74.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
75.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
76.本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；pcs(personal communications service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；pda(personal digital assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或gps(global positioning system，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是pda、mid(mobile internet device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
77.本技术所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其
存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。
78.需要指出的是，本技术所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本技术的网络部署方式的实施方式。
79.本技术的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。
80.本技术中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
81.本技术所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本技术的技术方案所调用即可。
82.本领域技术人员对此应当知晓：本技术的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本技术所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。
83.本技术即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本技术的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。
84.本技术的一种图像消除修复方法，可被编程为计算机程序产品，部署于客户端或服务器中运行而实现，藉此可以通过访问该计算机程序产品运行后开放的接口，通过图形用户界面与该计算机程序产品的进程进行人机交互而执行该方法。
85.请参阅图1，为本技术实施例的图像消除修复方法的技术原理框图。根据该图可以知晓，本技术的原理在于根据目标图像标签对待修复图片进行目标检测以确定目标区域图像，然后消除所述目标区域图像中的目标轮廓区域，在此基础上进行图像修复，修复后融合待修复图片获得更佳效果的输出修复图。
86.请参阅图2，为本技术实施例的图像消除修复方法的网络架构图。该网络架构中，经已训练至收敛的目标检测模型从待修复图片中获得目标图像标签指示的目标区域图像；再经已训练至收敛的图像分割模型获得目标区域图像中目标轮廓区域的掩膜数据；其后针对所述待修复图片和掩膜数据进行图像修复获得中间修复图像；最后融合所述中间修复图像、所述待修复图片和掩膜数据获得最终修复图像作为输出。
87.请参阅图3，并结合图1和图2所揭示的原理和架构，进一步理解本技术的图像消除修复方法的典型实施例，具体而言，本实施例中，所述图像消除修复方法包括如下步骤：
88.步骤s1100、获取待修复图片和指示待修复图片中目标区域图像的目标图像标签；
89.本技术用于辅助说明的一个示例性应用场景中，所述待修复图片可以是电商平台中的商品图片、广告图片等；所述图片中一般只包含适宜公开的信息，故若包含不宜公开的信息时，一般具有一定的敏感性，例如侵犯他人商标权之类的信息等，这种情况下，则需予以消除和修复，此类需要消除和修复的信息，即为本技术中的待处理信息。更具体的，所述待处理信息指的是违背平台相关规定的信息，如未经授权的商标图式或其他预知类型的特定图式等。本技术的实施，在于去除待修复图片中的待处理信息的同时实现图像修复，使其修复后的图像不再存在所述待处理信息，又能与原图主体内容协调浑然一体。
90.在所述电商平台的应用场景中，如需获取待修复图片，一种实施方式是接收电商平台用户的输入，特别是商家实例用户配置广告信息时的输入，将广告信息中包含如商标等待处理信息的商品图片、广告图片等作为所述的待修复图片，进行图像修复。
91.所述目标区域图像，指的是所述待修复图片中包含商标之类的待处理信息的目标区域所对应的图像；所述目标图像标签是指所述目标区域图像中包含的待处理信息所属的标签，可由本领域技术人员灵活设定，例如商标名称、商标id等。该目标图像标签的表述形式可由本领域技术人员灵活设定，只要方便本技术调用即可。在后续的操作流程中，本技术的图像消除修复方法可根据所述目标图像标签匹配出所对应的目标区域图像，以便进行图像消除和图像修复。
92.步骤s1200、采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像；
93.所述目标检测模型适应本技术的任务所需被预先训练至收敛状态而获得相应的目标检测能力，据此，目标检测模型以待修复图片为输入，对待修复图片确定出一个或多个边界框及其相应的标签，然后以所述目标图像标签与各边界框的相应标签进行匹配而确定出标签相匹配的边界框，该边界框即指示所述目标图像标签所指示的目标区域图像在待修复图片中的位置，从而以所述的边界框为输出。
94.所述目标检测模型为优选神经网络模型实现，例如在本技术实施例中，所述目标检测模型为已训练至收敛的yolov5。可替换的，所述神经网络模型可选用多种现有技术中比较优秀的目标检测模型，包括但不限于：yolo系列模型、r-cnn系列模型，ssd模型、detr等，诸如此类，均为成熟的目标检测模型。
95.本实施例中，所述yolov5模型包括三个组成构件，分别为backbone组件、neck组件和prediction组件。所述backbone组件为主要用于提取输入图片的深度特征，其输出为三个不同粒度的特征层；所述neck组件针对上述三个特征层进行上采样、融合、提取特征等混合操作获得三种不同粒度的预测特征图；所述prediction组件根据所述三种预测特征图进行预测，生成边界框及其标签。
96.根据所述目标检测模型输出的边界框及其标签，便可确定其中与所述目标图像标签相匹配的边界框，进而，根据所确定的边界框，可从待修复图片中截取该边界框所指示的目标区域图像。
97.步骤s1300、采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据；
98.所述图像分割模型同理被预先训练至收敛状态，使其具备根据所输入的图像进行
图像分割以获得图像中的轮廓特征相对应的掩膜数据的能力，据此，该图像分割模型以所述目标区域图像为输入，以所述目标区域图像的掩膜数据为输出。
99.在本技术实施例中，所述图像分割模型为已训练至收敛的u2net。当然，本技术的图像分割模型，适于采用基于u2net的各种变体，而不局限于u2net这一版本，并且可以推广兼容其他具有同等图形分割能力的模型。
100.所述图像分割模型构造有一条编码路径和解码路径，编码路径上设置多级解码器，解码路径上相应设置多级解码器，至于编码器和解码器的级数，可由本领域技术人员根据实验和经验等先验知识灵活确定。例如图4的示例中给出六个级别的编码器和五个级别的解码器(其中en_6实际也可视为一个解码器，故也可理解为六个解码器)，主要在于其直接将各级解码器和最后一级编码器en_6所得的中间特征信息经1*1卷积核变换、sigmoid激活函数和上采样后形成与目标区域图像规格一致的图像特征信息，即获得六个图像特征信息，然后以级联融合的方式融合所有图像特征信息，经1*1卷积核变换和sigmoid激活函数后生成最终目标轮廓区域的掩膜数据。由其各个所述的图像特征信息分别在不同尺度捕获了所述目标区域图像的内容物(例如商标)的轮廓特征，故而，此处获得的掩膜数据本质上也是所述内容物(例如商标)的轮廓的掩膜形式。
101.由于所述掩膜数据仅为所述目标区域图像相同尺度的数据，为方便掩膜数据在尺寸上与所述待修复图片进行对应，可根据所述目标区域图像中目标轮廓区域的掩膜数据进行尺寸上的扩展，将其扩展至成为与待修复图片的尺度一致的掩膜数据，扩展过程中保持所述目标轮廓区域的掩膜数据不变，而因扩展而获得延伸部分的各个像素以掩膜屏蔽化处理，最终，所获得的扩展后的掩膜数据被扩大至与待修复图片相同尺度，且可用于为该待修复图片遮挡带有所述待处理信息的目标轮廓区域。
102.步骤s1400、采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像。
103.所述图像修复模型同理被预先训练至收敛状态，使其习得根据前述扩展后的与待修复图片同尺度的掩膜数据对待修复图片进行图像修复的能力，据此，该图像修复模型以待修复图片及其掩膜数据作为输入，根据掩膜数据去除所述目标轮廓区域的图像，然后对该目标轮廓区域进行图像修复，最终以完成修复后的修复图像作为输出。
104.在本技术实施例中，所述图像修复模型为已训练至收敛的基于部分卷积的u-net模型。本实施例中，推荐采用david dubray和jochen laubrock于2019年提出的u-net架构作为主干特征提取网络，将其中的卷积操作替换为部分卷积。所述部分卷积的公式如下：
[0105][0106][0107]
其中，w表示卷积核的权重，b表示卷积核的偏置，x表示输入的特征图数据，m表示输入的掩膜数据mask，
⊙
表示element-wise点乘运算，x'表示卷积后的特征图输出，m'表示卷积后的掩膜数据输出。
[0108]
所述部分卷积是一种应用于图像修复的特殊卷积操作，其输入为上层特征图及其
掩膜数据，输出为具有更深表示的图像特征图及其掩膜数据。在本技术实施例中，采用部分卷积层根据输入特征图及其掩膜数据针对掩膜数据中显示的特征图区域进行深层次的特征提取，从而得到非目标区域图像的深层表示，获得相应的中间图像特征图及其掩膜数据以供后续步骤操作。所述部分卷积层在具体实施例中可为多层，本实施例中采用两层，即对所述待修复图片及其掩膜数据进行连续两次部分卷积。
[0109]
本技术获取待修复图片及指示待修复图片中目标区域图像的目标图像标签；采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像；其后采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据；采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像，实现端到端且高效的目标轮廓区域消除和修复工作。
[0110]
本技术主要解决本应用领域中所遇到两个主要问题，即效率低下和修复效果不佳。因此本技术通过采用多种已训练至收敛的网络模型，先实现从待修复图片中定位目标区域图像，进一步从目标区域图像名分割出目标轮廓区域，然后有针对性地对目标轮廓区域进行图像消除和图像修复，这一过程完全自动化，由粗到细实现精细化图像处理，可大幅降低电商用户的时间和人力成本，同时实现电商用户对广告信息的快速迭代，获得更多的销售份额；通过目标检测模型根据输入目标标签直接定位目标区域图像，再根据图像分割模型获得目标轮廓区域的掩膜数据，最后采用图像修复模型进行目标轮廓区域的修复，整个工作流程使得用户操作简单，即只需要输入待修复图片和目标图像标签，便可得到一张完整的修复图像；且所述修复工作只修复目标轮廓区域，可大大减少修复难度，同时可有效提升其修复效果，使得所述修复后的目标轮廓区域与其他区域更好的融合，从而增大商品的客户吸引力、竞争力。
[0111]
综上所述，本技术对待修复图片进行目标轮廓区域的消除和修复工作具有更高效率和更佳的修复效果，可被高度信赖，适于电商平台之类的应用场景中对包含了待处理信息的待修复图片进行目标轮廓区域的消除及修复。
[0112]
请参阅图5，深化的实施例中，所述步骤s1100、获取待修复图片和指示待修复图片中目标区域图像的目标图像标签，包括如下步骤：
[0113]
步骤s1110、响应用户触发的广告发布请求，获取其相对应提交的广告发布信息中的待修复图片；
[0114]
本技术实例响应用户触发的广告发布请求，接受其相对应提交的广告发布信息，所述广告发布信息包含商品图片、广告图片等。当所述图片中包含商标等待处理信息时，会因为一些风控举措而带来无法在相关电商平台发布的问题，因此有必要去除所述图片中的商标等待处理信息。将所述包含商标等待处理信息的图片作为待修复图片，进行后续的目标轮廓区域消除和修复操作。所述目标轮廓区域为所述待处理信息所在的像素位置区域。
[0115]
步骤s1120、响应用户触发的图像修复请求，获取指示所述待修复图片中目标区域图像的目标图像标签；
[0116]
所述目标区域图像，指的是所述待修复图片中包含待处理信息的目标区域所对应的图像，其包含直接指代待处理信息的目标轮廓区域；所述待处理信息可为敏感性信息，敏
感性信息可以是例如商标图式、预设的特定图式等，商标可以是注册商标或者非注册商标。所述目标图像标签是指所述目标区域图像中包含的待处理信息的所属标签，如商标名称、商标id等。在后续的操作流程中，所述图像消除修复方法可根据所述目标图像标签框定所对应的目标区域图像，从而进行后续的目标轮廓区域掩膜数据提取及其消除和修复工作。
[0117]
本实施例中，将本技术的技术方案进一步与具体的广告发布场景进行深度结合，提升广告发布场景的信息安全维护能力，使广告图片(或商品图片)中所包含的待处理信息可以被迅速消除，同时通过图像修复确保相关的图片的图像的完整性，从而确保广告发布业务的正常自动化开展，提升电商服务效率。
[0118]
请参阅图6，深化的实施例中，所述步骤s1200、采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像，包括如下步骤：
[0119]
步骤s1210、采用所述目标检测模型中的主干网络块针对所述待修复图片提取多个不同尺度的特征图；
[0120]
所述主干网络块即为所述yolov5模型的backbone组件，包括以下子组件，按次序分别为focus层、第一cbl层、第一csp层、第二cbl层、第二csp层、第三cbl层、第三csp层、第四卷积层、spp层、第四csp层和第五cbl层，针对待修复图片进行不同尺度的特征提取。
[0121]
所述focus层将输入图片进行切片操作，获得尺寸为输入图片尺寸的一半、通道数为输入图片通道数四倍的特征图。
[0122]
所述第二csp层的输出特征图、第三csp层的输出特征图和第五cbl层的输出特征图传递到下一组件进行进一步操作。
[0123]
步骤s1220、采用所述目标检测模型中的颈部块针对所述不同尺度特征图进行强语义信息和强定位信息融合，获得多个不同尺度的预测特征图；
[0124]
所述颈部块即为采用fpn和pan组合的neck组件。本领域的相关技术人员可知，在神经网络的特征提取过程中，较浅层特征图包含较强位置信息，较深层特征图包含较强语义信息。所述fpn为特征金字塔网络，自顶向下传递强语义信息；所述pan为路径聚合网络，自底向上传递强位置信息。所述fpn和pan组合实现针对上一组件输出的三种不同尺度的特征图的信息聚合，从而增强所述不同尺度特征图上的语义表达和位置表达，输出尺寸大小分别为76*76、38*38、19*19的预测特征图供下一组件进行预测。
[0125]
步骤s1230、采用所述目标检测模型中的预测块针对所述不同尺度预测特征图预测相应的边界框及其标签数据；
[0126]
所述预测块即为prediction组件，其针对上一组件输出的三种不同尺度的特征图分别接一个1*1的卷积层进行识别分类，得到准确的检测目标，对检测到的边界框进行非极大值抑制和iou值判定，最终输出检测到的最有可能存在的边界框及其标签数据。
[0127]
步骤s1240、根据预测出的标签数据确定出与所述目标图像标签相匹配的所述边界框，从待修复图片中截取该边界框所指示的目标区域图像。
[0128]
根据目标图像标签找到上一组件输出结果中具有相同标签对应的边界框，则所述边界框即为指示所述目标区域图像的边界框。根据所述边界框，从待修复图片中截取其指示位置的目标区域图像作为下一步操作的输入。
[0129]
本技术实施例中融合特征提取中不同层次特征图的强语义信息和强位置信息，提高所述目标检测模型对小目标的检测精度，本技术实施例的应用场景属于小目标检测问题，因此所述目标检测模型可以很好的解决所述问题。
[0130]
请参阅图7，具体化的实施例中，所述目标检测模型的训练过程，包括以下步骤：
[0131]
步骤s1201、确定带有待处理信息及其边界框标注数据与标签数据的相关图片作为所述目标检测模型的训练集中的训练样本；
[0132]
在本技术中，确定与本技术实现相关的、具有代表性的、带有待处理信息的广告图片、商品图片等，采用人工标注等方式对所述图片中待处理信息区域进行框定和标注，得到其相应的边界框标注数据和标签标注数据；经过多次筛选和标注，获得足够多的训练样本，即组成所述目标检测模型的训练集。
[0133]
步骤s1202、针对所述训练集中的训练样本中的图片进行图像数据增强处理；
[0134]
为促使模型快速收敛，泛化数据特征，首先对所述训练集中训练样本的图片进行图像数据增强处理，即mosaic数据增强。
[0135]
所述mosaic数据增强是在yolov4中提出的，针对4张图片进行随机缩放、随机裁剪、随机排布的方式进行拼接；进而丰富训练集，尤其丰富了小目标训练集，增大对小目标的检测精度。所述待处理信息区域则属于小目标的范围，因此该数据增强方式可以有效提升本技术实施例中应用场景的目标检测精度。
[0136]
步骤s1203、根据部分训练样本确定每次训练的最佳锚框参数，在此基础上采用目标检测模型确定每次训练时训练样本的图片的边界框及其标签；
[0137]
本领域的相关技术人员可知，在yolo系列算法中，针对不同的训练集中，一般会进行锚框长宽的初始化设定，在此基础上进行后续的边界框预测，从而提高检测精度和召回率。所述设定一般为本领域相关技术人员根据实际业务应用场景进行人为设定或采用独立的计算程序求得所述初始锚框的参数。而在yolov5中，将该初始化流程嵌入到训练网络中。即在每次训练中，调用所述训练集的一部分训练样本，自适应计算部分样本中的最佳锚框参数作为该次训练的初始化设定。
[0138]
在完成初始化设定后，便可对相应的训练样本启动目标检测模型的训练，以该训练样本相应的图片为输入，获得相应的多个边界框及其标签的输出。
[0139]
步骤s1204、根据每个训练样本的边界框及其标签与该训练样本的边界框标注数据与标签数据计算损失值，根据该损失值对目标检测模型进行梯度更新；
[0140]
根据上一步骤的设定，针对每次训练中调用的部分样本进行s1200步骤的实施，获得检测到的预测边界框及其预测标签；针对所述预测边界框及其预测标签和真实边界框及其真实标签进行模型损失的计算。
[0141]
本领域的相关技术人员可知，在目标检测模型的训练中，其损失函数由分类损失函数和回归损失函数组成，其中回归损失函数一般采用iou_loss进行损失计算；可知，iou为预测边界框与其对应的真实边界框的交并比值，而所述iou_loss为1-iou；若根据所述iou_loss进行迭代训练会导致以下两个问题：其一，当预测边界框与真实边界框不相交时，该损失函数不可导，即不可进行参数优化；其二、当两个预测边界框位置不同，但大小相同，其iou值也相同时，iou_loss无法确定其精确状况。因此，本技术实施例中采用的yolov5模型中采用的回归损失函数为giou_loss，所述损失首先计算所述预测边界框和真实边界框
的最小外接矩形，继而计算所述两个边界框的并集，以及最小外接矩形中所述并集的差集，从而计算所述giou_loss，所述计算流程如下公式所示：
[0142]
giou_loss＝1
–
giou＝1
–
(iou
–
|差集|/|c|)
[0143]
其中，iou为所述预测边界框和真实边界框的交并比值，|差集|为最小外接矩形中所述两个边界框的并集的差集，|c|为最小外接矩形的面积。
[0144]
根据以上计算获得的损失值进行反向梯度传播，更新所述目标检测模型的参数。
[0145]
步骤s1205、重复上述两个更新步骤，直至所述目标检测模型训练至收敛。
[0146]
重复上述步骤s1203和步骤s1204，迭代更新所述目标检测模型的参数，实质上为更新所述模型的参数，直到满足预设终止条件，获得已训练至收敛的目标检测模型，所述预设终止条件可由本领域的相关技术人员根据实际业务背景所设。
[0147]
在本技术的实施例中，所述目标检测模型实施训练所采用的数据增强方法可增加训练集中小目标的样本，进而提高对小目标的检测精度；所采用的边界损失函数具有尺度不变性，使得所述模型的训练快速收敛。
[0148]
请参阅图8，深化的实施例中，所述步骤s1300、采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据，包括如下步骤：
[0149]
步骤s1310、针对所述目标区域图像进行多级编码，并相应产出相对应尺度的中间特征信息，所述中间特征信息为所述目标区域图像中待处理信息的特征表示；
[0150]
在本实施例中，请参阅图，根据侧分支路径的六个编码器(en_1至en_6)将所述待检测图片相对应的规格原图，也即适应u2net的对输入图片的规格的需要而将待检测图片裁剪为指定规格的待检测图片，而将这一规格原图逐级进行编码。顶层的第一级编码器从所述规格原图中提取出与第一尺度相对应的中间特征信息，然后将其传递给下一级的编码器进行第二尺度相对应的中间特征信息的提取，以此类推，六级编码器提取出其相对应的中间特征信息，由此可知，经编码路径对所述规格原图进行逐级编码之后，便可获得相对应空间分辨率的六个中间特征信息。
[0151]
可以理解，所述的各个尺度的中间特征信息，是对规格图片在相应尺度下深层语义理解后的获得的表示，是对待检测图片中的人体的轮廓特征所提取的信息。u2net模型的这种能力是本领域技术人员所知晓的，只要采用足量的训练样本对其实施训练至收敛，即可使其编码路径具备从目标区域图片中捕捉其中的待处理信息的深层语义理解能力。
[0152]
步骤s1320、在解码路径上相应进行多级解码，以最小尺度的中间特征信息产出第一图像特征信息，之外逐级以上一级图像特征信息及其同级编码产出的中间特征信息为参考，对应解码出更高尺度的图像特征信息，所述图像特征信息用于以掩膜形式表示所述目标区域图像中待处理信息的轮廓特征；
[0153]
所述的解码路径，本实施例中，请参阅图，右侧分支路径的五个解码器(de_1至de_5)中，自底层起，每一级解码器阶段将来自前一级的上采样特征映射和来自其对称编码器阶段的特征映射的级联作为输入，进行解码后输出特征信息。将最后一级编码器(en_6)阶段和各级解码器阶段的输出结果，进行1*1卷积核变换、sigmoid激活函数和上采样操作后提取与原图相同规格的六个图像特征信息，所述图像特征信息可表征待检测图片中的人体轮廓信息，以掩膜形式表示所述的轮廓特征，本质上是掩膜图像数据(mask1至mask6)。
[0154]
至此，根据此处关于图像分割模型的结构及原理的揭示可以理解，本技术的目标区域图像，经图像分割模型进行逐级编码、逐级解码之后，获得了多个图像特征信息(掩膜图像数据：mask1至mask6)。
[0155]
步骤s1330、融合所有所述图像特征信息，生成所述目标区域图像中目标轮廓区域的掩膜数据，扩展该掩膜数据使其成为所述待修复图片的掩膜数据。
[0156]
根据u2net模型原理，最后以级联融合的方式融合所述图像特征信息，经1*1卷积核变换和sigmoid激活函数后生成最终目标轮廓区域的掩膜数据(mask7)。这一掩码图像数据本质上是一张二值化的二值图，形象的说法中，当所述目标区域图像不存在任何待处理信息时，该二值图是一张值全为1的图像数据；当所述目标区域图像存在某一待处理信息即目标轮廓区域时，该二值图是一张前景为所述目标轮廓区域相对应位置为0而其他位置值置为1的图像数据。因此，该掩膜数据可用于遮掩所述待处理信息区域图像。
[0157]
针对所述目标轮廓区域的掩膜数据，扩展至待修复图片中，其具体操作如下。将所述待修复图片所有位置的像素置为1，将目标区域图像的所有位置的像素置为所述目标轮廓区域的掩膜数据，进而获得所述待修复图片的掩膜数据。所述待修复图片的掩膜数据中，目标轮廓区域的值为0，其他区域的值为1，即所述掩膜数据用于遮挡所述目标轮廓区域。
[0158]
本实施例中，针对目标区域图像而非针对待修复图片进行图像分割，以提取出其中属于待处理信息的目标轮廓区域，据此确定目标区域图像相对应的掩膜数据，实现对目标轮廓区域的遮掩，在此基础上，再对应待修复图片的尺寸对掩膜数据的尺度进行扩展，使其扩展至与待修复图片相同规格，实现与待修复图片相对应而同时可以遮掩待修复图片中属于目标轮廓区域部分的图像，为后续对待修复图片进行图像消除和图像修复做了前置的精细化定位处理，有助于更精确地实现图像消除和图像修复。
[0159]
请参阅图9，具体化的实施例中，所述图像分割模型的训练包括如下步骤：
[0160]
步骤s1301、确定带有待处理信息的相关图片并获取其目标轮廓区域的掩膜数据作为所述图像分割模型的训练集样本数据；
[0161]
在本技术中，确定与本技术实现相关的、具有代表性的、带有待处理信息的广告图片、商品图片等，采用人工标注等方式对所述图片中带有待处理信息的目标轮廓区域进行标注，得到所述目标轮廓区域的标签掩膜数据；经过多次筛选和标注，获得足够多的数据样本，即组成所述图像分割模型的训练集。
[0162]
步骤s1302、调用所述训练集中的数据样本对所述图像分割模型实施迭代训练，计算其模型损失并进行反向梯度传播；
[0163]
调用所述训练集中的部分样本作为该次训练的样本，采用所述图像分割模型进行前向推理，获得生成掩膜数据mask1-mask7，将之与所述标签掩膜数据进行损失计算，具体公式如下：
[0164][0165][0166]
其中表示mask1-mask6对应的损失值，l
fuse
为mask7对应的损失值，
p
g(r,c)
、p
s(r,c)
分别表示标签掩膜数据和生成掩膜数据，所述和w
fuse
为每一项损失的权重值，该值的设定可由本领域相关技术人员根据实际业务应用场景所设。
[0167]
计算上述损失之后，进行反向梯度传播，更新所述图像分割模型的参数。
[0168]
步骤s1303、重复上述更新操作，直至所述模型训练至收敛。
[0169]
重复前一步骤s1302，迭代更新所述图像分割模型的参数，直到满足预设终止条件，所述预设终止条件可由本领域的相关技术人员根据实际业务背景所设，则训练停止。
[0170]
本实施例由于通过对所述图像分割模型实施迭代训练使其达到收敛，促使其习得从目标区域图像名获得目标轮廓区域相对应的掩膜数据的能力，轻量而高效。
[0171]
请参阅图10，深化的实施例中所述步骤s1400、采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像，包括如下步骤：
[0172]
步骤s1410、将所述待修复图片及其掩膜数据馈入基于部分卷积的u-net架构构建的所述图像修复模型中进行局部特征提取，获得中间特征图；
[0173]
所述u-net网络架构一般用于图像分割领域，本技术实施例中，考虑到u-net网络架构内部的前传结构可以保留和捕捉到更多空间的细节信息，因此将之作为所述图像修复模型的主要网络框架，并将其中的卷积层替换为部分卷积层，所述部分卷积如前所述。
[0174]
首先，将上一步骤获得的待修复图片及其掩膜数据馈入所述u-net网络架构，进行多级编码操作，提取其多尺度中间特征图；编码分支中包括第一部分卷积层、第一池化层、第二部分卷积层、第二池化层、第三部分卷积层、第三池化层、第四部分卷积层、第四池化层、第五部分卷积层。
[0175]
层数越深，其特征图视野域越大，其学习到的特征更偏向语义信息；层数越浅，其特征图视野域越小，其学习到的特征更偏向纹理细节信息。因此通过不同尺度的编码特征提取，可以获得多种关注不同信息的中间特征图。
[0176]
深层网络关注本质的那种特征，所以深层浅层特征都是有各自的意义；另外一点是通过反卷积得到的更大的尺寸的特征图的边缘，是缺少边缘细节信息的，毕竟每一次下采样提炼特征的同时，也必然会损失一些边缘特征，而失去的特征并不能从上采样中找回，因此通过特征的拼接，来实现边缘特征的找回。
[0177]
经此步骤后，便可获得待修复图片相对应的多个中间特征图，可对其进一步解码。
[0178]
步骤s1420、针对中间特征图进行多级解码，获得中间修复图像，根据待修复图片的掩膜数据融合待修复图片及所述中间修复图像而生成修复图像。
[0179]
将上一步骤获得的中间特征图进行多级解码操作，获得修复特征图；解码分支中包括第一上采样层、第六部分卷积层、第二上采样层、第七部分卷积层、第三上采样层、第八部分卷积层、第四上采样层、第九部分卷积层。上述部分卷积层的输入融合了同级编码输出的中间特征图和上采样层输出的上采样特征图。
[0180]
通过上采样得到的更大的尺寸的特征图是缺少边缘细节信息的，因为进行编码特征提取中的池化操作必然会损失一些边缘特征，因而失去的边缘特征可以通过这种前传的操作拼接起来，从而实现深层语义信息和浅层边缘信息的融合，得到能够还原消除区域图像使之与非消除区域无缝融合的中间修复图像。
[0181]
针对所述中间修复图像以及待修复图片的掩膜数据进行图像的缩放操作，获得与
原始输入的待修复图片同等规格尺寸的原尺寸中间修复图像和原尺寸掩膜数据，将之与原始输入的待修复图片进行融合操作，得到整合后的修复图像作为图像消除修复网络的最终输出。所述融合操作具体如下：
[0182]
repair_img＝mid_repair_img*(1-mask)+original_img*mask
[0183]
其中，mid_repair_img为所述原尺寸中间修复图像，mask为所述原尺寸掩膜数据，original_img为所述原尺寸待修复图片，repair_img为所述最终生成的修复图像。
[0184]
本技术的实施例中，采用模型中的编解码和前传操作，实现深层语义信息和浅层边缘信息的融合，能够根据其语义和细节信息还原待修复图片中目标轮廓区域的像素值，使得所述消除的目标轮廓区域修复后与其他区域无缝衔接。
[0185]
请参阅图11，具体化的实施例中，所述图像修复模型的训练包括如下步骤：
[0186]
步骤s1401、确定无需修复的相关图片以及对其进行随机擦除后获得的掩膜数据构成所述图像修复模型的训练集的数据样本；
[0187]
在本技术中，筛选不包含待处理信息的商品图片、广告图片等图片用于构建训练集，所述图片均由人工进行高效的筛选所得，利于训练相关模型。所述训练集的数据样本在本技术中由所述筛选的图片处理所得，具体上，针对所述图片进行随机目标轮廓区域擦除，根据所述随机擦除的位置生成所述擦除目标轮廓区域的掩膜数据，所筛选出的图片及其擦除目标轮廓区域的掩膜数据构成所述训练集的数据样本。
[0188]
步骤s1402、构建生成对抗网络以备训练，其中，以所述图像修复模型为生成器，以已训练至收敛的判别模型作为判别器，初始化生成器参数；
[0189]
所述图像修复模型可由生成对抗模型训练至收敛所得，所述生成对抗模型(gan：generative adversarial network)，由一个生成器和一个判别器构成，生成器根据随机噪声的输入，生成新的数据样本，以仿制真实样本；鉴别器作为一个二分类器，用于判别其输入数据是真实样本还是生成样本。
[0190]
请参阅图12，为所述生成对抗模型训练阶段的网络架构示意图。
[0191]
在本技术具体化的实施例中，将所述图像修复模型作为生成器，用于根据输入的筛选图片及其擦除目标轮廓区域的掩膜数据生成修复好的图像；将判别模型作为判别器，用于判定所述修复好的图像与所述筛选图片的相似度。
[0192]
所述判别模型可选用多种现有技术中比较优秀的判别模型，包括但不限于：vgg系列模型、inception系列模型，resnet系列模型、efficientnet系列模型等，均为成熟的判别模型。只要采用足量的相应训练样本对其实施训练至收敛，均可用做本技术的判别模型。本技术中，采用预训练的vgg16模型。
[0193]
选取所述图像修复模型作为生成器、所述判别模型作为判别器后，初始化所述生成器的参数。所述模型参数初始化指的是在模型训练之前，即对生成器中各个节点的权重和偏置进行初始化赋值的过程。
[0194]
步骤s1403、冻结所述判别器，调用训练集的数据样本计算所述生成对抗网络中预设的损失函数，进行反向更新所述生成器参数；
[0195]
调用训练集中的样本，即图片以及擦除目标轮廓区域的掩膜数据，经所述生成器模型生成修复图像。
[0196]
所述生成器产生的修复图像经所述判别器进行特征提取后获得生成特征图，所述
图片经所述判别器进行特征提取后获得的真实特征图，针对所述生成特征图和真实特征图进行相似度计算，并计算相关损失反向更新所述生成器参数。所述相关损失包括全变分损失tv_loss、风格损失style_loss、感知损失和l1-正则化l1_loss。所述全变分损失可促进所生成的修复图像的空间平滑性，抑制图像生成中被放大的数据噪声；所述风格损失是使得所述修复图像与真实样本的风格匹配起来；所述感知损失使得所述修复图像与真实样本的内容纹理一致；所述l1-正则化易使得所述生成器得到稀疏解。所述损失组合为本技术实施例中的一种实施情况，其实际使用可由相关技术人员根据实际业务需求而设定。
[0197]
步骤s1404、重复上述更新步骤，直至所述生成对抗网络至收敛，则所述生成器即为已训练至收敛的图像修复模型。
[0198]
重复上述更新步骤，迭代更新所述生成对抗模型的参数，实质上为更新所述生成器的参数，直到满足预设终止条件，所述预设终止条件可由本领域的相关技术人员根据实际业务背景所设，在本技术实施例中，计算生成特征图和真实特征图的相似度，所述相似度满足相关技术人员预设时，则训练停止。
[0199]
本实施例采用无需修复的图片和随机擦除的方式生成训练集数据，和采用生成对抗网络训练的方式训练所述图像修复模型，一方面，可以更方便的生成所述图像修复模型的输入数据；另一方面可根据真实特征图和生成特征图的损失计算训练所述图像修复模型生成更贴近原有真实样本的修复图像。
[0200]
请参阅图13，适应本技术的目的之一而提供的一种图像消除修复装置，包括：数据获取模块1100，获取待修复图片和指示待修复图片中目标区域图像的目标图像标签；目标检测模块1200，采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像；图像分割模块1300，采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据；图像修复模块1400，采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像。
[0201]
深化的实施例中，所述数据获取模块1100包括：第一响应子模块，用于响应用户触发的广告发布请求，获取其相对应提交的广告发布信息中的待修复图片；第二响应子模块，用于响应用户触发的图像修复请求，获取指示所述待修复图片中目标区域图像的目标图像标签；
[0202]
深化的实施例中，所述目标检测模块1200，包括：主干网络子模块，用于针对所述待修复图片提取不同尺度的特征图；颈部子模块，用于针对所述不同尺度特征图进行强语义信息和强定位信息融合，获得多个不同尺度的预测特征图；预测子模块，用于针对所述不同尺度预测特征图预测相应的边界框及其标签数据；截取子模块，用于根据预测出的标签数据确定出与所述目标图像标签相匹配的所述边界框，从待修复图片中截取该边界框所指示的目标区域图像。
[0203]
具体化的实施例中，所述第一训练子模块，包括：第一训练集子单元，用于确定带有待处理信息及其边界框标注数据与标签数据的相关图片作为所述目标检测模型的训练集中的训练样本；增强子单元，用于针对所述训练集中的训练样本中的图片进行图像数据增强处理；第一更新子单元，用于根据部分训练样本确定每次训练的最佳锚框参数，在此基
础上采用目标检测模型确定每次训练时训练样本的图片的边界框及其标签；第二更新子单元，用于根据每个训练样本的边界框及其标签与该训练样本的边界框标注数据与标签数据计算损失值，根据该损失值对目标检测模型进行梯度更新；第一重复子单元，用于重复上述第一更新子单元和第二更新子单元，直至所述目标检测模型训练至收敛。
[0204]
深化的实施例中，所述图像分割模块1300，包括：编码子模块，用于针对所述目标区域图像进行多级编码，并相应产出相对应尺度的中间特征信息，所述中间特征信息为所述目标区域图像中待处理信息的特征表示；解码子模块，用于在解码路径上相应进行多级解码，以最小尺度的中间特征信息产出第一图像特征信息，之外逐级以上一级图像特征信息及其同级编码产出的中间特征信息为参考，对应解码出更高尺度的图像特征信息，所述图像特征信息用于以掩膜形式表示所述目标区域图像中待处理信息的轮廓特征；第一融合子模块，用于融合所有所述图像特征信息，生成所述目标区域图像中目标轮廓区域的掩膜数据，扩展该掩膜数据使其成为所述待修复图片的掩膜数据。
[0205]
具体化的实施例中，所述第二训练子模块，包括：第二训练集子单元，用于确定带有待处理信息的相关图片并获取其目标轮廓区域的掩膜数据作为所述图像分割模型的训练集样本数据；第三更新子单元，用于调用所述训练集中的数据样本对所述图像分割模型实施迭代训练，计算其模型损失并进行反向梯度传播；第二重复子单元，用于重复上述第三更新子单元，直至所述模型训练至收敛。
[0206]
深化的实施例中，所述图像修复模块1400，包括：特征提取子模块，用于将所述待修复图片及其掩膜数据馈入基于部分卷积的u-net架构构建的所述图像修复模型中进行局部特征提取，获得中间特征图；修复子模块，用于针对中间特征图进行多级解码，获得中间修复图像，根据待修复图片的掩膜数据融合待修复图片及所述中间修复图像而生成修复图像。
[0207]
具体化的实施例中，所述第三训练子模块，包括：第三训练集子单元，用于确定无需修复的相关图片以及对其进行随机擦除后获得的掩膜数据构成所述图像修复模型的训练集的数据样本；初始化子单元，用于构建生成对抗网络以备训练，其中，以所述图像修复模型为生成器，以已训练至收敛的判别模型作为判别器，初始化生成器参数；第四更新子单元，用于冻结所述判别器，调用训练集的数据样本计算所述生成对抗网络中预设的损失函数，进行反向更新所述生成器参数；第三重复子单元，用于重复上述第四更新子单元，直至所述生成对抗网络至收敛，则所述生成器即为已训练至收敛的图像修复模型。
[0208]
为解决上述技术问题，本技术实施例还提供计算机设备。如图14所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种图像消除修复方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本技术的图像消除修复方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图14中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，
或者具有不同的部件布置。
[0209]
本实施方式中处理器用于执行图13中的各个模块及其子模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本技术的图像消除修复装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
[0210]
本技术还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本技术任一实施例的图像消除修复方法的步骤。
[0211]
本技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本技术任一实施例所述方法的步骤。
[0212]
本领域普通技术人员可以理解实现本技术上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等计算机可读存储介质，或随机存储记忆体(random access memory，ram)等。
[0213]
综上所述，本技术通过采用多种已训练至收敛的网络模型，实现目标区域图像定位、目标轮廓区域消除和目标轮廓区域修复这一完整工作的全自动化，该高效的图像消除修复技术可大幅降低电商用户的时间和人力成本，同时实现电商用户对广告信息的快速迭代，获得更多的销售份额；同时本技术可有效提升其修复效果，使得所述修复后的目标轮廓区域与其他区域更好的融合，从而增大商品的客户吸引力、竞争力。
[0214]
本技术领域技术人员可以理解，本技术中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本技术中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本技术中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
[0215]
以上所述仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。