一种图像增强模型在线更新系统的制作方法

本发明涉及图像处理技术领域，具体为一种图像增强模型在线更新系统。

背景技术：

图像增强是指有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要，在计算机视觉领域中，应用深度学习技术处理进行图像增强变得越来越流行。

自2012年来，深度学习技术在图像处理各个领域的应用取得了巨大成功，深度学习中神经网络的基础往往是大量的高质量标签数据集，在实际应用场景下，图像增强的真实标签数据集比较少，通常需要通过算法模拟标签的生成过程，因而如何评价模型的好坏就是一个很关键的问题，同时得到性能好的模型如何快速更新到线上是一个重要、急迫的需求。

比如，在航拍时，由于航拍器运动带来的运动图像模糊，如何利用图像增强方法恢复到清晰可见的图像，首先，人们用理想的清晰的图片通过一系列运动模糊仿真处理得到对应的模糊图片，通过模糊、清晰图片对，训练一个图像增强模型，但是如何评价图像增强模型，同时将更好的增强模型在线更新，以上过程主要有模拟生成初代的图像增强模型，得到增强后的图片，人工干预形成图像增强标签，图像增强模型强化，在线更新等步骤。由此可见，设计一种拥有高精度、实时的视频目标检测方法，是十分有必要的。

现有的技术通常采用两种方案分别对图像进行增强：

第一种方案采用的是数字图像处理技术，根据图像的灰度级范围，设定阈值；若小于阈值则进行自动色阶增强；若大于阈值则进行基于直方图均衡及反均衡变换的方法增强，自适应图像增强方法不仅可以增强低对比度图像，还可以增强部分偏暗和部分偏亮图像，鲁棒性强，且增强之后的图像具有更好的视觉效果。

第二种方案采用基于生成对抗网络的图像增强方法，包括以下步骤：选取训练网络的图像数据库；构建生成对抗网络模型；预处理图像；训练生成对抗网络，利用深度学习算法中的生成对抗网络实现了红外深度图像的增强，针对红外深度图获取的困难，通过立体图像质量数据库实现生成对抗网络的训练，去除质量不好的深度图像的噪声，提高深度图像的质量，得到的增强深度图可以作为后续图像处理的标准图像，改善红外深度图畸变，质量低下的情况。

现有技术存在着以下两种缺陷：

图像增强由于手段、方法不一样，得到增强后图片的质量有很多评价方式，例如，通过人工生成的方式，由模糊和清晰图像对，生成的模糊图像经过图像增强算法后得到的增强图，可以与清晰图像进行平方和误差计算，现有技术存在以下几个问题，

第一，对增强后图片的质量无法很好的评价；

第二，仅使用单独的评价方法不够准确；

第三，线上环境与线下训练环境无法融合到同一个系统当中。

技术实现要素：

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种图像增强模型在线更新系统，可替换图像增强算法、评价标准，增强模型优化适应性强，减少人工进行图像质量评判，同时使用在线模型生成与更新方法，兼顾线下训练与线上模型更新，很好的保证了稳定的图像增强运行环境和方便快捷的一体化部署系统。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种图像增强模型在线更新系统，包括客户端、中心调度模块、消息发布模块和消息订阅模块，所述中心调度模块包括可替换数据模块、图像处理模块和图像增强模型在线更新模块，且图像处理模块包括图像增强模块和图像增强质量评价模块。

所述客户端用于用户提交业务请求。

所述中心调度模块用于启动消息监听器，监听客户端请求，当接收到新请求时，使用消息判定器判断消息的合法性，并根据消息内容进行相应操作，同时，中心调度模块负责监控所有模块的状态，若某个正在运行的模块异常终止，则将其自动拉起。

所述消息发布模块用于生成并发布消息，每个消息发布模块对应一种主题，当该模块接收到客户端请求时，判定消息合法性，同时，消息发布模块不断读取数据源，并将最新的数据图像帧消息发布出去。

所述消息订阅模块用于订阅消息并进行业务分析，且消息订阅模块包含n个子模块，能够订阅不同主题的消息，并对消息进行过滤和汇总。

优选的，所述消息发布模块包含m个子模块。

优选的，所述可替换数据模块的使用情况具体为：

a1、可替换数据模块在使用不同图像增强算法时可替换；

a2、可替换数据模块在使用不同图像增强质量评价算法时可替换；

a3、可替换数据模块能够根据图像增强质量评价模块的需求动态扩展数据规模；

a4、在图像增强模型质量评价时，可替换数据模块提供至少两个及两个以上的数据集。

优选的，所述图像处理模块会根据接收到的增强子模块和图像增强质量评价的模型类型进行资源分配，包括显存存大小和gpu数目，图像处理模块基于数据分配源模型，得到图像增强性能更优的模型，并最终提供给图像增强模型在线更新模块。

优选的，所述图像增强模块为图像增强质量评价模块提供增强处理后图像。

优选的，所述图像增强模型在线更新模块是利用图像增强质量评价模块得到的更优的图像增强模型进行在线更新，替换原有的模型，性能更优的图像增强模型需要在系统稳定运行情形下，在线更新原有的图像增强模块中模型，系统重新释放分配资源。

优选的，所述图像增强模块自适应不同分辨率、不同来源以及不同格式的数据源。

优选的，所述图像增强质量评价模块包括有参考的理想图像增强和半、无参考的图像增强。

本发明还公开了一种图像增强模型在线更新系统的更新方法，具体包括以下步骤：

步骤301：启动消息监听器，不断监听客户端发送来的新请求；

步骤302：当消息监听器接收到客户端的业务请求时，将消息转发给消息判定器；

步骤303：消息判定器判断消息的合法性，合法的消息包括：更新数据源、更新图像增强模块，更新图像增强质量评价模块，在线更新增强模型请求、结束系统，对于合法消息，进入步骤304；对于不合法消息则进行过滤，并将执行权限交给消息监听器，重复步骤302；

步骤304：判断消息类型，进入步骤305；

步骤305：如果消息是更新数据源，则进入步骤306，否则进入步骤308；

步骤306：判断系统中是否存在检测对应数据源的消息发布模块是否存在，若是，则放弃更新源，并重复步骤302，否则进入步骤307；

步骤307：调用系统命令为新数据源建立消息发布模块，处理完成后返回步骤302；

步骤308：如果消息是更新图像增强模块，则进入步骤309，否则进入步骤311；

步骤309：判断系统中是否存在该图像增强模块，若否，则进入步骤310，否则放弃更新图像增强模块，并重复步骤302；

步骤310：调用系统命令生成新的图像增强模块，处理完成后返回步骤302；

步骤311：如果消息是更新图像增强质量评价模块，则进入步骤312，否则进入步骤314；

步骤312：判断系统中是否存在该图像增强质量评价模块，若否，则进入步骤312，否则放弃更新图像增强质量评价模块，并重复步骤302；

步骤313：调用系统命令生成新的图像增强质量评价模块，处理完成后返回步骤302；

步骤314：如果消息是结束系统命令，则结束整个系统，否则重复步骤302；

步骤315：启动模块监控器；

步骤316：轮询监测系统中所有模块的运行状态；

步骤317：判断模块状态是否出现异常，即模块是否正常发布、订阅消息，若是，则重复步骤313，否则进入步骤315；

步骤318：调用系统命令建立进程重新拉起异常模块，即异常模块自恢复。

(三)有益效果

本发明提供了一种图像增强模型在线更新系统。与现有技术相比具备以下有益效果：该图像增强模型在线更新系统，包括客户端、中心调度模块、消息发布模块和消息订阅模块，所述中心调度模块包括可替换数据模块、图像处理模块和图像增强模型在线更新模块，且图像处理模块包括图像增强模块和图像增强质量评价模块，通过模拟生成初代的图像增强模型，得到增强后的图片，人工干预形成图像增强标签，图像增强模型强化，在线更新，很好的解决了图像增强中增强模型与增强质量评价的单一、繁杂方式，并提出了增强模型从训练到部署到在线更新的端到端系统，利用可替换的数据源，可替换的图像增强模型，以及可替换的图像增强质量评价模型，对不同任务和需求能有效提升当前图像增强模型的增强能力，不管是性能还是操作方式都有了明显提升，通过可替换图像增强算法、评价标准，增强模型优化适应性强，减少人工进行图像质量评判，同时使用在线模型生成与更新方法，兼顾线下训练与线上模型更新，很好的保证了稳定的图像增强运行环境和方便快捷的一体化部署系统。

附图说明

图1为本发明实施例提供的系统框图；

图2为本发明实施例提供的在线图像增强模型更新系统的主要模块示意图；

图3为本发明实施例提供的在线图像增强模型更新系统的主要流程示意图。

图中，101客户端、102中心调度模块、103消息发布模块、104消息订阅模块、201可替换数据模块、202图像增强模块、203图像增强质量评价模块、204图像增强模型在线更新模块、205图像处理模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明实施例提供一种技术方案：一种图像增强模型在线更新系统，包括客户端101、中心调度模块102、消息发布模块103和消息订阅模块104，中心调度模块102包括可替换数据模块201、图像处理模块205和图像增强模型在线更新模块204，且图像处理模块205包括图像增强模块202和图像增强质量评价模块203。

客户端101用于用户提交业务请求，例如更新数据源、更新图像增强子模块，更新图像增强质量评价子模块，在线更新增强模型请求等。

中心调度模块102用于启动消息监听器，监听客户端101请求，当接收到新请求时，使用消息判定器判断消息的合法性，并根据消息内容进行相应操作，例如新增消息发布、订阅模块；同时，中心调度模块102负责监控所有模块的状态，若某个正在运行的模块异常终止，则将其自动拉起。

中心调度模块102响应不同类型的客户端101消息，包括更新数据源、动态更新图像增强模块202，更新图像增强评价模块203，并根据消息内容对系统状态进行动态调整，同时，中心调度模块102负责监控所有模块的状态，如果某个正在运行的模块异常终止，则将其自动拉起，从而实现模块自重启，数据源发布模块不断读取数据源，并将最新的数据帧消息发布出去。

消息发布模块103用于生成并发布消息，每个消息发布模块对应一种主题，当该模块接收到客户端101请求时，判定消息合法性，同时，消息发布模块103不断读取数据源，并将最新的数据图像帧消息发布出去，消息发布模块103包含m个子模块。

消息订阅模块104用于订阅消息并进行业务分析，且消息订阅模块104包含n个子模块，能够订阅不同主题的消息，并对消息进行过滤和汇总。

本发明中，可替换数据模块201的使用情况具体为：

a1、可替换数据模块201在使用不同图像增强算法时可替换；

a2、可替换数据模块201在使用不同图像增强质量评价算法时可替换；

a3、可替换数据模块201能够根据图像增强质量评价模块203的需求动态扩展数据规模；

a4、在图像增强模型质量评价时，可替换数据模块201提供至少两个及两个以上的数据集。

本发明中，图像处理模块205会根据接收到的增强子模块和图像增强质量评价的模型类型进行资源分配，包括显存存大小和gpu数目，图像处理模块205基于数据分配源模型，得到图像增强性能更优的模型，并最终提供给图像增强模型在线更新模块204。

本发明中，图像增强模块202为图像增强质量评价模块203提供增强处理后图像，图像增强质量评价模块203如目标检测，根据盲图像质量评测指标来判断图像增强模型的好坏，在目标检测中评测指标是map。

本发明中，图像增强模型在线更新模块204是利用图像增强质量评价模块203得到的更优的图像增强模型进行在线更新，替换原有的模型，性能更优的图像增强模型需要在系统稳定运行情形下，在线更新原有的图像增强模块202中模型，系统重新释放分配资源。

本发明中，图像增强模块202自适应不同分辨率、不同来源以及不同格式的数据源，图像增强模块202使用生成式对抗网络gan进行图像增强，但不限于此，具体为x，y代表两个领域的数据源，首先对x和y编码降维，得到各自的特征域z，对接两个解码器，一个解码器负责伪装，另一个解码器负责恢复。这样训练完成后，可以利用恢复解码器去进行图像增强。

本发明中，图像增强质量评价模块203包括有参考的理想图像增强和半、无参考的图像增强。

有参考的理想图像增强，一般使用全参考方法来比较经过增强模型后的图像与理想图像的质量差异，如采用峰值信噪比(psnr)指标来量化评判，但不限于此，结构相似性(ssim)以及平均结构相似性(mssim)等均可采用。

半、无参考的图像增强，借助其他图像子系统来判断图像增强的质量。如采用目标识别，比较不同图像增强模型得到的增强图像在目标识别领域的表现，如各类别平均准确率的平均值(map)指标，但不限于此，目标分割，语义分割等方式均可采用。

如图3所示，中心调度模块102开始运行后，生成两个线程分别启动消息监听器和模块监控器，其中，消息监听器负责接收客户端101消息并判断消息的合法性，对于合法消息，中心调度模块102会根据消息内容进行不同的操作，模块监控器则负责监控系统中所有模块的运行状态，对于异常终止的模块，它会调用系统命令将异常模块重新拉起，即模块自恢复。

本发明还公开了一种图像增强模型在线更新系统的更新方法，具体包括以下步骤：

步骤301：启动消息监听器，不断监听客户端101发送来的新请求；

步骤302：当消息监听器接收到客户端101的业务请求时，将消息转发给消息判定器；

步骤303：消息判定器判断消息的合法性，合法的消息包括：更新数据源、更新图像增强模块202，更新图像增强质量评价模块203，在线更新增强模型请求、结束系统，对于合法消息，进入步骤304；对于不合法消息则进行过滤，并将执行权限交给消息监听器，重复步骤302；

步骤304：判断消息类型，进入步骤305；

步骤305：如果消息是更新数据源，则进入步骤306，否则进入步骤308；

步骤306：判断系统中是否存在检测对应数据源的消息发布模块103是否存在，若是，则放弃更新源，并重复步骤302，否则进入步骤307；

步骤307：调用系统命令为新数据源建立消息发布模块103，处理完成后返回步骤302；

步骤308：如果消息是更新图像增强模块202，则进入步骤309，否则进入步骤311；

步骤309：判断系统中是否存在该图像增强模块202，若否，则进入步骤310，否则放弃更新图像增强模块202，并重复步骤302；

步骤310：调用系统命令生成新的图像增强模块202，处理完成后返回步骤302；

步骤311：如果消息是更新图像增强质量评价模块203，则进入步骤312，否则进入步骤314；

步骤312：判断系统中是否存在该图像增强质量评价模块203，若否，则进入步骤312，否则放弃更新图像增强质量评价模块203，并重复步骤302；

步骤313：调用系统命令生成新的图像增强质量评价模块203，处理完成后返回步骤302；

步骤314：如果消息是结束系统命令，则结束整个系统，否则重复步骤302；

步骤315：启动模块监控器；

步骤316：轮询监测系统中所有模块的运行状态；

步骤317：判断模块状态是否出现异常，即模块是否正常发布、订阅消息，若是，则重复步骤313，否则进入步骤315；

步骤318：调用系统命令建立进程重新拉起异常模块，即异常模块自恢复。

同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。