一种仿生机器鱼水下视觉图像增强方法及系统与流程

本申请涉及图像增强技术领域，特别是涉及一种仿生机器鱼水下视觉图像增强方法及系统。

背景技术：

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

近年来，随着陆地资源匮乏日益严重，人们越来越多的关注到丰富的海洋资源。由于原有的水下检测、作业、运载装置难以满足复杂水下作业任务的需求，因此加速了水下机器人的研发工作。仿生机器鱼作为鱼类推进机理和机器人技术的结合点，为研制新型的水下航行器提供了一种新思路，具有重要的研究价值和应用前景。

在进行水下检测、作业等任务时，需要用到机器鱼视觉来满足进行复杂情况的任务需求。发明人发现，现阶段仿生机器鱼视觉，由于受到水下光照、水下环境、水体质量等因素影响，尚不能很好的将摄像头获取到的画面清晰的呈现出来，导致仿生机器鱼视觉效果不好。

技术实现要素：

为了解决现有技术的不足，本申请提供了一种仿生机器鱼水下视觉图像增强方法及系统；

第一方面，本申请提供了一种仿生机器鱼水下视觉图像增强方法；

一种仿生机器鱼水下视觉图像增强方法，包括：

利用仿生机器鱼获取原始目标图像；

对原始目标图像采用非线性映射的方式进行预处理；

将原始目标图像输入到预先训练好的深度卷积生成对抗网络dcgan中，输出增强后的初始目标图像。

第二方面，本申请提供了一种仿生机器鱼水下视觉图像增强系统；

一种仿生机器鱼水下视觉图像增强系统，包括：

获取模块，其被配置为：利用仿生机器鱼获取原始目标图像；

预处理模块，其被配置为：对原始目标图像采用非线性映射的方式进行预处理；

输出模块，其被配置为：将原始目标图像输入到预先训练好的深度卷积生成对抗网络dcgan中，输出增强后的初始目标图像。

第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。

第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

第五方面，本申请还提供了一种控制器，其采用上述第一方面中的步骤，对仿生机器鱼进行水下视觉的增强。

第六方面，本申请还提供了一种仿生机器鱼，其包括第五方面的控制器。

与现有技术相比，本申请的有益效果是：

该方法利用具有u-net结构的深度卷积生成对抗网络(deepconvolutionalgan,dcgan)，通过利用低照度的图像生成的图像与真实照度图像拟合的方法，实现了图像的增强。

让仿生机器鱼能够在对图像对摄像头所获取的视觉图像进行优化，从而精细准确地输出仿生机器鱼当前所获取的视觉信息，提高了机器鱼视觉系统的可靠性与适用性，从而准确地输出水下仿生机器鱼获取的画面，更好地观察水下环境，执行复杂任务。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开实施例一的具有u-net结构的深度卷积生成对抗网络结构图；

图2(a)和图2(b)为本公开实施例一的生成网络的两种结构模型；

图3(a)和图3(b)为本公开实施例一的采用的深度卷积生成对抗网络的生成网络与判别网络结构图；

图4为本公开实施例一的仿生机器鱼水下视觉图像增强方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

仿生机器鱼在真实水域水下游动时视觉获取的水下图像，受光衰减、光散射、水下环境、水体质量等因素影响，图像照度低且不清晰，具体表现在仿生机器鱼获取的图像颜色失真，细节模糊，不易辨认图像内容。以上问题导致仿生机器鱼在水下游动时不能很好的将摄像头获取到的画面清晰的呈现出来。

为了解决上述问题，本公开的提供一种仿生机器鱼水下视觉图像增强方法。该方法利用u-net结构和深度卷积生成对抗网络(deepconvolutionalgan,dcgan)，通过利用低照度的图像生成的图像与真实照度图像拟合的方法，实现了图像的增强。让仿生机器鱼能够在水下环境光线不好的环境下对图像对摄像头所获取的视觉图像进行优化，从而精细准确地输出仿生机器鱼当前所获取的视觉信息，更好地实现对复杂情况下的任务需求。

实施例一

本实施例提供了一种仿生机器鱼水下视觉图像增强方法；

如图4所示，一种仿生机器鱼水下视觉图像增强方法，包括：

s101：利用仿生机器鱼获取原始目标图像；

s102：对原始目标图像采用非线性映射的方式进行预处理；

s103：将原始目标图像输入到预先训练好的深度卷积生成对抗网络dcgan中，输出增强后的初始目标图像。

作为一个或多个实施例，所述方法还包括：

s104：将增强后的初始目标图像与原始目标图像进行融合，得到最终增强后的目标图像。

作为一个或多个实施例，所述s101：利用仿生机器鱼获取原始目标图像；是利用搭载在仿生机器鱼身上的摄像头采集原始目标图像。

作为一个或多个实施例，所述s102中，对原始目标图像采用非线性映射的方式进行预处理；具体步骤包括：

s1021：对原始目标图像进行卷积运算处理；

s1022：使用群组归一化将卷积结果进行规范化操作；

s1023：使用激活函数对规范化后的卷积结果进行处理。

作为一个或多个实施例，所述s103：将原始目标图像输入到预先训练好的深度卷积生成对抗网络dcgan中，输出增强后的初始目标图像；其中，预先训练好的深度卷积生成对抗网络dcgan的训练步骤包括：

构建深度卷积生成对抗网络dcgan；所述深度卷积生成对抗网络dcgan为具有u-net结构的深度卷积生成对抗网络dcgan；

构建训练集，利用训练集对深度卷积生成对抗网络dcgan进行训练，在训练的过程中，生成网络生成图像，生成网络将生成图像输入到判别网络中，同时还将正常照度的图像也输入到判别网络中，判别网络对图像的真假进行判断，当损失函数达到最小值时，得到训练好的深度卷积生成对抗网络。

进一步地，所述训练集，构建过程包括：

从coco数据库中选取n张正常照度的图像；对n张正常照度的图像进行雾化、添加噪声或高斯模糊处理得到n张低照度图像；将n张正常照度的图像与n张低照度的图像进行标签化处理，然后按比例划分为训练集、测试集和验证集。

进一步地，训练结束的标准为深度卷积生成对抗网络dcgan的总损失函数达到最小值时，停止训练；否则，继续训练。

进一步地，所述深度卷积生成对抗网络dcgan的总损失函数，包括：

均方误差mse损失函数、生成网络的重建损失函数adv和判别网络的对抗损失函数。

作为一个或多个实施例，所述s103：将原始目标图像输入到预先训练好的深度卷积生成对抗网络dcgan中，输出增强后的初始目标图像；具体步骤包括：

将原始目标图像输入到预先训练好的深度卷积生成对抗网络dcgan的生成网络中，生成网络输出生成图像；

利用自动色彩增强算法对生成网络输出的生成图像进行色彩增强处理；将色彩增强处理后的图像作为增强后的初始目标图像。

进一步地，所述s104：将增强后的初始目标图像与原始目标图像进行融合，得到最终增强后的目标图像；具体步骤包括：

将增强后的初始目标图像与原始目标图像，采用主成分变换pca算法进行图像融合；得到最终增强后的目标图像。

应理解的，s104的步骤好处是，可以突出主要信息，抑制噪声，达到图像进一步增强的目的。

进一步地，所述生成网络中，除网络最后的输出层使用tanh激活函数外，其余激活层均使用relu函数激活。

进一步地，判别网络中，激活函数除最后一层外均使用leakyrelu函数，最后一层激活函数使用sigmoid全连接层。

利用u-net结构和深度卷积生成对抗网络，通过利用低照度的图像生成的图像与真实照度图像拟合的方法，提高了仿生机器鱼水下视觉图像的照度和对比度，实现了图像的增强。

本公开提出的具有u-net结构的深度卷积生成对抗网络结构如图1所示。

生成对抗网络(generativeadversarialnetworks)由两个互相博弈的网络构成，它们分别是生成网络(g)和判别网络(d)。其中，生成网络的作用是抓取真实数据的潜在分布；判别网络的作用是判断输入的数据是否是真实的数据，还是生成网络生成的数据，判别网络的本质是一个二分类器。

生成对抗网络可视为一个求极大极小的零和博弈问题。

其中，e表示期望；x～pdata(x)表示数据是真实数据；z为服从某种先验分布p(z)的随机噪声，一般为高斯分布、均匀分布等。

深度卷积生成对抗网络的提出，解决了生成对抗网络的一些缺点，比如训练不稳定、生成过程不可控等问题。深度卷积生成对抗网络的判别网络是使用卷积神经网络来代替生成对抗网络的多层感知机，去掉了卷积神经网络中的池化层，减轻了计算量并使得整个网络可微。生成网络使用转置卷积进行上采样，能够使网络使用最佳方式进行上采样。

本公开使用的深度卷积生成对抗网络目标函数为：

一般在深度卷积生成对抗网络中，生成网络结构为编码解码(encode-decode)结构。其结构示意图如图2(a)所示。

在编码解码的过程中，首先将图像进行编码，然后将处理后的图像的全部信息压缩成瓶颈层向量，随后通过解码操作得到结果图。但是这种网络结构会产生图像信息在瓶颈层丢失的问题，导致网络输入和输出之间的信息大量丢失。u-net网络结构在编码解码相对应的层之间添加一个映射，在编码过程中将数据映射到对应的解码过程中。其映射过程如图2(b)所示。这样可以避免生成网络在处理信息时出现信息丢失的问题。

在本公开的具有u-net结构的深度卷积生成对抗网络中，将输入图像采用非线性映射的方法处理，然后输入图像。

一个非线性映射的流程为：首先对输入的图像进行卷积运算处理，然后使用群组归一化(groupnormalization)将卷积结果进行规范化操作，最后使用激活函数对规范化的卷积结果进行处理。

在生成网络中，除网络最后的输出层使用tanh激活函数外，其余激活层均使用relu函数激活，目标是最小化判别网络的判别准确率，且能使输出的均值为0，且稳定性较强。

在判别网络中，激活函数除最后一层外均使用leakyrelu函数，目标是最大化判别网络的判别准确率，加快了计算速度，解决了训练过程中梯度消失的问题。这样设置激活函数，能够使得非线性映射结构对整个网络结构更好地提取输入的图像特征。最后一层激活函数使用sigmoid全连接层，完成判别过程的二分类。群组归一化是将分散数据统一的做法，经常用来优化神经网络，因为统一规格数据的存在，深度卷积生成对抗网络能够减少冗杂多余的图像信息，加快整个网络的训练速度，增强网络的稳定性。

在生成网络的最后，利用自动色彩增强算法(automaticcolorenhancement，ace)增强生成网络输出的图像的色彩，以加强整个网络的图像增强的能力。自动色彩增强算法分别对生成网络生成图像进行重构调整，重构调整后的图像能够完成图像的色差修正。自动色彩增强算法对对比度低、噪声有雾的图像处理效果明显。自动色彩增强算法的方法如下：

首先对生成网络生成的彩色图像进行rgb三通道的单独处理，计算图像中每一个像素的y(x)值，即：

其中y(x)为中间结果，sl(*)为亮度函数，其本质为坡道函数，b(x)-b(y)为两个点之间的亮度差值，||x-y||表示两个点之间的距离。然后对矫正过的图像进行线性扩展，利用o(x)将y(x)的值归一化到[0,225]之间，得到整张图片的白平衡。最后求解最优解，即：

本公开采用的深度卷积生成对抗网络的生成网络与判别网络结构，如图3(a)和图3(b)所示。

设gf(x)为非线性映射单元，gf(x)＝x，即：

其中，αi,βi为gn的重构参数。若g0(x)＝dim为生成网络的输入，gi(x)为生成网络中卷积层的输出，则：

leap(x)＝gfi,2[gfi,1(gi-1(x))],

gi(x)＝maxpooling{leap(x)},0<i≤3

其中，leap(x)表示u-net结构的特征图跳跃操作。生成网络的瓶颈卷积层由两个非线性映射构成，记为g4(x)。生成网络的解码操作需要在网络进行特征提取前完成，并且需要对特征图进行放大，与跳跃的特征图进行连接，因此有：

up(x)＝concat(resize(x),leap(x)),

gi(x)＝gfi,2{gfi,2[up(gi-1(x))]},4<i≤7

最后，生成网络的输出层为：

判别网络的结构使用步长(stride)为2的卷积层取代池化层。第一个非线性映射不使用群组归一化操作。设df(x)为d的非线性映射单元,df0(x)＝g(dim)或rgb，则:

dfj(x)＝max(αh(x),h(x)),α＝0.2,

设di(x)为判别网络中卷积单元的输出，且d0(x)＝0，则：

di(x)＝dfi,2[dfi,1(di-1(x))],0<i≤5

然后用1×1的卷积层对d5(x)进行通道压缩，在用两个全连接成将结果映射到一个值，并且用tanh函数将其映射到(-1,1)的取值范围，由此得到输出d(g(dim))和d(rgb)。

均方误差(mean-squareerror,mse)损失是处理计算机视觉常用到的损失函数，它在图像内容增强表现较好，因此本公开在仿生机器鱼水下视觉图像增强过程中采用均方误差损失。均方误差损失能够反映判别网络的判伪能力，它能够使生成的图像视觉效果更接近于目标图像。

本公开采用的具有u-net结构的深度卷积生成对抗网络的损失函数如下:

ltotal＝λ1*lmse+λ2*ladv+λ3*ll1

为了更好地实现仿生机器鱼的水下低照度图像增强，本公开将lmse、ladv和ll1的比例和作为损失函数，使得仿生机器鱼水下低照度图像的增强结果保留更多的细节从而得到更好的水下视觉效果。

其中，λ1、λ2、λ3为各个损失函数的权重，通过实验验证得出具体数值。单个的lmse损失能够起到不错的增强效果，但是结果较为平滑，视觉效果上的表现并不好；ll1损失能够有效地提升图像均匀区域的平滑度和对比度。ll1相对于lmse拥有较少的噪声干扰，这个特征应用在仿生机器鱼的水下低照度图像的处理上，能够使得像素暗区的到效果更好地增强。

由于水下真实环境的局限性，要同时获取同一个水下场景的低照度图像和正常图像的操作难度极大，直接导致网络训练所用到的数据集难以获取。因此，本公开利用coco数据库中选取4000张照度正常的图像，通过对图像进行雾化、添加噪声、高斯模糊等操作来模拟水下采集到的低照度图像。然后用数据集中的图像制作20200对正常照度和低照度的图像，其中20000对图像作为网络训练时所用的训练集，200对作图像为网络训练时所用的测试集。

深度卷积生成对抗网络的训练方法和生成对抗网络的训练方法相同，训练时每次使用低照度图像与正常照度图像对生成网络和判别网络进行交替的训练直至损失收敛，网络即训练完毕。

本实施例利用具有u-net结构的深度卷积生成对抗网络，最终实现了仿生机器鱼的视觉图像增强，通过利用低照度的图像生成的图像与真实照度图像拟合的方法，实现了图像的增强。

本公开采用的图像拟合方法为基于主成分变换(pca)图像融合，主要步骤为：首先对参加融合的图像进行匹配校准，计算出多光谱图像的主成分变换矩阵；然后将全色图像与主分量图像进行直方图匹配，用全色图像替换主分量图像；最后对图像做逆主分量变换，得到最终的融合图像。采用pca图像融合，新生成的图像光谱特性保持较好，且突出了主要信息，抑制了噪音，达到了图像增强的目的。

本公开实现的最终效果是提高了仿生机器鱼在水下使用视觉的适用性与准确性，能令使用者更好地观察和理解水下情况，进行复杂的作业。

使用了具有u-net结构的深度卷积生成对抗网络，通过利用低照度的图像生成后经过自动色彩增强算法处理过的图像与真实照度图像拟合的方法，实现了图像的增强，完成了整个仿生机器鱼水下视觉增强的过程。

使用了u-net结构和深度卷积生成对抗网络结合起来共同对机器鱼的水下视觉进行增强。

所用的具有u-net结构的深度卷积生成对抗网络中的生成网络与u-net结构相结合，避免了生成网络在处理信息时出现信息丢失的问题。

所用的具有u-net结构的深度卷积生成对抗网络中的生成网络除最后一层均使用relu激活函数，使得判别网络中的判别准确率最小化。

所用的具有u-net结构的深度卷积生成对抗网络的生成网络使用自动色彩增强算法对其生成的图像进行处理。

所用的具有u-net结构的深度卷积生成对抗网络中的对抗网络除最后一层均使用leakyrelu激活函数，使得判别网络中的判别准确率最大化。

所用的具有u-net结构的深度卷积生成对抗网络输入使用非线性映射单元，能够使得非线性映射结构对整个网络结构更好地提取输入的图像特征。

所用的具有u-net结构的深度卷积生成对抗网络采用均方误差损失，能够使生成的图像视觉效果更接近于目标图像。

所用的具有u-net结构的深度卷积生成对抗网络使用lmse、ladv和ll1的比例和作为损失函数，使得仿生机器鱼水下低照度图像的增强结果保留更多的细节从而得到更好的水下视觉效果。

所用的具有u-net结构的深度卷积生成对抗网络使用pca图像融合，将低照度那个的图像与真实照度的图像进行图像拟合，达到了图像增强的目的。

构建具有u-net结构的深度卷积生成对抗网络，利用生成对抗网络的特性，通过利用低照度的图像生成的图像与真实照度图像拟合的方法，实现了图像的增强。让仿生机器鱼能够在对图像对摄像头所获取的视觉图像进行优化，从而精细准确地输出仿生机器鱼当前所获取的视觉信息，提高了机器鱼视觉系统的可靠性与适用性，从而准确地输出水下仿生机器鱼获取的画面，更好地观察水下环境，执行复杂任务。

实施例二

本实施例提供了一种仿生机器鱼水下视觉图像增强系统；

一种仿生机器鱼水下视觉图像增强系统，包括：

获取模块，其被配置为：利用仿生机器鱼获取原始目标图像；

预处理模块，其被配置为：对原始目标图像采用非线性映射的方式进行预处理；

输出模块，其被配置为：将原始目标图像输入到预先训练好的深度卷积生成对抗网络dcgan中，输出增强后的初始目标图像。

此处需要说明的是，上述获取模块、预处理模块和输出模块对应于实施例一中的步骤s101至s103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的系统，可以通过其他的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

实施例五

一种控制器，其采用上述所述一种仿生机器鱼水下视觉图像增强方法中的步骤，对仿生机器鱼进行水下视觉的增强。

实施例六

本公开的第六个方面提供一种仿生机器鱼，其包括实施例五的控制器。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。