异常轨道图像合成方法、装置、设备及可读介质

本发明涉及工业视觉，尤其涉及异常轨道图像合成方法、装置、设备及可读介质。

背景技术：

1、拥有数量充足、类型丰富的异常轨道图像数据集是开展系统评定工作的重要前提。目前异常轨道图像主要依靠人工收集，效率较低、而且所获异常图像的规模和种类难以满足实际评定需求。因此，亟需研制异常轨道图像自动合成技术，以助力轨道巡检系统评定。

2、广义的图像合成包括四个步骤：图像拼贴、边缘融合、图像和谐化、阴影生成。在轨道巡检场景中，图像采集设备的光源与地面垂直，所拍摄图像几乎不存在阴影，故而轨道图像合成任务种无需考虑边缘融合与阴影生成操作。对轨道异常图像合成而言，和谐化处理是图像合成的重点和难点，其作用在于调整前景图像亮度分布，使其与背景图像具有相同观感。深度神经网络（dnns）是目前业界主流图像和谐手段，其基本思想是利用dnns构建从不和谐图像到和谐图像的映射关系，由于计算复杂性所限，绝大多数已有和谐化技术仅能处理低分辨率图像。近年来陆续出现少量高分辨率图像和谐化技术，然而这些技术主要针对彩色自然图像的常规属性设计，未能充分考虑轨道图像的特异化属性，无法直接应用于异常轨道图像合成任务。

3、轨道巡检场景的特殊性使得现有图像和谐化技术很难直接应用于异常轨道图像合成任务，主要原因可归结为现在现有技术未考虑轨道图像的自身特点。首先，轨道图像分辨率较高，现有和谐化技术大多针对低分辨率图像，难以满足轨道图像合成的清晰度要求。其次，受存储和传输等因素制约，轨道巡检系统采用单通道灰度图像，而现有的高分辨率图像和谐化方法均针对常规彩色图像设计，未能很好适用于轨道图像。最后，轨道图像的一些特异化属性使得许多常用和谐化技巧失灵。例如钢轨表面高反射率较高，导致巡检画面中钢轨表面区域与其周边像素的亮度反差极大，诸如全变分正则化、全局亮度变换等技巧无法应用于轨道图像和谐化。又如轨道图像中扣件规律性地分布于钢轨两侧，使得一些常用数据增广策略（例如随机裁剪）无法用于轨道图像。

4、公开于本技术背景技术部分的信息仅旨在加深对本技术的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

1、有鉴于此，本发明实施例的目的在于提出异常轨道图像合成方法、装置、设备及可读介质，实现用少量代表性异常部件图像和大量正常轨道巡检图像，合成出数量充足、类型丰富的异常轨道图像，具有图像合成效率高、合成结果观感自然、异常类型可订制等优点，能较好地满足轨道巡检系统评定要求。

2、基于上述目的，本发明实施例的一方面提供了异常轨道图像合成方法，包括以下步骤：对若干轨道图像进行预处理，以获得正常背景集合、异常前景集合、和谐化训练样本集合；基于所述和谐化训练样本集合训练和谐化模型，以得到训练后的和谐化模型，所述训练后的和谐化模型基于拼贴图像的背景像素亮度自适应调节前景像素亮度，以获得前景背景光照一致的合成图像；将所述异常前景集合中任一前景拼贴于所述正常背景集合中任一背景的预设位置，以获得拼贴图像及其掩膜图像；以及将所述拼贴图像及其掩膜图像输入所述训练后的和谐化模型，以获得前景背景光照一致的合成图像。

3、在一些实施方式中，所述正常背景集合包括正常轨道图像，所述异常前景集合包括异常部件图像，所述和谐化训练样本集合包括拼贴图像、合成图像和二值掩模图像，所述拼贴图像和合成图像分别表示同一张图像前景背景光照不一致版本图像和一致版本图像，其中、、表示每个集合中元素的数量。

4、在一些实施方式中，对若干轨道图像进行预处理，以获得正常背景集合、异常前景集合、和谐化训练样本集合包括：从若干所述轨道图像中挑选出正常轨道图像组成正常背景集合；从若干所述轨道图像中挑选出异常图像，并从所述异常图像中裁剪出异常部件图像组成异常前景集合；将任一正常轨道图像和任一异常部件图像组合得到前景背景光照不一致拼贴图像及其掩模图像，并通过调整所述异常部件图像的亮度得到前景背景光照一致的合成图像，将所述拼贴图像、所述掩模图像和所述合成图像作为一组和谐化训练样本；重复上一步骤并获得多组所述和谐化训练样本组成和谐化训练样本集合。

5、在一些实施方式中，通过调整所述异常部件图像的亮度得到前景背景光照一致的合成图像包括：通过所述掩模图像提取所述正常轨道图像中被所述异常部件图像遮盖的区域图像；通过直方图匹配技术，将所述异常部件图像的亮度分布调整为所述区域图像的亮度分布，以得到调整后的异常部件图像；将所述调整后的异常部件图像拼贴在所述预设位置以得到前景背景光照一致的合成图像。

6、在一些实施方式中，基于所述和谐化训练样本集合训练和谐化模型，以得到训练后的和谐化模型包括：初始化和谐化模型的模型参数；对所述和谐化训练样本集合执行随机数据增广以获得增广训练样本集合，将所述增广训练样本集合中的样本逐个输入所述和谐化模型，以得到实际输出合成图像，度量所述实际输出合成图像和理想输出合成图像之间的差异，以计算模型损失，并基于优化算法降低所述模型损失，以更新所述模型参数；重复上一步骤以更新所述模型参数，直至所述模型收敛，以得到训练后的和谐化模型。

7、在一些实施方式中，对所述和谐化训练样本集合执行随机数据增广以获得增广训练样本集合包括：对所述和谐化训练样本集合中同组样本中的图像执行任意相同变化方式进行数据增广，所述变化方式至少包括：无操作、水平镜像、垂直镜像、水平垂直双向镜像；将所有增广样本加入所述和谐化训练样本集合，以得到增广训练样本集合。

8、在一些实施方式中，将所述增广训练样本集合中的样本逐个输入所述和谐化模型，以得到实际输出合成图像包括：获取所述增广训练样本集合中的样本中的拼贴图像及其掩模图像，通过下采样获得低分辨率的拼贴图像及其低分辨率的掩模图像，并输入u型网络模块得到低分辨率变换张量，对所述低分辨率变换张量进行上采样获得所述拼贴图像及其掩模图像对应的变换张量；基于所述变换张量对所述拼贴图像进行亮度变换，以得到变换后的中间图像，将所述中间图像的背景替换为输入图像背景，以获得实际输出合成图像，其中表示矩阵元素乘运算，表示宽高与相同的全1矩阵。

9、在一些实施方式中，所述u型网络模块由编码器和解码器构成，输入为2通道张量，输出为通道张量；所述编码器包括个卷积层，每个所述卷积层依次包括卷积、批归一化处理、elu激活三项基本操作，且每经过一层所述卷积层，输出特征图的宽高减半；所述解码器包含个转置卷积层，每个所述转置卷积层依次包括转置卷积、批归一化处理、elu激活三项基本操作；每经过一层所述转置卷积层，输出特征图的宽高翻倍；所述解码器前层与所述编码器后层之间设置有跳转连接，每层转置卷积层输出结果与对应卷积层的输入特征图相加，作为下一层转置卷积层的输入。

10、在一些实施方式中，基于所述变换张量对所述拼贴图像进行亮度变换包括通过以下公式进行亮度变换：

11、，

12、其中，，表示张量的第通道所对应的参数矩阵；用于控制亮度变换的最小值，对应后个变换通道的融合权重；表示矩阵非负化处理，即将输入矩阵中负数元素置为零，表示矩阵中所有元素同时减去标量。

13、在一些实施方式中，所述模型损失通过以下公式进行计算：

14、，

15、其中表示两个图像矩阵之间的均方差；表示低分辨率条件下的图像和谐化结果，表示通过下采样得到的低分辨率理想输出图像；为超参数，用于调节高分辨率损失与低分比率损失之间的比重。

16、本发明实施例的另一方面，还提供了异常轨道图像合成装置，包括：数据集构建模块，配置用于对若干轨道图像进行预处理，以获得正常背景集合、异常前景集合、和谐化训练样本集合；模型训练模块，配置用于基于所述和谐化训练样本集合训练和谐化模型，以得到训练后的和谐化模型，所述训练后的和谐化模型基于拼贴图像的背景像素亮度自适应调节前景像素亮度，以获得前景背景光照一致的合成图像；图像拼贴模块，配置用于将所述异常前景集合中任一前景拼贴于所述正常背景集合中任一背景的预设位置，以获得拼贴图像及其掩膜图像；以及图像合成模块，配置用于将所述拼贴图像及其掩膜图像输入所述训练后的和谐化模型，以获得前景背景光照一致的合成图像。

17、本发明实施例的再一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述方法的步骤。

18、本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。

19、本发明至少具有以下有益技术效果：实现用少量代表性异常部件图像和大量正常轨道巡检图像，合成出数量充足、类型丰富的异常轨道图像，具有图像合成效率高、合成结果观感自然、异常类型可订制等优点，能够较好满足轨道巡检系统评定要求。