神经网络训练方法、激光扫描图像处理方法及装置与流程

本发明涉及激光扫描视觉技术领域，具体涉及一种神经网络训练方法、激光扫描图像处理方法及装置。

背景技术：

2d激光轮廓度仪是一种线结构激光扫描的视觉系统，可以用于3d成像测量方式，它使用线状激光投影到物体表面，然后图像传感器接收激光光斑图像，完成测量过程。在激光轮廓度仪使用过程中，经常出现的激光图像对比度变化问题，测量表面材质、表面的曲率、倾斜角都会影响到激光接收能量的变化，导致测量数据不稳定。反映在激光扫描数据上会产生很多干扰噪声点，影响到后续的点云创建和建模过程。

为了解决以上过程，传统的图像处理算法包括回归、区域分析、聚类等机器学习算法能解决一部份干扰问题，但是适用范围比较狭窄，往往根据特定的应用配置算法，通用性差。并且计算过程复杂，包含太多的逻辑判断过程，难于使用fpga并行硬件加速。因此常规激光光斑识别方法只能针对连续平滑和漫发射系数物体表面，难于适应快速变化的物体表面，这样就给激光线结构光测量的推广应用到来很多问题，不能快速形成应用系统，限制了激光结构光的测量范围。

因此，如何减少复杂的语义特征提取，提高图像处理通用性成为亟待解决的技术问题。

技术实现要素：

本发明要解决的技术问题在于如何减少复杂的语义特征提取，提高图像处理通用性。

为此，根据第一方面，本发明实施例公开了一种神经网络训练方法，包括：

获取在时域上连续的若干帧图像作为训练图集，若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像；基于预设规则对训练图像集进行扩展得到扩展数据集合；将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络。

可选地，基于预设规则对训练图像集进行扩展得到扩展数据集合包括：按第一预设梯度对训练图像集中各帧图像设置多个干扰深浅浓度；按第二预设梯度对训练图像集中各帧图像设置多个成像光条角度，成像光条角度为被测对象的轮廓曲率。

可选地，在基于预设规则对训练图像集进行扩展得到扩展数据集合和将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络之间，还包括：对扩展数据集中的各帧图像分别进行裁剪得到样本数据集；将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络包括：将样本数据集输入至卷积神经网络进行训练得到训练后的卷积神经网络。

根据第二方面，本发明实施例公开了一种激光扫描图像处理方法，包括：

选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；将待处理图像集输入卷积神经网络，卷积神经网络采用上述第一方面任意一项公开的训练方法训练而成；接收卷积神经网络输出的各个像素块的质量评价得分；判断质量评价得分是否超过第一阈值；如果质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。

可选地，在判断质量评价得分是否超过第一阈值和确定质量评价得分的像素块为有效激光光点像素之间，还包括：如果质量评价得分超过第一阈值，则判断质量评价得分对应的像素块的像素值是否大于第二阈值；如果质量评价得分对应的像素块的像素值超过第二阈值，则确定质量评价得分的像素块为有效激光光点像素。

根据第三方面，本发明实施例公开了一种神经网络训练装置，包括：

训练集获取模块，用于获取在时域上连续的若干帧图像作为训练图集，若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像；扩展模块，用于基于预设规则对训练图像集进行扩展得到扩展数据集合；训练模块，用于将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络。

可选地，所述扩展模块包括：浓度单元，用于按第一预设梯度对所述训练图像集中各帧图像设置多个干扰深浅浓度；角度单元，用于按第二预设梯度对所述训练图像集中各帧图像设置多个成像光条角度，所述成像光条角度为被测对象的轮廓曲率。

根据第四方面，本发明实施例公开了一种激光扫描图像处理装置，包括：

选取模块，用于选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；输入模块，用于将待处理图像集输入卷积神经网络，卷积神经网络采用上述第二方面任意一项公开的训练装置训练而成；评价模块，用于接收卷积神经网络输出的各个像素块的质量评价得分；判断模块，用于判断质量评价得分是否超过第一阈值；确定模块，用于如果判断模块判断质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。

根据第五方面，本发明实施例公开了一种计算机装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序实现如下方法：

选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；将待处理图像集输入卷积神经网络，卷积神经网络采用上述第一方面任意一项公开的训练方法训练而成；接收卷积神经网络输出的各个像素块的质量评价得分；判断质量评价得分是否超过第一阈值；如果质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。

根据第六方面，本发明实施例公开了一种计算机可读存储介质，其上存储有计算机程序，存储介质中存储的计算机程序被执行实现如下方法：

选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；将待处理图像集输入卷积神经网络，卷积神经网络采用上述第一方面任意一项公开的训练方法训练而成；接收卷积神经网络输出的各个像素块的质量评价得分；判断质量评价得分是否超过第一阈值；如果质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。

本发明技术方案，具有如下优点：

本发明实施例提供的神经网络训练方法及装置，通过在时域上连续的若干帧图像作为训练图集，若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像，而后，对训练图像集进行扩展得到扩展数据集合，将该扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络，使得卷积神经网络能够学习到无干扰激光扫描图像特征信息和存在干扰的激光扫描图像的特征信息，因此，可以减少复杂的语义特征提取。

本发明实施例提供的激光扫描图像处理方法及装置，将时序上连续的若干帧激光扫描图像输入至卷积神经网络，由于该卷积神经网络学习到了无干扰激光扫描图像特征信息和存在干扰的激光扫描图像的特征信息，因此，在接收该卷积神经网络输出的各个像素块的质量评价得分，可以确定各个像素块的像素质量，在质量评价得分超过第一阈值时，可以确定质量评价得分的像素块为有效激光光点像素。相对于现有技术中，提取语义特征的方式，本发明实施例的方案可以减少复杂的语义特征提取，提高图像处理通用性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种神经网络训练方法流程图；

图2为本发明实施例中公开的一种卷积神经网络结构原理示意图；

图3为本发明实施例中公开的一种改善的卷积神经网络结构原理示意图；

图4为本发明实施例公开的一种激光扫描图像处理方法流程图；

图5为本发明实施例公开的一种神经网络训练装置结构示意图；

图6为本发明实施例公开的一种激光扫描图像处理装置结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

为了减少复杂的语义特征提取，提高图像处理通用性，本实施例公开了一种神经网络训练方法，请参考图1，为本实施例公开的一种神经网络训练方法流程图，该神经网络训练方法包括：

步骤s100，获取在时域上连续的若干帧图像作为训练图集。本实施例中，所称若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像。可以采用预设方式对激光扫描图像进行干扰得到存在干扰的激光扫描图像。一般而言，激光扫描获得一个在时域上连续的序列图像，因此，在具体实施例中，深度学习的输入采用前后一帧和当前帧图像组成一个3通道的图像作为输入，即采集的激光光斑图像序列表示为pn-k,...,pn-2,pn-1,pn,pn+1，pn是当前图像，取连续三帧pn-1,pn,pn+1作为一个处理输入。需要说明的是，在其它实施例中，也可以采集前后两帧图像和当前帧图像组成一个5通道的图像作为输入。本实施例，并不限制具体的图像帧数。

步骤s200，基于预设规则对训练图像集进行扩展得到扩展数据集合。因为干扰数据集数量较少，因此，为了丰富神经网络训练的样本，可以对训练图像集进行扩展得到扩展数据集合。在具体实施例中，基于预设规则对训练图像集进行扩展得到扩展数据集合可以包括：按第一预设梯度对训练图像集中各帧图像设置多个干扰深浅浓度；按第二预设梯度对训练图像集中各帧图像设置多个成像光条角度，本实施例中，所称成像光条角度为被测对象的轮廓曲率。具体地，第一预设梯度和第二预设梯度可以根据经验确定，干扰图案深浅浓度设置为例如15％，25％，40％，55％，70％、80％和90％等几种，干扰光条图像设置成例如0度、30度、45度、75等几种角度，需要说明的是，在扩展数据集合时候，应前后帧同步扩展，即对于相同坐标位置上的像素块采用同样的扩展方式进行扩展。

步骤s300，将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络。本实施例中，将按不同梯度扩展干扰后得到扩展数据集合输入至卷积神经网络中，可以对卷积神经网络进行训练得到训练后的卷积神经网络。

在具体实施例中，在执行步骤s200和步骤s300之间，还可以包括：对扩展数据集中的各帧图像分别进行裁剪得到样本数据集。将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络包括：将样本数据集输入至卷积神经网络进行训练得到训练后的卷积神经网络。具体地，在对扩展数据集中的各帧图像分别进行裁剪时，考虑到激光图像特点，因为激光图像水平方向维数大于垂直方向维数，故可以将训练样本的测试样本裁减为例如128*64大小，挑选例如2048个样本图像作为训练样本，例如1024个样本图像作为测试样本。需要说明的是，上述具体数值的大小仅为示例性描述，不能理解为对本实施例具体技术方案的限制。

为便于本领域技术人员理解，在对卷积神经网络进行训练时，具体的示例训练过程如下：

(1)训练样本输入卷积神经网络，第一层网络使用32个11*11*3三维模板滤波器，模板滤波器使用gabor滤波器进行初始化，总共使用4个方向和4种频率gabor系数进行初始化。

(2)第一层卷积后，得到128*64*32的特征向量，对于边界像素进行填充操作(padding)，填充0值，卷积后特征向量过多，对其进行池化缩小维数操作，缩小成64*32*56特征向量.

(3)第一层卷积层输出结果输入到第二层卷积网络中，卷积模板使用5*5大小，使用后得到128*64*56的特征向量，对于边界像素进行填充操作(padding)，填充0值，卷积后特征向量过多，对其进行池化pooling缩小维数操作，缩小成32*16*56特征向量。

(4)进行维度收缩，由一层卷积网络组成，包含16个1*1的卷积滤波器，将第一层56个通道的特征向量压缩到16个通道。

(5)第一层后面跟随6层3*3个模板滤波器的卷积层，每层模板滤波器组包含16个3*3模板。

(6)以上每个卷积层后面跟随一个激活函数层，避免神经网络训练死区出现。激活函数如下式(1)所示，

其中，prelu(xi)为激活函数，系数αi随着训练过程进行更新,更新函数如式(2)所示，αi初始值设置为0.2，是学习率初始化为0.0001；

(7)在3*3卷积层后面是48个1*1卷积层，进行维数扩展，前面的维数压缩导致大量细节丢失，训练效果不好，所以将低维度扩展到高维度，保存更多细节提高训练收敛效率。

(8)反卷积，请参考图2，示意了一种卷积神经网络结构原理，使用1个高斯滤波器反卷积输出和原始图像维数一致的矩阵输出，输出的每个节点表示图像中每个像素属于有效激光投影光斑的概率值。使用卷积神经网络的最后一层的特征向量反卷积获得的分割图像分辨率很低，很多细节丢失。请参考图3，示意了改善后的卷积神经网络结构，将卷积神经网络最后一层特征值和卷积神经网络的倒数第二层的输出特征进行合并，输出分辨率更高的分割图像，这种合并过程可以一直逆推到卷积神经网络更低的层级，从而获得高分辨率的分割图像。

本实施例还公开了一种激光扫描图像处理方法，请参考图4，为本实施例公开的一种激光扫描图像处理方法流程图，该激光扫描图像处理方法包括：

步骤s401，选取待处理图像集。本实施例中，所称待处理图像集为时序上连续的若干帧激光扫描图像。

步骤s402，将待处理图像集输入卷积神经网络。本实施例中卷积神经网络采用上述实施例公开的训练方法训练而成。

步骤s403，接收卷积神经网络输出的各个像素块的质量评价得分。在具体实施例中，输出的质量评价得分为各个像素块的得分，一般而言，神经网络在训练完成后，可以对输入的待处理图像帧中的各个像素块进行评价，输出各个用于表征各个像素块质量得分的权值表。

步骤s404，判断质量评价得分是否超过第一阈值。本实施例中，所称第一阈值可以根据经验确定，在具体判断过程中，可以依次判断权值表中的各个权值，如果质量评价得分超过第一阈值，则执行步骤s405。

步骤s405，确定质量评价得分的像素块为有效激光光点像素。

为了减少突变的像素块对判断结果的影响，在可选的实施例中，在执行步骤s404和步骤s405之间，还可以包括：如果质量评价得分超过第一阈值，则判断质量评价得分对应的像素块的像素值是否大于第二阈值；如果质量评价得分对应的像素块的像素值超过第二阈值，则确定质量评价得分的像素块为有效激光光点像素。本实施例中，所称第二阈值可以根据经验确定，通过像素块的像素值与第二阈值的比较，当像素块的像素值超过第二阈值时，则表明当前像素块的前后帧是连续的，反之，当像素块的像素值小于第二阈值时，则表明前后帧图像不连续，当前帧的图像可能存在环境的干扰。

本实施例还公开了一种神经网络训练装置，请参考图5，为本实施例公开的一种神经网络训练装置结构示意图，该神经网络训练装置包括：训练集获取模块100、扩展模块200和训练模块300，其中：

训练集获取模块100用于获取在时域上连续的若干帧图像作为训练图集，若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像；扩展模块200用于基于预设规则对训练图像集进行扩展得到扩展数据集合；训练模块300用于将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络。

在可选的实施例中，扩展模块包括：浓度单元，用于按第一预设梯度对训练图像集中各帧图像设置多个干扰深浅浓度；角度单元，用于按第二预设梯度对训练图像集中各帧图像设置多个成像光条角度，成像光条角度为被测对象的轮廓曲率。

本实施例还公开了一种激光扫描图像处理装置，请参考图6，为本实施例公开的一种激光扫描图像处理装置结构示意图，该激光扫描图像处理装置包括：选取模块601、输入模块602、评价模块603、判断模块604和确定模块605，其中：

选取模块601用于选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；输入模块602用于将待处理图像集输入卷积神经网络，卷积神经网络采用如权利要求6或7的训练装置训练而成；评价模块603用于接收卷积神经网络输出的各个像素块的质量评价得分；判断模块604用于判断质量评价得分是否超过第一阈值；确定模块605用于如果判断模块判断质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。

此外，本实施例还公开了一种计算机装置，包括处理器，处理器用于执行存储器中存储的计算机程序实现如下方法：

选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；将待处理图像集输入卷积神经网络，卷积神经网络采用上述第一方面任意一项公开的训练方法训练而成；接收卷积神经网络输出的各个像素块的质量评价得分；判断质量评价得分是否超过第一阈值；如果质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。

在可选的实施例中，在判断质量评价得分是否超过第一阈值和确定质量评价得分的像素块为有效激光光点像素之间，还包括：如果质量评价得分超过第一阈值，则判断质量评价得分对应的像素块的像素值是否大于第二阈值；如果质量评价得分对应的像素块的像素值超过第二阈值，则确定质量评价得分的像素块为有效激光光点像素。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(rom)或随机存储记忆体(ram)等。计算机处理器用于执行存储介质中存储的计算机程序实现以下方法：

选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；将待处理图像集输入卷积神经网络，卷积神经网络采用上述第一方面任意一项公开的训练方法训练而成；接收卷积神经网络输出的各个像素块的质量评价得分；判断质量评价得分是否超过第一阈值；如果质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。

在可选的实施例中，在判断质量评价得分是否超过第一阈值和确定质量评价得分的像素块为有效激光光点像素之间，还包括：如果质量评价得分超过第一阈值，则判断质量评价得分对应的像素块的像素值是否大于第二阈值；如果质量评价得分对应的像素块的像素值超过第二阈值，则确定质量评价得分的像素块为有效激光光点像素。

本发明实施例提供的神经网络训练方法及装置，通过在时域上连续的若干帧图像作为训练图集，若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像，而后，对训练图像集进行扩展得到扩展数据集合，将该扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络，使得卷积神经网络能够学习到无干扰激光扫描图像特征信息和存在干扰的激光扫描图像的特征信息，可以通过此卷积神经网络完成实际激光扫描图像干扰和非干扰部分的分类，因此，可以减少复杂的语义特征提取。

本发明实施例提供的激光扫描图像处理方法及装置，将时序上连续的若干帧激光扫描图像输入至卷积神经网络，由于该卷积神经网络学习到了无干扰激光扫描图像特征信息和存在干扰的激光扫描图像的特征信息，因此，在接收该卷积神经网络输出的各个像素块的质量评价得分，可以确定各个像素块的像素质量，在质量评价得分超过第一阈值时，可以确定质量评价得分的像素块为有效激光光点像素。相对于现有技术中，提取语义特征的方式，本发明实施例的方案可以减少复杂的语义特征提取，提高图像处理通用性。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。