在无人设备上实现目标检测的在线训练方法与流程

本发明属于图像处理技术领域，主要涉及无人设备目标检测的在线训练，具体是一种在无人设备上实现目标检测的在线训练方法，可用于在无人设备上进行多种类别图像的目标检测网络的在线训练。

背景技术：

随着人工智能的发展和进步，无人设备在人们的生产和生活中占据着重要的地位，在遥感测绘、灾害救援、环保检测等许多领域都发挥着重要的作用。无人设备在常规的运转当中往往需要目标识别以及避障等功能，因此设计一个针对图像的目标检测网络的在线训练方法是十分有必要的。目标检测是对目标区域进行检测并进行图像分割，无人设备在检测到目标之后，进一步控制无人设备自身的运动状态。现有技术中，目标检测主要采用离线训练的网络训练方法，即先在离线的状态下，在图像处理前训练好目标检测网络，在检测时，用已经训练好的网络对所收集图像数据进行检测，满足检测要求的确认为是检测目标，否则为背景。然而，离线训练获得的样本值比较有限，无法根据用户的当前要求获得比较准确的目标区域。在现有的目标检测的在线训练技术中，仅考虑了使用传统目标检测算法进行目标检测的在线训练的方法，例如，申请公开号为cn103345644b，名称为“在线训练的目标检测方法及装置”的专利提出了一种采用基于人工阈值选取的目标检测算法的在线训练方法，该方法在一定程度上通过增加检测样本的数量，提高了在目标检测结果的准确度，但由于传统目标检测方法在阈值选择上主观因素较强，需要人为干预，而且传统方法的计算量较大，使得目标检测的速度不够快，而且检测的准确率不够高，无法达到实时进行目标检测与网络的在线训练并且取得较高检测结果的效果。因此高效精确的实时目标检测成为无人设备应用中亟待解决的问题。

技术实现要素：

本发明的目的在于针对现有技术的不足，提出一种检测精度更高、能够实时进行目标检测的在无人设备上实现目标检测的在线训练方法。

本发明是一种在无人设备上实现目标检测的在线训练方法，其特征在于，包括有如下步骤：

(1)针对不同图像特性分别设计相应的目标检测网络：根据全景相机、可见光相机和红外相机在进行图像目标检测时的条件和目的不同，针对这三类获取途径不同的图像分别设计适应各自类型特性的目标检测网络；

(2)对不同的目标检测网络进行初步训练：分别配置好全景视频、可见光视频和红外视频训练所需的图像库及相应信息的文件后，各类型的目标检测网络使用配置好的图像库及相应信息的文件进行初步训练，训练结束后，分别生成各自的网络参数文件，并将各自的网络参数文件分别拷贝到无人设备中；

(3)无人设备接收外界传入视频信息，并判断外界传入视频信息中是否包含目标相关的图像及语义信息：当无人设备所接收到外界传输进入的三种类型视频信息中没有目标相关的图像信息，只有目标相关的语义信息时，进行步骤(4)，选择与之相关的图像库；当无人设备所接收到外界传输进入的三种类型视频信息过程中有新目标相关的图像及语义信息或者已检测目标相关图像及语义信息时，进行步骤(5)，选择与之相关的图像库，并对其进行数据扩充；

(4)根据目标相关语义信息的解析选择相应图像库：对得到的新目标相关的语义信息或者原目标相关的语义信息进行解析，并通过解析结果选择该类型图像在无人设备中已配置好的图像库，进行在线训练；

(5)根据目标相关图像及语义信息选择相应的图像库并对相应的图像库进行扩充：对得到的新目标相关图像及语义信息或者原目标相关图像及语义信息进行解析，并通过解析结果实时选择该类型图像在无人设备中已配置好的图像库并寻找相关图像，同时将接收到的新目标的相关图像进行数据变换扩充并且不断将变换后的图像添加进该类型图像的数据库，进行在线训练；

(6)对各目标检测网络进行在线训练：反复执行步骤(3)到步骤(5)，对各目标检测网络进行在线训练，目标检测网络的在线训练包括全景视频、可见光视频以及红外视频目标检测网络的在线训练，将实时所获得的更新数据库中的数据分别输入到上一步训练所得相应类别的目标检测网络，对已有目标检测网络持续进行在线训练，并得到各类型网络的实时网络参数文件，并用实时的网络参数文件替换上一步训练所得的相应网络参数文件。

本发明在无人设备的目标检测过程当中，通过收集检测到的目标图像，对原有的图像库进行更新，对目标检测网络实时进行在线训练，并获得新的网络参数文件，实现了检测目标与网络训练的并行在线处理，达到更精准的实时检测效果。

本发明与现有技术相比较，具有如下优点：

第一，本发明由于无人设备在设计目标检测网络并用该网络对原有图像的图像库进行初步训练后，在运行中会通过对是否包含目标相关的图像信息进行判断后，对初步训练得到的目标检测网络进行在线训练，在线训练通过已更新图像库中数据的训练得到新的网络结构参数，并替换之前的网络参数文件，不断更新目标检测的网络结构，实现了检测目标与网络训练能够并行在线处理，在无人设备运行过程中得到实时检测结果。

第二，本发明由于无人设备在对实时接收到的图像数据进行是否包含目标相关的图像信息的判断后，选择相应的图像库，将接收到的图像进行数据扩充并且将变换后的图像添加进原有图像库，实现了图像库的实时更新，并保证图像库的图像具有较大样本数量，进而得到更高的目标检测精度。

附图说明

图1是本发明的流程框图；

图2是全景图像目标检测网络结构示意图；

图3是可见光图像目标检测网络结构示意图；

图4是红外图像目标检测网络结构示意图。

具体实施方式

以下结合附图和具体实施例，对本发明作详细的描述。

实施例1

随着人工智能的发展和进步，无人设备在人们的生产和生活中占据着重要的地位，无人设备在常规的运转当中往往需要目标识别以及避障等功能，因此有必要设计一个针对图像的目标检测网络的在线训练方法。现有技术中，目标检测主要采用离线训练的网络训练方法，离线训练获得的样本值比较有限，从而无法根据用户的当前要求获得比较准确的目标区域。在现有的目标检测的在线训练技术中，仅考虑了使用传统目标检测算法进行目标检测的在线训练的方法，由于传统目标检测方法在阈值选择上主观因素较强，需要人为干预，而且传统方法的计算量较大，使得目标检测的速度不够快，而且检测的准确率不够高，无法达到实时进行目标检测与网络的在线训练并且取得较高检测结果的效果。针对此现状，本发明展开了研究与创新，提出一种在无人设备上实现目标检测的在线训练方法，参见图1，包括有如下步骤：

(1)针对不同图像特性分别设计相应的目标检测网络：根据全景相机、可见光相机和红外相机在进行图像目标检测时的条件和目的不同，针对这三类获取途径不同的图像分别设计适应各自类型特性的目标检测网络。

(2)对不同的目标检测网络进行初步训练：分别配置好全景视频、可见光视频和红外视频训练所需的图像库及相应信息的文件后，各类型的目标检测网络使用配置好的图像库及相应信息的文件进行初步训练，训练结束后，分别生成各自的网络参数文件，并将各自的网络参数文件分别拷贝到无人设备中。

(3)无人设备接收外界传入视频信息，并判断外界传入视频信息中是否包含目标相关的图像及语义信息。当无人设备所接收到外界传输进入的三种类型视频信息过程中没有目标相关的图像信息，而只有目标相关的语义信息时，进行步骤(4)，根据接收到的语义信息选择与之相关的图像库。当无人设备所接收到外界传输进入的三种类型视频信息过程中有新目标相关的图像及语义信息或者已检测目标相关图像及语义信息时，执行步骤(5)，选择与目标相关图像及语义信息相关的图像库，并对其进行数据扩充；

(4)根据目标相关语义信息的解析选择相应图像库：当无人设备所接收到外界传输进入的三种类型视频信息中没有目标的相关图像信息，只有目标的相关语义信息时，对得到的新目标相关的语义信息或者原目标相关的语义信息进行解析，并通过解析结果选择该类型图像在无人设备中已配置好的图像库，进行在线训练。语义信息的解析是将像素按照图像中表达语义含义的不同进行自动分组或分割，并识别出图像中的内容。

(5)根据目标相关图像及语义信息选择相应的图像库并对相应的图像库进行扩充：当无人设备所接收到外界传输进入的三种类型视频信息中有新目标相关的图像及语义信息或者原目标相关图像及语义信息时，对得到的新目标相关图像及语义信息或者原目标相关图像及语义信息进行解析，并通过解析结果实时选择该类型图像在无人设备中已配置好的图像库并寻找相关图像，同时将接收到的图像进行数据变换扩充并且不断将变换后的图像添加进该类型图像的数据库，进行在线训练。例如在接收到有新目标相关图像及语义信息的可见光图像后，对这些可见光图像进行进一步图像变换处理，以增加可见光图像的样本数量，提高可见光目标检测网络的检测精度。

(6)对各目标检测网络进行在线训练：反复执行步骤(3)到步骤(5)，对各目标检测网络进行在线训练，目标检测网络的在线训练包括全景视频、可见光视频以及红外视频目标检测网络的在线训练，将实时所获得的更新数据库中的数据分别输入到上一步训练所得相应类别的目标检测网络，对已有目标检测网络持续进行在线训练，并得到各类型网络的实时网络参数文件，并用实时的网络参数文件替换上一步训练所得的相应网络参数文件。

本发明使用了三种不同图像的采集途径，将图像采集、图像处理、目标检测和网络训练有机结合，形成了一个整体的在无人设备上实现目标检测的在线训练方法。将无人设备智能目标检测作为核心功能，提出了在离线训练网络的基础上增加了在线训练方法的工作模式，进行目标搜索，以达到更高的精度及实时处理效果。

本发明由于无人设备在设计目标检测网络并对原有图像的图像库进行初步训练后，在运行中会根据对是否包含目标图像信息的判断而选择相应的图像库，并将接收到的图像进行数据扩充并，实现了图像库的实时更新，保证图像库的图像具有较大样本数量，然后对目标检测网络进行在线训练，通过对已更新图像库中数据的训练得到新的网络参数文件，并替换之前的网络参数文件，不断更新目标检测的网络结构，实现了检测目标与网络训练能够并行在线处理，得到更高的目标检测精度。

实施例2

在无人设备上实现目标检测的在线训练方法方法同实施例1，步骤(1)中设计三类不同的目标检测网络时，由于yolov3目标检测网络具有精准的检测效果且检测速度较快，因此在具体的网络设计时采用简化的yolov3网络，去掉了其部分特征提取网络，实现小目标精准识别。在这里，考虑relu函数实现效果好，使用relu函数作为隐层激活函数；考虑到adam优化算法收敛速度比较快，使用adam优化算法进行优化。因为在全景视频、可见光视频和红外视频中进行目标检测的条件和目的不同，因此针对这三类图像的特性分别设计了三种不同的目标检测网络。

全景目标检测网络主要是完成目标的初步搜寻，主要针对小目标进行目标检测，并且全景视频比红外视频和可见光视频复杂，因此需要使用较多的卷积层从全景视频中提取目标特征。

因为可见光视频目标检测网络主要用于精确地检测指定目标，而可见光图像视场较小，并且图像结构比较复杂，因此需要使用更多卷积层和残差结构提取目标特征。

红外视频一般内容比较简单，目标特征比较明显。因此通过较少的卷积层就能够从红外视频中提取出目标特征。

实施例3

在无人设备上实现目标检测的在线训练方法方法同实施例1-2，步骤(5)中根据新目标图像及语义信息选择相应的图像库并对图像库进行扩充，具体为在无人设备执行目标检测过程中，根据三类图像检测的结果，分别将包含置信度大于设定阈值目标的图像保存到相应的图像库中，完成三类图像库的扩充和维护。

实施例4

在无人设备上实现目标检测的在线训练方法方法同实施例1-3，步骤(5)中扩充原有的图像库，具体采用以下方法变换数据：

对可见光目标检测网络和红外目标检测网络，通过图像变换，利用现有数据创造新的数据，增加样本数据量，具体包括对图像进翻转变换，平移变换，旋转变换和加噪的图像处理。

由于较难收集大量的红外目标图像，所以通过同一目标可见光图像和红外图像的映射关系，反演得到新的红外数据来模拟对应的红外图像。

实施例5

在无人设备上实现目标检测的在线训练方法方法同实施例1-4，步骤(6)中对各个目标检测网络进行在线训练，具体包括：

当已检测过的某一类图像中目标更清晰时，无人设备将使用已经收集到的包含检测目标的这一类图像进行在线训练，训练完成后更新原有的相应目标检测网络参数文件。

当某一类图像需要更换检测目标时，无人设备将使用相应已有图像库中的图像对这一类目标检测网络进行在线训练，在线训练完成后更新原有的相应目标检测网络参数文件。

无人设备经过在线训练后得到新的目标检测网络，以及时调整无人设备上目标检测的目标类别或者提高相应全景目标检测的准确率。

下面给出一个更加具体的例子，对本发明进一步说明。

实施例6

在无人设备上实现目标检测的在线训练方法方法同实施例1-5，参见图1，本发明包括有如下步骤：

步骤1，针对不同图像特性分别设计相应的目标检测网络：根据全景相机、可见光相机和红外相机在进行图像目标检测时的条件和目的不同，针对这三类获取途径不同的图像分别设计适应各自类型特性的目标检测网络。

在具体的网络设计时采用简化的yolov3网络，本发明中去掉了部分特征提取网络，在保证对小目标的检测准确率不降低的情况下加快网络的速度。针对608*608的图像，该算法可以达到的帧率为20fps，top-1正确率达到77.2％,top-5正确率到达93.8％。在这里，考虑relu函数实现效果好，使用relu函数作为隐层激活函数；考虑到adam优化算法收敛速度比较快，使用adam优化算法进行优化。本例中，因为在全景视频、可见光视频和红外视频中进行目标检测的条件和目的不同，分别设计了针对三类视频的不同网络。

全景目标检测网络主要是完成目标的初步搜寻，具体网络结构参见图2，采用一个32*3*3和一个64*3*3的卷积层，随后采用四个带有卷积层和跳跃连接层模块的部分，每个模块中含有一个32*1*1和一个64*3*3的卷积层，以及一个跳跃连接层；这四部分包含该模块的数量分别为：1、2、8、3。该全景目标检测网络主要针对小目标进行目标检测，并且全景视频比红外视频和可见光视频复杂，因此需要使用较多的卷积层从全景视频中提取目标特征。

因为可见光视频目标检测网络主要用于精确地检测指定目标，具体网络结构参见图3，是在所设计的全景目标检测网络的基础上，将第四部分模块的数量减少为2，加上一个512*1*1的卷积层、一个上采样层以及一个路由层，然后再连接一个全景目标检测网络中第四部分模块；随后输出检测结果，再按序添加一个路由层、一个128*1*1的卷积层、一个上采样层和一个路由层；最后再连接3个包括含有一个128*1*1和一个256*3*3的卷积层，以及一个跳跃连接层的模块。由于可见光图像视场较小，并且图像结构比较复杂，因此需要使用更多卷积层和残差结构提取目标特征。

红外视频一般内容比较简单，具体网络结构参见图4，包括有10个卷积层，其结构分别为：16*3*3、32*3*3、64*3*3、128*3*3、256*3*3、512*3*3、1024*3*3、256*3*3、512*3*3、16*3*3；随后输出检测结果，并添加一个路由层、一个128*1*1的卷积层、一个上采样层和一个路由层；最后再加上两个分别为256*3*3的卷积层和16*3*3的卷积层红外图像目标特征比较明显，因此通过较少的卷积层就能够从红外视频中提取出目标特征。

本发明中，其中部分网络结构中加入跳跃连接层，解决了网络层数较深的情况下梯度消失的问题，同时有助于梯度的反向传播，能够加快训练过程；加入路由层的作用是进行层的合并，使用这样的紧密连接结构可以加强图片特征的传递，更加有效的利用了图片的特征。

步骤2，对不同的目标检测网络进行初步训练：分别配置好全景视频、可见光视频和红外视频训练所需的图像库及相应信息的文件后，各类型的目标检测网络使用配置好的图像库及相应信息的文件进行初步训练，训练结束后，分别生成各自的网络参数文件，并将各自的网络参数文件分别拷贝到无人设备中。

如果图像中有可见光和红外图像且图像数据量充足时，可使用该图像数据对目标检测网络进行初步训练。如果图像类型缺失且数据量不足时，可将已得到的图像进行图源转换、数据扩充，并在已有的图像库中寻找相关图像一起输入网络对网络进行训练。

当无人设备中没有所要检测目标的图像信息时，需要根据语义信息对目标进行解析，输入网络进行初步训练，初步训练完成后将新的网络参数文件传输到无人设备处理系统的相应模块中。

步骤3，无人设备接收外界传入视频信息，并判断外界传入视频信息中是否包含目标相关的图像及语义信息：当无人设备所接收到外界传输进入的三种类型视频信息过程中没有目标相关的图像信息时，只有目标相关的语义信息时，进行步骤4，选择与之相关的图像库；当无人设备所接收到外界传输进入的三种类型视频信息过程中有新目标相关的图像及语义信息或者已检测目标相关图像及语义信息时，进行步骤5，选择与之相关的数据库，并对其进行数据扩充。

步骤4，当无人设备所接收到外界传输进入的三种类型视频信息中没有目标的相关图像信息，只有目标的相关语义信息时，对得到的新目标相关的语义信息或者原目标相关的语义信息进行解析，并通过解析结果选择该类型图像在无人设备中已配置好的图像库，进行在线训练。

步骤5，根据目标相关图像及语义信息选择相应的图像库并对相应的图像库进行扩充：当无人设备所接收到外界传输进入的三种类型视频信息中有新目标相关的图像及语义信息或者原目标相关图像及语义信息时，对得到的新目标相关图像及语义信息或者原目标相关图像及语义信息进行解析，并通过解析结果实时选择该类型图像在无人设备中已配置好的图像库并寻找相关图像，同时将接收到的图像进行数据扩充并且不断将变换后的图像添加进该类型图像的图像库，进行在线训练，实现了图像库的实时更新，并保证图像库的图像具有较大样本数量，进而得到更高的目标检测精度。

在根据新目标图像及语义信息选择相应的图像库并对图像库进行扩充时，具体为在无人设备执行目标检测过程中，根据三类图像检测的结果，分别将包含置信度大于设定阈值目标的图像保存到相应的图像库中，完成三类图像库的扩充和维护。

在扩充原有的图像库时，具体采用以下方法变换数据：

对可见光目标检测网络和红外目标检测网络，通过图像变换，利用现有数据创造新的数据，增加样本数据量，具体包括对图像进翻转变换，平移变换，旋转变换和加噪的图像处理。

由于较难收集大量的红外目标图像，所以通过同一目标可见光图像和红外图像的映射关系，反演得到新的红外数据来模拟对应的红外图像。

本发明在图像库的扩充上一方面采用了将符合目标阈值要求的图像添加进入图像库的方法，另一方面采用了对收集到的图像进行图像变换的方法，在网络训练中不断对实时更新图像库进行在线训练。

步骤6，对各目标检测网络进行在线训练：网络的在线训练具有数据扩充、可见光/全景视频目标检测、红外视频目标检测、数据库维护以及图源转换的功能，其中图源转换指的是可见光图像转红外图像功能。在线训练过程的输入为1)目标类别是否更换、2)目标类别；输出为:新的全景目标检测网络参数文件。

反复执行步骤(3)到步骤(5)，对各目标检测网络进行在线训练，目标检测网络的在线训练包括全景视频、可见光视频以及红外视频目标检测网络的在线训练，将实时所获得的更新数据库中的数据分别输入到上一步训练所得相应类别的目标检测网络，对已有目标检测网络持续进行在线训练，并得到各类型网络的实时网络参数文件，并用实时的网络参数文件替换上一步训练所得的相应网络参数文件，不断更新目标检测的网络结构，实现了检测目标与网络训练能够并行在线处理，在无人设备运行过程中得到实时检测结果。

对各个目标检测网络进行在线训练，具体包括：

当已检测过的某一类图像中目标更清晰时，无人设备将使用已经收集到的包含检测目标的这一类图像进行在线训练，训练完成后更新原有的相应目标检测网络参数文件。

当某一类图像需要更换检测目标时，无人设备将使用相应已有图像库中的图像对这一类目标检测网络进行在线训练，在线训练完成后更新原有的相应目标检测网络参数文件。

无人设备经过在线训练后得到新的目标检测网络，以及时调整无人设备上目标检测的目标类别或者提高相应全景目标检测的准确率。

本发明由于无人设备在设计目标检测网络并对原有图像的图像库进行初步训练后，在运行中会根据对是否包含目标图像信息的判断而选择相应的图像库，并将接收到的图像进行数据扩充并，实现了图像库的实时更新，保证图像库的图像具有较大样本数量，然后对目标检测网络进行在线训练，通过对已更新图像库中数据的训练得到新的网络参数文件，并替换之前的网络参数文件，不断更新目标检测的网络结构，实现了检测目标与网络训练能够并行在线处理，得到更高的目标检测精度。

综上所述，本发明提出的在无人设备上实现目标检测的在线训练方法，解决了现有技术中无法实时并行进行目标检测和网络训练、检测结果不准确的问题。实现步骤包括：针对全景视频、可见光视频和红外视频的特性分别设计目标检测网络并对其进行初步训练；判断传入无人设备的信息中是否有目标相关图像及信息；根据新目标图像及信息选择相应的图像库并对图像库进行扩充；对各个目标检测网络进行在线训练，最终得到新的网络结构参数，并替换之前的网络参数文件。本发明采用在线训练的方式，其能够实时并行进行目标检测和网络训练、且目标检测精度更高，可用于运行状态下的无人设备。