一种基于深度学习的移动平台导航方法和装置与流程

本发明属于导航技术领域，尤其涉及一种基于深度学习的移动平台导航方法和装置。

背景技术：

在目前常用的移动平台(机器人)视觉导航算法之中，slam(simultaneouslocalizationandmapping，同步地图建模与定位)算法作为主流算法被广泛应用。

在目前的slam算法中，先利用摄像头或者其他传感器(激光雷达)对移动平台运动周围的复杂环境进行地图建模，同时，移动平台进行自我定位；然后，结合建立的地图模型和自我定位的结果，实现移动平台的导航。

然而，目前的slam算法在实际应用中，存在诸多问题：1、建立的地图模型的精度取决于摄像头或者其他传感器(激光雷达)的拍摄精度，而高精度的摄像头或者其他传感器(激光雷达)的设备成本非常高。2、自我定位过程存在定位误差，需要通过复杂的算法去消除该定位误差，增加了对移动平台的硬件计算能力的要求。3、随着拍摄精度的提高，地图模型建立过程中的数据计算量也随之增大，增加了对移动平台的硬件计算能力的要求。4、在slam算法的运算过程中，存在误差的累积，误差的累计使得slam算法在运算过程中并不稳定，不能适用于所有的实际应用场景。

技术实现要素：

本发明的技术解决问题：克服现有技术的不足，提供一种基于深度学习的移动平台导航方法和装置，以解决现有的slam算法存在的设备成本高、计算量大和应用场景受限的问题。

为了解决上述技术问题，本发明公开了一种基于深度学习的移动平台导航方法，包括：

根据接收到的第一运动指令，控制移动平台从起始点开始向目标点运动；

通过设置在所述移动平台上的拍摄装置，对所述移动平台的周围场景进行实时拍摄，得到实时场景图像；

将所述实时场景图像与基于深度学习得到的样本场景图像库中的样本场景图像进行特征匹配，得到匹配样本场景图像；

确定与所述匹配样本场景图像相匹配的第二运动指令；

根据所述第二运动指令，对所述移动平台的运动过程进行实时调整，直至所述移动平台运动至所述目标点。

在上述基于深度学习的移动平台导航方法中，所述方法还包括：

基于深度学习算法，对通过采样得到的样本场景图像进行深度学习训练，得到所述样本场景图像库。

在上述基于深度学习的移动平台导航方法中，所述基于深度学习算法，对通过采样得到的样本场景图像进行深度学习训练，得到所述样本场景图像库，包括：

通过随机发生器生成随机角度和随机速度；

分别根据不同的随机角度和随机速度，控制所述移动平台进行多次训练；

在各次训练过程中，通过设置在所述移动平台上的拍摄装置，对各次训练全过程中各个帧时刻所述移动平台的周围场景进行实时拍摄，得到所述样本场景图像；并，记录所述移动平台在各样本场景图像所对应的拍摄帧时刻的运动状态；其中，所述运动状态，包括：移动平台的实时角度和实时速度；

将记录的所述移动平台在各样本场景图像所对应的拍摄帧时刻的运动状态，作为对应的样本场景图像的标签，携带在对应的样本场景图像中；

将携带有所述移动平台的运动状态标签的各样本场景图像输入深度神经网络进行学习训练，得到所述样本场景图像库。

在上述基于深度学习的移动平台导航方法中，所述基于深度学习算法，对通过采样得到的样本场景图像进行深度学习训练，得到所述样本场景图像库，还包括：

在训练过程中，若所述移动平台与障碍物发生碰撞，则一次训练结束，并将该次训练过程标记为负样本；

在训练过程中，若所述移动平台未与障碍物发生碰撞、且运动到目的地，则一次训练结束，并将该次训练过程标记为正样本。

在上述基于深度学习的移动平台导航方法中，所述将携带有所述移动平台的运动状态标签的各样本场景图像输入深度神经网络进行学习训练，得到所述样本场景图像库，包括：

将所述携带有所述移动平台的运动状态标签的各样本场景图像作为深度神经网络学习训练的样本进行输入；

通过层卷积和池化层对所述多个训练结果进行处理，得到第一处理结果；

将所述第一处理结果输入至全连接层进行处理，得到第二处理结果；其中，所述全连接层的参数与根据所述实时角度和实时速度的离散化处理结果所确定的训练类别的数量一致；

根据所述第二处理结果，分别对正样本和负样本进行加权处理，得到第三处理结果；

根据所述第三处理结果，得到所述样本场景图像库。

在上述基于深度学习的移动平台导航方法中，通过如下步骤确定训练类别：

将实时角度分别与一个或多个预设角度阈值进行匹配，根据角度匹配结果，对所述实时角度进行离散化处理，得到一个或多个离散角度；以及，将实时速度分别与一个或多个预设速度阈值进行匹配，根据速度匹配结果，对所述实时速度进行离散化处理，得到一个或多个离散速度；

根据所述一个或多个离散角度和所述一个或多个离散速度的全排列组合结果，确定一个或多个训练类别。

在上述基于深度学习的移动平台导航方法中，所述确定与所述匹配样本场景图像相匹配的第二运动指令，包括：

确定所述匹配样本场景图像的拍摄帧时刻；

从所述匹配样本场景图像对应的标签中，提取得到移动平台在所述拍摄帧时刻的实时角度和实时速度；

根据提取得到的移动平台在所述拍摄帧时刻的实时角度和实时速度，确定所述第二运动指令。

在上述基于深度学习的移动平台导航方法中，所述将所述实时场景图像与基于深度学习得到的样本场景图像库中的样本场景图像进行特征匹配，得到匹配样本场景图像，包括：

对所述实时场景图像进行特征点提取，得到第一特征点集；其中，提取的特征点，用于指示所述移动平台当前运动场景区域内的障碍物；

对所述样本场景图像库中的样本场景图像进行特征点提取，得到包括多个子集的第二特征点集；其中，所述第二特征点集中的一个子集对应一个样本场景图像的特征点集；

将所述第一特征点集与所述第二特征点集中的各个子集进行匹配，从所述第二特征点集中筛选得到与所述第一特征点集相匹配的子集；

将筛选得到的与所述第一特征点集相匹配的子集所对应的样本场景图像确定为所述匹配样本场景图像。

在上述基于深度学习的移动平台导航方法中，所述方法还包括：

若将所述实时场景图像与基于深度学习得到的样本场景图像库中的样本场景图像进行特征匹配，未得到匹配样本场景图像，则调用预设绕行程序；

通过调用的预设绕行程序，对所述移动平台的运动过程进行实时调整。

相应的，本发明还公开了一种基于深度学习的移动平台导航装置，包括：

第一处理器，用于根据接收到的第一运动指令，控制移动平台从起始点开始向目标点运动；

拍摄装置，用于对所述移动平台的周围场景进行实时拍摄，得到实时场景图像；

第二处理器，用于将所述实时场景图像与基于深度学习得到的样本场景图像库中的样本场景图像进行特征匹配，得到匹配样本场景图像；确定与所述匹配样本场景图像相匹配的第二运动指令；根据所述第二运动指令，对所述移动平台的运动过程进行实时调整，直至所述移动平台运动至所述目标点。

本发明具有以下优点：

本发明公开了一种基于深度学习的移动平台导航方案，基于实时拍摄得到的移动平台周围场景的实时场景图像与基于深度学习得到的样本场景图像库的匹配结果，对移动平台的运动过程进行实时调整，直至所述移动平台运动至所述目标点。本发明所述的方案，取消了地图建模和路径规划过程，在不经过地图建模和路径规划的情况下即可实现移动平台的自主导航。可见，本发明所述的方案可以在简单的室内环境以及视觉导航要求的情况下实现移动平台的自主导航，规避了目前的slam算法所存在的各类问题，具有广泛的适用性。其次，本发明所述的方案对设备精度要求低，不需要采用昂贵的高精度的摄像头或者其他传感器(激光雷达)来建立地图模型，也无需进行复杂的算法以消除定位误差，具有设备成本低、运算简单和运算速度快的优点。

附图说明

图1是本发明实施例中一种基于深度学习的移动平台导航方法的步骤流程图；

图2是本发明实施例中一种室内场景示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明公共的实施方式作进一步详细描述。

本发明公开了一种基于深度学习的移动平台导航方案，该方案利用深度学习算法的优势，将拍摄的图像经过深度神经网络进行递归，将递归得到的分类结果作为用于调整移动平台运动的运动指令，让移动平台“记住”训练过程中摄像头拍摄的环境，这样导航时移动平台能够按照训练时的“记忆”快速地到达目的地。

参照图1，示出了本发明实施例中一种基于深度学习的移动平台导航方法的步骤流程图。在本实施例中，所述基于深度学习的移动平台导航方法，包括：

步骤101，根据接收到的第一运动指令，控制移动平台从起始点开始向目标点运动。

在本实施例中，所述第一运动指令中至少包括：初始角度和初始速度；根据所述初始角度和初始速度来控制控制移动平台从起始点开始向目标点运动。

优选的，所述第一运动指令可以根据用户请求确定的任一角度的初始角度和任一速度的初始速度。其中，所述初始角度的范围可以为：0°～360°(含0°和360°)；所述初始速度的范围可以为：0.2m/s～2m/s(含0.2m/s和2m/s)。

步骤102，通过设置在所述移动平台上的拍摄装置，对所述移动平台的周围场景进行实时拍摄，得到实时场景图像。

在本实施例中，可以通过设置在所述移动平台上的拍摄装置，对所述移动平台的周围场景按帧进行连续拍摄，得到每一帧的实时场景图像。

步骤103，将所述实时场景图像与基于深度学习得到的样本场景图像库中的样本场景图像进行特征匹配，得到匹配样本场景图像。

在本实施例中，所述将所述实时场景图像与基于深度学习得到的样本场景图像库中的样本场景图像进行特征匹配，得到匹配样本场景图像，具体可以包括：

对所述实时场景图像进行特征点提取，得到第一特征点集；其中，提取的特征点，用于指示所述移动平台当前运动场景区域内的障碍物；

对所述样本场景图像库中的样本场景图像进行特征点提取，得到包括多个子集的第二特征点集；其中，所述第二特征点集中的一个子集对应一个样本场景图像的特征点集；

将所述第一特征点集与所述第二特征点集中的各个子集进行匹配，从所述第二特征点集中筛选得到与所述第一特征点集相匹配的子集；

将筛选得到的与所述第一特征点集相匹配的子集所对应的样本场景图像确定为所述匹配样本场景图像。

在本发明的一优选实施例中，一种可行的样本场景图像库的建立方式如下：基于深度学习算法，对通过采样得到的样本场景图像进行深度学习训练，得到所述样本场景图像库。

优选的，所述基于深度学习算法，对通过采样得到的样本场景图像进行深度学习训练，得到所述样本场景图像库，具体可以包括如下流程：

步骤s1，通过随机发生器生成随机角度和随机速度。

在本实施例中，所述随机角度的范围可以为：0°～360°(含0°和360°)；所述随机速度的可以范围为：0.2m/s～2m/s(含0.2m/s和2m/s)。

步骤s2，分别根据不同的随机角度和随机速度，控制所述移动平台进行多次训练。

在本实施例中，一个随机角度与一个随机速度的组合作为一次训练的训练条件。其中，在训练过程中，若所述移动平台与障碍物发生碰撞，则一次训练结束，并将该次训练过程标记为负样本；在训练过程中，若所述移动平台未与障碍物发生碰撞、且运动到目的地，则一次训练结束，并将该次训练过程标记为正样本。

步骤s3，在各次训练过程中，通过设置在所述移动平台上的拍摄装置，对各次训练全过程中各个帧时刻所述移动平台的周围场景进行实时拍摄，得到所述样本场景图像；并，记录所述移动平台在各样本场景图像所对应的拍摄帧时刻的运动状态。

在本实施例中，所述运动状态至少可以包括：移动平台的实时角度和实时速度。优选的，所述实时角度的范围可以为：0°～360°(含0°和360°)；所述实时速度的可以范围为：0.2m/s～2m/s(含0.2m/s和2m/s)。

步骤s4，将记录的所述移动平台在各样本场景图像所对应的拍摄帧时刻的运动状态，作为对应的样本场景图像的标签，携带在对应的样本场景图像中。

步骤s5，将携带有所述移动平台的运动状态标签的各样本场景图像输入深度神经网络进行学习训练，得到所述样本场景图像库。

在本实施例中，可以将所述携带有所述移动平台的运动状态标签的各样本场景图像作为深度神经网络学习训练的样本进行输入；通过层卷积和池化层对所述多个训练结果进行处理，得到第一处理结果；将所述第一处理结果输入至全连接层进行处理，得到第二处理结果；根据所述第二处理结果，分别对正样本和负样本进行加权处理，得到第三处理结果；根据所述第三处理结果，得到所述样本场景图像库。

优选的，所述全连接层的参数与根据所述实时角度和实时速度的离散化处理结果所确定的训练类别的数量一致。其中，可以通过如下步骤确定训练类别：

将实时角度分别与一个或多个预设角度阈值进行匹配，根据角度匹配结果，对所述实时角度进行离散化处理，得到一个或多个离散角度；以及，将实时速度分别与一个或多个预设速度阈值进行匹配，根据速度匹配结果，对所述实时速度进行离散化处理，得到一个或多个离散速度；根据所述一个或多个离散角度和所述一个或多个离散速度的全排列组合结果，确定一个或多个训练类别。

在本发明的一优选实施例中，在所述将实时角度分别与一个或多个预设角度阈值进行匹配，根据角度匹配结果，对所述实时角度进行离散化处理，得到一个或多个离散角度时，具体可以将360°等分为8份，按照等分角度由大到小的顺序，分别得到如下预设角度阈值：0°、45°、90°、135°、180°、225°、270°、315°和360°；将实时角度分别与所述0°、45°、90°、135°、180°、225°、270°、315°和360°预设角度阈值进行匹配，根据角度匹配结果，对所述实时角度进行离散化处理，得到8个离散角度。

其中，若0°＜实时角度≤45°，则将所述实时角度离散化为第一离散角度；若45°＜实时角度≤90°，则将所述实时角度离散化为第二离散角度；若90°＜实时角度≤135°，则将所述实时角度离散化为第三离散角度；若135°＜实时角度≤180°，则将所述实时角度离散化为第四离散角度；若180°＜实时角度≤225°，则将所述实时角度离散化为第五离散角度；若225°＜实时角度≤270°，则将所述实时角度离散化为第六离散角度；若270°＜实时角度≤315°，则将所述实时角度离散化为第七离散角度；若315°＜实时角度≤360°，则将所述实时角度离散化为第八离散角度。

优选的，所述第一离散角度可以为45°、第二离散角度可以为90°、第三离散角度可以为135°、第四离散角度可以为180°、第五离散角度可以为225°、第六离散角度可以为270°、第七离散角度可以为315°、第八离散角度可以为360°。

其中，需要说明的是，预设角度阈值的具体数量和取值，以及各离散角度的取值，可以根据实际情况确定，本实施例对此不作限制。

在本发明的一优选实施例中，，在将实时速度分别与一个或多个预设速度阈值进行匹配，根据速度匹配结果，对所述实时速度进行离散化处理，得到一个或多个离散速度时，具体可以根据高、低速度的界限，设置第一预设速度阈值；将实时速度分别与所述第一预设速度阈值进行匹配，根据速度匹配结果，对所述实时速度进行离散化处理，得到2个离散速度。

其中，所述第一预设速度阈值可以为0.5m/s，也即，速度小于等于0.5m/s时，为低速；速度大于0.5m/s时，为高速。若0m/s＜实时速度≤0.5m/s，则将所述实时速度离散化为第一离散速度；若0.5m/s＜实时速度，则将所述实时速度离散化为第二离散速度。

优选的，所述第一离散速度可以为0.2m/s、所述第二离散速度可以为0.5m/s。

其中，需要说明的是，预设速度阈值的具体数量和取值，以及各离散速度的取值，可以根据实际情况确定，本实施例对此不作限制。

步骤104，确定与所述匹配样本场景图像相匹配的第二运动指令。

在本实施例中，匹配样本场景图像隶属于样本场景图像库，如前所述，样本场景图像库中的各个样本场景图像携带有移动平台的运动状态标签，故，可以先确定所述匹配样本场景图像的拍摄帧时刻；然后，从所述匹配样本场景图像对应的标签中，提取得到移动平台在所述拍摄帧时刻的实时角度和实时速度；最后，根据提取得到的移动平台在所述拍摄帧时刻的实时角度和实时速度，确定所述第二运动指令。

步骤105，根据所述第二运动指令，对所述移动平台的运动过程进行实时调整，直至所述移动平台运动至所述目标点。

在本发明的一优选实施例中，所述基于深度学习的移动平台导航方法，还可以包括：若将所述实时场景图像与基于深度学习得到的样本场景图像库中的样本场景图像进行特征匹配，未得到匹配样本场景图像，则调用预设绕行程序；通过调用的绕行程序，对所述移动平台的运动过程进行实时调整。

在本实施例中，所述预设绕行程序可以采用任意一种适当的导航算法，例如，包括但不仅限于为：slam算法。

基于上述实施例，下面以一个具体应用场景为例，对本发明所述的基于深度学习的移动平台导航方法进行说明。

参照图2，示出了本发明实施例中一种室内场景示意图。如图2，该室内场景中包括：移动平台、障碍物1、障碍物2、障碍物3、障碍物4、障碍物5、障碍物6和目的地d。其中，所述移动平台位于市内场景的一角(起始点)。

在学习训练过程中，

使用随机发生器，生成随机角度和随机速度；分别根据不同的随机角度和随机速度，控制所述移动平台向目的地d运动，进行多次训练。其中，移动平台只要与障碍物发生碰撞，则视为一次完整的训练过程，标记为负样本；移动平台未与障碍物发生碰撞、且运动到目的地d，则视为一次完整的训练过程，标记为正样本。

在移动平台的运动过程中，在同一个时钟下，对周围场景进行实时拍摄，并记录由移动平台自身电机编码器所记录的移动平台的运动状态(包括：实时速度和实时角度)，得到多张携带实时速度和实时角度的样本场景图像。

将所述多张携带有实时速度和实时角度的样本场景图像输入深度神经网络进行学习训练：

输入的多张携带有实时速度和实时角度的样本场景图像，分别输入卷积层和池化层进行处理，得到第一处理结果。其中，在本实施例中，卷积层的数量为5，第一卷积层的卷积核大小为8*8，第二卷积层的卷积核大小为4*4，第三、四和五卷积层的卷积核大小为3*3。所述池化层统一采用最大池化法，大小为2*2。

对所述得到第一处理结果进行归一化处理后，连接到全连接层进行处理。其中，所述全连接层的参数与根据所述实时角度和实时速度的离散化处理结果所确定的训练类别的数量一致。优选的，在本实施例中，如前所述，实时角度离散化成8个值，实时速度离散化成2个值，则训练类别的数量为：2*8＝16；进而，全连接层处理得到的第二处理结果为两个1*1的卷积层，大小与全连接层一致，为16。也即，所有的样本场景图像可以分为16类，一个训练类别可以对应多张样本场景图像，一张样本场景图像对应一个训练类别。其中，一个训练类别由一个离散速度和一个离散角度组成，也即，一个训练类别对应一组运动状态。

当样本场景图像隶属于正样本时，则可以对该样本场景图像所对应的整个训练过程中所有的实时角度和实时速度按照所属训练类别，依q-learing值分配算法对其权值进行加分。

当样本场景图像隶属于负样本时，则可以对碰撞前2秒之内的所有实时角度和实时速度按照所属训练类别，依q-learing值分配算法对其权值进行减分，并对深度神经网络的参数进行微调。

其中，需要说明的是，在学习训练过程中，输入的样本场景图像是整张图片，而非经过图片分割出来的roi(regionofinterest，感兴趣区域)。样本场景图像经过多层卷积，池化层，以及三个全连接层，末端采用q-learing算法对深度神经网络进行训练。移动平台以随机速度和随机角度进行运动，运动过程中不管发不发生碰撞，q-learning算法都会对16个训练类别进行权值打分，调整深度神经网络的参数。如此循环进行大量的训练，直到移动平台无碰撞地顺利到达预定的目的地d。

在实际导航应用中，

深度神经网络去掉末端的q-learning算法，加上由32个运动状态组成的分类器，然后移动平台启动，移动平台上的摄像装置将拍摄到的实时场景图像输入到已经训练好的深度神经网络中，通过匹配处理后，输出第二运动指令；根据所述第二运动指令，对所述移动平台的运动过程进行实时调整，直至所述移动平台运动至所述目标点。实现了不经过地图建模以及路径规划的移动平台的自主导航。

例如，如图2，导航时，移动平台按照开始初始角度和初始速度开始运动，在到达障碍物3时，根据拍摄的实时场景图像，与样本场景图像库中的样本场景图像进行特征匹配得到匹配样本场景图像，确定与所述匹配样本场景图像相匹配的第二运动指令，根据所述第二运动指令，对所述移动平台的运动过程进行实时调整，直至所述移动平台运动至所述目标点，如，移动平台以路线a运动到目的地d或以路线c运动到目的地d。

此外，如果在移动平台运动过程中，突然放置一个全新的障碍物，则可以调用预设绕行程序，通过调用的预设绕行程序，对所述移动平台的运动过程进行实时调整。

综上所述，本发明实施例所述的一种基于深度学习的移动平台导航方法，基于实时拍摄得到的移动平台周围场景的实时场景图像与基于深度学习得到的样本场景图像库的匹配结果，对移动平台的运动过程进行实时调整，直至所述移动平台运动至所述目标点。本发明所述的方法，取消了地图建模和路径规划过程，在不经过地图建模和路径规划的情况下即可实现移动平台的自主导航。可见，本发明所述的方法可以在简单的室内环境以及视觉导航要求的情况下实现移动平台的自主导航，规避了目前的slam算法所存在的各类问题，具有广泛的适用性。其次，本发明所述的方案对设备精度要求低，不需要采用昂贵的高精度的摄像头或者其他传感器(激光雷达)来建立地图模型，也无需进行复杂的算法以消除定位误差，具有设备成本低、运算简单和运算速度快的优点。

此外，本发明所述的方法，在学习训练过程中，对实时速度和实时角度进行离散化处理，减少了训练类别，进而降低了数据处理量，优化了训练流程，提高了训练效率。

在上述方法实施例的基础上，本发明实施例还公开了一种基于深度学习的移动平台导航装置。优选的，所述基于深度学习的移动平台导航装置，可以包括：

第一处理器，用于根据接收到的第一运动指令，控制移动平台从起始点开始向目标点运动。

拍摄装置，用于对所述移动平台的周围场景进行实时拍摄，得到实时场景图像。

第二处理器，用于将所述实时场景图像与基于深度学习得到的样本场景图像库中的样本场景图像进行特征匹配，得到匹配样本场景图像；确定与所述匹配样本场景图像相匹配的第二运动指令；根据所述第二运动指令，对所述移动平台的运动过程进行实时调整，直至所述移动平台运动至所述目标点。

对于装置实施例而言，由于其与方法实施例相对应，所以描述的比较简单，相关之处参见装置实施例部分的说明即可。

本说明中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。