行人跟踪方法、装置、存储介质及计算机设备

本技术涉及视觉跟踪，尤其涉及一种行人跟踪方法、装置、存储介质及计算机设备。

背景技术：

1、随着机器人产业技术的飞速发展，机器人的应用也出现日益多元化、复杂化的趋势，在电池续航逐渐提升的同时，机器人面临全天候工作的挑战，在夜晚、雨天、仓库等弱光场景，机器人往往需要搭载更多传感器来获取周边环境信息。在使用单一普通彩色摄像头作为传感器时，在夜晚暗光环境下，机器人获取的图像往往会遇到亮度不足，对周围感知能力大幅下降的问题，不利于后期的目标检测、观测、识别和分类等，因此需要对摄像头获取的图像进行增强。

2、常用的机器人感知传感器有单目摄像头、双目摄像头、激光雷达、超声波传感器、毫米波雷达、红外摄像头等，在机器人上采用更多传感器融合采样能够带来更好的感知效果，但硬件成本的提升也让单传感器配合定制算法在某些场景下成为性价比更高的选择。

3、目前，在使用单普通光学摄像头作为传感器时，业界对弱光环境的图像增强有采用传统图像增强算法如阈值化、直方图均衡化等，也有采用深度学习的方法，训练特定场景的神经网络对图像进行语义增强。而随着移动机器人的市场逐渐兴起，以四足机器人为例，其通过添加功能模块成为导盲机器人、多地形拉货机器人等。因此，如何对单普通光学摄像头在夜晚等弱光环境下采集的图像进行图像增强，以使移动机器人在弱光环境下具备行人跟踪的能力，将成为亟需研究的重点。

技术实现思路

1、本技术的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中缺少对单普通光学摄像头在夜晚等弱光环境下采集的图像进行图像增强，以使移动机器人在弱光环境下具备行人跟踪的能力的技术方案的技术缺陷。

2、本技术提供了一种行人跟踪方法，所述方法应用于移动机器人的视觉处理模块，包括：

3、当检测到所述移动机器人处于弱光环境时，获取机载摄像头采集的实时图像，并调用预先配置的弱光图像增强模型和目标行人跟踪模型；

4、将所述实时图像输入至所述弱光图像增强模型中，通过所述弱光图像增强模型对所述实时图像进行图像增强，得到弱光增强图像；

5、将所述弱光增强图像输入至所述目标行人跟踪模型中，通过所述目标行人跟踪模型对所述弱光增强图像中的行人进行识别，并将识别结果发送至所述移动机器人的控制器中，以对行人进行跟踪。

6、可选地，所述弱光图像增强模型包括多个不同尺度的下采样层以及与各个下采样层对应的上采样拼接层；

7、所述通过所述弱光图像增强模型对所述实时图像进行图像增强，得到弱光增强图像，包括：

8、通过各个不同尺度的下采样层逐层对所述实时图像进行多尺度特征提取，得到各个下采样层输出的不同尺寸的第一特征图；

9、利用其中一个上采样拼接层从最小尺寸的第一特征图开始进行上采样，并将上采样后的第二特征图与同尺寸的第一特征图进行拼接后继续输入至下一上采样拼接层进行上采样和拼接操作，直到最后一个上采样拼接层完成上采样和拼接操作后，得到与所述实时图像尺寸相同的弱光增强图像。

10、可选地，所述弱光图像增强模型的训练过程，包括：

11、获取机载摄像头在弱光环境下采集的原始暗光图像，以及对所述弱光环境进行补光后采集的原始亮光图像，并将所述原始暗光图像和所述原始亮光图像成对构成暗光增强训练数据集；

12、构建生成对抗网络，所述生成对抗网络由生成器和鉴别器组成；

13、将所述暗光增强训练数据集中的原始暗光图像输入至所述生成器中进行特征提取并生成相应的纹理图像；

14、利用所述鉴别器对所述生成器生成的纹理图像与对应的原始亮光图像之间的真实性进行判断，得到判断结果；

15、根据所述判断结果对所述生成对抗网络的参数进行更新，直到达到预设的训练条件为止，将训练好的生成器作为弱光图像增强模型。

16、可选地，所述鉴别器包括局部鉴别器和全局鉴别器；

17、所述利用所述鉴别器对所述生成器生成的纹理图像与对应的原始亮光图像之间的真实性进行判断，得到判断结果，包括：

18、利用所述局部鉴别器从所述纹理图像和对应的原始暗光图像中随机裁剪图像区块进行学习，对裁剪的图像区块的真实性进行鉴别，得到鉴别结果；

19、利用所述全局鉴别器对相应的原始亮光图像相对生成的纹理图像的真实程度进行评估，得到评估结果；

20、根据所述鉴别结果和所述评估结果生成相应的判断结果。

21、可选地，所述目标行人跟踪模型的训练过程，包括：

22、获取机载摄像头在正常光亮环境下采集的不同背景的行人图像，以及在弱光环境下采集的行人图像，并将两种环境下采集到的行人图像打乱混合以及进行行人真实位置框标注后，形成行人跟踪训练数据集；

23、将所述行人跟踪训练数据集中的行人图像输入至预设的初始行人跟踪模型中，得到所述初始行人跟踪模型对所述行人图像输出的行人预测位置框及对应的预测标签；

24、以所述行人预测位置框趋近于所述行人真实位置框为目标，训练所述初始行人跟踪模型；

25、当所述初始行人跟踪模型满足预设的训练条件时，将训练完成的初始行人跟踪模型作为目标行人跟踪模型。

26、可选地，所述初始行人跟踪模型包括数据增强输入层、骨干网络、路径聚合网络、通用检测层；

27、所述将所述行人跟踪训练数据集中的行人图像输入至预设的初始行人跟踪模型中，得到所述初始行人跟踪模型对所述行人图像输出的行人预测位置框及对应的预测标签，包括：

28、通过所述数据增强输入层对所述弱光增强图像中行人对应的图像区域进行像素增强，输出得到像素增强图像；

29、通过所述骨干网络对所述像素增强图像执行切片操作和卷积操作，提取在所述像素增强图像中行人的结构特征，输出得到由所述结构特征构成的特征图；

30、利用所述路径聚合网络将所述行人跟踪模型在前向传播过程中产生的多个所述特征图进行特征融合，得到融合特征图；

31、将所述融合特征图输入所述通用检测层中，输出得到行人预测位置框及对应的预测标签。

32、可选地，所述预测标签包括行人预测位置框的大小、行人预测位置框在所述行人图像中的预测位置；

33、所述以所述行人预测位置框趋近于所述行人真实位置框为目标，训练所述初始行人跟踪模型，包括：

34、基于所述行人预测位置框的大小计算所述行人预测位置框的尺寸损失值；

35、基于所述行人预测位置框在所述行人图像中的预测位置计算所述行人预测位置框的位置损失值；

36、根据所述尺寸损失值和所述位置损失值对更新所述初始行人跟踪模型中的参数。

37、本技术还提供了一种行人跟踪装置，包括：

38、图像及模型获取模块，用于当检测到所述移动机器人处于弱光环境时，获取机载摄像头采集的实时图像，并调用预先配置的弱光图像增强模型和目标行人跟踪模型；

39、弱光增强模块，用于将所述实时图像输入至所述弱光图像增强模型中，通过所述弱光图像增强模型对所述实时图像进行图像增强，得到弱光增强图像；

40、行人跟踪模块，用于将所述弱光增强图像输入至所述目标行人跟踪模型中，通过所述目标行人跟踪模型对所述弱光增强图像中的行人进行识别，并将识别结果发送至所述移动机器人的控制器中，以对行人进行跟踪。

41、本技术还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述行人跟踪方法的步骤。

42、本技术还提供了一种移动机器人，包括：一个或多个处理器，以及存储器；

43、所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如上述实施例中任一项所述行人跟踪方法的步骤。

44、从以上技术方案可以看出，本技术实施例具有以下优点：

45、本技术提供的行人跟踪方法、装置、存储介质及计算机设备，该方法应用于移动机器人的视觉处理模块，当视觉处理模块检测到移动机器人处于弱光环境时，可以获取机载摄像头采集的实时图像，并调用预先配置的弱光图像增强模型和目标行人跟踪模型；这样便可以将实时图像输入至弱光图像增强模型中，通过弱光图像增强模型对实时图像进行图像增强，得到弱光增强图像；接着本技术可以将弱光增强图像输入至目标行人跟踪模型中，通过目标行人跟踪模型对弱光增强图像中的行人进行识别，并将识别结果发送至移动机器人的控制器中，以对行人进行跟踪。该过程先通过弱光图像增强模型实现弱光图像增强，接着通过行人跟踪模型识别行人，将该算法部署在四足机器人平台等冗余算力平台机器人上，不仅能够扩宽机器人的作业环境，使其在弱光环境下具备行人跟踪的能力，而且相比于堆叠更多红外、激光等传感器的方案成本要更低；且所有的算法运行过程与原有的机载计算平台完全兼容，无需做硬件上的额外安装工作。