无人机航线自动校正方法和装置与流程

1.本技术涉及无人机技术领域，具体而言，涉及一种无人机航线自动校正方法和装置。


背景技术：

2.当前，无人驾驶软件和云台之间通过数据通讯，实现了无人机在规划的航行任务中，云台根据所设置的航拍点并按预设的俯仰角度自动进行拍摄，将拍摄到的图像数据进行下一步应用处理。但航线验证过程中可能存在航拍点云台超限的现象，目前通常的处理方式是，在航线验证阶段通过逐点人工编辑来调整云台角度，避免无效航拍点。现有技术中，缺少一种自动计算调整角度的方法，来有效避免云台旋转角度超限带来的对云台的破坏。


技术实现要素：

3.本技术的目的包括，例如，提供了一种无人机航线自动校正方法和装置，其能够自动修正航线，避免了人工识别调整所存在的效率低下的问题。
4.本技术的实施例可以这样实现：
5.第一方面，本技术提供一种无人机航线自动校正方法，应用于搭载有摄像设备的无人机，所述摄像设备搭载于云台上，所述方法包括：
6.获取规划航线，所述规划航线包括多个航拍点，各所述航拍点对应有预设的云台角度；
7.在所述无人机基于所述规划航线飞行的过程中，获得所述摄像设备在各个航拍点按照预设的云台角度拍摄得到的图像；
8.将各张图像导入预先训练得到的识别模型中，在所述识别模型输出结果表征所述图像中包括目标对象时，获得所述目标对象的定位信息；
9.基于所述目标对象的定位信息判断所述摄像设备拍摄所述图像时所述云台是否处于超限状态，若处于超限状态，则对拍摄所述图像时的航拍点进行校正；
10.基于校正后的航拍点对规划航线进行校正，得到更新航线。
11.在可选的实施方式中，所述无人机还配置有激光设备；
12.所述获取规划航线的步骤，包括：
13.获取所述激光设备采集的目标对象的三维点云数据；
14.结合所述摄像设备采集的目标对象的图像信息及所述三维点云数据，构建三维点云模型；
15.根据所述三维点云模型及选择的巡检模式，自动生成多个航拍点，基于所述多个航拍点获得规划航线。
16.在可选的实施方式中，所述方法还包括预先基于深度残差网络模型构建识别模型的步骤，所述深度残差网络模型包括残差子网络、注意力机制子网络和分类器；
17.所述步骤包括：
18.采集多张样本图像，各所述样本图像中具有目标对象，各所述样本图像携带有目标对象的定位标签和分类标签；
19.将各所述样本图像导入所述深度残差网络模型中的残差子网络，输出各所述样本图像的特征图；
20.将所述特征图导入所述注意力机制子网络进行空间位置定位处理及冗余信息去除处理，输出各所述特征图中目标对象的定位信息以及冗余处理后的各特征图；
21.将冗余处理后的各特征图导入所述分类器中，输出各所述特征图中的目标对象的分类信息；
22.基于各所述样本图像的定位标签、分类标签、定位信息和分类信息，对所述深度残差网络模型进行调整后继续训练，直至满足预设要求时得到所述识别模型。
23.在可选的实施方式中，所述残差子网络包括多个残差模块，每个残差模块包括多层残差学习单元及非线性变化层；
24.所述将各所述样本图像导入所述深度残差网络模型中的残差子网络，输出各所述样本图像的特征图的步骤，包括：
25.针对各所述样本图像，将所述样本图像导入所述深度残差网络模型中，依次利用各个残差模块中的各层残差学习单元对所述样本图像进行处理得到特征图；
26.利用所述非线性变化层并基于预设阈值对特征图进行收缩处理。
27.在可选的实施方式中，所述利用所述非线性变化层并基于预设阈值对特征图进行收缩处理的步骤，包括：
28.针对导入所述非线性变化层中的各所述特征图，将所述特征图中特征值的绝对值小于或等于预设阈值的通道的特征值置于0，将所述特征图中特征值的绝对值大于所述预设阈值的通道的特征值向0的方向进行收缩。
29.在可选的实施方式中，所述非线性变化层包括依次连接的全局平均池化层、第一全连接层、第二全连接层；
30.所述预设阈值通过以下方式获得：
31.利用所述全局平均池化层对导入的特征图进行全局平均池化处理，得到一维特征向量；
32.利用所述第一全连接层和第二全连接层对所述一维特征向量进行处理，并对处理结果进行归一化得到缩放参数；
33.根据所述缩放参数和所述全局平均池化层输出的一维特征向量，计算得到所述预设阈值。
34.在可选的实施方式中，所述注意力机制子网络包括通道注意力模块和空间注意力模块；
35.所述将所述特征图导入所述注意力机制子网络进行空间位置定位处理及冗余信息去除处理的步骤，包括：
36.将所述特征图输入到所述通道注意力模块，以抑制所述特征图中的噪声信息，去除冗余信息；
37.将所述特征图分别再输入所述通道注意力模块和所述空间注意力模块进行处理，
将处理结果再一并导入到空间注意力模块，结合该空间注意力模块的输出结果和输入的特征进行残差结合处理，基于残差结合处理结果得到空间位置定位信息。
38.在可选的实施方式中，所述方法还包括测试所述识别模型的步骤，该步骤包括：
39.采集多张测试图像，各所述测试图像中具有目标对象，各所述测试图像携带有目标对象的真实定位信息和真实分类信息；
40.将各张测试图像导入所述识别模型中，输出各张测试图像的输出定位信息和输出分类信息；
41.基于多张测试图像的真实定位信息、真实分类信息、输出定位信息和输出分类信息，计算得到所述识别模型的识别准确率。
42.在可选的实施方式中，所述对拍摄所述图像时的航拍点进行校正的步骤，包括：
43.基于在所述航拍点拍摄的图像中目标对象的定位信息，计算新的航拍距离和拍摄角度；
44.根据所述航拍距离和拍摄角度所述航拍点进行校正。
45.第二方面，本技术提供一种无人机航线自动校正装置，应用于搭载有摄像设备的无人机，所述摄像设备搭载于云台上，所述装置包括：
46.获取模块，用于获取规划航线，所述规划航线包括多个航拍点，各所述航拍点对应有预设的云台角度；
47.获得模块，用于在所述无人机基于所述规划航线飞行的过程中，获得所述摄像设备在各个航拍点按照预设的云台角度拍摄得到的图像；
48.识别模块，用于将各张图像导入预先训练得到的识别模型中，在所述识别模型输出结果表征所述图像中包括目标对象时，获得所述目标对象的定位信息；
49.第一校正模块，用于基于所述目标对象的定位信息判断所述摄像设备拍摄所述图像时所述云台是否处于超限状态，若处于超限状态，则对拍摄所述图像时的航拍点进行校正；
50.第二校正模块，用于基于校正后的航拍点对规划航线进行校正，得到更新航线。
51.本技术实施例的有益效果包括，例如：
52.本技术提供一种无人机航线自动校正方法和装置，在基于获取的规划航线飞行的过程中，获得摄像设备在各个航拍点按预设的云台角度拍摄得到的图像。利用预先训练得到的识别模型得到各张图像中目标对象的定位信息，并基于定位信息判定云台超限时，对拍摄图像时的航拍点进行校正，进而基于校正后的航拍点对规划航线进行校正得到更新航线。本方案中，采用预先训练得到识别模型的方式，可以对规划航线中各个航拍点的图像进行识别检测，进而自动修正航线，避免了人工识别调整所存在的效率低下的问题。
附图说明
53.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
54.图1为本技术实施例提供的无人机航线自动校正方法的流程图；
55.图2为本技术中航拍点校正前后采集的图像示意图；
56.图3为本技术实施例提供的无人机航线自动校正方法中，规划航线获取方法的流程图；
57.图4为本技术实施例提供的无人机航线自动校正方法中，识别模型训练方法的流程图；
58.图5为本技术实施例提供的深度残差网络模型的结构示意图；
59.图6为图4中步骤s202的子步骤的流程图；
60.图7为本技术实施例提供的残差子网络的结构示意图；
61.图8为本技术实施例提供的残差模块的结构示意图；
62.图9为图6中步骤s2022的子步骤的流程图；
63.图10为本技术实施例提供的残差模块的另一结构示意图；
64.图11为图4中步骤s203的子步骤的流程图；
65.图12为本技术实施例提供的注意力机制子网络的结构示意图；
66.图13为本技术实施例提供的无人机航线自动校正方法中，测试方法的流程图；
67.图14为本技术实施例提供的电子设备的结构框图；
68.图15为本技术实施例提供的无人机航线自动校正装置的功能模块框图。
69.图标：110-存储介质；120-处理器；130-无人机航线自动校正装置；131-获取模块；132-获得模块；133-识别模块；134-第一校正模块；135-第二校正模块；140-通信接口。
具体实施方式
70.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
71.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
72.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
73.在本技术的描述中，需要说明的是，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
74.需要说明的是，在不冲突的情况下，本技术的实施例中的特征可以相互结合。
75.请参阅图1，为本技术实施例提供的无人机航线自动校正方法的流程图，该无人机航线自动校正方法有关的流程所定义的方法步骤可以由无人机所实现，例如，由无人机上的处理设备来实现。或者，该无人机航线自动校正方法也可以由与无人机通讯的上位机来实现。下面将对图1所示的具体流程进行详细阐述。
76.s301，获取规划航线，所述规划航线包括多个航拍点，各所述航拍点对应有预设的云台角度。
77.s302，在所述无人机基于所述规划航线飞行的过程中，获得所述摄像设备在各个航拍点按照预设的云台角度拍摄得到的图像。
78.s303，将各张图像导入预先训练得到的识别模型中，在所述识别模型输出结果表征所述图像中包括目标对象时，获得所述目标对象的定位信息。
79.s304，基于所述目标对象的定位信息判断所述摄像设备拍摄所述图像时所述云台是否处于超限状态，若处于超限状态，则对拍摄所述图像时的航拍点进行校正。
80.s105，基于校正后的航拍点对规划航线进行校正，得到更新航线。
81.本实施例中，获取的规划航线可以是预先基于无人机航测过程中，所获取的所需监测的目标对象的信息所初步规划得到的。其中，所述的目标对象可以是所需拍摄的任意对象，例如杆塔、导线、变压器、绝缘子、横担、刀闸等。
82.该规划航线上包括多个航拍点，所谓的航拍点即为可采用无人机上的摄像设备进行图像拍摄的点。
83.预先得到的规划航线中，各个航拍点对应有预设的云台角度，其中，云台为无人机上搭载摄像设备的支撑装置，云台可以调整摄像设备的水平和俯仰角度，从而达到良好的工作姿态。云台角度上限是其俯仰角度的上限，其主要影响因素是无人机机动性能、飞行高度和气候状况等，其中，气候状况包括风向、风力等。
84.由于预先规划的航拍点以及其对应的云台角度，仅为简单地基于目标对象的信息所规划得到，由于实际巡检中外部因素的变化，例如无人机机动性能、气候状况等，导致按照规划的航拍点进行航测时，可能存在一些无效的航拍点，也即，航拍点对应的云台处于超限的状态。
85.因此，有必要在无人机实际巡检过程中，对航拍点进行校正进而对航线进行校正。
86.本实施例中，在实际巡检过程中，无人机可按规划航线飞行，并且在规划航线的各个航拍点按照该航拍点对应的预设的云台角度进行拍摄，得到图像。
87.本实施例中，还可预先训练得到识别模型，该识别模型可预先基于样本图像并在深度残差网络模型的基础上训练得到。可将无人机按规划航线飞行时拍摄的各张图像导入识别模型中进行识别处理，识别模型可对图像中的目标对象进行识别，并且获得目标对象在图像中的定位信息。
88.针对各张图像，在识别模型识别出其中包含目标对象时，可框出图像中的目标对象，例如可采用最小外接框框定出目标对象。并且，取框的中心点作为目标对象的定位信息。
89.基于目标对象在图像中的定位信息判断此时云台是否处于超限状态，例如，目标对象处于图像边缘位置、目标对象在图像中未能显示完整等，都可能导致云台发生超限。
90.若是预测云台发生超限，则可以对拍摄图像时的航拍点进行校正，包括如航拍点的空间坐标、对应云台的角度、摄像设备的拍摄角度等。从而保障在校正后的航拍点进行目标对象的拍摄时，云台将不会出现超限的问题。
91.本实施例中，可以基于航拍点拍摄的图像中目标对象的定位信息，计算新的航拍距离和拍摄角度，根据计算得到的航拍距离和拍摄角度对航拍点进行校正。
92.如图2中所示，其中，右侧的图像为云台可能出现超限状态时所拍摄的图像，左侧的图像为对对应航拍点进行校正后所拍摄的图像。
93.在对规划航线中的每个航拍点按照上述方式进行校正后，基于校正后的航拍点可对整个规划航线进行校正，得到更新航线。
94.本实施例所提供的无人机航线自动校正方法，采用预先训练得到识别模型的方式，可以基于识别模型对规划航线中的各个航拍点的图像进行识别检测，进而自动修正航线，避免了人工识别调整所存在的效率低下的问题。
95.本实施例中，无人机上还配置有激光设备，该激光设备为激光雷达设备。上述的预先初步设置的规划路线可以由无人机上的激光设备和摄像设备采集的信息所规划得到。请参阅图3，本实施例中，预先可以通过以下方式获取规划航线：
96.s101，获取所述激光设备采集的目标对象的三维点云数据。
97.s102，结合所述摄像设备采集的目标对象的图像信息及所述三维点云数据，构建三维点云模型。
98.s103，根据所述三维点云模型及选择的巡检模式，自动生成多个航拍点，基于所述多个航拍点获得规划航线。
99.本实施例中，无人机预先可以在飞行的过程中采用激光设备进行探测，并基于目标对象所返回的激光信号，以建立目标对象的三维点云数据。该三维点云数据中包含有目标对象的三维坐标信息。同时，利用无人机上的摄像设备进行图像拍摄，采集目标对象的图像信息。目标对象的图像信息可用于对目标对象的类别进行标记。
100.利用目标对象的图像信息可对三维点云数据进行色彩和纹理信息的添加，从而构建三维点云模型。该三维点云模型体现了空间内目标对象的三维坐标信息以及各个目标对象的类别。
101.根据所需的巡检模式，例如包括针对杆塔、输电线路、变电站等的巡检模式，结合具体的巡检部件，例如绝缘子ⅰ串、
ⅴ
串等，以及上述生成的三维点云模型，则可以设置多个航拍点以用于后续在飞行过程中可以在各个航拍点进行目标对象的拍摄进而实现巡检。其中，各个航拍点对应有云台角度，也即，在航拍点采用对应的云台角度进行拍摄，此外，还具有航拍点的空间坐标、拍摄角度、与目标对象之间的距离等。
102.在设置各个航拍点后，可依次为各个航拍点设置编号，如此，则可以得到由各个航拍点按序构建的规划航线。
103.在上述基础上，无人机后续在飞行过程中，则可以先按照该规划航线进行飞行，并在各个航拍点进行目标对象的拍摄。利用预先训练得到的识别模型来检测目标对象，并对目标对象进行定位，进而在判定某个航拍点处存在云台超限时，对该航拍点进行校正。
104.本实施例所提供的自动校正方法还包括预先基于深度残差网络模型构建识别模型的步骤，其中，深度残差网络模型包括残差子网络、注意力机制子网络和分类器。请结合参阅图4，本实施例中，可通过以下方式预先训练得到识别模型：
105.s201，采集多张样本图像，各所述样本图像中具有目标对象，各所述样本图像携带有目标对象的定位标签和分类标签。
106.s202，将各所述样本图像导入所述深度残差网络模型中的残差子网络，输出各所述样本图像的特征图。
107.s203，将所述特征图导入所述注意力机制子网络进行空间位置定位处理及冗余信息去除处理，输出各所述特征图中目标对象的定位信息以及冗余处理后的各特征图。
108.s204，将冗余处理后的各特征图导入所述分类器中，输出各所述特征图中的目标对象的分类信息。
109.s205，基于各所述样本图像的定位标签、分类标签、定位信息和分类信息，对所述深度残差网络模型进行调整后继续训练，直至满足预设要求时得到所述识别模型。
110.本实施例中，预先可以利用无人机自动巡检航拍所采集的包含目标对象的图像作为样本图像。样本图像可为多张，可以在不同角度、不同距离和不同时间段内采集多张样本图像，保障样本的多样性。每张样本图像具有样本标签，样本标签可以由具备电力专业知识的人员进行标记。样本标签包括其中的目标对象的分类标签和定位标签。
111.针对各张样本图像，可首先采用双边滤波处理方式对样本图像进行去噪处理，以避免噪声的影响。
112.请结合参阅图5，各张样本图像可导入残差子网络中，残差子网络对样本图像进行特征提取，输出各样本图像的特征图。各特征图进入注意力机制子网络中进行处理，注意力机制子网络可以实现对特征图中冗余信息的去除，从而保留下满足分类所需的特征图。此外，注意力机制子网络可对特征图中目标对象进行空间位置定位，得到目标对象的定位信息。
113.经过冗余信息去除处理的特征图导入到分类器中，经由分类器的处理后，输出其中的目标对象的分类信息，例如绝缘子、变压器、横担等。
114.对于深度残差网络模型的训练过程，实质为使其对样本图像的输出结果与样本图像的真实标签尽可能相同的过程。也即，输出结果与真实标签的误差尽可能小。因此，本实施例中，可以基于样本图像的定位标签、分类标签、定位信息和分类信息，来对深度残差网络模型进行调整。例如，可以基于定位标签、分类标签、定位信息和分类信息构建输入和输出之间误差的损失函数，通过最小化损失函数作为指导，以调整深度残差网络模型的模型参数，并继续进行训练。直至满足预设要求时，可得到识别模型。
115.其中，所述的预设要求可以是损失函数达到收敛不再降低，或者是迭代训练的次数达到预设的最大次数，或者是迭代训练的时长达到预设的最大时长等。
116.对于传统的深度学习网络，直观的认知是网络层数越多，生成的模型参数越多，非线性表达能力越强，因此网络可以进行更加复杂的特征提取。在克服梯度消失和梯度爆炸的前提下，所能学习到的特征就越多。然而经过试验发现，传统的cnn(convolutional neural networks，卷积神经网络)网络结构随着层数加深到一定程度，准确率达到饱和之后，更深的网络反而提升了训练错误率和测试错误率，这种问题称之为网络退化问题。
117.而本实施例中，深度残差学习是解决网络退化问题非常有效的方法，该方法并不直接使用几层网络拟合出所期望的实际映射关系，而是拟合一个残差映射，这种方式使得输出变化对权重的调整作用更大，因而训练起来更加容易。
118.在本实施例中，残差子网络包括多个残差模块，每个残差模块包括多层残差学习单元以及非线性变化层。请参阅图6，上述利用残差子网络对样本图像进行处理的过程中，可以通过以下方式实现：
119.s2021，针对各所述样本图像，将所述样本图像导入所述深度残差网络模型中，依次利用各个残差模块中的各层残差学习单元对所述样本图像进行处理得到特征图。
120.s2022，利用所述非线性变化层并基于预设阈值对特征图进行收缩处理。
121.本实施例中，残差子网络包括多个残差模块，例如可以采用res net-50，以构建多层的深度残差网络，并在每个残差模块中插入软阈值学习子网络，也即非线性变化层，通过自动学习的软阈值对残差模块的输出进行收缩，达到去除噪声的目的。
122.请参阅图7，本实施例中，残差子网络可以包括如3个输出256个特征图的残差模块、4个输出512个特征图的残差模块、6个输出1024个特征图的残差模块、3个输出2048个特征图的残差模块。
123.其中，在每个残差模块中，可以包括三层残差学习单元，第一层为1
×
1的卷积层、第二层为3
×
3的卷积层、第三层为1
×
1的卷积层。在中间3
×
3卷积层前后使用1
×
1的卷积层，目的是为了降维，减少计算量。
124.对于输出特征图大小相同的层，有相同数量的卷积核，当特征图尺寸减半时，则需要增加一倍过滤器数量来保持各层的时间复杂度。
125.请结合参阅图8，对于每个残差模块中的三层残差学习单元，其中，用h(x)表示通过若干堆叠的残差学习单元得到的实际映射，x表示导入到这些残差学习单元的初始输入，堆叠的残差学习单元可以逐渐逼近输入与输出的残差，即h(x)-x。堆叠的残差学习单元拟合h(x)等价于去拟合残差函数f(x)＝h(x)-x，而拟合残差函数会更为方便和高效。
126.公式f(x)+x通过添加短路连接实现，短路连接是指一种跳过一个或多个层次的连接，并没有引入新的参数，也没有增加计算复杂度。是通过多层残差学习单元的输入x与多层残差学习单元的输出f(x)进行相加而得到。
127.如图8中所示，y表示残差模块中多层残差学习单元的输出向量，x表示残差模块的输入向量，在f与x维度相同的条件下，y可以定义为：
128.y＝f(x,{wi})+x
129.其中，函数f(x,{wi})表示学习到的残差映射。
130.如果f与x的维度不相同，无法直接进行运算，则需要在短路连接上作一个线性投影，使用矩阵ws来解决维度匹配的问题，公式为：
131.y＝f(x,{wi})+wsx
132.对于如图8中所示的三层网络，f函数的公式可表示为：
133.f＝w3σ(w2σ(w1x))
134.其中，σ表示relu激活函数，w
1-w3为权重值，为了简化公式省略了偏置项。
135.在每个残差模块中，通过如上所述的多个残差单元对样本图像进行处理，可以得到样本图像的特征图。而无人机的航拍图像中只有具有适合角度和亮度的目标对象的图像模型才可进行准确识别。而其他的不具有适合角度和亮度的图像，或者是图像中的部分区域将形成噪声。因此，如何去除噪声和冗余数据成为影响模型性能的一个重要问题。
136.本实施例中，在深度残差网络的基础上，加入了收缩的概念，通过设置软阈值的方式来实现特征图的收缩，从而达到对噪声和冗余数据的去除。具体地，本实施例中，在每个残差模块中插入了非线性变化层，在多层残差学习单元得到特征图的基础上，利用非线性变化层并基于预设阈值对特征图进行收缩处理。
137.本实施例中，利用非线性变化层对各特征图进行收缩处理时，具体地，针对导入非线性变化层中的各特征图，将特征图中特征值的绝对值小于或等于预设阈值的通道的特征值置为0，将特征图中特征值的绝对值大于预设阈值的通道的特征值向0的方向进行收缩。
138.相应的收缩公式可如下所示：
[0139][0140]
其中，x表示输入非线性变化层的输入特征，y表示输出特征，t为预设阈值，该预设阈值为正数。由上述公式可知，对于特征图中特征值的绝对值大于预设阈值的通道的特征值，其中，若特征值为正数，则将其向0收缩的方式为利用特征值减去预设阈值。而若特征值为负数，则将其向0收缩的方式为利用特征值加上预设阈值。
[0141]
如此，按上述方式进行处理后，绝对值小于或等于预设阈值的特征值将被置为0，而绝对值大于预设阈值的特征值将向以0为中心进行收缩。本实施例中，该预设阈值为一正数，而并非如relu激活函数所采用的直接将负值设置为0。本实施例中，将绝对值小于或等于预设阈值的特征值置为0，可以保留有用的负值特征。
[0142]
传统方式中，设置软阈值的方式一般是业务领域中的专家根据专业知识通过不断地调试进行设置。这种方式不具备学习能力，缺乏可扩展性，不具备适用性。
[0143]
基于上述考虑，在本实施例中，非线性变化层包括依次连接的全局平均池化层、第一全连接层、第二全连接层，请参阅图9，上述的预设阈值可通过以下方式来确定：
[0144]
s20221，利用所述全局平均池化层对导入的特征图进行全局平均池化处理，得到一维特征向量。
[0145]
s20222，利用所述第一全连接层和第二全连接层对所述一维特征向量进行处理，并对处理结果进行归一化得到缩放参数。
[0146]
s20223，根据所述缩放参数和所述全局平均池化层输出的一维特征向量，计算得到所述预设阈值。
[0147]
请结合参阅图10，针对每个残差模块，图像在多层残差学习单元处理，例如图中的1
×
1的卷积层、3
×
3的卷积层、1
×
1的卷积层。最后一层残差学习单元所输出的特征图，导入非线性变化层中的全局平均池化层(gap)，经过全局平均池化处理后，得到与上一层卷积核数量相同的一维向量。将该一维向量输入到第一全连接层(fc)、第二全连接层(fc)中，并结合两层全连接层末端的sigmoid函数，得到处理结果。再按照如下所示的公式对处理结果进行归一化处理得到缩放参数：
[0148][0149]
其中，zi表示第二全连接层第i个神经元的输出值，αi表示归一化后的缩放参数。
[0150]
在上述基础上，结合缩放参数和全局平均池化层输出的一维特征向量，按以下公式计算得到预设阈值：
[0151]
ti＝αi·
average{g
m,n,i
}
m,n
[0152]
其中，ti表示特征图第i个通道的预设阈值，m、n分别表示特征图的宽度和高度，g表示全局平均池化层输出的一维特征向量，average表示取平均值。
[0153]
通过以上方式，可以根据残差模块中的特征图的实际情况，适应性地生成预设阈值。此外，为了将预设阈值限定在一定范围内，如果预设阈值大于特征映射的最大绝对值，则预设阈值的输出将为0。通过在深度残差网络的残差模块中嵌入非线性变化层，通过各种
非线性变换学习判别特征。消除噪声相关信息，并且预设阈值是在深层架构中自动学习的，而不是由专家手动设置，使得预设阈值更具备适应性。
[0154]
本实施例中，通过以上方式利用残差子网络实现样本图像到特征图的转换后，可由注意力机制子网络对特征图进一步进行冗余信息去除，以及特征图中目标对象的定位。
[0155]
本实施例中，注意力机制子网络包括通道注意力模块和空间注意力模块。请参阅图11，注意力机制子网络对特征图的处理如下所示：
[0156]
s2031，将所述特征图输入到所述通道注意力模块，以抑制所述特征图中的噪声信息，去除冗余信息。
[0157]
s2032，将所述特征图分别再输入所述通道注意力模块和所述空间注意力模块进行处理，将处理结果再一并导入到空间注意力模块，结合该空间注意力模块的输出结果和输入的特征图进行残差结合处理，基于残差结合处理结果得到空间位置定位信息。
[0158]
请结合参阅图12，当特征图输入到注意力机制子网络后，首先经过通道注意力模块，以抑制特征图中不重要的噪声信息，去除冗余信息。让模型关注在特征图中的目标对象部分。
[0159]
去除处理后的特征图再分别进入通道注意力模块和空间注意力模块进行处理，两者分别的处理结果可再与输入的特征图进行融合后，一起输入到空间注意力模块中。如此，可以对目标对象进行定位，且不会丢失大量原图信息。
[0160]
在此基础上，将空间注意力模块的输出结果与输入的特征图用残差的方式进行结合，残差结合的公式如下：
[0161]
out＝wb*(wa*x)+x＝σ(fb)*(σ(fa)*x)+x
[0162]
其中，x表示输入矩阵，fa和fb分别表示通道特征矩阵和空间特征矩阵，wa和wb分别表示通道权重矩阵和空间权重矩阵，σ表示relu函数。基于残差结合的结果可得到特征图中目标对象的定位信息。
[0163]
本实施例中，通过上述的处理过程，在深度残差网络中，经过预处理的样本图像进入到深度残差网络中的残差子网络得到样本图像的特征图，将特征图导入到改进的注意力机制子网络中，进行目标对象的空间位置定位以及去除多余的冗余信息，得到满足分类需求的特征图，特征图的维度不会发生变化，可以获得图像更多的判别性特征。最后，经由分类器对特征图中的目标对象进行分类得到分类信息。
[0164]
在上述基础上，基于输入到深度残差网络中的样本图像的真实标签，以及网络所输出的样本图像对应的输出标签的差异，对深度残差网络模型进行训练得到识别模型。
[0165]
为了验证识别模型的识别准确率，本实施例所提供的自动校正方法还可包括测试识别模型的步骤，请参阅图13，该步骤可以通过以下方式实现：
[0166]
s206，采集多张测试图像，各所述测试图像中具有目标对象，各所述测试图像携带有目标对象的真实定位信息和真实分类信息。
[0167]
s207，将各张测试图像导入所述识别模型中，输出各张测试图像的输出定位信息和输出分类信息。
[0168]
s208，基于多张测试图像的真实定位信息、真实分类信息、输出定位信息和输出分类信息，计算得到所述识别模型的识别准确率。
[0169]
本实施例中，所述的测试图像同样地可为无人机巡检过程中所采集的包含目标对
象的图像。各张测试图像标记有目标对象的真实定位信息和真实分类信息。
[0170]
利用识别模型对各张测试图像进行处理，处理的过程同上述深度残差网络对样本图像的处理过程一致。各张测试图像在经过识别模型的处理后，最终可得到对应的输出定位信息和输出分类信息。
[0171]
可以将测试图像的真实定位信息和输出定位信息进行比对，以检测识别模型对于目标对象的定位是否准确。此外，还可将测试图像的真实分类信息和输出分类信息进行比对，以检测识别模型对于目标对象的分类是否准确。
[0172]
综合多张测试图像的测试结果，可以得到识别模型的识别准确率。若识别模型的识别准确率达到设定阈值，则可以将该识别模型用于后续的分析处理中。若识别模型的识别准确率较低，则可以继续对识别模型进行训练，进而提高识别模型的识别准确率。
[0173]
请参阅图14，为本技术实施例提供的电子设备的示例性组件示意图，该电子设备可以是上述的无人机，或者与无人机通信的上位机。该电子设备可包括存储介质110、处理器120、无人机航线自动校正装置130及通信接口140。本实施例中，存储介质110与处理器120均位于电子设备中且二者分离设置。然而，应当理解的是，存储介质110也可以是独立于电子设备之外，且可以由处理器120通过总线接口来访问。可替换地，存储介质110也可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。
[0174]
无人机航线自动校正装置130可以理解为上述电子设备，或电子设备的处理器120，也可以理解为独立于上述电子设备或处理器120之外的在电子设备控制下实现上述无人机航线自动校正方法的软件功能模块。
[0175]
如图15所示，上述无人机航线自动校正装置130可以包括获取模块131、获得模块132、识别模块133、第一校正模块134和第二校正模块135。下面分别对该无人机航线自动校正装置130的各个功能模块的功能进行详细阐述。
[0176]
获取模块131，用于获取规划航线，所述规划航线包括多个航拍点，各所述航拍点对应有预设的云台角度。
[0177]
可以理解，该获取模块131可以用于执行上述步骤s301，关于该获取模块131的详细实现方式可以参照上述对步骤s301有关的内容。
[0178]
获得模块132，用于在所述无人机基于所述规划航线飞行的过程中，获得所述摄像设备在各个航拍点按照预设的云台角度拍摄得到的图像。
[0179]
可以理解，该获得模块132可以用于执行上述步骤s302，关于该获得模块132的详细实现方式可以参照上述对步骤s302有关的内容。
[0180]
识别模块133，用于将各张图像导入预先训练得到的识别模型中，在所述识别模型输出结果表征所述图像中包括目标对象时，获得所述目标对象的定位信息。
[0181]
可以理解，该识别模块133可以用于执行上述步骤s303，关于该识别模块133的详细实现方式可以参照上述对步骤s303有关的内容。
[0182]
第一校正模块134，用于基于所述目标对象的定位信息判断所述摄像设备拍摄所述图像时所述云台是否处于超限状态，若处于超限状态，则对拍摄所述图像时的航拍点进行校正。
[0183]
可以理解，该第一校正模块134可以用于执行上述步骤s304，关于该第一校正模块134的详细实现方式可以参照上述对步骤s304有关的内容。
[0184]
第二校正模块135，用于基于校正后的航拍点对规划航线进行校正，得到更新航线。
[0185]
可以理解，该第二校正模块135可以用于执行上述步骤s305，关于该第二校正模块135的详细实现方式可以参照上述对步骤s305有关的内容。
[0186]
在一种可能的实施方式中，所述无人机还配置有激光设备，上述获取模块131可以用于：
[0187]
获取所述激光设备采集的目标对象的三维点云数据；
[0188]
结合所述摄像设备采集的目标对象的图像信息及所述三维点云数据，构建三维点云模型；
[0189]
根据所述三维点云模型及选择的巡检模式，自动生成多个航拍点，基于所述多个航拍点获得规划航线。
[0190]
在一种可能的实施方式中，所述无人机航线自动校正装置130还包括用于预先基于深度残差网络模型构建识别模型的构建模块，该深度残差网络模型包括残差子网络、注意力机制子网络和分类器，该构建模块可以用于：
[0191]
采集多张样本图像，各所述样本图像中具有目标对象，各所述样本图像携带有目标对象的定位标签和分类标签；
[0192]
将各所述样本图像导入所述深度残差网络模型中的残差子网络，输出各所述样本图像的特征图；
[0193]
将所述特征图导入所述注意力机制子网络进行空间位置定位处理及冗余信息去除处理，输出各所述特征图中目标对象的定位信息以及冗余处理后的各特征图；
[0194]
将冗余处理后的各特征图导入所述分类器中，输出各所述特征图中的目标对象的分类信息；
[0195]
基于各所述样本图像的定位标签、分类标签、定位信息和分类信息，对所述深度残差网络模型进行调整后继续训练，直至满足预设要求时得到所述识别模型。
[0196]
在一种可能的实施方式中，所述残差子网络包括多个残差模块，每个残差模块包括多层残差学习单元及非线性变化层，所述构建模块可以用于：
[0197]
针对各所述样本图像，将所述样本图像导入所述深度残差网络模型中，依次利用各个残差模块中的各层残差学习单元对所述样本图像进行处理得到特征图；
[0198]
利用所述非线性变化层并基于预设阈值对特征图进行收缩处理。
[0199]
在一种可能的实施方式中，所述构建模块可以用于：
[0200]
针对导入所述非线性变化层中的各所述特征图，将所述特征图中特征值的绝对值小于或等于预设阈值的通道的特征值置于0，将所述特征图中特征值的绝对值大于所述预设阈值的通道的特征值向0的方向进行收缩。
[0201]
在一种可能的实施方式中，所述非线性变化层包括依次连接的全局平均池化层、第一全连接层、第二全连接层，所述构建模块可以用于通过以下方式获得预设阈值：
[0202]
利用所述全局平均池化层对导入的特征图进行全局平均池化处理，得到一维特征向量；
[0203]
利用所述第一全连接层和第二全连接层对所述一维特征向量进行处理，并对处理结果进行归一化得到缩放参数；
[0204]
根据所述缩放参数和所述全局平均池化层输出的一维特征向量，计算得到所述预设阈值。
[0205]
在一种可能的实施方式中，所述注意力机制子网络包括通道注意力模块和空间注意力模块，所述构建模块可以用于：
[0206]
将所述特征图输入到所述通道注意力模块，以抑制所述特征图中的噪声信息，去除冗余信息；
[0207]
将所述特征图分别再输入所述通道注意力模块和所述空间注意力模块进行处理，将处理结果再一并导入到空间注意力模块，结合该空间注意力模块的输出结果和输入的特征进行残差结合处理，基于残差结合处理结果得到空间位置定位信息。
[0208]
在一种可能的实施方式中，所述无人机航线自动校正装置130还包括用于测试所述识别模型的测试模块，该测试模块可以用于：
[0209]
采集多张测试图像，各所述测试图像中具有目标对象，各所述测试图像携带有目标对象的真实定位信息和真实分类信息；
[0210]
将各张测试图像导入所述识别模型中，输出各张测试图像的输出定位信息和输出分类信息；
[0211]
基于多张测试图像的真实定位信息、真实分类信息、输出定位信息和输出分类信息，计算得到所述识别模型的识别准确率。
[0212]
在一种可能的实施方式中，上述的第一校正模块134可以用于：
[0213]
基于在所述航拍点拍摄的图像中目标对象的定位信息，计算新的航拍距离和拍摄角度；
[0214]
根据所述航拍距离和拍摄角度所述航拍点进行校正。
[0215]
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
[0216]
进一步地，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有机器可执行指令，机器可执行指令被执行时实现上述实施例提供的无人机航线自动校正方法。
[0217]
具体地，该计算机可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该计算机可读存储介质上的计算机程序被运行时，能够执行上述无人机航线自动校正方法。关于计算机可读存储介质中的及其可执行指令被运行时，所涉及的过程，可以参照上述方法实施例中的相关说明，这里不再详述。
[0218]
综上所述，本技术实施例提供的无人机航线自动校正方法和装置，在基于获取的规划航线飞行的过程中，获得摄像设备在各个航拍点按预设的云台角度拍摄得到的图像。利用预先训练得到的识别模型得到各张图像中目标对象的定位信息，并基于定位信息判定云台超限时，对拍摄图像时的航拍点进行校正，进而基于校正后的航拍点对规划航线进行校正得到更新航线。本方案中，采用预先训练得到识别模型的方式，可以对规划航线中各个航拍点的图像进行识别检测，进而自动修正航线，避免了人工识别调整所存在的效率低下的问题。
[0219]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应
涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。