救援无人机自动识别抓取AED装置的控制方法与流程

本发明涉及aed装置的高效抓取控制方法，具体涉及一种救援无人机自动识别抓取aed装置的控制方法。

背景技术：

1、医疗是人类社会的基本问题，很多时候病人的病情危重都是延迟、救护车迟到等原因造成的。自动体外除颤器又称自动体外电击器，简称aed，是一种便携式医疗设备，是可以被非专业人员使用的用于抢救心脏骤停患者的医疗设备。目前世界上最有效制止猝死的办法就是及时地利用aed对患者进行除颤和心肺复苏。但目前我国aed普遍使用率低，一旦出现患者心脏骤停需立马送去医院，遇到堵车等突发情况就会耽误救治的黄金时间，严重的话会危害到患者的生命安全。

2、我国密集场所中对aed的使用投放率低，通常患者将面临离医院太远或者在人群密集场所中携载aed的大型设备/救护车难以靠近等问题，出现这样的问题后就往往会错过最佳的抢救时间。针对类似的问题，有人提出了通过无人机运输aed的方案，使得aed能快速高效到达指定位置，在实际应用中发现，通过无人机来运输aed时，即涉及到aed的投放，也涉及到aed装置的识别抓取工作，无人机自动识别aed装置并且自动抓取aed装置，会极大地提升aed装置的转用效率，节约救援输送时间，提高患者的生存概率。

3、无人机通过机载机械臂实现对aed装置的抓取工作，首先需要获取aed装置的位置以及放置的姿态，因此，在控制无人机上机械臂抓取aed装置的前置条件是完成对aed装置的自主识及方向判断；

4、而由于无人机载重有限以及独特的高空视角，相较于通用目标识别场景，对aed装置的自主识别通常面临以下几个关键问题：

5、(1)一方面，由于无人机载重有限，不能配备高性能计算设备，机载计算机算力有限；另一方面，无人机的高机动特性导致无人机与目标相对运动速度较快，这对算法的实时性(实时一般是指帧率≥25hz)提出了更高的要求；因此，综合两个方面，识别算法要尽可能轻量化的同时提高识别帧率；

6、(2)不同于地面相机对地面目标识别的视角，无人机视角下目标可能是任意方向的。而机械臂要完成对aed装置的精确抓取，仅仅获取目标相对位置是不够的，还需要获取目标在图像2d平面的偏角(目标的方向)。因此，具体的控制方法中还需要获得目标的偏角信息，即aed装置的布置角度。

7、针对第一个问题，现有的实时目标检测方法中，主要分为以下几类：

8、(1)基于两阶段检测器的实时目标检测方法，如faster r-cnn(region-basedconvolutional neural network)等。这些方法通过首先生成候选区域，然后对这些候选区域进行分类和回归来检测目标。这类方法具有较高的精度，但对算力要求较高，一般部署在地面主机或高性能笔记本，在无人机机载计算机算力下，经过测试，测试帧率＜5hz，远远达不到实时性要求；

9、(2)基于单阶段检测器的实时目标检测方法，如yolo(you only look once)系列，ssd(single shot multibox detector)等；这些方法采用单个神经网络来直接预测目标的类别和位置，并具有较快的速度和较高的准确率。但由于目标检测和分类是同时进行的，所以检测的精度较低，尤其是对于小目标和困难样本；

10、(3)基于注意力机制的实时目标检测方法，如squeeze-and-excitation networks(senet)等；这些方法使用注意力机制来学习不同特征图的重要性，从而提高目标检测的准确率，但这类方法计算量较大。

11、针对第二个问题，调研了现有的角度估计方法，主要有以下几种：

12、(1)基于霍夫变换的角度估计方法：该方法利用霍夫变换提取直线特征，并通过计算直线之间的角度来估计目标的角度，该方法适用于直线较明显的图像，对于目标边缘不明显的图像效果较差，同时容易受到噪声和干扰的影响；

13、(2)基于模板匹配的角度估计方法：该方法需要提前构建一个目标的2d模板，然后在输入图像中匹配模板，并通过匹配结果来估计目标的角度。该方法对于目标形状规则、边缘明显的情况效果较好，但对于目标形状复杂或存在遮挡等情况效果较差，同时，需要提前构建模板，模板质量直接影响估计精度；

14、(3)基于卷积神经网络的角度估计方法：该方法利用卷积神经网络对输入图像进行特征提取和分类，然后根据分类结果来估计目标的角度。可以自动学习特征，对于目标形状、姿态变化较大的情况具有较好的鲁棒性，可以实现端到端的训练和测试。但对于数据量和质量要求较高，人工标注成本较高；

15、(4)基于sift特征的角度估计方法：该方法利用sift算法提取输入图像中的关键点和特征，然后通过匹配关键点和特征来估计目标的角度。该方法对于目标形状变化较大或存在遮挡的情况效果较好，可以估计多个目标的角度。但sift算法计算量较大，适用于低速度应用场景，同时对于目标尺度变化较大的情况效果较差。

16、由于上述现有技术都不能满足无人机自动识别抓取aed装置的控制需求，本技术人对无人机的控制方案做了深入研究，以期待设计出一种能够解决上述问题，能够准确控制无人机识别并抓取aed装置的控制方法。

技术实现思路

1、为了克服上述问题，本发明人进行了锐意研究，设计出一种救援无人机自动识别抓取aed装置的控制方法，该方法中，在无人机中灌装两个改进的yolov5模型，分别针对大图像和小图像进行aed装置的识别工作，以便于兼顾准确度和降低运效率，并且根据具体情况实时切换使用两种模型；为了减小无人机上的运算量，降低aed装置布置角度的判断难度，将aed装置统一设置为比较规则的长方体结构，在此基础上，对目标外接矩形区域图像进行自适应二值化，再对二值化后的图像拟合最小面积外接矩形，读取该矩形边框的倾斜角度即可作为该外接矩形及aed装置的布置角度，从而完成本发明。

2、具体来说，本发明的目的在于提供一种救援无人机自动识别抓取aed装置的控制方法，

3、该方法包括如下步骤：

4、步骤1，通过机载摄像头实时拍摄获得aed装置所在位置的图像，

5、步骤2，将所述图像预处理后输入到大网络模型中，通过大网络模型识别图像中的aed装置；

6、步骤3，当大网络模型能够连续地从5帧图像中都识别到aed装置后，将后续获得的图像做裁剪及预处理得到小图像；

7、步骤4，将小图像输入到小网络模型中，通过小网络模型识别图像中的aed装置；

8、步骤5，基于大网络模型和小网络模型的输出结果控制无人机飞向aed装置。

9、其中，该方法还包括：

10、步骤6，在无人机邻近aed装置时，基于aed装置的布置角度控制无人机上的机械手抓取aed装置；

11、优选地，在获得小图像后，针对每一帧小图像，对目标外接矩形区域图像进行自适应二值化；对二值化后的图像拟合最小面积外接矩形，并将该外接矩形的方向作为aed装置的布置角度。

12、其中，在训练所述大网络模型时，训练用的图像分辨率为1280×1280；

13、在训练所述小网络模型时，训练用的图像分辨率为640×640。

14、其中，所述大网络模型的结构包括：backbone、neck和head三个部分；

15、所述backbone包含6个卷积模块、5个c3模块以及1个sppf模块；

16、所述neck包含6个卷积模块、6个c3模块、3个上采样模块以及6个拼接模块；

17、head目标检测头用于在特征图上预测目标类别并回归目标位置，包含4个detect检测器，即利用基于网格的anchor在不同尺度的特征图上进行目标检测；

18、所述卷积模块由卷积层、bn层和激活函数组成，通过卷积层提取输入特征中的局部空间信息，通过bn层网络归一化，所述激活函数使用leaky relu；

19、所述c3模块用于增加网络的深度和感受野，由三个卷积层构成，其中第一个卷积层的步长为2，用于将特征图的尺寸减半，第二个卷积层和第三个卷积层的步长为1；c3模块中采用的都是3x3的卷积核；

20、所述sppf是空间金字塔池化，用于将输入特征图转换成固定大小的特征向量；

21、所述上采样模块用于增加特征图尺寸；

22、所述拼接模块用于将两个或多个特征图在通道方向进行叠加。

23、其中，所述小网络模型的结构包括backbone、neck、head三部分；

24、所述backbone包含5个卷积模块、4个c3模块以及1个sppf模块；

25、所述neck包含4个卷积模块、4个c3模块、2个上采样模块以及4个拼接模块；

26、所述head目标检测头用于在特征图上预测目标类别并回归目标位置，包含3个detect检测器，即利用基于网格的anchor在不同尺度的特征图上进行目标检测。

27、其中，在所述步骤3中，所述裁剪及预处理具体包括如下子步骤：

28、子步骤1，在当前图像中，以上一帧图像中aed装置包围框的位置为中心，以包围框宽度的3-10倍为宽，以包围框高度的3-10倍为高进行裁剪，得到裁剪图像；

29、子步骤2，将裁剪图像的分辨率转换为640×640，得到小图像。

30、其中，在步骤4中，当小网络模型基于小图像，未能识别到aed装置时，重新执行步骤2，即再次通过大网络模型识别图像中的aed装置。

31、其中，在步骤2中，所述预处理是指将图像的分辨率转换为1280×1280。

32、其中，在步骤2中，大网络模型的输出结果为aed装置在图像坐标系相对位置；

33、在步骤4中，小网络模型的输出结果为aed装置在图像坐标系相对位置。

34、本发明所具有的有益效果包括：

35、(1)根据本发明提供的救援无人机自动识别抓取aed装置的控制方法中，在无人机上设置有两个网络模型，可以兼顾大网络模型的识别精度和小网络模型的识别速度，同时，小网络模型还能去除图像其他区域的干扰，进一步提高识别稳定性，识别效果更好；

36、(2)根据本发明提供的救援无人机自动识别抓取aed装置的控制方法中，对目标外接矩形区域图像进行自适应二值化，再对二值化后的图像拟合最小面积外接矩形，将该外接矩形的倾斜角度等价于aed装置的布置角度，由于aed装置被设置为长方体形状，该等价过程基本不会降低判断精度，该等价结果足够机械手执行抓取作业，通过设置该等价过程，极大地降低了无人机中关于布置角度的解算判断过程，减小运算量，降低无人机的投入成本；

37、(3)根据本发明提供的救援无人机自动识别抓取aed装置的控制方法中，仅处理目标外接矩形框拟合框内的图像，一方面减少了计算量，可以实时计算；同时，为自适应二值化去除了背景干扰，可以更好地得到物体的边缘；自适应二值化不需要对目标进行分割标注等工作，减少了人工成本，而且对目标颜色变化、环境光照变化等变化具有很高的鲁棒性。