多算法融合探鸟系统的制作方法

本发明涉及雷达探鸟技术领域，具体涉及多算法融合探鸟系统。

背景技术：

驱鸟是机场、农场和变电站等场所的一项重要工作，驱鸟之前需要准确的探测处鸟类位置，才能准确地进行驱鸟，防止鸟类对机场、农场和变电站等场所造成的危害，例如鸟类在机场中与飞机撞击造成的飞机零件损坏危害飞行安全，鸟类在农场啄食农作物造成减产危害，鸟类在变电站内栖息筑巢造成电气元件短路危害，驱鸟需要在鸟类进入到相关场所进行，所以提前探测出鸟类位置非常重要。

现有的探鸟技术采用雷达红外线感应、稻草人或恐吓图片等方式进行，但是，由于环境变化造成的探鸟技术失效问题日趋严重，例如大雾、雨雪天气和沙尘天气等环境造成探鸟技术受到很大的限制，将多种探鸟技术融合克服环境影响的需求越来越急迫。

技术实现要素：

本发明意在提供一种多算法融合探鸟系统，以对探鸟算法融合提高探鸟准确性。

本方案中的多算法融合探鸟系统，包括采集子系统、探鸟子系统和定位子系统；

所述采集子系统包括激光雷达模块，所述激光雷达模块用于采集环境的图像数据形成点云集并发送至探鸟子系统；

所述探鸟子系统对图像数据滤波并将图像数据分成动态点和静态点，所述探鸟子系统根据变动的聚类半径来对动态点聚类得到动态点云子集，所述探鸟子系统对动态点云子集求集合的外切球半径并将外切球半径小于第三阈值的点云作为前期疑似鸟点，所述探鸟子系统搜索当前时刻前期疑似鸟点在前一时刻时第二阈值范围内的疑似鸟点，且探鸟子系统搜索在当前时刻该前期疑似鸟点的第一阈值范围内的静态点，所述探鸟子系统在具有疑似鸟点且无静态点时拍摄图片发送至定位子系统；

所述定位子系统获取拍摄图片中的放大倍数和像素信息，所述定位子系统根据放大倍数获取预存的转换系数，所述转换系数为每个放大倍数下一个像素对应的偏转角度，所述定位子系统根据像素信息获取拍摄图片中心点的中心像素坐标，所述定位子系统预存有图像中心点在实际环境中的实际坐标，所述定位子系统根据鸟类像素坐标、中心像素坐标、转换系数和实际坐标计算鸟类在实际环境中的位置。

本方案的有益效果是：

在探鸟时，将采集到的图像数据通过滤波对点云进行分类，然后对分类后的动态点进行聚类，再结合与静态点云距离筛选的方案，大大提高了实时性，探鸟算法基本可以实现与激光采集同步进行，无滞后，并拍摄鸟类的拍摄图片发送至定位子系统，将鸟类在拍摄图片中的像素坐标转换到实际坐标中，探测到鸟类后对鸟类进行定位锁定，将算法融合进行探鸟定位，方便后续进行准确地驱鸟。

进一步，所述激光雷达模块包括旋转座和多个同步转动的成像单元，所述成像单元在同一弧线上的采集角度之和为180°，所述成像单元的成像角度为30°，所述旋转座带动成像单元形成360°上半球形的探鸟区域。

有益效果是：将多个成像单元形成的探鸟区域进行环境中图像采集，方位覆盖范围大。

进一步，所述探鸟子系统包括滤波模块，所述滤波模块通过滤波窗口在图像数据每个像素点的水平向进行滤波，所述滤波模块在滤波窗口中的当前时刻点云与前一时刻点云的距离小于设定阈值时发送静态信号，所述滤波模块在滤波窗口中的当前时刻点云与前一时刻点云的距离大于设定阈值时发送动态信号。

有益效果是：对图像数据中的像素点进行滤波，并将滤波窗口当前时刻点云与前一时刻点云的距离进行比较分类，逐一搜索图像数据中的像素点，避免遗漏像素点的特征。

进一步，所述探鸟子系统还包括处理模块和标签模块，所述处理模块获取静态信号和动态信号发送至标签模块，所述标签模块根据静态信号给当前时刻点云添加静态标签，所述标签模块根据动态信号给当前时刻点云添加动态标签，所述处理模块根据静态标签形成静态点云集，所述处理模块根据动态标签形成动态点云集。

有益效果是：将图像数据中的像素点分类后添加上标签，并形成不同的点云集，方便后续对动态点云集进行聚类以及进行与静态点的距离筛选。

进一步，所述探鸟子系统还包括聚类模块，所述聚类模块对动态点云集以变动的聚类半径进行聚类得到动态点云子集，所述聚类半径与目标至激光雷达模块的间距成正比。

有益效果是：由于激光雷达模块探鸟时激光束呈扇形射出，距离激光雷达模块越近，相邻激光束垂直投射到目标上的点云间距越小，聚类模块通过变动的聚类半径进行聚类，相对于现有固定聚类半径的聚类方式，提高了探鸟的准确性。

进一步，所述探鸟子系统还包括筛选模块，所述处理模块对动态点云子集求集合的外切球半径并将外切球半径小于第三阈值的点云作为前期疑似鸟点，所述筛选模块搜索当前时刻前期疑似鸟点在前一时刻时第二阈值范围内有疑似鸟点，且所述筛选模块搜索在当前时刻该前期疑似鸟点的第一阈值范围内时无静态点向处理模块发送确认信号。

有益效果是：将疑似鸟类的动态点云遍历查找静态点，防止图像数据中静态点的干扰，提高探鸟的准确性。

进一步，所述处理模块从图像数据中获取激光雷达模块反射光的反射率并发送至筛选模块，所述筛选模块在反射率小于预设值时向处理模块发送噪点信号，所述处理模块将该点云记录为噪点。

有益效果是：由于玻璃等反射物会在空间形成孤立的噪点，会被误判为疑似鸟点云，筛选掉该噪点，提高探鸟的准确性。

进一步，所述定位子系统包括具有训练模型的目标检测模块，所述目标检测模块将拍摄图片输入训练模型进行处理输出鸟类在拍摄图片中的像素坐标。

有益效果是：通过训练模型输出像素坐标，可以最优的训练模型进行像素坐标输出，让后续鸟类定位更准确。

进一步，所述定位子系统包括转换模块和系数模块，所述系数模块预存有放大倍数对应的转换系数、中心像素坐标和实际坐标，所述处理模块将搜索到的鸟类像素坐标发送至转换模块，所述转换模块根据鸟类像素坐标、中心像素坐标和转换系数将鸟类在图像数据中的位置转换至实际环境中的位置信息，所述处理模块根据位置信息对鸟类定位。

有益效果是：通过放大倍数对应的转换系数将鸟类的像素坐标转换至实际环境中，在探鸟后进行转换，提高实时性，让鸟类定位更准确。

进一步，所述转换模块将中心像素坐标与鸟类像素坐标相减后乘以转换系数得到移动变量，所述处理模块将移动变量与实际坐标相加定位鸟类在实际环境中的位置。

有益效果是：以固定位置处的中心像素坐标为基础，基准不变，提高鸟类定位的准确性。

附图说明

图1为本多算法融合探鸟系统实施例一的逻辑框图。

具体实施方式

下面通过具体实施方式进一步详细说明。

实施例一

多算法融合探鸟系统，如图1所示：包括采集子系统、探鸟子系统和定位子系统。

采集子系统包括激光雷达模块，激光雷达模块用于采集环境的图像数据形成点云集并发送至探鸟子系统，激光雷达模块可用rs-lidar-16型号的激光雷达，激光雷达模块包括旋转座和多个同步转动的成像单元，成像单元在同一弧线上的采集角度之和为180°，成像单元的成像角度为30°，即激光雷达模块使用6个激光雷达并以轴心依次倾斜15°的方式排列，形成360°上半球形的探鸟区域，旋转座带动成像单元形成360°上半球形的探鸟区域。

探鸟子系统包括滤波模块、处理模块、标签模块、聚类模块、筛选模块和摄像模块，滤波模块通过滤波窗口在图像数据每个像素点的水平向进行滤波，滤波模块在滤波窗口中的当前时刻点云与前一时刻点云的距离小于设定阈值时发送静态信号，滤波模块在滤波窗口中的当前时刻点云与前一时刻点云的距离大于设定阈值时发送动态信号。

处理模块获取静态信号和动态信号发送至标签模块，标签模块根据静态信号给当前时刻点云添加静态标签，标签模块根据动态信号给当前时刻点云添加动态标签，静态标签和动态标签可以通过不同的英文字母表示，例如静态标签为j，动态标签为d，处理模块根据静态标签形成静态点云集，处理模块根据动态标签形成动态点云集。

聚类模块对动态点云集以变动的聚类半径进行聚类得到动态点云子集，聚类半径与目标至激光雷达模块的间距成正比，处理模块对动态点云子集求集合的外切球半径并将外切球半径小于第三阈值的点云作为前期疑似鸟点，筛选模块搜索当前时刻前期疑似鸟点在前一时刻时第二阈值范围内的疑似鸟点，同时筛选模块搜索在当前时刻该前期疑似鸟点的第一阈值范围内的静态点，在具有疑似鸟点且无静态点时，筛选模块向处理模块发送确认信号，此时处理模块从图像数据中获取激光雷达模块反射光的反射率并发送至筛选模块，筛选模块在反射率小于预设值时向处理模块发送噪点信号，反射率的值为0～255，例如取反射率大于100才认为是非噪点，处理模块将该点云记录为噪点。

处理模块根据确认信号确认探测到鸟类时从摄像模块获取拍摄图片发送至定位子系统，定位子系统获取探测到鸟类的拍摄图片中的放大倍数和像素信息，定位子系统根据放大倍数获取预存的转换系数，转换系数为每个放大倍数下一个像素对应的偏转角度，定位子系统根据像素信息获取拍摄图片中心点的中心像素坐标，定位子系统预存有图像中心点在实际环境中的实际坐标，图像中心点的实际坐标即为激光雷达光源中心处的实际坐标，定位子系统根据鸟类像素坐标、中心像素坐标、转换系数和实际坐标计算鸟类在实际环境中的位置。

定位子系统包括系数模块、转换模块和具有训练模型的目标检测模块。

目标检测模块包括预处理单元、坐标单元和裁剪单元。

在进行训练模型的学习时，预处理单元用于对预设图片进行翻转和噪声添加，然后由裁剪单元将预设图片裁剪成多个方块状的子图样本，最后由坐标单元计算鸟类在图像数据中的预设像素坐标，处理模块对得到的预设坐标以nms算法进行融合得到输出结果，如此反复，让输出结果最接近与预设图像中鸟类的像素坐标，对该输出结果最优化得到训练模型。

在获取到实际环境的拍摄图片时，将拍摄图片输入目标检测模块，由目标检测模块中裁剪单元进行裁剪然后由坐标单元计算像素坐标，再由处理模块对输出的像素坐标进行nms算法融合得到唯一的像素坐标。

系数模块预存有放大倍数对应的转换系数、中心像素坐标和实际坐标，处理模块将搜索到的鸟类像素坐标发送至转换模块，转换模块根据鸟类像素坐标、中心像素坐标和转换系数将鸟类在图像数据中的位置转换至实际环境中的位置信息，处理模块根据位置信息对鸟类定位，转换模块将中心像素坐标与鸟类像素坐标相减后乘以转换系数得到移动变量，处理模块将移动变量与实际坐标相加定位鸟类在实际环境中的位置。

具体实施过程如下：

激光雷达模块主要使用udp协议，采用以太网介质传输数据包，随后由处理模块通过解析msop包，提取激光测距值、回波反射率、水平旋转角和时间戳，使用10hz的采样频率时水平角分辨率为0.18°，每个激光一圈数据为2000个采样点，故16个激光线束旋转一周即一帧的采样点数为16*2000，可组织成类似16*2000像素的图像数据，具体操作时，在时间域上，连续采集12次，使用前11张16*2000图像。

处理模块获取图像数据的点云集发送至滤波模块，滤波模块以图像数据中每个像素点在水平方向上相邻左右1个像素的窗口进行滤波，在滤波窗口中的当前点云与前一点云距离小于设定阈值时，滤波模块向处理模块发送静态信号，处理模块将静态信号发送至标签模块，由标签模块根据静态信号给该前一点云添加静态标签，否则滤波模块向处理模块发送动态信号，处理模块向标签模块发送动态信号，让标签模块给该前一点云添加动态标签。

在给点云添加标签后，处理模块根据标签类型将点云集分成动态点云集和静态点云集，处理模块将动态点云集发送至聚类模块进行聚类分析，聚类分析时，以变动的聚类半径进行聚类得到动态点云子集，该聚类半径可表示为r＝(2*pi/360)*d+s，其中2表示激光束垂直角分辨率，d表示该激光点距离光源的距离，s表示微小距离噪声，例如在50m处计算得到的聚类半径为1.717m，测量得垂直的高度为1.728m,故s可取1.728-1.717m，将聚类半径为r的一系列像素点形成动态点云子集。

得到动态点云子集后，处理模块对动态点云子集求集合的外切球半径，处理模块将外切球半径小于第三阈值的点云作为前期疑似鸟点，将前期疑似鸟点发送至筛选模块，由筛选模块搜索前期疑似鸟点在第二阈值范围内的疑似鸟点，筛选模块同时搜索在当前时刻该前期疑似鸟点的第一阈值范围内无静态点，筛选模块向处理模块发送确认信号，处理模块确认图像数据中具有鸟类。

处理模块从图像数据中获取激光雷达模块反射光的反射率并发送至筛选模块，该反射率在采集到图像数据时即能得到，筛选模块在反射率小于预设值时向处理模块发送噪点信号，处理模块将该点云记录为噪点，提高探鸟准确性。

在探测到鸟类时，处理模块从摄像模块获取拍摄图片发送至目标检测模块，拍摄图像经过裁剪单元进行裁剪的预处理，使用yolov3算法进行目标检测时对darknet53网络进行了裁剪和优化，提高目标检测的实时性，利用多尺度特征进行鸟类对象的检测，对象分类用logistic取代了softmax，将神经网络检测出来的结果进行筛选，然后将目标检测框的像素坐标，即坐标单元并向处理得到像素坐标的输出结果，由于在裁剪时容易将一只鸟裁剪到两张子图中，所以由处理模块通过nms算法进行输出结果的融合得到唯一的像素坐标，转换成机器人坐标系(即实际环境坐标)下的水平角度和俯仰角度。

探鸟子系统在通过目标检测模块深度学习的模型训练时，在预处理剪裁时的子图样本与模型的训练输入尺寸相当，即相邻子图样本间具有预设范围的重叠，从而避免因为模型训练时，resize操作造成的特征丢失；探鸟时，将单张待检测的子图样本图像生成与模型输入尺寸相当的多张图片(生成的多张图像可以通过将多张图像重叠的部分去掉，然后进行拼接就可以得到原始图像)，由处理模块对这些生成的多张图片以batch方式进行并行检测，最后再对所有的检测结果通过nms算法进行处理，避免因为resize造成特征丢失，提高实时性。

探鸟子系统输出的结果包括类别(bird)和每只鸟在图像中的鸟类像素坐标，类别可以是预存的类型，为了满足驱鸟需求，需要将从图像数据得到的像素坐标转换成机器人坐标(即采集子系统所处的实际环境坐标)。

在拍摄鸟情图像放大倍数确定的情况下，同一款相机图像中的像素与角度之间，存在一定的系数关系(即一个像素代表多少的偏转角度，转换系数)，该转换系数通过相机标定获得；图像中心位置(实际坐标)在机器人坐标中的角度已知，然后就可以通过每只鸟在图像中的像素坐标计算出在机器人坐标中的水平和俯仰角度，从而指导后续的驱鸟操作。

本发明将采集到的图像数据分类成动态点和静态点，对动态点进行聚类分析，再结合与静态点云距离筛选的方案，大大提高了鸟类探测的实时性，让激光采集与鸟类探测可以同步进行，并对具有鸟类的图像数据中的鸟类进行定位，将鸟类在图像数据中的像素坐标转换至实际坐标上，探测到鸟类后对鸟类进行定位锁定，将算法融合进行探鸟定位，方便后续进行准确地驱鸟。

实施例二

与实施例一的区别是，第一阈值由处理模块根据激光垂直角分辨率和探测范围计算得到，垂直角分辨率为0.18°，探测范围以50m为例，以探测范围为半径，垂直角分分辨率为圆心角，再根据扇形的弧长计算公式可得到第一阈值＝(0.18*pi/180)*50；第二阈值由处理模块根据鸟的飞行速度和激光采样周期相乘计算得到，探鸟模块包括测速单元，测速单元用于测量鸟类飞行速度，例如鸟的飞行速度为9m/s，鸟的飞行速度可取一般鸟的飞行速度32～48km/h；第三阈值由处理模块根据鸟类尺寸进行自适应确定，根据鸟类尺寸进行疑似鸟点的划分，例如鸟类的尺寸0.3m，第三阈值可设置成0.3m，排除人和移动车辆等的干扰因素，提高后续根据疑似鸟点进行分析鸟类位置的准确性，对疑似鸟点在第一阈值范围内的静点进行搜索，排除干扰因素，根据鸟类飞行速度确定的范围搜索上一时刻的该疑似鸟点，提高连续性，探鸟更准确。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。