一种航空图像目标精细识别系统

1.本发明属于目标检测技术领域，具体涉及一种航空图像目标精细识别系统。


背景技术：

2.在目标检测场景中，一般有anchor based和anchor free两种思路。在anchor based算法中，如faster rcnn、yolov3、v4、v5 等模型往往受限于anchor的参数配置，如anchor大小、正负样本采样等等。在anchor free算法中，key-point算法占据主流，其通过检测目标的边界点，然后将其边界点配对组合成目标的检测框，此类算法以centernet为代表。目前，anchor based算法精度略高于 anchor free算法，但是anchor设置需要充分的经验，且受限于目标的实际形状。为了实现航空图像中任意方向目标的识别，主流的算法都是基于五参数的旋转检测实现，类似于水平检测中的坐标回归方法，角度参数也是通过回归来预测的。但是基于回归的角度预测往往会引入边界不连续，使得回归和分类不一致。此外，由于航空图像目标尺度分布范围广，长宽比变化剧烈，小目标数量居多并且背景复杂。上述难题使得大多数检测算法无法满足日益增长的航空图像精细识别需求。
3.鉴于目前通用目标检测算法难以胜任航空图像检测的实际应用需求，我们提出一种新的航空图像精细识别方法，该方法能够不仅能够捕获任意方向目标的几何信息，并且可以根据目标的宽高比自适应调节正负样本阈值，还依靠transformer和panet组成的主干网络扩大感受野提升小目标的识别精度。另外，该算法使用便捷(不需要设置anchor参数)，模型推理速度较快。提出的方法首先在特征图的每个location位置，以该location为中心，去预测一个box，注意其预测的是一系列的点集，然后通过把这些点映射为box得到最终的结果，提供了更细粒度的分类和更高精度的定位。这种识别系统对于农业发展、军事目标识别以及稀有动物数量统计等相关领域有极大的推动作用，即该系统具有非常大的实用价值。


技术实现要素：

4.为解决背景技术中的问题；本发明的目的在于提供一种航空图像目标精细识别系统。
5.上述的目的通过以下技术方案实现：
6.一种航空图像目标精细识别系统，包括深度学习主机、数据采集器、目标检测算法、操作机构；所述深度学习主机由机箱和内置硬件组成，机箱内部安装有cpu、主板、显卡、cpu散热、固态硬盘、内存、电源；所述数据采集器采用无人机航拍器，数据采集器使用带屏遥控器搭配hdmi转接线连接深度学习主机；所述的目标检测算法内置于深度学习主机中；所述操作机构中的显示屏、鼠标和键盘也直接与深度学习主机相连接。
7.所述无人机航拍器为大疆air2便携可折叠智能无人机航拍器，其采集的数据图像或视频，通过sdr-ocusync2.0图传技术无线传输给主机用于模型训练或检测。
8.所述深度学习主机cpu、内存、固态硬盘与主板连接，主板后置面板安装到机箱，散
热器和cpu连接，并将风扇安装到cpu，gpu和内存、电源模块安装到主板和机箱。
9.所述目标检测算法使用新的目标表示方法(点集)解决分类和回归不一致，根据目标的宽高比自适应调节正负样本阈值应对不同形状目标，结合transformer和panet组成的主干网络扩大感受野提升小目标的识别精度。
10.一种航空图像目标精细识别系统的识别方法，其特征在于：它的识别方法包括如下步骤：
11.步骤一：数据的采集和预处理：数据采集使用无人机航拍roi区域图像或者视频并传输到主机；数据预处理首先将视频拆分为图片，然后使用标注软件labelme手动标注图片中的目标，标注目标的参数包括四个点坐标(以目标的头部方向为起点顺时针标注)和类别并保存标签为文本格式；使用算法程序中的prepare_data.py将图片和标签转换为检测算法需要的图像大小(1024*1024)和标签格式(x，y，w，h，θ，classname_id)用于模型训练。其中x，y，w，h，classname_id分别表示目标的中心x，y坐标，宽高以及类别名的索引编号；
12.步骤二：使用算法项目中的train.py在终端环境训练模型：本算法采用开源的orientedreppoints为基线，通过加入动态iou阈值iou_out＝exp(-aw/r)*iou_threshold+α来提高目标的检测精度，其中aw表示目标长宽比，r表示归一化系数，iou_threshold表示正样本阈值，α是补偿尝试，确保大长宽比时期望的iou值不为0。模型训练配置如下：学习率设为0.005，训练次数60，数据增强采用随机旋转方式。最后，在终端激活创建的虚拟环境，环境创建要求如算法中的readme.md所述，输入pythontrain.py用于训练算法模型。
13.步骤三：使用训练出的模型检测待检测区域图像或视频：检测方法分为实时检测和离线检测。实时检测使用无人机航拍图像或视频数据通过ocusync无线图像传输技术传送到检测系统实现实时检测，并在显示屏上实时显示检测结果。离线检测则是通过上传待检测的图像或视频到检测系统测试文件实现离线检测。注意，实时检测和离线检测均会自动保存可视化结果和检测结果文本文件(包括置信度得分和目标位置及类别)便于用户分析。
14.(1)算法环境搭建：
15.requirements:linux，python3.7+，pytorch1.3orhigher，cuda9.0orhigher，mmdet＝＝1.1.0，mmcv＝＝0.3.1，gcc4.9orhigher，nccl2.1.15orhigher；
16.step1:condacreate-norientedpython＝3.7-y
17.step2:sourceactivateoriented
18.step3:condainstallpytorch＝1.4torchvisioncudatoolkit-10.0-cpytorch
19.step4:pipinstall-rrequirements.txt
20.step5:pythonsetup.pydevelop
21.step6:sudoapt-getinstallswig
22.swig-c++-pythonpolyiou.i
23.pythonsetup.pybuild.ext
–
inplace；
24.(2)算法实现原理：
25.输入一张1024x1024的图片，在经过transformer的backbone提取特征之后，经过五次下采样，特征图变为32x32大小，然后将该特征图映射到原图上，有32x32的网格grid，
每个网格32x32像素，默认目标的中心点落在的所在grid负责预测该目标，该grid下采样到特征图上就成为一点，此时需要预测出9个点，即在每个特征图对应的location位置，网络需要学习9组偏移量，
26.在32x32长宽的特征图，共有1024个点，对于每个点需要预测9个点，来调整样本点的位置：
27.rr＝{(xk+δxk,yk+δyk)}
nk＝1
(1)
28.(δxk,δyk)分别为预测点相对于中心点的偏差，n一般取9，偏差的学习由可变形卷积dcn实现；
29.总体上，该算法是基于全卷积网络实现的，输入图像经过panet主干网络之后，经过一次3x3的可变形卷积，预测的offset经过坐标计算，得到一阶段点集，可变形卷积继续提取特征，再预测得到offset和每个位置的分类结果，由offset计算得到细化后第二次的点集。最终，将每个位置的点集转换成预测框，加上分类结果，得到目标检测的结果。
30.(3)算法性能评估指标：
31.评估算法的性能将基于数据集的预测和地面真实性之间的定量比较。对于给定的目标真值框和生成的预测框，根据iou阈值0.5选择tp、fp、fn，根据如下公式计算精确率和召回率，然后计算每个类别的ap值，所有类别的ap平均值极为模型的精度性能map。
32.与现有技术相比，本发明的有益效果为：
33.一、实现对航空遥感图像目标的精细识别，极大的提升了小目标的检测精度和速度，提高了算法的泛用性并增加遥感图像智能解译方法的多样性。
34.二、利用目标检测评估指标平均类别精度对比选择性能最好的算法进行部署应用，以达到更好的检测精度，具有非常好的鲁棒性，为本发明的应用落地提供数据支撑。
35.三、该检测系统具有更好的多样性，不仅限于识别航空图像数据，也可以识别遥感图像公开数据集，极大的拓展了使用价值。
36.四、该检测系统具备旋转目标检测技术中的最先进算法性能，并在公开的两种大型遥感图像数据集上进行实际验证，结果表明这两种算法可以满足绝大多数检测任务的应用。
37.五、本发明系统检测包含实时检测，由无人机航拍图像提供数据，对于农业发展，军事目标识别，稀有动物数量统计、森林火灾预防等一系列应用提供了基础的技术支撑。
38.六、本发明具有使用简单，实时推理速度快，检测精度高的特点。
附图说明
39.为了易于说明，本发明由下述的具体实施及附图作以详细描述。
40.图1为背景技术中水平目标检测图；
41.图2为背景技术中旋转目标检测图；
42.图3为本发明的结构示意图；
43.图4为本发明中操作机构的结构示意图；
44.图5为本发明中数据集图片分割示例图；
45.图6为本发明中anchorbased/free方法检测原理图；
46.图7为本发明中公开数据集的检测效果示意图；
47.图8为本发明中动态iou阈值调整示意图；
48.图9为本发明中偏移量的示意图。
49.图中：1-数据采集器；2-图像转接器；3-深度学习主机及操作机构；31-机箱；32-支撑脚；33-显示屏；34-操作机构；35-显卡及存储器(固态硬盘和内存)；36-全模组电源；37-主机cpu散热装置； 38-cpu处理器。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。本说明书附图所绘的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具备技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
51.实施例1：
52.如图3所示，一种基于高分辨率成像的空间目标精细识别系统，组成包括数据采集器1、图像转接器2、深度学习主机及操作机构3；深度学习主机及操作机构3通过与图像转接器2与数据采集器1无线连接。
53.如图4所示，所述深度学习主机及操作机构3包括机箱31、支撑脚32、显示屏33、操作机构34、显卡及存储器(固态硬盘和内存) 35、全模组电源36、主机cpu散热装置37、cpu处理器38；外框体 31的底部安装有数个支撑脚32，外框体31的顶端后侧安装有安装框，安装框内安装有显示屏33，外框体31的上端安装有操作机构34，机箱31的内部分别安装有显卡及存储器(固态硬盘和内存)35、全模组电源36、主机cpu散热装置37、cpu处理器38。与此同时，本具体实施方式中所述操作机构34包括操作杆与输入键盘，输送键盘的上侧安装有操作杆。
54.实施例2：
55.所述的深度学习主机硬件如下：cpu：英特尔(intel)i9-10980xe，主板：技嘉(gigabyte)x299x aorus master,散热：恩杰nzxt kraken 海妖x73 360mm一体式水冷散热器，显卡：geforce rtx 2080ti 11g，固态硬盘：1tb m2.0接口nvme协议的三星970dro，内存：ddr4 3200 32g套装*1，电源：振华(super flower)额定1000w leadex t1000w 电源，机箱：dark base pro 900黑色模组化机箱。深度学习主机 cpu、ram、ssd与主板连接，主板后置面板安装到机箱，散热器和cpu 连接，并将风扇安装到cpu，gpu和内存、电源模块安装到主板和机箱。
56.实施例3：
57.根据实施1所述的航空图像精细识别系统，数据采集器使用大疆 air2便携可折叠智能无人机航拍器，具备4800万像素镜头，34分钟超长续航，ocusync2.0|10公里高清图传，4k/60fps超清视频。使用带屏遥控器的hdmi转接线连接深度学习主机显示器。
58.实施例4：
59.根据实施1所述的航空图像精细识别系统，目标检测算法环境搭建具体过程如下：1.安装ubantu16.04 lts系统，2.安装组合： anaconda+pytorch(gpu版)。
60.实施例5：
61.一种基于高分辨率成像的空间目标精细识别算法及实现，它的识别方法实现过程如下：
62.步骤一：数据集的选择和预处理。数据集选择dota、fair1m两种大型公开航空数据集。fair1m包含100多万个实例和15000多幅图像。数据集对象包含飞机、船舶、车辆、道路和运动场5个类别，每个类别的细粒度类型的选择取决于实际应用场景和它呈现的形状，总共包含37个子类。为了确保小目标细节信息的完整性，必须采用切割的方式进行训练和测试，数据分割的结果示意如图5所示。至此，算法的实验数据及其数据预处理过程基本完成，下一步将进行识别算法的研发和测试。
63.步骤二：检测算法研发与测试：anchor free检测器使用起来更加简单，并且使用点包络目标的方法可以非常轻松的应对航拍图像中的各种复杂目标。因此，采用anchor free方法，优点是核心算法由 dcn实现，在应对非寻常长宽比的物体识别任务优势更大，识别原理如图6所示，(2)详细介绍了该算法的识别原理；首先按照(1)中的方法搭建算法所需要的环境，整个算法研发包括训练、测试、推理、模型导出四个主要的功能以实现目标检测任务，并进行一一调试验证。随后针对该算法推理速度和精度进行改进(使用最新的swintransformer主干特征提取网络、panet特征金字塔，动态iou阈值调整，如图8所示)。
64.步骤四：算法优化，为实现应用部署，使用高精度评估指标map (0.75)在测试集上评估选择精度指标最优的模型，对最优性能的训练模型进行部署应用，实现其工程应用价值。
65.步骤五：算法模型测试和推理演示：为了验证本算法具有实际应用价值，在dota、fair1m等两个航空数据集上进行试验，主干网络采用transformer和特征金字塔fpn，并基于各个类别目标做实验。本算法在dota上的map为75.97，在fair1m数据集上的map为47.84，均处于最先进的性能水平，实验结果充分表明该算法具有非常好的性能。实际的检测可视化效果如图7所示。
66.(1)算法环境搭建
67.requirements:linux，python3.7+，pytorch1.3 or higher， cuda9.0 or higher，mmdet＝＝1.1.0，mmcv＝＝0.3.1，gcc4.9 or higher， nccl2.1.15or higher；
68.install:step1：conda create-n oriented python＝3.7-y
69.step2:source activate oriented
70.step3:conda install pytorch＝1.4torchvision＝0.4.0 cudatoolkit-10.0-c pytorch
71.step4:pip install-r requirements.txt
72.step5:python setup.py develop
73.step6:sudo apt-get install swig
74.swig-c++-python polyiou.i
75.python setup.py build.ext
–
inplace
76.(2)算法实现原理
77.输入一张1024x1024的图片，在经过transformer的backbone 提取特征之后，经过五次下采样，特征图变为32x32大小，然后将该特征图映射到原图上，有32x32的网格grid,
每个网格32x32像素，默认目标的中心点落在的所在grid负责预测该目标，该grid下采样到特征图上就成为一点，此时需要预测出9个点，即在每个特征图对应的location位置，网络需要学习9组偏移量，如图9所示；
78.在32x32长宽的特征图，共有1024个点，对于每个点需要预测9个点，来调整样本点的位置：
79.rr＝{(xk+δxk,yk+δyk)}
nk＝1
(2)
80.(δxk,δyk)分别为预测点相对于中心点的偏差，n一般取9，偏差的学习由可变形卷积dcn实现。
81.总体上，该算法是基于全卷积网络实现的，输入图像经过panet主干网络之后，经过一次3x3的可变形卷积，预测的offset经过坐标计算，得到一阶段点集，可变形卷积继续提取特征，再预测得到offset和每个位置的分类结果，由offset计算得到细化后第二次的点集。最终，将每个位置的点集转换成预测框，加上分类结果，得到目标检测的结果。
82.(3)算法性能评估指标
83.评估算法的性能将基于数据集的预测和地面真实性之间的定量比较。对于给定的目标真值框和生成的预测框，根据iou阈值0.75选择tp、fp、fn，根据如下公式计算精确率和召回率，然后计算每个类别的ap值，所有类别的ap平均值即为模型的精度性能map。
84.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
85.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。