一种基于多轨迹智能预测的航拍树木数量精准统计方法

文档序号:31053295发布日期:2022-08-06 09:01阅读:275来源:国知局
一种基于多轨迹智能预测的航拍树木数量精准统计方法

1.本发明涉及一种基于多轨迹智能预测的航拍树木数量精准统计方法,属于目标检测和计算机视觉处理技术领域。


背景技术:

2.目前,园林中树木的数量统计基本上还是依靠传统人力方式,此方式存在劳动成本大、效率低、人力及资源浪费严重,且不能保证准确率,因此不能智能的对园林树木进行巡检和有效统计。随着深度学习在计算机视觉领域的飞速发展,目标检测技术和目标追踪技术作为计算机视觉领域的一部分,也得到了突破性的发展,现今大部分智慧城市都采用无人机对园林树中的情况进行动态的监控,然后利用目标检测算法对监控信息进行智能分析。然而当前市面上所采用目标检测和目标追踪等深度学习方法,对于无人机航拍过程中由于高度变化引起的树木形变,以及低、矮、小的树木,均不能进行有效的识别与统计,这些直接导致树木数目的统计的准确率偏低,无法准确的对园林资产进行准确评估。


技术实现要素:

3.本发明所要解决的技术问题是提供一种基于多轨迹智能预测的航拍树木数量精准统计方法,通过对航拍识别模型进行改进,能够有效提取出泛化的树木特征表示,突出特征之间的可区分度,解决航拍图像分辨率较高所导致检测较慢,以及对、矮、小的树木的漏检问题,并且降低飞行器高度变化时出现的重复统计问题,实现了更加精准的统计效果。
4.本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种基于多轨迹智能预测的航拍树木数量精准统计方法,按如下步骤a至步骤c,获得轻量化飞行器巡检网络;然后应用轻量化飞行器巡检网络,执行步骤i至步骤ii,针对飞行器飞行轨迹下实时所获各航拍图像中树木数量的统计;
5.步骤a.构建双路特征融合的金字塔结构处理流程,用于实现各层级特征图的融合处理,然后进入步骤b;
6.步骤b.以预设骨干网络的输出对接金字塔结构处理流程的输入,金字塔结构处理流程的输出对接预设分类网络的输入,构建以航拍图像为输入,以航拍图像中各树木目标检测框分别所对应预设类型参数信息为输出,构建待训练轻量化飞行器巡检网络,然后进入步骤c;
7.步骤c.基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的各幅航拍样本图像,以航拍样本图像为输入,以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出,针对待训练轻量化飞行器巡检网络进行训练,获得轻量化飞行器巡检网络;
8.步骤i.分别针对飞行器飞行轨迹下实时所获各航拍图像,应用轻量化飞行器巡检网络,获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息,并结合飞行器所对应各飞行信息,针对各航拍图像,按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行
分类,然后进入步骤ii;
9.步骤ii.分别针对飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹,针对轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息进行分析,完成对全部飞行轨迹下实时所获各航拍图像中树木数量的统计。
10.作为本发明的一种优选技术方案:所述步骤a中,基于航拍图像依次经过尺度由大至小顺序排列的至少四个下采样处理层,针对其中连续四个下采样处理层分别处理所输出的特征图f1、f2、f3、f4,构建双路特征融合的金字塔结构处理流程如下,用于实现各层级特征图的融合处理,然后进入步骤b;
11.对应处理输出特征图f4的下采样处理层的输出端依次串联尺度由小至大顺序排列的第一上采样处理层、第二上采样处理层、第三上采样处理层、第四上采样处理层,按如下公式:
[0012][0013]
第一上采样处理层针对特征图f4处理输出特征图f4',同时,第二上采样处理层的输入端对接对应处理输出特征图f3的下采样处理层的输出端,第二上采样处理层针对特征图f4'、以及特征图f3处理输出特征图f3';第三上采样处理层的输入端对接对应处理输出特征图f2的下采样处理层的输出端,第三上采样处理层针对特征图f3'、以及特征图f2处理输出特征图f2';第四上采样处理层的输入端对接对应处理输出特征图f1的下采样处理层的输出端,第四上采样处理层针对特征图f2'、以及特征图f1处理输出特征图f1';其中,convk×k表示卷积操作,k表示相应卷积操作中卷积核的大小,表示为特征融合过程,ups(
·
)表示上采样操作;
[0014]
同时,对应处理输出特征图f3的下采样处理层的输出端依次串联尺度由小至大顺序排列的第五上采样处理层、第六上采样处理层、第七上采样处理层,按如下公式:
[0015][0016]
第五上采样处理层的输入端对接第六上采样处理层的输出端,第五上采样处理层针对特征图f3、以及第六上采样处理层的输出进行处理输出f
3”;第六上采样处理层的输入端对接对应处理输出特征图f2的下采样处理层的输出端、第七上采样处理层的输出端,第六上采样处理层针对特征图f
3”、特征图f2、以及第七上采样处理层的输出进行处理输出f
2”;第七上采样处理层的输入端对接对应处理输出特征图f1的下采样处理层的输出端,第七上采样处理层针对特征图f
2”、以及特征图f1处理输出特征图f
1”;其中,ω1、ω2、ω3表示预设横向通道相加操作时的权重;
[0017]
最后,针对特征图f1'、特征图f2'、特征图f4',按如下公式:
[0018][0019]
获得特征图f
4”',其中,downs
1/2
表示将特征图缩放到原来的的下采样操作,
maxpool
stride=2
(
·
)表示步长为2的最大池化操作,α、β、γ∈(0,1)为自适应特征融合权重因子,并按如下公式计算获得;
[0020][0021][0022]
γ=1-α-β
[0023]
其中,λm,m∈{α,β,γ},λm表示当前特征层到目标特征层中下采样缩放的尺度,e表示自然常数;
[0024]
以及按如下公式:
[0025][0026]
获得特征图f
1”'、特征图f
2”'、特征图f
3”';
[0027]
即构成以特征图f1、f2、f3、f4为输入,以特征图f
1”'、f
2”'、f
3”'、f
4”'为输出的金字塔结构处理流程。
[0028]
作为本发明的一种优选技术方案:所述步骤b中,按如下方式,构建待训练轻量化飞行器巡检网络,然后进入步骤c;
[0029]
首先基于mobilenet网络的前六层下采样处理层,由其中第一层下采样处理层的输入端接收航拍图像,第三层下采样处理层、第四层下采样处理层、第五层下采样处理层、第六层下采样处理层分别针对所输入特征图x3、x4、x5、x6,依次获得特征图y3、y4、y5、y6,即构建预设骨干网络;
[0030]
然后以特征图y3、y4、y5、y6依次对应所述特征图f1、f2、f3、f4,输入金字塔结构处理流程,获得对应特征图f1'、f2'、f3'、f4'的特征图p3、p4、p5、p6,对应特征图f
1”、f
2”、f
3”的特征图r3、r4、r5,进而获得金字塔结构处理流程的输出特征图o3、o4、o5、o6;
[0031]
最后特征图o3、o4、o5、o6输入预设分类网络,由预设分类网络用于检测输出航拍图像中各树木目标检测框分别所对应预设类型参数信息,并标注在相应航拍图像中,构成包含树木目标检测框所对应预设类型参数信息的该航拍样本图像,进而完成待训练轻量化飞行器巡检网络的构建。
[0032]
作为本发明的一种优选技术方案:所述步骤c中,基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的各幅航拍样本图像,以航拍样本图像为输入,以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出,结合如下目标函数,针对待训练轻量化飞行器巡检网络进行训练,获得轻量化飞行器巡检网络;
[0033][0034]
s.t.accuray(o(r
·
h,r
·
w,w
·
c))≥accuray
[0035]
memory(χ)≤memory
[0036]
fps(χ)≥fps
[0037]
式中,w、r分别表示轻量化飞行器巡检网络的通道宽度和特征图的分辨率,h、w、c分别表示特征图的高、宽以及通道数,χ(w,r)表示为经过骨干网络和特征融合后网络后总
的计算参数,

表示参数统计符,l表示巡预设骨干网络的输出层数,y
l
(r
·hl
,r
·wl
,w
·cl
)表示对应层数的骨干网络输出特征图,accuary(
·
)表示待训练轻量化飞行器巡检网络对输出特征图o(r
·
h,r
·
w,w
·
c)中目标识别的准确度,即输出特征图o3、o4、o5、o6中目标识别的准确度,accuray表示树木目标检测框会被标注的阈值,memory(χ)表示待训练轻量化飞行器巡检网络所需的内存空间,memory表示获取航拍图像的飞行器的边端嵌入设备的内存,fps(χ)表示训练待训练轻量化飞行器巡检网络中参数所需要的处理时间,fps表示获取航拍图像的飞行器检测过程中的预设最低检测要求时间。
[0038]
作为本发明的一种优选技术方案:所述步骤i中,分别针对飞行器飞行轨迹下实时所获各航拍图像,应用轻量化飞行器巡检网络,获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息,并分别针对飞行器飞行轨迹下实时所获各航拍图像,执行如下处理,实现对各航拍图像,按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行分类,然后进入步骤ii;
[0039]
定义航拍图像中树木目标检测框坐标中的速度v
x
,vy:
[0040][0041][0042]
式中,v表示飞行器的速度,w'表示航拍图像的宽度值,h'表示航拍图像的高度值,l表示飞行器航拍镜头感受野的直径,表示缩放参数,且δl表示飞行器在上升或者下降过程中感受野放大或者缩小的距离,δh表示飞行器在上升或下降过程的高度差,δth表示飞行器上升和下降过程所花费的时间;
[0043]
定义航拍图像中各树木目标检测信息分别对应预设类型参数信息表示第t帧航拍图像中第j个树木目标检测框所对应的预设类型参数信息,且预设类型参数信息包括树木目标检测框的左上角坐标树木目标检测框的宽度树木目标检测框的高度进一步由第t帧航拍图像中各树木目标检测框所对应的预设类型参数信息构成第t帧航拍图像所对应树木目标检测框参数信息集j表示第t帧航拍图像中树木目标检测框的数量;
[0044]
将飞行器处理第1帧航拍图像所对应树木目标检测框参数信息集d1作为飞行巡航轨迹航拍集τ
original
的初始帧,并设置此帧中的树木数量赋值给全局树木统计变量count,以及按如下方式,应用v
x
、vy进行下一帧的轨迹判断;
[0045]
假设1:当飞行器航拍高度与轨迹均没有改变时,下一帧与当前帧的位置关系应该满足如下:
[0046][0047]
vy=0
[0048]
式中,表示当前第t帧中第j个树木目标检测框的左上角坐标的x轴坐标,表示前一帧中相对应树木目标检测框的左上角坐标的x轴坐标,t
all
表示飞行器航拍时间和轻量化飞行器巡检网络处理时间总和,ε表示预设一个大于0的极小阈值;
[0049]
假设2:当飞行器在航拍过程中处于上升或者下降阶段时,下一帧与当前帧之间的
位置关系应该满足如下:
[0050][0051][0052]
δh>0 or δh<0
[0053]
式中,表示当前第t帧中第j个树木目标检测框的左上角坐标的y轴坐标,表示前一帧中相对应树木目标检测框的y轴坐标,且δh>0时,表示飞行器处于上升过程中,δh<0时,表示飞行器处于下降过程中;
[0054]
基于上述轨迹的判断后,将满足假设1的包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行巡航轨迹航拍集τ
original
中;
[0055]
将满足假设2中上升过程的第1帧航拍图像对应树木目标检测框参数信息集作为飞行上升轨迹航拍集τ
up
的初始帧,并将后续满足此关系式的包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行上升轨迹航拍集τ
up
中;
[0056]
将满足假设2中下降过程的第1帧航拍图像对应树木目标检测框参数信息集作为飞行下降轨迹航拍集τ
down
的初始帧,并将后续满足此关系式的包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行下降轨迹航拍集τ
down
中。
[0057]
作为本发明的一种优选技术方案:所述步骤ii中,按如下方法执行;
[0058]
1)针对飞行巡航轨迹航拍集τ
original
中各帧航拍图像对应树木目标检测框参数信息,若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件;
[0059][0060][0061][0062]
则判定该相邻两帧航拍图像为重复帧,若不满足上述条件,则判定该相邻两帧航拍图像为非重复帧;式中,iou(
·
)表示交并比函数,表示前一帧航拍图像中第j个树木目标检测框根据v
x
预测当前帧航拍图像中相同目标的预设类型参数信息,具体为预测树木目标检测框的左上角坐标预测树木目标检测框宽度预测树木目标检测框高度η1和η2均为预设阈值参数,其中,η1至少要大于0.8,η2最大不能超过0.1;
[0063]
2)针对飞行上升轨迹航拍集τ
up
、飞行下降轨迹航拍集τ
down
,关于轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息,按如下公式:
[0064][0065][0066][0067]
针对预测树木目标检测框的宽、高、以及预测树木目标检测框的左上角的y轴坐标
进行重构更新,获得其中,使用+号时表示飞行器下降过程,使用-号时表示飞行器上升过程;同时,使用隔帧对比修正法,按如下补偿公式:
[0068][0069]
η1=η1±
δl
[0070]
η2=η2±
δl
[0071]
针对阈值η1、η2进行阈值补偿更新,式中,分别表示下一帧航拍图像、下两帧航拍图像、下三帧航拍图像中第j个树木目标检测框的预设类型参数信息,δt表示两帧航拍图像之间的航拍间隔时长,δl表示阈值补偿参数,min(
·
)表示最小值函数,阈值η1、η2进行阈值补偿更新公式中,飞行器下降过程时使用-号,飞行器上升过程中使用+号;
[0072]
进一步针对飞行上升轨迹航拍集τ
up
、飞行下降轨迹航拍集τ
down
,若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件;
[0073][0074][0075][0076]
则判定该相邻两帧航拍图像为重复帧,若不满足上述条件,则判定该相邻两帧航拍图像为非重复帧;
[0077]
基于上述分别针对飞行巡航轨迹航拍集τ
original
、飞行上升轨迹航拍集τ
up
、飞行下降轨迹航拍集τ
down
中重复帧航拍图像的判断后,伴随航拍图像时序,若当前帧航拍图像与上一帧航拍图像为重复帧,则全局树木统计变量count保持不变;若当前帧航拍图像与上一帧航拍图像为非重复帧,则全局树木统计变量count增加基于重复帧剔除公式所识别新树木目标检测框数量进行更新,如此完成对全部航拍图像的统计,实现对全部飞行轨迹下实时所获各航拍图像中树木数量的统计。
[0078]
作为本发明的一种优选技术方案:还包括步骤iii如下,执行完步骤ii之后,进入步骤iii;
[0079]
步骤iii.针对随航拍图像时序,将实时所更新的全局树木统计变量count依次显示于对应的航拍图像上。
[0080]
本发明所述一种基于多轨迹智能预测的航拍树木数量精准统计方法,采用以上技术方案与现有技术相比,具有以下技术效果:
[0081]
本发明所设计基于多轨迹智能预测的航拍树木数量精准统计方法,通过对航拍识别模型进行改进,能够有效提取出泛化的树木特征表示,突出特征之间的可区分度,解决了航拍图像分辨率较高所导致检测较慢,结合所提出双路特征融合的金字塔结构,实现了各层级的特征信息进行有效的融合,解决了对低、矮、小树木的漏检问题,并有效解决了飞行器航拍过程中由于高度变化所引起的形变问题,实现更好的统计效果,极大的降低了重复统计问题,与传统目标识别算法相比,本发明进一步设计在骨干网部分加入动态调控算法,使得网络各个参数与飞行器边端设备更加匹配,从而最大化利用设备算力获得较好的识别效果。
附图说明
[0082]
图1是本发明设计基于多轨迹智能预测的航拍树木数量精准统计方法的流程示意图;
[0083]
图2是本发明设计中双路特征融合的金字塔结构示意图;
[0084]
图3是本发明设计中轻量化飞行器巡检网络结构示意图;
[0085]
图4是本发明设计中结合轨迹预测的树木数量统计算法示意图。
具体实施方式
[0086]
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
[0087]
本发明所设计一种基于多轨迹智能预测的航拍树木数量精准统计方法,实际应用当中,如图1所示,按如下步骤a至步骤c,获得轻量化飞行器巡检网络。
[0088]
步骤a.构建双路特征融合的金字塔结构处理流程,用于实现各层级特征图的融合处理,然后进入步骤b。
[0089]
实际应用当中,上述步骤a基于航拍图像依次经过尺度由大至小顺序排列的至少四个下采样处理层,针对其中连续四个下采样处理层分别处理所输出的特征图f1、f2、f3、f4,如图2所示,构建双路特征融合的金字塔结构处理流程如下,用于实现各层级特征图的融合处理,然后进入步骤b。
[0090]
对应处理输出特征图f4的下采样处理层的输出端依次串联尺度由小至大顺序排列的第一上采样处理层、第二上采样处理层、第三上采样处理层、第四上采样处理层,按如下公式:
[0091][0092]
第一上采样处理层针对特征图f4处理输出特征图f4',同时,第二上采样处理层的输入端对接对应处理输出特征图f3的下采样处理层的输出端,第二上采样处理层针对特征图f4'、以及特征图f3处理输出特征图f3';第三上采样处理层的输入端对接对应处理输出特征图f2的下采样处理层的输出端,第三上采样处理层针对特征图f3'、以及特征图f2处理输出特征图f2';第四上采样处理层的输入端对接对应处理输出特征图f1的下采样处理层的输出端,第四上采样处理层针对特征图f2'、以及特征图f1处理输出特征图f1';其中,convk×k表示卷积操作,k表示相应卷积操作中卷积核的大小,表示为特征融合过程,ups(
·
)表示上采样操作。
[0093]
同时,对应处理输出特征图f3的下采样处理层的输出端依次串联尺度由小至大顺序排列的第五上采样处理层、第六上采样处理层、第七上采样处理层,按如下公式:
[0094][0095]
第五上采样处理层的输入端对接第六上采样处理层的输出端,第五上采样处理层针对特征图f3、以及第六上采样处理层的输出进行处理输出f
3”;第六上采样处理层的输入端对接对应处理输出特征图f2的下采样处理层的输出端、第七上采样处理层的输出端,第
六上采样处理层针对特征图f
3”、特征图f2、以及第七上采样处理层的输出进行处理输出f
2”;第七上采样处理层的输入端对接对应处理输出特征图f1的下采样处理层的输出端,第七上采样处理层针对特征图f
2”、以及特征图f1处理输出特征图f
1”;其中,ω1、ω2、ω3表示预设横向通道相加操作时的权重。
[0096]
最后,针对特征图f1'、特征图f2'、特征图f4',按如下公式:
[0097][0098]
获得特征图f
4”',其中,downs
1/2
表示将特征图缩放到原来的的下采样操作,maxpool
stride=2
(
·
)表示步长为2的最大池化操作,α、β、γ∈(0,1)为自适应特征融合权重因子,并按如下公式计算获得。
[0099][0100][0101]
γ=1-α-β
[0102]
其中,λm,m∈{α,β,γ},λm表示当前特征层到目标特征层中下采样缩放的尺度,e表示自然常数。
[0103]
以及按如下公式:
[0104][0105]
获得特征图f
1”'、特征图f
2”'、特征图f
3”'。
[0106]
即构成以特征图f1、f2、f3、f4为输入,以特征图f
1”'、f
2”'、f
3”'、f
4”'为输出的金字塔结构处理流程,此结构通过不同层级和原图之间的有效融合,解决原有特征金字塔在面临大小目标同时存在时出现的特征冲突问题,实现更好特征提取效果,加强对小目标的提取能力。
[0107]
步骤b.以预设骨干网络的输出对接金字塔结构处理流程的输入,金字塔结构处理流程的输出对接预设分类网络的输入,构建以航拍图像为输入,以航拍图像中各树木目标检测框分别所对应预设类型参数信息为输出,构建待训练轻量化飞行器巡检网络,然后进入步骤c。
[0108]
上述步骤b在实际应用当中,按如下方式,如图3所示,构建待训练轻量化飞行器巡检网络,然后进入步骤c。
[0109]
首先基于mobilenet网络的前六层下采样处理层,由其中第一层下采样处理层的输入端接收航拍图像,第三层下采样处理层、第四层下采样处理层、第五层下采样处理层、第六层下采样处理层分别针对所输入特征图x3、x4、x5、x6,依次获得特征图y3、y4、y5、y6,即构建预设骨干网络。
[0110]
然后以特征图y3、y4、y5、y6依次对应所述特征图f1、f2、f3、f4,输入金字塔结构处理流程,获得对应特征图f1'、f2'、f3'、f4'的特征图p3、p4、p5、p6,对应特征图f
1”、f
2”、f
3”的特征图r3、r4、r5,进而获得金字塔结构处理流程的输出特征图o3、o4、o5、o6。
[0111]
最后特征图o3、o4、o5、o6输入预设分类网络,由预设分类网络用于检测输出航拍图像中各树木目标检测框分别所对应预设类型参数信息,并标注在相应航拍图像中,构成包含树木目标检测框所对应预设类型参数信息的该航拍样本图像,进而完成待训练轻量化飞行器巡检网络的构建。
[0112]
上述待训练轻量化飞行器巡检网络的构建,对航拍小目标语义信息特征实现充分提取的同时,又保证不会出现多次下采样后小目标的弥散和消失情况,再通过双路特征融合的金字塔结构对各层级之间的特征信息实现有效融合,最后将输出的特征进行通道拼接和卷积操作,并输入到分类网络中和回归网络中得到最终的分类结果。
[0113]
步骤c.基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的各幅航拍样本图像,以航拍样本图像为输入,以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出,针对待训练轻量化飞行器巡检网络进行训练,获得轻量化飞行器巡检网络。
[0114]
上述步骤c在实际应用当中,基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的各幅航拍样本图像,以航拍样本图像为输入,以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出,结合如下目标函数,针对待训练轻量化飞行器巡检网络进行训练,获得轻量化飞行器巡检网络。
[0115][0116]
s.t.accuray(o(r
·
h,r
·
w,w
·
c))≥accuray
[0117]
memory(χ)≤memory
[0118]
fps(χ)≥fps
[0119]
式中,w、r分别表示轻量化飞行器巡检网络的通道宽度和特征图的分辨率,h、w、c分别表示特征图的高、宽以及通道数,χ(w,r)表示为经过骨干网络和特征融合后网络后总的计算参数,

表示参数统计符,l表示巡预设骨干网络的输出层数,y
l
(r
·hl
,r
·wl
,w
·cl
)表示对应层数的骨干网络输出特征图,accuary(
·
)表示待训练轻量化飞行器巡检网络对输出特征图o(r
·
h,r
·
w,w
·
c)中目标识别的准确度,即输出特征图o3、o4、o5、o6中目标识别的准确度,accuray表示树木目标检测框会被标注的阈值,memory(χ)表示待训练轻量化飞行器巡检网络所需的内存空间,memory表示获取航拍图像的飞行器的边端嵌入设备的内存,fps(χ)表示训练待训练轻量化飞行器巡检网络中参数所需要的处理时间,fps表示获取航拍图像的飞行器检测过程中的预设最低检测要求时间。
[0120]
基于上述轻量化飞行器巡检网络的获得,如图1所示,继续应用轻量化飞行器巡检网络,执行如下步骤i至步骤ii,针对飞行器飞行轨迹下实时所获各航拍图像中树木数量的统计。
[0121]
步骤i.分别针对飞行器飞行轨迹下实时所获各航拍图像,应用轻量化飞行器巡检网络,获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息,并结合飞行器所对应各飞行信息,针对各航拍图像,按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行分类,然后进入步骤ii。
[0122]
上述步骤i在实际应用当中,分别针对飞行器飞行轨迹下实时所获各航拍图像,应用轻量化飞行器巡检网络,获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息,并分别针对飞行器飞行轨迹下实时所获各航拍图像,如图4所示,执行如下处理,实现
对各航拍图像,按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行分类,然后进入步骤ii。
[0123]
定义航拍图像中树木目标检测框坐标中的速度v
x
,vy:
[0124][0125][0126]
式中,v表示飞行器的速度,w'表示航拍图像的宽度值,h'表示航拍图像的高度值,l表示飞行器航拍镜头感受野的直径,表示缩放参数,且δl表示飞行器在上升或者下降过程中感受野放大或者缩小的距离,δh表示飞行器在上升或下降过程的高度差,δth表示飞行器上升和下降过程所花费的时间。
[0127]
定义航拍图像中各树木目标检测信息分别对应预设类型参数信息表示第t帧航拍图像中第j个树木目标检测框所对应的预设类型参数信息,且预设类型参数信息包括树木目标检测框的左上角坐标树木目标检测框的宽度树木目标检测框的高度进一步由第t帧航拍图像中各树木目标检测框所对应的预设类型参数信息构成第t帧航拍图像所对应树木目标检测框参数信息集j表示第t帧航拍图像中树木目标检测框的数量。
[0128]
将飞行器处理第1帧航拍图像所对应树木目标检测框参数信息集d1作为飞行巡航轨迹航拍集τ
original
的初始帧,并设置此帧中的树木数量赋值给全局树木统计变量count,以及按如下方式,应用v
x
、vy进行下一帧的轨迹判断。
[0129]
假设1:当飞行器航拍高度与轨迹均没有改变时,下一帧与当前帧的位置关系应该满足如下:
[0130][0131]
vy=0
[0132]
式中,表示当前第t帧中第j个树木目标检测框的左上角坐标的x轴坐标,表示前一帧中相对应树木目标检测框的左上角坐标的x轴坐标,t
all
表示飞行器航拍时间和轻量化飞行器巡检网络处理时间总和,ε表示预设一个大于0的极小阈值。
[0133]
假设2:当飞行器在航拍过程中处于上升或者下降阶段时,下一帧与当前帧之间的位置关系应该满足如下:
[0134][0135][0136]
δh>0orδh<0
[0137]
式中,表示当前第t帧中第j个树木目标检测框的左上角坐标的y轴坐标,表示前一帧中相对应树木目标检测框的y轴坐标,且δh>0时,表示飞行器处于上升过程中,δh<0时,表示飞行器处于下降过程中。
[0138]
基于上述轨迹的判断后,将满足假设1的包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行巡航轨迹航拍集τ
original
中。
[0139]
将满足假设2中上升过程的第1帧航拍图像对应树木目标检测框参数信息集作为
飞行上升轨迹航拍集τ
up
的初始帧,并将后续满足此关系式的所有包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行上升轨迹航拍集τ
up
中。
[0140]
将满足假设2中下降过程的第1帧航拍图像对应树木目标检测框参数信息集作为飞行下降轨迹航拍集τ
down
的初始帧,并将后续满足此关系式的所有包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行下降轨迹航拍集τ
down
中。
[0141]
步骤ii.分别针对飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹,针对轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息进行分析,完成对全部飞行轨迹下实时所获各航拍图像中树木数量的统计,然后进入步骤iii。
[0142]
实际应用当中,上述步骤ii中,按如下方法执行。
[0143]
1)针对飞行巡航轨迹航拍集τ
original
中各帧航拍图像对应树木目标检测框参数信息,若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件。
[0144][0145][0146][0147]
则判定该相邻两帧航拍图像为重复帧,若不满足上述条件,则判定该相邻两帧航拍图像为非重复帧;式中,iou(
·
)表示交并比函数,表示前一帧航拍图像中第j个树木目标检测框根据v
x
预测当前帧航拍图像中相同目标的预设类型参数信息,具体为预测树木目标检测框的左上角坐标预测树木目标检测框宽度预测树木目标检测框高度η1和η2均为预设阈值参数,其中,η1至少要大于0.8,η2最大不能超过0.1。
[0148]
2)针对飞行上升轨迹航拍集τ
up
、飞行下降轨迹航拍集τ
down
,关于轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息,按如下公式:
[0149][0150][0151][0152]
针对预测树木目标检测框的宽、高、以及预测树木目标检测框的左上角的y轴坐标进行重构更新,获得其中,使用+号时表示飞行器下降过程,使用-号时表示飞行器上升过程;同时,使用隔帧对比修正法,按如下补偿公式:
[0153][0154]
η1=η1±
δl
[0155]
η2=η2±
δl
[0156]
针对阈值η1、η2进行阈值补偿更新,式中,分别表示下一帧航拍图像、下两帧航拍图像、下三帧航拍图像中第j个树木目标检测框的预设类型参数信息,δt表
示两帧航拍图像之间的航拍间隔时长,δl表示阈值补偿参数,min(
·
)表示最小值函数,阈值η1、η2进行阈值补偿更新公式中,飞行器下降过程时使用-号,飞行器上升过程中使用+号。
[0157]
进一步针对飞行上升轨迹航拍集τ
up
、飞行下降轨迹航拍集τ
down
,若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件;
[0158][0159][0160][0161]
则判定该相邻两帧航拍图像为重复帧,若不满足上述条件,则判定该相邻两帧航拍图像为非重复帧。
[0162]
基于上述分别针对飞行巡航轨迹航拍集τ
original
、飞行上升轨迹航拍集τ
up
、飞行下降轨迹航拍集τ
down
中重复帧航拍图像的判断后,伴随航拍图像时序,若当前帧航拍图像与上一帧航拍图像为重复帧,则全局树木统计变量count保持不变;若当前帧航拍图像与上一帧航拍图像为非重复帧,则全局树木统计变量count增加基于重复帧剔除公式所识别新树木目标检测框数量进行更新,如此完成对全部航拍图像的统计,实现对全部飞行轨迹下实时所获各航拍图像中树木数量的统计。
[0163]
步骤iii.针对随航拍图像时序,将实时所更新的全局树木统计变量count依次显示于对应的航拍图像上。
[0164]
上述技术方案所设计基于多轨迹智能预测的航拍树木数量精准统计方法,通过对航拍识别模型进行改进,能够有效提取出泛化的树木特征表示,突出特征之间的可区分度,解决了航拍图像分辨率较高所导致检测较慢,结合所提出双路特征融合的金字塔结构,实现了各层级的特征信息进行有效的融合,解决了对低、矮、小树木的漏检问题,并有效解决了飞行器航拍过程中由于高度变化所引起的形变问题,实现更好的统计效果,极大的降低了重复统计问题,与传统目标识别算法相比,本发明进一步设计在骨干网部分加入动态调控算法,使得网络各个参数与飞行器边端设备更加匹配,从而最大化利用设备算力获得较好的识别效果。
[0165]
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1