一种用于PV缺陷检测的多目标跟踪方法

一种用于pv缺陷检测的多目标跟踪方法
技术领域
1.本发明涉及光伏缺陷检测技术领域，尤其涉及一种用于pv缺陷检测的多目标跟踪方法。


背景技术：

2.随着经济全球化的快速发展，能源短缺和环境污染已成为世界关注的重要问题，各类新能源的深度开发与广泛使用得到世界各国密切关注。在国家政策支持和新技术不断涌现的背景下，太阳能发电技术作为重要的发电方式之一，以其耗能清洁、储能丰富、技术成熟的产业特点，在新能源领域占据了越来越重要的地位。太阳能电池普及应用使人们对太阳能电池表面的质量要求也越来越高。光伏(photovoltaic，pv)组件作为光伏发电系统的主要器件，其利用了硅晶半导体材料的光生伏特效应将太阳光照中蕴含的太阳能转化为电能，因此光伏组件的转换效率会受到太阳光辐照度和环境温度等外界因素的影响。一般情况下，光伏电池板长期暴露在外界环境，电池板经长期的风吹、雨打、霜冻等恶劣条件的侵蚀下，电池表面会出现积灰、玻璃破损、背板灼伤或异物遮挡等现象，电池内部会逐渐老化，造成光伏电池的部分损坏。
3.近年来，无人机技术和热成像技术发展迅速，大型光伏电站现场利用无人机搭载红外成像仪和可见光照相机巡航采集图像，并将数据传输给监控人员，以此发现光伏电池的异常情况，这大大提高了巡检的效率，降低了光伏电站的运维成本，同样也促进了图像处理技术在光伏板故障检测中的应用研究。光伏板故障的检测主要基于红外图像，红外图像能够反映电池片的工作状态，根据光伏板有无故障时的不同温度分布特征，可以有效判断识别光伏板故障。但红外图像噪声高、清晰度低的特点也给传统机器学习的特征提取带来难度；而过多的图像预处理方法会将一些有效特征连同噪声一起过滤掉，降低了热斑故障的判别能力；并且光伏组件运行过程中产生的故障种类繁多，但采集到的图像数据有限，同样给图像检测带来困难。
4.多目标跟踪(multiple object tracking，mot)是计算机视觉领域的一项关键技术，在自动驾驶、智能监控、行为识别等方向应用广泛。对于输入视频，输出目标的跟踪结果，包括目标包围框和对应的id编号。理论上，同一个目标的id编号保持不变。多目标跟踪中即要面对在单目标跟踪中存在的遮挡、变形、运动模糊、拥挤场景、快速运动、光照变化、尺度变化等挑战，还要面对如轨迹的初始化与终止、相似目标间的相互干扰等复杂问题。因此，多目标跟踪当前仍然是图像处理中的一个极具挑战性的方向，吸引了不少研究人员的长期投入。
5.光伏板缺陷检测中的多目标跟踪任务主要是跟踪数量较多的光伏板，光伏板场景的多目标跟踪不同于复杂的行人和车辆的多目标跟踪场景。无人机按既定轨道飞行，光伏板受物体遮挡情况基本不存在，而且每块光伏板的形状一样。所以考虑选择适当的目标检测和目标跟踪方案，可以提高光伏板缺陷检测场景下多目标跟踪的速度。
6.多目标跟踪算法根据初始化方法的不同可分为detection-based tracking(dbt)
和detection-free tracking(dft)，前者为基于检测的跟踪，即优先目标检测，再将检测结果与已存在的轨迹进行匹配链接。后者则需要在第一帧手动标记定量目标，在后续帧定位物体。dft的跟踪模式仅能跟踪已标记目标，而dbt的跟踪模式可以自动发现新的目标，移除已消失的目标，更适应如今多目标跟踪算法的应用场景。基于检测的多目标跟踪流程如图1所示。
7.传统的基于检测的多目标跟踪算法，例如2008年提出的nevatia算法，该算法将mot问题转化为3层逐步细化的数据关联问题：最底层通过样本和样本的关联实现简单的目标检测；中间层使用最大化后验概率方法实现轨迹初步拼接；最高层使用em算法优化中间层检测结果得到多目标跟踪轨迹。近年来，随着深度学习的快速进步，目标检测算法的精度不断提升，基于检测的多目标跟踪算法得到了发展。2016年bewley等提出的sort(simple onlineand realtime tracking)算法凭借其出色的跟踪性能获得了极大关注，该算法主要由目标检测模块与数据关联模块组成。目标检测模块的主要任务是对输入的视频进行特定类别的目标检测。数据关联模块主要采用卡尔曼滤波算法与匈牙利算法，主要任务是判定不同帧中所检测目标是否为同一对象。2017年提出的deepsort算法在数据关联方面引入外观模型的参考，从而提高关联的鲁棒性，deepsort算法融合了运动模型与外观模型，并为2种模型分配了不同权重，综合计算目标与轨迹的匹配程度。相对sort算法而言，deepsort算法的mota值提升幅度不大，但id变换频率降低了45％，速度接近实时要求。清华大学tnlist实验室2018年提出的motdt算法通过融合对象分类器和跟踪器置信度制定了统一的轨迹评分机制，将产生的检测框和预测框的标准置信度作为非极大抑制(nms)输入，从而获得无冗余候选项。引入轨迹评分机制，对nms的每一个输入进行评分，利用卡尔曼滤波预测弥补漏检。该算法同比其他算法有了显著提升。
8.然而，上述算法均存在一定缺陷。传统跟踪nevatia算法基于底层目标检测，利用层次递进的思想解决多目标跟踪问题，但检测器较为简单，且场景预设为单出入口，局限性较大。同时算法内部需设定的参数过多，如em算法方差、最大时间差等，实现同等效果较为困难。sort算法虽然复杂度低，框架结构简单，运行速度快，但是数据关联方面模型较为简单，易受遮挡，而且id变换频繁。deepsort算法进行轨迹匹配时，从检测和跟踪的输出中收集候选项作为集合，输入到匹配机制，存在候选集合中存在冗余候选项的问题。基于检测的mot方法的性能很大程度取决目标检测方法，r-cnn模型通过选择性搜索确定候选区域来进行目标检测，但是存在资源利用率低、占用大量磁盘空间、时间复杂度高等缺点；基于r-cnn改进的spp-net模型速度得到极大提高，但是运行时还是占用了巨大的磁盘资源。fast r-cnn解决了之前的问题，将除了候选区选择之外的模块实现端到端的操作。但生成候选区还是选择性搜索，区域框选择没有与检测网络成为一体，耗时耗空间；faster r-cnn模型输出为种类标签和box坐标，存在分割任务的质量不够高等问题。现存的多目标跟踪模型为了跟踪的精确度，在数据关联方面引入外观模型和运动模型进行轨迹预测，提高了关联的鲁棒性。但是由于添加过多的组件，跟踪速度也随之下降。
9.因此，在光伏板缺陷检测场景中，现有的多目标跟踪方案已不能满足对光伏板跟踪的精度和速度需求。


技术实现要素：

10.本发明针对现有mot算法添加的组件太复杂、参数量较大，导致算法调整的困难，同时很难在实际工程中实现的问题，提出一种用于pv缺陷检测的多目标跟踪方法，以提高pv板的分割精度和运行速度，达到pv板的在线实时跟踪目的。
11.为了实现上述目的，本发明提供如下技术方案：
12.一种用于pv缺陷检测的多目标跟踪方法，先采用mask r-cnn网络进行目标检测操作，检测出视频帧图像中的待跟踪pv板并给每块pv板添加mask；然后利用kalman滤波算法对下一帧图像中pv板的位置进行预测和更新；最后使用匈牙利算法将检测的mask位置与预测的mask位置进行匹配，并为不同视频帧中的相同pv模块分配同一跟踪id，得到多条长时间目标跟踪轨迹；所述mask r-cnn网络包括faster r-cnn和掩膜分支两部分，其中，faster r-cnn的roi pooling层被修改为roi align层，掩膜分支是一个全卷积网络，用于提取roi分类器选择的正区域作为输入并为其生成掩膜。
13.进一步地，所述mask r-cnn网络的主干网络是resnet-50/101+fpn的网络结构，该结构采用一个自底向上的线路，通过resnet中的第2层到第5层特征图，构建fpn特征金字塔网络。
14.进一步地，所述mask r-cnn网络的流程如下：
15.①
将设备的原始红外图片进行预处理；
16.②
通过特征提取网络得到特征图；
17.③
设定固定个数的候选框，然后送入区域生成网络进行二分类以及坐标回归，获得精炼后的roi区域；
18.④
获得的roi区域执行roi align操作，将特征图和固定的特征对应起来；
19.⑤
最后对roi区域进行多类别分类和候选框回归，引入掩膜分支生成掩膜，完成分割任务。
20.进一步地，roi align层采用双线性插值法预估浮点坐标中心的像素值的公式为：
[0021][0022]
式中(x1，y1)，(x1，y2)，(x2，y1)，(x2，y2)为相邻4个像素点的坐标。
[0023]
进一步地，掩膜分支提取roi分类器选择的正区域作为输入，其后经过一个逆卷积层进行反向传播，不同尺度的目标按照规则选择不同尺度的特征图，最终将掩膜信息放置原图，生成它们的掩膜。
[0024]
进一步地，mask r-cnn网络训练时采用多任务损失函数的和作为最终的损失函数，其计算公式为：
[0025]
l＝l
rcls
+l
rreg
+l
fcls
+l
freg
+l
mask
ꢀꢀꢀ
(2)
[0026]
式中：l
rcls
为rpn网络分类损失；l
rclg
为rpn网络回归损失；l
fcls
为目标分类分支损失；l
freg
为目标回归分支损失；l
mask
为目标掩膜分支损失。
[0027]
进一步地，利用kalman滤波算法对下一帧图像中pv板的位置进行预测和更新，其中，预测部分负责根据前一个状态来估计当前状态值，更新部分负责通过观测状态来对预测值做更新以得到最优估计值；其中：
[0028]
1)预测
[0029]
状态预测：
[0030][0031]
误差协方差预测：
[0032]
p
k，k-1
＝φ
k，k-1
p
k，k-1
φ
k，k-1t
+q
k-1
ꢀꢀꢀꢀꢀꢀ
(4)
[0033]
式中：
[0034]
表示估计状态量的预测值，维度为8
×
1；
[0035]
φ
k，k-1
表示状态转移矩阵，维度为8
×
8；
[0036]
p
k，k-1
表示估计误差协方差的预测值，维度为8
×
8；
[0037]qk-1
表示过程噪声协方差，维度为8
×
8；
[0038]
2)更新
[0039]
增益矩阵更新：
[0040]kk
＝p
k，k-1hkt
(hkp
k，k-1hkt
+rk)-1
ꢀꢀꢀꢀ
(5)
[0041]
观测量更新：
[0042][0043]
误差协方差更新：
[0044]
pk＝(i-k
khk
)r
k，k-1
ꢀꢀꢀꢀꢀ
(7)
[0045]
式中：
[0046]hk
表示观测矩阵，维度为4
×
8；
[0047]
表示预测的目标位置值，维度为4
×
1；
[0048]kk
表示卡尔曼滤波增益，维度为8
×
4；
[0049]rk
表示观测噪声协方差，维度为4
×
4；
[0050]
pk表示估计误差协方差的修正值，维度为8
×
8；
[0051]
表示测量值和预测值之间的差值，维度为4
×
1，其中zk为测量的目标位置。
[0052]
进一步地，通过匈牙利算法求得mask r-cnn所得检测mask位置与kalman滤波所得预测mask位置交并比最大的匹配。
[0053]
与现有技术相比，本发明的有益效果为：
[0054]
本发明提出的用于pv缺陷检测的多目标跟踪方法，使用mask r-cnn作为光伏板检测模块，该算法的网络特征提取能力强大，对外观相似的pv板实现高质量实例分割。对分割对象使用sort算法进行多目标跟踪，跟踪中将pv模块的边界框大小和位置，以及mask掩膜进行运动估计和数据关联，保持了sort跟踪算法的简洁性和跟踪速度。并在自制数据集上使用该多目标跟踪算法获得较好效果。
附图说明
[0055]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一
些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0056]
图1为现有基于检测的多目标跟踪流程图。
[0057]
图2为本发明实施例提供的用于pv缺陷检测的多目标跟踪算法流程图。
[0058]
图3为本发明实施例提供的用于pv缺陷检测的多目标跟踪方法流程图。
[0059]
图4为本发明实施例提供的mask r-cnn中roialign流程图。
[0060]
图5为本发明实施例提供的sort算法流程图。
[0061]
图6为本发明实施例提供的用于pv缺陷检测的多目标跟踪方案流程图。
[0062]
具体实施方式
[0063]
为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。
[0064]
根据光伏板缺陷检测场景：无人机按照既定轨迹和高度飞行，光伏板受遮挡的情况少。光伏板缺陷检测场景中的任务是对无人机扫描的视频帧序列进行目标检测和跟踪，目标检测对象为每块外观相似的pv板。本方案使用基于mask r-cnn实例分割框架的sort算法，以提高pv板的分割精度，提高运行速度，达到pv板的在线实时跟踪目的。
[0065]
具体地，本发明提供的一种用于pv缺陷检测的多目标跟踪方法，如图2所示，先采用mask r-cnn网络进行目标检测操作，检测出视频帧图像中的待跟踪pv板并给每块pv板添加mask；然后利用kalman滤波算法对下一帧图像中pv板的位置进行预测和更新；最后使用匈牙利算法将检测的mask位置与预测的mask位置进行匹配，并为不同视频帧中的相同pv模块分配同一跟踪id，得到多条长时间目标跟踪轨迹；所述mask r-cnn网络包括faster r-cnn和掩膜分支两部分，其中，faster r-cnn的roi pooling层被修改为roi align层，掩膜分支是一个全卷积网络，用于提取roi分类器选择的正区域作为输入并为其生成掩膜。
[0066]
1、两阶段实例分割mask r-cnn网络
[0067]
目前的两阶段目标检测算法包括r-cnn、spp-net、fast r-cnn、faster r-cnn、mask r-cnn。r-cnn是第一个将深度学习应用到目标检测的算法。该算法总共4个部分获得检测结果，首先通过网络获取检测的图像；其次对输入的图像采用选择性搜素(selective search)算法，提出大2000个区域候选框，并把不同大小的候选框缩放到相同大小；然后使用alexnet获得候选区域的特征；最后利用多个svm分类器和回归器得到目标的类别和位置信息。r-cnn虽然检测精度很高，但是由于网络的各个阶段都需要单独训练，增加了算法的时间成本，而且计算复杂度也比较高。spp-net解决了r-cnn缺陷的部分问题，提出了一种新奇的卷积操作模型，对输入的图像可以一次性进行卷积操作，减少了运算时间。相较于r-cnn该算法的检测速度快了24～102倍。但是spp-net还是存在大量的计算，也不能满足实时检测精度较高的需求。fast r-cnn算法使用区域生成网络(region proposal networks，rpn)网络替代selective search算法，成为了第一个真正意义上的端到端的网络。大幅度提升了目标检测速度。但是该算法沿用roi pooling层，网络特征失去平移不变性，导致最后目标检测中定位的准确性降低，而且存在小目标检测不理想、重复运算等瑕疵。mask r-cnn算法主要提出了roi align来代替roi pooling，从而实现更加精确的实例分割，然后提出增加一个mask分支来预测每一个roi上的分割掩码，这样的操作使分类分支、边框回归分支和mask分支并行运行，在提高分割精度的同时，减少了运行时间，使得模型运行速度更快。表1为两阶段检测算法性能比较。
[0068]
表1两阶段检测算法的性能比较
[0069][0070][0071]
本发明的mask r-cnn是基于faster r-cnn的框架，在基础特征网络之后又加入了全连接的分割网络，由原来的两个任务(分类+回归)变为了三个任务(分类+回归+分割)。mask r-cnn采用和faster r-cnn相同的两个阶段，对fast r-cnn的每个proposal box都使用fcn进行语义分割。
[0072]
本发明的mask r-cnn用于识别与分割的算法流程图如图3所示，其结构流程如下：
[0073]
①
将设备的原始红外图片进行预处理；
[0074]
②
通过特征提取网络得到特征图；
[0075]
③
设定固定个数的候选框，然后送入区域生成网络(region proposal networks,rpn)进行二分类以及坐标回归，获得精炼后的感兴趣区域(region of inter-esting,roi)；
[0076]
④
获得的roi区域执行roi align操作，将特征图和固定的特征对应起来；
[0077]
⑤
最后对roi区域进行多类别分类和候选框回归，引入掩膜分支(mask branch)生成掩膜，完成分割任务。
[0078]
本发明的mask r-cnn算法框架分为2个部分：faster r-cnn部分和mask branch(掩膜分支)部分。faster-rcnn部分的roi pooling被修改为roi align，通过双线性插值算法取代原来roi pooling的量化操作。掩膜分支是一个卷积网络，提取roi分类器选择的正区域作为输入，并生成它们的掩膜。每个类别的roi只与自己掩膜的输出做对比，有效避免类间竞争，从而得到完整的区域分割，mask r-cnn中roialign如图4所示。
[0079]
mask r-cnn的主干网络(backbone)是resnet-50/101+fpn(feature pyra-mid networks)的网络结构，该结构采用一个自底向上的线路，通过resnet中的第2层到第5层特征图，构建fpn特征金字塔网络。其中底层的特征图用于检测较小的目标，高层的特征图用
于检测较大的目标。
[0080]
获得的各种尺寸的特征图经过区域生成网络之后生成了若干预测窗口，经过候选区域对齐和投票，获得提取后的roi区域，同时生成特征图中对应的roi区域坐标。原始的roi pooling会对候选区域进行2次量化，但量化后的候选框和最开始回归出来的位置有一定偏差，这个偏差会影响检测或者分割的准确度。mask-rcnn则利用roialign层取代roi pooling层，用于处理掩膜与原图中物体对不齐的问题，大大提升了物体的检测精度，为了使回归得到的位置坐标更接近实际情况，采用双线性插值法预估浮点坐标中心的像素值的方法为：
[0081]081][0082][0083]
式中(x1，y1)，(x1，y2)，(x2，y1)，(x2，y2)为相邻4个像素点的坐标。
[0084]
与r-cnn系列其他算法相比，本发明mask r-cnn最大的不同就在于其增加了一个mask掩膜部分，通过连接全卷积网络来对特征图中每个像素点进行分类，从而实现像素级的目标分割。提取roi分类器选择的正区域作为输入，其后经过一个逆卷积层进行反向传播。不同尺度的目标按照规则选择不同尺度的特征图，最终将掩膜信息放置原图，生成它们的掩膜。mask-rcnn能在有效检测图片中获得感兴趣目标的同时，生成每个目标高质量的分割掩膜，从而达到对图像进行语义分割的效果。mask-rcnn训练时的误差主要由rpn网络、分类回归分支和掩膜分支产生。因此，采用多任务(multi-task)损失函数的和作为最终的损失函数，其计算公式为：
[0085]
l＝l
rcls
+l
rreg
+l
fcls
+l
freg
+l
mask
(2)
[0086]
式中：l
rcls
为rpn网络分类损失；l
rreg
为rpn网络回归损失；l
fcls
为目标分类分支损失；l
freg
为目标回归分支损失；l
mask
为目标掩膜分支损失。
[0087]
本发明mask r-cnn沿用了faster r-cnn的思想，特征提取采用resnet-fpn的架构，同时增加一个mask预测分支用来预测二值掩码。它不仅可对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果，同时也可以进行扩展到其他任务如关键点检测。网络特征提取能力强大，目标检测效果优秀且实例分割效果也很精细。因此，本发明mask r-cnn的这些优点适合本方案的目标检测。
[0088]
2简单在线实时跟踪sort算法
[0089]
目前的sort算法主要由目标检测模块与数据关联模块组成。目标检测模块的主要任务是对输入的视频进行特定类别的目标检测(如运动目标或人、车辆等)。数据关联模块主要采用卡尔曼滤波算法与匈牙利算法。本发明使用基于mask r-cnn目标检测框架的sort跟踪算法。在数据关联方面继续沿用传统sort中的跟踪算法：将检测目标的状态模型输入卡尔曼滤波器中进行预测与更新，滤波器依据当前目标检测算法所得的检测位置与上一帧滤波器输出的目标预测位置计算当前最佳位置，实现“去噪”。sort算法将检测框和跟踪框的iou作为匈牙利算法cost矩阵(损失矩阵)的输入，得到检测框和跟踪框的匹配结果后，判断检测结果与轨迹是否匹配成功。本发明的sort算法流程图如图5所示。
[0090]
2.1kalman滤波算法
[0091]
利用kalman滤波算法进行目标未来帧的状态预测，主要包含预测和更新两部分：
[0092]
1)预测
[0093]
状态预测：
[0094][0095]
误差协方差预测：
[0096]
p
k，k-1
＝φ
k，k-1
p
k，k-1
φ
k，k-1t
+q
k-1
ꢀꢀꢀꢀꢀꢀ
(4)
[0097]
式中：
[0098]
表示估计状态量的预测值，维度为8
×
1；
[0099]
φ
k，k-1
表示状态转移矩阵，维度为8
×
8；
[0100]
p
k，k-1
表示估计误差协方差的预测值，维度为8
×
8；
[0101]qk-1
表示过程噪声协方差，维度为8
×
8；
[0102]
2)更新
[0103]
增益矩阵更新：
[0104]kk
＝p
k，k-1hkt
(hkp
k，k-1hkt
+rk)-1
ꢀꢀꢀꢀꢀꢀꢀ
(5)
[0105]
观测量更新：
[0106][0107]
误差协方差更新：
[0108]
pk＝(i-k
khk
)p
k，k-1
ꢀꢀꢀꢀꢀꢀꢀ
(7)
[0109][0110]hk
表示观测矩阵，维度为4
×
8；
[0111]
表示预测的目标位置值，维度为4
×
1；
[0112]kk
表示卡尔曼滤波增益，维度为8
×
4；
[0113]rk
表示观测噪声协方差，维度为4
×
4；
[0114]
pk表示估计误差协方差的修正值，维度为8
×
8；
[0115]
表示测量值和预测值之间的差值，维度为4
×
1，其中zk为测量的目标位置。
[0116]
上述五个公式(式3-7)组成了卡尔曼滤波的预测公式和更新公式，预测公式负责根据前一个状态来估计当前状态值，而更新公式负责通过观测状态来对预测值做更新以得到最优估计值。
[0117]
2.2匈牙利算法
[0118]
匈牙利算法可以用于求解多种形式的匹配问题。在实际应用中，若在有权二部图中，顶点所连接的边权重不同，要求在顶点匹配的同时考虑总权重最大或者最小的问题，这就是最优匹配问题。建立数学模型如下：设用w
ij
＞0(i，j＝1，2，
…
，n)表示集合a中的顶点i匹配集合b中的顶点j时的权重，定义决策变量：
[0119][0120]
则问题可以转化为：
[0121][0122][0123]
定理1：如果从有权匹配矩阵e(e
ij
)的每一行的元素中分别加上或减去一个常数ui，也可称作该行的位势；从每一列的元素中分别加上或减去一个常数vj，也可称作该列的位势，得到一个新矩阵f(f
ij
)，若其中f
ij
＝e
ij
+ui+vj，则二者的最优解等价。
[0124]
定理2：若矩阵e的元素可分成零和非零两类数字，则覆盖零元素直线的最大数量等于位于不同行、不同列的零元素的最大个数。
[0125]
匈牙利算法的基本思想是：通过符合定理不断变换的方式，使得矩阵的行和列尽可能多地生成零元素，直到能从变换后的矩阵中找出n个位于不同行、不同列的零为止，这些零元素对应的z
ij
＝1，其余元素对应的z
ij
＝0。
[0126]
匈牙利算法本质为一个指派问题，是图论中寻找最大匹配的算法。二分图也称为二部图，是一种特殊模型。将一个图的顶点划分为两个不相交子集，使得每条边都分别连接两个集合中的顶点。如果存在这样的划分，则该图为一个二分图。在多目标跟踪中可将二分图理解为视频中连续两帧图像中的所有检测框，第一帧图像所有检测框的集合记为u，第二帧图像所有检测框的集合记为v.同一帧图像的不同检测框不会为同一个目标，所以不需要互相关联，相邻两帧图像的检测框需要相互联通，最终将相邻两帧图像的检测框尽量两两匹配。匈牙利算法基于交并比iou的算法，即求得mask r-cnn所得检测框与kalman滤波所得预测框的iou，通过匈牙利算法求得iou最大的匹配。传统匈牙利算法准确度较差，但速度快
[0127]
如图6所示，基于mask r-cnn的多目标跟踪在pv缺陷检测中的具体实施步骤如下：
[0128]
步骤1)使用自制数据集作为pv板多目标跟踪样本数据集。自制数据集来自某光伏电站基地，包含了不同的环境因素。该数据集有13463张800
×
800像素的图像以及46736个目标实例。
[0129]
步骤2)统一样本数据集的标签格式，并划分为训练样本集和测试样本集，其中用于训练的训练样本集为6725张，用于测试的测试样本集有6738张。
[0130]
步骤3)将制作好的数据集训练mask r-cnn目标检测模型。mask r-cnn目标检测模型分为faster-rcnn部分和mask branch(掩膜分支)部分，算法流程图如图2所示。
[0131]
步骤4)根据mask r-cnn进行目标检测并为pv光伏板添加mask，然后根据上一帧进行kalman滤波预测光伏板在当前帧的位置。
[0132]
步骤5)当前帧中的检测得到的mask位置和根据kalman滤波预测的mask位置通过基于iou的匈牙利算法进行两两匹配，并为不同视频帧中的相同pv模块分配同一跟踪id。若当前帧中的pv模块与上一帧没有匹配，则认定为新pv模块并分配跟踪id。
[0133]
步骤6)重复步骤4-5将所有视频帧的pv模块分配id并分类，完成所有pv模块跟踪。
[0134]
该技术方案使用mask r-cnn作为多目标跟踪模块中的光伏板检测模块，该算法的网络特征提取能力强大，对外观相似的pv板实现高质量实例分割。对分割对象使用sort算法进行多目标跟踪，跟踪中将pv模块的边界框大小和位置，以及mask掩膜进行运动估计和数据关联，保持了sort跟踪算法的简洁性和跟踪速度。在自制数据集上使用该多目标跟踪算法获得较好效果。
[0135]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。