一种用于房屋检测的多专家辅助模型的构建方法

本发明涉及目标检测，具体涉及基于无人机影像中目标检测技术的检测城郊地区建好的建筑物和正在建造的建筑的方法。

背景技术：

1、对新建建筑的检测对于违法建筑的查处和城乡规划建设至关重要。传统的违法建筑检测主要依靠效率低下的人工访查方式。随着遥感技术和计算机视觉领域的发展，使用无人机遥感图像来进行建筑物检测已经成为了一种高效可行的方案。

2、现有的遥感图像建筑物检测主要是为了城市规划提供帮助，大多是针对城市建筑群的遥感图像进行设计。例如fan等人发表的《a high-resolution remote sensing imagebuilding extraction method based on deep learning》设计了一个采用主成分变换非监督预训练网络结构，加一个自适应池化模型进行建筑物检测，更清晰的寻找到建筑物的边缘；yuhan等人发表的《building extraction in multitemporal high-resolutionremote sensing imageryusing a multifeature lstm network》基于特征长短期记忆网络提出了一个用于提取像素级建筑物的网络；ryuhei等人发表的《building detectionfrom satellite imagery using ensemble of size-specific detectors》基于u-net提出了一个共享特征提取器的多任务模型，区别性的检测不同大小的建筑物和道路。这些建筑物检测的方法主要关注的是对于城市建筑群中建筑物的识别，普遍忽略了对于城郊和乡村地区的建筑物的检测，更重要的是对于建筑物中正在建造的建筑物类别的单独识别任务被没有收到关注。

3、实际上，在无人机拍摄的图像中，正在建造的建筑物的数量要远远少于已经建好的建筑物。同时，正在建造的建筑物和已经建好的建筑物拥有相似的外观和纹理。这导致我们不能用现在普遍使用的目标检测框架来进行建筑物的检测，这些方法面对样本不均等的数据集会产生向样本量多的类别的倾斜，并且不具备区分相似类别物体的能力，在我们要进行的建筑物检测任务中还存在很多不足。

4、所以，针对如何在无人机图像中准确识别建筑物和在建建筑物，申请人提出了一种基于改进yolov5神经网络模型的检测方法。

技术实现思路

1、本发明的目的是为了解决现有技术在进行无人机图像中的建筑物检测时，受到数据集中样本不均衡的影响导致的模型预测结果向着样本量多的已建好的建筑物类别倾斜，以及无人机图像中正在建造的建筑物和已经建好的建筑物外观相似度高的影响，从而无法准确检测在建建筑物的问题。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种用于房屋检测的多专家辅助模型的构建方法，它包括以下步骤：

4、步骤1：操控无人机拍摄城郊和乡村的建筑物图像，对拍摄完的影像进行处理，筛选出包含建筑物和在建建筑物的图像，使用矩形框标注出图像中的建筑物和在建建筑，将实例的类别信息和标注框的中心点信息和宽高信息进行保存；

5、步骤2：构建两个专家分支，第一个专家分支学习建筑物类别的特征表达，第二个专家分支学习正在建造的建筑物的特征表达；

6、步骤3：在网络中加入类内聚合损失，根据学习到的特征向量的真实类别分别计算它们和对应类别中心向量的相似度，通过提高每一个特征向量和类别中心向量的相似度来减小同一类别的类内差异，明确不同类别间的决策边界；

7、步骤4：将无人机图像送入网络，经过骨干网络提取特征图后，将相同的特征图分别送入主网络和专家分支，利用专家分支得到的检测结果计算损失来进一步约束骨干网络，同时利用主网络的结果来进行网络整体的训练；

8、步骤5：在模型训练结束后舍弃专家分支的网络权重，仅保留主网络的权重进行图像的推理，从而减少模型在推理过程中的计算量；

9、通过以上步骤完成对多专家辅助模型的构建和训练。

10、在步骤2中，在构建两个专家分支时，采用以下子步骤：

11、2-1：基于yolov5网络，在骨干网络之后加入第一个专家分支，具体来说，骨干网络提取的特征第一次通过一个1×1卷积将特征图的通道维度减半，再使用最临近插值进行上采样使特征图的宽和高扩大2倍，以便和骨干网络中的第四层的特征图延通道维度进行拼接，拼接之后经过一个c3模块将特征图的通道维度减半，之后第二次通过一个1×1卷积将特征图的通道维度减半，再使用最临近插值进行上采样使特征图的宽和高扩大2倍，以便和骨干网络中的第三层的特征图延通道维度进行拼接，拼接之后经过一个c3模块将特征图的通道维度减半，之后分作两个分支，一个分支进入p3层检测头，另一个分支进入3×3卷积将特征图的宽和高减半，以便和第二次通过一个1×1卷积的特征图延通道维度进行拼接，拼接之后经过一个c3模块，之后分作两个分支，一个分支进入p4层检测头，另一个分支进入3×3卷积将特征图的宽和高减半，以便和第一次通过一个1×1卷积的特征图延通道维度进行拼接，拼接之后经过一个c3模块，之后进入p5层检测头；

12、2-2：基于yolov5网络，在骨干网络之后加入第二个专家分支，具体来说，骨干网络提取的特征第一次通过一个1×1卷积将特征图的通道维度减半，再使用最临近插值进行上采样使特征图的宽和高扩大2倍，以便和骨干网络中的第四层的特征图延通道维度进行拼接，拼接之后经过一个c3模块将特征图的通道维度减半，之后第二次通过一个1×1卷积将特征图的通道维度减半，再使用最临近插值进行上采样使特征图的宽和高扩大2倍，以便和骨干网络中的第三层的特征图延通道维度进行拼接，拼接之后经过一个c3模块将特征图的通道维度减半，之后分作两个分支，一个分支进入p3层检测头，另一个分支进入3×3卷积将特征图的宽和高减半，以便和第二次通过一个1×1卷积的特征图延通道维度进行拼接，拼接之后经过一个c3模块，之后分作两个分支，一个分支进入p4层检测头，另一个分支进入3×3卷积将特征图的宽和高减半，以便和第一次通过一个1×1卷积的特征图延通道维度进行拼接，拼接之后经过一个c3模块，之后进入p5层检测头。

13、在步骤3中，在加入类内聚合损失，采用以下子步骤：

14、3-1：获取进入p3层检测头，p4层检测头和p5层检测头的特征图，根据真实结果的标注信息获取目标的特征向量；

15、3-2：根据进入p3层检测头，p4层检测头和p5层检测头的特征图的大小分别构建维度为n×30，n×12，n×3的类别中心特征向量矩阵，其中n为数据集中的类别数；

16、3-3：对步骤3-1中获取的目标特征向量，根据其真实类别与对应的类别中心向量计算相似度，相似度计算公式使用dynamic time warping(dtw)，公式如下所示：

17、

18、其中x为目标特征向量，c为类别中心向量，a为x和c的代价矩阵，我们使用欧氏距离来计算代价矩阵中的每一个元素，n和m分别表示x和c的维度。dtw的值越小，表示特征和类中心之间相似度越高。

19、计算所有相似度的平均值作为损失，公式如下：

20、

21、其中xi为第i个目标特征向量，为类别y得第i个类别中心向量，n为目标特征向量个数。

22、在步骤4中，在训练多专家辅助模型时，采用以下子步骤：

23、4-1：将无人机图像送入骨干网络，得到包含语义信息的特征图；

24、4-2：将特征图分别输入主网络和两个专家分支，分别得到检测结果；

25、4-3：检测结果与真实值分别计算损失。

26、在步骤4-3中，使用数据集对多专家辅助模型进行训练时会得到若干损失，其中第一个专家和第二个专家分别有三个损失函数，公式如下所示：

27、

28、

29、lobj＝(1-gr)+gr*lciou

30、其中,iou表示预测框和真实框的交并比，b,bgt分别表示预测框和真实框的中心点，ρ表示两个中心点间的距离，c表示预测框和真实框最远对角的距离，gr是标签平滑系数，αv是一个惩罚因子，公式如下：

31、

32、

33、其中，wgt表示真实框的宽，hgt表示真实框的高，w表示预测框的宽，h表示预测框的高

34、两个专家分支的损失函数，公式如下：

35、lexp1＝lreg1+lobj1+lin1

36、lexp2＝lreg2+lobj2+lin2

37、在步骤4-3中，其中主网络有四个损失函数，公式如下所示：

38、lcls＝-ylogp-(1-y)log(1-p)

39、ldet＝lreg3+lobj3+lcls+lin3

40、其中y为输入样本对应的标签，p为模型预测该输入样本为正样本的概率；

41、网络总的损失为主网络和两个专家的损失的加权求和，一起进行网络优化，公式如下：

42、l＝γldet+δlexp1+εlexp2

43、其中γ，δ，ε为三个分支的权重。

44、在步骤5中，模型在最后一次训练后保存最优模型时会舍弃专家分支的模型权重，仅保存主网络的模型权重。

45、在步骤1中，操控无人机拍摄城郊和乡村的建筑物图像，使用labelimg软件进行图像的标注，标注信息保存为pascal voc格式，然后转换为yolo格式，包含图像中每一个物体的类别和中心点坐标以及标注框的宽和高。

46、在步骤2中，构建多专家辅助建筑物检测网络，多专家辅助建筑物检测网络包括骨干网络、主网络、专家分支一、专家分支二；

47、所构建的多专家辅助建筑物检测网络具体如下：

48、骨干网络特征提取模块的第一层→骨干网络特征提取模块的第二层→骨干网络特征提取模块的第三层→骨干网络特征提取模块的第四层→骨干网络特征提取模块的第五层；

49、骨干网络特征提取模块的第五层→主网络特征融合模块第一层；

50、骨干网络特征提取模块的第四层，主网络特征融合模块第一层→主网络特征融合模块第二层；

51、骨干网络特征提取模块的第三层，主网络特征融合模块第二层→主网络特征融合模块第三层；

52、主网络特征融合模块第三层→主网络特征融合模块第四层；

53、主网络特征融合模块第二层，主网络特征融合模块第四层→主网络特征融合模块第五层；

54、主网络特征融合模块第一层，主网络特征融合模块第五层→主网络特征融合模块第六层；

55、主网络特征融合模块第四层→主网络检测模块第一层；

56、主网络特征融合模块第五层→主网络检测模块第二层；

57、主网络特征融合模块第六层→主网络检测模块第三层；

58、骨干网络特征提取模块的第五层→专家分支一特征融合模块第一层；

59、骨干网络特征提取模块的第四层，专家分支一特征融合模块第一层→专家分支一特征融合模块第二层；

60、骨干网络特征提取模块的第三层，专家分支一特征融合模块第二层→专家分支一特征融合模块第三层；

61、专家分支一特征融合模块第三层→专家分支一特征融合模块第四层；

62、专家分支一特征融合模块第二层，专家分支一特征融合模块第四层→专家分支一特征融合模块第五层；

63、专家分支一特征融合模块第一层，专家分支一特征融合模块第五层→专家分支一特征融合模块第六层；

64、专家分支一特征融合模块第四层→专家分支一检测模块第一层；

65、专家分支一特征融合模块第五层→专家分支一检测模块第二层；

66、专家分支一特征融合模块第六层→专家分支一检测模块第三层；

67、骨干网络特征提取模块的第五层→专家分支二特征融合模块第一层；

68、骨干网络特征提取模块的第四层，专家分支二特征融合模块第一层→专家分支二特征融合模块第二层；

69、骨干网络特征提取模块的第三层，专家分支二特征融合模块第二层→专家分支二特征融合模块第三层；

70、专家分支二特征融合模块第三层→专家分支二特征融合模块第四层；

71、专家分支二特征融合模块第二层，专家分支二特征融合模块第四层→专家分支二特征融合模块第五层；

72、专家分支二特征融合模块第一层，专家分支二特征融合模块第五层→专家分支二特征融合模块第六层；

73、专家分支二特征融合模块第四层→专家分支二检测模块第一层；

74、专家分支二特征融合模块第五层→专家分支二检测模块第二层；

75、专家分支二特征融合模块第六层→专家分支二检测模块第三层。

76、与现有技术相比，本发明具有如下技术效果：

77、1)本发明提出一种用于房屋检测的多专家辅助模型的构建方法。通过多专家分支架构，每个专家可以专门学习对应的特征表达，使网络能够从相同的输入中差异化提取不同类别的特征表达，从而是模型学到更好的对于不同类别的特征提取能力，平衡不同样本量所带来的学习能力的差异，从而提高模型的检测性能；

78、2)本发明提出一个特征级的可学习类别中心特征向量，并计算网络提取的特征图中每一个目标的特征向量与其对应的类别中心特征向量的相似度，以提高每一个目标的特征向量与其对应的类别中心特征向量的相似度来减小类别内可分离性并明确类别间的决策边界，提高模型对类内差异大而类间差异小的物体的区分能力，从而提高模型的检测性能；

79、3)本发明将模型对在建建筑物的检测性能提高到了与建好的建筑物相当，解决了在建建筑物样本数据少难以训练较好的模型的问题，为查处违章建筑和城乡规划提供了更好的解决方案；

80、4)本发明提出的专家分支是用于辅助主网络获得更强的特征提取能力和更好的检测能力，同时没有增加模型的参数量，使模型保持了原有的推理速度。