一种多路径聚合的建筑垃圾检测方法

1.本发明涉及建筑垃圾检测技术领域，特别涉及一种多路径聚合的建筑垃圾检测方法。


背景技术：

2.建筑垃圾分拣作为建筑垃圾资源再利用的主要步骤，其分拣速率和分拣精度影响建筑垃圾再生品的质量。传统的建筑垃圾分拣方式以人工分拣为主，但这种方法工作效率低，成本高昂，并且恶劣的工作环境危害工作人员健康。随着工业自动化技术的发展，部分学者提出利用破碎，筛分，磁选，风选等方法分拣建筑垃圾，但上述方法分拣精度低，影响建筑垃圾再生物料的利用。
3.随着硬件设备的发展，机器视觉技术作为一种无损检测工具已成功应用于农业、医学和工业等领域。随着可持续发展意识的增强，部分学者提取建筑垃圾颜色、纹理、密度等特征，实现了单一种类或特定两种建筑垃圾的识别。从工业角度，由于我国建筑垃圾采用多种物料集中堆放的方式，因此上述方法的应用场景有限；从信息角度，手工提取图像的单一特征，易造成图像部分信息丢失，影响建筑垃圾检测精度。随着深度学习的发展，卷积神经网络通过提取图像的潜在特征已广泛应用于图像分割，目标检测等领域。现阶段，基于卷积神经网络的目标检测算法可以分为以r-cnn，fast rcnn和faster rcnn为主的two-stage目标检测框架；和以yolo为代表的one-stage目标检测框架。two-stage检测算法在提取出候选检测区域的基础上，通过分类和回归的方式进行目标检测，与one-stage目标检测算法相比，two-stage目标检测算法检测精度较高。虽然基于卷积神经网络的目标检测算法已经成熟，但由于同种建筑物料经过使用、拆除产生的废弃物存在显著的颜色、形状等差异，甚至存在遮挡、污染的情况，因此目前适用于工业环境下的建筑垃圾检测算法研究较少。在此背景下，迫切需要研究多种类建筑物料的精确检测方法。


技术实现要素：

4.为了克服上述现有技术的不足，本发明的目的在于提供一种多路径聚合的建筑垃圾检测方法，以解决建筑垃圾自动化分拣精度低，影响建筑垃圾再生物料利用的问题，实现多种建筑物料的精确检测。
5.为了实现上述目的，本发明采用的技术方案是：
6.一种多路径聚合的建筑垃圾检测方法，包括以下步骤；
7.步骤一：通过视觉传感器采集混凝土、红砖、泡沫、硬塑料和木块五种建筑垃圾样本图像并预处理，制作标签；
8.步骤二：基于faster rcnn网络，提出多尺度特征融合网络，构建颜色多尺度融合特征,用于融合建筑垃圾图像的浅层细节信息和高级语义信息，并记为颜色多尺度融合特征分支，用于获取步骤四中的候选区域提取层，并为步骤五中多支路神经网络融合策略提供特征；
9.步骤三：基于数字图像的局部二值模式，提取数字图像的深层纹理特征，挖掘建筑垃圾图像的深层纹理信息，并作为深层纹理特征分支为步骤五中多支路神经网络融合策略提供特征；
10.步骤四、根据步骤二中颜色多尺度融合特征，通过rpn网络确定区域建议框的类别和位置信息，并提取目标的特征信息送入r-cnn子网络；
11.步骤五、根据步骤四中r-cnn子网络输出的目标类别置信度，结合步骤二中的颜色多尺度融合特征和步骤三中的深层纹理特征，设计多支路神经网络融合策略，输出该目标最终的类别置信度；
12.步骤六：设计多任务加权损失函数，实现模型端到端训练；
13.步骤七：通过训练模型，提高建筑垃圾的分拣精度，实现各类别建筑垃圾的精准检测。
14.进一步地，所述步骤一中图像预处理的方法为：
15.步骤1.1，利用labelimg软件制作采集图像的标签；
16.步骤1.2，通过旋转、翻转、色域变换操作扩增建筑垃圾图像集。
17.进一步地，所述步骤二中基于faster rcnn网络，提出多尺度特征融合网络，构建颜色多尺度融合特征的方法为：
18.步骤2.1，提取vgg网络第三层、第四层和第五层特征图；其中，浅层特征图用于描述建筑垃圾的几何形状特征，深层特征图用于描述建筑垃圾的高级语义信息；
19.步骤2.2，浅层特征图通过下采样和卷积操作与深层特征图融合形成候选区域提取层，该候选区域提取层与传统的faster rcnn模型特征图通道数相同，因此该模块在几乎不增加算法复杂度情况下，能够将建筑垃圾图像的浅层细节信息与高级语义信息融合，实现图像信息的相互补充，有助于提高建筑垃圾的检测精度。
20.进一步地，所述步骤三中基于数字图像的局部二值模式，提取目标的深层纹理特征的方法为：
21.步骤3.1，提取数字图像纹理特征：首先，将步骤一中采集的数字图像灰度化，然后，以图像中各像素为中心像素点，通过如下公式，在中心像素的3
×
3邻域内，计算邻域像素与中心像素的差值并编码，以获取目标的纹理特征；
[0022][0023][0024]
式中，为邻域像素数，设为邻域像素数，设为中心点像素值，为中心点领域像素值；
[0025]
步骤3.2，将步骤3.1中提取的数字图像的纹理特征图送入vgg16网络的前两个卷积层，以进一步提取图像的深层纹理特征，以补充建筑垃圾图像的局部细节信息，并用于步骤五中多支路神经网络融合策略模型的输入。
[0026]
进一步地，所述步骤四中，根据步骤二中颜色多尺度融合特征，通过rpn网络确定区域建议框的类别和位置信息，提取目标的深层颜色和纹理信息并送入r-cnn网络的方法为：
[0027]
步骤4.1，将颜色多尺度融合特征分支获取的特征图作为候选区域提取层，建立rpn网络确定区域建议框的类别和位置信息；
[0028]
步骤4.2，根据区域建议框的类别和位置信息，将建议框映射至颜色多尺度融合特征分支和深层纹理特征分支，以获取目标的颜色特征和深层纹理特征；
[0029]
步骤4.3，利用步骤4.2中目标的颜色特征，通过全连接层，获取目标的类别置信度和精确的位置信息，根据步骤4.2中目标的深层纹理特征，通过全连接层，再次获取目标的类别置信度。
[0030]
进一步地，所述步骤五中，根据步骤四中r-cnn网络输出的目标类别置信度，多支路神经网络融合策略的方法为：
[0031]
步骤5.1，根据各路卷积神经网络目标检测精度设置折扣融合权重，具体如公示所示；
[0032][0033]
式中，m表示事件集合{红砖，混凝土，木块，硬塑料，泡沫，θ}；{θ}表示事件：红砖、混凝土、木块、硬塑料、泡沫的组合，即表示网络的不精确程度；和分别表示颜色和纹理卷积神经网络分支建筑垃圾检测精度；和分别表示颜色和纹理卷积神经网络分支判断边框属于m类的概率；
[0034]
步骤5.2，根据颜色和纹理分支折扣后的类别置信度，设计多支路神经网络融合策略，确定dfm-net的最终类别置信度，获取目标的类别，如公式所示。
[0035][0036][0037]
式中，m和n表示事件集合{红砖，混凝土，木块，硬塑料，泡沫，θ}；{θ}表示事件：红砖、混凝土、木块、硬塑料、泡沫的组合，即表示网络的不精确程度；表示颜色多尺度融合特征分支判断边框属于m类的概率；p
l
(n)表示深层纹理特征分支判断边框属于n类的概率；p(a)表示dfm-net模型判断边框属于a类的概率。
[0038]
进一步地，所述步骤六中设计多任务加权损失函数，实现模型端到端训练的方法如下：
[0039]
dfm-net模型的损失函数如下，由区域建议网络边框回归损失l
loc
·n分类损失l
cls
·n，颜色多尺度卷积神经网络感兴趣区域边框回归损失l
loc
·i和分类损失l
cls
·i，及纹理卷积神经网络感兴趣区域分类损失l
cls
·
l
加权组成；
[0040]
l＝l
loc
·n+l
loc
·i+l
cls
·n+l
cls
·i+l
cls
·
l
[0041]
[0042][0043][0044]
式中，yi表示边框i的真实类别标签，边框为前景时yi＝1，边框为背景时yi＝0；ti表示预测框的坐标向量；表示边框的真实坐标向量；k
reg
表示边框的数量；k
cls
表示batch中样本总数；p
ic
表示第i个样本预测为第c类的概率；y
ic
是样本的真实标签。
[0045]
本发明的有益效果：
[0046]
本发明通过机器视觉技术对多种类建筑垃圾物料进行精确分类，为市场多样化需求提供解决方法；通过构建高效的深度学习网络模型，提取建筑垃圾物料的多路深层特征；最后，通过对物料特征的智能提取和决策融合，提高了建筑垃圾物料的检测精度，实现了建筑物料分拣自动化、智能化，降低了建筑垃圾固废再利用的成本。
附图说明
[0047]
图1为本发明建筑垃圾数据集示意图。
[0048]
图2为本发明dfm-net网络模型。
[0049]
图3为本发明多尺度特征融合网络结构图。
[0050]
图4为本发明多模型准确率与召回率对比图。
[0051]
图5为本发明多模型检测结果对比图。
具体实施方式
[0052]
下面结合附图对本发明作进一步详细说明。
[0053]
一种多路径聚合的建筑垃圾检测方法，首先，搭建建筑垃圾检测设备，该设备由传输装置、摄像装置、数据处理中心构成。然后，将建筑垃圾检测模型嵌入数据处理装置。最后，摄像装置采集传送带上的建筑垃圾并传送给数据处理中心。数据处理中心根据建筑垃圾检测模型确定图像中建筑垃圾的类别和位置。其中，构建建筑垃圾检测模型主要包括以下步骤；
[0054]
步骤一、通过视觉传感器采集混凝土、红砖、泡沫、硬塑料和木块五种建筑垃圾样本图像并预处理，制作标签，其中训练集:测试集:验证集所占比例为8：1：1；如图1所示。
[0055]
步骤二、基于faster rcnn网络，提出多尺度特征融合网络，构建颜色多尺度融合特征。
[0056]
步骤2.1，结合图3，提取vgg网络第三层、第四层和第五层特征图，并对浅层特征进行下采样和卷积操作。
[0057]
步骤2.2，融合各层特征图形成候选区域提取层，使得该特征图能够保留图像的浅层细节信息与高级语义信息，实现图像信息的相互补充。
[0058]
步骤三、基于数字图像的局部二值模式，提取目标的深层纹理特征。
[0059]
步骤3.1，首先，将数字图像灰度化。然后，以图像中的各像素为中心像素点，通过
如下公式，在中心像素的3
×
3邻域内，计算邻域像素与中心像素的差值并编码，以获取目标的纹理特征。
[0060][0061][0062]
式中，为邻域像素数，本发明设为邻域像素数，本发明设为中心点像素值，为中心点领域像素值。
[0063]
步骤3.2，将步骤3.1中提取的数字图像的纹理特征图输入vgg16网络的前两个卷积层，以进一步提取图像的深层纹理特征。
[0064]
步骤四、根据步骤二中颜色多尺度融合特征，通过rpn网络确定区域建议框的类别和位置信息，并将目标的特征信息送入r-cnn子网络。
[0065]
步骤4.1，将颜色多尺度融合特征分支获取的特征图作为候选区域提取层，建立rpn网络确定区域建议框的类别和位置信息。
[0066]
步骤4.2，根据区域建议框的类别和位置信息，将建议框映射至颜色多尺度融合特征分支和深层纹理特征分支，以获取目标的颜色特征和深层纹理特征。
[0067]
步骤4.3，利用步骤4.2中目标的颜色特征，通过全连接层，获取目标的类别置信度和精确位置信息。根据步骤4.2中目标的深层纹理特征，通过全连接层，再次获取目标的类别置信度。
[0068]
步骤五、根据步骤四中r-cnn网络输出的目标类别置信度，设计一种新的多支路神经网络融合策略，输出该目标最终的类别置信度。
[0069]
步骤5.1，根据各路卷积神经网络目标检测精度设置折扣融合权重，具体如公示所示。
[0070][0071]
式中，m表示事件集合{红砖，混凝土，木块，硬塑料，泡沫，θ}；{θ}表示事件：红砖、混凝土、木块、硬塑料、泡沫的组合，即表示网络的不精确程度；和分别表示颜色和纹理卷积神经网络分支建筑垃圾检测精度；和分别表示颜色和纹理卷积神经网络分支判断边框属于m类的概率。
[0072]
步骤5.2，根据颜色和纹理分支折扣后的类别置信度，设计多支路神经网络融合策略，确定dfm-net的最终类别置信度，获取目标的类别，如公式所示。
[0073][0074][0075]
式中，p(a)表示dfm-net模型判断边框属于a类的概率。
[0076]
步骤六、设计多任务加权损失函数，实现模型端到端训练。
[0077]
步骤6.1，dfm-net模型多任务加权损失函数如下，由区域建议网络边框回归损失l
loc
·n分类损失l
cls
·n，颜色多尺度卷积神经网络感兴趣区域边框回归损失l
loc
·i和分类损失l
cls
·i，及纹理卷积神经网络感兴趣区域分类损失l
cls
·
l
加权组成。
[0078]
l＝l
loc
·n+l
loc
·i+l
cls
·n+l
cls
·i+l
cls
·
l
[0079][0080][0081][0082]
式中，yi表示边框i的真实类别标签，边框为前景时yi＝1，边框为背景时yi＝0；ti表示预测框的坐标向量；表示边框的真实坐标向量；k
reg
表示边框的数量；k
cls
表示batch中样本总数；p
ic
表示第i个样本预测为第c类的概率；y
ic
是样本的真实标签。
[0083]
步骤6.2，模型训练。本文设置anchor的种类为9，其中尺寸大小为8，16，32共三种，长宽比为1:2，1:1，2:1三种类型。为使模型较快拟合，考虑到主干特征提取网络的特征具有通用性，因此基于迁移学习的思想，在模型训练时，加载基于imagenet数据集的预训练参数，以初始化网络模型。然后，通过建筑垃圾数据集训练dfm-net网络。在模型训练阶段，优化器采用adam，实验设置60个训练批次。其中，前30轮训练冻结主干特征提取网络，仅对网络进行微调，以加快训练效率；后30轮进入解冻阶段，更新dfm-net网络所有参数。冻结阶段和解冻阶段初始学习率分别设为0.0001和0.00001，并且每经过1轮迭代，学习率衰减为原来的0.96倍。
[0084]
针对dfm-net模型的有效性，该网络模型与faster-rcnn,ssd,yolo-v3算法对比，算法准确率和召回率对比结果如图4所示，各模型部分检测结果如图5所示，其中dfm-net的检测结果如表1所示。
[0085]
表1 dfm-net检测结果
[0086]