一种表面含砂浆的再生骨料多模态视觉检测方法和系统

本发明涉及再生骨料表面含砂浆检测领域，特别是指一种表面含砂浆的再生骨料多模态视觉检测系统。

背景技术：

随着我国对基建的不断投入，快速增长的骨料用量导致有些地方的原生骨料严重短缺，另一方面，我国每年会产生大量的建筑垃圾，收纳用地紧张导致污染环境，而废弃的混凝土是建筑垃圾的主要成分。废弃混凝土表面强化破碎加工中再生骨料的表面难免会残留有砂浆，而砂浆的存在及含量的多少对再生骨料质量有严重影响，因此检测再生骨料表面砂浆分布、厚度、含量非常有意义。另外再生骨料加工质量的精确评价十分关键。

技术实现要素：

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种表面含砂浆的再生骨料多模态视觉检测方法，能够实现对再生骨料表面砂浆分布、厚度、含量的检测及其三维形态的四维特征提取，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法为再生骨料破碎加工及质量检测和评价奠定了理论基础，解决建废处理和原生骨料短缺问题。

本发明采用如下技术方案：

一种表面含砂浆的再生骨料多模态视觉检测方法，其特征在于，包括：

通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；

通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；

通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；

采集再生骨料的高光谱图，得到高光谱图像；

对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；

以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别。

具体地，所述再生骨料多维轮廓的棱角性提取具体包括：

多维轮廓的轮廓线包含表面纹理和棱角性特征：x(t)＝w(t)+e(t)+l(t)；

利用灰色动态滤波分离模型表示：

gmλw和gmλl分别为在λw和λl取样长度内对采样数据的灰色建模，gmλw-l为连续在λw和λl对应的取样长度内进行灰色建模，通过采集样本不断更新灰色建模的序列，提取属于低频成分的棱角性特征。

其中，式中：w(t)为表面纹理，属于高频成分；e(t)为介于表面纹理和棱角性中间的频率成分；l(t)为棱角性，属于低频成分。

具体地，有效光谱特征的提取具体包括：

对于提取到的光谱特征，采用主成分和小波分析相结合的方法对光谱特征进行数据预处理；

对光谱原始特征重新排布，优化非线性激活函数；

用基尼指数最小划分特征和划分值计算方法，实现单个像素点光谱特征选择和空间压缩，得到有效光谱数据。

具体地，以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别，具体包括：

以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入；

将输入参数、特征向量以及注意力融合模型通过多特征信息融合方式实现再生骨料表面黏结砂浆的识别。

本发明实施例另一方面提供一种表面含砂浆的再生骨料多模态视觉检测系统，包括：

再生骨料输送模块：通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；

高度图像采集模块：通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；

彩色图像采集模块：通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；

高光谱图像采集模块：采集再生骨料的高光谱图，得到高光谱图像；

图像处理模块：对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；

深度学习模块：以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别。

具体地，所述再生骨料输送模块，包括振动分散给料装置，编码器，传送带装置；所述振动分散给料装置用于给传送带提供稳定且分散的再生骨料；所述编码器装置用于读取当前传送带的速度；所述传送带装置将分散的再生骨料依次送到各个图像采集区。

具体地，所述高度图像采集模块，包括led光源，双目线阵单色相机及线激光，所述led光源是平行背光源，用于给图像采集区域提供最优的光照环境；所述双目线阵单色相机及线激光中左右两个线阵相机通过扫描线激光投射在再生骨料表面的激光处。

具体地，所述彩色图像采集模块，包括白色线光源和彩色线阵相机，所述白色线光源给彩色线阵相机扫描区域提供光照环境，所述彩色线阵相机对再生骨料表面的纹理信息进行拍摄采集。

具体地，所述高光谱图像采集模块，包括光谱光源和高光谱相机；所述的光谱光源给高光谱相机扫描区域提供光照环境，所述高光谱相机对再生骨料的光谱信息进行采集并得到对应的高光谱图。

具体地，所述图像处理模块，包括滤波子模块、轮廓提取子模块、特征提取；所述滤波子模块用高斯滤波对采集到的高度图像、骨料表面纹理图进行去噪处理；所述轮廓提取用于对二值化的去噪的高度图像进行轮廓提取，提取再生骨料的外轮廓，所述特征提取子模块包括提取再生骨料的投影轮廓、高度轮廓、表面纹理及光谱特征。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

(1)本发明提供了一种表面含砂浆的再生骨料多模态视觉检测方法，通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；采集再生骨料的高光谱图，得到高光谱图像；对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法能够实现对再生骨料表面砂浆分布、厚度、含量的检测及其三维形态的四维特征提取，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法为再生骨料破碎加工及质量检测和评价奠定了理论基础，解决建废处理和原生骨料短缺问题。

附图说明

图1本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测方法的流程图；

图2本发明实施例提供的方法中特征融合部分的流程图；

图3本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测系统的架构图；

图4本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测系统的具体架构图；

图5本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测系统的部件结构图；

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

本发明提出一种表面含砂浆的再生骨料多模态视觉检测方法，能够实现对再生骨料表面砂浆分布、厚度、含量的检测及其三维形态的四维特征提取，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法为再生骨料破碎加工及质量检测和评价奠定了理论基础，解决建废处理和原生骨料短缺问题。

如图1，本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测方法的流程图，具体包括：

s101：通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；

s102：通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；

s103：通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；

s104：采集再生骨料的高光谱图，得到高光谱图像；

s105：对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；

对提取到投影轮廓和高度轮廓进行多维特征匹配，进而构建出再生骨料的三维模型，从而可以提取再生骨料多维度轮廓的棱角性、粒度、针片状等形态参数。不同维度空间的轮廓线均包含表面纹理和棱角性特征，因此用灰色动态滤波的方法分离颗粒骨料的棱角性和表面纹理。根据骨料颗粒形貌表示公式：

x(t)＝w(t)+e(t)+l(t)

式中：w(t)为表面纹理，属于高频成分；e(t)为介于表面纹理和棱角性中间的频率成分；l(t)为棱角性，属于低频成分。则灰色动态滤波细观形态参数分离模型表示为公式

式中：gmλw和gmλl分别为在λw和λl取样长度内对采样数据的灰色建模，gmλw-l为连续在λw和λl对应的取样长度内进行灰色建模。通过采集样本不断地更新灰色建模的序列，从而使所建立的灰色滤波模型具有新陈代谢的功能，累加生成可使原始测量数据中的高频成分得到的平滑和抑制，提取属于低频成分的棱角性特征。

具体地，有效光谱特征的提取具体包括：

对于提取到的光谱特征，采用主成分和小波分析相结合的方法对光谱特征进行数据预处理；

对光谱原始特征重新排布，优化非线性激活函数；

用基尼指数最小划分特征和划分值计算方法，实现单个像素点光谱特征选择和空间压缩，得到有效光谱数据。

s106：以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别。

如图2，为方法中特征融合部分的流程图，具体地，以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别，具体包括：

对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取，

再以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入；

将输入参数、特征向量以及注意力融合模型通过多特征信息融合方式实现再生骨料表面黏结砂浆的识别。

如图3-4为本发明实施例另一方面提供的表面含砂浆的再生骨料多模态视觉检测系统的架构图，图5为本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测系统的部件结构图，包括：

再生骨料输送模块(10)：通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；

再生骨料输送模块(10)，包括振动分散给料装置(11)，编码器(12)，传送带装置(13)；所述振动分散给料装置(11)用于给传送带提供稳定且分散的再生骨料；所述编码器装置(12)用于读取当前传送带的速度；所述传送带装置(13)将通过振动分散装置分散了的再生骨料依次送到各个图像采集区。

高度图像采集模块(20)：通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；

所述高度图像采集模块(20)，包括led光源(21)，双目线阵单色相机及线激光(22)，所述led光源(21)是平行背光源，用于给图像采集区域提供最优的光照环境。所述双目线阵单色相机及线激光(22)中左右两个线阵相机通过扫描线激光投射在再生骨料表面的激光处，同时传送带带动再生骨料移动，这样就可以将整个再生骨料的轮廓都扫描，再通过计算出立体视觉系统之间的对应关系，从而重构出再生骨料的高度轮廓图。

彩色图像采集模块(30)：通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；

彩色图像采集模块(30)，包括白色线光源(31)，彩色线阵相机(32)。所述白色线光源给彩色线阵相机扫描区域提供最佳的光照环境，所述彩色线阵相机对再生骨料表面的纹理信息进行拍摄采集。

高光谱图像采集模块(40)：采集再生骨料的高光谱图，得到高光谱图像；

高光谱图像采集模块(40)，包括光谱光源(41)，高光谱相机(42)。所述的光谱光源(41)给高光谱相机扫描区域提供最佳的光照环境，所述高光谱相机(42)对再生骨料的光谱信息进行采集并得到对应的高光谱图

图像处理模块(50)：对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；

所述图像处理模块(50)，包括滤波子模块(51)、轮廓提取子模块(52)、特征提取子模块(53)。所述滤波子模块(51)用高斯滤波对采集到的高度图像、骨料表面纹理图进行去噪处理。所述轮廓提取子模块(52)用于对二值化的去噪的高度图像进行轮廓提取。所述轮廓提取，仅提取再生骨料的外轮廓。所述特征提取子模块(53)包括提取再生骨料的投影轮廓、高度轮廓、表面纹理及光谱特征

深度学习模块(60)：以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别。

所述的深度学习模块(60)，包括参数输入子模块(61)、多特征融合子模块(62)。所述参数输入子模块(61)包括再生骨料高度轮廓、表明纹理特征以及高光谱伪彩色特征。所述多特征融合子模块(62)是将输入参数、特征向量以及注意力融合模型通过多特征信息融合方式实现再生骨料表面黏结砂浆的识别。

本发明提供了一种表面含砂浆的再生骨料多模态视觉检测方法，通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；采集再生骨料的高光谱图，得到高光谱图像；对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法能够实现对再生骨料表面砂浆分布、厚度、含量的检测及其三维形态的四维特征提取，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法为再生骨料破碎加工及质量检测和评价奠定了理论基础，解决建废处理和原生骨料短缺问题。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。