一种基于机器视觉的混凝土自动振捣方法及系统与流程

1.本发明涉及人工智能、混凝土浇筑技术领域，具体涉及一种基于机器视觉的混凝土自动振捣方法及系统。


背景技术：

2.在混凝土浇筑过程中，需要排除掉混凝土中的气泡，进行捣固，使混凝土紧密结合，消除混凝土的蜂窝麻面等现象，以提高其强度，保证混凝土构件的质量。对混凝土消除气泡、进行捣固的过程即为混凝土振捣。在振捣过程中，每一个位置的振捣时间不可过短或过长，过短则混凝土振捣不密实，过长混凝土产生离析，所以在使用振捣机器进行振捣作业时，需要对振捣器每个位置的作业时间进行实时控制，保障混凝土的浇筑质量。目前混凝土振捣作业均为人工控制，缺乏智能化的自动控制系统。


技术实现要素：

3.为了解决上述技术问题，本发明的目的在于提供一种基于机器视觉的混凝土自动振捣方法及系统，所采用的技术方案具体如下：
4.本发明提出了一种基于机器视觉的混凝土自动振捣方法，所述方法包括：
5.获取历史浇筑过程中浇筑区域图像、每个振捣棒的振捣时间和振捣棒型号；分割所述浇筑图像，获得混凝土区域图像和干涉区域图像；所述干涉区域图像包括振捣前干涉区域图像和振捣后干涉区域图像；获取所述混凝土区域图像中每个振捣棒的位置信息；根据所述位置信息获取每个振捣棒下方振捣前混凝土图像和振捣后混凝土图像；
6.根据所述位置信息获得每个振捣棒在所述振捣后混凝土图像的作业区域；根据所述作业区域中像素值进行密度聚类，获得聚类簇；根据聚类密度、聚类簇面积、聚类簇数量和作业区域面积获得每个振捣棒的作业质量；将所述作业质量小于预设质量阈值的振捣棒剔除，获得合格振捣棒及其合格振捣时间；
7.所述根据所述位置信息将所述合格振捣棒分为干涉区域相关振捣棒和混凝土区域振捣棒；
8.将相同所述振捣棒型号的所述混凝土区域振捣棒构成一个振捣棒集合；将所述振捣棒集合中每个振捣棒的工作区域进行叠加，获得叠加区域；所述叠加区域每个方向上像素值最大的点组成最优工作区域；获得所述混凝土区域振捣棒的所述振捣前混凝土图像与所述合格振捣时间的映射关系；
9.获得所述振捣前干涉区域图像和所述振捣后干涉区域图像的差值图像；若所述差值图像的平均像素值不大于预设像素值阈值，则根据所述干涉区域相关振捣棒和所有所述干涉区域的距离和获得干涉区域最优距离；
10.获取实时振捣棒的实时位置信息和实时振捣棒型号；根据所述实时振捣棒型号对应的所述最优工作区域和所述干涉区域最优距离调整所述实时位置信息；根据所述实时振捣棒下的实时振捣前混凝土图像和所述映射关系获得每个所述实时振捣棒的所述合格振
捣时间。
11.进一步地，所述根据所述位置信息获得每个振捣棒在所述振捣后混凝土图像的作业区域包括：
12.根据所述位置信息在所述混凝土区域图像上构建泰森多边形；每个所述位置信息对应的所述泰森多边形为初始作业区域；以所述初始作业区域在所述振捣后混凝土图像上对应的区域作为所述作业区域。
13.进一步地，所述根据所述作业区域中像素值进行密度聚类包括：
14.利用密度聚类算法对所述作业区域中的像素值进行聚类，聚类邻域设置为3*3的矩形区域；所述聚类密度包括：
[0015][0016]
其中，ρ为所述聚类密度，g(x,y)为所述位置信息(x,y)处的像素值，g(xj,yj)为所述位置信息的所述聚类邻域内第j个像素点的像素值。
[0017]
进一步地，所述根据聚类簇数量和作业区域面积获得每个振捣棒的作业质量包括：通过作业质量公式获得所述作业质量；所述作业质量公式为：
[0018][0019]
其中，score(x,y)为所述位置信息(x,y)对应的振捣棒的所述作业质量，num为所述聚类测数量，ρv为第v个所述聚类簇对应的所述聚类密度，sv第v个所述聚类簇面积，s
roi(x,y)
为所述位置信息(x,y)对应的振捣棒的所述作业区域面积。
[0020]
进一步地，所述获得所述混凝土区域振捣棒的所述振捣前混凝土图像与所述合格振捣时间的映射关系还包括：
[0021]
将所述混凝土区域振捣棒的所述振捣前混凝土图像作为训练数据，将所述训练数据对应的所述合格振捣时间作为标签数据；利用所述训练数据和所述标签数据训练全连接神经网络。
[0022]
进一步地，所述根据所述位置信息将所述合格振捣棒分为干涉区域相关振捣棒和混凝土区域振捣棒包括：
[0023]
获得每个所述位置信息对应的所述初始作业区域与所述干涉区域的交并比；若所述交并比大于零，则所述位置信息对应的振捣棒为所述干涉区域相关振捣棒；否则，所述位置信息对应的振捣棒为混凝土区域振捣棒。
[0024]
进一步地，所述将所述振捣棒集合中每个振捣棒的工作区域进行叠加包括：
[0025]
将所述振捣棒集合中每个振捣棒的所述作业质量作为对应所述工作区域的权重；将所有位置信息对齐后，将所述工作区域像素值与所述权重相乘后进行叠加。
[0026]
进一步地，所述根据所述实时振捣棒型号对应的所述最优工作区域和所述干涉区域最优距离调整所述实时位置信息包括：
[0027]
根据实时振捣棒的实时工作区域与所述最优工作区域的面积构建重合度目标函数；根据所述重合度目标函数使得所述实时工作区域与所述最优工作区域的重合度最大；
[0028]
根据所述实时位置信息与干涉区域位置信息构建约束条件；根据所述约束条件使得所述实时位置信息与干涉区域的距离不小于所述最优距离。
[0029]
进一步地，所述重合度目标函数包括：
[0030][0031]
其中，r为所述重合度，m为所述实时位置信息的数量，roi
new
(xu,yu)为第u个所述实时位置信息对应的所述实时工作区域，roic为所述最优工作区域；
[0032]
所述约束条件包括：
[0033][0034]
其中，k为所述干涉区域图像的数量，(xu,yu)为第u个所述实时位置信息，(x
′i,y
′i)为第i个所述干涉区域图像中心点的坐标，l
*
为所述干涉区域最优距离。
[0035]
本发明还提出了一种基于机器视觉的混凝土自动振捣系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项所述一种基于机器视觉的混凝土自动振捣方法的步骤。
[0036]
本发明具有如下有益效果：
[0037]
1.本发明实施例利用机器视觉技术分析混凝土状态，通过历史浇筑过程中混凝土的多种数据对作业质量进行判断，筛选出合格振捣棒及对应的合格振捣时间，进一步获得最优工作区域和干涉区域最优距离。根据合格振捣时间、最优工作区域和干涉区域最优距离确定实时振捣棒的位置分布和振捣时间。保证混凝土表面每一个位置都可以达到振捣的作业要求。
[0038]
2.本发明实施例根据获取的图像将浇筑区域分割为混凝土区域和干涉区域，对振捣棒的位置信息进行分析最优工作区域和干涉区域最优距离是的振捣棒的分布不仅考虑到作业区域大小，还可以减少对干涉区域的影响，保证了作业效率，减少作业无关影响。
附图说明
[0039]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0040]
图1为本发明一个实施例所提供的一种基于机器视觉的混凝土自动振捣方法流程图。
具体实施方式
[0041]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于机器视觉的混凝土自动振捣方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
为正俯视视角的图像，即p1和p2可在混凝土区域图像中拥有匹配的区域。
[0057]
在历史浇筑过程中每个位置信息对应的振捣棒对应有{p1,t,p2,c}，{p1,t,p2,c}体现了每个振捣棒的工作信息。获取历史浇筑过程中振捣前干涉区域图像和振捣后干涉区域图像，完成数据的采集。
[0058]
步骤s2：根据位置信息获得每个振捣棒在振捣后混凝土图像的作业区域；根据作业区域中像素值进行聚类，获得多个聚类簇；根据聚类密度、聚类簇面积、聚类簇数量和作业区域面积获得每个振捣棒的作业质量；将作业质量小于预设质量阈值的振捣棒剔除，获得合格振捣棒及其合格振捣时间。
[0059]
在振捣过程中，排式振捣机的振捣棒分布会对工作区域进行影响，因此可根据振捣棒的位置信息获得每个振捣棒的作业区域，具体包括：
[0060]
根据位置信息在混凝土区域图像上构建泰森多边形；每个位置信息对应的泰森多边形为初始作业区域；以初始作业区域在振捣后混凝土图像上对应的区域作为作业区域。泰森多边形内任意一点到对应的位置信息的距离最近，即振捣棒在对应的泰森多变形中对混凝土的影响是相同的，所以可利用泰森多边形作为振捣棒的作业区域。泰森多边形的构建方法为常规技术手段在此不多赘述。
[0061]
振捣后混凝土图像中作业区域的像素分布可表示振捣作业的质量，经过合格振捣作业处理后的混凝土应是平滑的，即在图像中像素值分布均匀，没有较大差异。因此对作业区域中像素值进行密度聚类，获得聚类簇。聚类簇越多说明当前作业质量越不合格，聚类过程具体包括：
[0062]
利用密度聚类算法对作业区域中的像素值进行聚类，聚类邻域设置为3*3的矩形区域；聚类密度包括：
[0063][0064]
其中，ρ为聚类密度，g(x,y)为位置信息(x,y)处的像素值，g(xj,yj)为位置信息的聚类邻域内第j个像素点的像素值。聚类密度的取值范围为[0,1]，可以反映在聚类邻域范围内的像素值变化特征，数值越大表示像素值变化越明显，图像上纹理信息更丰富。在本发明实施例中，设置密度阈值为0.5，达到密度阈值后停止聚类过程，获得聚类簇数量和每个聚类簇对应的密度和面积。
[0065]
根据聚类密度、聚类簇面积、聚类簇数量和作业区域面积获得每个振捣棒的作业质量。其中，聚类密度和聚类簇面积越大说明作业质量越大；聚类簇数量越大则说明卓业质量越小，根据作业质量对应的关系通过数学建模方法进行拟合，获得作业质量公式。通过作业质量公式获得作业质量。作业质量公式为：
[0066][0067]
其中，score(x,y)为位置信息(x,y)对应的振捣棒的作业质量，num为聚类测数量，ρv为第v个聚类簇对应的聚类密度，sv第v个聚类簇面积，s
roi(x,y)
为位置信息(x,y)对应的振捣棒的作业区域面积。
[0068]
为了保证后续数据的参考性，需要将质量不合格的振捣棒数据剔除，即将作业质量小于预设质量阈值的振捣棒剔除，获得合格振捣棒及其合格振捣时间。在本发明实施例中，将质量阈值设置为0.8。
[0069]
合格振捣棒表示当前型号的振捣棒的振捣时间满足当下工作区域的振捣要求。
[0070]
步骤s3：根据所述位置信息将所述合格振捣棒分为干涉区域相关振捣棒和混凝土区域振捣棒。
[0071]
为了进一步确定数据的参考性，防止干涉区域对数据影响，且方便后续对振捣棒的分布信息的分析，根据位置信息将合格振捣棒分为干涉区域相关振捣棒和混凝土区域振捣棒。干涉区域相关振捣棒表示该振捣棒与干涉区域距离相近，收到了干涉区域的影响。混凝土区域振捣棒表示该振捣棒不受干涉区域影响，仅对混凝土区域进行振捣作业。具体分类过程包括：
[0072]
获得每个位置信息对应的初始作业区域与干涉区域的交并比；若交并比大于零，则位置信息对应的振捣棒为干涉区域相关振捣棒；否则，位置信息对应的振捣棒为混凝土区域振捣棒。
[0073]
步骤s4：将相同振捣棒型号的混凝土区域振捣棒构成一个振捣棒集合；将振捣棒集合中每个振捣棒的工作区域进行叠加，获得叠加区域；叠加区域每个方向上像素值最大的点组成最优工作区域；获得混凝土区域振捣棒的振捣前混凝土图像与合格振捣时间的映射关系。
[0074]
混凝土区域振捣棒为合格振捣棒且仅对混凝土区域进行振捣作业，所以混凝土区域振捣棒的工作区域具有准确的参考性。将相同振捣棒型号的混凝土区域振捣棒构成一个振捣棒集合，在排式振捣机中会存在多种振捣棒的型号，因此会存在多个振捣棒集合。将振捣棒集合中每个振捣棒的工作区域进行叠加，获得叠加区域。叠加区域每个方向上像素值最大的点组成最优工作区域。最优工作区域表示相同振捣棒型号的振捣棒置信度最高的区域。
[0075]
优选的，工作区域叠加过程具体包括：将振捣棒集合中每个振捣棒的作业质量作为对应工作区域的权重；将所有位置信息对齐后，将工作区域像素值与权重相乘后进行叠加。即：
[0076][0077]
其中，(xj,yj)为振捣棒集合q中的振捣棒的位置信息，score(xj,yj)为位置信息(xj,yj)对应的作业质量，roi(xj,yj)为位置信息(xj,yj)对应的工作信息。通过作业质量作为权重进行调整叠加区域的像素值，可以提高最优工作区域的置信度，使得最优工作区域更有参考性。
[0078]
获得所述混凝土区域振捣棒的所述振捣前混凝土图像与所述合格振捣时间的映射关系，使得后续可以根据振捣前混凝土图像即可获得合格振捣时间进行振捣作业。
[0079]
优选的，获得映射关系后还包括：将混凝土区域振捣棒的振捣前混凝土图像作为训练数据，将训练数据对应的合格振捣时间作为标签数据；利用训练数据和标签数据训练全连接神经网络。可通过全连接神经网络快速的将振捣前混凝土图像与合格时间进行匹配，提高工作效率。在本发明实施例中，全连接神经网络输入层包含w
×
h个神经元，w
×
h为
振捣前混凝土图像的尺寸信息；隐含层为三层；输出层为一层，用于输出合格振捣时间。
[0080]
步骤s5：获得振捣前干涉区域图像和振捣后干涉区域图像的差值图像；若差值图像的平均像素值不大于预设像素值阈值，则根据干涉区域相关振捣棒和所有干涉区域的距离和获得干涉区域最优距离。
[0081]
差值图像表示了振捣前后干涉区域的差异。差值图像的平均像素值大于像素值阈值，表示干涉区域相关振捣棒对干涉区域进行了振捣作业，导致干涉区域发生变化。平均像素值不大于像素值阈值是，表示干涉区域相关振捣棒对干涉区域没有造成影响或者影响较小，根据干涉区域相关振捣棒和所有干涉区域的距离和获得干涉区域最优距离。
[0082]
在本发明实施例中，考虑到干涉区域的边缘可能并不规则，为了方便数据计算，首先获得干涉区域相关振捣棒的位置信息到干涉区域图像的中心点连线距离，将该连线距离减去连线在干涉区域内部分的长度，获得最终的距离。
[0083]
步骤s6：获取实时振捣棒的实时位置信息和实时振捣棒型号；根据实时振捣棒型号对应的最优工作区域和干涉区域最优距离调整实时位置信息；根据实时振捣棒下的实时振捣前混凝土图像和映射关系获得每个实时振捣棒的合格振捣时间。
[0084]
通过历史数据获得了最优工作区域和干涉区域最优距离，可根据最优干涉区域最优距离控制实时振捣过程中实时振捣棒的位置分布，是的工作区域分布合理且不会对干涉区域进行影响，具体包括：
[0085]
根据实时振捣棒的实时工作区域与最优工作区域的面积构建重合度目标函数。根据重合度目标函数使得实时工作区域与最优工作区域的重合度最大。重合度目标函数包括：
[0086][0087]
其中，r为重合度，m为实时位置信息的数量，roi
new
(xu,yu)为第u个实时位置信息对应的实时工作区域，roic为最优工作区域。
[0088]
根据实时位置信息与干涉区域位置信息构建约束条件。根据约束条件使得实时位置信息与干涉区域的距离不小于最优距离。约束条件包括：
[0089][0090]
其中，k为干涉区域图像的数量，(xu,yu)为第u个实时位置信息，(x
′i,y
′i)为第i个干涉区域图像中心点的坐标，l
*
为干涉区域最优距离。
[0091]
根据重合度目标函数和约束条件可以实现自动化调整实时振捣棒的位置信息，使得振捣棒的分布合理，提高工作效率。
[0092]
根据实时振捣棒下的实时振捣前混凝土图像和映射关系获得每个实时振捣棒的合格振捣时间，即通过全连接神经网络处理实时振捣前混凝土图像，输出对应的合格振捣时间。
[0093]
通过自动化调整实时振捣棒的实时位置信息，通过实时振捣棒下的振捣前混凝土图像获得可以满足振捣作业要求的合格振捣时间，实现自动化振捣作业，提高施工效率。
[0094]
综上所述，本发明实施例通过振捣后混凝土图像的作业区域中的像素值信息判断振捣棒的作业质量，筛选出合格振捣棒。进一步根据合格振捣棒的位置信息进行分类，获得
干涉区域相关振捣棒和混凝土区域振捣棒。通过分析混凝土区域振捣棒的工作区域，确定最优工作区域。获得混凝土区域振捣棒的振捣前混凝土图像与合格振捣时间的映射关系。通过振捣前后干涉区域的差异获得振捣棒的干涉区域最优距离。通过最优工作区域和干涉区域最优距离对调节实时振捣棒的实时位置信息。根据映射关系获得实时振捣棒的合格振捣时间。本发明实施例实现了自动化控制振捣棒分布及振捣时间。
[0095]
本发明还提出了一种基于机器视觉的混凝土自动振捣系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现任意一项一种基于机器视觉的混凝土自动振捣方法的步骤。
[0096]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0097]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0098]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。