支腿垫板检测方法和装置与流程

1.本发明涉及图像识别技术领域，尤其涉及一种支腿垫板检测方法和装置。


背景技术：

2.混凝土泵车支腿的作用是保证混凝土泵车在工作中具有足够的安全性和稳定性，防止泵车整机倾翻。然而，在实际施工过程中，一方面，因为工人安全意识不够，没有用到支腿垫板，当泵车支腿支撑地面不够牢固，不用垫板将加大了泵车倾倒的风险。针对支腿是否有垫板的检测，目前行业内并未提出相关的方法。
3.因此，如何通过图像识别的方式对检测混凝土泵车的支腿进行检测，是当前课题亟需解决的技术问题。


技术实现要素：

4.本发明提供一种支腿垫板检测方法和装置，用以解决现有技术中未对混凝土泵车支腿检测的缺陷，实现通过图像识别的方式进行混凝土泵车的支腿检测。
5.本发明提供一种支腿垫板检测方法，包括：
6.获取支腿支撑点区域的待检测图像；
7.分析所述待检测图像，输出待检测图像的支腿垫板的检测结果；
8.接收所述检测结果，基于所述检测结果决定是否发出提示信号。
9.根据本发明提供一种的支腿垫板检测方法，所述基于所述检测结果决定是否发出提示信号，包括：
10.若检测结果在连续的预设时间内均为异常，通过控制器控制告警器发出提示信号。
11.根据本发明提供一种的支腿垫板检测方法，所述分析所述待检测图像，输出待检测图像的支腿垫板的检测结果，包括：
12.将所述待检测图像输入至计算设备中进行解码，将解码后的图像数据输入至支腿状态检测模型中，检测所述待检测图像中是否存在支腿垫板，输出待检测图像的检测结果。
13.根据本发明提供一种的支腿垫板检测方法，所述检测所述待检测图像中是否存在支腿垫板，输出待检测图像的检测结果，包括：
14.在所述待检测图像中不存在支腿垫板的情况下，输出待检测图像的第一检测结果。
15.根据本发明提供一种的支腿垫板检测方法，所述检测所述待检测图像中是否存在支腿垫板，输出待检测图像的检测结果，包括：
16.在所述待检测图像中存在支腿垫板的情况下，判断所述支腿垫板在所述待检测图像中的坐标是否位于预设的感兴趣区域内；
17.若所述坐标位于预设的感兴趣区域内，输出待检测图像的第二检测结果。
18.根据本发明提供一种的支腿垫板检测方法，所述检测所述待检测图像中是否存在
支腿垫板，输出待检测图像的检测结果，包括：
19.在所述待检测图像中存在支腿垫板的情况下，判断所述支腿垫板在所述待检测图像中的坐标是否位于预设的感兴趣区域内；
20.若所述坐标不位于预设的感兴趣区域内，输出待检测图像的第三检测结果。
21.根据本发明提供一种的支腿垫板检测方法，所述支腿状态检测模型包括白天检测模型和夜晚检测模型；
22.将所述待检测图像输入至计算设备中进行解码，将解码后的图像数据输入至支腿状态检测模型中，检测所述待检测图像中是否存在支腿垫板，包括：
23.将所述待检测图像输入至计算设备中进行解码，并对解码后的数据基于待检测图像的采集时间在白天检测模型和夜晚检测模型中选择目标模型；
24.将解码后的图像数据输入至所述目标模型中，检测所述待检测图像中是否存在支腿垫板。
25.根据本发明提供一种的支腿垫板检测方法，所述支腿状态检测模型的训练过程包括：
26.获取支腿垫板的图像样本，并将所述图像样本分为白天样本和夜晚样本；
27.将所述白天样本标注为第一训练集和第一测试集，将所述夜晚样本标注为第二训练集和第二测试集；
28.建立白天检测模型和夜晚检测模型，并将所述白天样本输入至白天检测模型中以及将所述夜晚样本输入至夜晚检测模型中进行迭代训练，反复调整所述白天检测模型和夜晚检测模型的参数直至模型收敛。
29.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述支腿垫板检测方法的步骤。
30.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述支腿垫板检测方法的步骤。
31.本发明还提供一种的支腿垫板检测装置，包括：
32.采集模块，用于获取支腿支撑点区域的待检测图像；
33.检测模块，用于分析所述待检测图像，输出待检测图像的支腿垫板的检测结果；
34.提示模块，用于接收所述检测结果，基于所述检测结果决定是否发出提示信号。
35.本发明还提供一种作业机械，包括：如上所述的支腿垫板检测装置。
36.根据本发明提供的一种作业机械，用于获取待检测图像的图像采集设备安装于作业机械的支腿末端或作业机械的侧面。
37.本发明提供的支腿垫板检测方法和装置，通过获取支腿支撑点区域的待检测图像，分析待检测图像，输出待检测图像的支腿垫板的检测结果，然后接收所述检测结果，基于所述检测结果决定是否发出提示信号。本发明通过计算设备利用图像识别的方法对混凝土泵车的支腿进行检测，能够准确识别是否存在支腿垫板，并且能够根据检测结果及时进行提示。
附图说明
38.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本发明提供的支腿垫板检测方法的流程示意图之一；
40.图2是本发明提供的支腿垫板检测方法的待检测图像的矩形坐标示意图；
41.图3是本发明提供的支腿垫板检测方法的流程示意图之二；
42.图4是本发明提供的支腿垫板检测方法的图像采集设备的安装示意图；
43.图5是本发明提供的支腿垫板检测方法的流程示意图之三；
44.图6是本发明提供的支腿垫板检测装置的结构示意图之一；
45.图7是本发明提供的支腿垫板检测装置的结构示意图之二；
46.图8是本发明提供的电子设备的结构示意图。
具体实施方式
47.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.下面结合图1至图8描述本发明的支腿垫板检测方法和装置。
49.参照图1，本发明提供的支腿垫板检测方法，包括以下步骤：
50.步骤110、获取支腿支撑点区域的待检测图像；
51.具体地，本实施通过图像采集设备获取图像，图像采集设备可以为相机、摄像机等图像拍摄设备。需要说明的是，图像采集设备采集的图像的分辨率应不低于1080p。本实施例中的待检测图像为图像采集设备实时获取的泵车支腿支撑点的图像，采集时间可根据具体情况而定。
52.步骤120、分析所述待检测图像，输出待检测图像的支腿垫板的检测结果；
53.具体地，分析待检测图像是基于计算设备进行的，计算设备即ai计算设备，其设备设有已训练完成的ai检测模型即支腿状态检测模型。该模型将输入的待检测图像进行检测识别，从而得到其检测结果，得出待检测图像中是否存在支腿垫板。
54.支腿状态检测模型是通过将大量的支腿垫板的图像样本输入到模型中进行训练，生成图像样本的识别标签，并通过多次迭代训练调整模型参数，得到训练完成的检测模型。
55.步骤130、接收所述检测结果，基于所述检测结果决定是否发出提示信号。
56.具体地，本实施例中控制器接收计算设备的检测结果，对其检测结果进行响应。当检测结果为异常时，通过告警器对用户进行提示；当检测结果为正常时，设备保持正常运行状态，不发出提示信息。
57.本发明提供的支腿垫板检测方法，通过获取支腿支撑点区域的待检测图像，分析待检测图像，输出待检测图像的支腿垫板的检测结果，然后接收所述检测结果，基于所述检测结果决定是否发出提示信号。本发明通过计算设备利用图像识别的方法对混凝土泵车的
支腿进行检测，能够准确识别是否存在支腿垫板，并且能够根据检测结果及时进行提示。
58.基于以上实施例，所述基于所述检测结果决定是否发出提示信号，包括：
59.若检测结果在连续的预设时间内均为异常，通过控制器控制告警器发出提示信号。
60.具体地，本实施例中将计算设备将检测到的支腿状态通过can总线或网线实时回传给泵车控制器，回传信息的频率不少于1hz，即至少每秒发送一次。若当连续3s内接收到的支腿垫板状态信息均为异常的情况下，则控制器触发声光告警器，并将提示信号显示在泵车遥控中控屏幕提醒泵车操作手。
61.本实施例通过对检测结果根据设定的连续时间进行判断，从而在满足连续预设时间的情况下发出提示信号，从而使提示信号更加精准，有效避免了对检测结果出现误判的情况。
62.基于以上实施例，所述分析所述待检测图像，输出待检测图像的支腿垫板的检测结果，包括：
63.将所述待检测图像输入至计算设备中进行解码，将解码后的图像数据输入至支腿状态检测模型中，检测所述待检测图像中是否存在支腿垫板，输出待检测图像的检测结果。
64.一、在所述待检测图像中不存在支腿垫板的情况下，输出待检测图像的第一检测结果。
65.在所述待检测图像中存在支腿垫板的情况下，判断所述支腿垫板在所述待检测图像中的坐标是否位于预设的感兴趣区域内。
66.二、若所述坐标位于预设的感兴趣区域内，输出待检测图像的第二检测结果。
67.三、若所述坐标不位于预设的感兴趣区域内，输出待检测图像的第三检测结果。
68.具体地，本实施例通过计算设备对输入的待检测图像进行解码，然后将解码后的数据传入支腿状态检测模型中进行检测。如果检测到支腿垫板，模型会输出支腿垫板在图像中的矩形坐标。
69.参照图2，垫板的矩形坐标由矩形的四个顶点(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)确定。当检测到支腿垫板且该垫板的坐标在系统预设定值的范围内，则认定在当前时刻支腿垫板正常，即为第二检测结果。其中感兴趣区域为系统预先设定的roi信息，用以排除图像中其他区域内存在类似垫板造成误检。当未检测到支腿垫板，或者该垫板的坐标不在系统预设定值的范围内，则认定支腿垫板异常，即为第一检测结果或第三检测结果。其中支腿垫板异常情况包括：无支腿垫板或者垫板陷入到泥土中。
70.本实施例通过预先在计算设备中设定roi信息，将待检测图像的检测结果与设定的roi信息进行对比，从而能够得到支腿垫板的正常或异常情况以及时进行告警。
71.基于以上实施例，所述支腿状态检测模型包括白天检测模型和夜晚检测模型；
72.将所述待检测图像输入至计算设备中进行解码，将解码后的图像数据输入至支腿状态检测模型中，检测所述待检测图像中是否存在支腿垫板，包括：
73.将所述待检测图像输入至计算设备中进行解码，并对解码后的数据基于待检测图像的采集时间在白天检测模型和夜晚检测模型中选择目标模型；
74.将解码后的图像数据输入至所述目标模型中，检测所述待检测图像中是否存在支腿垫板。
75.具体地，本实施例中的支腿状态检测模型包括两个模型：白天检测模型和夜晚检测模型，分别用于对图像采集设备在白天和夜晚两者不同时间采集到的图像进行检测。
76.本实施例根据待检测图像的采集时间，选择合适的模型作为目标模型进行检测，从而使得待检测图像的支腿垫板检测更加高效。
77.基于以上实施例，所述支腿状态检测模型的训练过程包括：
78.获取支腿垫板的图像样本，并将所述图像样本分为白天样本和夜晚样本；
79.将所述白天样本标注为第一训练集和第一测试集，将所述夜晚样本标注为第二训练集和第二测试集；
80.建立白天检测模型和夜晚检测模型，并将所述白天样本输入至白天检测模型中以及将所述夜晚样本输入至夜晚检测模型中进行迭代训练，反复调整所述白天检测模型和夜晚检测模型的参数直至模型收敛。
81.本实施例为支腿状态检测模型的训练过程，即模型获取的过程。首先在不同型号泵车预装图像采集设备，用于采集支腿垫的图像数据。利用泵车数据回传能力，收集到一定数量的不同形状、颜色以及在不同施工场地的支腿垫板图像数据，将收集到的支腿垫板图像数据作为图像样本。
82.由于图像样本白天和晚上拍摄的图像存在较大的差别，故对收集到的图像样本进行分类，白天场景下的图像数据一组为白天样本，夜晚场景下的图像数据为夜晚样本。
83.然后使用标注工具(比如labelimg)对白天样本以及夜晚样本进行标注，每一组标注的数据分为训练集和测试集。
84.最后通过深度学习faster-rcnn算法分别基于白天和晚上场景的训练集数据训练出两个不同的支腿垫板检测模型，即白天检测模型和夜晚检测模型。并在对应的测试集上测试模型的召回率和准确率，如果召回率和准确率同时满足一定要求则认定该检测模型已训练完成。如果测试结果不满足要求，则调整算法参数再进行训练。
85.参照图3，支腿垫板检测模型的训练方法具体包括以下步骤：
86.步骤310、安装图像设备采集支腿垫的图像数据；
87.步骤320、将收集的图像数据分类成白天和夜晚两组；
88.步骤330、使用labelimg工具分别对两组数据进行标注，标注数据分为训练集和测试集；
89.步骤340、使用faster-rcnn算法基于训练集训练检测模型；
90.步骤350、基于测试集测试算法模型；
91.步骤360、判断召回率和准确率是否满足要求；若是算法模型训练完成，若否则执行步骤370；
92.步骤370、调整算法参数并继续执行步骤340。
93.基于以上实施例，获取支腿支撑点区域的待检测图像之前，所述方法还包括：
94.将所述图像采集设备安装于泵车支腿末端或泵车侧面，并调整所述图像采集设备的镜头焦距。
95.参照图4，本实施例中的图像采集设备410可安装在支腿420末端下方，也可安装至泵车侧面车身靠近支腿源端，从而便于实时监控拍摄支腿部位区域的图像。安装图像采集设备后调整合适镜头焦距，保证了采集的视频图像覆盖支腿垫板区域。
96.基于以上实施例，所述获取支腿支撑点区域的待检测图像，包括：
97.在所述待检测图像的采集时间为白天的情况下，通过图像采集设备获取泵车支腿支撑点区域的白天待检测图像；
98.在所述待检测图像的采集时间为夜晚的情况下，通过图像采集设备结合夜间补光灯的补光效果，获取泵车支腿支撑点区域的夜晚待检测图像。
99.具体地，本实施例针对待检测图像的采集时间，通过图像采集设备采用不同的方式进行图像采集。白天时光线充足，直接通图像采集设备便可获取清晰度较高的图像，而夜晚时光线较弱，需要在夜间补光灯的补光效果下进行图像的采集，从而结合补光灯获取清晰度较高的图像。
100.下面对本发明提供的支腿垫板检测装置进行描述，下文描述的支腿垫板检测装置与上文描述的支腿垫板检测方法可相互对应参照。
101.参照图5，本发明提供的支腿垫板检测方法的完整实施例的流程如下：
102.步骤510、图像采集设备采集支腿垫的图像数据；
103.步骤520、ai计算设备对图像进行解码；
104.步骤530、ai计算设备基于时间加载不同的算法模型；
105.步骤540、算法模型基于解码后的图像进行支腿垫板检测；
106.步骤550、判断是否检测到支腿垫板；若否则判断支腿异常；若是则执行步骤560；
107.步骤560、判断支腿垫板坐标是否在roi区域内；若是则判断支腿正常；若否则判断支腿异常。
108.参照图6，本发明提供的支腿垫板检测装置，包括：
109.采集模块610，用于获取支腿支撑点区域的待检测图像；
110.检测模块620，用于分析所述待检测图像，输出待检测图像的支腿垫板的检测结果；
111.提示模块630，用于接收所述检测结果，基于所述检测结果决定是否发出提示信号。
112.基于以上实施例，所述支腿状态检测模型的训练过程包括：
113.样本获取模块，用于获取支腿垫板的图像样本，并将所述图像样本分为白天样本和夜晚样本；
114.标注模块，用于将所述白天样本标注为第一训练集和第一测试集，将所述夜晚样本标注为第二训练集和第二测试集；
115.训练模块，用于建立白天检测模型和夜晚检测模型，并将所述白天样本输入至白天检测模型中以及将所述夜晚样本输入至夜晚检测模型中进行迭代训练，反复调整所述白天检测模型和夜晚检测模型的参数直至模型收敛。
116.基于以上实施例，检测模块具体用于：
117.将所述待检测图像输入至计算设备中进行解码，将解码后的图像数据输入至支腿状态检测模型中，检测所述待检测图像中是否存在支腿垫板，输出待检测图像的检测结果；
118.在所述待检测图像中不存在支腿垫板的情况下，输出待检测图像的第一检测结果；
119.在所述待检测图像中存在支腿垫板的情况下，判断所述支腿垫板在所述待检测图
像中的坐标是否位于预设的感兴趣区域内；
120.若所述坐标位于预设的感兴趣区域内，输出待检测图像的第二检测结果；
121.若所述坐标不位于预设的感兴趣区域内，输出待检测图像的第三检测结果。
122.基于以上实施例，所述支腿状态检测模型包括白天检测模型和夜晚检测模型；检测模块具体用于：
123.将所述待检测图像输入至计算设备中进行解码，并对解码后的数据基于待检测图像的采集时间在白天检测模型和夜晚检测模型中选择目标模型；
124.将解码后的图像数据输入至所述目标模型中，检测所述待检测图像中是否存在支腿垫板。
125.基于以上实施例，采集模块具体用于：
126.在所述待检测图像的采集时间为白天的情况下，通过图像采集设备获取泵车支腿支撑点区域的白天待检测图像；
127.在所述待检测图像的采集时间为夜晚的情况下，通过图像采集设备结合夜间补光灯的补光效果，获取泵车支腿支撑点区域的夜晚待检测图像。
128.参照图7，本发明提供的支腿垫板检测装置包括：
129.图像采集设备710、ai计算设备720、控制器730和声光告警器740。需要说明的是，图像采集设备710与图6的采集模块对应，ai计算设备与图6的检测模块对应，控制器730和声光告警器740与图6的提示模块对应。
130.本发明还提供一种作业机械，包括：如上所述的支腿垫板检测装置。
131.此处，作业机械可以为诸如起重机、挖掘机、桩机等工程机械，或者为诸如登高车、消防车、搅拌车等工程车辆。
132.基于以上实施例，用于获取待检测图像的图像采集设备安装于作业机械的支腿末端或作业机械的侧面。
133.图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行支腿垫板检测方法，该方法包括：
134.获取支腿支撑点区域的待检测图像；
135.分析所述待检测图像，输出待检测图像的支腿垫板的检测结果；
136.接收所述检测结果，基于所述检测结果决定是否发出提示信号。
137.此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
138.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在
非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的支腿垫板检测方法，该方法包括：
139.获取支腿支撑点区域的待检测图像；
140.分析所述待检测图像，输出待检测图像的支腿垫板的检测结果；
141.接收所述检测结果，基于所述检测结果决定是否发出提示信号。
142.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的支腿垫板检测方法，该方法包括：
143.获取支腿支撑点区域的待检测图像；
144.分析所述待检测图像，输出待检测图像的支腿垫板的检测结果；
145.接收所述检测结果，基于所述检测结果决定是否发出提示信号。
146.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
147.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
148.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。