搅拌站智能卸料监控方法及系统与流程

1.本发明涉及作业机械技术领域，尤其涉及搅拌站智能卸料监控方 法及系统。


背景技术：

2.目前，混凝土应用越来越多，混凝土从搅拌站生产后需要通过搅 拌车运送到施工现场进行泵送、浇灌等作业。混凝土从搅拌站到搅拌 车的过程即为搅拌站卸料过程，而搅拌站卸料过程中经常会出现溢料 现象，这将造成混凝土浪费，进而增加成本。因此，防止搅拌站卸料 过程中出现溢料现象至关重要。
3.现有技术中，搅拌站卸料过程基本依赖于人工监控，如人工监控 判断搅拌车接料斗与搅拌站卸料口是否对齐、人工判断是否开始卸料 等，搅拌站卸料监控的自动化程度较低。


技术实现要素：

4.本发明提供一种搅拌站智能卸料监控方法及系统，用以解决现有 技术搅拌站卸料过程基本依赖于人工监控，搅拌站卸料监控的自动化 程度较低的技术问题。
5.本发明提供一种搅拌站智能卸料监控方法，包括：
6.获取搅拌站卸料区域的监控视频帧，得到第一视频帧；
7.基于预设的算法模型，对所述第一视频帧进行检测识别，并基于 识别结果，监控混凝土搅拌站的卸料。
8.根据本发明提供的搅拌站智能卸料监控方法，所述基于识别结果， 监控混凝土搅拌站的卸料，具体包括：
9.若所述识别结果为所述第一视频帧中包含搅拌车接料斗，则基于 所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息；
10.基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站 卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口 是否对齐；
11.若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，则向所述搅 拌站卸料口对应的搅拌站控制系统发送第一控制信号，所述第一控制 信号用于指示开始卸料。
12.根据本发明提供的搅拌站智能卸料监控方法，所述若确定所述搅 拌车接料斗与所述搅拌站卸料口对齐，则向所述搅拌站卸料口对应的 搅拌站控制系统发送第一控制信号，具体包括：
13.若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，且所述搅拌 车接料斗对应的搅拌车处于停稳状态，则向所述搅拌站卸料口对应的 搅拌站控制系统发送所述第一控制信号。
14.根据本发明提供的搅拌站智能卸料监控方法，所述向所述搅拌站 卸料口对应的搅拌站控制系统发送第一控制信号，之后还包括：
15.获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，基于 所述第二视频
帧，确定所述搅拌车接料斗的料位状态；
16.根据所述料位状态，生成第二控制信号，并向所述搅拌站控制系 统发送所述第二控制信号，所述第二控制信号用于指示调整卸料速度 或停止卸料。
17.根据本发明提供的搅拌站智能卸料监控方法，所述基于所述第二 视频帧，确定所述搅拌车接料斗的料位状态，具体包括：
18.基于所述第二视频帧中的搅拌车接料斗区域图像的像素信息，确 定所述搅拌车接料斗的料位状态。
19.根据本发明提供的搅拌站智能卸料监控方法，所述基于所述第二 视频帧，确定所述搅拌车接料斗的料位状态，具体包括：
20.对所述第二视频帧中的搅拌车接料斗区域图像进行像素级分割， 并基于像素级分割的结果，确定所述搅拌车接料斗区域内混凝土外沿 边界以及搅拌车接料斗外沿边界；
21.基于所述混凝土外沿边界与所述搅拌车接料斗外沿边界，确定所 述搅拌车接料斗的料位状态。
22.根据本发明提供的搅拌站智能卸料监控方法，所述向所述搅拌站 卸料口对应的搅拌站控制系统发送第一控制信号，之后还包括：
23.获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，并对 所述第二视频帧中的搅拌车接料斗区域进行混凝土形态识别；
24.根据混凝土形态识别结果，生成第三控制信号，所述第三控制信 号用于指示调整卸料速度。
25.根据本发明提供的搅拌站智能卸料监控方法，所述基于所述第一 视频帧，确定所述搅拌车接料斗的关键点的位置信息，具体包括：
26.将所述第一视频帧输入至预设的搅拌车接料斗识别算法模型，得 到所述搅拌车接料斗识别算法模型输出的所述第一视频帧中所述搅 拌车接料斗的关键点的位置信息；
27.其中，所述搅拌车接料斗识别算法模型中的权重参数基于携带有 搅拌车接料斗标签的图像样本训练得到。
28.根据本发明提供的搅拌站智能卸料监控方法，所述基于所述搅拌 车接料斗的关键点的位置信息以及预设的所述搅拌站卸料口的关键 位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，具 体包括：
29.基于所述搅拌车接料斗的关键点的位置信息，确定所述搅拌车接 料斗的中心点的位置信息；
30.基于所述搅拌车接料斗的中心点的位置信息以及预设的所述搅 拌站卸料口的中轴线的位置信息，确定所述搅拌车接料斗与所述搅拌 站卸料口是否对齐。
31.根据本发明提供的搅拌站智能卸料监控方法，所述第一视频帧通 过监控摄像头拍摄获得；
32.相应的，所述基于所述搅拌车接料斗的关键点的位置信息以及预 设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅 拌站卸料口是否对齐，之前还包括：
33.基于所述监控摄像头的预设内参矩阵以及预设畸变系数，对所述 搅拌车接料斗的关键点的位置信息进行畸变矫正，得到畸变矫正后的 所述搅拌车接料斗的关键点的位
置信息；
34.所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅 拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸 料口是否对齐，具体包括：
35.基于畸变矫正后的所述搅拌车接料斗的关键点的位置信息以及 预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述 搅拌站卸料口是否对齐。根据本发明提供的搅拌站智能卸料监控方法， 所述第一视频帧通过监控摄像头拍摄获得，且所述第一视频帧为所述 监控摄像头在拍摄角度变化之后拍摄获得的视频帧；
36.相应的，所述基于所述第一视频帧，确定所述搅拌车接料斗的关 键点的位置信息，之后还包括：
37.基于所述第一视频帧以及基准视频帧，得到单应性矩阵，所述基 准视频帧为所述监控摄像头的拍摄角度发生变化之前拍摄获得的视 频帧；
38.基于所述单应性矩阵，对所述搅拌车接料斗的关键点的位置信息 进行映射校正，得到映射校正后的所述搅拌车接料斗的关键点的位置 信息；
39.所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅 拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸 料口是否对齐，具体包括：
40.基于映射校正后的所述搅拌车接料斗的关键点的位置信息以及 预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述 搅拌站卸料口是否对齐。
41.根据本发明提供的搅拌站智能卸料监控方法，所述监控摄像头具 体为rgb摄像头或tof深感摄像头。
42.本发明还提供一种搅拌站智能卸料监控系统，包括：
43.监控视频获取模块，用于获取搅拌站卸料区域的监控视频帧，得 到第一视频帧；
44.卸料监控模块，用于基于预设的算法模型，对所述第一视频帧进 行检测识别，并基于识别结果，监控混凝土搅拌站的卸料。本发明还 提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处 理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任 一种所述搅拌站智能卸料监控方法的步骤。
45.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算 机程序，该计算机程序被处理器执行时实现如上述任一种所述搅拌站 智能卸料监控方法的步骤。
46.本发明提供的搅拌站智能卸料监控，通过获取搅拌站卸料区域的 监控视频帧，并基于预设的算法模型，对监控视频进行识别，并基于 识别结果，对搅拌站进行卸料流程监控。所述方法不需要人工参与卸 料监控过程，可以实现卸料监控的自动化、智能化，提高了搅拌站卸 料监控的自动化程度，保证了卸料监控的效果，同时也提高了卸料监 控的效率。
附图说明
47.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见 地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术 人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得 其他的附图。
48.图1是本发明实施例提供的搅拌站智能卸料监控方法的流程示 意图；
49.图2是本发明实施例中搅拌车接料斗区域图像的示意图；
50.图3是本发明实施例中两个监控摄像头的安装位置示意图；
51.图4是本发明实施例提供的搅拌站智能卸料监控方法的具体流 程示意图；
52.图5是本发明实施例提供的搅拌站智能卸料监控系统结构示意 图；
53.图6是本发明实施例提供的搅拌站智能卸料监控系统的具体结 构示意图；
54.图7是本发明提供的电子设备的结构示意图。
具体实施方式
55.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发 明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
56.搅拌站卸料过程中经常会发生溢料，这会造成混凝土的浪费，增 加成本。现有技术中为了防止溢料，通常会在搅拌站出料口处固定安 装搅拌站卸料防溢料装置。该装置通过固定在拢料斗外侧的测距传感 器监测当前料位高度，并将当前料位高度传送至搅拌车接料检测装置， 并通过流量调整装置控制卸料门。
57.但由于搅拌车的大小和高度各有不同，测距传感器无法适应于各 种车型的搅拌车。且由于搅拌车司机在倒车时，只能在指定的区间范 围内对齐，搅拌车接料斗的大小也不同，这就会使得相同高度的搅拌 车通过测距传感器识别料位高度的效果不同。测距传感器测量的是点 到点的距离，搅拌车接料斗内料位高低分布不均匀，测距传感器测量 的效果不佳。测距传感器安装在拢料斗的外侧，容易被混凝土和粉状 水泥遮蔽，影响测量的效果。且该方案也无法判断搅拌车接料斗和搅 拌站卸料口之间是否对齐，仍需要人工判断，也无法测量料位高度或 直接监控卸料。为此，本发明实施例中提供了一种搅拌站智能卸料监 控方法。
58.图1是该方法的流程示意图。如图1所示，该方法包括：
59.s1，获取搅拌站卸料区域的监控视频帧，得到第一视频帧；
60.s2，基于预设的算法模型，对所述第一视频帧进行检测识别，并 基于识别结果，监控混凝土搅拌站的卸料。
61.具体地，本发明实施例中提供的搅拌站智能卸料监控方法，其执 行主体可以是嵌入式边缘算力模块，该模块可以配置在搅拌站智能卸 料监控系统中。其中，搅拌站智能卸料监控系统可以设置在搅拌站的 中控室中。搅拌站经由搅拌站卸料口以及搅拌车接料斗将搅拌好的混 凝土送入至搅拌车中，这一过程即为卸料过程，本发明实施例中提供 的搅拌站智能卸料监控方法，即是用于对卸料过程的监控，例如对搅 拌车接料斗与搅拌站卸料口是否对齐进行监控、对搅拌站卸料口的卸 料信息进行监控以及对搅拌车接料斗区域进行混凝土形态识别等。
62.首先执行步骤s1。其中，第一视频帧可以通过监控摄像头拍摄 得到并上传至嵌入式边缘算力模块。嵌入式边缘算力模块获取的搅拌 站卸料区域的监控视频帧中包含有搅拌站卸料口，监控视频帧的获取 可以实时进行，以展示混凝土搅拌站卸料口的实时画面。
63.然后执行步骤s2。其中，预设的算法模型可以是基于人工智能 视觉算法或与之相关的算法构建的模型，本发明实施例中可以采用基 于深度学习算法构建的模型，对第一视
频帧进行特征提取，基于提取 到的特征对第一视频帧进行检测识别，识别到的结果可以是当前混凝 土在搅拌车接料斗内的料位信息，根据料位信息可以判断当前混凝土 是否已经发生溢料、混凝土的卸料流量、混凝土的料位变化信息以及 当前混凝土的形态信息。通过上述这些识别到的结果即可以对混凝土 搅拌站进行卸料监控。
64.本发明实施例提供的搅拌站智能卸料监控，通过获取搅拌站卸料 区域的第一视频帧，并基于预设的算法模型，对第一视频帧进行识别， 基于识别结果，对搅拌站进行卸料流程监控。所述方法不需要人工参 与卸料监控过程，可以实现卸料监控的自动化，保证卸料监控的效果， 同时也提高了卸料监控的效率。
65.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控方法，所述基于识别结果，监控混凝土搅拌站的卸料，具体包括：
66.若所述识别结果为所述第一视频帧中包含搅拌车接料斗，则基于 所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息；
67.基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站 卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口 是否对齐；
68.若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，则向所述搅 拌站卸料口对应的搅拌站控制系统发送第一控制信号，所述第一控制 信号用于指示开始卸料。
69.具体地，由于搅拌车是逐步进入监控范围，因此在监控视频帧中 会出现不存在搅拌车接料斗的情况，因此需要先对第一视频帧进行全 局识别，以判断第一视频帧中是否出现了搅拌车接料斗。在确定第一 视频帧中存在搅拌车接料斗时，对第一视频帧进行处理，获取搅拌车 接料斗的关键点的位置信息。关键点是搅拌车接料斗外沿边界上、具 有一定特征的点。也就是说，获取到的关键点位于搅拌车接料斗截面 上，距离搅拌车接料斗的中心的距离相等。此处的位置信息可以是坐 标。搅拌车接料斗的关键点的位置信息可以通过坐标表示，即搅拌车 接料斗的关键点坐标。
70.本发明实施例中，可以通过对加入关键点检测头部模块和目标检 测框头部模块的区域生成网络(region proposal network，rpn)模 型进行大量训练，使其可以直接返回第一视频帧中搅拌车接料斗的关 键点坐标。预设的搅拌站卸料口的关键位置信息可以是事先确定的搅 拌站卸料口的中轴线的位置信息，该中轴线的位置信息可以根据实际 情况进行设置，本发明实施例对此不作具体限定。
71.通过比较搅拌车接料斗的关键点的位置信息和预设的搅拌站卸 料口的关键位置信息之间的距离，可以判断搅拌车接料斗和搅拌站卸 料口是否对齐。若搅拌车接料斗的关键点的中心的位置信息和预设的 搅拌站卸料口的关键位置信息之间的垂直最短距离在预设范围内，则 说明搅拌车接料斗和搅拌站卸料口已经对齐。其中，预设范围可以根 据实际的需要进行设置，本发明实施例对此不作具体限定。
72.当搅拌车接料斗和搅拌站卸料口已经对齐的情况下，说明此时已 经可以开始进行卸料，向搅拌站卸料口对应的搅拌站控制系统发送第 一控制信号。第一控制信号中包含了开始卸料的指令，即当搅拌站控 制系统收到第一控制信号后，可以开始进行卸料。
73.本发明实施例中，搅拌车接料斗的关键点的位置信息和预设的搅 拌站卸料口的关键位置信息可以是世界坐标系下的坐标，也可以是任 意坐标系下的坐标，只需要保证上述二者在同一坐标系下进行比较即 可，本发明对坐标系不作具体限定。其中，世界坐标系
是指用户定义 的三维世界的坐标系，为了描述目标物在真实世界里的位置而引入。
74.本发明实施例提供的搅拌站智能卸料监控方法，通过搅拌站卸料 区域的监控视频帧，对监控视频帧中出现了搅拌车接料斗的第一视频 帧进行识别，获取搅拌车接料斗关键点的位置信息，再将搅拌车接料 斗关键点的位置信息与搅拌站卸料口的关键位置信息进行比较，由此 判断搅拌车接料斗和搅拌站卸料口之间是否对齐，并在确定二者对齐 之后，向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，指 示此时可以开始卸料。该方法通过监控视频帧对卸料过程进行监控， 能够自动检测卸料时搅拌车接料斗和搅拌站卸料口是否对齐，不需要 人工操作，不易受到人为的影响，且能够避免因搅拌车接料斗和搅拌 站卸料口未对齐而造成卸料过程中混凝土的浪费。
75.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控方法，所述若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，则 向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，具体 包括：
76.若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，且所述搅拌 车接料斗对应的搅拌车处于停稳状态，则向所述搅拌站卸料口对应的 搅拌站控制系统发送所述第一控制信号。
77.在本发明实施例中，当搅拌车接料斗和搅拌站卸料口对齐后，说 明若此时开始卸料，可以准确地将混凝土从搅拌站卸料口卸入搅拌车 接料斗中。但同时还应该判断搅拌车的状态，在搅拌车处于停稳状态 时才能保证卸料过程的稳定。因此，在确定搅拌车接料斗与搅拌站卸 料口对齐后，还应该判断搅拌车接料斗对应的搅拌车此时是否已经停 稳。
78.在判断搅拌车接料斗对应的搅拌车是否停稳时，可以判断预设时 间范围内第一视频帧中的搅拌车接料斗的关键点的位置信息变化是 否在预设的距离范围内，如果在预设时间范围内第一视频帧中的搅拌 车接料斗的关键点的位置信息变化在预设的距离范围内，则说明此时 搅拌车已经停稳，可以开始进行卸料。其中，预设时间范围和预设的 距离范围可以根据实际需要进行设置，本发明实施例对此不作具体限 定。此时可以向搅拌站卸料口对应的搅拌站控制系统发送第一控制信 号，表明此时搅拌车接料斗和搅拌站卸料口均已准备完毕，可以开始 实施卸料。
79.本发明实施例提供的搅拌站智能卸料监控方法，通过在搅拌车接 料斗和搅拌站卸料口对齐且搅拌车接料斗对应的搅拌车处于停稳状 态时，向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，表 明此时可以开始进行卸料，从而保证了混凝土能准确的从搅拌站卸料 口进入搅拌车接料斗，避免了混凝土的浪费。
80.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控方法，所述向所述搅拌站卸料口对应的搅拌站控制系统发送第一控 制信号，之后还包括：
81.获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，基于 所述第二视频帧，确定所述搅拌车接料斗的料位状态；
82.根据所述料位状态，生成第二控制信号，并向所述搅拌站控制系 统发送所述第二控制信号，所述第二控制信号用于指示调整卸料速度 或停止卸料。
83.具体地，本发明实施例中，在向搅拌站卸料口对应的搅拌站控制 系统发送第一控制信号之后，可以通过获取搅拌站卸料区域的监控视 频帧，得到第二视频帧，然后基于第二视频帧对卸料过程进行监控。 其中，第二视频帧可以从监控视频中抽取得到。从监控视
频中抽取得 到的第二视频帧的数量可以是两个或两个以上，所抽取的第二视频帧 可以是连续的，也可以是不连续的。从监控视频中抽取第二视频帧的 过程也即是采样的过程，采样率可以根据实际需要进行设置，本发明 对此不做具体限定。如图2所示，为本发明实施例中搅拌车接料斗区 域图像的示意图。
84.在得到第二视频帧后，可以通过对第二视频帧进行识别，确定搅 拌车接料斗的料位状态。本发明实施例中，可以采用基于统计模式识 别、结构模式识别或基于深度学习的识别方法对搅拌车接料斗的料位 状态进行识别，确定搅拌车接料斗的料位状态。
85.搅拌车接料斗的料位状态可以包括搅拌车接料斗内的料位高度 信息、料位变化信息以及卸料流量。确定料位高度信息可以是确定搅 拌车接料斗是否发生溢料；确定料位变化信息可以是确定当前搅拌车 接料斗内的料位变化速度。其中，料位变化信息可以包括料位变化方 向信息和料位变化速度信息，料位变化方向信息可以包括料位上涨信 息和料位下降信息。卸料流量是指单位时间内进入搅拌车接料斗的混 凝土量。
86.本发明实施例中，在向搅拌站控制系统发送第一控制信号后，会 接收到搅拌站控制系统响应于第一控制信号返回的反馈信号，由于第 一控制信号是用于指示开始卸料，在收到第一控制信号对应的反馈信 号时，说明搅拌车接料斗和搅拌站卸料口已经对齐且搅拌车也处于停 稳状态，可以开始卸料。因此，可以在接收到搅拌站控制系统响应于 第一控制信号返回的反馈信号的情况下，基于第二视频帧，确定搅拌 车接料斗的料位状态。
87.本发明实施例中，可以根据确定的料位状态，生成第二控制信号， 将第二控制信号发送至搅拌站控制系统。由于第二控制信号是根据搅 拌车接料斗的料位状态确定的，因此第二控制信号可以用于指示调整 卸料速度或停止卸料。例如，当确定搅拌车的料位高度接近预设的临 界值时，第二控制信号可以用于指示停止卸料；当确定搅拌车的料位 上涨速度小于预设的速度时，第二控制信号可以用于指示调快卸料速 度。
88.本发明实施例提供的搅拌站智能卸料监控方法，通过第二监控视 频确定搅拌车接料斗的料位状态，并基于料位状态生成第二控制信号， 将第二控制信号发送至搅拌站控制系统，调整卸料的速度或停止卸料。 这样可以根据实际的料位状态对卸料的速度进行调整并能够在快要 溢料时停止卸料，防止了混凝土因溢料造成的浪费，且能够提高卸料 的效率。
89.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控方法，所述基于所述第二视频帧，确定所述搅拌车接料斗的料位状 态，具体包括：
90.基于所述第二视频帧中的搅拌车接料斗区域图像的像素信息，确 定所述搅拌车接料斗的料位状态。
91.具体地，在获取第二视频帧后，可以对第二视频帧进行全局识别， 确定第二视频帧中的搅拌车接料斗区域图像，对搅拌车接料斗区域图 像的像素信息进行分析，确定此时搅拌车接料斗的料位状态。其中， 图像的像素信息可以包括图像中每个像素点的值。
92.本发明实施例提供的搅拌站智能卸料监控方法，通过获取第二视 频帧中的搅拌车接料斗区域的图像的像素信息，从而确定搅拌车接料 斗的料位状态，实现了对搅拌车接料斗卸料过程中料位状态的实时监 测，避免了因溢料造成的浪费。
93.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控方法，所述基于所述第二视频帧，确定所述搅拌车接料斗的料位状 态，具体包括：
94.对所述第二视频帧中的搅拌车接料斗区域图像进行像素级分割， 并基于像素级分割的结果，确定所述搅拌车接料斗区域内混凝土外沿 边界以及搅拌车接料斗外沿边界；
95.基于所述混凝土外沿边界与所述搅拌车接料斗外沿边界，确定所 述搅拌车接料斗的料位状态。
96.本发明实施例中，在获取第二视频帧后，可以对第二视频帧中的 搅拌车接料斗区域图像进行像素级分割，像素级分割可以通过将搅拌 车接料斗区域图像输入至语义分割神经网络模型中，通过语义分割神 经网络模型对搅拌车接料斗区域图像进行像素级分割，由语义分割神 经网络模型输出搅拌车接料斗区域图像中的混凝土区域、搅拌车接料 斗内壁区域及搅拌车接料斗外沿区域。语义分割神经网络模型具体可 以是基于mask
‑
r
‑
cnn构建。
97.本发明实施例中，通过像素级分割的结果，可以得到混凝土外沿 边界和搅拌车接料斗外沿边界。混凝土区域的外边界即为混凝土外沿 边界，搅拌车接料斗外沿区域的外边界即为搅拌车接料斗外沿边界。 然后根据混凝土外沿边界与搅拌车接料斗外沿边界，确定所述搅拌车 接料斗的料位状态。其中，料位状态与上述料位状态意义相同。
98.根据混凝土外沿边界与搅拌车接料斗外沿边界，对料位状态中的 料位高度信息进行监控时，可以先根据混凝土外沿边界与搅拌车接料 斗外沿边界，分别确定出混凝土截面的半径以及搅拌车接料斗截面的 半径，根据两个半径的大小间接判断料位高度信息是否超过搅拌车接 料斗高度进而发生溢料。由于混凝土装在搅拌车接料斗中，所以混凝 土截面的圆心与搅拌车接料斗截面的圆心重合，二者的截面是同心圆。 其中，搅拌车接料斗截面的半径为固定值。当混凝土截面的半径接近 或等于搅拌车接料斗截面的半径时，表示将要发生溢料。
99.根据混凝土外沿边界与搅拌车接料斗外沿边界，对料位状态中的 料位变化信息进行监控时，可以通过至少两个连续第二视频帧中混凝 土截面的半径的变化方向信息，间接确定料位变化方向信息，如果半 径增加则料位上涨，如果半径减少则料位下降。还可以根据半径的变 化速度信息，间接确定料位变化速度信息，此处可以认为料位变化速 度信息即为半径的变化速度信息。
100.根据混凝土外沿边界与搅拌车接料斗外沿边界，对料位状态中的 卸料流量进行监控时，可以根据料位变化速度信息，估计卸料流量。
101.本发明实施例提供的搅拌站智能卸料监控方法，通过语义分割对 连续第二视频帧进行处理，可以对卸料过程中搅拌车接料斗的料位状 态进行监控，避免了因溢料产生的损失。相比于直接利用第二视频帧 中的搅拌车接料斗区域图像的像素信息确定搅拌车接料斗的料位状 态，监控精度更高。
102.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控方法，所述向所述搅拌站卸料口对应的搅拌站控制系统发送第一控 制信号，之后还包括：
103.获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，并对 所述第二视频帧中的搅拌车接料斗区域进行混凝土形态识别；根据混 凝土形态识别结果，生成第三控制信号，所述第三控制信号用于指示 调整卸料速度。
104.具体地，本发明实施例中，在向搅拌站卸料口对应的搅拌站控制 系统发送第一控制信号之后，可以通过获取搅拌站卸料区域的监控视 频帧，可以得到第二视频帧。然后对
第二视频帧中的搅拌车接料斗区 域进行识别，以确定混凝土的形态。
105.本发明实施例中，可以使用mask rcnn骨干网络模型所提取的 卸料区域的混凝土特征增加分类模块进行形态识别。修改后新增的分 类模块网络权重基于携带有混凝土形态标签训练得到。将当前第二视 频帧中的搅拌车接料斗区域图像输入至mask rcnn修改后新增的分 类神经网络模块，输出混凝土形态，即当前混凝土是干还是稀。基于 混凝土形态识别的结果，可以生成第三控制信号，将第三控制信号发 送至搅拌站卸料口对应的搅拌站控制系统，第三控制信号包含有调整 卸料速度的指示。例如，当识别出的混凝土形态为过干时，第三控制 信号可以用于指示调慢卸料速度。
106.本发明实施例中，当向搅拌站控制系统发送第一控制信号后，会 接收到搅拌站控制系统响应于第一控制信号返回的反馈信号，由于第 一控制信号是用于指示开始卸料，在收到第一控制信号的反馈信号时， 说明搅拌车接料斗和搅拌站卸料口已经对齐且搅拌车也处于停稳状 态，可以开始卸料。
107.本发明实施例提供的搅拌站智能卸料监控方法，通过对混凝土形 态进行识别，避免了混凝土过干或过稀，保证了混凝土质量。
108.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控方法，所述向所述搅拌站卸料口对应的搅拌站控制系统发送第一控 制信号，之后还包括：
109.获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧；
110.基于所述第二视频帧，确定所述搅拌车接料斗的料位状态，并对 所述第二视频帧中的搅拌车接料斗区域进行混凝土形态识别；
111.根据所述料位状态和混凝土形态识别结果，生成目标控制信号， 所述目标控制信号用于指示调整卸料速度或停止卸料。
112.具体地，本发明实施例中，在向搅拌站卸料口对应的搅拌站控制 系统发送第一控制信号后，还可以先获取搅拌站卸料区域的监控视频 帧得到第二视频帧，然后通过对第二视频帧进行识别，可以确定出搅 拌车接料斗的料位状态以及搅拌车接料斗区域的混凝土形态识别结 果，最后根据识别得到的料位状态和混凝土形态识别结果，生成目标 控制信号，以指示调整卸料速度或停止卸料。
113.本发明实施例中，通过对第二视频帧的识别，可以同步确定出搅 拌车接料斗的料位状态以及搅拌车接料斗区域的混凝土形态，既可以 因溢料造成的浪费，也可以保证混凝土质量。在上述实施例的基础上， 本发明实施例提供的搅拌站智能卸料监控方法，所述基于所述第一视 频帧，确定所述搅拌车接料斗的关键点的位置信息，具体包括：
114.将所述第一视频帧输入至预设的搅拌车接料斗识别算法模型，得 到所述搅拌车接料斗识别算法模型输出的所述第一视频帧中所述搅 拌车接料斗的关键点的位置信息；
115.其中，所述搅拌车接料斗识别算法模型中的权重参数基于携带有 搅拌车接料斗标签的图像样本训练得到。
116.具体地，在获取第一视频帧后，可以通过预设的搅拌车接料斗识 别算法模型对第一视频帧进行识别，获取搅拌车接料斗的关键点的位 置信息。本发明实施例中，预设的搅拌车接料斗识别算法模型可以是 加入关键点检测头部模块和目标检测框头部模块的区域生成网络 (region proposal network，rpn)模型。
117.本发明实施例中确定的关键点的位置信息可以是像素坐标系下 的坐标，像素坐
标系是为了描述物体成像后的像点在数字图像上的坐 标引入，是能够真正从监控摄像头内读取到的信息所在的坐标系。由 于搅拌站卸料口和搅拌车接料斗可以在世界坐标系下比较是否对齐， 因此当搅拌站卸料口和搅拌车接料斗在世界坐标系下比较是否对齐 时，可以将确定的关键点的位置信息转化到世界坐标系下，以使比较 动作顺利进行。本发明实施例的一种实施方式中，可以基于对监控摄 像头的内参矩阵以及外参矩阵，或者单应性矩阵的逆矩阵进行逆透视 变换，将像素坐标系下关键点的位置信息变换到世界坐标系下。逆透 视变换是透视变换的逆变换，透视变换是指将图像投影到一个新的视 平面。单应性矩阵是指单应性对应的变换矩阵，单应性是描述物体在 世界坐标系和像素坐标系之间的位置映射关系。单应性矩阵可以通过 监控摄像头的内参矩阵和外参矩阵计算。监控摄像头的外参矩阵可以 包括旋转矩阵和平移矩阵。监控摄像头的内参矩阵和外参矩阵可以通 过对监控摄像头进行标定得到。
118.本发明实施例提供的搅拌站智能卸料监控方法，通过计算搅拌车 接料斗的关键点坐标的位置信息，便于后续在同一坐标系下比较搅拌 车接料斗和搅拌站卸料口是否对齐，提高了判断的准确性。
119.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控方法，所述基于所述搅拌车接料斗的关键点的位置信息以及预设的 所述搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅 拌站卸料口是否对齐，具体包括：
120.基于所述搅拌车接料斗的关键点的位置信息，确定所述搅拌车接 料斗的中心点的位置信息；
121.基于所述搅拌车接料斗的中心点的位置信息以及预设的所述搅 拌站卸料口的中轴线的位置信息，确定所述搅拌车接料斗与所述搅拌 站卸料口是否对齐。
122.具体地，本发明实施例中，搅拌车接料斗上可以有至少三个关键 点，根据三点求圆心的方法，可以利用已知的至少三个关键点的位置 信息确定搅拌车接料斗的中心点坐标，该中心点坐标可以是世界坐标 系下的坐标。
123.本发明实施例中，由于搅拌站卸料口在搅拌站的位置是固定的， 搅拌站卸料口是截面为圆形的桶状结构，因此可以通过在搅拌站智能 卸料监控系统软件中设置搅拌站卸料口的中轴线的位置信息。最后， 比较搅拌车接料斗的中心点坐标以及所述搅拌站卸料口的中轴线的 位置信息之间的垂直最短距离，若所述垂直最短距离在预设范围内， 则可以确定搅拌车接料斗与搅拌站卸料口已经对齐。其中，预设范围 可以根据实际的需要进行设置，本发明实施例对此不作具体限定。
124.本发明实施例提供的搅拌站智能卸料监控方法，通过计算搅拌车 接料斗中心点的坐标和搅拌站卸料口的中轴线的位置信息之间的垂 直最短距离，以此来判断搅拌车接料斗和搅拌站卸料口之间是否已经 对齐，从而使搅拌车接料斗和搅拌站卸料口之间能够更准确的对齐， 减少在卸料过程中的混凝土浪费。
125.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控方法，所述第一视频帧通过监控摄像头拍摄获得；
126.相应的，所述基于所述搅拌车接料斗的关键点的位置信息以及预 设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅 拌站卸料口是否对齐，之前还包括：
127.基于所述监控摄像头的预设内参矩阵以及预设畸变系数，对所述 搅拌车接料斗的关键点的位置信息进行畸变矫正，得到畸变矫正后的 所述搅拌车接料斗的关键点的位置信息；
128.所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅 拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸 料口是否对齐，具体包括：
129.基于畸变矫正后的所述搅拌车接料斗的关键点的位置信息以及 预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述 搅拌站卸料口是否对齐。
130.具体地，本发明实施例中，第一视频帧可以通过监控摄像头拍摄 得到，监控摄像头可以是搅拌站原有的摄像头硬件，具有能够获取搅 拌站卸料区域的监控画面的功能。该监控摄像头的安装位置可以在搅 拌站卸料口对面的墙上，安装高度要达到能够监控到完整搅拌车接料 斗的高度。也可以在搅拌车的倒车路线与搅拌站卸料口的延长线与搅 拌站墙壁的交点处以及过搅拌站卸料口圆心垂直于搅拌车的倒车路 线的直线与搅拌站墙壁的交点处，分别安装一个监控摄像头，通过这 两个监控摄像头协同对卸料过程进行监控。如图3所示，为本发明实 施例中两个监控摄像头的安装位置示意图。图3中监控摄像头31和 32均安装在搅拌站墙壁33上，且均朝向搅拌站卸料口34，搅拌站卸 料口34处于搅拌车35的倒车路线上。图3中箭头方向为搅拌车35 的倒车方向。
131.本发明实施例中，为了能够使获取到的搅拌车接料斗的关键点的 位置信息更准确，在计算所述搅拌车接料斗的关键点的位置信息之前， 还需要畸变矫正。畸变矫正通过监控摄像头的预设内参矩阵以及预设 畸变系数实现，监控摄像头的预设内参矩阵是指只与监控摄像头有关， 与外界环境无关的参数构成的矩阵。监控摄像头的预设内参矩阵可以 是一个3*3的矩阵。预设内参矩阵可以通过单平面棋盘格的标定方法 对监控摄像头进行标定后求出。该标定方法的步骤可以是：打印一张 棋盘格，把它贴在一个平面上，作为标定物，通过调整标定物或监控 摄像头的方向，为标定物拍摄一些不同方向的照片。从照片中提取棋 盘格角点。估算理想无畸变的情况下，五个内参和六个外参的数值， 得到监控摄像头的预设内参矩阵和外参矩阵。
132.本发明实施例中，畸变是指对直线投影的一种偏移。畸变是监控 摄像头本身的固有特性，和监控摄像头内参相同，对监控摄像头标定 一次即可。在本发明实施例的一种实施方式中，可以对监控摄像头的 径向畸变进行校正。径向畸变包括桶形畸变和枕形畸变。径向畸变来 自于透镜形状，对于径向畸变，成像仪中心的畸变为0，随着向边缘 移动，畸变越来越严重。其中，径向畸变的预设畸变系数可以通过上 述相机标定过程计算，从而对位置信息进行校正。先求出监控摄像头 内参矩阵和外参矩阵，再应用最小二乘法估算实际存在径向畸变下的 畸变系数，最后利用泰勒级数展开式对关键点上的位置信息进行矫正。
133.在对搅拌车接料斗的关键点的位置信息进行了畸变矫正后，即可 得到畸变矫正后的搅拌车接料斗的关键点的位置信息，此时再将搅拌 车接料斗的关键点的位置信息与预设的搅拌站卸料口的关键位置信 息进行比较，若二者间的距离在预设的范围内，则说明搅拌车接料斗 与搅拌站卸料口已经对齐。其中，预设的范围可以根据实际需要进行 设置，本发明实施例对此不作具体限定。
134.本发明实施例提供的搅拌站智能卸料监控方法，通过安装监控摄 像头监控卸料过程，对搅拌站的改装简便，硬件及施工成本低。且监 控摄像头安装的位置与搅拌站卸料
口处距离较远，不易沾染上混凝土， 影响监控的效果。再对搅拌车接料斗的关键点的位置信息进行畸变矫 正，得出无畸变情况下的关键点位置信息，使得搅拌站卸料口和搅拌 车接料斗的对齐更准确。
135.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控方法，所述第一视频帧通过监控摄像头拍摄获得，且所述第一视频 帧为所述监控摄像头在拍摄角度变化之后拍摄获得的视频帧；
136.相应的，所述基于所述第一视频帧，确定所述搅拌车接料斗的关 键点的位置信息，之后还包括：
137.基于所述第一视频帧以及基准视频帧，得到单应性矩阵，所述基 准视频帧为所述监控摄像头的拍摄角度发生变化之前拍摄获得的视 频帧；
138.基于所述单应性矩阵，对所述搅拌车接料斗的关键点的位置信息 进行映射校正，得到映射校正后的所述搅拌车接料斗的关键点的位置 信息；
139.所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅 拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸 料口是否对齐，具体包括：
140.基于映射校正后的所述搅拌车接料斗的关键点的位置信息以及 预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述 搅拌站卸料口是否对齐。
141.具体地，由于监控摄像头在不同的角度拍摄视频时，从中提取的 视频帧的拍摄角度也会不同，这种角度不同会增加对视频帧进行识别 时产生的误差，因此，为了使识别的结果更准确，第一视频帧是监控 摄像头在拍摄角度变化后拍摄得到的。
142.在获取第一视频帧后，即可对第一视频帧中的搅拌车接料斗区域 进行识别，确定搅拌车接料斗的关键点的位置信息。但因为拍摄角度 影响带来的畸变，所以在获取搅拌车接料斗的关键点的位置信息后， 还需要对获取的位置信息进行映射校正。
143.本发明实施例中，可以通过基准视频帧对搅拌车接料斗的关键点 的位置信息进行映射校正。基准视频帧是监控摄像头在拍摄角度发生 变化前进行拍摄获得的视频帧。基准视频帧可以通过基准标定板获得。 基准标定板可以是一块任意平面的白底上打印黑色正方形的基准标 定板，监控摄像头在拍摄角度变化前对基准标定板进行拍摄即可得到 基准视频帧。
144.在得到第一视频帧和基准视频帧后，本发明实施例中，可以基于 opencv对基准视频帧进行亚像素级角点检测，用二次多项式逼近周围 3*3领域内的角点反应函数，用线性解法求得亚像素级角点坐标。可 以使用cornersubpix()函数迭代计算基准视频帧图像中基准标定板四 个角点的坐标，即基准标定板在像素坐标系下的坐标。根据上述畸变 矫正的方法对四个角点在像素坐标系下的坐标进行矫正，得到无畸变 的基准标定板四个角点的坐标，进而实现对第一视频帧和基准视频帧 的畸变校正。
145.在完成畸变矫正后，即可计算第一视频帧和基准视频帧的单应性 矩阵。平面的单应性被定义为一个平面到另外一个平面的投影映射。 根据得到的无畸变的基准标定板四个角点的坐标以及第一视频帧与 基准视频帧之间的映射关系，可以求得第一视频帧以及基准视频帧的 单应性矩阵。
146.在获取第一视频帧以及基准视频帧的单应性矩阵后，即可对搅拌 车接料斗的关键点位置信息进行映射校正。根据上述已经计算出的监 控摄像头的单应性矩阵，对两个单
应性矩阵进行连续透视变换后即可 对拍摄角度改变后搅拌车接料斗上关键点的位置信息进行映射校正。
147.在映射校正完成后，即可用映射校正后的搅拌车接料斗的关键点 的位置信息和预设的搅拌站卸料口的关键位置信息判断搅拌车接料 斗和搅拌站卸料口是否对齐。若映射校正后的搅拌车接料斗的关键点 的位置信息和预设的搅拌站卸料口的关键位置信息之间的距离在预 设的范围内，则可以判断此时搅拌车接料斗和搅拌站卸料口已经对齐。 其中，预设的范围可以根据实际情况进行设置，本发明实施例对此不 作具体限定。
148.然后，根据监控摄像头的单应性矩阵，对两个单应性矩阵进行连 续透视变换后即可对拍摄角度改变后搅拌车接料斗上关键点坐标进 行二次映射修正。
149.本发明实施例提供的搅拌站智能卸料监控方法，通过基准视频帧 对拍摄角度变换后的第一视频帧中的搅拌车接料斗的关键点位置信 息进行映射校正，使得拍摄角度变化后，也能得到无畸变的搅拌车接 料斗关键点的位置信息，保证了在同一坐标系中，搅拌车接料斗和搅 拌站卸料口能够对齐。
150.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控方法，所述监控摄像头具体为rgb摄像头或tof深感摄像头。
151.具体地，rgb摄像头中的rgb分别指红色、绿色和蓝色。rgb 摄像头由三根不同的线缆给出了上述三个基本彩色成分。这种类型的 摄像头通常是用三个独立的电荷耦合器件图像传感器来获取上述三 种彩色信号。rgb摄像头经常被用来做非常精确的彩色图像采集。 利用rgb摄像头可以获取清晰的搅拌站卸料口处的监控视频。
152.本发明实施例中，tof深感摄像头是一种主动相机，它可以通过 用红外光源照射一个区域并观察到达现场和返回现场所花费的时间 来执行深度测量。tof深感摄像头可以捕获每个光脉冲的整个视场， 而没有任何移动部件。这样可以快速采集数据。tof深感摄像头测量 距离较远，且不受光照变化和物体纹理影响，其帧率较高，软件复杂 度较低。采用tof深感摄像头可以获得监控图像中每个像素点的深 度，增加后续搅拌站卸料口的卸料信息识别的效果，使卸料过程的识 别更准确。
153.本发明实施例提供的搅拌站智能卸料监控方法，通过获取搅拌站 卸料区域的监控视频帧，得到第一视频帧，在第一视频帧出现搅拌车 接料斗时，对第一视频帧进行处理，计算搅拌车接料斗关键点的坐标， 再通过搅拌车接料斗的关键点坐标计算搅拌车接料斗的中心点坐标， 并在同一坐标系下计算搅拌车接料斗中心点和搅拌站卸料口的中轴 线的位置信息之间的垂直最短距离，判断二者是否对齐。在搅拌车接 料斗和搅拌站卸料口对齐的情况下，通过像素级分割对监控视频帧中 的搅拌车接料斗区域进行分割，监控卸料过程中搅拌车接料斗的料位 状态；通过对分割出的混凝土状态进行识别，获取当前监控视频帧中 的混凝土状态。该方法不需要人工判断搅拌车接料斗和搅拌站卸料口 是否对齐，不易受人为影响，且能够适用于各种高度和接料斗大小的 搅拌车。避免了卸料过程中因对不齐造成的混凝土浪费，且能够监控 卸料过程，避免了因溢料造成的损失。
154.图4是本发明实施例提供的搅拌站智能卸料监控方法的具体流 程示意图。如图4所示，该方法包括：
155.s41，获取搅拌站卸料区域的监控视频帧，得到第一视频帧。
156.s42，在识别到第一视频帧中出现了搅拌车接料斗的情况下，计 算搅拌车接料斗
关键点位置信息。
157.s43，对搅拌车接料斗的关键点位置信息进行畸变修正，得到无 畸变的搅拌车接料斗的关键点位置信息。
158.s44，基于无畸变的搅拌车接料斗的关键点位置信息，计算搅拌 车接料斗中心点的位置信息。
159.s45，判断搅拌站卸料口与搅拌车接料斗是否对齐，也即是判断 搅拌车接料斗中心点与搅拌站卸料口的关键位置信息在同一坐标系 下的位置信息的距离是否在预设范围内。若判断获知对齐，则继续执 行s46，否则返回继续执行s41。
160.s46，判断搅拌车是否停稳，若停稳，则继续执行s47，否则返 回继续执行s46。
161.s47，向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制 信号。
162.s48，基于监控视频帧中的搅拌车接料斗区域，对搅拌车接料斗 的料位状态进行监控，并根据监控的结果，生成第二控制信号。
163.s49，基于监控视频帧中的搅拌车接料斗区域，对搅拌车接料斗 区域进行混凝土形态识别，并根据识别的结果，生成第三控制信号。
164.图5是本发明实施例提供的搅拌站智能卸料监控系统结构示意 图，如图5所示，该系统包括：监控视频获取模块501和卸料监控模 块502。其中：
165.监控视频获取模块501，用于获取搅拌站卸料区域的监控视频帧， 得到第一视频帧；
166.卸料监控模块502，用于基于预设的算法模型，对所述第一视频 帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料。
167.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控系统，所述卸料监控模块具体包括：
168.位置信息获取子模块，用于若所述识别结果为所述第一视频帧中 包含搅拌车接料斗，则基于所述第一视频帧，确定所述搅拌车接料斗 的关键点的位置信息；
169.对齐子模块，用于基于所述搅拌车接料斗的关键点的位置信息以 及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所 述搅拌站卸料口是否对齐；
170.第一控制信号生成子模块，用于若确定所述搅拌车接料斗与所述 搅拌站卸料口对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发 送第一控制信号，所述第一控制信号用于指示开始卸料。
171.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控系统，所述第一控制信号生成子模块具体包括：
172.第一控制信号发送单元，用于若确定所述搅拌车接料斗与所述搅 拌站卸料口对齐，且所述搅拌车接料斗对应的搅拌车处于停稳状态， 则向所述搅拌站卸料口对应的搅拌站控制系统发送所述第一控制信 号。
173.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控系统，所述卸料监控模块还包括：
174.料位状态确定子模块，用于获取所述搅拌站卸料区域的监控视频 帧，得到第二视频帧，基于所述第二视频帧，确定所述搅拌车接料斗 的料位状态；
175.第二控制信号生成子模块，用于根据所述料位状态，生成第二控 制信号，并向所
述搅拌站控制系统发送所述第二控制信号，所述第二 控制信号用于指示调整卸料速度或停止卸料。
176.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控系统，所述料位状态确定子模块具体包括：
177.料位状态确定单元，用于基于所述第二视频帧中的搅拌车接料斗 区域图像的像素信息，确定所述搅拌车接料斗的料位状态。
178.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控系统，所述料位状态确定子模块具体还包括：
179.分割单元，用于对所述第二视频帧中的搅拌车接料斗区域图像进 行像素级分割，并基于像素级分割的结果，确定所述搅拌车接料斗区 域内混凝土外沿边界以及搅拌车接料斗外沿边界；
180.外沿边界确定单元，用于基于所述混凝土外沿边界与所述搅拌车 接料斗外沿边界，确定所述搅拌车接料斗的料位状态。
181.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控系统，所述卸料监控模块还包括：
182.混凝土形态识别子模块，用于获取所述搅拌站卸料区域的监控视 频帧，得到第二视频帧，并对所述第二视频帧中的搅拌车接料斗区域 进行混凝土形态识别；
183.第三控制信号生成子模块，用于根据混凝土形态识别结果，生成 第三控制信号，所述第三控制信号用于指示调整卸料速度。
184.在上述实施例的基础上，本发明实施例中提供的搅拌站智能卸料 监控系统，所述位置信息获取子模块具体包括：
185.关键点位置信息获取单元，用于将所述第一视频帧输入至预设的 搅拌车接料斗识别算法模型，得到所述搅拌车接料斗识别算法模型输 出的所述第一视频帧中所述搅拌车接料斗的关键点的位置信息；
186.其中，所述搅拌车接料斗识别算法模型中的权重参数基于携带有 搅拌车接料斗标签的图像样本训练得到。
187.在上述实施例的基础上，本发明实施例中提供的搅拌站智能卸料 监控系统，所述对齐子模块具体包括：
188.中心点位置信息获取单元，用于基于所述搅拌车接料斗的关键点 的位置信息，确定所述搅拌车接料斗的中心点的位置信息；
189.对齐单元，用于基于所述搅拌车接料斗的中心点的位置信息以及 预设的所述搅拌站卸料口的中轴线的位置信息，确定所述搅拌车接料 斗与所述搅拌站卸料口是否对齐。
190.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控系统，所述第一视频帧通过监控摄像头拍摄获得；相应地，所述系 统还包括：
191.畸变矫正子模块，用于基于所述监控摄像头的预设内参矩阵以及 预设畸变系数，对所述搅拌车接料斗的关键点的位置信息进行畸变矫 正，得到畸变矫正后的所述搅拌车接料斗的关键点的位置信息；
192.畸变矫正对齐子模块，用于基于畸变矫正后的所述搅拌车接料斗 的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定 所述搅拌车接料斗与所述搅拌站
卸料口是否对齐。
193.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控系统，所述第一视频帧通过监控摄像头拍摄获得，且所述第一视频 帧为所述监控摄像头在拍摄角度变化之后拍摄获得的视频帧；所述系 统还包括：
194.单应性矩阵获取子模块，用于基于所述第一视频帧以及基准视频 帧，得到单应性矩阵，所述基准视频帧为所述监控摄像头的拍摄角度 发生变化之前拍摄获得的视频帧；
195.映射校正子模块，用于基于所述单应性矩阵，对所述搅拌车接料 斗的关键点的位置信息进行映射校正，得到映射校正后的所述搅拌车 接料斗的关键点的位置信息；
196.映射校正对齐子模块，用于基于映射校正后的所述搅拌车接料斗 的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定 所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
197.在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监 控系统，所述监控摄像头具体为rgb摄像头或tof深感摄像头。
198.具体地，本发明实施例提供的搅拌站智能卸料监控系统中各模块 的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现 的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再 赘述。
199.图6是本发明实施例提供的搅拌站智能卸料监控系统的具体结 构示意图。如图6所示，该系统包括：监控视频获取模块、倒车对齐 监测服务模块以及溢料监测服务模块。其中，监控视频获取模块，用 于获取搅拌站卸料口处的监控视频。除此之外，监控视频获取模块还 用于视频拉流解析以及将解析后的视频帧进行去噪、增强等预处理。 倒车对齐监测服务模块用于监测搅拌车接料斗和搅拌站卸料口是否对齐。溢料监测服务模块用于对卸料过程进行监控。
200.倒车对齐监测服务模块具体包括：
201.位置信息获取模块，用于对预处理后的第一视频帧进行识别，获 取搅拌车接料斗的关键点的位置信息；
202.摄像头标定模块，用于对监控摄像头进行标定，将获取的搅拌车 接料斗的关键点的位置信息进行畸变矫正；
203.世界坐标系映射模块，用于将畸变矫正后的搅拌车接料斗的关键 点的位置信息，即搅拌车接料斗的关键点在像素坐标系下的坐标映射 到世界坐标系；
204.倒车监控模块，即对齐子模块，用于判断搅拌车接料斗和搅拌站 卸料口是否对齐；在对齐的情况下，进行溢料监测服务；在未对齐的 情况下，重新获取第一视频帧进行识别；
205.映射校正模块，用于监控摄像头在拍摄得到当前视频帧之后拍摄 角度发生变化时，对拍摄角度变化后所述监控摄像头拍摄得到的第一 视频帧中所述搅拌车接料斗上关键点的位置信息进行映射校正；
206.图像后处理模块，用于对已倒车对齐的视频帧进行增强等图像后 处理。
207.溢料监测服务模块具体包括：
208.图像前处理模块，用于对增强后的已倒车对齐的视频帧进行剪裁、 去噪等图像前处理；
209.分割模型模块，即分割子模块，用于对搅拌车接料斗区域进行像 素级分割；
210.像素边缘监测模块，用于确定所述搅拌车接料斗区域内混凝土外 沿边界以及搅拌车接料斗外沿边界；
211.混凝土状态识别模块，即混凝土形态识别子模块，用于对所述当 前视频帧中的搅拌车接料斗区域进行混凝土形态识别；
212.流速监测模块，用于对混凝土的流量信息进行监测；
213.溢料识别模块，用于判断当前视频帧中混凝土是否发生了溢料。
214.图7示例了一种电子设备的实体结构示意图，如图7所示，该电 子设备可以包括：处理器(processor)710、通信接口(communicationsinterface)720、存储器(memory)730和通信总线740，其中，处理器710， 通信接口720，存储器730通过通信总线740完成相互间的通信。处 理器710可以调用存储器730中的逻辑指令，以执行上述各实施例中 提供的搅拌站智能卸料监控方法，该方法包括：获取搅拌站卸料区域 的监控视频帧，得到第一视频帧；基于预设的算法模型，对所述第一 视频帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料。
215.此外，上述的存储器730中的逻辑指令可以通过软件功能单元的 形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可 读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品 的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者 网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而 前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
onlymemory)、随机存取存储器(ram，random access memory)、磁碟 或者光盘等各种可以存储程序代码的介质。
216.另一方面，本发明还提供一种计算机程序产品，所述计算机程序 产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计 算机程序包括程序指令，当所述程序指令被计算机执行时，计算机实 现能够执行上述各实施例中提供的搅拌站智能卸料监控方法，该方法 包括：获取搅拌站卸料区域的监控视频帧，得到第一视频帧；基于预 设的算法模型，对所述第一视频帧进行检测识别，并基于识别结果， 监控混凝土搅拌站的卸料。
217.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上 存储有计算机程序，该计算机程序被处理器执行时实现能够执行上述 各实施例中提供的搅拌站智能卸料监控方法，该方法包括：获取搅拌 站卸料区域的监控视频帧，得到第一视频帧；基于预设的算法模型， 对所述第一视频帧进行检测识别，并基于识别结果，监控混凝土搅拌 站的卸料。
218.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部 件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的 部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也 可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付 出创造性的劳动的情况下，即可以理解并实施。
219.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解 到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然 也可以通过硬件。基于这样的理
解，上述技术方案本质上或者说对现 有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软 件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光 盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所 述的方法。
220.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而 非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领 域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技 术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修 改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方 案的精神和范围。