用于搅拌车的控制方法、处理器和控制装置与流程

1.本发明涉及搅拌车技术领域，具体地涉及一种用于搅拌车的控制方法、处理器、控制装置和机器可读存储介质。


背景技术：

2.搅拌车在加料时需要将搅拌车入料口和卸料间卸料口对齐，以避免被加入的搅拌料溢出。现有搅拌车加料时需要通过监控设备来监控搅拌车的位置，并依赖司机移动搅拌车的位置来使搅拌车入料口和卸料间卸料口对齐，然而若采用监控设备来观察是否对齐，则需要专业人员在监控室值班，人力成本较高；通过司机移动搅拌车来对齐搅拌车入料口和卸料间卸料口，需要司机具有较高的经验，且反复调整搅拌车的位置也会一定程度上影响上料效率，一旦出现失误还会导致溢料的情况时有出现。


技术实现要素：

3.本发明的目的是为了提供一种用于搅拌车的控制方法、处理器、控制装置和机器可读存储介质，该用于搅拌车的控制方法、处理器、控制装置和机器可读存储介质具有方法简单，可操作性强，能自动将搅拌车入料口和卸料间卸料口对齐的优点。
4.为了实现上述目的，本发明第一方面提供一种用于搅拌车的控制方法，搅拌车位于搅拌站的卸料间内，控制方法包括：
5.获取卸料间内第一视角的第一图像和第二视角的第二图像，第一图像和第二图像中均包括搅拌车入料口和卸料间卸料口；
6.对第一图像和第二图像进行深度处理，以确定搅拌车入料口中心点所在的第一位置；
7.对第一图像和第二图像进行标定处理，以确定卸料间卸料口中心点所在的第二位置；
8.在第一位置和第二位置不一致的情况下，控制搅拌车移动以将第一位置和第二位置对齐。
9.在本发明的实施例中，对第一图像和第二图像进行深度处理，以确定搅拌车入料口中心点所在的第一位置包括：
10.对第一图像和第二图像进行深度处理，以获取搅拌车入料口边缘的第一三维坐标点集合；
11.基于第一三维坐标点集合确定搅拌车入料口中心点所在的第一位置。
12.在本发明的实施例中，对第一图像和第二图像进行深度处理，以获取搅拌车入料口边缘的第一三维坐标点集合包括：
13.对第一图像和第二图像进行矫正处理，以获取第一矫正图像和第二矫正图像；
14.对第一矫正图像和第二矫正图像进行立体匹配处理，以获取深度图像；
15.基于深度图像获取搅拌车入料口边缘的第一三维坐标点集合。
16.在本发明的实施例中，基于深度图像获取搅拌车入料口边缘的第一三维坐标点集合包括：
17.对深度图像进行语义分割处理，以获取搅拌车入料口边缘的第一三维坐标点集合。
18.在本发明的实施例中，基于第一三维坐标点集合确定搅拌车入料口中心点所在的第一位置包括：
19.将第一三维坐标点集合投影到水平面上，以获取搅拌车入料口边缘的二维坐标点集合；
20.基于二维坐标点集合确定搅拌车入料口中心点所在的第一位置。
21.在本发明的实施例中，基于二维坐标点集合确定搅拌车入料口中心点所在的第一位置包括：
22.对二维坐标点集合中的点进行最大值处理，以生成二值图像；
23.基于二值图像确定搅拌车入料口中心点所在的第一位置。
24.在本发明的实施例中，基于二值图像确定搅拌车入料口中心点所在的第一位置包括：
25.对二值图像的像素点坐标进行计算，以获得搅拌车入料口边缘线的最大外接矩阵；
26.对最大外接矩阵的顶点坐标进行计算，以确定搅拌车入料口中心点所在的第一位置。
27.本发明的第二方面提供一种处理器，该处理器被配置成执行上述的用于搅拌车的方法。
28.本发明的第三方面提供一种用于搅拌车的控制装置，该控制装置包括：
29.图像采集设备，设置在卸料间内，用于采集卸料间内第一视角的第一图像和第二视角的第二图像；以及上述的处理器。
30.本发明的第四方面提供一种机器可读存储介质，机器可读存储介质上存储有指令，指令用于使得机器执行上述的用于搅拌车的控制方法。
31.通过上述技术方案，通过对获取到的卸料间内的第一图像和第二图像进行深度处理和标定处理，进而确定搅拌车入料口中心点所在的第一位置和卸料间卸料口中心点所在的第二位置，再对上述两个位置进行对比并在第一位置和第二位置不一致的情况下，控制搅拌车移动以将第一位置和第二位置对齐，无需工作人员在监控室内对搅拌车的位置进行监控，即可自动调整搅拌车入料口和卸料间卸料口对齐，减轻了对人工的依赖，减少了溢料发生的概率以及搅拌车加料耗费的时间，提升了搅拌站的运行效率。
附图说明
32.附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
33.图1是本发明实施例中用于搅拌车的控制方法的流程示意图；
34.图2是本发明实施例中卸料间内结构示意图；
35.图3是本发明实施例中二值图像示意图。
36.附图标记说明
[0037]1ꢀꢀꢀꢀꢀꢀꢀꢀ
搅拌车入料口
ꢀꢀꢀꢀꢀꢀꢀꢀ2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
卸料间卸料口
[0038]3ꢀꢀꢀꢀꢀꢀꢀꢀ
图像采集设备
ꢀꢀꢀꢀꢀꢀꢀꢀ
301
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一摄像头
[0039]
302
ꢀꢀꢀꢀꢀꢀ
第二摄像头
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
搅拌车入料口边缘轨迹
[0040]
401
ꢀꢀꢀꢀꢀꢀ
最大外接矩阵
ꢀꢀꢀꢀꢀꢀꢀꢀ
402
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
搅拌车入料口中心点
具体实施方式
[0041]
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
[0042]
需要说明，若本技术实施方式中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0043]
另外，若本技术实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
[0044]
本发明的实施例中提供一种用于搅拌车的控制方法，本实施例中的搅拌车位于搅拌站的卸料间内，具体地，如图1所示，该控制方法包括如下步骤：
[0045]
步骤s101：获取卸料间内第一视角的第一图像和第二视角的第二图像，第一图像和第二图像中均包括搅拌车入料口1和卸料间卸料口2；
[0046]
步骤s102：对第一图像和第二图像进行深度处理，以确定搅拌车入料口中心点所在的第一位置；
[0047]
步骤s103：对第一图像和第二图像进行标定处理，以确定卸料间卸料口中心点所在的第二位置；
[0048]
步骤s104：在第一位置和第二位置不一致的情况下，控制搅拌车移动以将第一位置和第二位置对齐。
[0049]
可以理解，本实施例中用于搅拌车的控制方法应用于控制装置，该控制装置包括图像采集设备3和处理器，其中，如图2所示，图像采集设备3为安装在搅拌站卸料间内的双目摄像头，处理器和图像采集设备3、搅拌车控制连接。具体地，当搅拌车开进搅拌站的卸料间以后，处理器控制图像采集设备3从两个不同的视角采集卸料间内的图像，即图像采集设备3同时从第一视角和第二视角采集到第一图像和第二图像，且第一图像和第二图像中均包括搅拌车入料口1和卸料间卸料口2；图像采集设备3采集到第一图像和第二图像后将其传送给处理器，本实施例中第一图像和第二图像均为rgb图像，处理器再对上述两张rgb图像进行图像识别、深度处理等操作，以确定搅拌车入料口中心点所在的第一位置；处理器对上述两张rgb图像进行标定处理，以确定卸料间卸料口中心点所在的第二位置；处理器在确定第一位置和第二位置以后对其进行对比，以确定第一位置和第二位置是否一致，在第一
位置和第二位置不一致的情况下，处理器控制搅拌车移动以将第一位置和第二位置对齐，即使得搅拌车入料口1位于卸料间卸料口2的下方，之后再控制卸料间内的卸料装置通过卸料口向搅拌车入料口1中加料，此时被加的搅拌料不会溢出；若第一位置和第二位置一致，说明搅拌车入料口1正好位于卸料间卸料口2的下方，处理器则无需控制搅拌车再移动，而直接控制卸料间内的卸料装置通过卸料口向搅拌车入料口1中加料。
[0050]
本实施例中提供的用于搅拌车的控制方法，通过对获取到的卸料间内的第一图像和第二图像进行深度处理和标定处理，进而确定搅拌车入料口中心点所在的第一位置和卸料间卸料口中心点所在的第二位置，再对上述两个位置进行对比并在第一位置和第二位置不一致的情况下，控制搅拌车移动以将第一位置和第二位置对齐，无需工作人员在监控室内对搅拌车的位置进行监控，即可自动调整搅拌车入料口1和卸料间卸料口2对齐，减轻了对人工的依赖，减少了溢料发生的概率以及搅拌车加料耗费的时间，提升了搅拌站的运行效率。
[0051]
在本发明的一个实施例中，对第一图像和第二图像进行深度处理，以确定搅拌车入料口中心点所在的第一位置包括：
[0052]
对第一图像和第二图像进行深度处理，以获取搅拌车入料口边缘的第一三维坐标点集合；
[0053]
基于第一三维坐标点集合确定搅拌车入料口中心点所在的第一位置。
[0054]
可以理解，处理器在对第一图像和第二图像进行图像识别和深度处理等操作后，可以获得搅拌车入料口边缘的第一三维坐标点集合，其中，第一三维坐标点集合即为搅拌车入料口边缘点在三维空间中的坐标点集合；处理器再通过对第一三维坐标点集合进行处理，可进一步确定搅拌车入料口中心点在三维空间中所在位置；又由于对齐时，仅需要将搅拌车入料口中心点和卸料间卸料口中心点各自在水平面上的位置对齐即可，因此需要根据搅拌车入料口中心点和卸料间卸料口中心点在三维空间中所在位置，来进一步确定搅拌车入料口中心点和卸料间卸料口中心点在水平面上的所在位置，即本实施例中的第一位置和第二位置分别为搅拌车入料口中心点和卸料间卸料口中心点在水平面上的所在位置。
[0055]
在本发明的一个实施例中，对第一图像和第二图像进行深度处理，以获取搅拌车入料口边缘的第一三维坐标点集合包括：
[0056]
对第一图像和第二图像进行矫正处理，以获取第一矫正图像和第二矫正图像；
[0057]
对第一矫正图像和第二矫正图像进行立体匹配处理，以获取深度图像；
[0058]
基于深度图像获取搅拌车入料口边缘的第一三维坐标点集合。
[0059]
可以理解，本实施例中的图像采集设备3包括位于不同视角的第一摄像头301和第二摄像头302，第一摄像头301采集的图像为第一图像，第二摄像头302采集的图像为第二图像，由于第一图像和第二图像分别是不同视角的rgb图像，使得第一图像和第二图像之间存在视差，且通过图像采集设备3采集的图像会存在一定程度的畸变，因此处理器在获得图像采集设备3采集的第一图像和第二图像以后，需要先对第一图像和第二图像进行矫正。
[0060]
进一步地，在第一图像和第二图像进行矫正之前，需要对图像采集设备3(即双目摄像头)进行标定，图像采集设备3需要标定的参数包括内参数矩阵、畸变系数矩阵、旋转矩阵r以及平移矩阵t等，其中，内参数矩阵和畸变系数矩阵可以通过单目标定的方法获得；单目标定完成后进行双目标定，双目标定时需要标定出第一摄像头301和第二摄像头302之间
的相对关系，即旋转矩阵r和平移矩阵t；处理器在标定完成后基于标定的结果对第一图像和第二图像进行矫正，以获取到第一矫正图像和第二矫正图像。
[0061]
处理器在获得第一矫正图像和第二矫正图像以后，对上述两张图像进行立体匹配处理，本实施例中通过sgbm算法对第一矫正图像和第二矫正图像进行立体匹配处理，以获取视差图像，对视差图像进行处理以获得深度图像，再基于深度图像获取搅拌车入料口边缘的第一三维坐标点集合。
[0062]
在本发明的一个实施例中，基于深度图像获取搅拌车入料口边缘的第一三维坐标点集合包括：
[0063]
对深度图像进行语义分割处理，以获取搅拌车入料口边缘的第一三维坐标点集合。
[0064]
可以理解，处理器在获得深度图像以后，需要通过语义分割技术对深度图像进行语义分割处理，本实施例中语义分割技术包括立体几何语义分割技术、二维语义分割技术或三维语义分割技术，以便将搅拌车入料口1的边缘轮廓识别出来，之后处理器再基于边缘轮廓的像素点来获取到第一三维坐标点集合，其中，第一三维坐标点集合为e＝{e1，e2，...，e
n
}，e
n
∈r3，e
n
是第一三维坐标点集合中的一个点，其坐标为(x1,y1,z1)。
[0065]
在本发明的一个实施例中，基于第一三维坐标点集合确定搅拌车入料口中心点所在的第一位置包括：
[0066]
将第一三维坐标点集合投影到水平面上，以获取搅拌车入料口边缘的二维坐标点集合；
[0067]
基于二维坐标点集合确定搅拌车入料口中心点所在的第一位置。
[0068]
可以理解，由于搅拌车入料口1的边缘通常是不规则的，因此搅拌车入料口边缘上的点不在同一个水平面上，同理，卸料间卸料口边缘上的点也不在同一个水平面上，要将搅拌车入料口1和卸料间卸料口2对齐，则第一位置和第二位置在水平面上的坐标要相对应，因此需要获得搅拌车入料口1在水平面上投影的中心点，即需要将第一三维坐标点集合为e＝{e1，e2，...，e
n
}，e
n
∈r3投影到水平面上，投影完成以后可获得搅拌车入料口边缘的二维坐标点集合，该二维坐标点集合为e
p
＝{e
p1
，e
p2
，...，e
pn
}，e
pn
∈r2，e
pn
是二维坐标点集合中的一个点，其坐标为(x2，y2)；处理器再基于二维坐标点集合确定搅拌车入料口中心点所在的第一位置，第一位置的坐标点为(x3，y3)。
[0069]
在本发明的实施例中，可以通过采用测距仪器来实际测量卸料间卸料口的中心点位置；或调取搅拌车入料口1和卸料间卸料口2对齐时卸料口中心点在水平面上的投影点c
p
位置(即第二位置)的历史数据，再计算上述历史数据的平均值，基于该平均值来确定卸料口中心点在水平面上的投影点c
p
位置(即第二位置)，即以该平均值作为此次卸料口中心点在水平面上的投影点c
p
位置，该投影点c
p
位置为(x4，y4)，即第二位置的坐标为(x4，y4)，在获得投影点c
p
位置(x4，y4)后将其传送给处理器以完成标定操作。
[0070]
在本发明的一个实施例中，基于二维坐标点集合确定搅拌车入料口中心点所在的第一位置包括：
[0071]
对二维坐标点集合中的点进行最大值处理，以生成二值图像；
[0072]
基于二值图像确定搅拌车入料口中心点所在的第一位置。
[0073]
可以理解，e
p
在水平面上是不规则的连通区域，处理器对二维坐标点集合中所有
的点进行最大值处理，即将所有点的像素值最大化，以将水平面上搅拌车入料口边缘轨迹4生成二值图像，如图3所示，即该轨迹内、外的点的像素值均为0，组成搅拌车入料口边缘轨迹4的点的像素值均为1，以便清晰地表示搅拌车入料口1在水平面上的轨迹；之后处理器再基于该二值图像确定搅拌车入料口中心点所在的第一位置。
[0074]
在本发明的一个实施例中，基于二值图像确定搅拌车入料口中心点所在的第一位置包括：
[0075]
对二值图像的像素点坐标进行计算，以获得搅拌车入料口边缘线的最大外接矩阵401；
[0076]
对最大外接矩阵401的顶点坐标进行计算，以确定搅拌车入料口中心点所在的第一位置。
[0077]
可以理解，处理器在获得二值图像以后，基于对该二值图像中组成轨迹的像素点的坐标进行计算，以获得搅拌车入料口边缘线的最大外接矩阵401；之后提取出该最大外接矩阵401的四个顶点坐标，再基于该四个顶点坐标计算出该最大外接矩阵401的中心点c
d
，该中心点c
d
的坐标为(x5，y5)，即搅拌车入料口中心点402所在的第一位置的坐标为(x5，y5)。
[0078]
处理器在获得第一位置(x5，y5)和第二位置(x4，y4)以后，对两者之间的位置进行对比，若(x4，y4)和(x5，y5)一致，则无需再控制搅拌车移动位置；若(x4，y4)和(x5，y5)不一致，则需要再控制搅拌车移动位置，且根据(x4，y4)和(x5，y5)在水平面x方向和y方向上的差值来调整，以使搅拌车入料口中心点402所在的第一位置和卸料间卸料口中心点所在的第二位置对齐，进而使得从卸料口卸出的料无溢出地进入入料口中。
[0079]
本发明的另一个实施例提供一种处理器，该处理器被配置成执行上述实施例中的用于搅拌车的方法。
[0080]
本发明的另一个实施例提供一种用于搅拌车的控制装置，该控制装置包括图像采集设备3和处理器，其中，图像采集设备3设置在卸料间内，用于采集卸料间内第一视角的第一图像和第二视角的第二图像，本实施例中的图像采集设备3为包括第一摄像头301和第二摄像头302的双目摄像头；处理器和图像采集设备3、搅拌车电连接，以便根据图像采集设备3采集的第一图像、第二图像的深度处理结果来对搅拌车的位置进行调节，使的搅拌车入料口所在的第一位置和卸料间卸料口所在的第二位置对齐。
[0081]
本发明的另一个实施例提供一种机器可读存储介质，机器可读存储介质上存储有指令，指令用于使得机器执行上述的用于搅拌车的控制方法。
[0082]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0083]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0084]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0085]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0086]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0087]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0088]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0089]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0090]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。