月台监控方法、装置及电子设备与流程

1.本技术涉及视频监控技术领域，尤其涉及一种月台监控方法、装置及电子设备。


背景技术：

2.现代工业月台(本文中简称为月台)是指装卸货场所(如物流园区)修建的装卸货平台，借助月台，搬运叉车能够安全、快速地进出运输车辆进行装卸货作业。
3.随着物流园区的快速发展，每天进行的货物运输数量增长迅速，传统的物流园区的货车一般是随机进入某个月台进行货物装卸，可能会导致高峰期的货物装卸车辆拥堵和工作效率低的问题。


技术实现要素：

4.有鉴于此，本技术提供一种月台监控方法、装置及电子设备。
5.具体地，本技术是通过如下技术方案实现的：
6.根据本技术实施例的第一方面，提供一种月台监控方法，包括：
7.获取装卸货场所的月台监控视频；
8.基于所述月台监控视频，获取各月台车位内的车辆的货物装卸率；
9.基于各月台车位内的车辆的货物装卸率，确定各月台车位内的车辆的货物装卸完成时间；
10.基于各月台车位内的车辆的货物装卸完成时间，以及车辆关联的月台车位，对所述装卸货场所内的车辆运行进行控制。
11.根据本技术实施例的第二方面，提供一种月台监控装置，包括
12.第一获取单元，用于装卸货场所的月台监控视频；
13.第二获取单元，用于基于所述月台监控视频，获取各月台车位内的车辆的货物装卸率；
14.确定单元，用于基于各月台车位内的车辆的货物装卸率，确定各月台车位内的车辆的货物装卸完成时间；
15.控制单元，用于基于各月台车位内的车辆的货物装卸完成时间，以及车辆关联的月台车位，对所述装卸货场所内的车辆运行进行控制。
16.根据本技术实施例的第三方面，提供一种电子设备，该电子设备包括：
17.处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述方法。
18.本技术实施例的月台监控方法，通过获取装卸货场所的月台监控视频，基于月台监控视频，获取各月台车位内的车辆的货物装卸率，并基于各月台车位内的车辆的货物装卸率，确定各月台车位内的车辆的货物装卸完成时间，并基于各月台车位内的车辆的货物装卸完成时间，以及车辆关联的月台车位，对装卸货场所内的车辆运行进行控制，减少了装卸货场所内的拥堵发生，提高了装卸货的效率以及各月台的装卸货使用率。
附图说明
19.图1为本技术一示例性实施例示出的一种月台监控方法的流程示意图；
20.图2为本技术一示例性实施例示出的一种获取各月台车位内的车辆的货物装卸率的方法流程示意图；
21.图3为本技术一示例性实施例示出的一种场景示意图；
22.图4为本技术一示例性实施例示出的一种月台相机安装示意图；
23.图5为本技术一示例性实施例示出的一种月台相机的结构示意图；
24.图6为本技术一示例性实施例示出的一种入口处的显示装置的结构示意图；
25.图7为本技术一示例性实施例示出的一种月台监控方法的流程示意图；
26.图8为本技术一示例性实施例示出的一种完整的进车触发流程示意图；
27.图9为本技术一示例性实施例示出的一种月台监控装置的结构示意图；
28.图10为本技术一示例性实施例示出的图9所示装置的硬件结构示意图。
具体实施方式
29.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
30.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
31.为了使本领域技术人员更好地理解本技术实施例提供的技术方案，并使本技术实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本技术实施例中技术方案作进一步详细的说明。
32.请参见图1，为本技术实施例提供的一种月台监控方法的流程示意图，其中，该月台监控方法可以应用于装卸货场所，如物流园区，如图1所示，该月台监控方法可以包括以下步骤：
33.步骤s100、获取装卸货场所的月台监控视频。
34.本技术实施例中，可以通过在月台部署的监控前端(本文中称为月台相机)采集监控范围内的监控视频(本文中称为月台监控视频)。
35.步骤s110、基于获取到的月台监控视频，获取各月台车位内的车辆的货物装卸率。
36.本技术实施例中，获取到月台监控视频时，可以基于获取到的月台监控视频，检测各月台车位内是否存在进行货物装卸的车辆。
37.对于任一存在进行货物装卸的车辆的月台停车位，可以获取该月台停车位内的车辆的货物装卸率。
38.示例性的，可以利用深度学习算法对监控视频中的车辆的货物装卸率进行识别。
39.例如，可以根据不同环境，建立货物装卸率训练库，并基于训练库中的训练样本进行深度学习网络模型的训练，进而，基于训练好的深度学习网络模型识别监控视频中的车辆的货物装卸率。
40.步骤s120、基于各月台车位内的车辆的货物装卸率，确定各月台车位内的车辆的货物装卸完成时间。
41.本技术实施例中，对于任一月台车位，当确定了该月台车位内的车辆的货物装卸率时，可以基于该月台车位内的车辆的货物装卸率，确定该车辆的货物装卸完成时间。
42.示例性的，可以基于车辆的货物装卸率、货物类型(如箱装类、袋装类等，可以利用深度学习算法识别)以及预设该货物类型的货物装卸率与货物装卸完成时间(可以根据经验值预先设定)的对应关系，确定该车辆的货物装卸完成时间。
43.举例来说，假设货物类型a的货物的货物装卸率与货物装卸完成时间的对应关系如表1所示：
44.表1
45.货物装卸率货物装卸完成时间r1t1r2t2r3t3
……
46.当确定了月台车位内的车辆的货物装卸率时，可以根据该车辆的货物装卸率，以及货物类型，查询表1所示的对应关系，以确定该车辆的货物装卸完成时间。
47.步骤s130、基于各月台车位内的车辆的货物装卸完成时间，以及车辆关联的月台车位，对装卸货场所内的车辆运行进行控制。
48.本技术实施例中，可以基于各月台车位内的车辆的货物装卸完成时间，以及车辆关联的月台车位，对装卸货场所内的车辆运行进行控制。
49.示例性的，可以将各月台车位内的车辆的货物装卸完成时间，以及车辆关联的月台车位等信息展示在装卸货场所内入口处指定区域的显示屏中显示，以提示进场车辆各月台车位的货物装卸完成时间，优化高峰时期装卸货场所内的车辆运行状况，减少拥堵的发生，提高各月台的装卸货使用率，避免部分月台存在较多车辆等待装卸货，而另一部分月台相对空闲。
50.需要说明的是，在本技术实施例中，对于不存在车辆进行装卸货的月台车位，其对应的装卸货完成时间可以为空。
51.可见，在图1所示方法流程中，通过获取装卸场所的月台监控视频，基于获取到的月台监控视频，获取各月台车位内的车辆的货物装卸率，并基于各月台车位内的车辆的货物装卸率，确定各月台车位内的车辆的货物装卸完成时间，进而，基于各月台车位内的车辆的货物装卸完成时间，以及车辆关联的月台车位，对装卸货场所内的车辆运行进行控制，可以减少装卸货场所内的拥堵发生，提高装卸货的效率以及各月台的装卸货使用率。
52.在一种可能的实施例中，如图2所示，步骤s110中，基于月台监控视频，获取各月台车位内的车辆的货物装卸率，可以通过以下步骤实现：
53.步骤s111、当在月台监控视频中检测到车辆时，识别该车辆的进出状态。
54.步骤s112、若该车辆的进出状态为进车，则当该车辆在月台车位内停车后，每隔预设时间提取一帧对应的监控视频帧，并基于该监控视频帧获取该车辆的货物装卸率。
55.在该实施例中，可以对获取的月台监控视频进行车辆检测，并当检测到车辆时，识
别该车辆的进出状态。
56.示例性的，车辆的进出状态可以包括进车(进入月台停车位)或出车(离开月台停车位)。
57.对于任一车辆，当识别出该车辆的进出状态为进车时，可以在该车辆在月台车位内停车后，每隔预设时间(可以根据实际场景设定，如30秒)提取一帧对应的监控视频帧，并对该监控视频帧进行分析，以获取该车辆的货物装卸率。例如，将该监控视频帧输入预先训练的深度学习网络模型，以确定该车辆的货物装卸率。
58.在一个示例中，步骤s111中，识别该车辆的进出状态，可以包括：
59.当在监控画面中检测到车尾时，对该车尾进行跟踪，并当该车尾依次通过监控画面中的远处的第一区域和近处的第二区域时，确定该车辆的进出状态为进车；
60.当在监控画面中检测到车尾，对该车尾进行跟踪，并当该车尾依次通过监控画面中的第二区域和第一区域时，确定该车辆的进出状态为出车。
61.在该示例中，考虑到车辆一般是以车尾朝向监控前端的形式进出月台停车位的，因此，可以通过对月台监控视频进行车尾检测的方式，对监控视频中的车辆进行检测。
62.示例性的，对监控视频进行车尾检测的具体实现可以在下文中结合具体实例进行说明，本技术实施例在此不做赘述。
63.当在监控画面中检测到车尾时，可以对检测到的车尾进行跟踪，当该车尾依次通过监控画面中预设的远处的指定区域(本文中称为第一区域)和近处的另一指定区域(本文中称为第二区域)时，确定该车辆的进出状态为进车；当该车尾依次通过监控画面中的第二区域和第一区域时，确定该车辆的进出状态为出车。
64.示例性的，监控画面中的靠近监控前端的一侧为近处，远离监控前端的一侧为远处。
65.需要说明的是，在本技术实施例中，当监控画面中车尾未发生移动时，可以确定车辆处于停车状态。
66.示例性的，当检测到车辆进车(或出车)时，还可以在车辆通过第一区域或/和第二区域时，对车辆进行抓拍，并生成进车(或出车)记录，该进车(或出车)记录中可以包括车牌信息、抓拍时间、抓拍图片等信息。
67.在一种可能的实施例中，步骤s100中，获取装卸场所内的月台监控视频之后，还可以包括：
68.基于获取到的月台监控视频进行人脸检测；
69.当检测到人脸时，对该人脸进行识别；
70.基于人脸识别结果生成人脸识别记录。
71.在该实施例中，为了对装卸货场所内的人员进行管理，获取到装卸货场所的月台监控视频时，还可以基于获取到的月台监控视频进行人脸检测，并在检测到人脸时，对该人脸进行识别。
72.示例性的，人脸检测以及人脸识别的具体实现方式可以参见现有相关技术中的相关描述，本技术实施例在此不做赘述。
73.得到月台监控视频中出现的人脸的识别结果时，可以基于该人脸识别结果生成人脸识别记录，该人脸识别记录可以包括检测到人脸的时间、人脸抓拍图以及人脸识别信息。
74.在一个示例中，人脸识别信息可以通过比较监控视频中的人脸与预设人脸库中的人脸的方式来确定。
75.示例性的，该预设人脸库中可以保存装卸货场所内的工作人员的人脸模型和相关信息(姓名、职位等)以及已登记的司机的人脸模型和相关信息。
76.当在月台监控视频中检测到人脸时，可以对检测到的人脸进行识别，提取人脸结构化特征，构建人脸模型，并将该人脸模型与预设人脸库中的人脸模型进行比对，若存在匹配的人脸模型(本文中称为目标人脸模型)，从预设人脸库中获取该目标人脸模型的相关信息，作为该人脸模型的人脸识别信息；若不存在匹配的人脸模型，则在对应的人脸识别记录中添加特定标记，该标记用于标识对应的人脸为非工作人员或已登记司机的人脸(可以称为陌生人员的人脸)。
77.需要说明的是，在本技术实施例中，当确定月台监控视频中出现陌生人员的人脸时，还可以触发告警，如向预设告警终端发送告警信息，以提示告警处理人员(如安保人员)采取相应处理措施。
78.为了使本领域技术人员更好地理解本技术实施例提供的技术方案，下面结合具体实例对本技术实施例提供的技术方案进行说明。
79.请参见图3，在该实施例中，月台相机安装在月台上方，其朝向为正对前方偏下，车位部分为布防区域。车辆进入车位的过程，月台相机可以进行抓拍获取车辆的进出捕获(即对车辆进入车位和离开车位进行抓拍)、车牌信息、车门状态(关门或开门)、人员信息和货物装卸情况。
80.在一个示例中，如图4所示，月台相机安装高度距离月台3.5米，视场上下高度需要确保在车辆驶入的过程中，全程覆盖车身最上沿(如4.5米)。视场左右宽度为两个车位宽度，即监控画面中月台车位的两边均有半个车位宽度的预留。
81.为实现月台停车作业的人员检测和装卸率检测，采用以下技术方案：
82.1、车辆到达布防区域内的停车位时，获取一帧监控视频。
83.2、根据监控视频帧，利用训练获得的网络模型(如深度学习网络模型)检测人员信息和货物装卸率，同时进行车辆特征信息检测，包括进出捕获、车牌识别和车门状态识别。
84.示例性的，当识别到车辆的车门状态为开门状态时，可以进行车辆货物装卸率识别。
85.3、对车辆货物装卸率进行识别，每隔30秒，识别一次月台车位内的车辆的货物装卸率，直至货物装卸完成，货物装载率和人员信息检测结束。
86.示例性的，对于货物卸车，以车辆的车厢是否为空确定货物卸车是否完成；对于货物装车，以车辆的车厢是否满或达到指定高度确定货物装车是否完成。
87.4、最终将车辆特征信息和车辆检测信息，包括进出捕获、车牌识别、车门状态、人员信息和货物装卸率相匹配传输给终端进行存储，以备后续信息查找。
88.如图5所示，在该实施例中，月台相机可以包括视频获取模块、通信模块、数据处理模块、发送模块以及存储模块。其中：
89.视频获取模块用于获取布防区域的视频信息。
90.通信模块用于将视频获取模块获取的视频信息发送给数据处理模块。
91.示例性的，通信模块可以包括图像传输线或其它适合的传输介质和设备。
92.数据处理模块可以包括嵌入式板卡的数字信号处理器、解码器和存储器，在工作时，嵌入式板卡可完成对图像信息的处理，并且数据处理模块支持双通道信息上传，分别将检测信息上传至存储模块和发送模块。
93.发送模块通过将车辆车牌信息、月台信息和货物装卸率信息按照协议打包，并通过货物装卸率计算预计货物装卸完成时间一并发送至入口处的显示装置进行显示。
94.如图6所示，入口处的显示装置可以包括接收模块、数据处理模块以及显示模块；其中：
95.接收模块接收到来自月台相机发送过来的信息通过协议解析出，包括车辆车牌信息、月台信息、货物装卸率和预计货物装卸完成时间。
96.数据处理模块对所接收到的数据进行处理，转换成显示模块能够显示的数据进行出入口显示。显示信息包括月台信息、车辆车牌、当前货物装卸率和预计装卸完成时间，为后续车辆进行指引提醒，实现物流园区月台装卸货物的智能调度。
97.如图7所示，在该实施例中，视频获取模块获取月台作业的视频数据。数据处理模块从获取到的月台作业的视频数据的每一帧图像中提取识别辅助信息(用于基于边缘检测算法进行车尾检测的辅助信息)，若根据识别辅助信息检测到图像中出现车尾，则对后续图像进行检测并生成月台作业信息参数。
98.在工作时，视频获取模块将所获得的视频数据不间断地通过通信模块传输至数据处理装置。
99.示例性的，视频获取模块可以为枪机摄像机，但应该认识到，视频获取模块不限于摄像机，也可以是其它任何可拍摄并对外输出视频流的设备。
100.在该实施例中，月台监控包括月台触发和月台作业。其中：
101.月台触发流程可以包括：视频获取模块获取月台停车视频流，将所述停车视频流通过通信模块发送至数据处理模块。
102.数据处理模块从视频流中的每一帧图像中提取辅助信息，根据辅助信息判别图像中是否出现车尾。若否则从下一帧图像中提取辅助信息，并根据辅助信息判别图像中是否出现车尾；若是，则数据处理模块对后续图像进行检测并生成月台停车信息参数，如车牌信息、货物装卸率等。
103.如图8所示，完整的进车触发流程包括：当车辆刚进入视频中的布防区域a时，判断是否为车尾，如果判断为车尾则抓拍一张，当车辆到达布防区域b时，抓拍第二张。当车辆在布防区域b中停留一定时间(如20秒时)，根据车牌算法识别出车辆车牌号码，同时进行进车触发上报。进车触发一般包括左侧倒车入库和右侧倒车入库。
104.完整的出车触发流程包括：当车辆在布防区域b中由静变动时，抓拍第一张图片，当车辆到达布防区域a时，抓拍第二张图片，同时获取车辆车牌，同时进行出车触发上报，出车触发一般包括左侧出库和右侧出库。
105.在该实施例中，进车触发的车尾检测流程包括：在图像的布防区域中选取比较区域，若比较区域内的某一行的边缘点数目大于第一边缘点阈值，则确定该区域出现车尾特征。在出现车尾特征的情况下，对车尾特征进行记录和跟踪，直至确定车尾特征到达月台停车位停稳。同理可获得出车触发。
106.示例性，可根据需求采用相应的边缘检测方法，常用的边缘检测方法包括
roberts、sobel、canny、log等。对抓拍到的图像预定区域内进行扫描，在扫描的过程中通过边缘检测获得预定区域内的边缘点，既邻域灰度变换明显的点，并将其数目作为辅助信息用于后续处理。
107.在实际使用中，在车辆进入月台作业，通过每30秒抓拍一张图片进行图像输入，通过目标检测算法，常用的目标检测算法有r-cnn(selective search+cnn+svm)、spp-net(roi pooling)、fast r-cnn(selective search+cnn+roi)、faster r-cnn(rpn+cnn+roi)、r-fcn。
108.以采用faster r-cnn(rpn+cnn+roi)目标检测算法为例。首先将需要检测的图片输入cnn，得到特征图。其次将卷积特征输入到rpn，得到候选框信息，对候选框中提取出的特征，使用分类器判别是否属于一个特征类。最后对于某一类别的候选框，用回馈器进一步调整其位置。
109.使用上述方法可以分别实现人员人脸信息、车门信息和货物装卸率信息的识别。
110.本技术实施例中，通过获取装卸货场所的月台监控视频，基于月台监控视频，获取各月台车位内的车辆的货物装卸率，并基于各月台车位内的车辆的货物装卸率，确定各月台车位内的车辆的货物装卸完成时间，并基于各月台车位内的车辆的货物装卸完成时间，以及车辆关联的月台车位，对装卸货场所内的车辆运行进行控制，减少了装卸货场所内的拥堵发生，提高了装卸货的效率以及各月台的装卸货使用率。
111.以上对本技术提供的方法进行了描述。下面对本技术提供的装置进行描述：
112.请参见图9，为本技术实施例提供的一种月台监控装置的结构示意图，如图9所示，该月台监控装置可以包括：
113.第一获取单元，用于所述装卸货场所的月台监控视频；
114.第二获取单元，用于基于所述月台监控视频，获取各月台车位内的车辆的货物装卸率；
115.确定单元，用于基于各月台车位内的车辆的货物装卸率，确定各月台车位内的车辆的货物装卸完成时间；
116.控制单元，用于基于各月台车位内的车辆的货物装卸完成时间，以及车辆关联的月台车位，对所述装卸货场所内的车辆运行进行控制。
117.在一个实施例中，所述第二获取单元基于所述月台监控视频，获取各月台车位内的车辆的货物装卸率，包括：
118.当在月台监控视频中检测到车辆时，识别该车辆的进出状态；
119.若该车辆的进出状态为进车，则当该车辆在月台车位内停车后，每隔预设时间提取一帧对应的监控视频帧，并基于该监控视频帧获取该车辆的货物装卸率。
120.在一个实施例中，所述第二获取单元识别该车辆的进出状态，包括：
121.当在监控画面中检测到车尾时，对该车尾进行跟踪，并当该车尾依次通过监控画面中的远处的第一区域和近处的第二区域时，确定该车辆的进出状态为进车；
122.当在监控画面中检测到车尾，对该车尾进行跟踪，并当该车尾依次通过监控画面中的所述第二区域和所述第一区域时，确定该车辆的进出状态为出车。
123.在一个实施例中，所述控制单元基于各月台车位内的车辆的货物装卸完成时间，以及车辆关联的月台车位，对所述装卸货场所内的车辆运行进行控制，包括：
124.通过所述装卸货场所的入口处指定区域部分的显示装置对各月台车位内的车辆的货物装卸完成时间，以及车辆关联的月台车位进行展示。
125.在一个实施例中，所述获取单元获取装卸场所内的月台监控视频之后，还包括：
126.基于获取到的月台监控视频进行人脸检测；
127.当检测到人脸时，对该人脸进行识别；
128.基于人脸识别结果生成人脸识别记录。
129.对应地，本技术还提供了图9所示装置的硬件结构。参见图10，该硬件结构可包括：处理器和机器可读存储介质，机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本技术上述示例公开的方法。
130.基于与上述方法同样的申请构思，本技术实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本技术上述示例公开的方法。
131.示例性的，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram(radom access memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
132.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播报器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
133.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
134.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
135.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
136.而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一
个方框或者多个方框中指定的功能。
137.这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
138.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。