一种运输异常监测方法与流程

1.本公开涉及运输及图像识别技术领域，尤其涉及一种运输异常监测方法。


背景技术：

2.焦化产业是国家能源产业的重要组成部分，其中，焦化厂作为炼焦产业的炼焦工厂，通过构建智能化得焦煤运输监测系统对提升焦化厂监测准确性、提高运输效率、节约人力成本具有重要价值。
3.焦化厂焦煤运输分为煤炭运输和焦炭运输。如图2所示，工厂在厂区出入口设置焦车通道、煤车通道以及其余车辆通道，首先，煤车装载煤炭通过煤车通道进去工厂，到煤仓卸掉煤炭，然后空车从煤车通道离开，焦化厂会在煤车通道口对出入的煤车车牌以及装载情况做检查和登记。焦车相反，焦车空车从焦车通道空车进入厂区，然后进入焦仓，装载焦炭以后从煤车通道离开，其在厂门口的焦车通道也需要停车接受检测和记录。
4.现有的监测方法主要是人工监测，具体方法是：当焦煤运输车辆通过对应通道时，需要停车等待检查；待车停稳后，焦化厂工作人员通过地磅以及人为观察的方式对车辆装载情况进行监测并记录。但由于车辆高度、环境光线、人为因素等原因，会导致监测错误；同时该方案无法监测车辆轨迹，异常状况分析困难，不利于后期分析定位；而人员的24h值守需要耗费一定的人力成本。


技术实现要素：

5.为克服相关技术中存在的问题，本公开提供一种运输异常监测方法。
6.根据本公开实施例的第一方面，提供一种运输异常监测方法，包括：
7.分别获取经过第一目的地和第二目的地的车辆的监控视频的图像帧并进行图像识别，得到第一图像识别结果和第二图像识别结果；
8.根据所述第一图像识别结果和第二图像识别结果确定经过所述第一目的地和第二目的地的相同车辆；
9.分别获取该车辆先后两次经过所述第一目的地时的第一车重测量值和第二车重测量值；
10.若所述第一车重测量值小于所述第二车重测量值，则生成运输异常提示。
11.根据本公开实施例的第二方面，提供一种运输异常监测方法，包括：
12.分别获取经过第四目的地和第五目的地的车辆的监控视频的图像帧并进行图像识别，得到第四图像识别结果和第五图像识别结果；
13.根据所述第四图像识别结果和第五图像识别结果确定经过所述第四目的地和第五目的地的相同车辆；
14.分别获取该车辆先后两次经过所述第四目的地时的第三车重测量值和第四车重测量值；
15.若所述第三车重测量值大于所述第四车重测量值，则生成运输异常提示。
16.根据本公开实施例的第三方面，提供一种终端设备，包括：
17.处理器；以及
18.存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
19.根据本公开实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
20.本公开的实施例提供的技术方案可以包括以下有益效果：通过图像识别技术，确定经过规定运输路线的两个目的地的同一车辆及该车辆先后两次经过第一个目的地时获取的车重测量值，通过车重测量值的比较结果判断是否存在运输异常，进而生成相应提示信息，从而完成车辆运输的自动检测，大大提高了检测效率，并降低了工作人员的工作负担。
21.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
22.通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
23.图1是根据本公开一示例性实施例示出的一种运输异常监测方法的流程示意图；
24.图2是焦化厂运输路线布局示意图；
25.图3是焦化厂煤车及焦车通道设备部署示意图；
26.图4是根据本公开一示例性实施例示出的另一种运输异常监测方法的流程示意图；
27.图5是焦煤运输异常监测流程图；
28.图6是根据本公开一示例性实施例示出的一种计算设备的结构示意图。
具体实施方式
29.下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
30.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
31.应当理解，尽管在本公开可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以
被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
32.下面对本发明实施例的应用场景作具体说明，焦化厂门口的煤车通道和焦车通道分别部署地磅、入厂监测摄像头、出厂监测摄像头以及装载监测摄像头，其他通道安装一个出厂监测摄像头，所有摄像头只能读取本通道车牌，其余通道车辆以及路过车辆车牌不在摄像头视角范围内，所有设备通过网络传输数据。
33.如图3所示，摄像头a、b分别用于拍摄煤车通道、焦车通道的入口区域，摄像头a、b分别用于拍摄煤车通道、焦车通道的出口区域，摄像头c、d分别用于拍摄煤车、焦车的车斗图像，摄像头e用于拍摄其他通道的图像，摄像头c、d分别用于拍摄煤仓和焦仓的入口区域，服务器通过rstp协议获取各个摄像头的监控视频，此外，煤车通道和焦车通道分别有一个地磅f，用于测量车重，服务器同样可获取地磅的车重测量值。
34.本公开提供了一种运输异常监测方法，通过图像识别技术，确定经过规定运输路线的两个目的地的同一车辆及该车辆先后两次经过第一个目的地时获取的车重测量值，通过车重测量值的比较结果判断是否存在运输异常，进而生成相应提示信息，从而完成车辆运输的自动检测，大大提高了检测效率，并降低了工作人员的工作负担。
35.以下结合附图详细描述本公开实施例的技术方案。
36.图1是根据本公开一示例性实施例示出的一种运输异常监测方法的流程示意图。该方法针对于煤车装载煤炭通过煤车通道进去工厂，到煤仓卸掉煤炭，然后空车从煤车通道离开的整个运输过程进行监测。
37.参见图1，
38.该方法包括：
39.101、分别获取经过第一目的地和第二目的地的车辆的监控视频的图像帧并进行图像识别，得到第一图像识别结果和第二图像识别结果；
40.102、根据所述第一图像识别结果和第二图像识别结果确定经过所述第一目的地和第二目的地的相同车辆；
41.具体的，步骤101和102中，可采用hyperlpr等算法实现相同车辆的确定，具体的，首先通过目标检测算法定位车头车牌信息，然后通过ocr算法识别车牌信息，根据车牌信息来确定相同车辆。该算法可分辨车头和车尾，避免出入车辆误识别，并且，摄像头采集1920*1080分辨率图像信息，保证车牌清晰可见，同时模型提取图像中车牌出现区域(宽w(10％～85％)，高h(60％～85％)范围内)的图像信息输入卷积模型，降低计算量，提高计算速度，确保车牌实时检测。
42.以煤车监测为例，步骤101和102的目的在于定位经过煤车通道和煤仓入口的相同车辆。
43.103、分别获取该车辆先后两次经过所述第一目的地时的第一车重测量值和第二车重测量值；
44.104、若所述第一车重测量值小于所述第二车重测量值，则生成运输异常提示。
45.具体的，仍然以煤车监测为例，由于煤车是满载入厂，空车出厂，因此煤车在进入煤车通道时的车重测量值应当大于煤车在离开煤车通道时的车重测量值，否则即为煤车卸
煤异常。
46.可选地，在该实施例中，该方法还包括：
47.105、分别获取该车辆先后两次经过所述第一目的地时的第一时间和第二时间；
48.106、若所述第一车重测量值小于所述第二车重测量值，且所述第二时间减去所述第一时间的差值小于预设时差阈值，则生成运输异常提示。
49.具体的，仍然以煤车监测为例，由于摄像头监测会产生大量的视频数据，如果全部进行识别比对则会对服务器造成很大的工作压力，本实施例中，可通过采集与煤车第一次经过煤车通道的时间之后一定时间范围内的煤车通道的图像来进行比对分析，从而降低服务器的工作压力，具体的时间范围可根据各个工厂的运输管理规则决定。
50.可选地，在该实施例中，该方法还包括：
51.107、根据所述第一图像识别结果判断首次经过所述第一目的地的车辆是否为空载状态，若是，则生成运输异常提示。
52.具体的，仍然以煤车监测为例，煤车第一次经过煤车通道时，不应当是空载状态，否则为煤车空载异常。该步骤中，服务器对设置于煤车通道顶部的摄像头c拍摄的车辆车斗内图像进行目标检测，根据检测结果判断车辆的装载情况(满载、空载)，这里的目标检测方法可采用yolov4等现有算法实现，本实施例对此不做限定。
53.另外，为了进一步核实煤车第二次经过煤车通道离开工厂时是否空载，可选地，在该实施例中，该方法还包括：
54.108、根据所述第一图像识别结果判断第二次经过所述第一目的地的车辆是否为空载状态，若否，则生成运输异常提示。
55.可选地，在该实施例中，该方法还包括：
56.109、获取经过第三目的地的车辆的监控视频的图像帧并进行图像识别，得到第三图像识别结果；
57.110、根据所述第一图像识别结果和第三图像识别结果判断同一车辆是否依次经过所述第一目的地和第三目的地，若是，则生成运输异常提示。
58.具体的，仍然以煤车监测为例，煤车应当从煤车通道进入，并从煤车通道离开，而不能从焦车车通道和其他通道离开，若根据图像识别结果判断煤车从煤车通道进入，而从焦车通道离开，则为煤车运输路线异常，从其他通道离开，则为煤车逃逸异常。
59.可选地，在该实施例中，该方法还包括：
60.111、分别获取同一车辆在经过所述第一目的地和第三目的地时的第一时间和第三时间；
61.112、若判断同一车辆依次经过所述第一目的地和第三目的地，且所述第三时间减去所述第一时间的差值小于预设时差阈值，则生成运输异常提示。
62.具体的，仍然以煤车监测为例，由于摄像头监测会产生大量的视频数据，如果全部进行识别比对则会对服务器造成很大的工作压力，本实施例中，可通过采集与煤车经过煤车通道的时间之后一定时间范围内的焦车通道的图像来进行比对分析，从而降低服务器的工作压力，具体的时间范围可根据各个工厂的运输管理规则决定。
63.图4是根据本公开一示例性实施例示出的另一种运输异常监测方法的流程示意图。该方法针对于焦车通过焦车通道空车进入工厂，到焦仓装载焦炭，然后从焦车通道离开
的整个运输过程进行监测。
64.参见图4，
65.该方法包括：
66.401、分别获取经过第四目的地和第五目的地的车辆的监控视频的图像帧并进行图像识别，得到第四图像识别结果和第五图像识别结果；
67.402、根据所述第四图像识别结果和第五图像识别结果确定经过所述第四目的地和第五目的地的相同车辆；
68.具体的，步骤401和402中，可采用hyperlpr等算法实现相同车辆的确定，具体的，首先通过目标检测算法定位车头车牌信息，然后通过ocr算法识别车牌信息，根据车牌信息来确定相同车辆。该算法可分辨车头和车尾，避免出入车辆误识别，并且，摄像头采集1920*1080分辨率图像信息，保证车牌清晰可见，同时模型提取图像中车牌出现区域(宽w(10％～85％)，高h(60％～85％)范围内)的图像信息输入卷积模型，降低计算量，提高计算速度，确保车牌实时检测。
69.以焦车监测为例，步骤401和402的目的在于定位经过焦车通道和焦仓入口的相同车辆。
70.403、分别获取该车辆先后两次经过所述第四目的地时的第三车重测量值和第四车重测量值；
71.404、若所述第三车重测量值大于所述第四车重测量值，则生成运输异常提示。
72.具体的，仍然以焦车监测为例，由于焦车是空车入厂，满载出厂，因此焦车在第一次经过焦车通道时的车重测量值应当大于焦车在第二次焦车通道时的车重测量值，否则即为焦车装载异常。
73.可选地，在该实施例中，该方法还包括：
74.405、分别获取同一车辆先后两次经过所述第四目的地时的第四时间和第五时间；
75.406、若所述第三车重测量值大于所述第四车重测量值，且所述第五时间减去所述第四时间的差值小于预设时差阈值，则生成运输异常提示。
76.具体的，仍然以焦车监测为例，由于摄像头监测会产生大量的视频数据，如果全部进行识别比对则会对服务器造成很大的工作压力，本实施例中，可通过采集与焦车第一次经过焦车通道的时间之后一定时间范围内的焦车通道的图像来进行比对分析，从而降低服务器的工作压力，具体的时间范围可根据各个工厂的运输管理规则决定。
77.可选地，在该实施例中，该方法还包括：
78.407、根据所述第四图像识别结果判断首次经过所述第四目的地的车辆是否为空载状态，若是，则生成运输异常提示。
79.具体的，仍然以焦车监测为例，焦车第一次经过焦车通道时，应当是空载状态，否则为焦车空载异常。该步骤中，服务器对设置于焦车通道顶部的摄像头d拍摄的车辆车斗内图像进行目标检测，根据检测结果判断车辆的装载情况(满载、空载)，这里的目标检测方法可采用yolov4等现有算法实现，本实施例对此不做限定。
80.另外，为了进一步核实焦车第二次经过焦车通道离开工厂时是否满载，可选地，在该实施例中，该方法还包括：
81.408、根据所述第四图像识别结果判断第二次经过所述第四目的地的车辆是否为
满载状态，若否，则生成运输异常提示。
82.可选地，在该实施例中，该方法还包括：
83.409、获取经过第六目的地的车辆的监控视频的图像帧并进行图像识别，得到第六图像识别结果；
84.410、根据所述第四图像识别结果和第六图像识别结果判断同一车辆是否依次经过所述第四目的地和第六目的地，若是，则生成运输异常提示。
85.具体的，仍然以焦车监测为例，焦车应当从焦车通道进入，并从焦车通道离开，而不能从煤车通道和其他通道离开，若根据图像识别结果判断焦车从焦车通道进入，而从煤车通道离开，则为焦车运输路线异常，从其他通道离开，则为焦车逃逸异常。
86.可选地，在该实施例中，该方法还包括：
87.411、分别获取同一车辆在经过所述第四目的地和第六目的地时的第四时间和第六时间；
88.412、若判断同一车辆依次经过所述第四目的地和第六目的地，且所述第六时间减去所述第四时间的差值小于预设时差阈值，则生成运输异常提示。
89.具体的，仍然以焦车监测为例，由于摄像头监测会产生大量的视频数据，如果全部进行识别比对则会对服务器造成很大的工作压力，本实施例中，可通过采集与焦车经过焦车通道的时间之后一定时间范围内的焦车通道的图像来进行比对分析，从而降低服务器的工作压力，具体的时间范围可根据各个工厂的运输管理规则决定。
90.下面以煤车监测的一个具体实施例对本发明做进一步解释说明，如图5所示，首先，当煤车通道入口的摄像机a监测到车辆时，根据摄像机a采集的图像识别车辆的车牌信息p1和监测时间t1，同时通过摄像头c采集的图像识别车辆的装载情况l1(空载0，满载1)，并通过地磅记录此车辆重量w1；如果l1＝0，此时车辆装载情况为空载，系统报警煤车空载，如果l1＝1，系统记录上述p1、t1、l1、w1信息。
91.当煤仓入口摄像机c(图5)监测到车辆时，通过hyperlpr算法监测车牌信息p2以及当前时间点t2。
92.当车辆再次出现在煤车通道时，根据hyperlpr算法、yolov4算法以及地磅传感器，可生成此时车辆的车牌p13，装载l13，车重w13以及监测时间点t13等信息，系统首先根据车牌信息p13在时间范围
△
t查询该车牌车辆的信息，如果满足t13
‑
t1＜
△
t，p13＝p1，l13＝0，w13
‑
w1＜0，系统监测煤车运输正常，记录煤车运煤量w＝w13
‑
w1；如果满足p13＝p1，l13＝1，系统监测煤车卸煤异常。
93.当车辆出现在焦车通道时，系统监测生成此时车辆车牌p23，以及监测时间点t23等信息，系统首先根据车牌信息p23在时间范围
△
t查询该车辆相关信息，如果满足t23
‑
t1＜
△
t，p23＝p1，系统判定煤车路线异常。
94.当车辆出现在其他通道时，系统根据监控摄像头e推理出车牌信息p33、监测时间点t33。如果满足t33
‑
t1＜
△
t，p33＝p1，则系统判定煤车逃逸异常。
95.焦车运输监测可参考上述煤车监测流程，同样能够实现焦车载焦异常、焦车路线异常、焦车逃逸3种异常的监测。
96.综上，本发明通过上述方法，利用hyperlpr算法、yolov4算法监测车牌信息与装载信息，在厂区关键节点部署摄像头完成车辆信息监测，最后结合焦化厂实际运行信息综合
分析焦煤运输异常状况，实现自动化监测。该方案在解决焦煤特征不明显，无法通过常用图像算法监测的基础上实现了实时智能监测。节约了大量人力资源、提高了该场景的监测准确性、对焦化厂焦煤运输行业的发展具有重要意义。
97.图6是根据本公开一示例性实施例示出的一种计算设备的结构示意图。
98.参见图6，计算设备600包括存储器610和处理器620。
99.处理器620可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
100.存储器610可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)，和永久存储装置。其中，rom可以存储处理器620或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器610可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器610可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd
‑
rom，双层dvd
‑
rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro
‑
sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
101.存储器610上存储有可执行代码，当可执行代码被处理器620处理时，可以使处理器620执行上文述及的方法中的部分或全部。
102.上文中已经参考附图详细描述了本公开的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本公开实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本公开实施例装置中的模块可以根据实际需要进行合并、划分和删减。
103.此外，根据本公开的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本公开的上述方法中部分或全部步骤的计算机程序代码指令。
104.或者，本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本公开的上述方法的各个步骤的部分或全部。
105.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模
块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
106.附图中的流程图和框图显示了根据本公开的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
107.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。