一种装卸货识别监控系统的制作方法

1.本发明涉及物流行业及监控系统领域，具体涉及一种装卸货识别监控系统。


背景技术：

2.在物流行业尤其是快递物流行业，货物的运输往往需要经过多频次的装卸操作。例如物流车辆驶入货物储存仓库或货物中转场地，停靠指定装区域后由装卸搬运人员进行货物的装车或装卸货。在此过程中，车辆停靠时长、装卸人员实际操作时长以及车辆是否满载等情况，目前主要由人工控制、经验判断，容易出现车辆停靠时间过长、装装卸货不及时等问题。


技术实现要素：

3.以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
4.本发明的目的在于解决上述问题，提供了一种装卸货识别监控系统，通过控制模块对图像采集模块所采集的装卸货区域的监控图像进行分析，获取到图像分析结果，并通过消息模块向装卸货人员进行消息提示，从而实现了对装卸货区域的实时监控和控制，避免出现车辆停靠时间过长、装装卸货不及时等问题。
5.本发明的技术方案为：本发明提供一种装卸货识别监控系统，包括图像采集模块、控制模块和消息提醒模块；其中，
6.所述图像采集模块用于实时采集装卸货区域的监控图像，并将所述监控图像发送到所述控制模块；
7.所述控制模块用于对所述监控图像进行分析，获取图像分析结果；
8.所述消息提醒模块用于进行消息提示。
9.根据本发明的装卸货识别监控系统的一实施例，所述控制模块包括主控单元、存储单元、计算单元和接口单元；其中，
10.所述主控单元通过生成并发送控制指令控制其他单元工作；
11.所述存储单元用于存储控制模块接收的监控图像；
12.所述计算单元用于识别并分析所述监控图像，生成图像分析结果；
13.所述接口单元用于将图像分析结果发送到外部的消息提醒模块。
14.根据本发明的装卸货识别监控系统的一实施例，所述识别分析所述监控图像包括以下步骤：
15.基于监控图像识别装卸货区域的装卸货信息；其中，所述装卸货信息包括车牌号、车厢装载容量和装卸人员；
16.根据所识别的车牌号记录对应车辆到达装卸货区域时间；
17.对比前后时间点的车厢装载容量，分析车辆装卸货状态；
18.根据车辆装卸货状态发送提示消息。
19.根据本发明的装卸货识别监控系统的一实施例，所述车辆装卸货状态包括正在装货、正在卸货、装货完成或卸货完成。
20.根据本发明的装卸货识别监控系统的一实施例，所述存储单元还用于存储图像识别与分析算法，所述计算单元通过所述图像识别与分析算法识别并分析所述监控图像。
21.根据本发明的装卸货识别监控系统的一实施例，所述图像识别与分析算法为yolo算法，通过预设的车辆检测类别和车辆装载状态分析所述监控图像。
22.根据本发明的装卸货识别监控系统的一实施例，所述检测类别包括货物、车厢和中空区域，所述车辆装载状态包括空载、1/4厢、1/2厢、3/4厢、满载；其中，所述yolo算法通过匹配提取的图像向量序列与预设的车辆装载状态，确定当前车辆装载状态。
23.根据本发明的装卸货识别监控系统的一实施例，所述yolo算法包括多个处理层；其中，所述处理层包括类概率和边界框，yolo算法通过多个处理层提取不同检测类别的图像特征。
24.本发明对比现有技术有如下的有益效果：本发明通过内置有图像识别与分析算法的控制模块对图像采集模块实时采集的装卸货区域的监控图像进行分析，从而获取到装卸货区域的图像分析结果，并根据图像分析结果向装卸货人员进行消息提示，从而避免出现车辆停靠时间过长、装装卸货不及时等问题。与现有技术中通过人工控制、经验判断等手段监控装卸货区域相比，具有高实时性、高效率等优点。
附图说明
25.在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
26.图1是示出本发明的装卸货识别监控系统一实施例的架构图。
27.图2是示出本发明监控图像识别分析方法一实施例的流程图。
具体实施方式
28.以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
29.在此公开一种装卸货识别的一实施例，图1示出了本发明的装卸货识别监控系统一实施例的架构图。如图1所示，装卸货识别监控系统包括图像采集模块、控制模块和消息提醒模块。其中，图像采集模块用于实时采集装卸货区域的监控图像，然后将采集到的监控图像发送到控制模块。控制模型接收到监控图像以后，对该监控图像进行识别分析，从而获取到图像分析结果。消息提醒模块则根据该图像分析结果对装卸货区域的人员进行消息提示。
30.具体地，本实施例中，采用监控摄像头作为图像采集装置，用于采集装卸货区域的监控图像。其中，图像采集装置可以是一个监控摄像头，也可以是两个监控摄像头，其安装部署位置需要满足摄像头的拍摄画面可以覆盖装卸货区域内车辆的车牌、车厢内部以及车
厢周围的适当区域。使用监控设置头拍摄装卸货区域内连续的监控视频，并实时同步发送到控制模块进行图像分析处理。
31.进一步地，本实施例中，控制模块包括主控单元、存储单元、计算单元和接口单元。其中，主控单元作为整个装卸货识别监控系统的控制模块，用于生成各种控制指令，控制其他功能模块和单元运行工作。存储单元则用于存储控制模块实时接收的监控图像，然后通过计算单元对该监控图像进行识别并分析，由此获取到相应的图像分析结果。
32.具体地，本实施例中，采用具有图形处理器(gpu)功能的微型计算机作为控制模块。在配置控制模块时，配置主控单元为中央处理器(cpu)，计算单元为图形处理器(gpu)，且微型计算机的配置需要达到nvidia jetson边缘计算系列的硬件性能，或者cpu、gpu等性能超过该配置的产品。与个人计算机(pc机)相比，本实施例的微型计算机具有成本低、体积小、运动便携等特点，而且同时具备高并发的图像处理功能，可以对监控图像进行分析处理。图2是示出本发明监控图像识别分析方法一实施例的流程图，请参照图2，下面是对监控图像识别分析方法各步骤的详细说明。
33.步骤s1：基于监控图像识别装卸货区域的装卸货信息；其中，装卸货信息包括车牌号、车厢装载容量和装卸人员。
34.本实施例中，存储单元除了用于存储控制模块接收的监控图像，还存储有图像识别分析算法，计算单元使用存储单元里提前写入的图像识别分析算法分析装卸货区域的监控图像。其中，图像识别分析算法以包裹目标检测为核心，分别对装卸货区域内的车辆、人和货物进行识别，从而获取到监控区域内的装卸货信息。
35.步骤s2：根据所识别的车牌号记录对应车辆到达装卸货区域时间。
36.步骤s3：对比前后时间点的车厢装载容量，分析车辆装卸货状态包括正在装货、正在卸货、装货完成或卸货完成。
37.根据车牌号以及车辆到达装卸货区域时间记录该车辆的初始车厢装载容量，用于与后续时间点的车辆装载容量进行对比，从而确定该车辆的装卸货状态。其中，车辆装卸货状态包括正在装货、正在卸货、装货完成或卸货完成，通过对比不同时间点的车辆装载容量，确定该车辆是处于装货状态还是卸货状态，以及完成装/卸货的时间点。
38.在一种实施方法中，图像识别分析算法基于yolo算法，使用不同的处理层来识别并分析货物装/卸载过程的图像中的人、货物、车辆，通过预测多个处理层(网格)的类概率和边界框，实现图像中不同物体的抽象化、特征化的提取。且yolo算法相比于其他图像分析算法，具有更强的全局性和上下文提取能力，可以更优地达到本发实施例的图像识别和分析目标。因此，采用基于yolo算法的图像识别分析算法，可以对实时获取的货物装/卸载过程的图像中的人员、货物、车辆进行识别分析，从而获取到装卸货区域内的车辆的装卸货状态。
39.具体地，本实施例中，存储单元还存储有不同车辆装载状态下车辆不同方位的图像，其中，车辆装载状态为空载、1/4厢、1/2厢、3/4厢、满载等等。在对监控图像中图像的车辆状态进行分析时，首先根据预设的固定图像抽取时间，然后按照时间顺序从存储于存储单元的监控图像中抽取对应时间点的图片，最后根据预设的车辆检测类别和车辆装载状态按照时间顺序对比分析前后时间点的车辆图片，对所提取图片的向量序列与匹配的预设的车辆装载状态进行匹配，从而确定所识别车辆的车辆是装货还是卸货。其中，车辆检测类别
包括货物、车厢、中空区域，通过对比车厢内的货物装载量以及中空区域大小，可以判断所识别的车辆是否完成卸货或者装货。例如，若车辆到达装卸货区域时车厢内的货物装载量为满厢，对比后续不同时间点发现车厢内装载量不断减少，中空区域越来越大，则该车辆为卸货。当识别到车厢空置的时候，该车辆完成卸货，记录当前时间点作为完成卸货行为的结束时间。若车辆到达装卸货区域时车厢内的货物装载量为空厢对比后续不同时间点发现车厢内装载量不断增加，中空区域越来越小，则该车辆为装货。当识别到车厢满载的时候，该车辆完成装货。
40.此外，本实施例中，图像识别分析算法除了可以对比前后时间点车厢的获取装载量来判断车辆的装卸货行为以及状态，还可以对监控图像内的装卸货人员进行标记，通过判断监控区域内是否有人员对车辆进行装货行为或者卸货行为来判断该车辆的装卸货行为的起止时间。以装货为例，当识别到监控区域有人员开始对车辆进行操作时，首先对该人员进行标记，并记录该初始操作时间点以及车厢内的初始货物装载量。接着按照预设的间隔时间抽取后续监控录像中的图片，将第一个间隔时间点的图片中车厢内的货物装载量与初始货物装载量进行对比。若第一个间隔时间点的图片中车厢内的货物装载量小于初始货物装载量，则判断此次操作为装货行为，并将初始操作时间点记录为装货行为的开始时间。当识别到监控区域中该标记的人员停止对车辆进行装货，且车厢满载的时，则记录当前时间点作为完成装货行为的结束时间。通过对装卸货人员打标签的计时方法，可以避免监控图像中出现其他无关人员而误判装卸货起止时间，有利于节约系统的计算资源，提高监控的准确性。
41.在另一种实施方式中，控制模块的存储单元分别针对装卸货人员的装货动作和卸货动作预存储了相应的动作图像，用于与监控图像中人员的动作进行对比。若图像分析算法计算发现监控图像中人员的动作与所存储的装货动作相匹配，例如相似度达到了85％以上，则判断该操作为装货动作。若若图像分析算法计算发现监控图像中人员的动作与所存储的卸货动作相匹配，例如相似度达到了85％以上，则判断该操作为卸货动作。系统管理员可以通过设置匹配的相似度值，来控制监控的精准度。
42.步骤s4：根据车辆装卸货状态发送提示消息。
43.本实施例中，控制模块针对车辆装卸货状态预设了多种发出提醒或警报的场景。计算单元计算获取到图像分析结果后，控制模块将图像分析结果中的车辆装卸货状态与发出提醒或警报的场景进行匹配，从而对装卸货相关人员或设备发出提醒或警报。具体地：
44.(1)当同一车牌号的物流车辆持续停靠在指定的装卸货区域时间过长，例如超出3小时，则控制模块通过接口单元将装货或卸货超时的相关提醒或警报发送到消息提醒模块对装卸货人员进行提示。
45.(2)当车辆停靠在装卸货区域超过指定时长，例如超过30分钟，却没有人打开过车厢时，控制模块通过接口单元发出将该区域该车辆正在等待装卸货的操作提醒或警报发送到消息提醒模块对装卸货人员进行提示。
46.(3)当车辆完成卸货即车厢内已无货物，且车辆停靠在装卸货区域超过指定时长，例如超过10分钟时，控制模块通过接口单元将请车辆尽快驶离的操作提醒或警报发送到消息提醒模块对装卸货人员进行提示。
47.(4)当车辆完成装货即车厢已满，且车辆停靠在装卸货区域超过指定时长超出指
定时长，例如超过10分钟时，控制模块通过接口单元将请车辆尽快驶离的操作提醒或警报发送到消息提醒模块对装卸货人员进行提示。
48.本实施例中，消息提醒模块可以设置在控制模块内部，也可以设置在控制模块外部。当设置在控制模块内部时，消息提醒模块可以通过提前内置在控制器内部的扬声器播报设定好的语音提醒。当设置在控制器模块外部时，可以通过外部接口例如wifi、有线网络等，向外部系统或装置例如如手机app、web系统等发送消息提醒。此外，本实施例中，上述的指定时长也可以通过，使用外部系统或装置进行写入或修改。
49.提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。
50.本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
51.结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制模块、微控制模块、或状态机。处理器还可以被实现为计算设备的组合，例如dsp与微处理器的组合、多个微处理器、与dsp核心协作的一个或多个微处理器、或任何其他此类配置。
52.结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在asic中。asic可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
53.在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地
称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、dsl、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(cd)、激光碟、光碟、数字多用碟(dvd)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
54.提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。