一种托盘码放越界检测方法与流程

1.本发明涉及货场监控技术领域，具体涉及一种托盘码放越界检测方法。


背景技术：

2.近年来铁路货场安全事故频发，目前货运站场内主要通过人防手段对场内人员、车辆、货物、作业过程等进行管控，信息化、智能化程度水平较低，无论是监管力度还是监管效率都有待提高。当前虽然已经部署了传统的视频监控手段，但未充分发挥视频的优势，信息化建设需要进一步优化提升。
3.如中国专利cn111311630a，公开日2020年6月19日，一种在仓储管理中通过视频智能统计货物数量的方法，通过在视频监控的基础上，采用ssd算法和klt算法识别、跟踪流经仓库出入口区域的货物，以此来检测仓库货物数量的变动情况，使得货物统计的更加方便快速。具体地，先通过摄像头采集仓库出入口区域的监控视频。而后，获取监控视频的当前帧画面α和前一帧画面β，计算帧画面α与帧画面β之间的差异比例。当差异比例超过预设阈值，通过ssd算法和klt算法对帧画面α后的多帧帧画面进行货物数量检测。最后，统计出入仓库货物数量，并将统计的数量实时传输到可视化终端供管理人员查看和判断。其主要根据监控视频对货物数量进行检测，然而货物的仓储管理不止涉及数量的统计，对堆积货物的堆放也需有相应的限制措施，避免货物码放时出错越界导致倒塌造成人身安全事故的情况。


技术实现要素：

4.本发明要解决的技术问题是：目前的仓储管理视频监控方法缺少对货物是否码放越界进行检测，容易导致货物堆倒塌造成人身安全事故的技术问题。提出了一种能够监控货物的码放越界情况并能及时进行预警，避免货物倒塌造成人身安全事故的托盘码放越界检测方法。
5.为解决上述技术问题，本发明所采取的技术方案为：一种托盘码放越界检测方法，包括如下步骤：s1:搭建及训练自适应提升树级联分类器；s2:对监控视频中孤立的目标托盘进行过滤；s3:对视频中的托盘进行越界托盘检测分析，满足触发条件时进行报警。一种基于自适应提升树级联分类器的托盘越界报警方法，包括自适应提升树级联分类器的搭建，正负样本的选择及训练，孤立目标托盘的过滤和报警逻辑的控制方法。自适应提升树级联分类器是一组弱分类器加权之后形成的强分类器。提前制作好的正负样本，在迭代的过程中自适应地改变训练样本的分布，使得弱分类器聚焦在那些很难分的样本上；利用训练好的托盘分类器对货场托盘进行实时定位监测跟踪，对于货场中孤立散乱摆放的托盘需要进行过滤；利用训练好的托盘分类器对货场托盘进行实时定位检测跟踪，当监测到托盘是静止状态且超过警戒线的时长达到触发预设时间则报警一次，静止状态不改变则只报警一次。
托盘是在正常工作时被叉车、人等移动过程中越过警戒线的可以根据动态计时器的状态选择是否报警。实现了自动监督托盘在堆放过程中是否越过警戒线造成安全隐患，减小人为监督不及时的风险，提高了操作安全性，实现了货场作业过程中的安全高效的响应。
6.作为优选，步骤s2中孤立的目标托盘的过滤过程包括如下步骤：a1:启动算法；a2:推送一帧视频流送入托盘定位算法；a3:利用自适应提升树级联分类器进行托盘目标识别；a4:新建一张大小与原视频帧图片大小一样的纯黑图，把识别到的每个托盘的中心点坐标标注在纯黑图上，设置中心点位置的像素值；a5:使用结构单元进行形态学开运算；a6:设置卷积核，对标注的纯黑图进行卷积运算；a7:对卷积运算后的标注的纯黑图进行阈值二值化，将二值化后的图片作为掩模；a8:将视频的原图与掩模进行并集运算得到rio，将孤立的托盘位置全部清理掉。中心点位置像素值可以设置为255。
7.作为优选，步骤s3中报警的触发检测过程包括如下步骤：b1:算法启动后设置报警状态并置为false，设置静态计时器置为零，设置动态计时器置为零；b2:把一段间隔a之前的一帧和当前帧的视频流送入托盘推理算法中进行越界托盘检测；b3:若当前帧没有检测到越界托盘，则返回步骤b2，继续等待下一帧的视频流继续送入托盘推理算法中；b4:若当前帧检测到有越界托盘，则继续检测当前帧的越界托盘和当前帧的前一帧的越界托盘有无移动；b5:若检测到越界托盘在移动，则启动动态计时器开始计时，判断动态计时器是否达到预设的动态触发时间；如果达到触发时间则立即报警，并且动态计时器清零，报警状态置为false；如果没有达到动态触发时间则返回步骤b2，继续等待下一帧的视频流继续送入托盘推理算法中；b6:若检测到托盘没有移动，则动态计时器清零，并查看报警状态是否为false；若报警状态为false则启动静态计时器并判断静态计时器是否达到静态触发时间；若达到静态触发时间则报警，报警状态置为true，静态计时器清零；若没达到静态触发时间则不报警，返回步骤b2，继续等待下一帧的视频流继续送入托盘推理算法中。先把与当前帧存在一段间隔a的一帧和当前帧流送入托盘推理算法中用于对比分析，a可根据视频长度进行设定调整。可预先设置动态触发时间和静态触发时间例如5分钟10分钟等，达到相应的触发时间即进行报警，还可设置不同的报警方式例如不同的报警语音区分哪种计时器触发的报警。
8.作为优选，步骤b2中检测越界托盘的方法为：划分两条相交直线作为警戒线，通过警戒线上的三个点进行标定：先通过两点计算其中一条直线，计算方程式为：变换后得：
另一条直线的计算方程式为：其中(x1，y1)，(x2，y2)，(x3，y3)分别是警戒线上已知的三个点；通过托盘分类器检测定位到每个托盘的位置坐标(x,y)，把x分别带入到两条直线的计算方程式得到相应的值y
p1
和y
p2
，若y满足条件y》y
p1
和条件y》y
p1
两个判断条件中的至少一个，则判定有托盘发生了越界。将坐标y满足判断条件的托盘定为越界托盘。
9.作为优选，步骤a5中使用3*3或5*5的结构单元进行形态学开运算。通常在标注的纯黑图上使用3*3或5*5大小的结构单元进行形态学开运算。
10.作为优选，步骤a6中卷积核大小设为15*15到20*20之间，每个核元素大小为1除以卷积核长宽积。可设置卷积核大小设为15*15到20*20之间的某一种确定大小，每个核元素大小为1除以卷积核长宽积，用该卷积对上述标注的纯黑图进行卷积运算作为优选，步骤a7中二值化的阈值选择范围为200到230之间。二值化规则是通过设置阈值一般取200到230之间，大于阈值的置为255，不大于阈值的置为0。
11.本发明的实质性效果是：本发明包括自适应提升树级联分类器的搭建及训练，孤立目标托盘的过滤和报警逻辑的控制方法，自适应提升树级联分类器是一组弱分类器加权之后形成的强分类器。提前制作好的正负样本，在迭代的过程中自适应地改变训练样本的分布，使得弱分类器聚焦在那些很难分的样本上；利用托盘分类器对货场托盘进行实时定位监测跟踪，对于货场中孤立散乱摆放的托盘需要进行过滤；利用托盘分类器对货场托盘进行实时定位检测跟踪，当监测到托盘是静止状态且超过警戒线的时长达到触发预设时间则报警一次，静止状态不改变则只报警一次，且托盘是在正常工作状态被叉车、人等移动过程中越过警戒线时可以根据动态计时器的状态选择是否报警。实现了自动监督托盘在堆放过程中是否越过警戒线造成安全隐患，减小人为监督不及时的风险，提高了操作安全性，实现了货场作业过程中的安全高效的响应。
附图说明
12.图1为本实施例的级联分离器迭代示意图；图2为本实施例的孤立托盘过滤流程示意图；图3为本实施例的托盘越界报警逻辑流程示意图。
具体实施方式
13.下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。
14.一种托盘码放越界检测方法，包括如下步骤：s1:搭建及训练自适应提升树级联分类器；s2:对监控视频中孤立的目标托盘进行过滤；s3:对视频中的托盘进行越界托盘检测分析，满足触发条件时进行报警。
15.自适应提升树级联分类器是一组弱分类器加权之后形成的强分类器。提前制作好的正负样本，在迭代的过程中自适应地改变训练样本的分布，使得弱分类器聚焦在那些很难分的样本上。
16.包括如下步骤：(1-1)给定训练样本(x1,y1),...,(xi,yi),...,(xn,yn)，其中xi表示第i个样本，yi＝0表示为负样本，yi＝1表示为正样本。n为训练样本总数；(1-2)初始化训练样本的权重；(1-3)第一次迭代，首先训练一弱分类器，计算弱分类器的错误率；选取合适阈值，使得误差最小；更新样本权重；(1-4)经过t次循环后，得到t个弱分类器，按照评价每一个弱分类器的重要性的权重进行加权叠加，最终得到强分类器。
17.自适应提升树级联分类器的算法示意图如图1所示，一开始给定一系列的弱分类器每个弱分类器的初始权重由adaboost分配，adaboost为每个分类器分配一个权重alpha，alpha值基于每个弱分类器的错误率进行计算。每个样本的相对于同一个弱分类器的初始权重都是一样的。经过一轮迭代训练之后对于样本分类正确的权重降低，对于分错的样本权重提高。经过t轮迭代循环训练后，得到t个弱分类器，按照评价每一个弱分类器的重要性的权重进行加权叠加，最终得到强分类器。
18.本实施例将货场监控视频中货物堆的两个相邻的边划分为警戒线，正在搬运的货物作为孤立托盘，在运算时过滤掉，堆积在地面上超出警戒线货物视为越界托盘。
19.基于自适应提升树级联分类器的孤立托盘过滤的方法如图2所示，(2-1)启动算法；(2-2)推送一帧视频流送入托盘定位算法；(2-3)利用训练好的自适应提升树级联分类器进行托盘目标识别；(2-4)新建一张大小和原视频帧图片一样的纯黑图，把识别到的每个托盘中心点坐标标注在纯黑图片上，中心点位置像素值设置为255；(2-5)然后使用3*3或5*5的结构单元进行形态学开运算；(2-6)接着设置卷积核，大小设为15*15到20*20之间的某一种确定大小，每个核元素大小为1除以卷积核长宽积，用该卷积对上述标注的纯黑图进行卷积运算；(2-7)再对卷积运算后的标注图进行阈值二值化，二值化规则是通过设置阈值(一般是200到230之间)，大于阈值的置为255，不大于阈值的置为0，二值化后的图片作为掩模；(2-8)原图与步骤(2-7)产生的掩模进行并集运算得到rio，孤立的托盘位置全部清理掉。
20.利用训练好的托盘分类器对货场托盘进行实时定位监测跟踪，对于货场中孤立散乱摆放的托盘需要进行过滤，只监测整体堆放的托盘。一般根据托盘位置信息进行遍历判断每个托盘相对于其他托盘位置比较耗时，而且准确性也不能保证。通过把每个托盘中心点坐标标注在一张大小和原视频帧图片一样的纯黑图上，中心点位置像素值置为255，然后使用结构单元进行形态学开运算。接着设置卷积核，每个核元素大小为1/卷积核长宽积，对上述标注的纯黑图进行卷积运算。再对卷积运算后的标注图进行阈值二值化，二值化规则是通过设置阈值，大于阈值的置为255，不大于阈值的置为0。经过上述处理方法后，孤立的
托盘位置全部清理掉。
21.基于自适应提升树级联分类器的托盘越界报警方法如图3所示，(3-1)算法启动后设置报警状态并置为false，设置静态计时器置为零，设置动态计时器置为零；(3-2)把一段间隔前的一帧和当前帧的视频流送入托盘算法推理中；(3-3)如果当前帧没有检测到越界托盘，则返回到(3-2)继续等待下一帧的视频流继续送入托盘推理算法中；(3-4)如果检测到有越界托盘，则继续检测当前帧的越界托盘和前一帧的越界托盘有无移动；(3-5)如果托盘在移动则启动动态计时器开始计时，判断动态计时器是否达到预设的动态触发时间，可选择实际使用的任意时间；(3-6)如果没有达到动态触发时间则返回(3-2)继续等待下一帧的视频流继续送入托盘推理算法中；(3-7)如果达到触发时间则立即报警，并且动态计时器清零，报警状态位置false；(3-8)步骤(3-4)中如果托盘没有移动则动态计时器清零，并查看报警状态是否为false；(3-9)若报警状态为false则启动静态计时器并判断静态计时器是否达到静态触发时间，可选择实际使用的任意时间；(3-10)若达到静态触发时间则报警，并且报警状态置为true，静态计时器清零；(3-11)若没达到静态触发时间则不报警，返回步骤(3-2)继续等待下一帧的视频流继续送入托盘推理算法中。
22.利用训练好的托盘分类器对货场托盘进行实时定位检测跟踪，当监测到托盘是静止状态且超过警戒线的时长达到触发预设时间则报警一次，静止状态不改变则只报警一次。后面托盘是在正常工作时被叉车、人等移动过程中的越过警戒线可以根据动态计时器的状态选择是否报警。
23.所述警戒线是预先划定好的两条相交直线，通过三个点进行标定。通过两点可计算其中一条直线的方程式：变换后得：另一条直线方程同理得：其中(x1，y1)，(x2，y2)，(x3，y3)分别是警戒线上已知的三个点。
24.通过托盘分类器检测定位到每个托盘的位置坐标(x,y)，把x分别带入到两条直线的方程式得到相应的值y
p1
和y
p2
。若y》y
p1
和y》y
p2
至少一个满足，则判定有托盘发生了越界。
25.以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。