一种判断车辆到离港事件的方法、系统及设备与流程

本发明一般涉及物流领域，尤其涉及一种判断物流车辆到离港事件的方法、系统及设备。

背景技术

在物流路径智能优化过程中，通常使用运筹学的方法来规划路径，但规划出路径后，需要对运筹学优化的结果进行检测。为了检测优化结果，一般采用的都是人工检测方法，就是需要外派人员到各装卸口和停车场出入口进行车辆的到离港登记，再人工输入后台。

这种人工检测方法的缺点是：1)外派人员的食宿成本居高不下，且检验周期十分漫长，多则一季度，少则一个月，效率低；2)对于大型物流企业来说，中转场数量繁多，且分布在各地，每个装卸口便多达100个，采用人工检测的方法，需要外派大量人员，而一个工作日只能记录一个装卸口的到离港情况，整个过程需要耗费大量的人力物力，且人员容易疲劳，很容易丢失事件的记录；3)检测周期过长导致反馈周期拉长，进而导致优化周期变长，从而无法在短时间内给出一个合理值。

技术实现要素：

为了解决上述技术问题，本发明的目的在于提供一种判断车辆到离港事件的方法、系统及设备。

根据本发明的第一方面，提供了一种判断车辆到离港事件的方法，包括：

s1、基于深度神经网络检测视频图像中的目标车辆，并获取所述目标车辆的信息，所述信息包括所述目标车辆在视频图像中的包络框及所述包络框的坐标；

s2、通过不同时刻及其对应的所述包络框的坐标获取所述目标车辆的面积梯度；

s3、输入所述目标车辆的面积梯度到设定的有限状态自动机，通过所述有限状态自动机的状态转换函数，输出所述目标车辆的下一状态；

s4、若输出所述目标车辆的状态为离港状态，则将有关所述目标车辆的信息输入到存储中心；若输出所述目标车辆的状态为其它设定的状态，则重复步骤s1-s3，直至输出的状态为离港状态。

进一步的，利用训练好的深度神经网络检测视频图像中目标车辆的车尾，获取所述车尾的包络框。

进一步的，通过视频图像中所述车尾的包络框底边中点轨迹的延长线和视频图像底边的交点判断车辆所属车道。

进一步的，所述目标车辆在视频图像中的包络框包括通过深度神经网络逐帧检测到的所述目标车辆在视频图像中的连续轨迹的包络框。

进一步的，所述包络框的坐标通过摄像头的位置及所述包络框在视频图像中的位置共同确定。

进一步的，所述目标车辆的面积梯度包括所述目标车辆连续轨迹中开始与结束时包络框的第一面积梯度和所述目标车辆连续轨迹中最小与最大包络框的第二面积梯度。

进一步的，所述设定的有限状态自动机为m，m＝(σ,s,s0,δ,f)：

所述σ是有限状态自动机的输入字母表，为所述目标车辆的面积梯度；

所述s是有限集合，为有限状态自动机的当前状态，包括空闲状态、到港状态、停稳状态、离港状态；

所述s0是有限状态自动机的初始状态，所述s0∈s；

所述δ是状态转移函数，为s与σ的迪卡尔乘积到s的映射；

所述f是有限状态自动机的终止状态。

进一步的，所述状态转化函数为：

若当前状态为空闲状态时，或所述第一面积梯度小于第一阈值，所述第二面积梯度小于第二阈值，且当前状态为离港状态时，则输出下一状态为空闲状态；

若当前状态为空闲状态，且所述第一面积梯度大于第一阈值，所述第二面积梯度小于第二阈值时，则输出下一状态为到港状态；

若当前状态为到港状态，且所述第二面积梯度大于第二阈值时，则输出下一状态为停稳状态；

若当前状态为停港状态，且所述第一面积梯度小于第一阈值，所述第二面积梯度小于第二阈值时，则输出下一状态为离港状态。

根据本发明的另一方面，本发明提供了一种判断车辆到离港事件的系统，包括：

目标车辆信息采集单元，配置用于通过深度神经网络检测视频图像中的目标车辆，并获取所述目标车辆的信息，所述信息包括所述目标车辆在视频图像中的包络框及所述包络框的坐标；

目标车辆面积梯度获取单元，配置用于通过不同时刻及其对应的所述包络框的坐标获取所述目标车辆的面积梯度；

目标车辆状态输出单元，配置用于输入所述目标车辆的面积梯度到设定的有限状态自动机，通过所述有限状态自动机的状态转换函数，输出所述目标车辆的下一状态；

目标车辆信息存储单元，配置用于若目标车辆状态输出单元输出所述目标车辆的状态为离港状态，则将有关所述目标车辆的信息输入到存储中心，若否，则目标车辆信息存储单元依次驱动运行目标车辆信息采集单元、目标车辆面积梯度获取单元、目标车辆状态输出单元，直至输出的状态为离港状态，并将有关所述目标车辆的信息输入到存储中心。

进一步的，目标车辆信息采集单元，还配置用于利用训练好的深度神经网络检测视频图像中目标车辆的车尾，获取所述车尾的包络框。

进一步的，目标车辆信息采集单元，还配置用于通过视频图像中车辆的包络框下方中点轨迹的延长线和视频图像底边的交点判断车辆所属的车道。

进一步的，目标车辆信息采集单元获取的信息还包括：

所述目标车辆在视频图像中的包络框包括通过深度神经网络逐帧检测到的所述目标车辆在视频图像中的连续轨迹的包络框。

进一步的，目标车辆信息采集单元，还配置用于所述包络框的坐标通过摄像头的位置及所述包络框在视频图像中的位置共同确定。

进一步的，目标车辆面积梯度获取单元获取的所述目标车辆的面积梯度信息包括：

所述目标车辆连续轨迹中开始与结束时包络框的第一面积梯度和所述目标车辆连续轨迹中最小与最大包络框的第二面积梯度。

进一步的，目标车辆状态输出单元，还配置用于设定所述有限状态自动机为m，m＝(σ,s,s0,δ,f)：

所述σ是有限状态自动机的输入字母表，为所述目标车辆的面积梯度；

所述s是有限集合，为有限状态自动机的当前状态，包括空闲状态、到港状态、停稳状态、离港状态；

所述s0是有限状态自动机的初始状态，所述s0∈s；

所述δ是状态转移函数，为s与σ的迪卡尔乘积到s的映射；

所述f是有限状态自动机的终止状态。

进一步的，目标车辆状态输出单元，还配置用于设定所述状态转化函数为：

若当前状态为空闲状态时，或所述第一面积梯度小于第一阈值，所述第二面积梯度小于第二阈值，且当前状态为离港状态时，则输出下一状态为空闲状态；

若当前状态为空闲状态，且所述第一面积梯度大于第一阈值，所述第二面积梯度小于第二阈值时，则输出下一状态为到港状态；

若当前状态为到港状态，且所述第二面积梯度大于第二阈值时，则输出下一状态为停稳状态；

若当前状态为停港状态，且所述第一面积梯度小于第一阈值，所述第二面积梯度小于第二阈值时，则输出下一状态为离港状态。

根据本发明的另一个方面，提供了一种设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一项所述的方法。

根据本发明的另一个方面，提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上任一项所述的方法。

与现有技术相比，本发明具有以下有益效果：

1、本发明示例的判断车辆到离港事件的方法，利用训练好的深度神经网络逐帧检测视频图像中目标车辆的车尾，并获取所述车尾的包络框；通过车尾的包络框底边中点的轨迹的延长线和视频画面底边的交点判断车辆所属的车道；通过不同时刻及其对应的包络框的坐标获取目标车辆的面积梯度；结合有限状态自动机，为目标车辆的面积梯度设置阈值，对目标车辆的状态进行判断；并将目标车辆到离港事件的信息输入到存储中心，这种判断方法快速有效，节省了人力物力，并且可以随时对信息进行回调，缩短了路径规划反馈的时间；同时，通过判断车辆所属车道的方法，在摄像头监控的图像中出现多个车道时，快速过滤掉非目标车辆运行的轨道，提高准确率和效率。

2、本发明示例的判断车辆到离港事件的系统，目标车辆信息采集单元，配置用于通过深度神经网络检测视频图像中的目标车辆，并获取所述目标车辆的信息，所述信息包括所述目标车辆在视频图像中的包络框及所述包络框的坐标；目标车辆面积梯度获取单元，配置用于通过不同时刻及其对应的所述包络框的坐标获取所述目标车辆的面积梯度；目标车辆状态输出单元，配置用于输入所述目标车辆的面积梯度到设定的有限状态自动机，通过所述有限状态自动机的状态转换函数，输出所述目标车辆的下一状态；目标车辆信息存储单元，配置用于若目标车辆状态输出单元输出所述目标车辆的状态为离港状态，则将有关所述目标车辆的信息输入到存储中心，若否，则目标车辆信息存储单元依次驱动运行目标车辆信息采集单元、目标车辆面积梯度获取单元、目标车辆状态输出单元，直至输出的状态为离港状态，并将有关所述目标车辆的信息输入到存储中心，通过上述单元相互协作，快速完成判断目标车辆到离港的事件，信息可靠便于回调，节省了人力物力，同时缩短了路径规划反馈的时间。

3.本发明示例的判断车辆到离港事件的检测设备、通过存储有计算机程序的计算机可读介质，所述程序被运行用于判断车辆到离港事件，不仅快速且信息可靠，大大节省了人力物力，缩短了路径规划反馈的时间。

附图说明

图1本发明流程图。

具体实施方式

为了更好的了解本发明的技术方案，下面结合具体实施例、说明书附图对本发明作进一步说明。

如图1所示，本实施例提供了一种判断车辆到离港事件的方法，包括如下步骤：

步骤s1中基于深度神经网络检测视频图像中的目标车辆，获取所述目标车辆的信息，所述信息包括所述目标车辆在视频图像中的包络框(boundingbox)及所述包络框的坐标。

其中，用于利用训练好的深度神经网络检测视频图像中目标车辆的车尾，获取所述车尾包络框的坐标，所述车辆所属车道的判断方法是通过视频图像中所述车尾的包络框底边中点轨迹的延长线和视频图像底边的交点所属的车道来进行判断的。

所述目标车辆在视频图像中的包络框包括通过深度神经网络逐帧检测到的所述目标车辆在视频图像中的连续轨迹的包络框。为了节约算力又能保证精确度，将视频的帧率设在6fps。

所述包络框的坐标通过摄像头的位置及所述包络框在视频图像中的位置共同确定。

通过深度神经网络检测到的目标车辆的每一个包络框用四个值来表示，分别是包络框的水平方向上最小的横坐标x0、水平方向上最大的横坐标x1、垂直方向上最小的纵坐标y0、垂直方向上最大的纵坐标y1。

车辆在运动的过程中，摄像头监控的图像中可能会出现多个车道，通过深度神经网络检测车辆所属的车道，可以过滤掉非目标车辆运行的轨道，提高准确率和效率。

在做路径规划的检测结果时，是通过视觉方法对成果进行验证的，而这些验证过程包含大量的视觉事件的识别，与现有技术相比，通过计算机的介入，不仅可以节省人力物力，而且记录的数据也不会丢失，同时由于计算机处理速度快，提高了路径规划的检测结果的处理速度。

深度神经网络由于其强大的检测功能被广泛用于各类物质的检测，本实施例示例的判断车辆到离港事件的方法，通过深度神经网络检测目标车辆，并把检测到的目标车辆的相关信息处理，为利用有限状态自动机运算提供了基础。

步骤s2中通过不同时刻及其对应的所述包络框的坐标获取所述目标车辆的面积梯度。

所述目标车辆的面积梯度包括所述目标车辆连续轨迹中开始与结束时包络框的第一面积梯度和所述目标车辆连续轨迹中最小与最大包络框的第二面积梯度。

计算方法为：取所述目标车辆连续轨迹中开始和结束时包络框的面积及相应的时刻，面积分别设为θ0、θn，时间分别设为t0、tn，求第一面积梯度δa，δa＝(θn-θ0)/(tn-t0)；

取所述目标车辆连续轨迹中包络框的最小面积和最大面积及其相对应的时刻，面积分别设为θmin、θmax，时间分别设为tmin、tmax，求第二面积梯度δb，δb＝(θmax-θmin)/(tmax-tmin)。

由于停港状态和离港状态的时间间隔不同，对时间间隔进行归一化处理，即所有到离港时间间隔一样长，本实施例中对时间间隔归一化到1.0，那么就可以把时间省略，计算公式中只剩分母，由于在检测目标车辆的时候，是通过训练好的深度神经网络对车辆的车尾厢进行检测的，为了让所有车尾厢大小一样，对分母中的减数进行归一化处理，本实施例中依旧归一化到1.0，公式分别简化为：

δa＝θn/θ0-1；δb＝θmin/θmax-1，

由于要为第一、第二面积梯度分别设定阈值，只要将设定的阈值分别加1.0，就是第一阈值和第二阈值，最后公式简化为：

第一面积梯度δa，δa＝θn/θ0；

第二面积梯度δb，δb＝θmin/θmax。

步骤s3中输入所述目标车辆的面积梯度到设定的有限状态自动机，通过所述有限状态自动机的状态转换函数，输出所述目标车辆的下一状态。

所述设定的有限状态自动机为m，m＝(σ,s,s0,δ,f)：

所述σ是有限状态自动机的输入字母表，为所述目标车辆的面积梯度；

所述s是有限集合，为有限状态自动机的当前状态，包括空闲状态、到港状态、停稳状态、离港状态；

所述s0是有限状态自动机的初始状态，所述s0∈s；

所述δ是状态转移函数，为s与σ的迪卡尔乘积到s的映射；

所述f是有限状态自动机的终止状态。

进一步的，所述状态转化函数为：

若当前状态为空闲状态时，或所述第一面积梯度小于第一阈值，所述第二面积梯度小于第二阈值，且当前状态为离港状态时，则输出下一状态为空闲状态；

若当前状态为空闲状态，且所述第一面积梯度大于第一阈值，所述第二面积梯度小于第二阈值时，则输出下一状态为到港状态；

若当前状态为到港状态，且所述第二面积梯度大于第二阈值时，则输出下一状态为停稳状态；

若当前状态为停港状态，且所述第一面积梯度小于第一阈值，所述第二面积梯度小于第二阈值时，则输出下一状态为离港状态。

本实施例中设置的第一阈值为1.0，第二阈值为0.5，但不仅限于本实例中所设定阈值。

关于有限状态自动机具体的操作过程为：

初始化一个有限态自动机(finitestatemachine):(σ,s,s0,δ,f)

其中，σ是输入字母表，为δa和δb；

s为当前状态；

s0为初始状态，设为idle；

δ为状态转换函数δ：s×σ→s

δ＝{idle，当s＝idle或δb<0.5，δa<1.0，且s＝departure

docking，当s＝idle且δb<0.5，δa>1.0

docked，当s＝docking且δb>0.5

departure，当s＝docked，且δb<0.5，δa<1.0}；

f为终态。

由于本实施例示例的判断车辆到离港事件的方法，是借助视觉方法对路径规划的成果进行验证的，这些验证过程包含对大量视觉事件的识别，通过有限状态自动机，不仅可以记录目标车辆当前的状态，还可以输出目标车辆的下一状态，有利于快速对目标车辆到离港事件进行判定，这些事件判定结果，极大的方便了业务部对现场进行监控和信息挖掘，在新时代智能物流的改造过程中形成了基础的支撑数据。

根据状态转换函数，只需要根据目标车辆在视频图像中连续轨迹的包络框的面积梯度与设定的阈值进行比较，很容易的判断出目标车辆当前和下一次的具体状态。

步骤s4中若输出所述目标车辆的状态为离港状态，则将有关所述目标车辆的信息输入到存储中心；若输出所述目标车辆的状态为其它设定的状态，则重复步骤s1-s3，直至输出的状态为离港状态。

在实际的业务场景中，每一辆车要经历一次到离港这种闭环过程，到离港闭环过程完成后，会继续进行对下一辆车到离港事件的判断，为了方便最后业务端集成事件效果，为每辆车设定一个id，在这辆车经历一次到离港的事件时，使用相同的id，事件判断完毕后，再为下次检测的车辆增加一个id字段，重复相同的操作，这样把所有的到离港事件判定后，把记录的时间和消息主体发送到事件中心，其他的业务部门可以订阅相关装卸口的物流事件，大大的提高了效率。

为目标车辆设定身份识别信息的好处是可以方便把有关其所有的信息记录到存储装置中，方便集成事件效果，检测优化成果，并且方便回调信息，也方便其他人查阅有关信息。

在使用有限状态自动机的过程中，有限状态自动机需要记录当前的状态，并根据状态转换函数输出下一个状态，而在实际操作的过程中，有些车辆可能长时间停靠在港口，对于这些车辆的处理是一个难题，本实施例通过计算得到面积梯度，并未其设定阈值，方便对这些静止车辆进行处理，这样分辨出这些静止车辆后，不会把这些车辆记录到事件中心，且有限状态自动机的状态也不发生变化。

该系统具体组成单元用途与上述判断车辆到离港事件的方法，具体步骤对应，固不再赘述。

本实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一项所述的方法。

本实施例还提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上任一项所述的方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。