一种基于机器视觉跟踪的集装箱货柜车防吊起方法及系统与流程

本发明属于集装箱货柜车智能防吊起技术领域，具体涉及一种基于机器视觉跟踪的集装箱货柜车自主跟踪与防吊起预警方法。

背景技术：

随着全球集装箱运输的飞速发展，现代集装箱码头及堆场的作业越来越繁忙，工作环境越来越复杂。目前集装箱的起吊通常利用龙门吊或者轮胎吊，由于集装箱装卸作业的特殊性，在装卸过程中时常发生由于货柜车锁销未完全打开而将货柜车被集装箱一并带起的事件。在堆场上利用轮胎吊进行集装箱吊装作业时，一般情况下可以分为以下三种工况：(1)集装箱和货柜车分离，此时，集装箱和货柜车之间存在较为均匀的间隙，称之为“完全分离状态”；(2)集装箱和货柜车部分分离，即集装箱的一端与货柜车分离，而另一端未分离，此时，集装箱和货柜车之间存在一定的间隙，但是呈一边大一边小的三角形间隙，称之为“不完全分离状态”或“单边分离状态”；(3)集装箱和货柜车两端均未分离，此时集装箱和货柜车之间基本无间隙，称之为“完全不分离状态”。对于第(2)和第(3)种工况，严重时会导致损坏集装箱和卡车，甚至会发生司机伤亡事故。

为了防止货柜车和集装箱一并带起的事故发生，码头及堆场通常采用摄像头摄像技术，轮胎吊司机通过司机室显示器监视集装箱与货柜车的分离状况，起吊操作员通过话务机与司机沟通现场情况，靠人为操作避免事故的发生，即完全通过“人防”来避免事故的发生。当前，集装箱码头堆场面积大，作业车种多且车况复杂，对于大型的作业场地而言，机械设备的调配和管理非常重要，靠人容易引起疲劳和疏忽，而依靠传统无线对讲机来下达作业指令和传递生产信息存在诸多不便，极大地影响了作业效率。显然，当前的“人防”措施已经无法有效避免上述事故的发生。

由此，为了应对日益繁重和复杂的集装箱运输行业，需要一种基于机器视觉自动检测集装箱与货柜车是否分离，并在未分离情况下自动或者提示停止起升机构动作的“技防”措施，避免货柜车和集装箱一并带起的事故发生。

技术实现要素：

本发明所要解决的技术问题是，研究提出一种基于机器视觉跟踪的集装箱货柜车自主跟踪与防吊起预警方法，对货柜车行驶区域进行实时监视，并对潜在的吊起事故发出报警信号，能够有效防止堆场集装箱货柜车被吊起事故的发生，以适应日益复杂和繁重的集装箱运输行业。

本发明公开了一种基于机器视觉跟踪的集装箱货柜车防吊起方法，包括以下步骤：

步骤一、摄像头采集当前时刻t视频图像，获取集装箱货柜车对应区域视频图像，确定所述视频图像的宽度和高度；

步骤二、选定摄像头视场中图像下半部分为跟踪感兴趣区域，将跟踪感兴趣区域中划定若干个跟踪子区，跟踪子区个数为不小于3个的奇数；各跟踪子区均为矩形，其位置满足设定的拓扑关系；

步骤三、摄像头采集下一时刻t+1的视频图像，视频报警机对所述步骤二中的各个子区采用基于快速傅立叶变化在线学习的跟踪算法，估计各个子区目标外形框的位置；

步骤四、判断各子区的跟踪结果，是否有一半以上子区的垂直向上运动超过n个像素；若是，则判定货柜车车架被吊起；若否，则判定货柜车车架没有被吊起，继续以t秒时间为间隔，各个子区自动按照步骤二重置，并重复步骤三至步骤四；

步骤五、若判定货柜车车架被吊起，则视频报警机向中控室控制设备发出预警信号，提醒吊车司机暂停吊起动作；否则，吊车司机按照程序完成正常起吊；

其中，所述摄像头视场垂直于货柜车行驶方向，所述摄像头向视频报警机输入跟踪获得的视频图像；t＝1,2,3,...,m，m为跟踪视频帧总数，n为像素个数，t为设定的视频图像采集的时间间隔。

优选地，所述步骤二中划定的跟踪子区数量为3个。

优选地，所述步骤二中选定跟踪感兴趣区域的方法为：

1)获取视频图像序列第t帧图像，以矩形框t_region表示跟踪感兴趣区域，其中t_region用四个元素表示，分别为左上角点横坐标t_region.x，左上角点纵坐标t_region.y，矩形框宽度t_region.width，矩形框高度t_region.height；

2)跟踪矩形框t_region中包含集装箱货车车架部分的目标区域；所述目标区域的选取规则如下：

左上角点横坐标t_region.x＝0，

左上角点纵坐标

矩形框宽度t_region.width＝image.width，

矩形框高度

3)跟踪子区box_1的中心点为(x1,y1)，跟踪子区box_2的中心点为(x2,y2)，跟踪子区box_3的中心点为(x3,y3)，各跟踪子区的宽度或高度均取为跟踪子区的宽度占视频图像宽度的比例或者跟踪子区的高度占视频图像高度的比例；

4)三个子区位置拓扑关系选取规则为：

x2＝0.5*image.width，

y2＝t_region.y+0.5*t_region.height,

为跟踪子区的宽度占视频图像宽度的比例或者跟踪子区的高度占视频图像高度的比例；q为三个跟踪子区重叠区域的像素个数。

优选地，所述步骤三中基于快速傅立叶变化在线学习的目标跟踪方法为：

(1)对跟踪目标区域进行初始化；

(2)根据第t帧目标跟踪结果，构建第t帧跟踪目标的上下文先验概率模型p(c(z)|o)；

(3)根据第t帧目标跟踪结果，构建第t帧跟踪目标的置信度分布图c(z)；

(4)构建第t帧跟踪目标的空间上下文模型

(5)根据第t帧目标跟踪结果，计算第t+1帧视频图像数据进行目标跟踪，获取跟踪目标在当前帧中的位置坐标其中t＝1,2,3,...,m-1，m为跟踪视频图像帧数。

优选地，所述对跟踪目标区域进行初始化的方法为：

(1)获得视频图像序列第t帧图像，初始化跟踪目标区域的位置；

(2)根据初始化结果确定跟踪目标上下文相关区域context_region；

(3)定义汉宁窗口矩阵mhmwindow；

(4)初始化尺寸因子σt和尺度变换参数st。

优选地，所述获取目标在当前帧中的位置坐标的方法为：

(1)依据第t+1帧图像构建跟踪目标上下文先验概率模型p(c(z)|o)；

(2)构建第t+1帧跟踪目标的时空上下文模型

(3)构建第t+1帧跟踪目标的置信度分布图ct+1(z)；

(4)计算第t+1帧跟踪目标的位置点坐标

(5)更新尺寸因子σt；

(6)更新第t+1帧跟踪目标的空间上下文模型

优选地，所述跟踪目标上下文先验模型p(c(z)|o)的计算方法为：

其中i(z)表示跟踪目标区域t_region的像素灰度值经过去均值处理，并乘以汉宁窗矩阵得到，z表示t_region中的像素坐标，表示矩阵乘法运算，

i(z)＝i(z)-mean(i(z))

其中x^*为跟踪目标中心点坐标，mean(·)表示图像均值，a为归一化参数，其取值为

优选地，所述目标区域的置信度分布图c(z)的计算方法为：

其中b为归一化参数，其取值为

优选地，所述空间上下文模型的计算方法为：

优选地，所述t+1帧跟踪目标的时空上下文模型的计算方法为：

其中ρ为学习因子。

优选地，所述t+1帧跟踪目标的置信度分布图ct+1(z)计算方法为：

优选地，所述t+1帧跟踪目标的位置点坐标计算方法为：

优选地，所述更新尺寸因子σt的计算方法为：

其中是第t帧跟踪目标的置信度分布图，s′t是依据连续的两帧跟踪图像估计的目标尺度，用第t帧和第t-1帧目标置信度计算结果的比值表示；是依据连续的最近n帧跟踪图像估计的目标尺度的平均值，st+l是依据新一帧跟踪图像估计的目标尺度，λ＞0是设定的固定值滤波参数。

优选地，更新第t+1帧跟踪目标的空间上下文模型计算方法为：

本发明还公开了一种基于机器视觉跟踪的集装箱货柜车防吊起系统，包括轮胎吊、摄像头、货柜车、集装箱、视频报警机、中控室控制设备，其特征在于：所述摄像头安装于所述轮胎吊底部支架，高度与所述货柜车的车架平齐，所述摄像头的视场垂直于货柜车行驶方向；所述摄像头向所述视频报警机输入跟踪获得的视频图像，所述视频报警机采用基于快速傅立叶变化在线学习的跟踪算法对获得的视频图像进行处理，当判定货柜车被吊起时，向中控室控制设备发出报警信号。

本发明的有益效果如下：

(1)本发明公开的基于机器视觉跟踪的集装箱货柜车自主跟踪与防吊起预警方法，基于快速傅立叶变化在线学习的跟踪算法实时监视、获取和处理堆场作业区的视频图像，实现了“人防”到“技防”的重大改进，能够有效避免人为误操作引起的集装箱货柜车被吊起事故的发生；

(2)本发明公开的基于机器视觉跟踪的集装箱货柜车自主跟踪与防吊起预警方法，采用基于快速傅立叶变化在线学习的跟踪算法，将堆场中跟踪感兴趣区域划分为多个子区，针对多个子区的跟踪结果进行比对，能够实现对堆场作业区的全面、无死角监控，同时确保报警结果的准确性。

附图说明

图1是本发明中基于机器视觉跟踪的集装箱货柜车防吊起系统示意图；

其中，(a)为系统正视图，(b)为系统全场景示意图，(c)为系统设备布局示意图；

1—第一摄像头、2—第二摄像头、3—货柜车、4—第一视频报警机、5—第二视频报警机、6—中控室、7—控制设备、8—轮胎吊、9—轮胎吊底部支架、10—货柜车车架、11—集装箱，9-1为轮胎吊底部支架的左端、9-2为轮胎吊底部支架的右端；

图2是本发明中基于机器视觉跟踪的集装箱货柜车防吊起方法示意图；

图3是本发明中机器视觉跟踪区域及多子区视频跟踪示意图。

具体实施方式

为了本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施方式对本发明的技术方案做进一步详细说明。

如图1(a)、1(b)、1(c)、图2所示，基于机器视觉跟踪的集装箱货柜车自主跟踪与防吊起预警方法包括以下步骤：

步骤一、第一摄像头1、第二摄像头2采集当前时刻t视频图像，获取集装箱货柜车3所对应视场的视频图像，其中image.width为所述视频图像宽度，image.height为所述视频图像高度。

步骤二、如图3所示，选定视场中图像下半部分为跟踪感兴趣区域，在跟踪感兴趣区域中划定跟踪子区box_1，box_2和box_3。三个子区均为正方形，其位置满足设定的拓扑关系。对跟踪目标区域进行初始化。具体方法为：

(1)获取视频图像序列第t帧图像，以矩形框t_region表示跟踪感兴趣区域，其中t_region用四个元素表示，分别为左上角点横坐标t_region.x，左上角点纵坐标t_region.y，矩形框宽度t_region.width，矩形框高度t_region.height。矩形框t_region应包含集装箱货车车架10部分的目标区域。

(2)跟踪矩形框t_region中应包含集装箱货车车架10部分的目标区域。所述目标区域的选取规则如下：

左上角点横坐标t_region.x＝0，

左上角点纵坐标本实施例中m取2；

矩形框宽度t_region.width＝image.width，

矩形框高度本实施例中取n取2。

(3)跟踪子区box_1的中心点为(x1,y1)，跟踪子区box_2的中心点为(x2,y2)，跟踪子区box_3的中心点为(x3,y3)，各跟踪子区的宽和高均取为跟踪子区的宽度占视频图像宽度的比例或者跟踪子区的高度占视频图像高度的比例。本实施例中取p＝10。

(4)三个子区位置拓扑关系选取规则为：

x2＝0.5*image.width，

y2＝t_region.y+0.5*t_region.height,

为跟踪子区的宽度占视频图像宽度的比例或者跟踪子区的高度占视频图像高度的比例；q为三个跟踪子区重叠区域的像素个数，本实施例中取q＝10。

步骤三、对步骤二中的每个子区采用基于快速傅立叶变化在线学习的目标跟踪方法，估计三子区目标外形框的位置。以box1为例说明基于快速傅立叶变化在线学习的目标跟踪方法，box2和box3采用相同的跟踪方法。具体方法为：

(1)获取视频图像序列第t帧图像，以矩形框target_region表示子区box1，其中target_regio用n四个元素表示，分别为左上角点横坐标target_region.x，左上角点纵坐标target_region.y，矩形框宽度target_region，矩形框高度target_region.height。

该目标区域中心点坐标为centerpoint，其横坐标为：

centerpoint.x＝target_region.x+target_region.width*0.5

纵坐标为：

centerpoint.y＝target_region.y+target_region.height*0.5。

(2)根据矩形框target_region确定跟踪目标上下文相关区域context_region。本实施例中选取conte_xtr的长和宽分别为target_reg的2倍，中心点与目标矩形框target_region中心点重合。即其宽为：

context_region.width＝target_region.width*2

高为：

context_region.height＝target_region.height*2

则其左上角点横坐标为：

context_region.x＝centerpoint.x-context_region.width*0.5

其左上角点纵坐标为：

context_region.y＝centerpoint.y-context_region.height*0.5

(3)定义汉宁窗口矩阵，以减少图像边缘对傅立叶变换带来的频率影响。汉宁窗以mhmwindow表示，其宽和高和context_region一致，即

hmwindow.width＝context_region.width

hmwindow.height＝context_region.height

汉宁窗矩阵中各位置的定义如下：

hmwindow(i,j)＝

(0.54-0.46*cos(2*π*i/hmwindow.height))*(0.54-0.46*cos(2*π*j/hmwindow.width))

其中，i＝0,1,2,...,hmwindow.height-1,j＝0,1,2,...,hmwindow.width-1，π取3.14。

(4)初始化尺寸因子σt＝(t_region.width+t_region.height)*0.5，尺度变换参数st＝1。

(5)获取跟踪目标上下文先验概率模型

其中it(z)由目标区域t_region的像素灰度值经过去均值处理，并乘以汉宁窗矩阵得到：

it(z)＝it(z)-mean(it(z))

其中z表示target_region中的像素坐标，表示矩阵乘法运算，x^*为跟踪目标中心点坐标，即centerpoint。a为归一化参数，其取值为：

(6)获取跟踪目标置信度分布图

其中b为归一化参数，其取值为：

本实施例中α取2.25，β取1。

(7)建立跟踪目标空间上下文模型

其中f(·)表示快速傅立里叶变换运算，f^-1(·)表示快速傅立叶逆变换运算。

(8)根据第t帧目标跟踪结果，获取第t+1帧视频图像数据，并计算第t+1帧视频图像数据进行目标跟踪，获取跟踪目标在当前帧中的位置坐标其中t＝1,2,3,...,m，m为跟踪视频帧总数。具体方法如下：

1)获取跟踪目标上下文先验概率模型

具体方法同步骤三(5)。

2)建立t+1帧跟踪目标的时空上下文模型

其中ρ为学习因子，本实施例中ρ取0.075。

3)计算t+1帧跟踪目标的置信度分布图ct+1(z)，计算方法为

其中·表示点乘操作。

4)计算t+1帧图像中跟踪目标位置点坐标为

5)更新尺寸因子σt，计算方法为：

其中，是第t帧跟踪目标的置信度分布图，s′t是依据连续的两帧跟踪图像估计的目标尺度，用第t帧和第t-1帧目标置信度计算结果的比值表示；是依据连续的最近n帧跟踪图像估计的目标尺度的平均值，st+1是依据新一帧跟踪图像估计的目标尺度。为了防止产生过度适应问题和减少由估计误差引起的噪音污染，采用滤波方法来估计新一帧中目标的尺寸，λ＞0是设定的固定值滤波参数。

6)更新t+1帧跟踪目标的空间上下文模型

步骤四、判定三子区跟踪结果，如果有两个或者两个以上的垂直向上运动超过n个像素，则判定货柜车车架4被吊起。否则，判定货柜车车架4没有被吊起。以t秒时间为间隔，即每隔t秒，每个子区自动按照步骤二重置。本实施例中n取10，t取5。

步骤五、若判定货柜车车架4被吊起，则向中控室控制设备7发出预警信号，提醒吊车司机暂停吊起动作，并与货柜车司机沟通现场情况。否则，吊车司机按照程序完成正常起吊。

在跟踪感兴趣区域中划定跟踪子区时，子区个数为不小于3个的奇数，以便于进行跟踪结果的判定，有效避免集装箱货柜车吊起现象发生。本实施例中将待跟踪感兴趣区域划分为3个，这时候系统运行效率最高。

一种基于机器视觉跟踪的集装箱货柜车自主跟踪与防吊起预警系统，通过第一摄像头1、第二摄像头2对货柜车3行驶区域进行实时跟踪，当发现货柜车3向上运动时，说明货柜车3已经连同集装箱11被吊起，则第一视频报警机4、第二视频报警机5发出报警信号，通过中控室6控制设备7通知吊车司机及时停止起吊，从而防止事故发生。其中，第一摄像头1、第一摄像头2安装于轮胎吊8底部支架9的左端9-1和右端9-2，高度与货柜车车架10平齐，视场垂直于货柜车3行驶方向，第一摄像头1、第二摄像头2分别向第一视频报警机4、第二视频报警机5输入跟踪获得的视频图像。所述第一视频报警机4、第二视频报警机5采用基于快速傅立叶变化在线学习的跟踪算法对获得的视频图像进行处理，当判定货柜车被吊起时，向中控室控制设备7发出报警信号，提醒吊车司机暂停吊起动作，并与货柜车司机沟通现场情况。否则，吊车司机按照程序完成正常起吊。

本发明公开的集装箱货柜车自主跟踪与防吊起预警方法，采用基于快速傅立叶变化在线学习的跟踪算法，能够对堆场作业区进行实时、全面的监控，同时进行准确的进行信息处理和判定，实现了“人防”到“技防”的重大改进，能够有效避免人为误操作引起的集装箱货柜车被吊起事故的发生。

显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明要求保护的范围。