基于神经网络的集卡防吊起方法与流程

本发明涉及集装箱装卸领域，尤其是基于时间序列分析的基于神经网络的集卡防吊起方法。
背景技术：
：随着全球集装箱运输的飞速发展，现代集装箱码头及堆场的作业越来越繁忙，工作环境越来越复杂。目前集装箱的起吊通常利用龙门吊或者轮胎吊，由于集装箱装卸作业的特殊性，在装卸过程中时常发生由于集卡车锁头未完全打开而将集卡车被集装箱一并带起的事件。图1为现有技术中集卡车被误吊起的示意图。如图1所示，在堆场上利用轮胎吊进行集装箱吊装作业，集卡车a运输集装箱b时使用到4个锁头，以下以锁头1、2、3、4分别代表集卡车身四角上的4个锁头。集卡a通过轮胎吊的吊具c卸下集装箱b时，根据排列组合，共有1种正常情况和15种异常情况下锁头未解开组合，在此列举出所有锁头未解锁情况：正常情况下，4个锁头1、2、3、4完全打开，集装箱和集卡车正常分离，集装箱被正常吊起；异常情况下，存在“单边分离状态”和“完全不分离状态”两种情况：(1)“单边分离状态”是指表2未解锁头组合中的1、2、3、4、12、23(参考图1)、34、14组合下，集装箱一端与集卡车分离，而另一端未分离，造成集卡车倾斜。(2)“完全不分离状态”是指表2未解锁头组合中的13、24、123、124、134、234、1234组合下，集装箱和集卡车两端均未分离，会造成集卡车被吊起，上述两种异常工况，严重时均会导致损害集装箱和卡车，甚至会发生集卡车司机伤亡事故。为了防止吊起集装箱作业时，因集卡车与集装箱之间锁头未全部打开而造成集卡车被一同吊起的事故发生，码头及堆场通常采用摄像头摄像技术，轮胎吊司机需要在集装箱吊起过程中通过司机室显示器监视集装箱与卡车的分离状况，并通过话务机与集卡车司机沟通现场情况，靠人为监视操作来避免发生事故。随着经济提升，集装箱码头堆场面积扩大，作业车种增多且车况复杂，对于大型的作业场地而言，机械设备的调配和管理非常重要，靠人容易引起疲劳和疏忽，而依靠传统无线对讲机来下达作业指令和传递生产信息存在诸多不便，极大地影响了作业效率。在已有的技术中，也有通过在轮胎吊的一侧安装激光扫描仪进行异常检测，但需要在外部增加设备，增加了成本。由此，为了应对日益繁重和复杂的集装箱运输行业，需要一种基于机器学习自动检测集装箱与集卡车是否分离，并在未分离情况下自动或者提示停止起升机构动作的“技防”措施，避免集卡和集装箱一并带起的事故发生。技术实现要素：本发明的目的在于提供基于神经网络的集卡防吊起方法，克服了现有技术的困难，能够有效防止堆场集装箱货柜车被吊起事故的发生，大大提高堆场作业的安全性。根据本发明的一个方面，提供一种基于神经网络的集卡防吊起方法，集装箱四角各设一锁头，每个所述锁头具有解锁和未解锁两种状态，防吊起方法包括以下步骤：s100、根据四个锁头的l种状态组合，预设一个1行l列的一维向量m10，m10＝[c1,…,ci,…,cl]，1≤i≤l，每个元素各自代表一种状态组合，ci表示当前吊起状态属于第i类状态组合的概率值，ci的取值范围是[0，1]之间的浮点数；s110、实时采集当前时刻t的集装箱四角传感器的重力值，生成每个时刻的一个4行1列的特征向量xt，起始采集时刻的特征向量标记为x0；s120、实时监测当前特征向量xt中四个元素的总和是否大于第一预设阈值th1，若是，则将当前时刻设置为起始预测时刻点t1，并执行步骤s130，若否，则返回步骤s110；s130、设起始预测时刻点t1之前r秒的时刻为历史时刻t2，r为预设值，r的取值范围为[3,20]，采集自当前时刻t到历史时刻t2之间的特征向量xt建立一4行t列的二维矩阵ft＝[xt-t+1,…,xt-1,xt]，t＝(t-t2)×f，f表示每秒采集重力变化的次数；s140、将二维矩阵ft输入训练好的分类模型中，通过模型计算对锁头组合情况进行实时类别预测，获得s100所述1行l列的一维向量m10；s150、判断所述一维向量m10之中最大元素是否大于第三预设阈值th3，若否，则返回步骤s110，继续下一时刻吊起状态的预测，若是，则执行步骤s160；以及s160、选择m10中最大元素对应的锁头状态组合作为当前吊起状态的预测类别，判断吊起状态是否异常。优选地，所述四个锁头的状态组合的种类数l＝16；所述预设值r＝10。优选地，所述步骤s120中，所述特征向量xt中四个元素的总和自当前时刻t到历史时刻t2之间的时间增长而增大。当特征向量xt中四个元素的总和上升到一定阈值th1时所对应的时刻点确定为开始预测时刻点t1；一般情况下，th1＝100，但特殊情况下根据采集到的数据实时调整为初始值的两倍，特殊情况是指初始值一开始就大于100的情况，初始值是指x0中元素的总和。优选地，所述步骤s130还包括检测每个时刻特征向量xt中四个元素中的任一元素是否超过第二预设阈值th2范围，若是，则删除当该时刻特征向量xt，用前一时刻的特征向量xt-1替换该时刻特征向量xt，若否，则保留当前时刻t特征向量xt。优选地，所述步骤s140包括：s141、将二维矩阵ft＝[xt-t+1,…,xt-1,xt]作为表征当前吊起状态的特征数据经过第一卷积模块获得n1行t列的第二矩阵m2，n1为第一卷积模块中滤波器的个数，所述第一卷积模块包括一维时间卷积操作和压缩激励操作；s142、将第二矩阵m2经过第二卷积模块获得n2行t列的第四矩阵m4，n2为第二卷积模块中滤波器的个数，所述第二卷积模块包括一维时间卷积操作和压缩激励操作；s143、将第四矩阵m4经过第三卷积模块获得n3行1列的第六矩阵m6，n3为第三卷积模块中滤波器的个数，所述第三卷积模块包括一维时间卷积操作和平均池化操作；s144、将特征数据ft经过长短期记忆模型获得1行dh列的第七矩阵m7，dh为长短期记忆模型中使用的隐藏神经元个数；s145、将第六矩阵m6转置后，再与第七矩阵m7在第一维度拼接，获得1行(n3+dh)列的第八矩阵m8；s146、将第八矩阵m8经过带有激活函数的全连接层网络，所述全连接层网络的输入神经元个数为(n3+dh)，输出神经元个数为l个，得到1行l列的第十矩阵m10，m10＝[c1,…,ci,…,cl]1×l,∑m10＝1，ci表示当前吊起状态属于第i种锁头组合的概率值。优选地，所述一维时间卷积操作包括以下步骤：设x表示一维时间卷积操作的卷积层的输入，x是一个c行t列的二维矩阵，c属于常数，c表示每个时刻点特征向量的维度，t表示时间步长；w、b分别表示时间卷积使用的权重矩阵参数、偏差矩阵参数，w是一个d行c列n页三维矩阵，d为一维滤波器的维数，n为滤波器的个数，b是一个1行n列的二维矩阵；e表示卷积层的输出序列，则输出序列中第t时刻特征向量中第i个元素：其中，wt',.,i为w中第i个d行c列的二维矩阵中第t’行的向量v1，v1是1xc的矩阵，x.,t+d-t'为x中第t+d-t’列向量v2，v2是cx1的矩阵，<>表示矩阵叉乘，运算输出为一个常量；表示d次计算的累加和，再加上偏差bi，得到ei,t；t沿着时间轴以步长1进行滑动，得到整个输出序列e，e是一个n行t列的二维矩阵；对于边缘时刻点t＝0、t＝t，x.,t+d-t'超出x的维度，计算前对x使用边缘数值进行边缘填充，对x的第二维度两端的列分别往外复制(d-1)/2列；批量归一化是e自身归一化的过程，没有网络连接，输出仍为n行t列的矩阵通过激活函数激活中的每一个元素，得到一个n行t列的二维矩阵y，作为压缩激励操作的输入数据，激活函数选用relu函数，relu(x)＝max(0，x)。优选地，所述第一卷积模块的一维时间卷积操作中滤波器的个数n1＝128，维度d＝7，权重矩阵参数w是一个7x4x128的三维矩阵，偏差矩阵参数b是一个1行128列的二维矩阵，经过一维时间卷积操作后得到128行600列的第一矩阵m1，将第一矩阵m1进行压缩激励操作获得所述第二矩阵m2；所述第二卷积模块的一维时间卷积操作中滤波器的个数n2＝256，维度d＝5，权重矩阵参数w是一个5x128x256的三维矩阵，偏差矩阵参数b是一个1行256列的二维矩阵，经过一维时间卷积操作后得到256行600列的第三矩阵m3，将第三矩阵m3进行压缩激励操作获得所述第四矩阵m4；所述第三卷积模块的一维时间卷积操作中滤波器的个数n3＝128，维度d＝3，权重矩阵参数w是一个3x256x128的三维矩阵，偏差矩阵参数b是一个1行128列的二维矩阵，经过一维时间卷积操作后得到128行600列的第五矩阵m5，将第五矩阵m5进行平均池化操作获得所述第六矩阵m6。优选地，所述压缩激励操作的步骤为：所述激活操作的输入为时间卷积的输出n行t列的二维矩阵y，此时，特征通道数为n，时间步数为t；二维矩阵y通过求输入数据在时间维度上的均值，获得第二维度上的均值得到n行1列的矩阵y1；矩阵y1经过带有激活函数relu(x)＝max(0，x)的全连接网络层得到矩阵y3；全连接层的每一个节点都与输入层的所有节点相连，全连接层的节点数设为s，则连接权值矩阵wy1为一个行数为n，列数为s的二维矩阵；y2＝wy1txy1，先把wy1转置得到一个s行n列的二维矩阵，再与y1叉乘，得到s行1列的二维矩阵y2，并使用激活函数relu对y2中的每一个元素进行激活操作，得到s行1列的二维矩阵y3；二维矩阵y3经过带有激活函数的全连接网络层得到矩阵y5；全连接层的每一个节点都与输入层的所有节点相连，全连接层的节点设为n，则连接权值矩阵wy2为一个行数为s，列数为n的二维矩阵；y4＝wy2txy1，先把wy1转置得到一个n行s列的二维矩阵，再与s行1列的y3叉乘，得到n行1列的二维矩阵y4，并使用激活函数对y2中的每一个元素进行激活操作，得到n行1列的二维矩阵y5，y5的第一维度的行数与激活操作的输入矩阵y的第一维度的行数相同；输入矩阵y与二维矩阵y5点乘得到输出矩阵z，输出矩阵z为n行t列。优选地，所述全连接网络层的激活函数为：优选地，所述第一卷积模块的激活操作中，设所述全连接层的节点数s＝8；所述第二卷积模块的激活操作中，设所述全连接层的节点数s＝8。优选地，所述步骤s144中，所述长短期记忆模型一种的循环神经网络，所述长短期记忆模型的输入为每个时刻的特征向量xt，循环次数为整个时间步长，且在每个时刻均输出一个状态向量m、输出向量h，向量维数分别由网络内部单元状态的维度dm、隐藏神经元个数dh确定；对t时刻的mt、ht：gu＝sigmoid(wu[ht-1,xt]+bu)；gf＝sigmoid(wf[ht-1,xt]+bf)；go＝sigmoid(wo[ht-1,xt]+bo)；gc＝tanh(wc[ht-1,xt]+bc)；mt＝gf⊙mt-1+gu⊙gc；ht＝go⊙tanh(mt)；其中，wu、wf、wo、wc分别为输入门、遗忘门、输出门和单元状态权重矩阵，bu、bf、bo、bc为相对应的偏差矩阵，[ht-1,xt]表示把两个向量连接成一个更长的向量，ht-1表示上一时刻的输出向量，为1行dh列，xt为t时刻输入的特征向量；tanh(x)＝(e^x-e^(-x))/(e^2+e^(-x))为激活函数；⊙为矩阵点乘。优选地，所述第三卷积模块中平均池化操作，是指对输入矩阵求在第二维度上的均值。优选地，所述步骤s146中，所述激活函数为：优选地，所述步骤s160中，判断吊起状态是否异常包括：当所述l种状态组合中当四个所述锁头都处于解锁状态时，所述吊起状态正常；当四个所述锁头处于其他15种状态组合时，所述吊起状态异常，进行报警。本发明的基于神经网络的集卡防吊起方法，克服了现有技术的困难，本发明的基于神经网络的集卡防吊起方法，通过对轮胎吊吊具上的重力传感器实时信号进行分析，对锁头异常组合进行预测，对潜在的吊起事故进行预警，并对根本原因进行实时诊断，便于工作人员及时排除故障，能够有效防止堆场集装箱卡车被吊起事故的发生，大大提高堆场作业的安全性。附图说明以下结合附图和具体实施例对本发明的技术方案进行详细的说明，以使本发明的特性和优点更为明显。图1为现有技术中集卡被误吊起的示意图；图2为本发明的基于神经网络的集卡防吊起方法的流程图；图3为本发明的基于神经网络的集卡防吊起方法使用于集卡的示意图；图4为本发明的基于神经网络的集卡防吊起方法中预测分类的流程图；图5是本实施例中对集卡车吊起事故的识别预警与诊断流程示意图；图6是本实施例中集卡车吊起事故的分类识别流程示意图；图7是本实施例中第一、二卷积模块中压缩激励操作的计算流程；图8为本实施例中m10的示意图；以及图9是本实施例中集卡车吊起事故的分类预测使用的模型训练过程示意图。具体实施方式以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些具体实施方式进行阐述和说明，但需要注意的是本发明并不仅仅只局限于这些实施方式。相反，对本发明进行的修改或者等同替换，均应涵盖在本发明的权利要求范围当中。另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员将理解，没有这些具体细节，本发明同样可以实施。在另外一些实例中，对于大家熟知的结构和部件未作详细描述，以便于凸显本发明的主旨。图2为本发明的基于神经网络的集卡防吊起方法的流程图。图3为本发明的基于神经网络的集卡防吊起方法使用于集卡的示意图。如图2和3所示，根据本发明的一个方面，提供基于神经网络的集卡防吊起方法，集卡b通过轮胎吊的吊具c卸下集装箱b时，集卡b车身四周各设一锁头1、2、3、4，如图3所示，所述的每个锁头具有解锁和未解锁两种状态，在集装箱装卸过程中，锁头需要全部打开。本发明方法能够在传感器受力，但是没有完全拉起集装箱的时刻进行有效的吊起状态预测，防止集装箱在锁头没有全部解锁的情况下被吊起，防止事故发生。集卡防吊起方法包括以下步骤：s100、根据四个锁头的l种状态组合，预设一个1行l列的一维向量m10，m10＝[c1,…,ci,…,cl]，每个元素各自代表一种状态组合，ci表示当前吊起状态属于第i类状态组合的概率值，ci的取值范围是[0，1]之间的浮点数。参考表一，优选地，四个锁头的状态组合的种类数l＝16。状态组合锁头1锁头2锁头3锁头4吊起状态1解锁解锁解锁解锁状态正常，继续吊起2未解锁解锁解锁解锁状态异常，停止吊起3解锁未解锁解锁解锁状态异常，停止吊起4解锁解锁未解锁解锁状态异常，停止吊起5解锁解锁解锁未解锁状态异常，停止吊起6未解锁未解锁解锁解锁状态异常，停止吊起7未解锁解锁未解锁解锁状态异常，停止吊起8未解锁解锁解锁未解锁状态异常，停止吊起9解锁未解锁未解锁解锁状态异常，停止吊起10解锁未解锁解锁未解锁状态异常，停止吊起11解锁解锁未解锁未解锁状态异常，停止吊起12未解锁未解锁未解锁解锁状态异常，停止吊起13未解锁未解锁解锁未解锁状态异常，停止吊起14未解锁解锁未解锁未解锁状态异常，停止吊起15解锁未解锁未解锁未解锁状态异常，停止吊起16未解锁未解锁未解锁未解锁状态异常，停止吊起表一s110、实时采集当前时刻t的集装箱四角传感器的重力值，对应锁头1的第一重力传感器f1，实时采集锁头1处的重力。对应锁头2的第二重力传感器f2，实时采集锁头2处的重力。对应锁头3的第三重力传感器f3，实时采集锁头3处的重力。对应锁头4的第四重力传感器f4，实时采集锁头4处的重力。生成每个时刻的一个4行1列的特征向量xt。将系统开始采集时刻的特征向量标记为x0。本实施例中，特征向量s120、实时监测当前时刻特征向量xt中四个元素的总和是否大于第一预设阈值th1，若是，则将当前时刻设置为开始预测时刻点t1，并执行步骤s130，若否，则返回步骤s110。通常情况下，四个力的值一开始几乎都会保持不变，当开始提集装箱时，力的大小才会开始上升，且会根据锁头状态组合的不同，呈现不同的上升快慢趋势。所述特征向量xt中四个元素的总和是一个随时间增大的值，当和上升到第一预设阈值th1时将所对应的时刻点确定为开始预测时刻点t1；一般情况下，th1＝100，但特殊情况下根据采集到的数据实时调整为初始值的两倍，特殊情况是指初始值一开始就大于100的情况，初始值是指x0中元素的总和。s130、设起始预测时刻点t1之前r秒的时刻为历史时刻t2，r为预设值，r的取值范围为[3,20]，采集自当前时刻t到历史时刻t2之间的特征向量xt建立一4行t列的二维矩阵ft＝[xt-t+1,…,xt-1,xt]，t＝(t-t2)×f，f表示每秒采集重力变化的次数，t是随时间t变化的量；步骤s130还包括检测每个时刻特征向量xt中四个元素中是否有超过第二预设阈值th2，若是，则删除该时刻特征向量xt，用前一时刻的特征向量xt-1替换该时刻特征向量xt，若否，则保留当前时刻t特征向量xt。用于去除传感器异常情况下的不合理的数值，提升本发明的精确程度。s140、将二维矩阵ft＝[xt-t+1,…,xt-1,xt]输入训练好的分类模型中，通过卷积计算对锁头组合情况进行实时类别概率预测，获得1行l列的一维向量m10。图4为本发明的基于神经网络的集卡防吊起方法中预测分类的流程图。如图4所示，本实施例中，步骤s140包括：s141、将二维矩阵ft＝[xt-t+1,…,xt-1,xt]作为表征当前吊起状态的特征数据经过第一卷积模块获得n1行t列的第二矩阵m2，n1为第一卷积模块中滤波器的个数，所述第一卷积模块包括一维时间卷积操作和压缩激励(squeeze-and-excite,se)操作；s142、将第二矩阵m2经过第二卷积模块获得n2行t列的第四矩阵m4，n2为第二卷积模块中滤波器的个数，所述第二卷积模块包括一维时间卷积操作和压缩激励操作；s143、将第四矩阵m4经过第三卷积模块获得n3行1列的第六矩阵m6，n3为第三卷积模块中滤波器的个数，所述第三卷积模块包括一维时间卷积操作和平均池化操作；s144、将特征数据ft经过长短期记忆模型获得1行dh列的第七矩阵m7，dh为长短期记忆模型中使用的隐藏神经元个数；s145、将第六矩阵m6转置后，再与第七矩阵m7在第一维度拼接，获得1行(n3+dh)列的第八矩阵m8；s146、将第八矩阵m8经过带有激活函数的全连接层网络，所述全连接层网络的输入神经元个数为(n3+dh)，输出神经元个数为l个，得到1行l列的第十矩阵m10，m10＝[c1,…,ci,…,cl]1×l,∑m10＝1，ci表示当前吊起状态属于第i种锁头组合的概率值。本实施例中(例如步骤s141、步骤s142、步骤s143中)，一维时间卷积操作包括以下步骤：设x表示一维时间卷积操作的卷积层的输入，x是一个c行t列的二维矩阵，c属于常数，c表示每个时刻点特征向量的维度，t表示时间步长。w、b分别表示时间卷积使用的权重矩阵参数、偏差矩阵参数，w是一个d行c列n页三维矩阵，d为一维滤波器的维数，n为滤波器的个数，b是一个1行n列的二维矩阵。e表示卷积层的输出序列，则输出序列中第t时刻特征向量中第i个元素：其中，wt',.,i为w中第i个d行c列的二维矩阵中第t’行的向量v1，v1是1xc的矩阵，x.,t+d-t'为x中第t+d-t’列向量v2，v2是cx1的矩阵，<>表示矩阵叉乘，运算输出为一个常量。表示d次计算的累加和，再加上偏差bi，得到ei,t。t沿着时间轴以步长1进行滑动，得到整个输出序列e，e是一个n行t列的二维矩阵。对于边缘时刻点t＝0、t＝t，x.,t+d-t'可能超出x的维度，计算前对x使用边缘数值进行边缘填充，对x的第二维度两端的列分别往外复制(d-1)/2列。批量归一化(batchnormalization,bn)是e自身归一化的过程，没有网络连接，输出仍为n行t列的矩阵通过激活函数激活中的每一个元素，得到一个n行t列的二维矩阵y，作为压缩激励操作的输入数据，激活函数选用relu函数，relu(x)＝max(0，x)。在一个优选方案中，第一卷积模块的一维时间卷积操作中滤波器的个数n1＝128，维度d＝7，权重矩阵参数w是一个7x4x128的三维矩阵，偏差矩阵参数b是一个1行128列的二维矩阵，假定当前时刻t时t＝600，则ft是一个4行600列的二维矩阵，经过一维时间卷积操作后得到128行600列的第一矩阵m1，将第一矩阵m1进行压缩激励操作获得第二矩阵m2。第二卷积模块的一维时间卷积操作中滤波器的个数n2＝256，维度d＝5，权重矩阵参数w是一个5x128x256的三维矩阵，偏差矩阵参数b是一个1行256列的二维矩阵，经过一维时间卷积操作后得到256行600列的第三矩阵m3，将第三矩阵m3进行压缩激励操作获得第四矩阵m4。第三卷积模块的一维时间卷积操作中滤波器的个数n3＝128，维度d＝3，权重矩阵参数w是一个3x256x128的三维矩阵，偏差矩阵参数b是一个1行128列的二维矩阵，经过一维时间卷积操作后得到128行600列的第五矩阵m5，将第五矩阵m5进行平均池化操作获得第六矩阵m6。本实施例中(例如步骤s141与步骤s142中)，压缩激励操作的步骤为：压缩激励操作的输入为时间卷积模块输出n行t列的二维矩阵y，此时，特征通道数为n，时间步数为t。二维矩阵y通过求输入数据在时间维度上的均值，获得第二维度上的均值得到n行1列的矩阵y1。矩阵y1经过带有激活函数relu(x)＝max(0，x)的全连接网络层得到矩阵y3。全连接层的每一个节点都与输入层的所有节点相连，全连接层的节点数设为s，则连接权值矩阵wy1为一个行数为n，列数为s的二维矩阵。y2＝wy1txy1，先把wy1转置得到一个s行n列的二维矩阵，再与y1叉乘，得到s行1列的二维矩阵y2，并使用激活函数relu对y2中的每一个元素进行激活操作，得到s行1列的二维矩阵y3。二维矩阵y3经过带有激活函数的全连接网络层得到矩阵y5。全连接层的每一个节点都与输入层的所有节点相连，全连接层的节点设为n，则连接权值矩阵wy2为一个行数为s，列数为n的二维矩阵。y4＝wy2txy1，先把wy1转置得到一个s行n列的二维矩阵，再与y3(s，1)叉乘，得到n行1列的二维矩阵y4，并使用激活函数对y2中的每一个元素进行激活操作，得到n行1列的二维矩阵y5，y5的第一维度的行数与激活操作的输入矩阵y的第一维度的行数相同。全连接网络层的激活函数为：输入矩阵y与二维矩阵y5点乘得到输出矩阵z，输出矩阵z为n行t列。在一个优选实施例中，第一卷积模块的压缩激励操作中，设全连接层的节点数s＝8。第二卷积模块的压缩激励操作中，设全连接层的节点数s＝8。第三卷积模块的平均池化操作，是指对矩阵m5求在第二维度上的均值。优选地，步骤s144中，长短期记忆模型一种的循环神经网络，长短期记忆模型的输入为每个时刻的特征向量xt，循环次数为整个时间步长，且在每个时刻均可输出一个状态向量m、输出向量h，向量维数分别由网络内部单元状态的维度dm、隐藏神经元个数dh确定，通常dm＝dh。对t时刻的mt、ht：gu＝sigmoid(wu[ht-1,xt]+bu)。gf＝sigmoid(wf[ht-1,xt]+bf)。go＝sigmoid(wo[ht-1,xt]+bo)。gc＝tanh(wc[ht-1,xt]+bc)。mt＝gf⊙mt-1+gu⊙gc。ht＝go⊙tanh(mt)。其中，wu、wf、wo、wc分别为输入门、遗忘门、输出门和单元状态权重矩阵，bu、bf、bo、bc为相对应的偏差矩阵，[ht-1,xt]表示把两个向量连接成一个更长的向量，ht-1表示上一时刻的输出向量，为1行dh列，xt为t时刻输入的特征向量。tanh(x)＝(e^x-e^(-x))/(e^2+e^(-x))为激活函数。⊙为矩阵点乘。优选地，步骤s146中，激活函数为：s150、根据一维向量m10中最大元素是否大于第三预设阈值th3，判断此次对当前吊起状态的预测是否可信，若是，则执行步骤s160，若否，则返回步骤s110，继续采集下一时刻的特征向量；s160、选择m10中最大元素对应的状态组合作为当前吊起状态的预测类别，判断吊起状态是否异常。步骤s150中，l种状态组合中当四个锁头都处于解锁状态时，吊起状态正常。当四个锁头处于其他15种状态组合时，吊起状态异常，进行报警。本专利发明的基于神经网络的集卡防吊起方法，与以往的研究相比，创新性地将多维时间序列分析技术应用到港口集卡车防吊起系统上，同时结合最新的深度学习算法，提高了系统吊起事故预警率，实现了集卡车吊起事故的实时预警与诊断。本发明的一种实施方式如下，但不以此为限：本发明公开了一种基于神经网络的集卡防吊起方法，包括以下步骤：s210、当轮胎吊的吊具与集装箱接触时，实时采集来自传感器f变化的时间序列，对力的变化趋势进行预分析，将四个力的总和上升到一定阈值时所对应的时刻点确定为开始预测时刻点t1。所述步骤一中4个传感器测量是轮胎吊吊具4个爪上力的变化序列。s220、针对当前时刻t(t>t1)，截取t到t0-10s内的时间序列，通过预处理后，作为表征当前时刻集装箱吊起状态的特征数据；(100ms来一个数据，测试20样本，需要5ms)s230、步骤s220输出的当前时刻的表征数据，输入训练好的分类模型中，对锁头组合情况进行实时类别概率预测；并对第t时刻实时输出的类别概率值进行分析，当某一类别的预测概率值大于特定阈值th3时，退出实时监测，输出此类别为此次吊起状态的预测类别，输出锁头组合的预测情况；否则，返回步骤s220。s240、若预测锁头组合为异常组合，则判定集卡车将会被吊起，则向中控室控制设备发出预警信号，提醒吊车司机暂停吊起动作，并根据预测出的锁头组合，对异常原因进行诊断，便于工作人员及时排除故障；否则，吊车司机按照程序完成正常起吊。本发明提供了一种新型基于神经网络的多维时间序列分析的集卡防吊起方法，通过将传感器信号分析与深度学习相结合，并应用最新的时间序列分析技术，实现卡车吊起事故的提前预警和实时诊断。为港口应对日益繁重和复杂的集装箱运输行业、提供有利的技术支撑。本发明在码头用于集卡车与集装箱的具体实施场景如下：本发明实施例提供了一种基于神经网络的多维时间序列分析的集卡车吊起事故识别预警与诊断系统，如图5所示。将实时获取的重力传感器信号标记为x＝[x0,x1,…,xt,…]，x为一个4行，t列的二维矩阵，因实时采集t是个随时间变化的量；其中，xt＝[f1t,f2t,f3t,f4t]是一个四维特征向量，代表第t时刻采集来自四个传感器的重力值；…表示的是采集的实时信号，时间序列也在不断增加。该系统的具体步骤包括：步骤一、实时采集数据，确定开始预测时刻点t1。具体而言，在本发明实施例中，当轮胎吊的吊具接触集装箱时，开始实时采集4个重力传感器上的力变化的值，并对每个时刻的4个力相加求和，得到四个重力和的变化曲线。4个力的变换趋势大致相同，一开始几乎会保持不变，当轮胎吊发力开始提集装箱时，4个力的大小才会开始上升，且会根据锁头未完全打开的不同组合，呈现不同的上升快慢趋势。根据和的变化曲线，当四个力的总和上升到第一预设阈值th1时将所对应的时刻点确定为开始预测时刻点t1；一般情况下，th1＝100，但特殊情况下根据采集到的数据实时调整为初始值的两倍，特殊情况是指初始值一开始就大于100的情况，初始值是指x0。截取并保留从t1往前10s内数据，并且可以舍弃t1-10s以前的记录数据，节省内存。步骤二、提取表征当前时刻t的集装箱吊起状态的特征数据。具体而言，在本发明实施例中，在第t(t>t1)时刻点，截取t到t1-10s内的时间序列，通过预处理去除异常点后，作为表征当前时刻集装箱吊起状态的特征数据ft＝[xt-t+1,…,xt-1,xt]。优选的，异常点预处理，是指传感器在实际应用中，易受噪声的干扰，可能在某一时刻表征为一个很大的值，例如1e*6、-1e*7等，明显和实际不相符，属于异常点。设定阈值th2＝6e*4，根据在第t时刻的特征向量xt的任一值是否有元素大于th2范围时，若是，则xt被判为异常点，使用上一时刻的xt-1取代xt，且不会对当前时刻的特征数据进行类别预测，并返回步骤一，继续下一时刻吊起状态特征数据计算；若否，则执行步骤三。步骤三、模型预测类别概率。具体而言，将步骤二输出的当前时刻吊起状态的表征数据ft，输入训练好的分类模型中，对锁头组合情况进行实时类别概率预测，获得一个所述1行l列的一维向量m10；并根据m10中最大元素是否大于第三预设阈值th3，th3＝0.9，判断此次对当前吊起状态的预测是否可信，若是，则执行步骤四，若否，则返回步骤一，继续下一时刻吊起状态的预测；步骤四、异常实时预警并给出诊断。具体而言，选择m10中最大元素对应的状态组合作为当前吊起状态的预测类别，判断吊起状态是否异常。l种状态组合中当四个锁头都处于解锁状态时，吊起状态正常，吊车司机按照程序完成正常起吊。当四个锁头处于其他15种状态组合时，吊起状态异常，则进行报警，提醒吊车司机暂停吊起动作，并根据预测出的锁头组合，对异常原因进行诊断，便于工作人员及时排除故障。参考图3，传感器位于轮胎吊的四个支臂上，随机集装箱吊起的过程，f1～f4的值逐渐增加，从吊具与集装箱相接触时，开始实时采集f1～f4的值。随着时间增加，得到时间序列x＝[x1,x2,…,xt,…]，x为一个4行，t列的二维矩阵，因实时采集，t是个随时间变化的量；其中，xt＝[f1t,f2t,f3t,f4t]是一个四维特征向量，代表第t时刻采集来自四个传感器的值。4个力的变换趋势大致相同，一开始几乎会保持不变，当开始提集装箱时，4个力的大小才会开始上升，且会根据锁头未完全打开的不同组合，呈现不同的上升快慢趋势，进而能对锁头组合的异常状态进行识别预警。图5是本实施例中对集卡车吊起事故的识别预警与诊断流程示意图。参考图5，具体而言，当轮胎吊的吊具与集装箱接触时，由重力传感器实时采集重力变化的时间序列；当轮胎吊开始发力，向上拉集装箱时，重力传感器的值开始发生变化，根据四个重力传感器的总和大于第一预设阈值th1时所对应的时刻点，确定为开始预测时刻点t1。根据步骤二，获得表征当前时刻t集装箱吊起状态的特征数据ft，输入训练后的分类模型中，进行锁头组合状态预测，输出的是个一维向量m10＝[c1,…,ci,…,cl]1×l,∑m10＝1，ci表示当前吊起状态属于第i类状态组合的概率值；此处l＝16表示的是要预测的集装箱吊起状态的类别数：1种锁头完全打开的正常情况和15种锁头未完全打开的异常情况，如表2所示，类别1表示锁头全部打开，为正常吊起状态；类别4表示锁头未完全打开’4’，表示吊起过程中第3个锁头3没有打开，为异常吊起状态；类别6表示吊起过程中第1个锁头1、第2个锁头2都没有打开，为异常吊起状态。类别未解锁锁头的组合类别未解锁锁头的组合10923211024321134431212354131246121413471315234814161234表2当m10中的最大元素值大于第三预设特定阈值th3时，则此次对当前吊起状态的预测是可信的，退出实时监测；否则继续下一时刻吊起状态的预测。当m10中最大元素大于th3时，对输出的类别概率值进行分析，选择m10中最大元素对应的类别锁头状态组合作为当前吊起状态的预测类别，进而判断吊起状态是否异常，若是，则发出预警停止起吊，并根据预测的锁头组合情况对吊起状态异常的根本原因进行实时诊断，便于工作人员及时排除故障，加速作业；否则，不发出预警，吊车司机按照程序完成正常起吊。图6是本实施例中集卡车吊起事故的分类识别流程示意图。参考图6，本实施例中对当前时刻t吊起状态的分类识别方法包括以下步骤：s300、预处理得到表征当前时刻t吊起状态的特征数据ft。预处理主要是异常点处理，在指传感器在实际应用中，易受噪声的干扰，可能在某一时刻采集得到一个很大的值，例如1e*6、-1e*7等，明显和实际不相符，属于异常点。在本实施例中，设定第二预设阈值th2＝6e*4，检测每个时刻特征向量xt中四个元素中是否有超过第二预设阈值th2范围，若是，则删除该时刻特征向量xt，用前一时刻的特征向量xt-1替换该时刻特征向量xt，且不会对当前时刻的特征数据进行类别预测，跳转至计算下一时刻的预测；若否，则保留当前时刻t特征向量xt，截取t至(t0-10s)内的每个时刻的特征向量，经过预处理后，得到表征当前时刻t吊起状态的特征矩阵ft＝[xt-t+1,…,xt-1,xt]，ft是一个4行t列的二维矩阵，t＝(t-t0+10)*f，f＝10hz表示每秒采集重力变化的时刻次数，假定当前时刻t时，t＝600，则ft的行数为4，列数为600。s310、s320中的第一、二卷积模块具有相同结构，均包含一维时间卷积操作和压缩激励操作(squeeze-and-excite，se)操作，s330中第三卷积模块包括一维时间卷积和平均池化操作。下面对一维时间卷积和压缩激励操作的具体计算进行介绍，然后给出本专利实施例中经此卷积模块的计算过程。(1)一维时间卷积时间卷积是全卷积网络的一个分支，一般来说，也是包含基本的卷积层、bn层以及激活函数，而时间卷积是对时间序列进行操作，使用一维滤波器沿着时间轴方向移动，提取序列变化趋势的特征。一维时间卷积操作包括以下步骤：设x表示一维时间卷积操作的卷积层的输入，x是一个c行t列的二维矩阵，c属于常数，c表示每个时刻点特征向量的维度，t表示时间步长。w、b分别表示时间卷积使用的权重矩阵参数、偏差矩阵参数，w是一个d行c列n页三维矩阵，d为一维滤波器的维数，n为滤波器的个数，b是一个1行n列的二维矩阵。e表示卷积层的输出序列，则输出序列中第t时刻特征向量中第i个元素：其中，wt',.,i为w中第i个d行c列的二维矩阵中第t’行的向量v1，v1是1xc的矩阵，x.,t+d-t'为x中第t+d-t’列向量v2，v2是cx1的矩阵，<>表示矩阵叉乘，运算输出为一个常量。表示d次计算的累加和，再加上偏差bi，得到ei,t。t沿着时间轴以步长1进行滑动，得到整个输出序列e，e是一个n行t列的二维矩阵。对于边缘时刻点t＝0、t＝t，x.,t+d-t'可能超出x的维度，计算前对x使用边缘数值进行边缘填充，对x的第二维度两端的列分别往外复制(d-1)/2列。批量归一化(batchnormalization,bn)是e自身归一化的过程，没有网络连接，输出仍为n行t列的矩阵通过激活函数激活中的每一个元素，得到一个n行t列的二维矩阵y，作为压缩激励操作的输入数据，激活函数选用relu函数，relu(x)＝max(0，x)。(2)压缩激励操作图7是本实施例中第一、二卷积模块中压缩激励操作的计算流程。如图7所示，主要包括以下步骤：s601、压缩激励操作的输入为时间卷积的输出n行t列的二维矩阵y，此时，特征通道数为n，时间步数为t；s602、矩阵y首先通过求输入数据在时间维度上的均值，即求第二维度上的均值得到行为n列数为1的矩阵y1；s603、y1经过带有激活函数relu(x)＝max(0，x)的全连接网络层得到矩阵y3。全连接层的每一个节点都与输入层的所有节点相连，全连接层的节点设为s，则连接权值矩阵wy1为一个行数为n，列数为s的二维矩阵。y2＝wy1txy1，先把wy1转置得到一个s行n列的二维矩阵，再与y1叉乘，得到s行1列的二维矩阵y2，并使用激活函数relu对y2中的每一个元素进行激活操作，得到s行1列的二维矩阵y3。s604、y3经过带有激活函数的全连接网络层得到矩阵y5。全连接层的每一个节点都与输入层的所有节点相连，全连接层的节点设为n，则连接权值矩阵wy2为一个行数为s，列数为n的二维矩阵。y4＝wy2txy1，先把wy1转置得到一个n行s列的二维矩阵，再与y3(s，1)叉乘，得到n行1列的二维矩阵y4，并使用激活函数sigmoid对y2中的每一个元素进行激活操作，得到n行1列的二维矩阵y5，y5的第一维度大小与压缩激励操作的输入矩阵y的第一维度大小相同。s605、y与y5点乘得到输出矩阵z。矩阵y为n行t列，y5为n行1列，先对矩阵y5复制t边，得到一n行t列的矩阵y5’，z＝y*y5’，输出矩阵z为n行t列。本发明中针对当前时刻t吊起状态预测分类的实施例，继s300以后的计算步骤：s310、将二维矩阵ft作为表征当前吊起状态的特征数据经过第一卷积模块获得n1行t列的第二矩阵m2，n1为第一卷积模块中滤波器的个数，所述第一卷积模块包括一维时间卷积操作和压缩激励(squeeze-and-excite,se)操作；本实施例中，第一卷积模块的一维时间卷积操作中滤波器的个数n1＝128，维度d＝7，权重矩阵参数w31是一个7x4x128的三维矩阵，偏差矩阵参数b是一个1行128列的二维矩阵。ft经过一维时间卷积操作后，得到一个128x600的二维矩阵m1，然后输入接下来的压缩激励操作。在压缩激励操作中，输入为128x600的二维矩阵m1，特征通道数为n＝128，时间步数为t＝600，全连接层节点数s＝8，经过上述(2)所述的压缩激励操作后，得到一个128x600的二维矩阵m2，作为第二卷积模块的输入。s320、将第二矩阵m2经过第二卷积模块获得n2行t列的第四矩阵m4，n2为第二卷积模块中滤波器的个数，所述第二卷积模块包括一维时间卷积操作和压缩激励操作；本实施例中，第二卷积模块的一维时间卷积操作中滤波器的个数n2＝256，维度d＝5，权重矩阵参数w32是一个5x128x256的三维矩阵，偏差矩阵参数b32是一个1行256列的二维矩阵，m2经过一维时间卷积操作后得到256行600列的第三矩阵m3，然后输入接下来的压缩激励操作。在压缩激励操作中，输入为256行600列的第三矩阵m3，特征通道数为n＝128，时间步数为t＝600，全连接层节点数s＝8，经过压缩激励操作后，得到一个128x600的二维矩阵m4，作为第三卷积模块的输入。s330、将第四矩阵m4经过第三卷积模块获得n3行1列的第六矩阵m6，n3为第三卷积模块中滤波器的个数，所述第三卷积模块包括一维时间卷积操作和平均池化操作；本实施例中，第三卷积模块的一维时间卷积操作中滤波器的个数n3＝128，维度d＝3，权重矩阵参数w33是一个3x256x128的三维矩阵，偏差矩阵参数b33是一个1行128列的二维矩阵，经过一维时间卷积操作后得到128行600列的第五矩阵m5，将第五矩阵m5进行平均池化操作，即求第二维度上均值，获得128行1列的第六矩阵m6。s340、将特征数据ft经过长短期记忆模块获得1行dh列的第七矩阵m7，dh为长短期记忆模型中使用的隐藏神经元个数；长短期记忆模型(long-shorttermmemory，lstm)是一种特殊的循环神经网络，能够提取时间序列上时间依赖特征。lstm网络的输入是每个时刻的特征向量xt，循环次数为整个时间步长，且在每个时刻均可输出一个状态向量m、输出向量h，向量维数分别由网络内部单元状态的维度dm、隐藏神经元个数dh确定，通常dm＝dh。对t时刻的mt、ht：gu＝sigmoid(wu[ht-1,xt]+bu)。gf＝sigmoid(wf[ht-1,xt]+bf)。go＝sigmoid(wo[ht-1,xt]+bo)。gc＝tanh(wc[ht-1,xt]+bc)。mt＝gf⊙mt-1+gu⊙gc。ht＝go⊙tanh(mt)。其中，wu、wf、wo、wc分别为输入门、遗忘门、输出门和单元状态权重矩阵，bu、bf、bo、bc为相对应的偏差矩阵，[ht-1,xt]表示把两个向量连接成一个更长的向量，ht-1表示上一时刻的输出向量，ht-1为1行dh列，xt为t时刻输入的特征向量。tanh(x)＝(e^x-e^(-x))/(e^2+e^(-x))为激活函数。⊙为矩阵点乘，即矩阵中对应元素相乘。本实施例中，lstm的输入为当前时刻吊起状态的表示矩阵ft，是一个4x600的二维矩阵，特征通道数c＝4，时间步数t＝600，输入的维度dx＝c＝4，单元状态的维度dm＝8、隐藏神经元个数dh＝8，则四个权重矩阵维度均为dc×(dh+dx)，规格为8行12列的二维矩阵，偏置参数均为8行1列的二维矩阵。[ht-1,xt]拼接后得到12行1列的二维矩阵，与权重矩阵叉乘得到一个8行1列的矩阵，再加上偏置矩阵后得到一个8行1列的二维矩阵g。⊙为矩阵点乘，即对应元素相乘，激活函数也是对矩阵中的每个元素进行操作，故输出矩阵mt,ht仍为8行1列的二维矩阵。本实施例中，只保留最后时刻点的输出ht，获得一个8行1列二维矩阵m7。s350、将128行1列的第六矩阵m6转置后，再与第七矩阵m7在第二维度拼接，获得1行136列的第八矩阵m8，作为步骤s360的输入。s360、将第八矩阵m8经过带有激活函数的全连接层网络，本实施例中，全连接层输入神经元个数为136，输出神经元个数为集装箱吊起状态的类别个数l＝16，故权重参数w36是一个136行16列的二维矩阵，激活函数选用w36t与m8叉乘得到一个1行16列的矩阵m9，然后使用激活函数激活m9内的每一个元素，得到一个1行16列的二维矩阵m10，代表对当前集装箱吊起状态的预测，m10＝[c1,…,ci,…,cl]1×l,∑m10＝1，ci表示当前吊起状态属于第i种锁头组合的概率值。图8为本实施例中m10的示意图。如图8所示，矩阵m10的行数是1，列数是16，每个元素为[0，1]之间的浮点数，代表当前吊起状态属于其所在列对应的锁头组合的可能性，所有元素和为1。本实施例中，矩阵m10中最大元素‘7.82429636e-01’所在的第5列所代表的第5类所对应的锁头组合‘4’(表示吊起过程中第4个锁头没有打开，为异常吊起状态)为预测的吊起状态，则预测准确。上述所有计算用到的权重矩阵均是通过神经网络训练得到，后面会对网络训练过程进行介绍。图9是本实施例中集卡车吊起事故的分类预测使用的模型训练过程示意图。如图9所示，该过程是对神经网络进行训练得到训练后的权重参数。神经网络是一种仿生物神经网络结构的计算模型，由大量的神经元通过拓扑结构连接构成，神经元之间通过权重连接；神经元也可称作一个计算节点，把所有与之相连的输入值进行加权求和，再通过激活函数激活后输出，代表此神经元的输出；激活函数一般由softmax，sigmoid，relu等非线性函数构成，以此增加网络的表达能力，解决一些线性模型不能解决的问题。神经网络的训练也是权重调整过程，构建好网络拓扑结构，并提供大量的已知类别的样本对网络的权重进行调整，使神经网络尽量能够正确学习到训练样本的分布特性，即为训练完成。训练后的分类模型，也即为训练后的权重、网络拓扑结构，拓扑结构也看作计算规则。因本专利主旨是提出一种针对港口集装箱防吊起、吊起事故提前预警与诊断的系统，对网络训练原理未做详细描述，以便于凸显本发明的主旨。如图9所示，本专利中分类模型的训练流程主要包括以下几个步骤：s400、训练集数据采集：分别针对正常情况和15种异常情况下，集装箱被吊起过程中，通过重力传感器对重力变化进行采集。每次样本采集时间从轮胎吊的吊具与集装箱接触开始，到集装箱完全被吊起结束，并记录异常情况下，集卡车被吊起任何部分离地的时刻点，作为必须发出异常预警的最晚时限。s410、训练数据预处理：此处模块包括异常点时刻点去除、计算每个训练样本开始预测时刻点t1，保存每个样本[t1-10s，t1+50s]内序列用于训练。s420、训练神经网络模型：使用上述的训练样本对构建好的网络模型进行训练，经过与测试过程一样的步骤，输出网络预测类别概率，预测错误时则反馈调整网络权重大小，使网络尽量拟合训练样本。s430、保存权重与计算规则：保存权重矩阵与计算规则。相比于现有技术，本发明具有以下有益效果：对时间序列进行处理，占内存小，反应速度快；能够通过重力传感器及时感应吊具吊起重力的变化，灵敏度高；充分利用轮胎吊现有设备进行自主诊断预警，不用外加如激光仪、摄像机等一类的外部设备；不仅能对吊起异常实时预警，还能对发生异常的根本原因进行诊断，节省工人排查事故的时间，加速作业。综上可知，本发明的基于神经网络的集卡防吊起方法，通过对轮胎吊吊具上的重力传感器实时信号进行分析，对锁头异常组合进行预测，对潜在的吊起事故进行预警，并对根本原因进行实时诊断，便于工作人员及时排除故障，能够有效防止堆场集装箱货柜车被吊起事故的发生，大大提高堆场作业的安全性。以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。除上述实施例外，本发明还可以有其它实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。当前第1页12