本发明涉及集装箱起重机行业安全技术领域，尤其涉及一种基于图像识别技术的集卡防吊起方法、系统、设备及存储介质。
背景技术
随着集装箱起重机行业的发展，无人化，自动化日益成熟，特别是自动化码头的广泛应用随之出现了各种新的技术难题。如发生装卸区集卡被起重机连同集装箱一起被误吊起而导致的损坏集卡，重则倾覆等重大人员和财产损失的情况，特别是在无人操作的情况下，设备状态无法直观的通过人来检测，有极大的安全隐患。
以往摄像机视频图像只是提供后端理货人员进行辅助查看，最终还是需要人为参与判断，判断时间长且工作强度大，对自动化码头的发展而言是不相符的，在多数码头，内外集卡混用情况，给常规检测方式提出了挑战。
技术实现要素：
本发明解决的问题是在无人操作的情况下，无法直观监测集卡被起重机误吊起的状态。
为了解决上述问题，本发明提供了一种图像识别技术的集卡防吊起方法，包括：采集至少包括集卡及集装箱的视频，其中所述集卡至少包括集卡车头、平板及轮胎；根据所述视频，采集能反映目标特征物的图像；其中，所述目标特征物至少包括所述集卡及集装箱；将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；当确定所述集装箱与所述集卡未分离时，向起重机发送第一停止信号。
可选地，当所述能反映目标特征物的图像为宽幅图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，还包括：使用预设的参数，对所述能反映目标特征物的图像进行消除畸变的处理，得到第一图像；将所述第一图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，还包括：对所述第一图像进行轮廓补全的处理，得到第二图像；将所述第二图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，在所述根据所述视频，采集能反映目标特征物的图像之后，还包括：对所述能反映目标特征物的图像进行轮廓补全的处理，得到第三图像；将所述第三图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，还包括：设定集卡位置高度极限阈值；按照预设的频率，测定所述目标特征物彼此间的相对位置，并与所述集卡位置高度极限阈值进行比较；当所述目标特征物彼此间当前的相对位置大于所述集卡位置高度极限阈值时，向所述起重机发送第二停止信号。
可选地，当向所述起重机发送所述第一停止信号或所述第二停止信号时，还包括：向所述起重机发送报警信号。
可选地，所述报警信号包括：光报警信号和/或声报警信号。
可选地，当所述能反映目标特征物的图像为标准图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，还包括：对所述能反映目标特征物的图像进行轮廓补全的处理，得到第四图像；对所述第四图像进行校正拼接，获取所述能反映目标特征物的图像的形态；所述将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，所述将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；包括：
将所述能反映目标特征物彼此间当前的相对位置关系的各图像的形态与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；
当确定所述集装箱与所述集卡处于未分离状态时，还包括，
通过集卡姿态模拟，以确定所述集卡的当前状态，且将所述集卡的当前状态通知用户；其中，所述集卡的当前状态至少包括：单点吊起、单边吊起或四边吊起。
可选地，包括：当接收到安全监测指令后，执行所述根据所述视频，采集能反映目标特征物的图像的操作。
本发明还提供一种图像识别技术的集卡防吊起系统，包括：
视频采集单元，适于采集至少包括集卡及集装箱的视频，其中所述集卡至少包括集卡车头、平板及轮胎；
视频分析单元，适于根据所述视频，采集所述视频中能反映目标特征物的图像；其中，所述目标特征物至少包括所述集卡及集装箱；将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；
通讯单元，适于当确定所述集装箱与所述集卡未分离时，向起重机发送第一停止信号。
可选地，所述视频分析单元，还适于当所述能反映目标特征物的图像为宽幅图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，使用预设的参数，对所述能反映目标特征物的图像进行消除畸变的处理，得到第一图像；将所述第一图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，所述视频分析单元，还适于对所述第一图像进行轮廓补全的处理，得到第二图像；将所述第二图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，所述视频分析单元，还适于在所述根据所述视频，采集能反映目标特征物的图像之后，对所述能反映目标特征物的图像进行轮廓补全的处理，得到第三图像；将所述第三图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，所述视频分析单元，还适于设定集卡位置高度极限阈值；按照预设的频率，测定所述目标特征物彼此间的相对位置，并与所述集卡位置高度极限阈值进行比较；所述通讯单元，适于当所述目标特征物彼此间当前的相对位置大于所述集卡位置高度极限阈值时，向所述起重机发送第二停止信号。
可选地，还包括：报警单元，适于当所述起重机停止运行时，向所述起重机发送报警信号。
可选地，所述报警信号包括：光报警信号；声报警信号。
可选地，所述视频分析单元，还适于当所述能反映目标特征物的图像为标准图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，对所述能反映目标特征物的图像进行轮廓补全的处理，得到第四图像；对所述第四图像进行校正拼接，获取所述能反映目标特征物的图像的形态；所述将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，所述视频分析单元，还适于所述将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；包括：
将所述能反映目标特征物彼此间当前的相对位置关系的各图像的形态与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离，
当确定所述集装箱与所述集卡处于未分离状态时，还包括，
通过集卡姿态模拟，以确定所述集卡的当前状态，且将所述集卡的当前状态通知用户；其中，所述集卡的当前状态至少包括：单点吊起、单边吊起或四边吊起。
可选地，所述视频采集单元包括一组或多组摄像机。
可选地，每组所述摄像机包括单目摄像机或双目/多目摄像机。
可选地，所述单目摄像机，适于通过所述预存的特征图像，按照图像比例算法，确定所述目标特征物彼此间当前的相对位置。
可选地，所述双目摄像机，适于通过左图及右图进行匹配得到视差图，通过所述视差图得到所述目标特征物彼此间当前的相对位置。
可选地，所述多目摄像机，适于通过多视图进行匹配得到视差图，通过所述视差图得到所述目标特征物彼此间当前的相对位置。
可选地，所述左图为所述双目摄像机在所述集卡前进方向的左侧图像，所述右图为所述双目摄像机在所述集卡前进方向的右侧图像。
可选地，所述多视图为多目摄像机采集所述集卡区域的图像。
可选地，还包括：照明单元，适于调整装卸区的照度。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器适于存储计算机指令，所述处理器适于在运行所述计算机指令时，执行上述任一项所述的集卡防吊起方法。
本发明还提供一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一项所述的集卡防吊起方法。
如上，本发明提供一种图像识别技术的集卡防吊起方法，包括：采集至少包括集卡及集装箱的视频，其中所述集卡至少包括集卡车头、平板及轮胎；根据所述视频，采集能反映目标特征物的图像；其中：所述目标特征物至少包括所述集卡及集装箱；将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；当确定所述集装箱与所述集卡未分离时，向起重机发送第一停止信号。
因此，本发明通过智能的图像分析来解决发生在装卸区集卡被起重机连同集装箱一起被误吊而导致的损坏集卡，重则倾覆等重大人员和财产损失的情况，特别是在无人操作的情况下，避免安全隐患。
附图说明
图1是本发明实施例图像识别技术的集卡防吊起方法的流程图一；
图2是本发明实施例图像识别技术的集卡防吊起方法的流程图二；
图3是本发明实施例图像识别技术的集卡防吊起系统的结构示意图；
图4是本发明实施例图像识别技术的集卡防吊起系统的图像识别示意图一；
图5是本发明实施例图像识别技术的集卡防吊起系统的图像识别示意图二；
图6是本发明实施例图像识别技术的集卡防吊起系统的图像识别示意图三；
图7是本发明实施例图像识别技术的集卡防吊起系统的图像识别示意图四；
图8是本发明实施例图像识别技术的集卡防吊起系统的双箱模式时图像识别示意图。
其中，上述附图包括以下附图标记：
01视频采集单元；02视频分析单元；03通讯单元；04起重机控制系统；05可编程控制器；06光报警信号；07声报警信号；11摄像机；12装卸通道；13集卡；13’集卡车头；14吊具；15集装箱；15’起吊箱；15”未吊箱；16集卡平板；17轮胎。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
参考图1，本发明提供一种图像识别技术的集卡防吊起方法，包括：
步骤s11：采集至少包括集卡及集装箱的视频，其中所述集卡至少包括集卡车头、平板及轮胎。
集卡至少包括集卡车头、平板及轮胎，在起重机起吊集卡之前，采集装卸区至少包括集卡车头、平板及轮胎及集装箱的视频，按现场实际照度需求布置红外照明灯，以采集清晰的视频。
步骤s12：根据所述视频，采集能反映目标特征物的图像；其中所述目标特征物至少包括所述集卡及集装箱。
目标特征物至少包括集卡车头、平板及轮胎及集装箱。在接收到起重机控制器系统安全检测指令后，视频分析处理软件提取所述视频中能反映各目标特征物的图像，如能反映集卡车头、平板及轮胎、集装箱的图像。对所述能反映目标特征物的图像进行轮廓补全的处理，主要解决集装箱、集卡车头、平板及轮胎存在污损和锈蚀的问题，提高定位的精准度，以得到第三图像。
其中，当所述能反映各目标特征物的图像为宽幅图像时，使用预设的参数，对所述能反映目标特征物的图像进行校正，以消除图像畸变，具体来说，广角镜头的视角范围大，其所采集的图像为宽幅图像，宽幅图像中易出现影响畸变的缺陷，通过与预先设定的标定文件进行比对，以消除宽幅图像的畸变而得到第一图像，对所述第一图像进行轮廓补全的处理，主要解决集装箱、集卡车头、平板及轮胎存在污损和锈蚀的问题，提高定位的精准度，以得到第二图像。
当所述能反映各目标特征物的图像为标准图像时，对能反映各目标特征物的图像进行轮廓补全的处理，主要解决集装箱、集卡车头、平板及轮胎存在污损和锈蚀的问题，提高定位的精准度，以得到第四图像。
步骤s13：将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
建立集装箱、集卡车头、平板及轮胎模型特征库作为预存的特征图像。对所述第三图像使用模板匹配的方法，定位集装箱、集卡车头、平板及轮胎等目标特征物所在位置，以获取各目标特征物彼此间当前的相对位置。
其中，当所述能反映各目标特征物的图像为宽幅图像时，对所述第二图像使用模板匹配的方法，定位集装箱、集卡车头、平板及轮胎等目标特征物所在位置，以获取各目标特征物彼此间当前的相对位置。
当所述能反映各目标特征物的图像为标准图像时，对所述第四图像进行校正拼接后，使用模板匹配的方法，定位集装箱、集卡车头、平板及轮胎等目标特征物所在位置，以获取各目标特征物彼此间当前的相对位置。
步骤s14：将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离。
设定目标特征物彼此间相对位置阈值，即设定目标特征物彼此间相对位置的最大值和最小值。当所述目标特征物彼此间当前的相对位置在所述目标特征物彼此间相对位置阈值范围内时，所述集装箱与所述集卡处于分离状态，起重机正常起吊集装箱。
所述将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；包括：
将所述能反映目标特征物彼此间当前的相对位置关系的各图像的形态与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；
当确定所述集装箱与所述集卡处于未分离状态时，还包括，通过集卡姿态模拟，以确定所述集卡的当前状态，且将所述集卡的当前状态通知用户；其中，所述集卡的当前状态至少包括：单点吊起、单边吊起或四边吊起。
具体来说，当确定所述集装箱与所述集卡处于未分离状态时，可以通过集卡姿态模拟，以确定所述集卡的当前状态，当前状态至少包括：单点吊起、单边吊起或四边吊起，并将所述集卡的当前状态反馈给用户，便于用户进行将集卡的当前状态调整至可正常起吊的状态的操作。
步骤s15：当确定所述集装箱与所述集卡未分离时，向起重机发送第一停止信号。
当所述目标特征物彼此间当前的相对位置不在所述目标特征物彼此间相对位置阈值范围内时，所述集装箱与所述集卡处于未分离状态，向起重机发送第一停止信号，起重机停止运行并报警。并通过集卡模拟姿态以确定所述集卡的当前状态，当前状态至少包括：单点吊起、单边吊起或四边吊起，并将所述集卡的当前状态反馈给用户，便于用户进行将集卡的当前状态调整至可正常起吊的状态的操作。
当所述目标特征物彼此间当前的相对位置在所述目标特征物彼此间相对位置阈值范围内以及调整至可正常起吊的状态时，参见图2中步骤s26，设定集卡位置高度极限阈值；按照预设的频率，测定所述目标特征物彼此间的相对位置，并与所述集卡位置高度极限阈值进行比较，当所述目标特征物彼此间当前的相对位置大于所述集卡位置高度极限阈值时，向所述起重机发送第二停止信号。
具体来说，在起重机正常起吊过程中，需要实时测量集卡平板位置和提取的集卡位置高度极限阈值设定进行比较，也可以通过车轮特征位置和集卡位置高度极限阈值设定进行比较，或者采用多重图像识别来提高可靠性，直到一个循环结束，集卡被正常吊起。通过设置集卡防吊起最大限高，是一种防止图像识别分离误判后的极限保护措施，增加安全系数，确保不发生重大事故。其中，当在起吊过程中所述目标特征物彼此间当前的相对位置超过集卡高度阈值时，起重机停止运行并报警。
本发明实施例中，报警信号包括光报警信号和/或声报警信号。
如图2所示，本发明实施例，步骤s21：视频信号采集；在接收到起重机检测指令时，进行步骤s22：图像提取；步骤s23：图像预处理，包括上述步骤s12和s13中的图像处理过程；提取集装箱、集卡车头、平板及轮胎模型特征库数据，进行步骤s24：位置判断(将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置)；提取设定的目标特征物彼此间相对位置阈值，进行步骤s25：是否分离(将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离)，其中，当所述目标特征物彼此间当前的相对位置在所述目标特征物彼此间相对位置阈值范围内时，所述集装箱与所述集卡处于分离状态，进行步骤s26：起重机正常起吊集装箱，反之，进行步骤s25’：起重机停止运行并报警；当起重机正常起吊时，提取设定的集卡位置高度极限阈值，与目标特征物彼此间当前的相对位置进行比较，当所述目标特征物彼此间当前的相对位置大于所述集卡位置高度极限阈值时，进行步骤s25’：起重机停止运行并报警，反之，进行步骤s27：起重机正常起吊。
综上，本发明通过智能的图像分析，在无人操作的情况下，直观监测集卡被起重机误吊起的状态，确保不发生重大事故。
参考图3并结合图1和图2，本发明还提供一种图像识别技术的起重机防吊起系统，包括：视频采集单元01，适于采集至少包括集卡13及集装箱15的视频，其中所述集卡13至少包括集卡车头13’、平板16及轮胎17；
视频分析单元02，适于根据所述视频，采集所述视频中能反映目标特征物的图像；其中：所述目标特征物至少包括所述集卡13及集装箱15；将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱15与所述集卡13是否分离；
通讯单元03，适于当确定所述集装箱15与所述集卡13未分离时，向起重机发送第一停止信号。
还包括：报警单元，适于当所述起重机停止运行时，向所述起重机发送报警信号，所述报警信号包括光报警信号06、声报警信号07。
如图3所示，通讯单元03接收到起重机控制系统04发出的检测指令后，视频分析单元02会采集图像按预设的频率进行图像分析，分析结构通过通讯单元03发送给起重机控制系统04，起重机控制系统根据故障情况由可编程控制器05发送光报警06和声报警07。
视频分析单元，还适于当所述能反映目标特征的图像为宽幅图像时，在根据所述视频，采集能反映目标特征物的图像之后，使用预设的参数，对所述能反映目标特征物的图像进行消除畸变的处理，得到第一图像；对所述第一图像进行轮廓补全的处理得到第二图像；将所述第二图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
视频分析单元，还适于在所述根据所述视频，采集能反映目标特征物的图像之后，对所述能反映目标特征物的图像进行轮廓补全的处理，得到第三图像；将所述第三图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
视频分析单元，还适于当所述能反映目标特征物的图像为标准图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，对所述能反映目标特征物的图像进行轮廓补全的处理，得到第四图像；对所述第四图像进行校正拼接，获取所述能反映目标特征物的图像的形态；所述将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
视频分析单元，还适于所述将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；包括：将所述能反映目标特征物彼此间当前的相对位置关系的各图像的形态与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；
当确定所述集装箱与所述集卡处于未分离状态时，还包括：通过集卡姿态模拟，以确定所述集卡的当前状态，且将所述集卡的当前状态通知用户；其中，所述集卡的当前状态至少包括：单点吊起、单边吊起或四边吊起。
视频采集单元包括一组或多组摄像机，如图3所示，本发明实施例提供的视频分析单元包括四组摄像机11，每组摄像机11包括单目摄像机或双目/多目摄像机，即四组摄像机可以均为单目摄像机，也可以均为双目/多目摄像机，本发明对此不做限制。
本发明实施例中，单目摄像机适于通过所述预存的特征图像，按照图像比例算法，确定所述目标特征物彼此间当前的相对位置。双目摄像机，适于通过左图及右图进行匹配得到视差图，通过所述视差图得到所述目标特征物彼此间当前的相对位置，其中，左图为所述双目摄像机在所述集卡前进方向的左侧图像，右图为所述双目摄像机在所述集卡前进方向的右侧图像。多目摄像机，适于通过多视图进行匹配得到视差图，通过所述视差图得到所述目标特征物彼此间当前的相对位置，其中，多视图为多目摄像机采集所述集卡区域的图像。
本发明实施例提供一种图像识别技术的集卡防吊起系统，还包括：照明单元，适于调整装卸区的照度，其中照明单元可以为红外照明灯，但不限于led照明。
本发明实施例，通过图像识别技术，可以建立多个特征比对模型方案，以下实施例包含但不限于这几种方案：
如图4至图6所示，采用四组摄像机11，分别安装在装卸通道12，集卡13进入该车道，通过吊具14，把集装箱15吊往堆场。
图像识别案例1：建立集装箱15和集卡平板16模型特征库，通过单目或多目摄像机计算出相对位置a，b，c，d从而判断是否分离；
图像识别案例2：建立集卡平板16模型特征库，如图7所示，通过图像拼接技术设置集卡平板16的表面y轴2作为参考，相对位置e，f和集卡位置高度极限阈值比较来作为安全保护；
图像识别案例3：建立轮胎17模型特征库，通过图像拼接识别轮胎特征，如图7所示，设置轮胎17的表面x轴作为参考，相对位置g，h和集卡位置高度极限阈值比较来作为安全保护；
图像识别案例4：如图8所示，在装卸双箱模式案例时，加入吊具14识别起吊箱15’的位置，避免出现未吊箱15”未分离的误报情况，计算出起吊箱15’相对位置a，b，c，d，从而判断起吊箱15’与集卡平板是否分离。
以上多种图像识别方案可以单独使用，也可以结合使用，来提高准确率。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器适于存储计算机指令，所述处理器适于在运行所述计算机指令时，执行上述实施例所述的集卡防吊起方法。
本发明还提供一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述实施例所述的集卡防吊起方法。
根据一个或多个实施例，所述存储器可以包括计算机可读记录/存储介质，如随机存取存储器(ram)、只读存储器(rom)、闪存存储器、光盘、磁盘、固态盘，等等。根据一个或多个实施例，所述处理器由变成为用户执行本文所描述的一个或多个操作和/或功能的微处理器来执行。根据一个或多个实施例，所述处理器整个或部分地由专门配置的硬件来执行，例如，由一个或多个专用集成或asi(s)来执行。
综上所述，本发明提供的上述实施例仅例示性说明本发明的原理及功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。