基于边缘检测的集装箱起吊防撞定准系统的实现方法
【专利摘要】基于视频图像处理的集装箱起吊防撞定准系统的实现方法，提出并生成集装箱防撞定准虚拟现实图，给驾驶员提供了直观的集装箱定准防撞信息。本发明由控制系统，摄像机视频采集系统，数据中心，后台图像处理和作业应用软件5个部分组成。基于视频图像处理的集装箱、吊具识别能够计算出当前吊具与下方邻箱的相对位置和后向集装箱的高度及相对位置。这些信息能够很好地辅助驾驶员完成作业操作，并且防止吊运中的“打保龄”事故发生，帮助驾驶员快速地实现集装箱定位对准，极大地缩短了一次装卸所耗费的时间。
【专利说明】
基于边缘检测的集装箱起吊防撞定准系统的实现方法
技术领域
[0001]本发明属于视频图像处理领域，主要用于集装箱起吊防撞定准系统中，具体为一种利用集装箱外形特征和视频图像处理技术，基于边缘检测的集装箱防撞定准系统的实现方法。
【背景技术】
[0002]在经济全球化以及世界产业结构转移的推动下，我国贸易量仍保持着逐年上升的趋势。庞大的进出口总额极大地刺激了港口航运市场，这意味着国内港口需要更高的服务水平。
[0003]巨大的港口吞吐量意味着集装箱堆场作业的强度在不断增加。高效率的港口离不开高效率的机械设备和高新技术的应用，而老旧的方法通过驾驶员肉眼识别来抓取集装箱需要消耗大量时间。而且在实际操作过程中，由于堆场上集装箱堆放错落有致、高低不齐，RTG/RMG(轮胎/轨道式集装箱龙门起重机)吊具或吊具下集装箱在吊装过程中稍有不慎，就会造成吊具或者抓取的集装箱在行走路径上的碰箱事故，并且可能导致重大的货物损坏或人员伤亡，此类事故类似于打保龄球，因此俗称“打保龄”。
[0004]现有的码头吊具防撞技术中，多采用编码器进行数据采集，获得小车与大车的行走数据。而且编码器在实际使用过程中经常出现空转，轨道吊也因为其重量过大导致轨道会有将近20厘米的沉降，这严重影响了防撞系统的安全性能，而且不便于调试和维护。当前比较常见的防撞系统设计多采用编码器和激光扫描仪数据融合的方式来判断吊具运行过程中是否会发生碰箱事故，然而由于激光扫描仪只能采集单个截面的数据并且容易受到外界物体的遮挡，往往并不能采集到吊具周边的全部信息，导致其实用性并不高。
[0005]集装箱运输逐渐成为现代货运的主要运输手段，确保其安全和高效的作业水平，将大大增加港口吞吐量。在集装箱吊运过程中，吊具及集装箱可能因起升高度不够或驾驶员视角受限而造成碰箱事故，轻则箱翻物损，重则人员伤亡。而在装卸作业中，驾驶员将大量时间耗费在集装箱对位环节，严重降低作业效率，影响港口吞吐速度。因此，准确的防撞与定准具有重要的理论研究意义和实际应用价值。
[0006]参考文献:
[0007][I]孟文君.中国港口集装箱运输四十年[J].中国港口，2014,5:002.
[0008][2]张永锋.国际集装箱运输市场缓慢复苏将成新常态[J].世界海运，2015，38
(2):20-23.
[0009][3]Yoon H J,Hwang Y C,Cha E Y.Real-time container posit1n estimat1nmethod using stereo vis1n for container auto-landing system[C].ControlAutomat1n and Systems(ICCAS),2010Internat1nal Conference on.1EEE,2010:872-876.
[0010][4]徐良.基于ARM的集装箱定位系统的设计与实现[D].西南交通大学，2012.
[0011][5]赵亮.基于SIFT快速算法的单目立体视觉应用研究[D].辽宁工程技术大学，2010.
[0012][6]王红波.移动机器人视觉导航系统研究[D].北京:北京交通大学计算机与信息技术学院，2008.
[0013][7]卢传泽，蒋永平，徐杜.基于平面模板的摄像机标定新方法[J].科学技术与工程，2013(16):4541-4546.
[0014][8]王辉，毛文华，刘刚，等.基于视觉组合的苹果作业机器人识别与定位[J].农业机械学报，2012,43(12):165-170.
[0015][9]常捷.集装箱号识别中图像及字符的处理分割技术[J].淮海工学院学报，2010,19(2):33-36.
[0016][10]Gupta A1Dalal R K,Gupta R,et al.DGff-canny:An improvised vers1nof Canny edge detector[C].1ntelligent Signal Processing and Communicat1nsSystems(ISPACS),2011Internat1nal Symposium on.1EEE,2011:1-6.
[0017][ ii ]王少华.港口集装箱定位技术分析[J].电子世界，2014( 18): 135-136.
[0018][12]梁晓波，程文明.基于双目视觉的集装箱自动识别定位系统的设计[J].机械，2015,1:002.
【发明内容】
[0019]本发明要解决的问题是:在集装箱吊运过程中，吊具及集装箱可能因起升高度不够或驾驶员视角受限而造成碰箱事故，轻则箱翻物损，重则人员伤亡;而在装卸作业中，驾驶员将大量时间耗费在集装箱对位环节，严重降低作业效率，影响港口吞吐速度;需要能够准确的防撞与定准的系统。
[0020]本发明的技术方案为:基于边缘检测的集装箱起吊防撞定准系统的实现方法，所述防撞定准系统利用集装箱外形特征和视频图像处理技术，对集装箱的防撞和定准操作进行辅助，系统包括以下部分:
[0021 ] I)摄像机视频采集子系统:包括防撞摄像机和定准摄像机，防撞摄像机安装在吊具上方横梁上，用于拍摄吊具后向的图像，定准摄像机安装在吊具正上方，用于拍摄吊具和集装箱；
[0022]2)数据中心子系统:用于保存拍摄的原始视频数据，并将原始视频数据提交给后台图像处理子系统；
[0023]3)后台图像处理子系统:用于对原始视频数据进行图像处理，得到集装箱位置信息，发送给控制子系统以及人机界面子系统；
[0024]4)控制子系统:包括防撞控制模块和定准控制模块，用于给集装箱的防撞操作以及定准操作提供辅助信息；
[0025]5)人机界面子系统:用于人机交互；
[0026]其中后台图像处理子系统对于收到的原始视频数据首先进行预处理，所述预处理包括摄像机图像标定与矫正、图像灰度化、图像平滑处理以及二值阈值化处理，预处理后的视频图像进行角点检测和轮廓提取，得到图像矫正和进行轮廓提取后的效果图，对所述效果图进行轮廓检测，找出其中长宽比为61比24的矩形，即识别出吊具和集装箱，再通过判断该矩形轮廓在图像中的位置，得出它的具体位置信息;在图像处理的结果中提取关键信息，包括吊具运行高度、邻箱位置信息和后向集装箱位置信息。
[0027]后台图像处理子系统对防撞摄像机的视频图像进行预处理后，进行边缘提取，得到图像中集装箱箱顶图，不同位置的集装箱箱顶在图像中有不同的边缘和角点，在识别出的边缘中，选取距离吊具最近的一条集装箱箱顶边缘，根据它在图像中的位置计算该集装箱相对于吊具的横向和纵向位置，所述横向和纵向位置信息发送至控制子系统，控制子系统再结合吊具的状态提供对应的防撞操作辅助信息。
[0028]后台图像处理子系统对定准摄像机的视频图像识别出吊具和集装箱后，使用透射变换来确定图像中吊具的移动参数，具体为:识别吊具平面和集装箱平面上特征点，这些特征点的移动代表了吊具的整体移动，通过透射变换计算出特征点的移动参数，包括平移和缩放，平移即吊具随着小车方向的移动，缩放即吊具起降过程，已知吊具和集装箱的真实尺寸与摄像机安装位置，且吊具始终出现在视频图像的正中心位置，则根据视频图像识别出的吊具与集装箱，确定它们真实场景下的位置关系。
[0029]人机界面子系统的显示界面显示的内容包括防撞摄像机和定准摄像机的实时视频、用于定准操作的虚拟现实界面、以及防撞和定准信息，其中，防撞视频对应提供根据视频图像计算出的图像中后箱高度和后箱距离，用于辅助防撞;定准视频中设有N个虚线框，表示N个可能的集装箱堆放层数，按照集装箱不同的层高在定准视频画面里用不同的大小标出虚线框，虚线框用于对应集装箱位置，将定准视频图像中的吊具与虚线框比照，即可估算出吊具现处的高度位置，同时显示精确的高度数值，辅助定准操作；
[0030]用于定准操作的虚拟现实界面基于后台图像处理子系统的数据生成，通过识别实时视频中吊具与集装箱的大小及位置关系显示虚拟操作图，用于辅助完成集装箱定位和对准作业。
[0031 ] 进一步的，人机界面子系统还显示操控提示信息，包括:
[0032]根据计算出的吊具高度与邻箱距离，显示对应的定量的信息，并且提供一个定准信号灯，用于表示定准未成功和定准成功；
[0033]交互界面还提供六个控制按钮，分别是打开/关闭防撞摄像机、打开/关闭定准摄像机和打开/关闭定位功能，交互界面还显示集装箱层数和颜色对应关系，不同的层高数对应不同颜色。
[0034]本发明设计了基于视频图像处理的集装箱防撞定准系统，提出并生成集装箱防撞定准虚拟现实图，给驾驶员提供了直观的集装箱定准防撞信息。本发明具有以下特征及优势:
[0035]1.本发明实现的系统针对的是轨道式集装箱龙门起重机在堆场中针对场内集装箱作业时遇到的防撞对准问题，与轮胎吊对象不同，也不涉及集-卡对位；
[0036]2.本发明实现的系统实际只用一个摄像头实现辅助定准，强调“辅助”，系统并不主动控制吊车移动，也不给出偏差数值，仅仅是给驾驶员一个直观参考。传统的视频监控系统要么仅起到扩大视野的作用，本身不对视频做后期处理;要么使用许多摄像头，如申请号201410078600.X《集装箱起重机吊具对箱引导系统》，使用了 4个摄像头，且拘泥于“看不见-移动-看见-对准”的流程，这里“看不见” / “看见”的是目标框，该申请文件中将锁孔的目标位置拟合成目标框，吊具的实际位置拟合成吊具框，通过图像处理技术和位置数据拟合技术以及“瞄准框”方法，当吊具框进入目标框范围时就判定可以放下吊具，而此方案因无法规避吊具的遮挡，往往需要将摄像设备安装在震动极大的吊具下方，既影响设备寿命，又提高了安装难度，吊具的震动还会影响定准准确性。本发明实现的系统则巧妙地利用了吊具的遮挡，变不利为有利，定准摄像机安装在吊具正上方，遵循“看得见-移动-看不见-对准”的流程，这里“看得见” / “看不见”指的是视频画面中的集装箱箱顶，当视频画面中吊具完全覆盖住集装箱箱顶时则判定就是对准了，因为摄像机安装位置与现有技术不同，设置在吊具正上方，反过来利用吊具本身和视觉的遮挡原理进行对准，摄像设备无需接触吊具，减少了组件数量规模，易安装易维护，延长了系统寿命，同时不受吊具震动影响，定准的准确性尚O
【附图说明】
[0037]图1为本发明的集装箱防撞摄像机安装位置示意图。
[0038]图2为本发明的集装箱定准摄像机安装位置示意图。
[0039]图3为本发明实现的系统示意图。
[0040]图4为本发明实现的系统的程序设计框图。
【具体实施方式】
[0041]本发明利用集装箱外形特征和视频图像处理技术，设计基于边缘检测的集装箱起吊防撞定准系统。系统包括以下部分:
[0042]I)摄像机视频采集子系统:包括防撞摄像机和定准摄像机，防撞摄像机安装在吊具上方横梁上，用于拍摄吊具后向的图像，定准摄像机安装在吊具正上方，用于拍摄吊具和集装箱；
[0043]2)数据中心子系统:用于保存拍摄的原始视频数据，并将原始视频数据提交给后台图像处理子系统；
[0044]3)后台图像处理子系统:用于对原始视频数据进行图像处理，得到集装箱位置信息，发送给控制子系统以及人机界面子系统；后台图像处理子系统对于收到的原始视频数据首先进行预处理，所述预处理包括摄像机图像标定与矫正、图像灰度化、图像平滑处理以及二值阈值化处理，在预处理的基础上进行角点检测和轮廓提取，得到图像矫正和进行轮廓提取后的效果图，对所述效果图进行轮廓检测，找出其中长宽比为61比24的矩形，即识别出吊具和集装箱，再通过判断该矩形轮廓在图像中的位置，得出它的具体位置信息;在图像处理的结果中提取关键信息，包括吊具运行高度、邻箱位置信息和后向集装箱信息；
[0045]4)控制子系统:包括防撞控制模块和定准控制模块，用于给集装箱的防撞操作以及定准操作提供辅助信息；
[0046]5)人机界面子系统:用于人机交互。
[0047]整个系统也可划分为防撞和定准两个部分，各自包括摄像机视频采集、数据中心、后台图像处理、控制系统和作业应用软件5个部分。
[0048]1.防撞系统
[0049]—般来说，小车高速后向运行时最容易发生碰撞，本发明的系统针对后向防撞。小车在最高档的速度可以达到80m/min，加上驾驶员的反应时间和小车减速时间，需要花费5s才能让小车完全停止。所以在小车移动过程中，当1m外出现可能碰撞的集装箱时，系统就要出给警示，当距离更近时，系统需要给出紧急提示，甚至结合小车控制器，发出减速信号。
[0050]I)摄像机视频米集
[0051]防撞摄像机安装在吊具上方横梁上，以一定的角度倾斜向下，朝着吊具后向拍摄图像。
[0052]2)数据中心
[0053]保存拍摄的原始数据，然后将视频数据提交给后台图像处理子系统。
[0054]3)后台图像处理
[0055]对摄像机采集到的图像进行预处理与边缘提取，得到图像中即驾驶室后方视野盲区内的集装箱箱顶图，不同位置对应的集装箱在图像中会有不同的边缘和角点，在识别的目标对象中，选取距离吊具最近的一条集装箱箱顶边缘，根据它在图像中的位置计算该集装箱相对于吊具的横向和纵向位置，吊具有空载和有载两种状态，起重机会提供一个无源的信号来告知吊具处于哪种运载状态，控制子系统结合吊具的状态提供对应的防撞操作辅助信息，如果是空载，只要防止吊具和邻箱碰撞问题，如果是有载，就需要考虑吊具抓取的集装箱和邻箱的碰撞问题。
[0056]4)控制系统
[0057]这里的控制系统就是防撞控制模块，通过PLC可编程逻辑电路实现，当小车运行出现紧急情况时，不仅需要给驾驶员相应的提示，还需要能够将该信息发送给控制设备，这里的控制系统就是用于向驾驶员提供防撞信息以及将驾驶员的防撞操作发送给防撞控制设备。
[0058]5)作业应用软件
[0059]这里的作业应用软件即驾驶员在司机室可以看到的人机界面，可直接查看堆场集装箱和吊具位置信息。提供吊具后向防撞实时视频，视频下方提供了根据视频图像计算出的画面中后箱高度和后箱距离。然后通过计算机生成虚拟现实界面，协助驾驶员工作。
[0060]2.定准系统
[0061 ] I)摄像机视频米集
[0062]在吊具正上方安装一个用来进行集装箱定位的定准摄像机。驾驶员在司机室里操控吊具移动完成集装箱装卸作业。集装箱在4个角上各有一个锁孔，吊具抓取集装箱是将吊具上4个锁头准确插入集装箱顶部的4个锁孔。而在实际作业中，并不需要将它们完全对准，当锁头和锁孔的误差在1cm以内时就可以放下吊具，锁头会随着导向板滑动，插入到4个锁孔当中去，锁头旋转锁住集装箱，驾驶员在确认锁住集装箱后进行起升，搬运到指定位置放下。
[0063]2)数据中心
[0064]保存定准摄像机拍摄的原始数据，然后将视频数据提交给后台图像处理子系统。
[0065]3)后台图像处理
[0066]集装箱外形是一个长方体，共有六个面。现实中的物体是三维关系的，但反映到摄像机成像画面中则变成了二维平面图形。因此，相同的物体在二维图像上的成像结果也不尽相同，因此需要分析拍摄角度和成像结果的关系。
[0067]在集装箱定位系统中，通过视频处理的方法识别视频中吊具和吊具下方集装箱。要求视频处理系统能够在比较复杂的背景中将目标对象识别出来。这里使用透射变换来确定图像画面中吊具的移动参数。通过识别吊具平面和集装箱平面上特征点，这样这些特征点的移动就能代表了吊具的整体移动，那么复杂的问题就变成了简单的计算特征点移动参数的问题。通过透射变换计算出来的参数包括平移和缩放，平移即吊具随着小车方向移动，缩放即吊具起降过程。已知吊具和集装箱的真实尺寸与摄像机安装位置，便可以根据摄像机图像画面识别出的吊具与集装箱，确定其真实场景下的位置关系。
[0068]由于目标对象也就是集装箱在堆场码头的摆放位置是任意的，但是摄像机是随着吊具移动的，吊具始终出现在定准摄像机视频画面的正中心位置，那么就可以由后台图像处理子系统在识别吊具下方集装箱的基础上对其进行定位，准确地测量出吊具与集装箱所处的位置关系。
[0069]4)控制系统
[0070]这里的控制系统就是定准控制模块，通过PLC可编程逻辑电路实现，提示驾驶员当前集装箱的是否定准，并将信息发送给控制设备。
[0071]5)作业应用软件
[0072]这里的作业应用软件也指驾驶员在司机室可以看到的人机界面，可直接查看堆场集装箱和吊具位置信息。包括吊具上方定准实时视频的展示以及计算机生成的用于定准的虚拟现实界面，使得驾驶员更直观的看到定准信息。防撞系统和定准系统的作业应用软件可以合为一个人机界面，此人机界面包括两个视频采集摄像机的实时视频画面，视频画面像素大小取352*278。防撞摄像机提供的吊具后向防撞实时视频，视频中提供根据视频图像计算出的画面中后箱高度和后箱距离。定准摄像机提供的吊具上方定准实时视频，在吊具上方定准实时视频中，在视频图像的基础上加上N个虚线框，表示N个可能的堆放层数，根据人的视觉原理，从吊具上方向下看时，不同高度的集装箱具有不同的大小，按照集装箱不同的层高在定准视频画面里用不同的大小标出虚线框，虚线框用于对应集装箱高度位置。这样当视频里看到吊具时，驾驶员可以很方便地将其与虚线框比照，直观估算出吊具现处的高度位置，当然同时还可以将吊具更精确的高度数值显示出来，例如用吊具高度传感器测得的数值。
[0073]根据吊具高度与邻箱距离，给驾驶员一个定量的信息，并且提供一个定准信号灯，例如设置红色和绿色两种颜色，分别表示定准未成功和定准成功，给驾驶员一个定性的信息。当信号灯处于绿色时，驾驶员便可以将吊具放下。
[0074]人机界面还提供六个控制按钮给驾驶员使用，分别是打开/关闭防撞摄像机、打开/关闭定准摄像机和打开/关闭定位功能。集装箱层数和虚线框颜色可建立对应关系，不同的层高数对应不同颜色，以更加直观清楚的显示。
[0075]为使发明的目的、特征更明显易懂，下面结合附图与【具体实施方式】对本技术方案作进一步说明。
[0076]图1为本发明的集装箱防撞摄像机安装位置示意图。防撞摄像机安装在吊具上方横梁上，以一定的角度倾斜向下，朝着吊具后向拍摄图像。
[0077]图2为本发明的集装箱定准摄像机安装位置示意图，定准摄像机安装在吊具正上方，协助完成集装箱定准。
[0078]图3为本发明的系统示意图。通过摄像机视频采集系统中的两个摄像机从两个不同的角度集装箱作业场景进行拍摄，将数据传入到数据中心，用来保存拍摄的原始数据。数据中心将视频数据提交给图像处理系统，通过提取视频中的关键信息，包括吊具运载情况、吊具当前尺寸、吊具运行高度、邻箱位置信息和后向集装箱信息。结合这些信息，可以提示给驾驶员是否需要注意后向的碰撞和当前定准情况。控制系统通过PLC可编程逻辑电路实现，当小车运行出现紧急情况时，不仅给驾驶员相应的提示，还能够将该信息发送给控制设备。而作业应用软件则是实现驾驶员在司机室可以看到的人机界面，包括虚拟现实图等一系列辅助作业功能。
[0079]图4为本发明的系统程序设计实现框图。程序分为交互界面、数据中心和功能模块三个部分，前台的交互界面用于前端与用户之间界面显示和交互，即本发明中的人机界面，其显示的数据直接来自于专题应用数据库，也即从视频中提取的关键信息。交互界面主要使用C#来完成程序设计和编写，数据中心使用了 SQL Server构建数据库，后台功能模块使用了 C++和OpenCV编程实现。具体如下:
[0080]模拟视频数据的接收使用视音频压缩/解码板卡，为了能使用其提供的函数接口，必须通过C#来调用这个动态链接库。本发明采用了C++编写的非托管代码，在C#项目中对其动态链接库中的函数进行重定义。首先重定义一系列枚举值，包括板卡信息、视频预览格式、视频制式和编码图像分辨率等。其次重定义程序中用到的结构体，包括板卡信息结构体、DPS信息结构体、特殊功能结构体和版本信息结构体等。
[0081]接收视频数据后，进行集装箱轮廓提取。目前使用最多的集装箱尺寸为20英尺集装箱，简称20尺货柜，其外尺寸为6.1M X 2.44M X 2.59M(20ft X 8ft X 8ft6in)，对应20尺货柜的吊具具有和它一样的尺寸。通过在摄像机拍摄的图像中进行轮廓检测，找出其中长宽比为61比24的矩形，那么这样的轮廓可能是吊具或者集装箱，再通过判断该矩形轮廓在图像中的位置，就可以得出它的具体位置信息。对于摄像机拍摄的图像，首先利用OpenCV的blur归一化块滤波器，对其做平滑处理，然后使用cvThreshold()函数，对其做二值阈值化处理。最后进行轮廓提取。在图像中，一个物体的轮廓一般是由一条曲线包围起来，因此用一个点集来表示这条轮廓，利用函数f indContour s O从已经进行过阈值化处理的图像中找至IJO像素点和255像素点突变的点，这个点就是索要查找的轮廓点。在得到轮廓的点集之后，利用approxPolyDPO函数进行多边形逼近，并利用boundRectO函数获得轮廓的外接矩形，就可以获得视频图像中轮廓类似于矩形的物体。然而普通的矩形物体和吊具、集装箱表面的矩形在长宽比上有很大的不同，再通过限制矩形的长宽比就可以获取图像中的吊具和集装箱。
[0082]根据经过以上处理得到的图像画面，在已知摄像机镜头参数和位置参数的情况下，得到画面中物体与摄像机的相对位置关系，发送给控制子系统以及人机界面子系统，人机界面子系统包括后向视频实时展示、吊具下方视频实时展示以及计算机生成的用于定准的虚拟现实界面，虚拟现实界面包含标题栏、实时视频界面、虚拟现实图界面、功能菜单、吊具高度信息、邻箱位置信息和防撞报警控件，功能菜单包含视频开始、暂停功能等。
[0083]上述的SQLServer构建数据库，以及C++和OpenCV编程为公知技术，本领域技术人员根据上述说明即可实现，不再详述。
[0084]本发明实现的防撞定准系统，给驾驶员提供了直观的集装箱定准防撞信息，基于视频图像处理的集装箱、吊具识别能够计算出当前吊具与下方邻箱的相对位置和后向集装箱的高度及相对位置，这些信息能够很好地辅助驾驶员完成作业操作，并且防止吊运中的“打保龄”事故发生，帮助驾驶员快速地实现集装箱定位对准，极大地缩短了一次装卸所耗费的时间。
【主权项】
1.基于边缘检测的集装箱起吊防撞定准系统的实现方法，其特征是所述防撞定准系统利用集装箱外形特征和视频图像处理技术，对集装箱的防撞和定准操作进行辅助，系统包括以下部分: 1)摄像机视频采集子系统:包括防撞摄像机和定准摄像机，防撞摄像机安装在吊具上方横梁上，用于拍摄吊具后向的图像，定准摄像机安装在吊具正上方，用于拍摄吊具和集装箱； 2)数据中心子系统:用于保存拍摄的原始视频数据，并将原始视频数据提交给后台图像处理子系统； 3)后台图像处理子系统:用于对原始视频数据进行图像处理，得到集装箱位置信息，发送给控制子系统以及人机界面子系统； 4)控制子系统:包括防撞控制模块和定准控制模块，用于给集装箱的防撞操作以及定准操作提供辅助信息； 5)人机界面子系统:用于人机交互； 其中后台图像处理子系统对于收到的原始视频数据首先进行预处理，所述预处理包括摄像机图像标定与矫正、图像灰度化、图像平滑处理以及二值阈值化处理，预处理后的视频图像进行角点检测和轮廓提取，得到图像矫正和进行轮廓提取后的效果图，对所述效果图进行轮廓检测，找出其中长宽比为61比24的矩形，即识别出吊具和集装箱，再通过判断该矩形轮廓在图像中的位置，得出它的具体位置信息;在图像处理的结果中提取关键信息，包括吊具运行高度、邻箱位置信息和后向集装箱位置信息。2.根据权利要求1所述的基于边缘检测的集装箱起吊防撞定准系统的实现方法，其特征是后台图像处理子系统对防撞摄像机的视频图像进行预处理后，进行边缘提取，得到图像中集装箱箱顶图，不同位置的集装箱箱顶在图像中有不同的边缘和角点，在识别出的边缘中，选取距离吊具最近的一条集装箱箱顶边缘，根据它在图像中的位置计算该集装箱相对于吊具的横向和纵向位置，所述横向和纵向位置信息发送至控制子系统，控制子系统再结合吊具的状态提供对应的防撞操作辅助信息。3.根据权利要求1所述的基于边缘检测的集装箱起吊防撞定准系统的实现方法，其特征是后台图像处理子系统对定准摄像机的视频图像识别出吊具和集装箱后，使用透射变换来确定图像中吊具的移动参数，具体为:识别吊具平面和集装箱平面上特征点，这些特征点的移动代表了吊具的整体移动，通过透射变换计算出特征点的移动参数，包括平移和缩放，平移即吊具随着小车方向的移动，缩放即吊具起降过程，已知吊具和集装箱的真实尺寸与摄像机安装位置，且吊具始终出现在视频图像的正中心位置，则根据视频图像识别出的吊具与集装箱，确定它们真实场景下的位置关系。4.根据权利要求1所述的基于边缘检测的集装箱起吊防撞定准系统的实现方法，其特征是人机界面子系统的显示界面显示的内容包括防撞摄像机和定准摄像机的实时视频、用于定准操作的虚拟现实界面、以及防撞和定准信息，其中，防撞视频对应提供根据视频图像计算出的图像中后箱高度和后箱距离，用于辅助防撞;定准视频中设有N个虚线框，表示N个可能的集装箱堆放层数，按照集装箱不同的层高在定准视频画面里用不同的大小标出虚线框，虚线框用于对应集装箱位置，将定准视频图像中的吊具与虚线框比照，即可估算出吊具现处的高度位置，同时显示精确的高度数值，辅助定准操作； 用于定准操作的虚拟现实界面基于后台图像处理子系统的数据生成，通过识别实时视频中吊具与集装箱的大小及位置关系显示虚拟操作图，用于辅助完成集装箱定位和对准作业。5.根据权利要求4所述的基于边缘检测的集装箱起吊防撞定准系统的实现方法，其特征是人机界面子系统还显示操控提示信息，包括: 根据计算出的吊具高度与邻箱距离，显示对应的定量的信息，并且提供一个定准信号灯，用于表示定准未成功和定准成功； 交互界面还提供六个控制按钮，分别是打开/关闭防撞摄像机、打开/关闭定准摄像机和打开/关闭定位功能，交互界面还显示集装箱层数和颜色对应关系，不同的层高数对应不同颜色。
【文档编号】G06K9/00GK105893940SQ201610186163
【公开日】2016年8月24日
【申请日】2016年3月29日
【发明人】阮雅端, 陈林凯, 郜红叶, 李勃, 周东, 李昀峰, 童剑, 陈启美
【申请人】南京大学, 南京大学镇江高新技术研究院