机 前轮位置； 步骤2000,该激光扫描子系统通过激光扫描方式获取飞机的机鼻位置，并推算得到第 二飞机前轮位置； 步骤3000,针对该第一飞机前轮位置和该第二飞机前轮位置，根据一融合规则进行融 合，得到飞机前轮偏离情况。2. 如权利要求1所述的方法，其特征在于，该步骤1000进一步包括： 步骤S1，飞机泊位场景设置步骤，将监测场景划分为不同的信息处理功能区； 步骤S2,图像预处理步骤，对所拍摄的图像进行预处理； 步骤S3,飞机捕获步骤，通过在该图像中识别飞机的引擎和前轮，以确认该图像中出现 飞机； 步骤S4,飞机跟踪步骤，对步骤S3所捕获到的飞机的引擎和前轮的图像进行连续跟踪 和实时更新； 步骤S5,飞机定位步骤，实现对飞机实时定位并准确判断飞机相对于引导线的偏离程 度和相对于停止线的距离。3. 如权利要求2所述的方法，其特征在于，该图像预处理步骤进一步包括： 步骤S21，根据该图像的平均灰度值判断该图像为低照度图像、强光照图像还是正常 光照图像，对低照度图像执行低照度图像处理步骤，对强光照图像执行强光照图像处理步 骤； 步骤S22,根据该图像的方差判断该正常光照图像是否为正常图像； 步骤S23,对于非正常图像，判断其为雨雪图像还是雾图像，对雨雪图像执行雨雪图像 处理步骤，对雾图像执行雾图像处理步骤。4. 如权利要求3所述的方法，其特征在于，该低照度图像处理步骤包括： g(x,y) =f(x,y)+af(x,y) (255-f(x,y)) f(x，y)为原图像，（x，y)为图像中的像素点坐标，g(x，y)为处理之后的图像，a为低照 度图像处理参数。5. 如权利要求3所述的方法，其特征在于，该雨雪图像处理步骤包括： 利用光度测定模型寻找被雨雪污染的待处理像素； 对于当前图像的待处理像素，提取与该当前图像前后相邻的图像的相应像素的亮度 值，根据该亮度值判断与该当前图像前后相邻的图像的相应像素是否均为待处理像素，如 果是，取该当前图像的待处理像素的所有相邻像素的亮度值的平均值，用该平均值代替该 当前图像的待处理像素的亮度值，如果否，利用该当前图像前后相邻的图像的相应像素的 亮度值中的最小值或最小的两个值的平均值，代替该当前图像的待处理像素的亮度值。6. 如权利要求3所述的方法，其特征在于，通过同态滤波进行该雾图像处理步骤。7. 如权利要求2所述的方法，其特征在于，该飞机捕获步骤进一步包括： 步骤S31，背景消除步骤，利用单高斯背景模型来模拟场景中背景的动态分布并进行背 景建模，然后将当前图像与背景模型作差分以消除背景，得到前景区域； 步骤S32,阴影消除步骤，统计该前景区域的灰度值，找出最大灰度值gmax和最小灰度 值gmin，然后在灰度值小于T=gmin+(gmax-gmin)*0· 5的区域进行阴影消除； 步骤S33,区域分类步骤，建立一个标准正面飞机区域模板，经过变化检测提取目标区 域并求取该区域的垂直投影曲线，然后求取该垂直投影曲线与所述标准正面飞机区域模板 的垂直投影曲线的相关系数，若该相关系数大于或等于一分类阈值，则该目标为飞机； 步骤S34,特征验证步骤，通过检测捕获到的飞机的引擎和前轮来进一步验证该目标是 否为飞机。8. 如权利要求7所述的方法，其特征在于，该特征验证步骤进一步包括： 步骤S341，图像极黑区域提取，对当前图像的目标区域进行灰度直方图统计，在灰度级 中间1%~99%范围内获得最大灰度值、最小灰度值，借助预设的极黑判定阈值以及该最 大灰度值、最小灰度值提取图像中最黑的部分，得到一幅极黑区域； 步骤S342,类圆形检测，提取该极黑区域的所有外层边界，对每一个边界使用边界的矩 计算边界的重心坐标，边界的第ji阶矩定义如下：对于当前边界的所有像素点，计算其与该重心的距离，若计算得到的最大距离与最小 距离的比值大于一圆形判定阈值，则认为该区域非圆形，进行下一区域的判定，否则认为该 区域为类圆形，记录类圆形区域的重心坐标和半径； 步骤S343,在类圆形区域中通过判断相似度检测飞机引擎； 步骤S344,检测飞机前轮，得到第一飞机前轮位置。9. 如权利要求8所述的方法，其特征在于，在步骤S343中，对于检测到的Μ个类圆形区 域，其中第i个和第j个的相似度Similarity^为： Similarity^ = |Height「Heightj| * |RadiuSi-RadiuSj| 其中，Height为重心高度，Radius为半径，当相似度Similarity^小于预设的相似度 阈值时，则认为类圆形区域i和j为飞机引擎。10. 如权利要求9所述的方法，其特征在于，在步骤S343中，若没有检测出飞机引擎， 则进行迭代检测，将所述极黑判定阈值、圆形判定阈值、相似度阈值分别增大，再进行步骤 S341-343 ;若仍然没有检测出飞机引擎，则对所有的极黑区域使用7*7的圆形模板进行开 操作，再进行步骤S342-343 ; 若仍然没有检测出飞机引擎，则再进行2次上述迭代检测； 若仍然没有检测出飞机引擎，则判定图像中无引擎存在。11. 如权利要求10所述的方法，其特征在于，所述极黑判定阈值、圆形判定阈值、相似 度阈值的增加量分别为〇. 05、0. 5、20。12. 如权利要求8所述的方法，其特征在于，该步骤S344进一步包括： 在图像的搜索区域中，将256级的灰度级量化至64级，搜索量化为64级的灰度直方图 中的第一个波峰和波谷，原始256级灰度的灰度直方图中的最优波峰位置BestPeak、最优 波谷BestValley位置定义如下：其中hist256 (i)为256级灰度的灰度直方图中，灰度为i的像素总数； 以最优波谷BestValley对灰度进行分割，对小于最优波谷BestValley的部分，除去面 积较小的杂点，使用扁平椭圆型结构元素对图像进行闭操作； 接着对所有图形计算边界的7阶Hu矩特征，与预置的标准前轮模型的矩特征进行比 对，当相似度低于一阈值时则判定中间一个为前轮。13. 如权利要求8所述的方法，其特征在于，该飞机跟踪步骤进一步包括： 步骤S41，在获得上一帧图像的引擎位置后，采用洪水填充法跟踪确定当前帧的引擎区 域； 步骤S42,如果步骤S41的填充结果无效，执行阴暗环境检测跟踪步骤，使用上一帧的 参数进行步骤S341和步骤S342来检测跟踪引擎区域； 步骤S43,在获取到引擎区域的信息之后，使用步骤S344检测飞机前轮，得到该第一飞 机前轮位置； 步骤S44,前轮跟踪应急处理步骤，在检测前轮形状不正确或前轮位置与之前多帧图像 相比发生明显偏离时，根据上一帧图像和当前图像的信息，利用相邻两帧图像引擎的位移 对该帧的前轮位移进行估计，将估计结果作为前轮跟踪结果，如果超出N帧仍检测不到，则 输出错误信息。14. 如权利要求13所述的方法，其特征在于，该飞机定位步骤包括： 步骤S51，摄像装置标定与图像矫正步骤，用于确定摄像装置的光学参数与地理坐标系 之间的对应关系； 步骤S52,飞机前轮偏离程度解算步骤； 步骤S53,飞机前轮实际距离解算步骤。15. 如权利要求14所述的方法，其特征在于，该步骤S51进一步包括： 步骤S511，读取N幅标定图片； 步骤S512,使用OpenCV的cvFindChessboardCornersO函数寻找棋盘角点，将读取的 所述N幅标定图片分别代入所述cvFindChessboardCorners()函数，如果成功寻找到所有 的角点，则函数返回1，并得到角点在图像坐标系下坐标；如果不成功则返回〇 ; 步骤S513,将成功寻找到的所述角点在标定模板上的坐标代入函数cvCalibrateCamera2 ()中，返回得到摄像装置的参数矩阵、畸变系数、旋转向量和平移向 量。16. 如权利要求14所述的方法，其特征在于，该步骤S52进一步包括： 根据由步骤S43得到该第一飞机前轮位置（X。，y。)，利用所述位置坐标点与引导线和停 止线的关系，求得引导线的直线方程为^ = ，停止线的直线方程为：y2 =k2x2+b2，所 述位置坐标点到直线的距离为：将（x。，y。）代入两个直线方程分别求得山和d2,d2 >ο表示飞机前轮超出停止线，d2 <0表示飞机前轮未到达停止线，此时若h>0,山>0则表示飞机偏左，山<0表示飞机 偏右；若4<0,则山<0表示飞机偏左，山>0表示飞机偏右。17. 如权利要求16所述的方法，其特征在于，该步骤S52还包括，判断|山| >width/2 是否成立，width为一等于检测的飞机前轮的宽度的阈值，如果成立，认为飞机已经偏离引 导线。18. 如权利要求14所述的方法，其特征在于，该步骤S53进一步包括： 建立图像坐标与大地坐标的对应关系； 由步骤S1的场景设置中的标记点得到图像坐标，采用最小二乘法对该图像坐标进行 二次曲线拟合，得到曲线方程y=ax2+bx+c，X是图像上的距离，y是实际距离； 对于飞机前轮在图像上的位置，沿停止线方向将其投影到引导线上，计算投影点到停 止点的欧氏距离作为X，则通过y=ax2+bx+c可得到飞机前轮到停止线的实际距离。19. 如权利要求2所述的方法，其特征在于，该步骤S3之后还可执行步骤S7,飞机识别 及身份验证步骤，步骤S7进一步包括： 步骤S71，参数验证，提取图像中的飞机参数并与预置于数据库中的机型数据进行比 对，得到机型相似度参数； 步骤S72,模板匹配，将图像与预置于所述数据库中的机型模板进行比对，得到模板相 似度参数； 步骤S73,综合判断，所述机型数据相似度参数与所述模板相似度参数大于或等于一验 证阈值时，视为通过身份验证。20. 如权利要求19所述的方法，其特征在于，步骤S71进一步包括： 步骤S711，提取图像中的飞机引擎参数并与预置于数据库中对应机型的飞机引擎参数 进行比对，得到第一比值； 步骤S712,提取图像中的飞机机翼参数并与预置于数据库中对应机型的飞机机翼参数 进行比对，得到第二比值； 步骤S713,提取图像中的飞机机头参数并与预置于数据库中对应机型的飞机机头参数 进行比对，得到第三比值； 步骤S714,提取图像中的飞机尾翼参数并与预置于数据库中对应机型的飞机尾翼参数 进行比对，得到第四比值；以及 步骤S715,取第一比值、第二比值、第三比值、第四比值这四者中的最小值以及最大值， 将最小值/最大值，作为该机型相似度参数。21. 如权利要求19所述的方法，其特征在于，步骤S72进一步包括： 步骤S721，全局模板匹配，以整幅图像为被搜索图像，标准飞机图像为模板，计算全局 模板相似度参数； 步骤S722,局部模板匹配，分别以步骤S711-S714中提取得到的所述飞机引擎、飞机机 翼、飞机机头和所述飞机尾翼为被搜索图像，分别以标准飞机图像的引擎、机翼、机头和尾 翼为模板，计算被搜索图像与模板的4个相似度，去掉所述4个相似度中的最小值，计算所 述4个相似度中其余3个相似度的平均数为局部模板相似度参数。22. 如权利要求21所述的方法，其特征在于，步骤S73进一步包括：若所述机型相似度 参数、全局模板相似度参数和所述局部模板相似度参数中至少有2个大于或等于第一验证 阈值，视为通过身份验证，或，所述机型相似度参数、全局模板相似度参数和所述局部模板 相似度参数都大于第二验证阈值，视为通过身份验证。23. 如权利要求1所述的方法，其特征在于，该步骤2000进一步包括： 捕获步骤，对飞机机头的预计出现位置进行水平方向的激光扫描，获取激光扫描的回 波数据，根据一判断条件对该回波数据进行判断，以识别飞机是否出现； 引导步骤，在飞机出现后，对飞机机头进行水平方向的激光扫描，获取激光扫描的回波 数据并据以判断飞机的机鼻位置； 跟踪步骤，在飞机行进过程中，通过调整该激光扫描的垂直扫描角度，跟踪该机鼻位 置。24. 如权利要求23所述的方法，其特征在于，该捕获步骤之前还包括零点标定步骤，该 零点标定步骤包括设备安装零点标定步骤，执行于扫描系统初次安装时，该设备安装零点 标定步骤包括水平零点测量步骤和垂直零点测量步骤； 该水平零点测量步骤包括： 扫描系统以固定垂直扫描角度向地面的一标定区域进行水平扫描，将该标定区域等分 为N个小区域，对每个小区域的边界点进行测距，从获得的测距值中找出最小值，以具有最 小值的边界点为中心，确定一扩展区域，以该扩展区域中的具有最小测距值的点作为水平 零占. 该垂直零点测量步骤包括： 该扫描系统在垂直扫描角度h进行测距得到第一距离值Li，针对该垂直扫描角度 调整λ度再次测距得到第二距离值L2，利用公式 I^^sin β i = L2氺sin ( β λ ) 计算βi，确认以Q所在直线为斜边，以该斜边在地面投影为直角边，该斜边与该直角 边的夹角为β:的直角三角形的直角顶点为垂直零点。25. 如权利要求24所述的方法，其特征在于，该零点标定步骤还包括零点修正步骤，该 零点修正步骤包括： 在该设备安装零点标定步骤执行完毕后，该扫描系统从零点起逐步调整扫描角度直至 扫描到一预设参照物，记录此时的扫描角度作为修正角度； 当该扫描系统重新开机时，该扫描系统在扫描到该预设参照物后，回调该修正角度，以 找到该零点。26. 如权利要求23所述的方法，其特征在于，该判断条件进一步包括： Α、判断具有连续且具有最小测距值的感兴趣点的个数与回波数据的总数之比是否大 于一阈值； Β、根据该回波数据的总数计算飞机宽度，判断该飞机宽度是否不小于一宽度阈值；以 及 C、计算飞机高度，判断计算得到的飞机高度是否处于预定范围； 其中，该感兴趣点的测距值在一预测长度两侧的规定范围。27. 如权利要求23所述的方法，其特征在于，该捕获步骤在获取该回波数据时，先对该 回波数据进行中值滤波，再识别飞机是否出现。28. 如权利要求23所述的方法，其特征在于，该引导步骤进一步包括： 从该回波数据中，截取落在机头的目标点，将该目标点从极坐标数据转换为三维空间 数据； 从该目标点中提取Y方向最短的点作为最近点； 利用该目标点进行曲线拟合，获取曲线的顶点； 根据该最近点的X值与该顶点的X值的差值，确定该最近点以及该顶点中之一为该机 鼻位置。29. 如权利要求23所述的方法，其特征在于，该跟踪步骤进一步包括： 在飞机进行过程中以预定垂直扫描角度扫描飞机的机鼻位置； 根据回波数据计算飞机的当前机鼻点； 对该当前机鼻点进行垂直扫描，根据扫描得到的抛物线的顶点计算垂直扫描角度的改 变量，并据以改变该垂直扫描角度，或者，根据该当前机鼻点计算垂直扫描角度的改变量， 并据以改变该垂直扫描角度。30. 如权利要求23所述的方法，其特征在于，还包括机型识别的步骤，包括：机鼻高度 验证、机舱宽度验证、机头俯视轮廓验证、机头侧视轮廓验证和飞机引擎验证中的一种或几 种； 该机鼻高度验证包括：如果机鼻高度与预设机鼻高度之差在一预设范围内，视为通过 机鼻高度验证； 该机舱宽度验证包括：寻找该回波数据中X坐标相差最大的两个点，将这两个点的直 线距离作为机舱宽度，如果该机舱宽度大于理论机舱宽度与一宽度系数的乘积，视为通过 机舱宽度验证； 该机头俯视轮廓验证包括：将水平方向的激光扫描获得的回波数据（Xl，yi， Zl)代入 预设的俯视轮廓方程y=fn(x)，水平拟合点误差为.v,.|，水平拟合最大误差 馬=:max，若Dh <ΛDh，则可认为机头的俯视轮廓验证通过，ΛDh为俯视验证阈值， i为回波数据的目标点的序号，η为俯视方程的拟合次数； 该机头侧视轮廓验证包括：将垂直方向的激光扫描获得的回波数据代入 预设的俯视轮廓方程z=gm(y)，垂直拟合点误差为= |gm (乃）-&|，垂直拟合最大误差 D, =maxfAi/j，若Dv <ADV，则可认为机头的侧视轮廓验证通过，ADV为侧视验证阈值，i 为回波数据的目标点的序号，m为侧视方程的拟合次数； 该飞机引擎验证包括： 根据该机鼻位置计算引擎位置，对该引擎位置进行水平方向的激光扫描以及垂直方向 的激光扫描； 将水平方向的激光扫描得到的回波数据转换到χ-y-z三维坐标，寻找距离理论引擎中 心最近的坐标点，并寻找与该最近的坐标点连续的点，得到一点集，点集中最左端和最右端 的两个点的距离作为引擎宽度，该两个点的中点为引擎中心的水平坐标； 将垂直方向的激光扫描得到的回波数据转换到χ-y-z三维坐标，寻找距离理论引擎中 心最近的坐标点，并寻找与该最近的坐标点连续的点，得到一点集，点集中最上端和最下端 的两个点的距离作为引擎高度，该两个点的中点为引擎中心的离地高度； 判断引擎的个数与预定个数是否一致，如不一致，视为飞机引擎验证失败； 判断该引擎中心的水平坐标或该引擎中心的离地高度与标准值的差距是否超过阈值， 如果是，视为飞机引擎验证失败； 判断该引擎宽度或该引擎高度与标准值的差距是否超过阈值，如果是，视为引擎验证 失败。31. 如权利要求1所述的方法，其特征在于，该融合规则包括： 对于飞机前轮偏离引导线的情况： 判断该第一飞机前轮位置与该第二飞机前轮位置的坐标差距中的X轴的差距是否小 于等于一阈值，如果是，选用该机器视觉子系统计算得到的飞机前轮偏离程度，如果否，将 该第二飞机前轮位置以及该第一飞机前轮位置做平滑滤波后给出飞机前轮偏离引导线的 情况； 对于飞机前轮距离停止线的距离： 判断该第二飞机前轮位置是否出现异常波动，如果否，取该第二飞机前轮位置作为飞 机前轮距离停止线的距离，如果是，取之前N次的由该机器视觉子系统以及该激光扫描子 系统分别获得的飞机前轮位置，求其平均差距，采用本次该机器视觉子系统得到的飞机前 轮位置，加上该平均差距，作为飞机前轮距离停止线的距离。32. 如权利要求31所述的方法，其特征在于，该融合规则进一步包括： 使用基于d-s理论的融合方法，建立一个非空的辨识框架= 其中，h 表示机型正确，豕表示机型错误，Η=汍&·表示机型可能正确也可能错误，即暂时不能确 定，0表示不可能事件； 建立该机器视觉子系统的mass函数1? (·)和该激光扫描子系统的mass函数m2 (·)， 且满足：m2(h)和根据该激光扫描子系统预先设定的优先等级判别顺序而变化；其中εi、ε2为预设的门限值，则融合结果为：机型正确身份验证通过； 若有则融合结果为：机型错误身份验证失败。 ，+33. -种飞机入坞引导和机型识别的系统，其特征在于，包括： 机器视觉装置，用于使机器视觉子系统通过图像拍摄方式获取图像，并从中计算得到 第一飞机前轮位置； 激光扫描装置，用于使激光扫描子系统通过激光扫描方式获取飞机的机鼻位置，并推 算得到第二飞机前轮位置； 融合装置，针对该第一飞机前轮位置和该第二飞机前轮位置，根据一融合规则进行融 合，得到飞机前轮偏离情况。34. 如权利要求33所述的系统，其特征在于，该机器视觉装置还包括： 飞机泊位场景设置单元，用于将监测场景划分为不同的信息处理功能区； 图像预处理单元，用于对所拍摄的图像进行预处理； 飞机捕获单元，用于在该图像中识别飞机的引擎和前轮，以确认该图像中出现飞机； 飞机跟踪单元，用于对所捕获到的飞机的引擎和前轮的图像进行连续跟踪和实时更 新； 飞机定位单元，用于实现对飞机的实时定位并准确判断飞机相对于引导线的偏离程度 和相对于停止线的距离。35. 如权利要求33所述的系统，其特征在于，该激光扫描装置还包括： 捕获单元，用于对飞机机头的预计出现位置进行水平方向的激光扫描，获取激光扫描 的回波数据，根据一判断条件对该回波数据进行判断，以识别飞机是否出现； 引导单元，用于在飞机出现后，对飞机机头进行水平方向的激光扫描，获取激光扫描的 回波数据并据以判断飞机的机鼻位置；以及 跟踪单元，用于在飞机行进过程中，通过调整该激光扫描的垂直扫描角度，跟踪该机鼻 位置。
【专利摘要】本发明公开了一种飞机入坞引导和机型识别的系统及方法，该方法执行于包括机器视觉子系统、激光扫描子系统和融合模块的飞机入坞引导和机型识别的系统中，该方法包括：步骤1000，该机器视觉子系统通过图像拍摄方式获取图像，并从中计算得到第一飞机前轮位置；步骤2000，该激光扫描子系统通过激光扫描方式获取飞机的机鼻位置，并推算得到第二飞机前轮位置；步骤3000，针对该第一飞机前轮位置和该第二飞机前轮位置，根据一融合规则进行融合，得到飞机前轮偏离情况。
【IPC分类】G05D1/10
【公开号】CN105302151
【申请号】CN201410377430
【发明人】邓览, 常绍民, 向卫, 杨月峰, 王海彬, 刘海秋
【申请人】深圳中集天达空港设备有限公司, 中国国际海运集装箱(集团)股份有限公司
【公开日】2016年2月3日
【申请日】2014年8月1日
【公告号】WO2016015546A1