一种飞机入坞引导和机型识别的系统及方法
【技术领域】
[0001] 本发明涉及泊位引导系统，特别是涉及一种飞机入坞引导和机型识别的系统及方 法。
【背景技术】
[0002] 飞机泊位引导是指将到港飞机从滑行道末端导引至机坪的停机位置并准确停泊 的过程。飞机泊位引导的目的是保障入坞飞机安全准确停泊，能方便飞机与各种地勤接口 的准确对接，并使登机桥能有效靠接飞机舱门，提高机场运行效率和安全。
[0003] 自动飞机泊位引导系统按使用传感器的类型不同主要分为：
[0004] (1)地埋线圈类；（2)激光扫描测距类；（3)视觉感知类。
[0005] 由于激光扫描测距类和视觉感知类自动引动系统能有效获取入坞飞机的可视化 信息，因此该两类自动飞机泊位引导系统又称为可视化泊位引导系统。
[0006] 地埋感应线圈类自动引导系统通过探测是否有金属物体经过或停留来确定入坞 飞机的位置。地埋感应线圈的优点是响应速度快、成本低，对天气和照度无要求，但误差较 大、抗干扰能力低。同时，埋在地下的引线和电子元件容易被压坏、可靠性不高，测量精度不 高，不能识别机型，可调试可维修性差。
[0007] 激光扫描测距类自动引导系统通过激光测距和激光扫描来确定飞机位置、速度和 机型等信息，不受环境照度的影响、且受天气影响较小，精度较高，可调试可维修性好。
[0008] 视觉感知类自动引导系统通过光学成像方式获取飞机入坞过程的图像信息，进而 通过智能化信息处理技术确定入坞飞机的位置、速度和机型等信息，系统架构简单、成本 低，具有高的智能化水平，可调性可维护性较好，但对天气和照度有要求、适应性较差。
[0009] 随着视觉感知成像技术、智能化信息处理技术和计算机技术的不断深入发展，可 视化飞机泊位引导技术能精确、快速获取入坞飞机的入坞信息，已在机场的泊位引导系统 中得到应用。
[0010] 美国Honeywell公司研制的可视化飞机泊位引导系统（VDGS)和德国西门子公司 研制的视频泊位引导系统（VDOCKS)作为国际领先水平的视觉引导设备也在国际上一些机 场得到应用。
[0011] 但这些系统对天气和照度要求较高、适应性较差，且缺乏智能化的信息处理能力， 且不具备较高的精确性。
【发明内容】
[0012] 本发明解决的技术问题在于，实现飞机入坞泊位引导，并有效提高飞机入坞过程 中，在确认飞机前轮偏离情况方面的精确性。
[0013] 为解决上述问题，本发明公开了一种飞机入坞引导和机型识别的方法，执行于包 括机器视觉子系统、激光扫描子系统和融合模块的飞机入坞引导和机型识别的系统中，该 方法包括：
[0014] 步骤1000,该机器视觉子系统通过图像拍摄方式获取图像，并从中计算得到第一 飞机前轮位置；
[0015] 步骤2000,该激光扫描子系统通过激光扫描方式获取飞机的机鼻位置，并推算得 到第二飞机前轮位置；
[0016] 步骤3000,针对该第一飞机前轮位置和该第二飞机前轮位置，根据一融合规则进 行融合，得到飞机前轮偏离情况。
[0017] 该步骤1000进一步包括：步骤S1，飞机泊位场景设置步骤，将监测场景划分为不 同的信息处理功能区；步骤S2,图像预处理步骤，对所拍摄的图像进行预处理；步骤S3,飞 机捕获步骤，通过在该图像中识别飞机的引擎和前轮，以确认该图像中出现飞机；步骤S4， 飞机跟踪步骤，对步骤S3所捕获到的飞机的引擎和前轮的图像进行连续跟踪和实时更新； 步骤S5,飞机定位步骤，实现对飞机实时定位并准确判断飞机相对于引导线的偏离程度。
[0018] 该图像预处理步骤进一步包括：
[0019] 步骤S21，根据该图像的平均灰度值判断该图像为低照度图像、强光照图像还是正 常光照图像，对低照度图像执行低照度图像处理步骤，对强光照图像执行强光照图像处理 步骤；
[0020] 步骤S22,根据该图像的方差判断该正常光照图像是否为正常图像；
[0021] 步骤S23,对于非正常图像，判断其为雨雪图像还是雾图像，对雨雪图像执行雨雪 图像处理步骤，对雾图像执行雾图像处理步骤。
[0022] 该低照度图像处理步骤包括：
[0023] g (x, y) = f (x, y) +af (x, y) (255-f (x, y))
[0024] f(x，y)为原图像，（x,y)为图像中的像素点坐标,g(x，y)为处理之后的图像,a为 低照度图像处理参数。
[0025] 该雨雪图像处理步骤包括：
[0026] 利用光度测定模型寻找被雨雪污染的待处理像素；
[0027] 对于当前图像的待处理像素，提取与该当前图像前后相邻的图像的相应像素的亮 度值，根据该亮度值判断与该当前图像前后相邻的图像的相应像素是否均为待处理像素， 如果是，取该当前图像的待处理像素的所有相邻像素的亮度值的平均值，用该平均值代替 该当前图像的待处理像素的亮度值，如果否，利用该当前图像前后相邻的图像的相应像素 的亮度值中的最小值或最小的两个值的平均值，代替该当前图像的待处理像素的亮度值。
[0028] 通过同态滤波进行该雾图像处理步骤。
[0029] 该飞机捕获步骤进一步包括：
[0030] 步骤S31，背景消除步骤，利用单高斯背景模型来模拟场景中背景的动态分布并进 行背景建模，然后将当前图像与背景模型作差分以消除背景，得到前景区域；
[0031] 步骤S32,阴影消除步骤，统计该前景区域的灰度值，找出最大灰度值gmax和最小 灰度值gmin，然后在灰度值小于T = gmin+(gmax-gmin)*0· 5的区域进行阴影消除；
[0032] 步骤S33,区域分类步骤，建立一个标准正面飞机区域模板，经过变化检测提取目 标区域并求取该区域的垂直投影曲线，然后求取该垂直投影曲线与所述标准正面飞机区 域模板的垂直投影曲线的相关系数，若该相关系数大于或等于一分类阈值，则该目标为飞 机；
[0033] 步骤S34,特征验证步骤，通过检测捕获到的飞机的引擎和前轮来进一步验证该目 标是否为飞机。
[0034] 该特征验证步骤进一步包括：
[0035] 步骤S341，图像极黑区域提取，对当前图像的目标区域进行灰度直方图统计，在灰 度级中间1 %~99 %范围内获得最大灰度值、最小灰度值，借助预设的极黑判定阈值以及 该最大灰度值、最小灰度值提取图像中最黑的部分，得到一幅极黑区域；
[0036] 步骤S342,类圆形检测，提取该极黑区域的所有外层边界，对每一个边界使用边界 的矩计算边界的重心坐标，边界的第ji阶矩定义如下：
[0038] 重心坐标0,歹>:
[0040] 对于当前边界的所有像素点，计算其与该重心的距离，若计算得到的最大距离与 最小距离的比值大于一圆形判定阈值，则认为该区域非圆形，进行下一区域的判定，否则认 为该区域为类圆形，记录类圆形区域的重心坐标和半径；
[0041] 步骤S343,在类圆形区域中通过判断相似度检测飞机引擎；
[0042] 步骤S344,检测飞机前轮，得到第一飞机前轮位置。
[0043] 在步骤S343中，对于检测到的M个类圆形区域，其中第i个和第j个的相似度 Similarityij 为：
[0044] Similarityij = I Heighti-Heightj I * I Radiusi-Radiusj I
[0045] 其中，Height为重心高度，Radius为半径，当相似度Similarityu小于预设的相 似度阈值时，则认为类圆形区域i和j为飞机引擎。
[0046] 在步骤S343中，若没有检测出飞机引擎，则进行迭代检测，将所述极黑判定阈值、 圆形判定阈值、相似度阈值分别增大，再进行步骤S341-343 ;若仍然没有检测出飞机引擎， 则对所有的极黑区域使用7*7的圆形模板进行开操作，再进行步骤S342-343 ;
[0047] 若仍然没有检测出飞机引擎，则再进行2次上述迭代检测；
[0048] 若仍然没有检测出飞机引擎，则判定图像中无引擎存在。
[0049] 所述极黑判定阈值、圆形判定阈值、相似度阈值的增加量分别为0. 05、0. 5、20。
[0050] 该步骤S344进一步包括：
[0051] 在图像的搜索区域中，将256级的灰度级量化至64级，搜索量化为64级的灰度直 方图中的第一个波峰和波谷，原始256级灰度的灰度直方图中的最优波峰位置BestPeak、 最优波谷BestValley位置定义如下：
[0054] 其中hist256⑴为256级灰度的灰度直方图中，灰度为i的像素总数；
[0055] 以此最优波谷BestValley对灰度进行分割，对小于最优波谷BestValley的部分， 除去面积较小的杂点，使用一个扁平椭圆型结构元素对图像进行闭操作；
[0056] 接着对所有图形计算边界的7阶Hu矩特征，与预置的标准前轮模型的矩特征进行 比对，当相似度低于一阈值时则判定中间一个为前轮。
[0057] 该飞机跟踪步骤进一步包括：
[0058] 步骤S41，在获得上一帧图像的引擎位置后，采用洪水填充法跟踪确定当前帧的引 擎区域；
[0059] 步骤S42,如果步骤S41的填充结果无效，执行阴暗环境检测跟踪步骤，使用上一 帧的参数进行步骤S341和步骤S342来检测跟踪引擎区域；
[0060] 步骤S43,在获取到引擎区域的信息之后，使用步骤S344检测飞机前轮，得到该第 一飞机前轮位置；
[0061] 步骤S44,前轮跟踪应急处理步骤，在检测前轮形状不正确或前轮位置与之前多帧 图像相比发生明显偏离时，根据上一帧图像和当前图像的信息，利用相邻两帧图像引擎的 位移对该帧的前轮位移进行估计，将估计结果作为前轮跟踪结果，如果超出N帧仍检测不 到，则输出错误信息。
[0062] 该飞机定位步骤包括：步骤S51，摄像装置标定与图像矫正步骤，用于确定摄像装 置的光学参数与地理坐标系之间的对应关系；步骤S52,飞机前轮偏离程度解算步骤；步骤 S53,飞机前轮实际距离解算步骤。
[0063] 该步骤S51进一步包括：
[0064] 步骤S511，读取N幅标定图片；
[0065] 步骤S512,使用OpenCV的cvFindChessboardCorners ()函数寻找棋盘角点，将读 取的所述N幅标定图片分别代入所述cvFindChessboardCorners ()函数，如果成功寻找到 所有的角点，则函数返回1，并得到角点在图像坐标系下坐标；如果不成功则返回〇 ;
[0066] 步骤S513,将成功寻找到的所述角点在标定模板上的坐标代入函数 cvCalibrateCamera2 ()中，返回得到摄像装置的参数矩阵、畸变系数、旋转向量和平移向 量。
[0067] 该步骤S52进一步包括：
[0068] 根据由步骤S43得到该第一飞机前轮位置（X。，y。)，利用所述位置坐标点与引导 线和停止线的关系，求得引导线的直线方程为 ：yi = klXl+bi，停止线的直线方程为：y2 = k2x2+b2，所述位置坐标点到直线的距离为：
[0070] 将（X。，y。）代入两个直线方程分别求得Cl1和d2, d2 > 0表示飞机前轮超出停止线， d2 < 0表示飞机前轮未到达停止线，此时若Ic1 > 0, (I1 > 0则表示飞机偏左，(I1 < 0表示飞 机偏右；若h < 0,则Cl1 < 0表示飞机偏左，Cl1 > 0表示飞机偏右。
[0071] 该步骤S52还包括，判断I (I11 > width/2是否成立，width为一等于检测的飞机前 轮的宽度的阈值，如果成立，认为飞机已经偏离引导线。
[0072] 该步骤S53进一步包括：
[0073] 建立图像坐标与大地坐标的对应关系；
[0074] 由步骤SI的场景设置中的标记点得到图像坐标，采用最小二乘法对该图像坐标 进行二次曲线拟合，得到曲线方程y = ax2+bx+c，X是图像上的距离，y是实际距离；
[0075] 对于飞机前轮在图像上的位置，沿停止线方向将其投影到引导线上，计算投影点 到停止点的欧氏距离作为X，则通过y = ax2+bx+c可得到飞机前轮到停止线的实际距离。
[0076] 该步骤S3之后还可执行步骤S7,飞机识别及身份验证步骤，步骤S7进一步包括：
[0077] 步骤S71，参数验证，提取图像中的飞机参数并与预置于数据库中的机型数据进行 比对，得到机型相似度参数；
[0078] 步骤S72,模板匹配，将图像与预置于所述数据库中的机型模板进行比对，得到模 板相似度参数；
[0079] 步骤S73,综合判断，所述机型数据相似度参数与所述模板相似度参数大于或等于 一验证阈值时，视为通过身份验证。
[0080] 步骤S71进一步包括：
[0081] 步骤S711，提取图像中的飞机引擎参数并与预置于数据库中对应机型的飞机引擎 参数进行比对，得到第一比值；
[0082] 步骤S712,提取图像中的飞机机翼参数并与预置于数据库中对应机型的飞机机翼 参数进行比对，得到第二比值；
[0083] 步骤S713,提取图像中的飞机机头参数并与预置于数据库中对应机型的飞机机头 参数进行比对，得到第三比值；
[0084] 步骤S714,提取图像中的飞机尾翼参数并与预置于数据库中对应机型的飞机尾翼 参数进行比对，得到第四比值；以及
[0085] 步骤S715,取第一比值、第二比值、第三比值、第四比值这四者中的最小值以及最 大值，将最小值/最大值，作为该机型相似度参数。
[0086] 步骤S72进一步包括：
[0087] 步骤S721，全局模板匹配，以整幅图像为被搜索图像，标准飞机图像为模板，计算 全局模板相似度参数；
[0088] 步骤S722,局部模板匹配，分别以步骤S711-S714中提取得到的所述飞机引擎、飞 机机翼、飞机机头和所述飞机尾翼为被搜索图像，分别以标准飞机图像的引擎、机翼、机头 和尾翼为模板，计算被搜索图像与模板的4个相似度，去掉所述4个相似度中的最小值，计 算所述4个相似度中其余3个相似度的平均数为局部模板相似度参数。
[0089] 步骤S73进一步包括：若所述机型相似度参数、全局模板相似度参数和所述局部 模板相似度参数中至少有2个大于或等于第一验证阈值，视为通过身份验证，或，所述机型 相似度参数、全局模板相似度参数和所述局部模板相似度参数都大于第二验证阈值，视为 通过身份验证。
[0090] 该步骤2000进一步包括：
[0091] 捕获步骤，对飞机机头的预计出现位置进行水平方向的激光扫描，获取激光扫描 的回波数据，根据一判断条件对该回波数据进行判断，以识别飞机是否出现；
[0092] 引导步骤，在飞机出现后，对飞机机头进行水平方向的激光扫描，获取激光扫描的 回波数据并据以判断飞机的机鼻位置；
[0093] 跟踪步骤，在飞机行进过程中，通过调整该激光扫描的垂直扫描角度，跟踪该机鼻 位置。
[0094] 该捕获步骤之前还包括零点标定步骤，该零点标定步骤包括设备安装零点标定步 骤，执行于扫描系统初次安装时，该设备安装零点标定步骤包括水平零点测量步骤和垂直 零点测量步骤；
[0095] 该水平零点测量步骤包括：
[0096] 扫描系统以固定垂直扫描角度向地面的一标定区域进行水平扫描，将该标定区域 等分为N个小区域，对每个小区域的边界点进行测距，从获得的测距值中找出最小值，以具 有最小值的边界点为中心，确定一扩展区域，以该扩展区域中的具有最小测距值的点作为 水平零点；
[0097] 该垂直零点测量步骤包括：
[0098] 该扫描系统在垂直扫描角度β i进行测距得到第一距离值L1，针对该垂直扫描角 度P1调整λ度再次测距得到第二距离值L 2，利用公式
[0099] Ldsin β ! = L2*sin ( β「λ )
[0100] 计算β i，确认以L1所在直线为斜边，以该斜边在地面投影为直角边，该斜边与该 直角边的夹角为P1的直角三角形的直角顶点为垂直零点。
[0101] 该零点标定步骤还包括零点修正步骤，该零点修正步骤包括：
[0102] 在该设备安装零点标定步骤执行完毕后，该扫描系统从零点起逐步调整扫描角度 直至扫描到一预设参照物，记录此时的扫描角度作为修正角度；
[0103] 当该扫描系统重新开机时，该扫描系统在扫描到该预设参照物后，回调该修正角 度，以找到该零点。
[0104] 该判断条件进一步包括：
[0105] A、判断具有连续且具有最小测距值的感兴趣点的个数与回波数据的总数之比是 否大于一阈值；
[0106] B、根据该回波数据的总数计算飞机宽度，判断该飞机宽度是否不小于一宽度阈 值；以及
[0107] C、计算飞机高度，判断计算得到的飞机高度是否处于预定范围；
[0108] 其中，该感兴趣点的测距值在一预测长度两侧的规定范围。
[0109] 该捕获步骤在获取该回波数据时，先对该回波数据进行中值滤波，再识别飞机是 否出现。
[0110] 该引导步骤进一步包括：
[0111] 从该回波数据中，截取落在机头的目标点，将该目标点从极坐标数据转换为三维 空间数据；
[0112] 从该目标点中提取Y方向最短的点作为最近点；
[0113] 利用该目标点进行曲线拟合，获取曲线的顶点；
[0114] 根据该最近点的X值与该顶点的X值的差值，确定该最近点以及该顶点中之一为 该机鼻位置。
[0115] 该跟踪步骤进一步包括：
[0116] 在飞机进行过程中以预定垂直扫描角度扫描飞机的机鼻位置；
[0117] 根据回波数据计算飞机的当前机鼻点；
[0118] 对该当前机鼻点进行垂直扫描，根据扫描得到的抛物线的顶点计算垂直扫描角度 的改变量，并据以改变该垂直扫描角度，或者，根据该当前机鼻点计算垂直扫描角度的改变 量，并据以改变该垂直扫描角度。
[0119] 所述的方法还包括机型识别的步骤，包括：机鼻高度验证、机舱宽度验证、机头俯 视轮廓验证、机头侧视轮廓验证和飞机引擎验证中的一种或几种；
[0120] 该机鼻高度验证包括：如果机鼻高度与预设机鼻高度之差在一预设范围内，视为 通过机鼻高度验证；
[0121] 该机舱宽度验证包括：寻找该回波数据中X坐标相差最大的两个点，将这两个点 的直线距离作为机舱宽度，如果该机舱宽度大于理论机舱宽度与一宽度系数的乘积，视为 通过机舱宽度验证；
[0122] 该机头俯视轮廓验证包括：将水平方向的激光扫描获得的回波数据（Xl，yi，Z 1)代 入预设的俯视轮廓方程y = fn(x)，水平拟合点误差为
水平拟合最大误 差
若Dh < Λ DH，则可认为机头的俯视轮廓验证通过，Λ Dh为俯视验证阈 值，i为回波数据的目标点的序号，η为俯视方程的拟合次数；
[0123] 该机头侧视轮廓验证包括：将垂直方向的激光扫描获得的回波数据（Xl，yi，Z 1)代 入预设的俯视轮廓方程z = gm(y)，垂直拟合点误差为
垂直拟合最大误 差
若Dv < Λ Dv，则可认为机头的侧视轮廓验证通过，Λ Dv为侧视验证阈值， i为回波数据的目标点的序号，m为侧视方程的拟合次数；
[0124] 该飞机引擎验证包括：
[0125] 根据该机鼻位置计算引擎位置，对该引擎位置进行水平方向的激光扫描以及垂直 方向的激光扫描；
[0126] 将水平方向的激光扫描得到的回波数据转换到x-y-z三维坐标，寻找距离理论引 擎中心最近的坐标点，并寻找与该最近的坐标点连续的点，得到一点集，点集中最左端和最 右端的两个点的距离作为引擎宽度，该两个点的中点为引擎中心的水平坐标；
[0127] 将垂直方向的激光扫