描得到的回波数据转换到x-y-z三维坐标，寻找距离理论引 擎中心最近的坐标点，并寻找与该最近的坐标点连续的点，得到一点集，点集中最上端和最 下端的两个点的距离作为引擎高度，该两个点的中点为引擎中心的离地高度；
[0128] 判断引擎的个数与预定个数是否一致，如不一致，视为飞机引擎验证失败；
[0129] 判断该引擎中心的水平坐标或该引擎中心的离地高度与标准值的差距是否超过 阈值，如果是，视为飞机引擎验证失败；
[0130] 判断该引擎宽度或该引擎高度与标准值的差距是否超过阈值，如果是，视为引擎 验证失败。
[0131] 该融合规则包括：
[0132] 对于飞机前轮偏离引导线的情况：
[0133] 判断该第一飞机前轮位置与该第二飞机前轮位置的坐标差距中的X轴的差距是 否小于等于一阈值，如果是，选用该机器视觉子系统计算得到的飞机前轮偏离程度，如果 否，将该第二飞机前轮位置以及该第一飞机前轮位置做平滑滤波后给出飞机前轮偏离引导 线的情况；
[0134] 对于飞机前轮距离停止线的距离：
[0135] 判断该第二飞机前轮位置是否出现异常波动，如果否，取该第二飞机前轮位置作 为飞机前轮距离停止线的距离，如果是，取之前N次的由该机器视觉子系统以及该激光扫 描子系统分别获得的飞机前轮位置，求其平均差距，采用本次该机器视觉子系统得到的飞 机前轮位置，加上该平均差距，作为飞机前轮距离停止线的距离。
[0136] 该融合规则进一步包括：
[0137] 使用基于D-S理论的融合方法，建立一个非空的辨识框架：
其 中，h表示机型正确，^表示机型错误，= {九/7}表示机型可能正确也可能错误，即暂时不 能确定，0表示不可能事件；
[0138] 建立该机器视觉子系统的mass函数mi( ·)和该激光扫描子系统的mass函数 m2 ( ·),且满足：
[0142] m2 (h)和％ 根据该激光扫描子系统预先设定的优先等级判别顺序而变化；
[0143] 计算mass函数的正交和
[0144] 其中，
[0145] 若有
[0147] 其中ε i、ε 2为预设的门限值，则融合结果为：机型正确身份验证通过；
[0148] 若有
[0150] 则融合结果为：机型错误身份验证失败。
[0151] 本发明还公开了一种飞机入坞引导和机型识别的系统，包括：
[0152] 机器视觉装置，用于使机器视觉子系统通过图像拍摄方式获取图像，并从中计算 得到第一飞机前轮位置；
[0153] 激光扫描装置，用于使激光扫描子系统通过激光扫描方式获取飞机的机鼻位置， 并推算得到第二飞机前轮位置；
[0154] 融合装置，针对该第一飞机前轮位置和该第二飞机前轮位置，根据一融合规则进 行融合，得到飞机前轮偏离情况。
[0155] 该机器视觉装置进一步包括：
[0156] 飞机泊位场景设置单元，用于将监测场景划分为不同的信息处理功能区；
[0157] 图像预处理单元，用于对所拍摄的图像进行预处理；
[0158] 飞机捕获单元，用于在该图像中识别飞机的引擎和前轮，以确认该图像中出现飞 机；
[0159] 飞机跟踪单元，用于对所捕获到的飞机的引擎和前轮的图像进行连续跟踪和实时 更新；
[0160] 飞机定位单元，用于实现对飞机的实时定位并准确判断飞机相对于引导线的偏离 程度。
[0161] 该机器视觉装置进一步包括：
[0162] 捕获单元，用于对飞机机头的预计出现位置进行水平方向的激光扫描，获取激光 扫描的回波数据，根据一判断条件对该回波数据进行判断，以识别飞机是否出现；
[0163] 引导单元，用于在飞机出现后，对飞机机头进行水平方向的激光扫描，获取激光扫 描的回波数据并据以判断飞机的机鼻位置；以及
[0164] 跟踪单元，用于在飞机行进过程中，通过调整该激光扫描的垂直扫描角度，跟踪该 机鼻位置。
[0165] 本发明的飞机入坞引导和机型识别的系统及方法，具有有效的智能化信息处理能 力，能有效实现飞机入坞过程的飞机捕获、跟踪与定位、机型识别与身份验证等功能，而且 具有智能化的站坪可视化监控功能，能有效提高民航机场自动化、智能化和运营管理的水 平。
【附图说明】
[0166] 图1所示为本发明的飞机入坞引导和机型识别系统的结构示意图。
[0167] 图2A、2B所示为本发明的机器视觉子系统的结构示意图。
[0168] 图3所示为本发明的飞机入坞引导和机型识别流程图。
[0169] 图4所示为本发明的飞机泊位场景设置示意图。
[0170] 图5A、5B所示为图像预处理步骤的详细流程图。
[0171] 图6所示为同态滤波器函数的曲线示例图；
[0172] 图7A所示为本发明的背景消除流程图；
[0173] 图7B所示为一幅典型的极黑区域示意图；
[0174] 图7C所示为相似度判定的流程示意图；
[0175] 图7D所示为256级灰度的灰度直方图示例图；
[0176] 图7E所示为量化后的64级灰度的灰度直方图示例图；
[0177] 图7F所示为使用一个扁平椭圆型结构元素对图像进行闭操作的效果示例图；
[0178] 图8A所示为飞机跟踪步骤的流程示意图；
[0179] 图8B所示为飞机引擎部分的图像示例图；
[0180] 图9是实际距离与图像距离的对应点及拟合曲线示例图；
[0181] 图IOA所示为飞机识别及验证算法流程图；
[0182] 图IOB所示为分层图像结构示意图；
[0183] 图IOC所示为飞机图像边缘示例图；
[0184] 图IOD所示为机翼轮廓与引擎轮廓示例图；
[0185] 图IOE所示为被搜索图像S、子图Sli、模板T的示意图；
[0186] 图11公开了激光扫描子系统的结构示意图；
[0187] 图12所示为扫描系统的结构示意图；
[0188] 图13所示为飞机入坞场景划分示意图；
[0189] 图14为水平零点标定的原理示意图；
[0190] 图15为垂直零点标定的原理示意图；
[0191] 图16所TK为激光扫描子系统与飞机的相对位置TK意图；
[0192] 图17、18所示为本发明激光扫描子系统所执行的捕获步骤的流程示意图；
[0193] 图19所示为本发明激光扫描子系统所执行的引导步骤的流程示意图；
[0194] 图20所示为飞机跟踪的俯视示意图；
[0195] 图21所示为跟踪步骤的流程示意图；
[0196] 图22所示为显示于显示设备中的一种可行的显示方式示例图。
【具体实施方式】
[0197] 下面结合附图对本发明的结构原理和工作原理作具体的描述。
[0198] 本发明公开了一种飞机入坞引导和机型识别系统。如图1所示为本发明的飞机入 坞引导和机型识别系统的结构示意图。
[0199] 飞机入坞引导和机型识别系统主要包括机器视觉子系统1000、激光扫描子系统 2000、视觉信息和激光信息融合单元3000和显示设备4000。机器视觉子系统1000、激光扫 描子系统2000和显示设备4000均分别与视觉信息和激光信息融合单元3000连接。机器 视觉子系统1000、激光扫描子系统2000针对同一机坞，各自获取飞机的泊位信息，交由视 觉信息和激光信息融合单元3000融合为一个信息，并发送给显示设备4000进行显示。
[0200] 图2A、2B所示为本发明的机器视觉子系统的结构示意图。机器视觉子系统1000 主要包括摄像装置1001和中央处理设备1002。摄像装置1001与中央处理设备1002连接， 中央处理设备1002将处理后的信息发送给信息融合模块3000。
[0201] 其中，摄像装置1001安装在飞机泊位站坪40的停止线42后方，正对引导线41为 宜，安装高度要高于飞机5的机身，在5-8m左右为宜，图2A中与摄像装置1001相连的虚线 表示其设置在地面正上方。摄像装置1001将拍摄的图像发送给中央处理设备1002。
[0202] 中央处理设备1002可以是一台拥有接受数据、处理数据、储存数据、生成显示图 像数据、发送数据能力的计算装置，包括用于执行飞机泊位场景配置、视频图像预处理、飞 机捕获、飞机跟踪、飞机定位、飞机识别及身份验证的多个功能模块，全部作为软件安装在 中央处理设备1002中。显示设备4000优选为安装于机场中可供飞机驾驶员观看的大型信 息显示屏，另外，机场工作人员也可配备手持式显示设备以观察飞机情况。
[0203] 参见图3,图3为本发明一实施例的飞机入坞引导和机型识别流程图。本发明基于 机器视觉的飞机入坞引导和机型识别方法，包括如下步骤：
[0204] 以下首先详细介绍机器视觉子系统1000的详细运行方式。
[0205] 步骤S1、飞机泊位场景设置。
[0206] 飞机泊位场景配置是指将监测场景划分成不同的信息处理功能区，并且确定场景 中的一些重要的参照物的具体位置和状态，是实现飞机泊位信息有效处理的基础。
[0207] 由于飞机从开始进入机位到最终停止需要经历一个较长的距离，故而在飞机入坞 引导过程中，需分为多个阶段，每个阶段的监测内容不同，也就是说，需要提前进行飞机泊 位场景设置。
[0208] 在步骤Sl中，将飞机泊位站坪40的监测场景划分为不同的信息处理的功能区，以 缩小图片的处理区域范围，提高处理效率。
[0209] 除了不同功能区以外，飞机泊位场景中最重要的两个标志是引导线和停止线，有 效的获取引导线和停止线的位置，是确保飞机泊位过程成功的一个重要依据和必不可少的 一个环节，也是区分各个功能区的关键要素。本发明标记出上述各个功能区，从而在各个功 能区完成相应的引导信息处理任务。此外还标记出相关地勤设备区，可避免引导的过程中 出现事故。
[0210] 该步骤中首先需要在飞机泊位站坪40的监测场景中进行场景定义，紧邻该引导 线41铺设一条黑白间隔的标尺，黑色与白色的长度间隔相同，长度间隔最大lm，可根据摄 像装置的分辨率，使用长度间隔为〇. 5m、0. 25m等更精细的标尺，标尺的总长度不超过对飞 机位置进行距离解算的范围，通常为50m。
[0211] 通过运行于中央处理设备1002中的软件可再现该监测场景。开启该软件可显示 摄像装置1001拍摄的关于飞机泊位站坪40的画面，并通过手动绘制线条、选框和点，来标 记相关区域，并保存记录。
[0212] 摄像装置1001拍摄没有飞机停靠时的飞机泊位站坪40的场景图像，并传送至中 央处理设备1002。飞机泊位场景设置示意图见图4,图中边框43表示进行标定操作时所显 示的画面和可用于描绘的区域，图中虚线线框可以是手动描绘的位置，可以在显示的图像 上手动绘制线条，分别标记出引导线41和停止线42,保存记录引导线41和停止线42在图 像中的位置信息。通过手动绘制选框，分别标记出捕获区6、跟踪定位区7和相关地勤设备 区8,保存记录捕获区6和跟踪定位区7在图像中的位置信息。机型识别与身份验证区，以 及，跟踪定位区7,可以对应同一段区域。再根据场景中铺设的标尺，手动画点，标记出紧邻 引导线41旁边的最大间隔为Im的所有标记点9,保存记录所有标记点9在图像中的位置信 息，以及每个标记点9在实际场景中距离第一标记点91的距离。
[0213] 其中，在标记引导线41、停止线42和标记点9的时候，可将需要标记的图像部分 放大，放大到数十像素宽时，手动在其中间部分标记，以提高标记精度。标记的捕获区6和 跟踪定位区7的位置不需要非常严格，捕获区6上边缘在实际场景中的位置距离停止线42 大约l〇〇m，捕获区6下边缘在实际场景中的位置距离停止线42大约50m，跟踪定位区7上 边缘在实际场景中的位置距离停止线42大约50m，跟踪定位区7下边缘在停止线42以下即 可。
[0214] 图3中虚线以上的步骤Sl为在系统安装完成后，进行泊位引导之前执行。虚线以 下的部分均在泊位引导时执行。其中虚线框中的步骤需要在泊位引导过程中实时执行和更 新。
[0215] 步骤Sl之后执行步骤S2,图像预处理步骤。该步骤用于改善图像的视觉效果，提 高图像成分的清晰度或者使图像变得更有利于计算机处理。在飞机的泊位过程中涉及到 各种天气情况，包括白天、黑夜、阴雨雪雾等情况，得到的图像也各不相同，有的图像照度偏 低，有的图像光照过强等等，为了方便后续对图像的处理，必须先对所采集到的图像进行预 处理，从而得到较理想的图像。针对不同情况所采集到的图像，根据光照情况可以分为四 类：低照度图像、强照度图像、正常照度图像以及阴雨雪雾天气图像，按照这四种不同类型 的图像，分别采取不同的措施来处理。
[0216] 如图5A、5B所示为图像预处理步骤的详细流程图。
[0217] 摄像装置1001实时的对捕获区6进行拍照，对于拍摄到的每幅图像，均执行步骤 S2以其后的步骤。
[0218] 步骤S2进一步包括：
[0219] 步骤S21，对于拍摄的图像进行灰度化。
[0220] 步骤S22,统计图像的平均灰度值和方差，判断图像的平均灰度值是否低于一最低 阈值，如果是，该图像为低照度图像，执行步骤S25的低照度图像处理步骤，如果否，执行步 骤23。
[0221] 该最低阈值为预先设置，该最低阈值为处于50-60之间的一个数值。
[0222] 步骤S23,判断图像的平均灰度值是否高于一最高阈值，如果是，该图像为强光照 图像，执行步骤S24的强光照图像处理的步骤，如果否，该图像为正常光照图像，执行步骤 S26。
[0223] 该最低阈值为预先设置，该最高阈值为处于150-160之间的一个数值。平均灰度 值位于最高阈值与最低阈值之间的图像为正常光照图像。
[0224] 步骤S24,强光照图像处理。
[0225] 该步骤S24采用gamma变换的方式对该强光照图像进行亮度降低的处理。
[0226] 步骤S25,低照度图像处理。
[0227] 对于低照度图像，本发明采用非线性变换的方式进行处理，变换公式为：
[0228] g (x, y) = f (x, y) +af (x, y) (255-f (x, y))
[0229] 其中，f(x，y)为原图像，（x，y)为图像中的像素点坐标，g(x，y)为处理之后的图 像，a为低照度图像处理参数，该参数可取值0. 01。
[0230] 步骤S26,对正常光照图像判断其方差是否大于一方差标准值，如果是，该图像为 雨雪雾图像，执行步骤S27,如果否，可知该正常光照图像非雨雪雾图像，为正常图像，则不 做任何处理。
[0231] 步骤S27,判断该正常光照图像的熵是否大于一阈值，如果是，该正常光照图像为 雨雪图像，执行步骤S28的雨雪图像处理的步骤，如果否，该正常光照图像为雾图像，执行 步骤S29的雾图像处理的步骤。
[0232] 熵是一个数学变量，通常用于表示信息量的大小，对于图像来说，熵表示图像的细 节的多少，也就是图像所含信息量的多少。雨雪图像由于雨雪的存在，图像上的雨点和雪花 在不同位置出现，使得图像的细节比较多，而雾的图像则因为雾的均匀分布而显得细节较 少，所以可以通过熵来判别雨雪图像与雾图像。
[0233] 在一实施例中，对于灰度图像来说，选择图像的邻域灰度均值作为灰度分布的空 间特征量，与图像的像素灰度组成特征二元组，记为（i，j)，其中i表示像素的灰度值（〇〈= i〈 = 255)，j表示邻域灰度均值（0〈 = j〈 = 255):令f (i, j)为特征二元组（i, j)出现的 频数，N为图像的尺度，Pl] = f(i，j)/N2,灰度图像的二维熵的计算公式为
[0234] 步骤S28,雨雪图像处理。
[0235] 该雨雪图像处理步骤使用图像序列中像素的光度测定模型来判断亮度的线性相 关性，从而实现去除雨雪对图像的影响的目的。
[0236] 受雨雪天气影响所拍摄的图像具有如下的光度测定模型：
[0237] 在当前为雨雪天气且背景固定不变情况下，对同一位置连续拍摄的三帧图像 (n-l、n、n+l帧）中，同一像素点P的像素亮度值I n ^ In、In+1，满足如下条件：
[0238] 第η-I帧的亮度值In i与第n+1帧的亮度值In+1是相等的，并且在第η帧中由雨雪 引起的亮度变化值△ I满足以下条件：
[0239] Δ I = In-In ! = In-In+1 ^ c
[0240] c代表由雨雪引起的亮度变化最小阈值。
[0241] 故而，在步骤S28中，进一步包括：
[0242] 步骤S281，利用光度测定模型寻找被雨雪污染的待处理像素。
[0243] SP，对当前图像η的像素点P，判断In i与In+1是否相等，且，Λ I是否大于等于c， 如果两个判断的结果均为是，则认为该图像η的像素点P是待处理像素。对图像η中的所 有像素均进行上述判断，直至找到所有待处理像素。
[0244] 步骤S282,对待处理像素进行亮度调节。
[0245] 步骤S282进一步包括：
[0246] 步骤S2821，对于图像η的待处理像素 Ρ，提取与该图像η相邻的前两帧（η-1、η_2) 图像和后两帧（η+1、η+2)图像的相应像素 P的亮度值，判断所提取的四帧图像的像素 P是 否均为待处理像素，如果是，执行步骤S2822,如果否，执行步骤S2823。
[0247] 步骤S2822,取该待处理像素 P的所有相邻像素的亮度值的平均值，用该平均值代 替图像η的待处理像素 P的亮度值，以消除雨雪对图像亮度的影响。
[0248] 步骤S2823,对于图像η的待处理像素 Ρ，提取与该图像η相邻的前两帧（η-1、η-2) 图像和后两帧（η+1、η+2)图像的相应像素 P的亮度值，共提取四帧图像的同一像素点的亮 度值，取其中最小的两个亮度值，用这两个亮度值取平均值，用该平均值代替图像η的待处 理像素 P的亮度值，以消除雨雪对图像亮度的影响。在又一实施例中，可直接利用四帧图像 的同一像素点的亮度值中的最小值代替图像η的待处理像素 P的亮度值。
[0249] 该步骤S2821以及步骤S2823中，还可提取图像η相邻的前后一帧或三帧或更多 图像对应像素的亮度值。
[0250] 步骤S29,雾图像处理。
[0251] 步骤S29的雾图像处理步骤可以使用同态滤波，以消除雾对图像亮度的影响。
[0252] 具体地，对图像f(x，y)，将其表达成照明和反射两部分乘积形式：
[0253] f (x, y) = i (x, y)r (x, y)
[0254] 其中0彡i (x, y)彡+ 00为照明分量，0彡r (x, y)彡I为反射分量，在对其两边取 自然对数，得到：
[0255] Inf (x, y) = Ini (x, y) +Inr (x, y)
[0256] 再进行傅里叶变换，得到：
[0257] F (u, v) = I (u, v) +R (u, v)
[0258] 对F (u，v)使用同态滤波器函数H (u，v)进行处理：
[0259] S (u, v) = H (u, v) F (u, v) = H (u, v) I (u, v) +H (u, v) R (u, v)
[0260] 其中H(u，v)的曲线形状能用任何一种理想高通滤波器的基本形式近似，例如采 用高斯型高通滤波器稍微修改过的如下形式：
[0262] 如图6所示为同态滤波器函数的曲线示例图。
[0263] 再进行傅里叶逆变换：
[0264] s(x,y) = F 1 [H (u, v) I (u, v) ]+F 1 [H (u, v) R (u, v)]
[0265] 最后做指数运算，得到处理结果：
[0266] g(x, y) = ex