专利名称：模拟机飞行训练数据采集及质量评估系统的制作方法
技术领域：
本发明属于航空训练领域，涉及到模拟机飞行训练数据采集及质量评估系统及其 技术解决方案，特别是涉及到对模拟机训练系统显示器中的飞行数据进行视频采集，应用 图像处理技术对视频分帧后的图像进行预处理，通过模式识别技术识别出图像中的飞行数 据，对模拟机训练过程中的飞行轨迹进行三维仿真进而进行教学评估，并针对典型性问题 归纳总结附带飞行训练视频一并上传到视频服务器，提供共享和学习平台。
背景技术：
飞行员培训是民航业事业蓬勃发展和保持更高安全水平的基础性工作，其教学工 作以学习的渐进原理为设计依据，注重将知识积累和飞行技能实践相结合。该行业特有的 严谨性和复杂性迫切需要相应的软件产品为其飞行训练教学工作提供技术支持和保证。加 大飞行员训练投入、加快成才速度、提高训练质量是摆在各航空公司面临的重要课题。同 时，国内飞行员飞行时间较短，实战训练较少，模拟真实飞行的飞行训练系统显得格外重 要，因此模拟机训练器教学在训练体系中占有相当重要的地位，是整体训练大纲的一个重 要组成部分，而重飞机训练轻模拟机训练器带飞的观点是制约提高教学质量的一个重要因ο用于训练飞行员的飞行模拟机和飞行训练设备有许多种类，从可模拟各种飞机通 用系统的部分功能训练器(Part-Task Trainer, PTT)，练习操作与仪表检查的驾驶舱程序 训练器(Cockpit Procedures Trainer，CPT)，到最复杂的全功能飞行模拟机(Full Flight Simulator, FFS)。较高等级的全功能飞行模拟机可以做出有6个自由度的全方位移动，同 时也有广角高传真的视觉系统来模拟窗外的景色。包含了拟真的驾驶舱与视觉系统的模拟 器座舱是装在由6支起重轴支撑的运动平台上，借由电脑的控制可以提供三个轴线的线性 运动与旋转，就如同一个真实的自由物体在空间的运动状况。三种旋转分别是俯仰(机头 朝上或下)、滚转(某一面机翼朝上或下)与偏转(机头朝左或右)；而三种线性运动分别 是起伏(上下移动)、横移(左右移动)以及纵移(向前加速或减速)。飞行模拟器也用于训练机组成员的正常和紧急作业程序。所以使用模拟器可训练 飞行员处理各种飞机在有问题或不安全的情况下，诸如发动机故障、液压或电气系统失灵、 仪表失常等等。现代的飞行模拟器，集计算机、机械、电气、电子、自动控制、液压、光学等技术于一 身，是一种十分复杂、精密的高科技设备。自2007年起，飞行模拟机制造公司-加拿大CAE 公司提出了一种模拟机新技术-SimXXI，该技术的提出是对传统模拟机生产技术的挑战，主 要从以下几个方面定义(1)模块化设计；(2)基于windows的计算机结构；(3) —对一的接 口设计；⑷维护导向设计；(5)连接CAE文档体系的树状诊断系统；(6)部件集成化高，数 量减少；(7)较轻的模拟机结构。其中模块化设计就是将整台飞行模拟机分解为一个个典 型的模块式结构，可以根据不同的机型要求进行灵活组合，安装成适合需要的模拟机整体， 便于实现产品的批量化和标准化，有利于后期的维护和使用；基于windows的计算机结构打破了传统模拟机采用小型机+AIX操作系统的旧模式，采用基于windows和PC计算机的 分布式结构，可以更加方便的操纵模拟机；一对一的接口设计采用Super C总线控制结构， 模块化控制各种电子设备，实现了 一块接口卡控制一个电子设备，同时采用了相对集中、标 准化的接口卡，从而大大方便了模拟机的维护和使用；树状诊断系统和维护导向设计基于 计算机结构和一对一的接口设计使SimXXI实现对系统的软硬件的自动诊断，维护工程人 员还可以通过模拟机厂家建立的强大的模拟机维护信息网站迅速了解模拟机的维护信息， 按照网站的维护导向一步步解决问题，给维护工作带来极大地方便；较轻的模拟机结构使 整个模拟机重量减轻，能够给迅速的响应运动；同时CAE的模拟机开始采用电动式运动系 统代替传统的液压式运动系统，使模拟机的电能消耗减少了三分之二，减少了液压工作站、 水冷却循环系统带来的问题，增强了使用寿命，也提高了模拟机的训练质量。随着科学技术的进步，飞行模拟机也变得越来越先进，越来越逼真，但是应用在模 拟机训练过程中的教学评估手段却没有得到及时的更新，而目前国内民航训练用模拟机依 赖进口，国外公司对其系统进行一定的技术保护，限制在模拟器使用计算机上安装任何软 件，并对系统的维护和升级都收取非常高的费用。在与模拟机系统保持完全隔离的条件下，开发模拟机的辅助训练系统，需要取得 准确的飞行模拟训练数据，在国外公司的限制下，较难自行设计系统。这也成为了民航训练 行业发展的一个瓶颈，突破国外的技术封锁，开发自己的具有针对性的模拟机飞行数据采 集与质量评估系统显得尤为重要。据专家介绍类似的开发项目在国内还没有研制成功的记 录，有少数国家的航空公司拥有类似的系统，但价格昂贵，增加了模拟机训练费用。
发明内容
本发明的目的是在与模拟机系统保持完全隔离的条件下，提供一种方法准确采集 到模拟机训练过程的各种飞行数据，在此基础上对模拟机飞行轨迹进行三维仿真，重现飞 行员的飞行状态，用于教学点评，并提供视频共享与学习平台。解决了在不与模拟机本身系 统有数据连接通道的情况下，准确采集飞行数据，再现飞行员训练过程并对其进行质量评 估的问题。本发明的技术解决方案如下本系统直接针对计算机屏幕上显示的模拟机数据， 应用图像处理技术和模式识别技术，识别出模拟飞行训练过程中的各参数，并记录到数据 库中，基于采集到的各种飞行数据，运用三维仿真技术，对训练过程中的飞行数据、飞行动 作、操作流程以及仪表显示进行再现，对于典型问题评估将与对应视频一并上传到视频服 务器。一、飞行数据的采集及识别过程(一)数据采集数据采集系统的种类主要分为两类设备类和网络类。本系统中数据采集子系统 为设备类，数据采集来源于模拟机飞行训练系统中飞行数据的显示设备，并没有关联到外 界的网络数据库，主要包括1、两个分频设备分频设备将模拟机主机柜中的飞行数据流的VGA信号一分为二，一路直接传送到 显示器中，另一路经过信号转换设备转换成AV信号，传送到8路视频服务器中。
2、信号转换设备VGA视频信号的带宽及信息要求量太大，为了方便后期数据识别过程，信号转换设 备用于将模拟机中的VGA信号转换成AV信号。3、3个摄像头(含声音)3个摄像头其中一个用于采集模拟机训练室内的飞行员训练的视频和音频信息， 另外两个分别采集模拟机上仪表的两个侧面的视频信息，用于后面的图像校正和融合。4、8路视频服务器视频服务器中包含两块数据采集卡，用来接收摄像头传送的视频信息及从模拟机 机柜中传送过来的飞行数据视频信息，并且能够同时显示8路视频信息，把飞行员飞行训 练过程、飞行数据、模拟机中的仪表显示、甚至后期的三维再现视频等视频流集成到同一平 台中，实现各视频的同时播放，方便教员及检查员对受训队员的飞行过程从各个角度进行 评估，真正意义上提高训练质量。(二)数据识别1、视频分帧视频是由一系列连续变化的静态图像经过一定的技术处理而形成，通常所说的帧 数是1秒内变化的图像数，帧则是变化中的某一副静止图像。视频分帧就是把视频分离为 一幅幅的静态图像，存储到专门的文件夹内，方便之后识别其中的数字信息。本系统中视 频分帧的实现基于Intel公司支持的开源计算机视觉库OpenCV(Open Source Computer Vision Library)，并在其基础上于windows操作系统中，采用VisualMudio2005平台，用 C++语言实现了视频分帧，并且实现了分离指定帧，隔帧取图等功能。2、图片预处理(1)灰度化一般通过摄像头采集的图像或者计算机中存储的图像通常是彩色图，即M位真 彩色图像。彩色图像包含着大量的色彩信息，不仅占用了大量的内存，也大大降低了处理速 度。因此通过将彩色图像灰度化来提高处理速度。彩色图像又称RGB图像，它是由R、G、B 三个分量来表示一个像素信息。当图像中的每一个像素值R = G = B是，表示一种灰度颜 色。灰度化通常有三种方法1)最大值法R = G = B = max (R，G，B)2)平均值法:R = G = B = (R+G+B) /33)加权值法:R = G = B = 0. 30R+0. 59G+0. IlB因为人眼对绿色敏感度最高，红色次之，蓝色最低，因此加权值法中的权值可以得 到最合适的灰度图像，所以本系统选择加权值法对从视频中分离出的图像进行灰度化。(2) 二值化二值化是数字图像处理技术中的一项基本技术，在许多应用场合都要求首先对输 入的图像进行二值化，二值图像就是指整幅图像内仅有黑、白两个值。为了加快处理速度并 能将飞行数据与背景分开，通过阈值的设定将灰度值小于阈值的像素直接设置为255，灰度 值大于阈值的像素值直接设置为0。因此阈值的选择至关重要，阈值分为全局阈值和局部 阈值。全局阈值方法速度比较快，但是容易受到光线条件、背景亮度及图像背景的影响从而 引起飞行数据的丢失；局部阈值可能引起伪影或笔画断裂。考虑到实际环境的复杂性，定义一种通用而有效的二值化方法几乎不可能，到目前为止，已经提出的二值化方法已不下100 种。本系统采用了基于全局阈值的二值化算法，对灰度图像进行二值化处理。(3)灰度拉伸图像有时因某种原因会造成局部过亮或过暗，这就需要对图像进行拉伸，使之覆 盖较大的取值区间，使得亮的区域更亮，暗的区域更暗，提高图像的对比度，从而使图像边 缘明显，使飞行数据区域表现更加清楚。灰度拉伸是将灰度图像进行分段性变化。若源图 像f(x，y)灰度变化为[&』]，希望变换后图像8(^7)的灰度范围扩展到[c，d]，变换公式 如下
权利要求
1.一种模拟机飞行训练数据采集与质量评估系统，包括数据采集、三维仿真与质量评 估、视频共享与学习平台，其特征是对模拟机训练系统显示器中的飞行数据进行视频信息 采集，利用图像处理和模式识别技术识别数据，进行三维仿真，方便质量评估和视频共享学 习。
2.根据权利要求1所述的数据采集子系统，其特征在于其包括至少一个8路或8路以 上视频服务器，两块或以上视频分屏器，用视频分屏器将显示器中视频流一分为二，并通过 信号转换设备，将VGA信号转换成AV信号，传送到8路视频服务器中。
3.根据权利要求1所述的数据采集子系统，其特征在于通过3个摄像头对受训学员的 飞行动作及模拟机显示仪表中数据进行音视频信息采集，并将视频信息方式传送到8路视 频服务器中。
4.根据权利要求1所述的数据采集子系统，其特征在于在8路视频服务器中包含飞行 数据识别程序模块和视频上传程序模块，功能分别如下(1)数据识别程序模块实现快速准确的识别飞行训练过程中的飞行数据，并将飞行数 据存储到数据库服务器中。(2)视频上传程序模块将教员对典型的飞行训练问题的指导和评估电子化，与其相对 应的飞行视频一并传送到视屏共享与学习平台中的视频数据服务器中，学员和教员可以对 此资源进行下载学习，减少飞行训练过程中的低效、重复的飞行动作。
5.根据权利要求3所述的数据识别程序模块，其特征在于包括以下步骤(1)视频分帧对视频进行抽取视频帧操作，分离为一幅幅静态图片。(2)图像预处理对图像进行预处理操作包括灰度化、二值化、灰度拉伸、边缘增强。(3)飞行数据区域定位通过视频帧间差分技术，对飞行数据区域进行准确定位(4)字符分割根据字符书写格式、尺寸等分割出每一个字符。(5)数据识别对分割收的字符进行特征值提取，作为数据输入，利用神经网络完成对飞行训练数据 的识别，并存储到数据库中。
6.根据权利要求1所述的模拟机飞行轨迹三维仿真子系统，其特征在于将研发的三维 仿真程序模块直接植入8路视频服务器中，实时接收数据识别程序输出的飞行训练数据对 飞行轨迹进行三维仿真，并将仿真视频实时输出到模拟机飞行训练质量评估子系统中。
7.根据权利要求1模拟机飞行训练质量评估子系统，其特征在于直接连接到8路视频 服务器中，用于同时显示经过处理后的多路视频，包括驾驶舱中受训员飞行训练动作、仪表 数据显示、两个飞行数据显示视频、三维仿真视频。
8.根据权利要求1所述的模拟机训练系统中的视频共享与学习平台，其特征在于包含 单独的视频服务器，与权利2中的8路视频服务器直接相连，其内置入了学员登录程序及视 频检索程序，并且存储受训学员的飞行记录视频及具有典型代表性质的视频(包括专家对 其指导和评估)，方便受训学员的训练前的预习及训练后的更进一步学习。
全文摘要
本发明属于航空训练领域，涉及到模拟机飞行训练数据采集及质量评估系统及其技术解决方案，特别是涉及到对模拟机训练系统显示器中的飞行数据进行视频采集，应用图像处理技术对视频分帧后的图像进行预处理，通过模式识别技术识别出图像中的飞行数据，对模拟机训练过程中的飞行轨迹进行三维仿真进而进行教学评估，并针对典型性问题归纳总结附带飞行训练视频一并上传到视频服务器，提供共享和学习平台。在与模拟机系统保持完全隔离，不与模拟机本身系统有数据连接通道的情况下，准确采集飞行数据，再现飞行员训练过程并对其进行质量评估的问题。
文档编号G09B9/30GK102053563SQ20101060564
公开日2011年5月11日 申请日期2010年12月27日 优先权日2010年12月27日
发明者刘宇, 种法锋 申请人:刘宇