一种基于大数据的外观安全检测系统的制作方法

本发明涉及大数据和安全检测领域，尤其涉及一种基于大数据的外观安全检测系统。

背景技术：

飞机和机载设备经过一段时间的飞行后，可能发生磨损、松动、腐蚀等现象，因此，在飞机起飞前就要进行详尽、繁复的检查维修工作，确保飞机安全执行下次飞行任务。

飞机外部绕行检查是飞行前必要的工作之一，其目的是为了保证飞机的整体状态，及其可见部件和设备的状态良好，保证飞机飞行安全。例如，飞机外观存在缺陷时，会增加飞行阻力、降低飞行性能，造成飞机不正常的振动等。另外，缺陷区域会形成应力集中，从而影响到部件的抗疲劳性能。

目前，一般通过人工目视检查客机外观存在的划痕、凹陷、喷漆瑕疵或其它损伤。因此，在客机起飞前，飞机质量检验员需要利用升降平台花费数个小时进行客机表面质量的检查，不仅检查效率低下、检查过程繁琐耗时，且外观质量瑕疵检查的准确度高度依赖飞机质量检验员的工作状态。

技术实现要素：

针对现有技术之不足，本发明提供了一种基于大数据的外观安全检测系统，包括：外观检查终端、外观检测平台和无人机，外观检测平台与外观检查终端和无人机之间均具有通信连接；

外观检测平台包括图像预处理模块、特征提取模块、模型生成模块、视角分析模块和外观识别模块，各模块间均具有通信连接；

外观检查终端发送外观检查指令到无人机，所述外观检查指令包括客机编号、客机类型和检查部位信息；

无人机根据外观检查指令采集客机指定部位的图像以得到第一客机检测图像，并根据客机类型、检查部位信息和第一客机检测图像生成外观检测请求，然后将其发送至外观检测平台；

图像预处理模块根据检查部位信息去除第一客机检测图像中的冗余信息以得到第二客机检测图像；

特征提取模块提取第二客机检测图像中外观检测部位的几何信息；

模型生成模块根据客机标准图像和位姿信息得到不同位姿下的客机位姿图像，并对所有客机位姿图像进行特征归一化判别，然后将通过判别的客机位姿图像存储至对应的图像匹配库中；

视角分析模块根据几何信息进行位姿相关性分析得到第二客机检测图像的视角信息，并根据所述视角信息、客机类型和检查部位信息从图像匹配库中获取目标客机位姿图像；

外观识别模块根据目标客机位姿图像和第二客机检测图像识别客机外观缺陷得到客机外观检测信息，并将其发送至对应的外观检查终端。

根据一个优选实施方式，所述外观检查终端为外观检测人员所持的具有通信功能的智能设备，其包括：智能手机、台式电脑、笔记本电脑和智能穿戴设备。

根据一个优选实施方式，所述几何信息为第二客机检测图像中外观检测部位所呈现的几何特征；

所述位姿相关性分析为根据几何信息所指示的平行、垂直、正则、相等和相似的图形特征计算得到外观检测部位的斜率和曲率以及根据该斜率和曲率得到对应的图像拍摄角度。

根据一个优选实施方式，所述位姿信息包括视角信息和方位信息，所述视角信息为以目标拍摄部位为参照中心的拍摄视角和对应拍摄视角的角度大小，拍摄视角包括：正面视角、侧面视角、仰拍视角和俯拍视角。

根据一个优选实施方式，模型生成模块对所有客机位姿图像进行特征归一化判别包括：

模型生成模块提取客机标准图像的特征以得到原始图像部位特征；

模型生成模块提取每张客机位姿图像的特征以得到每张客机位姿图像的图像部位特征；

模型生成模块将每张客机位姿图像的图像部位特征进行特征归一化处理以得到每张客机位姿图像的统一位姿特征；

模型生成模块计算每张客机位姿图像的统一位姿特征与原始图像部位特征的特征相似值，并将所述特征相似值与相似度阈值进行比较。

根据一个优选实施方式，模型生成模块对每张客机位姿图像的图像部位特征进行特征归一化处理得到每张客机位姿图像的统一位姿特征包括：

模型生成模块根据每张客机位姿图像的图像部位特征得到每张客机位姿图像的多个部位特征向量；

模型生成模块根据每张客机位姿图像的多个部位特征向量得到每张客机位姿图像的统一位姿特征。

根据一个优选实施方式，所述目标客机位姿图像为与无人机拍摄位姿对应的客机位姿图像。

根据一个优选实施方式，外观识别模块根据目标客机位姿图像和第二客机检测图像识别客机外观缺陷得到客机外观检测信息包括：

外观识别模块分别提取出客机位姿图像与第二客机检测图像的纹理特征和几何特征以得到第一外观混合特征和第二外观混合特征；

外观识别模块通过计算所述第一外观混合特征和第二外观混合特征的特征差值以得到缺陷特征串；

外观识别模块根据所述缺陷特征串识别客机外观缺陷，并根据所述客机外观缺陷生成客机外观检测信息。

根据一个优选实施方式，模型生成模块对每张客机位姿图像的图像部位特征进行特征归一化处理以得到每张客机位姿图像的统一位姿特征包括：

其中，f为统一位姿特征，i为部位特征向量的索引，n为部位特征向量的个数，wi为第i个部位特征向量所占权重，为第i个维度归一化处理后的部位特征向量，v为客机位姿图像对应的位姿，为多维度损失函数。

根据一个优选实施方式，所述客机外观缺陷为会对客机飞行状态造成不良影响的外观瑕疵，其包括外观划痕、外观凹陷和喷漆瑕疵。

根据一个优选实施方式，所述第一客机检测图像为无人机的高分辨率图像传感器采集到的客机外观图像，其包括不同视角下的外部绕机检查图像；

所述第二客机检测图像为第一客机检测图像去除空间冗余、视觉冗余、信息熵冗余、结构冗余和知识冗余后的图像；

所述客机标准图像为图像传感器采集到的原始状态下的客机外观图像，所述原始状态为客机外观未出现任何损伤时的待飞行状态。

根据一个优选实施方式，所述高分辨率图像传感器包括：环视摄像头、单目摄像机、双目摄像机和三目摄像机。

根据一个优选实施方式，所述冗余信息包括空间冗余、视觉冗余、信息熵冗余、结构冗余和知识冗余。

根据一个优选实施方式，所述检查部位信息包括外观检测部位和部位标识符；所述外观检测部位包括客机的舷窗部分、机翼部分、尾翼部分和机身部分；

所述机翼部分包括；所述机身部分包括机头部分、左前机身、右前机身、左后机身、右后机身和起落架；

所述机翼部分包括左侧机翼前缘、右侧机翼前缘、机翼左中部和机翼右中部。

根据一个优选实施方式，第一外观混合特征和第二外观混合特征包括若干特征串以及每个特征串对应的特征信息，所述特征信息包括纹理特征点信息、几何特征点信息和特征点串联信息。

根据一个优选实施方式，外观识别模块通过计算所述第一外观混合特征和第二外观混合特征的特征差值以得到缺陷特征串，其步骤还包括：外观识别模块根据所述缺陷特征串和所述缺陷特征串对应的特征信息得到客机检测图像中对应的缺陷区域。

本发明实施例的有益效果为：

本发明通过对无人机外部绕飞时拍摄的客机外观图像，自动检测出客机外观存在的缺陷，以避免这些缺陷对客机的飞行造成不良影响，排除不利外观因素的影响，保证客机的外观状态良好。此外，本发明能够实时对无人机捕获到的不同视角下的客机外观图像进行分析并识别出图像中存在的外观缺陷，并通过生成同一视角下的外观位姿图像作为对应视角下的客机外观检测图像的特征参考以消除不同拍摄视角对客机外观缺陷检测的影响，大幅缩短人工目视检查客机外观所用时间，提高客机外观检查效率和准确度，节约人力资源，降低时间成本。

附图说明

图1为一示例性实施例提供的外观安全检测系统的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

参见图1，在一个实施例中，本发明的基于大数据的外观安全检测系统包括：外观检查终端、外观检测平台和无人机。外观检测平台与外观检查终端和无人机之间均具有通信连接。所述外观检查终端为检查人员所使用的具有计算功能、存储功能和通信功能的设备，其包括：智能手机、台式电脑、笔记本电脑和智能穿戴设备。

外观检查终端发送外观检查指令到无人机，所述外观检查指令包括客机编号、客机类型和检查部位信息；

无人机根据外观检查指令采集客机指定部位的图像以得到第一客机检测图像，并根据客机类型、检查部位信息和第一客机检测图像生成外观检测请求，然后将其发送至外观检测平台；

外观检测平台包括图像预处理模块、特征提取模块、模型生成模块、视角分析模块和外观识别模块。

图像预处理模块用于根据外观检测请求中的检查部位信息去除第一客机检测图像中的冗余信息以得到第二客机检测图像。

特征提取模块用于提取第二客机检测图像中外观检测部位的几何信息。

模型生成模块用于根据获取到的客机标准图像和位姿信息得到不同位姿下的客机位姿图像，并对所有客机位姿图像进行特征归一化判别，然后将通过判别的客机位姿图像存储至对应的图像匹配库中。

视角分析模块用于根据几何信息进行位姿相关性分析以得到第二客机检测图像的视角信息，并根据所述视角信息、客机类型和检查部位信息从图像匹配库中获取对应位姿的客机位姿图像。

外观识别模块根据目标客机位姿图像和第二客机检测图像识别客机外观缺陷得到客机外观检测信息，并将其发送至对应的外观检查终端。

在一个实施例中，外观安全检测系统执行的安全检测方法可以包括：

s1、外观检查终端发送外观检查指令到无人机，所述外观检查指令包括客机类型和检查部位信息。

可选地，所述检查部位信息包括外观检测部位和部位标识符；所述外观检测部位包括客机的舷窗部分、机翼部分、尾翼部分和机身部分；所述部位标识符用于对客机不同检测部位进行唯一标识；

所述机翼部分包括；所述机身部分包括机头部分、左前机身、右前机身、左后机身、右后机身和起落架；所述机翼部分包括左侧机翼前缘、右侧机翼前缘、机翼左中部和机翼右中部。

可选地，所述客机类型为不同航空公司生产和使用的不同种类的民航飞机，例如波音客机、快帆客机和空中客车。

s2、无人机响应于接收到的外观检查指令采集客机指定部位的图像以得到第一客机检测图像，并根据客机类型、检查部位信息和第一客机检测图像生成外观检测请求，然后将其发送至外观检测平台。

可选地，所述第一客机检测图像为无人机的高分辨率图像传感器采集到的客机外观图像，其包括不同视角下的外部绕机检查图像。

可选地，所述高分辨率图像传感器包括：环视摄像头、单目摄像机、双目摄像机和三目摄像机。

s3、外观检测平台的图像预处理模块根据检查部位信息去除第一客机检测图像中的冗余信息以得到第二客机检测图像。

可选地，外观检测平台响应于接收到的外观检测请求，对无人机拍摄到的客机的外观检测图像进行自动检测，识别客机外观存在的缺陷。在实际应用中，客机的外部绕机检查，即检查客机的外观是否存在划痕、凹陷、喷漆瑕疵等缺陷是客机起飞前一项重要的准备工作，能够保证客机良好的飞行状态，并提前发现客机存在的外观缺陷，避免外观缺陷对客机的飞行造成不良影响。同时，有利于客机的飞行安全，有效降低维修成本。

目前，一般通过人工目视检查客机外观存在的划痕、凹陷、喷漆瑕疵或其它损伤。因此，在客机起飞前，飞机质量检验员需要利用升降平台花费数个小时进行客机表面质量的检查，不仅检查效率低下、检查过程繁琐耗时，且外观质量瑕疵检查的准确度高度依赖飞机质量检验员的工作状态。

在飞机质量检验员的工作状态不佳的情况下，可能导致客机存在的某些外观缺陷未被检查出来，从而造成严重后果。例如客机舷窗出现的裂纹在未被检查出来后，可导致客机在飞行过程中因舷窗爆裂脱落，对客机的飞行状态产生严重不良影响。

可选地，所述冗余信息包括空间冗余、视觉冗余、信息熵冗余、结构冗余和知识冗余，

其中，空间冗余是指图像内部相邻像素之间存在的较强相关性多造成的冗余；视觉冗余是指人眼不能感知或不敏感的部分图像信息；信息熵冗余为图像中平均每个像素使用的比特数大于该图像的信息熵；结构冗余是指图像中存在很强的纹理结构或自相似性；知识冗余是指图像中还包含与某些验证知识有关的信息。

可选地，所述第二客机检测图像为第一客机检测图像去除空间冗余、视觉冗余、信息熵冗余、结构冗余和知识冗余后的图像。

s4、特征提取模块提取第二客机检测图像中外观检测部位的几何信息。

可选地，所述几何信息为第二客机检测图像中外观检测部位所呈现的几何特征。

s5、模型生成模块根据获取到的客机标准图像和位姿信息得到不同位姿下的客机位姿图像，并对所有客机位姿图像进行特征归一化判别，然后将通过判别的客机位姿图像存储至对应的图像匹配库中。

在实际应用中，通过无人机拍摄的客机外观图像对客机存在的外观缺陷进行识别时，受不同拍摄视角的影响，从不同视角下的外观检测图像中提取出的外观部位特征也会不同，因此，使用统一的外观部位特征对客机外观缺陷进行识别时，将会降低识别结果的准确率。而且不同拍摄角度会对相应的外观检测部位发生不同程度的遮挡，从而丢失某些部位的信息，也会导致客机外观缺陷识别的准确率不高。

本发明能够根据客机标准图像生成不同视角下的客机位姿图像，在对无人机拍摄的客机外观图像进行检测时，自动从数据库中匹配同一视角下的客机位姿图像以作图像参考，消除了不同视角对客机外观检测结果的影响，提高了客机外观缺陷检测的准确度。

可选地，模型生成模块对所有客机位姿图像进行特征归一化判别以提高生成的不同位姿下的客机位姿图像的真实度，使其能够作为不同位姿下的客机检测图像进行缺陷检测时的标准参照图像。

可选地，所述位姿信息包括视角信息和方位信息，所述视角信息为以目标拍摄部位为参照中心的拍摄视角和对应拍摄视角的角度大小，拍摄视角包括：正面视角、侧面视角、斜侧面视角、平面视角、仰拍视角和俯拍视角。

可选地，所述客机标准图像为图像传感器采集到的原始状态下的客机外观图像，所述原始状态为客机外观未出现任何损伤时的待飞行状态。

具体地，模型生成模块根据获取到的客机标准图像和位姿信息得到不同位姿下的客机位姿图像，其步骤包括：

模型生成模块提取客机标准图像的特征以得到原始图像部件特征；

模型生成模块基于原始图像部件特征生成一张基础特征图像，所述基础特征图像为保留客机标准图像中外观检测部位的基本特征的图像；

模型生成模块根据位姿信息所指示的不同视角信息和不同方位信息计算基础特征图像所包含的基本特征在不同视角下发生的形变以得到对应的形变特征；

模型生成模块根据形变特征调整基础特征图像中外观检测部位的基本特征以生成不同位姿下的客机位姿图像。

可选地，所述基本特征包括部位轮廓、部位颜色和部位尺寸，所述基本特征和/或基本特征的形变特征存在于通过该客机标准图像生成的所有客机位姿图像中。

具体地，模型生成模块对所有客机位姿图像进行特征归一化判别包括：

模型生成模块提取客机标准图像的特征以得到原始图像部位特征；

模型生成模块提取每张客机位姿图像的特征以得到每张客机位姿图像的图像部位特征；

模型生成模块将每张客机位姿图像的图像部位特征进行特征归一化处理以得到每张客机位姿图像的统一位姿特征；

模型生成模块计算每张客机位姿图像的统一位姿特征与原始图像部位特征的特征相似值，并将所述特征相似值与相似度阈值进行比较。

可选地，模型生成模块将统一位姿下的图像部位特征与原始图像部位特征的特征相似值与相似度阈值进行比较，

在特征相似值大于相似度阈值时，表示生成的所有客机位姿图像通过判别，模型生成模块将所有客机位姿图像存储至对应的图像匹配库中；

在特征相似值不大于相似度阈值时，表示生成的所有客机位姿图像未通过判别，模型生成模块将删除所有客机位姿图像并重新生成。

可选地，所述相似度阈值为用于验证来自不同图像的特征是否相似，所述相似度阈值为管理人员根据实际情况预先设置的数值。

可选地，所述客机位姿图像用作相同视角下客机检测图像的特征参考，同一视角下的客机位姿图像与客机检测图像的外观检测部位的基本特征一致，能够提高客机外观缺陷检测的准确率。

具体地，模型生成模块将每张客机位姿图像的图像部位特征进行特征归一化处理以得到每张客机位姿图像的统一位姿特征包括：

模型生成模块根据每张客机位姿图像的图像部位特征得到每张客机位姿图像的多个部位特征向量；

模型生成模块根据每张客机位姿图像的多个部位特征向量得到每张客机位姿图像的统一位姿特征。

可选地，模型生成模块将每张客机位姿图像的图像部位特征进行特征归一化处理以得到每张客机位姿图像的统一位姿特征包括：

其中，f为统一位姿特征，i为部位特征向量的索引，n为部位特征向量的个数，wi为第i个部位特征向量所占权重，为第i个维度归一化处理后的部位特征向量，v为客机位姿图像对应的位姿，为多维度损失函数。

s6、视角分析模块根据几何信息进行位姿相关性分析以得到第二客机检测图像的视角信息，并根据所述视角信息、客机类型和检查部位信息从图像匹配库中获取对应位姿的客机位姿图像。

可选地，所述位姿相关性分析为根据几何信息所指示的平行、垂直、正则、相等和相似的图形特征计算得到外观检测部位的斜率和曲率以及根据该斜率和曲率得到对应的图像拍摄角度。

s7、外观识别模块根据所述客机位姿图像和第二客机检测图像识别客机存在的外观缺陷，并根据所述外观缺陷生成检测报告将其发送至对应的外观检查终端。

具体地，外观识别模块根据所述客机位姿图像和第二客机检测图像识别客机存在的客机外观缺陷：

外观识别模块分别提取出客机位姿图像与第二客机检测图像的纹理特征和几何特征以得到第一外观混合特征和第二外观混合特征；

外观识别模块通过计算所述第一外观混合特征和第二外观混合特征的特征差值以得到缺陷特征串；

外观识别模块根据所述缺陷特征串识别客机存在的客机外观缺陷，并根据客机外观缺陷生成客机外观检查信息。

可选地，第一外观混合特征和第二外观混合特征包括若干特征串以及每个特征串对应的特征信息，所述特征信息包括纹理特征点信息、几何特征点信息和特征点串联信息。

可选地，所述第一外观混合特征为客机位姿图像的纹理特征和几何特征的混合；所述第二外观混合特征为第二客机检测图像的纹理特征和几何特征的混合。

可选地，外观识别模块通过计算所述第一外观混合特征和第二外观混合特征的特征差值以得到缺陷特征串，其步骤还包括：外观识别模块根据所述缺陷特征串和所述缺陷特征串对应的特征信息得到客机检测图像中对应的缺陷区域。

可选地，所述外观缺陷为会对客机飞行状态造成不良影响的外观瑕疵，其包括外观划痕、外观凹陷和喷漆瑕疵。

本发明通过对无人机外部绕飞时拍摄的客机外观图像，自动检测出客机外观存在的缺陷，以避免这些缺陷对客机的飞行造成不良影响，排除不利外观因素的影响，保证客机的外观状态良好。即本发明能够实时对无人机捕获到的不同视角下的客机外观图像进行分析并识别出图像中存在的外观缺陷，并通过生成同一视角下的外观位姿图像作为对应视角下的客机外观检测图像的特征参考以消除不同拍摄视角对客机外观缺陷检测的影响，大幅缩短人工目视检查客机外观所用时间，提高客机外观检查效率和准确度，节约人力资源，降低时间成本。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。