机场道面PC构件外观缺陷检测方法、系统、设备及存储介质与流程

机场道面pc构件外观缺陷检测方法、系统、设备及存储介质
技术领域
1.本发明涉及图像识别领域，具体涉及一种机场道面pc构件外观缺陷检测方法、系统、设备及存储介质。


背景技术：

2.机场跑道是指飞机场内用来供应航空飞行器起飞或降落的超长条形区域，与航空飞行器起落架轮胎接触的道面是机场基础设施的核心。机场道面的一般采用沥青混凝土或水泥混凝土，目前我国机场道路主要采用现浇水泥混凝土。现浇机场道面面层施工主要包含模板制作及支模、混合料拌合、配料的运输、摊铺、混合料振捣、整平提浆、表面做面、表面拉毛、养生、刻槽、切缝、扩缝、清缝、灌缝等一系列工艺。其优点有：刚度大、强度高、整体性好、抗侵蚀能力强。其缺点有：施工进度慢、养护龄期长，不能满足不停航施工及紧急抢修类工程项目的需求；同时，施工制约因素较多，大风、高温、雨雪、冰冻等气候条件，均对机场道面面层板的质量造成影响。解决机场跑道在复杂恶劣环境下应急保障面临的有效工期短、质量难保证、人力资源匮乏等关键技术难题势在必行。
3.装配式建筑具有生产效率高、缩短工期、节约人力、受到建筑行业的青睐。而装配式机场道面有可能彻底解决现浇机场道面有关问题的有效手段，它采用工厂化提前预制装配式混凝土道面板，运输到施工现场，通过可靠的连接方式在现场装配安装。其具有生产环境稳定，质量可靠，耐久性好。施工全过程机械化、智能化水平高，各工序分别组织平行流水作业，效率高，建设周期短，为机场道面快速修建提供了可能。
4.1984年，brabsto开展了装配式水泥混凝土道面的试验性研究，直到上世纪90年代，装配式水泥混凝土道面才得到重视。1997年，newcastle大学土木工程系j.w.bull和c.h. wooford进行了机场预制混凝土道面的有限元模拟分析。研究结果表明预制混凝土道面的使用寿命较长，可作为机场的永久道面使用。2001年，华盛顿杜勒斯国际机场采用预制修复技术成功更换了3块道面板，证明了该技术能在不停航的条件下实现对跑道的快速修复。我国在装配式机场道面还未起步，目前还处于研究阶段。2020年，孙建军等对预制拼装混凝土道面板的破坏防治进行了研究，结果表明，预制板铺装时与基层的贴合是否良好对道面使用寿命的影响很大。
5.以上研究和专利鲜有提到对机场道面pc构件的外观缺陷检测，其是建造高品质的装配式建筑的重要保障。目前，在建筑其它行业，如房建、公路等的装配式建筑的pc构件的外观缺陷检测大多依赖人眼辨别，结果往往耗时且不准确，这给企业把控生产质量和提高生产效率，带来巨大困难。此外，装配式机场道面建造对pc构件的外观质量要求高，亟需变革传统(依赖人眼辨别)的方法，采用一种新型的、智能的构件外观缺陷检测方法来代替人工检测。
6.随着人工智能(artificial intelligence)技术的普遍应用,特别是机器视觉和深度学习技术的广泛应用，外观缺陷检测得到了更多的有力支持。利用机器视觉设备获取图像来判断采集图像中是否存在缺陷的技术，该方法是本发明的基础。目前,基于机器视觉
的表面缺陷装备已经在各工业领域广泛替代人工肉眼检测，包括建筑领域等行业。传统的基于机器视觉的表面缺陷检测方法,往往采用常规图像处理算法或人工设计特征加分类器方式。一般来说, 通常利用被检表面或缺陷的不同性质进行成像方案的设计,合理的成像方案有助于获得光照均匀的图像,并将物体表面缺陷明显的体现出来。在真实复杂的工业环境下,表面缺陷检测往往面临诸多挑战,例如存在缺陷成像与背景差异小、对比度低、缺陷尺度变化大且类型多样,缺陷图像中存在大量噪声,甚至缺陷在自然环境下成像存在大量干扰等情形,此时经典方法往往显得束手无策,难以取得较好的检测效。


技术实现要素：

7.本发明的目的是提供一种机场道面pc构件外观缺陷检测方法、系统、设备及存储介质，解决现有技术中pc构件的外观缺陷检测准确性低、效率低的技术问题。
8.为实现上述目的，本发明提供一种机场道面pc构件外观缺陷检测方法，包括：获取pc构件图像；加载预先完成训练的机器学习模型；将所述pc 构件图像输入至所述机器学习模型，检测所述pc构件图像中的外观缺陷，得到外观缺陷检测图像。
9.本发明还提供一种机场道面pc构件外观缺陷检测系统，包括：图像获取模块，用于获取pc构件图像；模型加载模块，用于加载预先完成训练的机器学习模型；外观缺陷检测模块，用于将所述pc构件图像输入至所述机器学习模型，检测所述pc构件图像中的外观缺陷，得到外观缺陷检测图像。
10.本发明还提供一种计算机可读存储介质，用于保存计算机程序，当其在计算机上运行时，使得计算机执行所述的机场道面pc构件外观缺陷检测方法。
11.本发明还提供一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现所述的机场道面pc构件外观缺陷检测方法。
12.相比于现有技术，本发明的有益效果在于：
13.本发明的机场道面pc构件外观缺陷检测方法，通过获取pc构件图像、利用卷积网络学习训练出的机器学习模型识别图像中的外观缺陷，得到外观缺陷检测图像，避免了依赖人眼辨别外观缺陷，能够克服缺陷尺度变化大且类型多样、缺陷图像噪声多、成像存在大量干扰的问题，实现pc构件外观缺陷检测自动化，操作简便，提高pc构件大规模自动化流水线生产中的缺陷检测效率。
14.优选的，所述方法还包括：标注检测到的所述外观缺陷，得到所述外观缺陷检测图像对应的标注数据；其中，所述标注数据包括：矩形框标签和逐像素标签中的至少一项，以及类别标签。标签内容的选择、创建和标注便于识别pc构件外观缺陷的种类和位置等具体信息，方便对pc构件进行质量评估。
15.优选的，所述方法还包括：构建第一样本集，所述第一样本集包括，pc 构件的原始外观缺陷图像、所述原始外观缺陷图像对应的标注数据、扩展外观缺陷图像、以及所述扩展外观缺陷图像对应的标注数据；将所述第一样本集输入至卷积网络中进行学习训练，输出所述机器学习模型。通过获取扩展外观缺陷图像，可以派生多种不同位置和姿态的图像，从而大量增加用于模型训练的样本量，有效克服少样本学习问题，有利于模型的训练和验证。
16.优选的，所述方法还包括：存储所述外观缺陷检测图像和所述外观缺陷检测图像对应的标注数据；将所述外观缺陷检测图像和所述外观缺陷检测图像对应的标注数据输入
至所述第一样本集，得到第二样本集；根据预设条件，将所述第二样本集输入至卷积网络中进行学习训练，更新所述机器学习模型。将所述外观缺陷检测图像及其对应的标注数据补充进入用于训练机器学习模型的样本集，可进一步扩充用于模型训练的样本量，并不断补充和更新样本集，更有效地克服少样本学习问题，有利于模型的训练和验证。
17.优选的，所述系统还包括：外观缺陷标注模块，用于标注检测到的所述外观缺陷，得到所述外观缺陷检测图像对应的标注数据。
18.优选的，所述系统还包括：样本集构建模块，用于构建第一样本集，所述第一样本集包括，pc构件的原始外观缺陷图像、所述原始外观缺陷图像对应的标注数据、扩展外观缺陷图像、以及所述扩展外观缺陷图像对应的标注数据；模型训练模块，用于将所述第一样本集输入至卷积网络中进行学习训练，输出所述机器学习模型。
19.优选的，所述系统还包括：存储模块，用于存储所述外观缺陷检测图像和所述外观缺陷检测图像对应的标注数据；样本集更新模块，用于将所述外观缺陷检测图像和所述外观缺陷检测图像对应的标注数据输入至所述第一样本集，得到第二样本集；模型更新模块，用于根据预设条件，将所述第二样本集输入至卷积网络中进行学习训练，更新所述机器学习模型。
附图说明
20.为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明机场道面pc构件外观缺陷检测方法的流程示意图；
22.图2为本发明机场道面pc构件外观缺陷检测机器学习模型训练方法的流程示意图；
23.图3a为本发明通过矩形框标记外观缺陷的图像；
24.图3b为本发明通过逐像素标记外观缺陷的图像；
25.图4为本发明机场道面pc构件外观缺陷检测机器学习模型更新方法的流程示意图；
26.图5为本发明一示例性应用场景示意图；
27.图6为本发明机场道面pc构件外观缺陷检测系统示意图；
28.图7为本发明机场道面pc构件外观缺陷检测机器学习模型训练系统示意图；
29.图8为本发明机场道面pc构件外观缺陷检测机器学习模型更新系统示意图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.图1为本发明机场道面pc构件外观缺陷检测方法的流程示意图。如图1所示，本实施例公开一种机场道面pc构件外观缺陷检测方法，包括：
32.s11，获取pc构件图像；
33.在具体的应用场景中，可采用含图像采集卡的高清工业相机，根据检测需求，选择搭配合适的镜头及光源对机场道面pc构件进行图像采集，获取pc构件的图像。亦可利用手机、手持相机等移动感知设备拍摄机场道面pc构件的图片，获取pc构件的图像。
34.s12，加载预先完成训练的机器学习模型；
35.机器学习模型的训练基于机器视觉和深度学习实现。在利用机器视觉和深度学习训练机器学习模型检测缺陷的任务中,由于缺陷倾向于是人类经验上的概念，因此根据对缺陷模式认知的不同,相应有两种不同的模型训练方法。第一种是有监督的训练方法，体现在利用标记了标签的缺陷图像，将其输入到机器学习模型中进行训练。此时“缺陷”意味着标记过的区域或图像，该方法更关注缺陷特征,例如在训练阶段将包含大片裂纹范围的区域或者图像标记为“裂纹”缺陷用于网络训练。在测试阶段,当图像中检测到大片裂纹的特征时,即认为出现了“裂纹”缺陷。第二种是无监督的训练方法,通常只需要利用无缺陷的样本图像进行训练。本实施例采用有监督的方法通过标记标签来定义缺陷图像并进行模型训练。图2为本发明公开的一种机场道面pc构件外观缺陷检测机器学习模型训练方法的流程示意图。如图2所示，所述机器学习模型的训练方法包括：
36.s21，构建第一样本集，所述第一样本集包括，pc构件的原始外观缺陷图像、所述原始外观缺陷图像对应的标注数据、扩展外观缺陷图像、以及所述扩展外观缺陷图像对应的标注数据；
37.所述标注数据包括用于定义缺陷图像并进行模型训练的标签。具体的，所述标注数据包括：矩形框标签和逐像素标签中的至少一项，以及类别标签。
38.类别标签包含机场道面pc构件外观缺陷的分类信息。在一个可行的实施方式中，参考相关规范对水泥混凝土面层工程质量检验评定的外观检查对严重缺陷的分类，将外观缺陷划分为7类：断板、裂缝、错台、边角断裂、大面积起皮/剥落/露石。在其他实施例中，可根据需要扩展分类，也可根据实际需求选择其他外观缺陷的分类方式，在此不做具体限定。
39.矩形框标签包含机场道面pc构件外观缺陷的位置信息，如图3a所示，矩形框将裂缝缺陷包围标记出来。所述位置信息包括矩形框创建起始位置、矩形框宽和矩形框高。
40.逐像素标签包含机场道面pc构件外观缺陷更详细的位置信息，如图3b所示，将缺陷逐像素从背景中分割出来，得到缺陷的长度、面积、位置等一系列信息。与矩形框标签相比，逐像素标签能辅助对pc构件进行更高级的质量评估, 例如优劣等级的判断。
41.在本发明公开的实施例中，所述原始外观缺陷图像，是对工业场景中含有外观缺陷的pc构件样本拍摄获得的图像，这些样本中的外观缺陷是已通过人工检测等方式预先识别出的，因此这些图像对应的标注数据信息是已知的。在一个可行的实施方式中，亦可根据所述原始外观缺陷图像对应的标注数据获得标注后的所述原始外观缺陷图像，输入所述第一样本集中，用于模型训练。
42.在一些优选的实施例中，所述原始外观缺陷图像，是对工业场景中含有外观缺陷的pc构件样本拍摄后进行图像预处理获得的图像。所述图像预处理包括去除噪声，例如使用滤波算法去除图像数据集的随机噪声、使用频域处理技术去除图像数据集的频域内噪声、使用直方图均衡增加图像数据集的对比度等手段，还包括灰度变换、几何校正等一种或多种预处理方式，从而降低复杂的工业环境对图像的影响。
43.在本发明公开的实施例中，所述扩展外观缺陷图像，是对原始外观缺陷图像采用镜像、旋转、平移、扭曲、滤波、对比度调整中的一种或多种图像处理操作后获得的图像。由于图像处理操作是已知的，因此在获取原始外观缺陷图像对应的标注数据后，扩展外观缺陷图像对应的标注数据也可以对应获得。在本实施例所应用的具体的工业环境中,通常所能得到的工业外观缺陷样本非常少，很多时候只能取得几张或几十张原始外观缺陷图像，因此仅仅依靠原始外观缺陷图像不能满足模型训练的需求。本实施例中，通过获取扩展外观缺陷图像，可以派生多种不同位置和姿态的图像，从而大量增加用于模型训练的样本量，有效克服少样本学习问题，有利于模型的训练和验证。在一个可行的实施方式中，亦可根据所述扩展外观缺陷图像对应的标注数据获得标注后的所述扩展外观缺陷图像，输入所述第一样本集中，用于模型训练。
44.s22，将所述第一样本集输入至卷积网络中进行学习训练，输出所述机器学习模型。
45.模型训练包括通过多层卷积层对所述第一样本集中的图像进行降采样和非线性变换；所述第一样本集中的图像经过一系列处理，代表信息逐渐减少，也意味着经过卷积网络处理后，有价值的信息得以保存，而一些冗余的信息被摒弃，也即是图像特征被抽象化；模型训练中，对所述第一样本集中的图像进行一级一级的抽象化，最终能够得到对所述第一样本集之外的一些图像也具有一定判别能力的图像特征。大量图像特征信息的相互作用，共同训练出一个机器学习模型输出，得到各卷积层的权重值。对卷积网络得出的结果数据进行后处理、整理并储存备用。
46.然后，利用梯度下降法等现有技术优化代价函数，从后向前逐级调整每一层卷积网络的权重，对卷积网络得出的权重进行调节，从而使得输出模型的泛化能力得到较大提升。在不断的模型训练和数据处理后，最终完成训练，输出所述机器学习模型。
47.加载预先完成训练的机器学习模型的结果为经过上述模型训练方法得到的所述机器学习模型各卷积层的权重值，所述权重值包括上百万个权重值参数。
48.s13，将所述pc构件图像输入至所述机器学习模型，检测所述pc构件图像中的外观缺陷，得到外观缺陷检测图像。
49.外观缺陷检测图像中包含检测到的外观缺陷。预先完成训练的机器学习模型加载完成后，通过增加外观缺陷检测网络层，对输入至所述机器学习模型的 pc构件图像中的外观缺陷进行自动检测，以便对检测结果进行约束。
50.一些优选的实施例中，所述方法还包括：s14，标注检测到的所述外观缺陷，得到所述外观缺陷检测图像对应的标注数据；其中，标注数据包括：所述外观缺陷的矩形框标签和逐像素标签中的至少一项，以及所述外观缺陷的类别标签。标注检测到的所述外观缺陷后，亦可直接得到标注后的外观缺陷检测图像，能够直观看到缺陷所在位置。利用计算机对检测到的外观缺陷进行标注，也可采用手动的方式标注检测到的外观缺陷。
51.在一些更有选的实施例中，机器学习模型能够自动检测识别pc构件外观缺陷的位置，并同时预测pc构件外观缺陷的类别，利用标注的数据对预测的类别进行验证，可实现检测识别的可信度的确认。
52.图4为本发明公开的一种机场道面pc构件外观缺陷检测机器学习模型更新方法的流程示意图。如图4所示，在一些优选的实施例中，所述方法还包括：
53.s41，存储所述外观缺陷检测图像和所述外观缺陷检测图像对应的标注数据；
54.将外观缺陷检测图像及其对应的标注数据进行后台编码存储，以备后续使用，存储方式可以为在内存储器中进行临时存储或在外存储器中进行永久存储。在一个可行的实施方式中，亦可将标注后的外观缺陷检测图像进行存储备用。得到的标注前及标注后的外观缺陷检测图像、以及对应的标注数据，可以通过标准的检索工具进行检索，能实现对已被记录的特定事件的查询；此外，上述图像和标注数据还作为pc构件外观缺陷分析的大数据来源，用于对pc构件外观缺陷特征统计与分析。
55.s42，将所述外观缺陷检测图像和所述外观缺陷检测图像对应的标注数据输入至所述第一样本集，得到第二样本集；
56.将所述外观缺陷检测图像及其对应的标注数据补充进入用于训练机器学习模型的样本集，可进一步扩充用于模型训练的样本量，并不断补充和更新样本集，更有效地克服少样本学习问题，有利于模型的训练和验证。在一个可行的实施方式中，亦可将标注后的外观缺陷检测图像存储并输入至所述第一样本集，得到包含标注后的外观缺陷检测图像的第二样本集。
57.s43，根据预设条件，将所述第二样本集输入至卷积网络中进行学习训练，更新所述机器学习模型。
58.所述预设条件包括时间周期、检测次数或其他动态触发条件。
59.需要说明的是，模型加载是一个动态过程，根据需要按照固定周期等动态触发条件对所述机器学习模型进行动态更新，加载更新后的模型得到新的权重值，定期删除旧的模型。通常情况下上述模型训练过程与模型加载使用过程是滚动进行，即根据时间的推移，在加载使用过程中穿插上述训练过程，以保证模型的精确性。当然，有关上述模型的训练过程与模型加载使用过程之间具体的执行先后需要根据实际情况自行设定，在此不做具体限定。
60.上述机场道面pc构件外观缺陷检测方法具体可以应用于图5所示的应用场景中。如图5所示，待检产品、输送机和工业相机位于检测现场，待检产品通过输送机传送逐一经过工业相机下方，工业相机获取待检产品图片。工业相机将拍摄的产品图片通过网络传输到用于缺陷识别的图像处理中心，图像处理中心的计算机与用于存储数据的存储服务器、用于显示图像和信息交互的显示器和用于在检测到缺陷时发出警报的瑕疵报警装置连接，同时远程电脑通过网络与图像处理中心的计算机连接，实现对缺陷检测的远程控制，操作简便，实现 pc构件外观缺陷检测自动化，提高pc构件大规模自动化流水线生产中的缺陷检测效率。
61.如图6所示，本实施例还公开一种机场道面pc构件外观缺陷检测系统，包括：
62.图像获取模块601，用于获取pc构件图像；
63.模型加载模块602，用于加载预先完成训练的机器学习模型；
64.外观缺陷检测模块603，用于将所述pc构件图像输入至所述机器学习模型，检测所述pc构件图像中的外观缺陷，得到外观缺陷检测图像。
65.具体的，所述系统还包括：外观缺陷标注模块604，用于标注检测到的所述外观缺陷，得到所述外观缺陷检测图像对应的标注数据。
66.具体的，如图7所示，所述系统还包括：
67.样本集构建模块701，用于构建第一样本集，所述第一样本集包括，pc构件的原始外观缺陷图像、所述原始外观缺陷图像对应的标注数据、扩展外观缺陷图像、以及所述扩展外观缺陷图像对应的标注数据；
68.模型训练模块702，用于将所述第一样本集输入至卷积网络中进行学习训练，输出所述机器学习模型。
69.具体的，如图8所示，所述系统还包括：
70.存储模块801，用于存储所述外观缺陷检测图像和所述外观缺陷检测图像对应的标注数据；
71.样本集更新模块802，用于将所述外观缺陷检测图像和所述外观缺陷检测图像对应的标注数据输入至所述第一样本集，得到第二样本集；
72.模型更新模块803，用于根据预设条件，将所述第二样本集输入至卷积网络中进行学习训练，更新所述机器学习模型。
73.本实施例还公开一种计算机可读存储介质，用于保存计算机程序，当其在计算机上运行时，使得计算机执行所述的机场道面pc构件外观缺陷检测方法。
74.本实施例还公开一种电子设备，包括：
75.存储器，用于保存计算机程序；
76.处理器，用于执行所述计算机程序，以实现所述的机场道面pc构件外观缺陷检测方法。
77.需要说明的是，本发明实施例公开的一种机场道面pc构件外观缺陷检测系统、电子设备及计算机可读存储介质中相关部分的说明请参见本发明实施例提供的一种机场道面pc构件外观缺陷检测方法中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
78.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
79.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
80.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器 (ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
81.还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间
存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
82.上面对本发明的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述，本发明的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此，虽然已经具体讨论了一些另选的实施方式，但是其它实施方式将是显而易见的，或者本领域技术人员相对容易得出。本发明旨在包括在此已经讨论过的本发明的所有替代、修改和变化，以及落在上述申请的精神和范围内的其它实施方式。
83.虽然通过实施方式描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。