基于无人机和边缘计算的外墙裂缝检测方法和系统与流程

1.本发明属于图像识别技术领域，特别涉及一种检测方法和系统。


背景技术：

2.如今，在土木工程装修方面，现有的无人机检测外墙裂缝工程中，通常为工作人员利用无人机搭载高清可见光相机以及热成像机探测墙面，采集图片和视频数据，后期通过对图片和视频的分析比较，得出墙面缺陷的数量和位置。
3.本领域存在的技术问题：现有的无人机检测外墙裂缝工程需要现场采集，采集完成后，再分析问题，使得周期较长，而客户有时候需要勘测完后最多一天就需要结果，且现有图像处理分析放在远程固定服务器端，导致数据上传的处理时间上不能满足客户的需求短时间出报告的需求。


技术实现要素：

4.因此，本发明提供基于无人机和边缘计算的外墙裂缝检测方法和系统，旨在解决上述本领域存在的技术问题。
5.基于无人机和边缘计算的外墙裂缝检测方法，其特征在于，包括：
6.s1：对一墙面进行拍摄获取一原始图像；
7.s2：通过一边缘计算盒子提取所述原始图像中的一裂缝特征，然后将所述裂缝特征和所述边缘计算盒子中预存储的一裂缝缺陷库中的数据进行对比，确定所述裂缝特征的一缺陷数据类型；
8.s3：根据所述缺陷数据类型对所述原始图像进行检测，得到一检测结果，然后根据所述检测结果生成一检测报告。
9.优选地，步骤s1中，所述原始图像通过一无人机利用一摄像头对所述墙面拍摄获取，所述摄像头设置在所述无人机上。
10.优选地，所述摄像头包括一热成像摄像头和一可见光摄像头。
11.优选地，步骤s2中，所述缺陷数据类型包括一已知缺陷数据和一未知缺陷数据。
12.优选地，步骤s2包括：
13.s21：利用所述边缘计算盒子对所述原始图像进行识别，提取所述原始图像中的裂缝特征；
14.s22：将提取到的裂缝特征和所述裂缝缺陷库中的数据进行对比，若所述裂缝特征和所述裂缝缺陷库中的数据的一致率超过一预设值时，则所述裂缝特征为所述已知缺陷数据，若所述裂缝特征和所述裂缝缺陷库中的数据的一致率低于所述预设值，则所述裂缝特征为所述未知缺陷数据。
15.优选地，步骤s3包括：
16.s31：当所述裂缝特征为所述已知缺陷数据时，通过现场反馈再次确认所述缺陷数据类型，同时将所述缺陷数据类型的信息发送至一多接入边缘计算服务器进行处理；
17.s32：当所述裂缝特征为所述未知缺陷数据时，将所述未知缺陷数据对应的原始图像通过一第5代通信网络传至所述多接入边缘计算服务器进行处理。
18.优选地，步骤s32包括：
19.s321：所述多接入边缘计算服务器对所述原始图像进行分析计算生成所述检测结果；
20.s322：根据所述检测结果生成所述检测报告并发送至一管理终端进行显示。
21.进一步地，基于无人机和边缘计算的外墙裂缝检测系统，包括：
22.所述无人机(110)，用于获取所述原始图像；
23.所述边缘计算盒子(120)，连接所述无人机(110)，用于获取所述原始图像并进行处理；
24.一多接入边缘计算服务器(2)，所述多接入边缘计算服务器(2)连接所述边缘计算盒子(120)，用于接收所述边缘计算盒子(120)发送的图像并进行处理生成所述检测报告；
25.一应用服务器(3)，所述应用服务器(3)连接所述多接入边缘计算服务器(2)，用于接收所述多接入边缘计算服务器(2)发送的检测报告并发送至所述监控终端；
26.一监控终端(4)，所述监控终端(4)连接所述应用服务器(3)，用于接收所述检测报告并进行显示。
27.进一步地，所述边缘计算盒子(120)包括：
28.一中央处理模块(1204)；
29.一远程通信模块(1201)，所述远程通信模块(1201)连接所述中央处理模块(1204)；
30.一图形处理模块(1202)，所述图形处理模块(1202)连接所述中央处理模块(1204)；
31.一存储模块(1203)，所述存储模块(1203)连接所述中央处理模块(1204)。
32.进一步地，所述边缘计算盒子(120)的侧壁上包括：
33.一摄像头接口(25)、一高清晰多媒体接口(26)、一电源接口(27)、一通用串行总线接口(28)、一通用输入输出接口(29)、一rj45接口(30)、一以太网供电接口(31)、一天线接口(32)、一rs485接口(33)、一rs232接口(34)、一安装即用接口(35)、一电源开关(36)、一指示灯(37)、一sim卡槽(38)、一tf卡槽(39)至少一种。
34.有益效果：本发明通过提供基于无人机和边缘计算的外墙裂缝检测方法和系统，缩短了建筑外围质量检测的结论反馈周期，实现了已知墙面数据的现场直接反馈，满足了客户对高效便捷获取检测报告的需求。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显然，以下描述中的附图仅为本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可根据这些附图示出的结构获得其他的附图。
36.图1为本发明提供的方法的总体流程示意图；
37.图2为本发明提供的方法中，步骤s2的流程示意图；
38.图3为本发明提供的方法中，步骤s3的流程示意图；
39.图4为本发明提供的方法中，步骤s32的流程示意图；
40.图5为本发明提供的装置的总体结构示意图；
41.图6为本发明提供的装置所采用的无人机和边缘计算盒子的外观简化示意图；
42.图7为本发明提供的边缘计算盒子的内部模块结构示意图；
43.图8为本发明提供的边缘计算盒子的接口示意图；
44.图9为本发明提供的边缘计算盒子的其他接口示意图；
45.图10为本发明提供的边缘计算盒子的其他接口示意图；
46.图11为本发明提供的系统的总体结构示意图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
49.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
50.如图1、图2、图3、图4所示，本发明提供的基于无人机和边缘计算的外墙裂缝检测方法，如下：
51.s1：对一墙面进行拍摄获取一原始图像；
52.s2：通过一边缘计算盒子提取原始图像中的一裂缝特征，然后将裂缝特征和边缘计算盒子中预存储的一裂缝缺陷库中的数据进行对比，确定裂缝特征的一缺陷数据类型。
53.s3：根据缺陷数据类型对原始图像进行处理。
54.作为优选，步骤s1中，原始图像通过一无人机110利用一摄像头对墙面拍摄获取，摄像头设置在无人机110上。
55.作为优选，摄像头包括一热成像摄像头和一可见光摄像头，在一些实施例中，其中，热成像摄像头、可见光摄像头分别连接边缘计算盒子120，热成像摄像头用于采集热感图像，可见光摄像头用于采集墙面图像。
56.作为优选，缺陷数据类型包括一已知缺陷数据和一未知缺陷数据。
57.作为优选，步骤s2包括：
58.s21：利用边缘计算盒子对原始图像进行识别，提取原始图像中的裂缝特征；
59.s22：将提取到的裂缝特征和裂缝缺陷库中的数据进行对比，若裂缝特征和裂缝缺陷库中的数据的一致率超过一预设值时，则裂缝特征为已知缺陷数据，若裂缝特征和裂缝缺陷库中的数据的一致率低于预设值，则裂缝特征为未知缺陷数据。
60.作为优选，步骤s3包括：
61.s31：当裂缝特征为已知缺陷数据时，通过现场反馈再次确认缺陷数据类型，同时将缺陷数据类型的信息发送至一多接入边缘计算服务器进行处理；
62.s32：当裂缝特征为未知缺陷数据时，将未知缺陷数据对应的原始图像通过一第5
代通信网络传至多接入边缘计算服务器进行处理。
63.作为优选，步骤s32包括：
64.s321：多接入边缘计算服务器对原始图像进行分析计算生成一分析结果；
65.s322：根据分析结果生成一检测报告并将检测报告发送至一管理终端进行显示。
66.具体地，用于现场的智能边缘计算盒子，可高效快捷处理和分析现场采集的数据，进行预处理，将数据分为2类：已知缺陷数据、未知缺陷数据，针对已知缺陷数据直接现场反馈结论，同时，裂缝缺陷检测智能边缘计算盒子将预处理的结果和图片，通过5g和mec(mobile edge computing，移动边缘计算，下同)接口与网络运营商的mec节点无缝对接，无延迟和画质损失传输2类数据到最近的mec节点，通过mec节点的强大计算机能对未知数据进行分析处理并得出结论，两类数据合并出一份初检检测报告，然后反馈至指挥中心。通过此法，节约了现场的电力等资源，同时缩短了报告时间，提高了识别精度和速度。
67.如图5所示，作为优选，在本实施例中，基于无人机和边缘计算的外墙裂缝检测装置，应用于上述的基于无人机和边缘计算的外墙裂缝检测方法，包括：
68.一获取模块11，用于对墙面进行拍摄获取原始图像；
69.一对比模块12，其连接获取模块11，用于通过边缘计算盒子提取原始图像中的裂缝特征，将裂缝特征和边缘计算盒子中预存储的裂缝缺陷库中的数据进行对比，确定裂缝特征的缺陷数据类型。
70.一处理模块13，其连接对比模块12，用于根据缺陷数据类型对原始图像进行处理。
71.本技术通过无人机110飞行拍摄墙面高清图片，视频通过裂缝缺陷检测智能边缘计算盒子120进行预处理：图像处理和裂缝特征提取，并与裂缝缺陷库数据做比对能够对已知缺陷数据直接现场反馈，缩短了周期，满足了客户需要短时间内得到检测报告的需求。
72.如图6、图7所示，作为优选，在本实施例中，本发明提供的用于外墙裂缝检测的无人机边缘计算方法的工作原理为：一飞手(即无人机专业操纵师)将一无人机110、一边缘计算盒子120送至检测现场，其中无人机110上配置有摄像头1101，安装无人机110并起飞，飞机距离墙面5m，自下而上设定好拍摄时间和间隔等参数，平行扫描墙面，并环绕楼房飞行。
73.拍摄的图片通过边缘计算盒子120进行预处理，其具体过程为：边缘计算盒子120内的一gpu模块(graphic processing unit，图形处理单元)1202对图像信息中的裂缝信息进行识别，识别到裂缝特征后，和边缘计算盒子120内部存储的裂缝缺陷库进行比对从而区分得出裂缝信息，其中，gpu模块1202实时对每一帧画面进行运算分析。
74.进一步地，当边缘计算盒子120接收到摄像头获取的图像信息后，gpu模块1202提取裂缝特征，将裂缝特征与盒子中预存储的裂缝缺陷库中的信息进行对比，当对比信息一致率超过预设值时，认为是已知缺陷数据，保存图片至存储模块1203并直接进行现场反馈；当裂缝特征不存在于裂缝缺陷库中时，认为该缺陷为未知缺陷数据。
75.再者，如图所示，边缘计算盒子120内设有一远程无线通信模块1201、一gpu模块1202、一存储模块1203以及一cpu模块1204，其中远程无线通信模块1201、gpu模块1202、存储模块1203分别连接cpu模块1204，以实现上述功能。
76.如图8～9所示，作为优选，边缘计算盒子120的侧壁上设有一通信接口，通信接口包括：一摄像头接口25、一高清晰多媒体(hdmi,high definition multimedia interface)接口26、一电源接口27、一通用串行总线(usb,universal serial bus)接口28、一通用输入
输出(gpio,general-purpose input/output)接口29、一45型注册(rj45,registered jack)接口30、一以太网供电(poe,power on ether-net)接口31、一天线接口32、一rs485接口33、一rs232接口34和一安装即用(otg,on-the-go)接口35等。
77.其中，摄像头接口25可有线连接热成像摄像头和可见光摄像头，本发明中的摄像头接口25采用csi(cmos sensor interface，即cmos图像传感器)接口；hdmi接口26用于视频或图片图像的传送；电源接口27采用dc接口，dc接口接收的电压为直流12v或36v；usb接口28可接收外部数据或将边缘计算盒子120内部数据导出；gpio接口29为输入输出电路接口；rj45网口30为网卡接口；poe网口31为一些基于ip的终端传输数据信号的同时，还能为此类设备提供直流供电；天线接口32包括wifi天线接口32和4g天线接口32；rs485接口33、rs232接口34均用于实现数据传输；otg接口35可使usb设备从usb周边设备变为usb主机，进而与其他usb设备连接通信。
78.进一步地，优选地，所述边缘计算盒子120的侧壁上还设有：
79.一电源开关36，其连接上述的cpu(central processing unit，即中央处理器)模块1204，电源开关36用于打开边缘计算盒子120的电源，使得边缘计算盒子120开始工作。
80.优选的，所述边缘计算盒子120的侧壁上还设有：
81.一指示灯37、一sim(subscriber identity module，即用户识别单元)卡槽38和一tf卡槽(trans flash，又称microsd，体积很小的快闪存flash储器卡)39。
82.容易理解，指示灯37包括电源指示灯37和报警指示灯37，当边缘计算盒子120处理分析是已知缺陷数据时，报警指示灯37亮提示现场工作人员进行处理。当打开电源开关36时，电源指示灯37亮表示边缘计算盒子120开始工作。例如报警指示灯37为红色，电源指示灯37为绿色。
83.sim卡槽38用于放置sim卡，sim卡是主要用于存储用户身份识别数据、短信数据和电话号码的智能卡，tf卡槽39用于放置tf卡。
84.作为优选，所述存储模块1203采用内存卡，其内存大小为8gb。
85.作为优选，所述远程无线通信模块1201采用5g模块。
86.容易理解，本发明中内存卡的比特值还可采用32gb或64gb或128gb，上述的远程无线通信模块1201还可采用一4g模块、一wifi(wireless-fidelity，即无线局域网)模块或其他类型的远程无线通信模块。
87.优选的，上述cpu模块1204的型号为intel i7-8550u(因特尔旗舰系列)，其采用的型号为nvidia jetson tx2(英伟达系列)。
88.本发明提供的设备通过hdmi接口或者其他串口从无人机110遥控器或机载摄像头采集检测对象的录像和图片，经一gpu模块1202对图片和视频做处理，并储存到存储模块1203，未能匹配的图片通过5g模块，输出到附近的mec服务器2处理。
89.优选的，此边缘计算盒子120的的侧壁上还设有：
90.一复位开关40和一恢复开关41，这两枚开关元件分别连接上述的cpu模块1204，复位开关40可用于边缘计算盒子120的重启，恢复开关41用于恢复边缘计算盒子120的出厂设置。
91.如图10所示，作为优选，在本实施例中，基于无人机和边缘计算的外墙裂缝检测系统，应用于上述的基于无人机和边缘计算的外墙裂缝检测方法，包括：
92.一无人机110，通过摄像机拍照获取一原始图像；
93.一边缘计算盒子120，用于对该原始图像进行分析处理；
94.一多接入边缘计算服务器2，其连接无人机边缘计算装置，用于接收边缘计算盒子120发送的图像并进行处理生成检测报告；
95.一应用服务器3，其连接多接入边缘计算服务器2，用于接收多接入边缘计算服务器2发送的检测报告并发送至监控终端；
96.一监控终端4，其连接应用服务器3，用于接收检测报告并进行显示。
97.具体地，本技术采用的外墙裂缝检测设备中的边缘计算盒子120高效快捷处理和分析现场采集的数据，对所得数据进行预处理，将数据分为两类：已知缺陷数据，未知缺陷数据。然后针对已知缺陷数据直接现场反馈结论，也就是让技术人员二次确认，以便做下一步处理(重新拍摄或者录制视频)；同时，边缘计算盒子120将预处理的结果和图片，通过5g模块与网络运营商的mec节点无缝对接，无延迟和画质损失传输两类数据到最近的mec服务器2，通过mec服务器3的强大算力来对未知数据进行分析处理，得出的结论，然后两类数据合并出一份初检检测报告，发送至应用服务器3，应用服务器3再将检测报告发送至监控终端4进行显示。通过这样的方式，节约了现场的电力等资源，同时缩短了报告时间。
98.本技术结合了无人机110搭载热成像和可见光摄像头，链接边缘计算盒子120，5g通讯，以及mec服务器2节点计算等设备，实现了短时间内精确定位问题和报告外墙不同类别的裂缝缺陷。
99.在以往的无人机检测外墙裂缝工程中，工作人员通常会利用无人机搭载高清可见光相机以及热成像机探测墙面，采集图片和视频数据，后期通过对图片和视频的分析比较，找出墙面缺陷的数量和位置。一般流程如下：
100.1、工作人员去现场勘探建筑裂缝缺陷，在拍摄采集缺陷数据后后，一般需要1～3天左右的时间整理分析，然后才能给客户出检测报告，针对大面积的建筑，数据采集的时间很长而且需要更长的时间去分析报告。
101.2、需要较高的建筑背景和技术水平的工作人员去现场，才能现场发现问题并采集缺陷数据域，到工作人员不懂的问题，还需要在咨询专家，分析处理，再次延长了分析报告的时间。
102.在本实施例中，与本技术领域中以往采用的技术方案相比，本发明显然很好地克服了上述存在的技术问题。
103.本发明和以往现有技术的区别特征在于：本发明通过提供基于无人机和边缘计算的外墙裂缝检测方法和系统，缩短了建筑外围质量检测的结论反馈周期，实现了已知墙面数据的现场直接反馈，满足了客户对高效便捷获取检测报告的需求。
104.此外，本技术提供的系统中边缘计算盒子120将处理结果与mec服务器2对接，mec服务器2得出的结论并出一份初检检测报告发送至监控终端进行显示，节约了现场的电力等资源，同时缩短了报告时间。
105.本领域的技术人员应明确，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
106.以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。