一种基于AR的智能巡检方法和系统与流程

一种基于ar的智能巡检方法和系统
技术领域
1.本技术涉及到人工智能领域，具体而言，涉及一种基于增强现实ar的智能巡检方法和系统。


背景技术：

2.光伏发电设备会出现故障，在出现故障的情况下，需要维修人员对该故障进行修理。维修人员在修理的过程中，一般会参照设备的维修手册来进行故障的维修。如果光伏发电系统产生的故障与维修手册中不同，维修人员在现场不确定如何维修的情况下，则需要与更加有经验的人员进行沟通，由该人员指导现场的维修人员进行维修。
3.指导人员无法看到现场的情况，仅仅依靠维修人员的描述来进行故障的判断和指导，这会导致指导存在不准确的情况，导致降低了维修效率。


技术实现要素：

4.本技术实施例提供了一种基于ar的智能巡检方法和系统，以至少解决指导人员不在维修现场来指导维修人员进行维修所导致的问题。
5.根据本技术的一个方面，提供了一种基于ar的智能巡检方法，包括：通过增强现实ar设备上的摄像装置获取发生故障的光伏设备的图像，其中，所述ar设备包括以下至少之一：ar头盔、ar眼镜；至少根据所述图像判断所述故障的类型，其中，所述图像中包括所述光伏设备发生故障的部件的图像和/或对所述发生故障的部件进行测量得到的带有测量参数的图像；根据所述故障的类型查找所述故障的解决方案；将所述故障的解决方案发送给所述ar设备，其中，所述ar设备将所述解决方案显示给维修人员。
6.进一步地，所述解决方案中包括文字和所述光伏设备发生故障的部件的结构图像，所述文字包括不同部件对应的维修指示文字，所述文字被所述ar设备显示时，显示该部件对应的结构图像旁边。
7.进一步地，至少根据所述图像判断所述故障的类型包括：根据所述发生故障的部件以及所述图像中的测量参数在预先存储的故障类型中查找与所述发生故障的部件的测量参数对应的故障类型；将查找到的故障类型作为根据所述图像判断出的所述故障的类型。
8.进一步地，在无法找到与所述发生故障的部件的测量参数对应的故障类型的情况下，所述方法还包括：将包括所述发生故障的部件以及所述测量参数的所述图像发送给预先配置的联系人。
9.进一步地，在将所述图像发送给所述预先配置的联系人之后，接收来自所述联系人的解决方案，并将所述解决方案发送给所述ar设备。
10.根据本技术的另一个方面，还提供了一种基于ar的智能巡检系统，包括：获取模块，用于通过增强现实ar设备上的摄像装置获取发生故障的光伏设备的图像，其中，所述ar设备包括以下至少之一：ar头盔、ar眼镜；判断模块，用于至少根据所述图像判断所述故障
的类型，其中，所述图像中包括所述光伏设备发生故障的部件的图像和/或对所述发生故障的部件进行测量得到的带有测量参数的图像；查找模块，用于根据所述故障的类型查找所述故障的解决方案；发送模块，用于将所述故障的解决方案发送给所述ar设备，其中，所述ar设备将所述解决方案显示给维修人员。
11.进一步地，所述解决方案中包括文字和所述光伏设备发生故障的部件的结构图像，所述文字包括不同部件对应的维修指示文字，所述文字被所述ar设备显示时，显示该部件对应的结构图像旁边。
12.进一步地，所述判断模块用于：根据所述发生故障的部件以及所述图像中的测量参数在预先存储的故障类型中查找与所述发生故障的部件的测量参数对应的故障类型；将查找到的故障类型作为根据所述图像判断出的所述故障的类型。
13.进一步地，在无法找到与所述发生故障的部件的测量参数对应的故障类型的情况下，所述发送模块还用于：将包括所述发生故障的部件以及所述测量参数的所述图像发送给预先配置的联系人。
14.进一步地，在将所述图像发送给所述预先配置的联系人之后，所述发送模块用于接收来自所述联系人的解决方案，并将所述解决方案发送给所述ar设备。
15.在本技术实施例中，采用了通过增强现实ar设备上的摄像装置获取发生故障的光伏设备的图像，其中，所述ar设备包括以下至少之一：ar头盔、ar眼镜；至少根据所述图像判断所述故障的类型，其中，所述图像中包括所述光伏设备发生故障的部件的图像和/或对所述发生故障的部件进行测量得到的带有测量参数的图像；根据所述故障的类型查找所述故障的解决方案；将所述故障的解决方案发送给所述ar设备，其中，所述ar设备将所述解决方案显示给维修人员。通过本技术解决了指导人员不在维修现场来指导维修人员进行维修所导致的问题，从而提高了维修效率。
附图说明
16.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
17.图1是根据本技术实施例的基于ar的智能巡检方法的流程图。
具体实施方式
18.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
19.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
20.在本技术的一个实施例中，提供了一种基于ar的智能巡检方法，图1是根据本技术实施例的基于ar的智能巡检方法的流程图，如图1所示，该方法包括以下步骤：
21.步骤s102，通过增强现实ar设备上的摄像装置获取发生故障的光伏设备的图像，其中，所述ar设备包括以下至少之一：ar头盔、ar眼镜；
22.步骤s104，至少根据所述图像判断所述故障的类型，其中，所述图像中包括所述光
伏设备发生故障的部件的图像和/或对所述发生故障的部件进行测量得到的带有测量参数的图像；
23.步骤s106，根据所述故障的类型查找所述故障的解决方案；
24.在一个可选的实施方式中，在维修人员自行判断出故障类型并进行维修的情况下，通过所述ar设备输入发生故障的部件的型号以及故障类型，并在维修的时候使用所述ar设备进行维修过程的录制，录制得到的视频文件被上传至服务器，该视频文件被作为该故障类型对应的故障的解决方案。
25.所述视频文件在上传至服务器之后，经过审核人员的审核就可以作为正式的解决方案他进行提供。在步骤s106中，检索的解决方案就可以是其他维修人员上传的解决方案。
26.所述服务器还用于将所述视频文件进行处理，从所述视频文件中提取关键帧和语音，将语音转换为文字，将所述关键帧和所述文字作为文本解决方案保存在服务器中。
27.所述服务器获取与所述ar设备网络连接情况，在所述网络连接速率低于阈值的情况下，发送所述文本解决方案，在所述网络连接速度高于所述阈值的情况下发送所述视频文件作为解决方案。
28.步骤s108，将所述故障的解决方案发送给所述ar设备，其中，所述ar设备将所述解决方案显示给维修人员。
29.通过该实施例，通过ar设备上的摄像装置获取发生故障的光伏设备的图像，至少根据所述图像判断所述故障的类型，根据所述故障的类型查找所述故障的解决方案；将所述故障的解决方案发送给所述ar设备。解决了指导人员不在维修现场来指导维修人员进行维修所导致的问题，从而提高了维修效率。
30.优选地，在步骤s106中，所述解决方案中包括文字和所述光伏设备发生故障的部件的结构图像，所述文字包括不同部件对应的维修指示文字，所述文字被所述ar设备显示时，显示该部件对应的结构图像旁边。
31.作为另一个可选的实施方式，所述发生故障的部件的结构为线条图，除了该线条之外其他部分均为透明，ar设备获取距离发生故障的部件的距离，根据所述距离对所述线条图进行放大，其中，放大后的所述线条图与真实发生故障的部件进行重合，此时文字被显示在真实发生故障的部件的旁边。在所述放大倍数过大或者过小的时候，通过ar设备获取用户的手势，所述手势用于指示对所述线条图进行缩小或者放大。
32.作为一个可选的实施例，在步骤s104中，至少根据所述图像判断所述故障的类型包括：根据所述发生故障的部件以及所述图像中的测量参数在预先存储的故障类型中查找与所述发生故障的部件的测量参数对应的故障类型；将查找到的故障类型作为根据所述图像判断出的所述故障的类型。
33.作为另一个可以选择增加的实施方式，可以训练一个机器学习模型，该机器学习模型是使用多组训练数据训练得到的，所述多组训练数据中的每组训练数据均包括输入数据和输出数据，输入数据为发生故障的部件的图片，输出数据为作为输入数据的图片中的故障类型。经过训练得到收敛后的机器学习模型就可以使用了。将所述图像输入到所述机器学习模型中，获取所述机器学习模型输出的故障的类型。
34.在训练的时候，为了保证训练效果，对于发生同一故障的部件可以拍摄多组图片，其中，每组图片均包括从不同角度拍摄得到的图片。训练数据中还可以包括该部件未发生
故障时的多个角度的图片。
35.在步骤s104的查找故障类型的过程中，在无法找到与所述发生故障的部件的测量参数对应的故障类型的情况下，所述方法还包括：将包括所述发生故障的部件以及所述测量参数的所述图像发送给预先配置的联系人。
36.然后，在将所述图像发送给所述预先配置的联系人之后，接收来自所述联系人的解决方案，并将所述解决方案发送给所述ar设备。
37.可选地，上述ar设备可以应用到防护安全帽中，使防护安全帽成为一种智能头盔。该智能头盔可以至少包括：智能头盔可见光摄像头、耳麦、腰挂式无线收发器、供电电源。
38.所述ar设备可以使用手势控制摄像头的开启、通话功能的启动、以及维修方案的获取。
39.所述ar设备获取预定手势之后，根据该手势启动图1中的步骤进行拍摄以及维修方案的获取。
40.其中，无线收发器支持音频、视频和数据传输功能，并且根据使用环境配套不同的网络设备，实现视频采集、语音对讲功能。通过实时音视频互动，能够根据网络情况调整视频压缩算法，确保在新能源电站效果良好，同时支持离线存储。
41.此外，智能头盔中的供电电源的电路设计可以采用微功耗元器件，以延长电力供应时间，例如，可以确保设备的电力能够满足8小时以上。并且，可以采用双电源管理，在待机状态维持电流仅仅只有7ma。
42.作为一种可选的实施方式，上述ar设备可拆卸，方便更换头盔。
43.可选地，上述ar设备可以通过ar眼镜来实现，通过最先进的增强现实技术提供基于增强现实的远程专家指导、全新的人机交互体验、设备实时状态识别。
44.这样，在实际工作中，项目相关负责人即使不在施工现场，也可以通过实时视频监控图像、ar远程交互，实现零距离指挥、零时间决策的安全监督管控效果。
45.通过上述实施例的基于ar的智能巡检方法，巡检人员在使用ar头盔之后，后台的管理人员就可以与巡检人员进行交互，从而可以将一些问题直观地标识在ar头盔的屏幕上，从巡检人员的角度就可以直接跟真实的图像相结合，从而有利于进行维修和保养。
46.在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。
47.上述程序可以运行在处理器中，或者也可以存储在存储器中(或称为计算机可读介质)，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
48.这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他
可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
49.该本实施例中就提供了这样的一种装置或系统。该系统称为一种基于ar的智能巡检系统，该系统包括：
50.获取模块，用于通过增强现实ar设备上的摄像装置获取发生故障的光伏设备的图像，其中，所述ar设备包括以下至少之一：ar头盔、ar眼镜；
51.判断模块，用于至少根据所述图像判断所述故障的类型，其中，所述图像中包括所述光伏设备发生故障的部件的图像和/或对所述发生故障的部件进行测量得到的带有测量参数的图像；
52.查找模块，用于根据所述故障的类型查找所述故障的解决方案；
53.发送模块，用于将所述故障的解决方案发送给所述ar设备，其中，所述ar设备将所述解决方案显示给维修人员。
54.优选地，所述解决方案中包括文字和所述光伏设备发生故障的部件的结构图像，所述文字包括不同部件对应的维修指示文字，所述文字被所述ar设备显示时，显示该部件对应的结构图像旁边。
55.具体来说，所述判断模块用于：根据所述发生故障的部件以及所述图像中的测量参数在预先存储的故障类型中查找与所述发生故障的部件的测量参数对应的故障类型；将查找到的故障类型作为根据所述图像判断出的所述故障的类型。
56.此外，在无法找到与所述发生故障的部件的测量参数对应的故障类型的情况下，所述发送模块还用于：将包括所述发生故障的部件以及所述测量参数的所述图像发送给预先配置的联系人。
57.然后，在将所述图像发送给所述预先配置的联系人之后，所述发送模块用于接收来自所述联系人的解决方案，并将所述解决方案发送给所述ar设备。
58.可选地，上述ar设备可以应用到防护安全帽中，使防护安全帽成为一种智能头盔。该智能头盔可以至少包括：智能头盔可见光摄像头、耳麦、腰挂式无线收发器、供电电源。
59.其中，无线收发器支持音频、视频和数据传输功能，并且根据使用环境配套不同的网络设备，实现视频采集、语音对讲功能。通过实时音视频互动，能够根据网络情况调整视频压缩算法，确保在新能源电站效果良好，同时支持离线存储。
60.此外，智能头盔中的供电电源的电路设计可以采用微功耗元器件，以延长电力供应时间，例如，可以确保设备的电力能够满足8小时以上。并且，可以采用双电源管理，在待机状态维持电流仅仅只有7ma。
61.作为一种可选的实施方式，上述ar设备可拆卸，方便更换头盔。
62.可选地，上述ar设备可以通过ar眼镜来实现，通过最先进的增强现实技术提供基于增强现实的远程专家指导、全新的人机交互体验、设备实时状态识别。
63.这样，在实际工作中，项目相关负责人即使不在施工现场，也可以通过实时视频监控图像、ar远程交互，实现零距离指挥、零时间决策的安全监督管控效果。
64.通过上述实施例的基于ar头盔的智能巡检系统，巡检人员在使用ar头盔之后，后台的管理人员就可以与巡检人员进行交互，从而可以将一些问题直观地标识在ar头盔的屏幕上，从巡检人员的角度就可以直接跟真实的图像相结合，从而有利于进行维修和保养。
65.该系统或者装置用于实现上述的实施例中的方法的功能，该系统或者装置中的每个模块与方法中的每个步骤相对应，已经在方法中进行过说明的，在此不再赘述。
66.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。