可移动平台的巡检方法、装置、可移动平台及存储介质与流程

文档序号:26313128发布日期:2021-08-17 13:50阅读:74来源:国知局
可移动平台的巡检方法、装置、可移动平台及存储介质与流程

本申请涉及可移动平台的巡检技术领域,尤其涉及一种可移动平台的巡检方法、装置、可移动平台及存储介质。



背景技术:

可移动平台比如无人机,可应用在航拍、农业植保、电力巡查、救灾、巡航表演等各个领域,应用十分广泛。以无人机执行巡检为例,目前,一般是通过巡检员操作无人机飞行到巡检点,然后对巡检点的巡检目标进行拍摄。巡检员每次拍摄时,都要手动调节无人机的位置,调节过程复杂,影响巡检效率,尤其是需要对巡检目标的多个位置进行拍摄时,需要巡检员手动调节无人机飞到各个位置进行逐一拍摄,费时费力。

因此,如何提高可移动平台的巡检效率成为亟待解决的问题。



技术实现要素:

基于此,本申请提供了一种可移动平台的巡检方法、装置、可移动平台及存储介质,以实现提高可移动平台的巡检效率。

第一方面,本申请提供了一种可移动平台的巡检方法,包括:

获取可移动平台当前巡检操作对应的巡检模板,所述巡检模板中包括巡检目标;

根据所述巡检模板,确定当前巡检操作对应的巡检目标的至少一个兴趣区域;

控制所述拍摄装置拍摄所述至少一个兴趣区域对应的巡检图像。

第二方面,本申请还提供了一种可移动平台的巡检装置,所述可移动平台的巡检装置包括存储器和处理器;

所述存储器用于存储计算机程序;

所述处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现如下步骤:

获取可移动平台当前巡检操作对应的巡检模板,所述巡检模板中包括巡检目标;

根据所述巡检模板,确定当前巡检操作对应的巡检目标的至少一个兴趣区域;

控制所述拍摄装置拍摄所述至少一个兴趣区域对应的巡检图像。

第三方面,本申请还提供了一种可移动平台,所述可移动平台包括机体、设于所述机体内的动力系统以及如上述的可移动平台的巡检装置,所述动力系统用于为所述可移动平台提供动力,所述可移动平台的巡检装置用于控制所述可移动平台上装载的拍摄装置拍摄巡检图像。

第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的可移动平台的巡检方法。

本申请公开的可移动平台的巡检方法、可移动平台的巡检装置、可移动平台及计算机可读存储介质,通过获取可移动平台当前巡检操作对应的巡检模板,其中,巡检模板中包括巡检目标,然后根据该巡检模板,确定当前巡检操作对应的巡检目标的至少一个兴趣区域,控制可移动平台上装载的拍摄装置拍摄确定的至少一个兴趣区域对应的巡检图像,也即实现基于巡检模板进行巡检图像自动拍摄,省去了巡检员手动调节拍摄的操作,从而提高了可移动平台的巡检效率。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请的实施例提供的一种可移动平台的示意性框图;

图2是本申请的实施例提供的一种可移动平台的巡检方法的步骤示意流程图;

图3是本申请的实施例提供的另一种可移动平台的巡检方法的步骤示意流程图;

图4是本申请的实施例提供的再另一种可移动平台的巡检方法的步骤示意流程图;

图5是本申请的实施例提供的一种兴趣区域对应的确认界面的界面示意图;

图6是本申请的实施例提供的一种基于确认界面执行确认操作的操作示意图;

图7是本申请的实施例提供的另一种可移动平台的巡检方法的步骤示意流程图;

图8是本申请的实施例提供的一种可移动平台的巡检装置的示意性框图。

具体实施方式

下面对本申请的实施例进行介绍。

附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。

应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a和b和c,其中a,b,c可以是单个,也可以是多个。

还应当进理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。

本申请的实施例提供了一种可移动平台的巡检方法、装置、可移动平台及存储介质,用于实现在采用可移动平台进行巡检时省去巡检员手动调节飞行拍摄的操作,提高可移动平台的巡检效率。

其中,该可移动平台包括但不限于无人机,例如旋翼型飞行器,包括单旋翼飞行器、双旋翼飞行器、三旋翼飞行器、四旋翼飞行器、六旋翼飞行器、八旋翼飞行器、十旋翼飞行器、十二旋翼飞行器等。当然,可移动平台也可以是其他类型的无人机或可移动装置,比如固定翼无人机,本申请实施例不限于此。

请参阅图1,图1为本申请实施例提供的一种可移动平台的示意性框图。如图1所示,可移动平台1000包括机体100、设于机体100内的动力系统200、以及可移动平台的巡检装置300。其中,动力系统200用于为可移动平台1000提供动力,可移动平台的巡检装置300用于控制可移动平台1000上装载的拍摄装置拍摄巡检图像。

示例性的,可移动平台1000上装载的拍摄装置包括但不限于摄像头,例如一个摄像头或者是多个摄像头,该拍摄装置用于拍摄图像,例如,拍摄可移动平台进行巡检时的巡检图像。当然,该拍摄装置也可以用于测量物体相对拍摄装置的距离。或者,该拍摄装置还可以是其他传感器,可以检测物体的深度信息、空间点云信息或者反射率信息等。

示例性的,动力系统200可以包括一个或多个电子调速器(简称为电调)、一个或多个螺旋桨以及与一个或多个螺旋桨相对应的一个或多个电机,其中电机连接在电子调速器与螺旋桨之间。电子调速器用于提供驱动电流给电机,以控制电机的转速。电机用于驱动螺旋桨旋转,从而为可移动平台1000的飞行提供动力,该动力使得可移动平台1000能够实现一个或多个自由度的运动。在某些实施例中,可移动平台1000可以围绕一个或多个旋转轴旋转。应理解,电机可以是直流电机,也可以交流电机。另外,电机可以是无刷电机,也可以是有刷电机。

示例性的,可移动平台1000还包括测距装置400。测距装置400用于检测可移动平台巡检操作中巡检目标与拍摄装置间的距离。其中,测距装置400包括但不限于激光测距装置、超声波测距装置、tof(timeofflight,飞行时间)传感器、雷达等。

可以理解的,上述对于可移动平台各部件的命名仅仅出于标识的目的,并不因此对本申请实施例进行限制。

以下,将结合图1中的可移动平台对本申请的实施例提供的可移动平台的巡检方法进行详细介绍。需知,图1中的可移动平台仅用于解释本申请实施例提供的可移动平台的巡检方法,但并不构成对本申请实施例提供的可移动平台的巡检方法应用场景的限定。

请参阅图2,图2是本申请的实施例提供的一种可移动平台的巡检方法的示意流程图。该方法可以用于上述可移动平台的巡检装置中,即通过图1的可移动平台的巡检装置300来执行,当然也可以由可移动平台上携带的其它控制装置来实现,本申请实施例不限于此。

为了方便对本申请的实施例作详细阐述,以下以该方法应用于可移动平台的巡检装置为例进行说明,以实现在采用可移动平台进行巡检时,提高可移动平台的巡检效率。

具体地,如图2所示,该可移动平台的巡检方法具体包括步骤s101至步骤s103。

s101、获取可移动平台当前巡检操作对应的巡检模板,所述巡检模板中包括巡检目标。

对于采用可移动平台进行巡检,为了省去巡检员手动调节无人机飞到各个位置进行逐一拍摄的手动操作,预先配置各种不同巡检操作对应的巡检模板,例如,巡检模板包括但不限于电塔模板、油气管道模板、阀门模板等等。其中,巡检模板中包含巡检目标(也即巡检操作对应的巡检对象)、巡检目标对应的形状、巡检目标对应的材质、巡检目标对应的一个或多个兴趣区域(也即巡检目标需要重点巡检的区域)、兴趣区域相对于巡检目标的相对位置等相关模板信息。例如,以电塔模板为例,电塔对应的兴趣区域包括绝缘子,变压器,导线,杆塔等。

示例性的,预先配置各种不同巡检操作对应的巡检模板为通过多张样本图像进行机器学习生成,或者巡检模板为根据用户手动巡检的历史记录信息生成,或者巡检模板的巡检目标是可移动平台的巡检装置系统预先进行标定的。

例如,以电塔模板为例,在一实施方式中,电塔的形状有“干”字型、“v”字形、“上”字型、猫头型、酒杯型等各种形状,将不同形状的电塔进行归类并搜集大量的实际巡检图像,如电塔正面,电塔侧面,电塔俯视仰视等不同视角的图像,以及不同天气、光照亮度条件、不同远近的各种电塔图像,作为样本图像,通过机器学习生成电塔模版,并将生成的电塔模板进行保存,例如将其保存在相机等拍摄装置中。可以理解的是,生成的电塔模板中包含电塔的通用特征,如形状;同时电塔模板中也包含一些差异特征,比如不同材质,不同背景,如背景是天空、地面等。针对不同类型电塔所要巡检的具体细节,可以在对应的电塔模板上进行标识,从而得到每个兴趣区域在电塔模板中的相对位置。

在另一实施方式中,把电塔的局部特征作为模版提取出来,如对于“干”字型电塔,把拍摄的局部电塔图像如只拍到上半部分即“t”型或者只拍到右边或者左边即“f”型的电塔图像进行机器学习,从而增加生成的电塔模版的兼容性,当拍摄区域只选择了电塔一部分时,也能匹配到相应的电塔模型。

在另一实施方式中,可移动平台的巡检装置开设一个模板输入功能,类似记忆用户的操作,用户只要打开此功能后进行巡检,则可移动平台的巡检装置就记录下用户手动巡检过程中拍摄的电塔图像、拍摄每个兴趣区域时所用的zoom变焦倍率、每个兴趣区域相对电塔整体的相对位置等历史记录信息,根据这些历史记录信息生成电塔模板。

在另一实施方式中,结合上述生成巡检模板的方式,先通过机器学习生成一个基础版的巡检模版,用户可以根据自身的需要对巡检模版进行手动调整,比如增加兴趣区域、减少兴趣区域等等,可移动平台的巡检装置记录学习用户操作,根据用户执行的兴趣区域增添和/或删除操作,对巡检模板进行更新。示例性的,用户可以通过遥控器或者终端设备(例如手机)来触发对巡检模板进行更新,也可以是可移动平台在手动模式(m档)下自动记录用户输入的指令或者可移动平台的运动轨迹、各个巡检位置、各个巡检位置的拍摄参数等,基于这些信息中的至少一项来更新巡检模板。这里的更新包括但不限于:删除巡检模板、增加巡检模板、删除某一巡检模板中的兴趣区域、增加某一巡检模板中的兴趣区域、修改某一兴趣区域中的拍摄参数(变焦倍率、光圈值、快门、iso、拍摄距离、相机方位等等)。

在采用可移动平台进行巡检时,首先获取当前巡检操作对应的巡检模板。可以从预先配置的多种巡检模板中自动匹配当前巡检操作对应的巡检模板,也可以基于用户自己的选择操作确定当前巡检操作对应的巡检模板。

在一实施例中,获取可移动平台当前巡检操作对应的巡检模板可以包括:获取拍摄装置拍摄的实时图像;基于拍摄装置拍摄的实时图像,从预置的多种巡检模板中选取与该实时图像匹配的巡检模板,确定为当前巡检操作对应的巡检模板。也即,获取巡检模板的操作不依赖用户,也即不需要用户进行干预操作,自动匹配完成,十分智能。

在一实施例中,获取可移动平台当前巡检操作对应的巡检模板可以包括:接收遥控设备发送的区域图像,所述区域图像由用户基于所述遥控设备显示的拍摄图像选取;基于所述区域图像,从预置的多种巡检模板中选取与所述区域图像匹配的巡检模板,确定为当前巡检操作对应的所述巡检模板。

用户通过从可移动平台的遥控设备显示的拍摄图像中选取要巡检的对象,比如,用户从遥控设备的操控界面显示的图像中框选出电塔,基于用户的选取操作,遥控设备获得用户选取待巡检拍摄的区域图像、以及区域图像对应的坐标信息,遥控设备将区域图像、以及区域图像对应的坐标信息通过有线或无线方式发送至可移动平台的巡检装置。示例性的,若可移动平台的巡检装置内置于拍摄装置如相机中,则将区域图像、以及区域图像对应的坐标信息通过无线方式发送至相机。根据接收获取到的区域图像,从预置的多种巡检模板中进行智能匹配,选取出与区域图像匹配的巡检模板,并记录区域图像对应的拍摄对象在拍摄画面中的位置坐标信息。

s102、根据所述巡检模板,确定当前巡检操作对应的巡检目标的至少一个兴趣区域。

以电塔模板为例,对于同种类型的电塔,往往其兴趣区域在电塔框架上的位置是相对固定的,如绝缘子位于塔架和导线的连接处。这样,当确定了电塔模板后,该电塔模板下有哪些兴趣区域,每个兴趣区域在电塔的位置也就确定了。也即,基于当前巡检操作对应的巡检模板,即可确定该巡检模板中巡检目标对应的一个或多个兴趣区域。

s103、控制拍摄装置拍摄所述至少一个兴趣区域对应的巡检图像。

根据所确定的一个或多个兴趣区域,控制拍摄装置拍摄该一个或多个兴趣区域对应的巡检图像。例如,以电塔为例,确定电塔的兴趣区域包括绝缘子,变压器,导线,杆塔等,则控制拍摄装置拍摄电塔的绝缘子,变压器,导线,杆塔等对应的巡检图像。

在一实施例中,如图3所示,步骤s102之后可以包括步骤s104和步骤s105。

s104、确定每个所述兴趣区域的位置信息。

s105、根据每个所述兴趣区域的所述位置信息,调节所述拍摄装置对焦至每个所述兴趣区域。

步骤s103可以包括子步骤s1031。

s1031、在对焦至每个所述兴趣区域后,控制拍摄装置拍摄每个所述兴趣区域对应的所述巡检图像。

为了拍摄出清晰的巡检图像,在确定了巡检目标对应的一个或多个兴趣区域后,先确定出每个兴趣区域的位置信息。例如,以电塔的一个或多个兴趣区域为例,根据电塔的位置坐标及兴趣区域相对电塔的位置,计算出每个兴趣区域在拍摄画面中的位置,从而获得每个兴趣区域的位置信息。

根据每个兴趣区域的位置信息,调节拍摄装置依次对焦至每个兴趣区域,在每次对焦至其中某个兴趣区域后,控制拍摄装置拍摄当前对焦的兴趣区域的巡检图像,从而获得清晰度高的巡检图像。

在一实施例中,在对焦至每个兴趣区域后,控制拍摄装置拍摄每个兴趣区域对应的巡检图像可以包括:在对焦至每个所述兴趣区域后,调节所述拍摄装置的变焦倍率至每个所述兴趣区域对应的目标倍率,以采用所述拍摄装置对每个所述兴趣区域进行变焦拍摄,其中,变焦拍摄的分辨率高于广角分辨率;控制所述拍摄装置以每个所述兴趣区域对应的所述目标倍率拍摄所述巡检图像。

其中,拍摄装置包括变焦拍摄装置,可进行变焦拍摄,拍摄装置在每次拍摄当前对焦的兴趣区域的巡检图像之前,先确定当前对焦的兴趣区域对应的目标倍率,调节拍摄装置的变焦倍率至当前对焦的兴趣区域对应的目标倍率,然后以调节好的目标倍率拍摄当前对焦的兴趣区域对应的巡检图像。也即,采用拍摄装置对巡检目标的至少一个兴趣区域进行变焦拍摄,变焦拍摄的分辨率高于广角分辨率,从而获得至少一个兴趣区域对应的高分辨率巡检图像。示例性的,拍摄装置包括广角拍摄装置和变焦拍摄装置,拍摄装置可以基于广角拍摄装置拍摄的画面确定巡检模板,在确定了巡检模板后,基于变焦拍摄装置对该巡检模板中包括的一个或多个兴趣区域进行变焦拍摄。其中,广角拍摄装置可以是广角镜头,变焦拍摄装置可以是变焦镜头,广角镜头的拍摄视角大于等于变焦镜头,且变焦镜头可调焦,可拍摄出不同焦距下的清晰画面。

在一实施例中,调节所述拍摄装置的变焦倍率至每个所述兴趣区域对应的目标倍率之前可以包括:调节所述拍摄装置的姿态,以使每个所述兴趣区域位于所述拍摄装置的fov(fieldofview,视场角)画面中心位置。

由于巡检目标的至少一个兴趣区域不会正好位于拍摄装置的fov画面中心,在拍摄每个兴趣区域对应的巡检图像之前,先调节拍摄装置的姿态,比如调节镜头的俯仰角度、偏航角度或翻滚角度等,以改变拍摄装置的fov画面,使每个兴趣区域位于拍摄装置的fov画面中心位置,之后再调节拍摄装置的变焦倍率至每个兴趣区域对应的目标倍率,以该目标倍率进行拍摄。需要说明的是,也可以先调节拍摄装置的变焦倍率,再调节拍摄装置的姿态,或者同时调节拍摄装置的姿态和变焦倍率,具体方式在此不做限制。拍摄获得的兴趣区域对应的巡检图像分辨率高,且兴趣区域都位于巡检图像的中心位置。

在一实施例中,调节所述拍摄装置的变焦倍率至每个所述兴趣区域对应的目标倍率之前可以包括:根据每个所述兴趣区域占所述拍摄装置的fov画面的比例,确定每个所述兴趣区域对应的所述目标倍率。

当拍摄装置的变焦倍率越大,则兴趣区域占拍摄装置的fov画面的比例越大;反之,当拍摄装置的变焦倍率越小,则兴趣区域占拍摄装置的fov画面的比例越小。在拍摄每一个兴趣区域时,通过确定当前兴趣区域占拍摄装置的fov画面的比例,进而根据该比例确定当前兴趣区域对应的目标倍率,然后调节拍摄装置的变焦倍率至当前兴趣区域对应的目标倍率,以增大当前兴趣区域占拍摄装置的fov画面的比例,比如使得当前兴趣区域占满拍摄装置的fov画面。

在一实施例中,调节所述拍摄装置的变焦倍率至每个所述兴趣区域对应的目标倍率之前可以包括:确定每个所述兴趣区域与所述拍摄装置间的距离;根据每个所述兴趣区域与所述拍摄装置间的距离,确定每个所述兴趣区域对应的所述目标倍率。

当拍摄装置距离兴趣区域的距离越远,则变焦拍摄该兴趣区域的巡检图像对应的目标倍率越大;反之,当拍摄装置距离兴趣区域的距离越近,则变焦拍摄该兴趣区域的巡检图像对应的目标倍率越小。通过确定每个兴趣区域与拍摄装置间的距离,根据每个兴趣区域与拍摄装置间的距离确定每个兴趣区域对应的目标倍率。可选地,预先设置兴趣区域与拍摄装置间的距离对应目标倍率的映射关系,在确定了每个兴趣区域与拍摄装置间的距离后,通过查询兴趣区域与拍摄装置间的距离对应目标倍率的映射关系,获得每个兴趣区域对应的目标倍率。

在一实施例中,确定每个所述兴趣区域与所述拍摄装置间的距离可以包括:获取所述巡检目标与所述拍摄装置间的距离,以及获取每个所述兴趣区域相对所述巡检目标的参考距离;根据所述巡检目标与所述拍摄装置间的距离、以及每个所述兴趣区域相对所述巡检目标的所述参考距离,确定每个所述兴趣区域与所述拍摄装置间的距离。

为了精准确定出每个兴趣区域与拍摄装置间的距离,可以通过获取巡检目标与拍摄装置间的距离,比如获取整体电塔与拍摄装置间的距离。示例性的,通过采用测距装置检测出巡检目标与拍摄装置间的距离。其中,测距装置包括但不限于激光测距装置、超声波测距装置、tof传感器、雷达等。

并且,获取每个兴趣区域相对巡检目标的参考距离,比如电塔的绝缘子,变压器,导线,杆塔等兴趣区域相对电塔的参考距离。示例性的,可以根据巡检模板中巡检目标的模板信息,确定出每个兴趣区域相对巡检目标的参考距离。例如,根据电塔的一个或多个兴趣区域相对电塔的相对位置,确定出每个兴趣区域相对电塔的参考距离。根据巡检目标与拍摄装置间的距离、以及每个兴趣区域相对巡检目标的参考距离,就可以计算出每个兴趣区域与拍摄装置间的距离。进而根据每个兴趣区域与拍摄装置间的距离,确定出每个兴趣区域对应的目标倍率。

示例性的,还可以直接检测各个兴趣区域与拍摄装置之间的距离,例如,可以通过测距装置来检测,其中,测距装置包括但不限于激光测距装置、超声波测距装置、tof传感器、雷达等。

在一实施例中,如图4所示,步骤s102之后可以包括步骤s106。

s106、发送所述至少一个兴趣区域对应的确认请求信息至遥控设备。

步骤s104可以包括子步骤s1041。

s1041、在接收到所述遥控设备基于所述确认请求信息反馈的确认信息时,确定每个所述兴趣区域的位置信息。

为了进一步提高用户体验,及检测的兴趣区域的精准度,当确定了当前巡检操作对应的巡检目标的一个或多个兴趣区域之后,先发送相应的至少一个兴趣区域对应的确认请求信息至可移动平台的遥控设备。可选地,该确认请求信息中包含至少一个兴趣区域的坐标信息或图像信息。

示例性的,发送至少一个兴趣区域对应的确认请求信息至遥控设备之前可以包括:获取所述至少一个兴趣区域的坐标信息;根据所述至少一个兴趣区域的所述坐标信息,生成所述确认请求信息。

示例性的,获取至少一个兴趣区域的坐标信息可以包括:获取所述巡检目标的坐标信息、以及每个所述兴趣区域相对所述巡检目标的第一相对坐标信息;根据所述巡检目标的坐标信息、以及每个所述兴趣区域相对所述巡检目标的所述第一相对坐标信息,确定每个所述兴趣区域的坐标信息。

根据巡检模板的模板信息,提取出每个兴趣区域相对巡检目标的相对坐标信息,也即每个兴趣区域的相对位置,为了便于描述,下文将兴趣区域相对巡检目标的相对坐标信息称为第一相对坐标信息。同时还获取巡检目标的坐标信息,进而根据巡检目标的坐标信息、以及每个兴趣区域相对巡检目标的第一相对坐标信息,确定出每个兴趣区域的坐标信息。

基于每个兴趣区域的坐标信息,生成包含每个兴趣区域的坐标信息的确认请求信息,之后,将包含每个兴趣区域的坐标信息和/或图像信息的确认请求信息发送至可移动平台的遥控设备。

遥控设备接收到该确认请求信息后,根据该确认请求信息中包含的至少一个兴趣区域的坐标信息和/或图像信息,显示该至少一个兴趣区域对应的确认界面。例如,如图5所示,在显示的确认界面上将该至少一个兴趣区域标记显示。示例性的,在遥控设备的显示界面上通过画框、阴影等方式将该至少一个兴趣区域标记显示。

用户通过查看标记显示的该至少一个兴趣区域是否是当前需要进行详细巡检的区域,若该至少一个兴趣区域无误,则可基于当前显示界面执行相应的确认操作,例如,如图6所示,点击确认界面上的“确认”控件。反之,则可以基于当前显示界面执行相应的取消操作,或手动标记出正确的需要进行巡检的兴趣区域。在检测到用户基于当前显示界面执行的确认操作后,遥控设备反馈相应的确认信息至可移动平台的巡检装置。当接收到遥控设备反馈的确认信息时,触发拍照指令,确定每个兴趣区域的位置信息。

在一实施例中,确定每个兴趣区域的位置信息可以包括:根据每个所述兴趣区域的坐标信息,确定每个所述兴趣区域相对所述拍摄装置的fov画面中心的第二相对坐标信息,将所述第二相对坐标信息确定为每个所述兴趣区域的所述位置信息。

接收到遥控设备反馈的确认信息后,根据获取到的每个兴趣区域的坐标信息,确定出每个兴趣区域相对拍摄装置的fov画面中心的相对坐标信息。为了便于描述,下文将兴趣区域相对拍摄装置的fov画面中心的相对坐标信息称为第二相对坐标信息。将每个兴趣区域相对拍摄装置的fov画面中心的第二相对坐标信息确定为每个兴趣区域的位置信息。

示例性的,拍摄装置首先以初始倍率拍摄一张概览图像,然后再根据每个兴趣区域的位置信息,调节拍摄装置对焦至每个兴趣区域,以每个兴趣区域对应的目标倍率对兴趣区域进行变焦拍摄,获得每个兴趣区域占满整个画面的高分辨巡检图像。具体操作如前面所述,在此不再赘述。

在一些实施例中,控制拍摄装置拍摄至少一个兴趣区域对应的巡检图像之后可以包括:将所述至少一个兴趣区域对应的所述巡检图像保存。

通过拍摄装置变焦拍摄了每个兴趣区域对应的巡检图像后,将拍摄获得的每个兴趣区域对应的巡检图像保存。可选地,可以将每个兴趣区域对应的巡检图像、以及以初始倍率拍摄的概览图像一起关联保存。例如,将每个兴趣区域对应的巡检图像、以及概览图像都存储于拍摄装置的sd(securedigitalmemorycard)卡内。用户通过读取sd卡中保存的每个兴趣区域对应的巡检图像,即可查看到每个兴趣区域的细节情况。可选的,在存储兴趣区域对应的巡检图像时,还可以存储该兴趣区域对应的目标倍率。可选的,在存储兴趣区域对应的巡检图像时,还可以将按照巡检模板来将兴趣区域对应的巡检图像归类存储,针对不同的巡检模板,分不同的存储区域/存储区间/存储文件夹/存储命名格式等来分别归类存储,例如,第一巡检模板对应的兴趣区域对应的巡检图像存储在存储介质中的第一存储区域,且以第一文件名进行命名,第二巡检模板对应的兴趣区域对应的巡检图像存储在存储介质中的第二存储区域,且以第二文件名命名,如此可方便用户后续基于存储区域或者文件名来识别某一巡检模板下有拍摄到哪些巡检图像。

在一些实施例中,如图7所示,步骤s101之后可以包括步骤s107。

s107、根据所述巡检模板,控制所述可移动平台按照模板轨迹飞行至至少一个巡检目标所在位置。

步骤s102包括子步骤s1021。

s1021、在飞行至每个巡检目标所在位置时,根据所述巡检模板,确定当前巡检操作对应的巡检目标的至少一个兴趣区域。

示例性的,除了可以基于巡检模板控制拍摄装置拍摄,还可以基于巡检模板控制可移动平台按照相应的飞行轨迹飞行。例如,用户先手动控制可移动平台飞行巡检一次,在飞行巡检过程中,记录下用户操作的每个巡检点(巡检目标的兴趣区域)的位置信息、云台角度、拍摄的变焦倍率、可移动平台的飞行姿态、飞行轨迹等信息,根据记录的信息,生成此巡检线路对应的巡检模板。之后,当用户再次进行该线路的巡检时,直接调用生成的该线路对应的巡检模板,控制可移动平台按照巡检模板对应的模板轨迹飞行至巡检线路上的至少一个巡检目标所在位置。其中,模板轨迹包含了可移动平台的飞行姿态、飞行轨迹、每个巡检点的位置等信息。

在飞行至每个巡检目标所在位置时,比如飞行至巡检线路上的电塔时,根据巡检模板,确定巡检目标如电塔的至少一个兴趣区域。然后对巡检目标的每个兴趣区域进行变焦拍摄,获得巡检目标的每个兴趣区域对应的巡检图像。具体拍摄操作可参考上文所述,在此不再赘述。依照该方式完成每个巡检点的拍摄后,也即对巡检线路上每个巡检目标的一个或多个兴趣区域进行拍摄后,再控制可移动平台基于巡检模板自动返航,完成该线路的巡检操作。

可移动平台基于巡检模板来进行巡检操作,无需用户手动设置各个兴趣区域的位置,也无需用户手动调节拍摄装置的变焦倍率,甚至无需用户手动操作遥控可移动平台飞行,节省用户精力,而且自动匹配巡检的兴趣区域往往比手动操作精准度更高、速度更快,因此,提高了可移动平台的巡检效率,拍摄出的巡检图像也更加符合用户需求。

以上只是以电塔为例,系统介绍了本申请在电塔巡检领域的应用,但该方案同样可适用于其他巡检物体,比如油气管道,将管道、阀门等做成模板,就可以一键拍摄一个区域内所有管道细节图片。再比如森林防火,通过将各种不同地形、植被特征做成模板,当相机画面和已存的模板匹配时,则会自动进行拍摄。

上述实施例通过获取可移动平台当前巡检操作对应的巡检模板,其中,巡检模板中包括巡检目标,然后根据该巡检模板,确定当前巡检操作对应的巡检目标的至少一个兴趣区域,控制可移动平台上装载的拍摄装置拍摄确定的至少一个兴趣区域对应的巡检图像,也即实现基于巡检模板进行巡检图像自动拍摄,省去了巡检员手动调节拍摄的操作,从而提高了可移动平台的巡检效率。

请参阅图8,图8是本申请实施例提供的一种可移动平台的巡检装置的示意性框图。如图8所示,该可移动平台的巡检装置800包括处理器810和存储器820,处理器810和存储器820通过总线连接,该总线比如为i2c(inter-integratedcircuit)总线。

具体地,处理器810可以是微控制单元(micro-controllerunit,mcu)、中央处理单元(centralprocessingunit,cpu)或数字信号处理器(digitalsignalprocessor,dsp)等。

具体地,存储器820可以是flash芯片、只读存储器(rom,read-onlymemory)磁盘、光盘、u盘或移动硬盘等。

其中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现如下步骤:

获取可移动平台当前巡检操作对应的巡检模板,所述巡检模板中包括巡检目标;

根据所述巡检模板,确定当前巡检操作对应的巡检目标的至少一个兴趣区域;

控制所述拍摄装置拍摄所述至少一个兴趣区域对应的巡检图像。

在一些实施例中,所述处理器在实现所述根据所述巡检模板,确定当前巡检操作对应的巡检目标的至少一个兴趣区域之后,还实现:

确定每个所述兴趣区域的位置信息;

根据每个所述兴趣区域的所述位置信息,调节所述拍摄装置对焦至每个所述兴趣区域;

所述处理器在实现所述控制所述拍摄装置拍摄所述至少一个兴趣区域对应的巡检图像时,具体实现:

在对焦至每个所述兴趣区域后,控制所述拍摄装置拍摄每个所述兴趣区域对应的所述巡检图像。

在一些实施例中,所述拍摄装置为变焦拍摄装置,所述处理器在实现所述在对焦至每个所述兴趣区域后,控制所述拍摄装置拍摄每个所述兴趣区域对应的所述巡检图像时,具体实现:

在对焦至每个所述兴趣区域后,调节所述拍摄装置的变焦倍率至每个所述兴趣区域对应的目标倍率,以采用所述拍摄装置对每个所述兴趣区域进行变焦拍摄,其中,变焦拍摄的分辨率高于广角分辨率;

控制所述拍摄装置以每个所述兴趣区域对应的所述目标倍率拍摄所述巡检图像。

在一些实施例中,所述处理器在实现所述调节所述拍摄装置的变焦倍率至每个所述兴趣区域对应的目标倍率之前,还实现:

调节所述拍摄装置的姿态,以使每个所述兴趣区域位于所述拍摄装置的fov画面中心位置。

在一些实施例中,所述处理器在实现所述调节所述拍摄装置的变焦倍率至每个所述兴趣区域对应的目标倍率之前,还实现:

根据每个所述兴趣区域占所述拍摄装置的fov画面的比例,确定每个所述兴趣区域对应的所述目标倍率。

在一些实施例中,所述处理器在实现所述调节所述拍摄装置的变焦倍率至每个所述兴趣区域对应的目标倍率之前,还实现:

确定每个所述兴趣区域与所述拍摄装置间的距离;

根据每个所述兴趣区域与所述拍摄装置间的距离,确定每个所述兴趣区域对应的所述目标倍率。

在一些实施例中,所述处理器在实现所述确定每个所述兴趣区域与所述拍摄装置间的距离时,具体实现:

获取所述巡检目标与所述拍摄装置间的距离,以及获取每个所述兴趣区域相对所述巡检目标的参考距离;

根据所述巡检目标与所述拍摄装置间的距离、以及每个所述兴趣区域相对所述巡检目标的所述参考距离,确定每个所述兴趣区域与所述拍摄装置间的距离。

在一些实施例中,所述处理器在实现所述获取每个所述兴趣区域相对所述巡检目标的参考距离时,具体实现:

根据所述巡检模板中所述巡检目标的模板信息,确定每个所述兴趣区域相对所述巡检目标的所述参考距离。

在一些实施例中,所述处理器在实现所述获取所述巡检目标与所述拍摄装置间的距离时,具体实现:

采用测距装置检测所述巡检目标与所述拍摄装置间的距离,所述测距装置包括激光测距装置或超声波测距装置或tof传感器。

在一些实施例中,所述处理器在实现所述获取可移动平台当前巡检操作对应的巡检模板时,具体实现:

接收遥控设备发送的区域图像,所述区域图像由用户基于所述遥控设备显示的拍摄图像选取;

基于所述区域图像,从预置的多种巡检模板中选取与所述区域图像匹配的巡检模板,确定为当前巡检操作对应的所述巡检模板。

在一些实施例中,所述处理器在实现所述获取可移动平台当前巡检操作对应的巡检模板时,具体实现:

获取所述拍摄装置拍摄的实时图像;

基于所述实时图像,从预置的多种巡检模板中选取与所述实时图像匹配的巡检模板,确定为当前巡检操作对应的所述巡检模板。

在一些实施例中,所述处理器在实现所述根据所述巡检模板,确定当前巡检操作对应的巡检目标的至少一个兴趣区域之后,还实现:

通过收发器发送所述至少一个兴趣区域对应的确认请求信息至遥控设备;

在通过收发器接收到所述遥控设备基于所述确认请求信息反馈的确认信息时,确定每个所述兴趣区域的位置信息。

在一些实施例中,所述处理器在实现所述发送所述至少一个兴趣区域对应的确认请求信息至遥控设备之前,还实现:

获取所述至少一个兴趣区域的坐标信息;

根据所述至少一个兴趣区域的所述坐标信息,生成所述确认请求信息;

所所述处理器在实现通过收发器发送所述至少一个兴趣区域对应的确认请求信息至遥控设备时,具体实现:

通过收发器将包含所述至少一个兴趣区域的所述坐标信息的所述确认请求信息发送至所述遥控设备,以供所述遥控设备根据所述至少一个兴趣区域的所述坐标信息,显示所述至少一个兴趣区域对应的确认界面,其中,所述确认信息由用户基于所述确认界面执行确认操作触发。

在一些实施例中,所述处理器在实现所述获取所述至少一个兴趣区域的坐标信息时,具体实现:

获取所述巡检目标的坐标信息、以及每个所述兴趣区域相对所述巡检目标的第一相对坐标信息;

根据所述巡检目标的坐标信息、以及每个所述兴趣区域相对所述巡检目标的所述第一相对坐标信息,确定每个所述兴趣区域的坐标信息。

在一些实施例中,所述处理器在实现所述确定每个所述兴趣区域的位置信息时,具体实现:

根据每个所述兴趣区域的坐标信息,确定每个所述兴趣区域相对所述拍摄装置的fov画面中心的第二相对坐标信息,将所述第二相对坐标信息确定为每个所述兴趣区域的所述位置信息。

在一些实施例中,所述巡检模板为通过多张样本图像进行机器学习生成,或者所述巡检模板为根据用户手动巡检的历史记录信息生成,或者所述巡检目标是系统预先进行标定的。

在一些实施例中,所述处理器在执行所述计算机程序时还实现:

根据用户执行的兴趣区域增添和/或删除操作,对所述巡检模板进行更新。

在一些实施例中,所述处理器在实现所述控制所述拍摄装置拍摄所述至少一个兴趣区域对应的巡检图像之后,还实现:

将所述至少一个兴趣区域对应的所述巡检图像保存。

在一些实施例中,所述处理器在实现所述获取可移动平台当前巡检操作对应的巡检模板之后,还实现:

根据所述巡检模板,控制所述可移动平台按照模板轨迹飞行至至少一个巡检目标所在位置;

在飞行至每个巡检目标所在位置时,根据所述巡检模板,确定当前巡检操作对应的巡检目标的至少一个兴趣区域。

本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,处理器执行所述程序指令,实现本申请实施例提供的可移动平台的巡检方法的步骤。

其中,所述计算机可读存储介质可以是前述实施例所述的可移动平台的巡检装置的内部存储单元,例如所述可移动平台的巡检装置的硬盘或内存。所述计算机可读存储介质也可以是所述可移动平台的巡检装置的外部存储设备,例如所述可移动平台的巡检装置上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1