基于无人机的风力发电机组叶片跟随方法和装置与流程

本发明涉及无人机技术领域，尤其涉及一种基于无人机的风力发电机组叶片跟随方法和装置。

背景技术：

在风力发电行业，需要对风电叶片损伤状况进行排查。

现有技术中，会先将风电机组停机，然后将叶轮锁定在倒y状态，然后规划出一条倒y航线，进而让无人机自主飞行并对风电叶片进行全面拍照检查。

然而现有技术中的无人机检查方法需要等待叶轮完全处于静止并且锁定的状态才能实施。这是因为在叶轮没有锁定的情况下，可能会因为阵风带来的冲击，产生不同程度的旋转，叶片进而可能会与正在航线上排查问题的无人机发生碰撞，引发安全问题。这种锁定叶轮的叶片检查方法如果在已经明确的知道某支叶片存在疑似损伤的情况下实施，会由于需要等待叶轮完全静止，并完成锁定程序，而变得耗时费力且效率低下。

技术实现要素：

本发明提供一种基于无人机的风力发电机组叶片跟随方法和装置，用以解决现有技术中锁定叶轮的叶片检查方法如果在已经明确的知道某支叶片存在疑似损伤的情况下实施，会由于需要等待叶轮完全静止，并完成锁定程序，而变得耗时费力且效率低下的问题。

本发明的一方面是提供一种基于无人机的风力发电机组叶片跟随方法，包括：

接收无人机实时返回的摄像画面，并根据所述摄像画面确定目标物；

根据所述目标物，确定目标物形心点分别在无人机主摄像头中的第一成像点以及在辅摄像头中的第二成像点；

获取第一成像点在所述主摄像头坐标系的坐标值、和第二成像点在所述辅摄像头坐标系的坐标值，并确定目标物当前在主摄像头坐标系中的坐标值；

判断是否超出预设位置范围，并当目标物超出预设位置范围时，调整无人机的位置，以实现所述叶片跟随。

本发明的另一方面是提供一种基于无人机的风力发电机组叶片跟随装置，包括：

采集单元，用于接收无人机实时返回的摄像画面，并根据所述摄像画面确定目标物；

成像点确定单元，用于根据所述目标物，确定目标物形心点分别在无人机主摄像头中的第一成像点以及在辅摄像头中的第二成像点；

第一坐标值确定单元，用于获取第一成像点在所述主摄像头坐标系的坐标值、和第二成像点在所述辅摄像头坐标系的坐标值；

第二坐标值确定单元，用于确定目标物当前在主摄像头坐标系中的坐标值；

跟随单元，用于判断是否超出预设位置范围，并当目标物超出预设位置范围时，调整无人机的位置，以实现所述叶片跟随。

本实施例通过接收无人机实时返回的摄像画面，并根据摄像画面确定目标物；根据目标物，确定目标物形心点分别在无人机主摄像头中的第一成像点以及在辅摄像头中的第二成像点；获取第一成像点在主摄像头坐标系的坐标值、和第二成像点在辅摄像头坐标系的坐标值，并确定目标物当前在主摄像头坐标系中的坐标值；判断是否超出预设位置范围，并当目标物超出预设位置范围时，调整无人机的位置，以实现叶片跟随。从而可以在不锁定叶轮的情况下，对无人机实施定点观察，并能跟随叶片的运动进行跟随。在无人机的定点观察的过程中，无人机锁定目标之后跟随目标缓慢的运动且自动跟随飞行，使得目标始终在可观察的范围内，进而可以在无人机目标自动跟飞过程中进行无人机风电叶片巡检，提高了无人机的叶片排查方式效率；并且减少了无人机风电叶片巡检作业过程中的叶轮锁定工序，节省作业时间，提高了作业效率。

附图说明

图1为本发明实施例一提供的基于无人机的风力发电机组叶片跟随方法的流程图；

图2为本发明实施例二提供的基于无人机的风力发电机组叶片跟随方法的流程图；

图3为本发明实施例二提供的基于无人机的风力发电机组叶片跟随方法中成像示意图；

图4为本发明实施例二提供的基于无人机的风力发电机组叶片跟随方法中目标物投影到主摄像头坐标系的xz方向的示意图；

图5为本发明实施例二提供的基于无人机的风力发电机组叶片跟随方法中目标物投影到主摄像头坐标系的yz方向的示意图；

图6为本发明实施例二提供的基于无人机的风力发电机组叶片跟随方法中目标物投影到辅摄像头坐标系的xz方向的示意图；

图7为本发明实施例三提供的基于无人机的风力发电机组叶片跟随装置的结构示意图；

图8为本发明实施例四提供的基于无人机的风力发电机组叶片跟随装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一提供的基于无人机的风力发电机组叶片跟随方法的流程图，如图1所示，本实施例的方法，包括：

步骤101、接收无人机实时返回的摄像画面，并根据摄像画面确定目标物。

在本实施例中，具体的，无人机上具有双目摄像头，分别为主摄像头和辅摄像头。控制无人机飞行至最佳观察位置之后，利用无人机上搭载的双目摄像头对目标进行实时摄像，无人机将画面实时回传至地面端。从而可以接收到无人机返回的摄像画面。

然后利用鼠标在地面端视频界面上框选出目标物，进而拾取目标物的目标信息并保存。

步骤102、根据目标物，确定目标物形心点分别在无人机主摄像头中的第一成像点以及在辅摄像头中的第二成像点。

在本实施例中，具体的，在目标物的目标区域上，自动计算出目标物形心点所在的像素点，具体来说，可以计算出目标物形心点在无人机的主摄像头中的第一成像点pl点、以及目标物形心点在无人机的辅摄像头中的第二成像点pr点。

步骤103、获取第一成像点在主摄像头坐标系的坐标值、和第二成像点在辅摄像头坐标系的坐标值，并确定目标物当前在主摄像头坐标系中的坐标值。

在本实施例中，具体的，可以根据目标物形心点的与主摄像头对应的第一成像点pl点，去确定出第一成像点pl点在主摄像头坐标系的坐标值；根据目标物形心点的与辅摄像头对应的第二成像点pr点，去确定出第二成像点pr点在辅摄像头坐标系的坐标值。并且，需要根据第一成像点pl点确定出目标物当前在主摄像头坐标系中的坐标值。

步骤104、判断是否超出预设位置范围，并当目标物超出预设位置范围时，调整无人机的位置，以实现叶片跟随。

在本实施例中，具体的，根据步骤103得到的几个坐标值，去判断目标物是否超出预设位置范围。若确定目标物超出该预设位置范围，则需要去调整无人机的位置，使得无人机位于正常的控制范围之内，以实现叶片跟随，进而可以在在无人机目标跟随过程中进行无人机的风电叶片的巡检。

本实施例通过接收无人机实时返回的摄像画面，并根据摄像画面确定目标物；根据目标物，确定目标物形心点分别在无人机主摄像头中的第一成像点以及在辅摄像头中的第二成像点；获取第一成像点在主摄像头坐标系的坐标值、和第二成像点在辅摄像头坐标系的坐标值，并确定目标物当前在主摄像头坐标系中的坐标值；判断是否超出预设位置范围，并当目标物超出预设位置范围时，调整无人机的位置，以实现叶片跟随。从而可以在不锁定叶轮的情况下，对无人机实施定点观察，并能跟随叶片的运动进行跟随。在无人机的定点观察的过程中，无人机锁定目标之后跟随目标缓慢的运动且自动跟随飞行，使得目标始终在可观察的范围内，进而可以在无人机目标自动跟飞过程中进行无人机风电叶片巡检，提高了无人机的叶片排查方式效率；并且减少了无人机风电叶片巡检作业过程中的叶轮锁定工序，节省作业时间，提高了作业效率。

图2为本发明实施例二提供的基于无人机的风力发电机组叶片跟随方法的流程图，在实施例一的基础上，如图2所示，本实施例的方法，步骤102，具体包括：

确定第一成像点在主摄像头坐标系下的x轴坐标值、y轴坐标值，以及第二成像点在辅摄像头坐标系下的x轴坐标值。

相应的，步骤103中的确定目标物当前在主摄像头坐标系中的坐标值，包括：

根据目标物形心点在主摄像头上的第一成像点，确定第一成像点与主摄像头的中心点之间在x向上的第一像素点个数、和在y向上的第二像素点个数，并根据目标物形心点在辅摄像头上的第二成像点，确定第二成像点与辅摄像头的中心点之间在x向上的第三像素点个数；

根据第一像素点个数和预设的像元尺寸确定第一成像点在主摄像头坐标系下的x轴坐标值，根据第二像素点个数和预设的像元尺寸确定第一成像点在主摄像头坐标系下的y轴坐标值，并根据第三像素点个数和预设的像元尺寸确定第二成像点在辅摄像头坐标系下的x轴坐标值。

在本实施例中，具体的，根据目标物，去计算出第一成像点在主摄像头坐标系下的x轴坐标值、y轴坐标值，以及第二成像点在辅摄像头坐标系下的x轴坐标值。

具体来说，首先确定出目标物形心点在主摄像头上的第一成像点pl点、以及在辅摄像头上的第二成像点pr点。然后，图3为本发明实施例二提供的基于无人机的风力发电机组叶片跟随方法中成像示意图，如图3所示，目标物p即目标物形心点在主摄像头上的第一成像点pl点，根据第一成像点pl点确定第一成像点与主摄像头的中心点之间在x向上的第一像素点个数、以及第一成像点与主摄像头的中心点之间在y向上的第二像素点个数；图4为本发明实施例二提供的基于无人机的风力发电机组叶片跟随方法中目标物投影到主摄像头坐标系的xz方向的示意图，如图4所示，就可以根据第一像素点个数和预设的像元尺寸进行乘积计算之后确定出第一成像点在主摄像头坐标系下的x轴坐标值xpl；并且，图5为本发明实施例二提供的基于无人机的风力发电机组叶片跟随方法中目标物投影到主摄像头坐标系的yz方向的示意图，如图5所示，根据第二像素点个数和预设的像元尺寸进行乘积计算之后确定出第一成像点在主摄像头坐标系下的y轴坐标值ypl。同时，如图3所示，目标物p在目标物形心点在辅摄像头上的第二成像点pr点，根据第二成像点pr点确定第二成像点与辅摄像头的中心点之间在x向上的第三像素点个数；图6为本发明实施例二提供的基于无人机的风力发电机组叶片跟随方法中目标物投影到辅摄像头坐标系的xz方向的示意图，如图6所示，可以根据第三像素点个数和预设的像元尺寸进行乘积计算之后，确定第二成像点在辅摄像头坐标系下的x轴坐标值xpr。其中，如图3所示，主摄像头的中心点为主摄像头凸透镜片中心(0，0)处，辅摄像头的中心点为辅摄像头凸透镜片中心(0，0)处。l表示主摄像头坐标系，r表示辅摄像头坐标系。

在步骤103之后，还包括：

步骤201、根据第一成像点在主摄像头坐标系下的x轴坐标值、以及第二成像点在辅摄像头坐标系下的x轴坐标值，确定物距。

其中，物距为zp＝tf/(xpl-xpr)；xpl为第一成像点在主摄像头坐标系下的x轴坐标值，xpr为第二成像点在辅摄像头坐标系下的x轴坐标值，t为主摄像头的中心点与辅摄像头的中心点之间距离，f为摄像头焦距。

在本实施例中，具体的，可以根据第一成像点pl点在主摄像头坐标系下的x轴坐标值xpl、第二成像点pr点在辅摄像头坐标系下的x轴坐标值xpr、主摄像头的中心点与辅摄像头的中心点之间距离t、以及摄像头焦距f，计算出物距zp＝tf/(xpl-xpr)。其中，主摄像头和辅摄像头之间进行平行安装，进而两摄像头的中心轴平行安装时两中心轴之间的距离就是主摄像头的中心点与辅摄像头的中心点之间距离t。

并且，物距zp为目标物p距离主摄像头凸透镜片中心点的距离，它的值与目标物p在主摄像头坐标系l下的z轴坐标值相等。而摄像头焦距f为摄像头的焦距，主摄像头和辅摄像头的摄像头焦距f相同，为常量，纲量为mm。

步骤202、判断根据物距，是否在预设的安全距离范围中：若物距小于预设的安全距离范围中的安全距离最小值，则控制无人机向后飞行，以调整无人机至安全距离范围；若物距大于预设的安全距离范围中的安全距离最大值，则控制无人机向前飞行，以调整无人机至安全距离范围。

在本实施例中，具体的，首先需要判断物距zp，是否在预设的安全距离范围中，进而调整无人机至安全距离范围中。判断物距zp是否超出安全距离范围，如果超出安全距离范围，则控制无人机飞行直至无人机在安全距离范围内为止，具体来说，若物距zp小于预设的安全距离范围中的安全距离最小值，则控制无人机向后飞行，进而调整无人机至安全距离范围；若物距zp大于预设的安全距离范围中的安全距离最大值，则控制无人机向前飞行，，进而调整无人机至安全距离范围。如果物距zp在安全距离范围内，则继续执行步骤104。

步骤104包括两种实现方式：

步骤104第一种实现方式为：

判断是否超出预设位置范围，包括：根据物距、以及第一成像点在主摄像头坐标系下的x轴坐标值，确定目标物形心点在主摄像头坐标之下的x轴值；判断目标物形心点在主摄像头坐标之下的x轴值是否等于0；

相应的，当目标物超出预设位置范围时，调整无人机的位置，包括：

若目标物形心点在主摄像头坐标之下的x轴值大于0，则控制无人机向右飞行|xp|的距离，若目标物形心点在主摄像头坐标之下的x轴值小于等于0，则控制无人机向左飞行|xp|的距离，其中，|xp|为目标物形心点在主摄像头坐标之下的x轴值的绝对值。

在本实施例中，具体的，根据物距zp、第一成像点pl点在主摄像头坐标系下的x轴坐标值xpl、以及摄像头焦距f，计算出目标物形心点pl点在主摄像头坐标之下的x轴值xp＝zpxpl/f。

需要判断目标物形心点在主摄像头坐标之下的x轴值为xp，是否超出控制范围。若如果超出控制范围，则无人机飞行机构动作，去修正无人机当前位置。

具体来说，若目标物形心点在主摄像头坐标之下的x轴值为xp>0，则控制无人机向右飞行|xp|的距离，若目标物形心点在主摄像头坐标之下的x轴值为xp<＝0，则控制无人机向左飞行|xp|的距离，其中，|xp|为目标区域的形心点在主摄像头坐标之下的x轴值的绝对值。

进而可以在在无人机目标跟随过程中进行无人机的风电叶片的巡检。

步骤104第二种实现方式为：

判断是否超出预设位置范围，包括：根据物距、以及第一成像点在主摄像头坐标系下的y轴坐标值，确定目标物形心点在主摄像头坐标系下的y轴值；判断目标物形心点在主摄像头坐标系下的y轴值是否等于0；

相应的，当目标物超出预设位置范围时，调整无人机的位置，包括：

若目标物形心点在主摄像头坐标系下的y轴值大于0，则控制无人机向下飞行|yp|的距离，若目标物形心点在主摄像头坐标系下的y轴值小于等于0，则控制无人机向上飞行|yp|的距离，其中，|yp|为目标物形心点在主摄像头坐标系下的y轴值的绝对值。

在本实施例中，具体的，根据物距zp、以及第一成像点pl点在主摄像头坐标系下的y轴坐标值ypl、以及摄像头焦距f，确定目标物形心点在主摄像头坐标系下的y轴值yp＝zpypl/f。

需要判断目标物形心点在主摄像头坐标系下的y轴值为yp，是否超出控制范围。若如果超出控制范围，则无人机飞行机构动作，去修正无人机当前位置。

具体来说，若目标物形心点在主摄像头坐标系下的y轴值为yp>0，则控制无人机向下飞行|yp|的距离，若目标物形心点在主摄像头坐标系下的y轴值为yp<＝0，则控制无人机向上飞行|yp|的距离，其中，|yp|为目标区域的形心点在主摄像头坐标系下的y轴值的绝对值。

进而可以在在无人机目标跟随过程中进行无人机的风电叶片的巡检。

然后，就可以重复执行本实施例提供的方法，实时并持续的在无人机目标跟随过程中进行风电叶片巡检。

本实施例通过接收无人机实时返回的摄像画面，并根据摄像画面确定目标物；根据目标物，确定目标物形心点分别在无人机主摄像头中的第一成像点以及在辅摄像头中的第二成像点；获取第一成像点在主摄像头坐标系的坐标值、和第二成像点在辅摄像头坐标系的坐标值，并确定目标物当前在主摄像头坐标系中的坐标值；根据第一成像点在主摄像头坐标系下的x轴坐标值、以及第二成像点在辅摄像头坐标系下的x轴坐标值，确定物距，判断根据物距，是否在预设的安全距离范围中，以调整无人机至安全距离范围；判断是否超出预设位置范围，并当目标物超出预设位置范围时，调整无人机的位置，以实现叶片跟随。从而可以在不锁定叶轮的情况下，对无人机实施定点观察，并能跟随叶片的运动进行跟随。在无人机的定点观察的过程中，无人机锁定目标之后跟随目标缓慢的运动且自动跟随飞行，使得目标始终在可观察的范围内，进而可以在无人机目标自动跟飞过程中进行无人机风电叶片巡检，提高了无人机的叶片排查方式效率；并且减少了无人机风电叶片巡检作业过程中的叶轮锁定工序，节省作业时间，提高了作业效率。

图7为本发明实施例三提供的基于无人机的风力发电机组叶片跟随装置的结构示意图，如图7所示，本实施例的装置，包括：

采集单元71，用于接收无人机实时返回的摄像画面，并根据摄像画面确定目标物；

成像点确定单元72，用于根据目标物，确定目标物形心点分别在无人机主摄像头中的第一成像点以及在辅摄像头中的第二成像点；

第一坐标值确定单元73，用于获取第一成像点在主摄像头坐标系的坐标值、和第二成像点在辅摄像头坐标系的坐标值；

第二坐标值确定单元74，用于确定目标物当前在主摄像头坐标系中的坐标值；

跟随单元75，用于判断是否超出预设位置范围，并当目标物超出预设位置范围时，调整无人机的位置，以实现叶片跟随。

本实施例的基于无人机的风力发电机组叶片跟随装置可执行本发明实施例一提供的基于无人机的风力发电机组叶片跟随方法，其实现原理相类似，此处不再赘述。

本实施例通过接收无人机实时返回的摄像画面，并根据摄像画面确定目标物；根据目标物，确定目标物形心点分别在无人机主摄像头中的第一成像点以及在辅摄像头中的第二成像点；获取第一成像点在主摄像头坐标系的坐标值、和第二成像点在辅摄像头坐标系的坐标值，并确定目标物当前在主摄像头坐标系中的坐标值；判断是否超出预设位置范围，并当目标物超出预设位置范围时，调整无人机的位置，以实现叶片跟随。从而可以在不锁定叶轮的情况下，对无人机实施定点观察，并能跟随叶片的运动进行跟随。在无人机的定点观察的过程中，无人机锁定目标之后跟随目标缓慢的运动且自动跟随飞行，使得目标始终在可观察的范围内，进而可以在无人机目标自动跟飞过程中进行无人机风电叶片巡检，提高了无人机的叶片排查方式效率；并且减少了无人机风电叶片巡检作业过程中的叶轮锁定工序，节省作业时间，提高了作业效率。

图8为本发明实施例四提供的基于无人机的风力发电机组叶片跟随装置的结构示意图，在实施例三的基础上，如图8所示，本实施例的装置，第一坐标值确定单元73，具体用于：

确定第一成像点在主摄像头坐标系下的x轴坐标值、y轴坐标值，以及第二成像点在辅摄像头坐标系下的x轴坐标值。

第二坐标值确定单元74，具体用于：

根据目标物形心点在主摄像头上的第一成像点，确定第一成像点与主摄像头的中心点之间在x向上的第一像素点个数、和在y向上的第二像素点个数，并根据目标物形心点在辅摄像头上的第二成像点，确定第二成像点与辅摄像头的中心点之间在x向上的第三像素点个数；

根据第一像素点个数和预设的像元尺寸确定第一成像点在主摄像头坐标系下的x轴坐标值，根据第二像素点个数和预设的像元尺寸确定第一成像点在主摄像头坐标系下的y轴坐标值，并根据第三像素点个数和预设的像元尺寸确定第二成像点在辅摄像头坐标系下的x轴坐标值。

还包括：

调整单元81，用于在第二坐标值确定单元74确定第二成像点在辅摄像头坐标系下的x轴坐标值之后，根据第一成像点在主摄像头坐标系下的x轴坐标值、以及第二成像点在辅摄像头坐标系下的x轴坐标值，确定物距；判断根据物距，是否在预设的安全距离范围中：若物距小于预设的安全距离范围中的安全距离最小值，则控制无人机向后飞行，以调整无人机至安全距离范围；若物距大于预设的安全距离范围中的安全距离最大值，则控制无人机向前飞行，以调整无人机至安全距离范围。

跟随单元75，具体用于：

根据物距、以及第一成像点在主摄像头坐标系下的x轴坐标值，确定目标物形心点在主摄像头坐标之下的x轴值；

判断目标物形心点在主摄像头坐标之下的x轴值是否等于0；

若目标物形心点在主摄像头坐标之下的x轴值大于0，则控制无人机向右飞行|xp|的距离，若目标物形心点在主摄像头坐标之下的x轴值小于等于0，则控制无人机向左飞行|xp|的距离，其中，|xp|为目标物形心点在主摄像头坐标之下的x轴值的绝对值。

或者，跟随单元75，具体用于：

根据物距、以及第一成像点在主摄像头坐标系下的y轴坐标值，确定目标物形心点在主摄像头坐标系下的y轴值；

判断目标物形心点在主摄像头坐标系下的y轴值是否等于0；

若目标物形心点在主摄像头坐标系下的y轴值大于0，则控制无人机向下飞行|yp|的距离，若目标物形心点在主摄像头坐标系下的y轴值小于等于0，则控制无人机向上飞行|yp|的距离，其中，|yp|为目标物形心点在主摄像头坐标系下的y轴值的绝对值。

本实施例的基于无人机的风力发电机组叶片跟随装置可执行本发明实施例二提供的基于无人机的风力发电机组叶片跟随方法，其实现原理相类似，此处不再赘述。

本实施例通过接收无人机实时返回的摄像画面，并根据摄像画面确定目标物；根据目标物，确定目标物形心点分别在无人机主摄像头中的第一成像点以及在辅摄像头中的第二成像点；获取第一成像点在主摄像头坐标系的坐标值、和第二成像点在辅摄像头坐标系的坐标值，并确定目标物当前在主摄像头坐标系中的坐标值；根据第一成像点在主摄像头坐标系下的x轴坐标值、以及第二成像点在辅摄像头坐标系下的x轴坐标值，确定物距，判断根据物距，是否在预设的安全距离范围中，以调整无人机至安全距离范围；判断是否超出预设位置范围，并当目标物超出预设位置范围时，调整无人机的位置，以实现叶片跟随。从而可以在不锁定叶轮的情况下，对无人机实施定点观察，并能跟随叶片的运动进行跟随。在无人机的定点观察的过程中，无人机锁定目标之后跟随目标缓慢的运动且自动跟随飞行，使得目标始终在可观察的范围内，进而可以在无人机目标自动跟飞过程中进行无人机风电叶片巡检，提高了无人机的叶片排查方式效率；并且减少了无人机风电叶片巡检作业过程中的叶轮锁定工序，节省作业时间，提高了作业效率。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。