一种基于虚拟现实的巡检方法及装置

本发明涉及风电巡检领域，具体涉及一种基于虚拟现实的巡检方法及装置。

背景技术：

1、此前在风电巡检领域中，风电巡检方法通常在机器人上安装一台摄像机，以捕捉远程场景的图像，通过获取的二维图像对三维环境中的风电现场进行巡检，以应对基本的风电巡检任务。

2、但随着现目前风电巡检任务对应的场景越来越复杂，上述方法受机器人第一人称视图的约束，存在视图受限、灵活度不足的问题，进而无法适应现目前风电巡检任务需求，并且该方法缺乏必要的巡检图像细节，以及没有对不同空间之间的转换关系进行充分的考虑，导致风电巡检的准确性不高。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种基于虚拟现实的巡检方法及装置，通过构建不同坐标系之间的转换关系和不同空间之间的映射关系，并结合虚拟现实和slam建图以进行风电巡检，能提升风电巡检的操作简便性和准确性。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、一种基于虚拟现实的巡检方法，包括以下步骤：

4、s1、构建像素坐标系与世界坐标系的转换关系，获取风电巡检现场视频信息，并根据像素坐标系与世界坐标系的转换关系和风电巡检现场视频信息，实时构建虚拟风电巡检现场图像；

5、s2、确定风电巡检任务，并根据风电巡检任务和步骤s1中的虚拟风电巡检现场图像，生成风电巡检机器人移动数据和操作者位姿数据；

6、s3、构建操作者运动空间与风电巡检机器人运动空间的映射关系，并根据操作者运动空间与风电巡检机器人运动空间的映射关系、步骤s2中的风电巡检机器人移动数据和操作者位姿数据，生成风电巡检机器人的控制指令以控制风电巡检机器人执行风电巡检任务。

7、进一步地，在步骤s1中，构建像素坐标系与世界坐标系的转换关系包括以下步骤：

8、a1、构建像素坐标系和图像坐标系之间的转换关系，表示为：

9、

10、其中：u为像素坐标系的横轴坐标，v为像素坐标系的纵轴坐标，x为图像坐标系的横轴坐标，y为图像坐标系的纵轴坐标，u0为相机的第一内参数，v0为相机的第二内参数；

11、a2、构建相机坐标系与图像坐标系之间的转换关系，表示为：

12、

13、其中：zc为相机坐标系的竖轴坐标，f为相机坐标系与图像坐标系之间的向量变换参数，xc为相机坐标系的横轴坐标，yc为相机坐标系的纵轴坐标；

14、a3、构建世界坐标系与图像坐标系之间的转换关系，表示为：

15、

16、其中：r为相机的第一外参数，t为相机的第二外参数，xw为世界坐标系的横轴坐标，yw为世界坐标系的纵轴坐标，zw为世界坐标系的竖轴坐标；

17、a4、根据步骤a1中像素坐标系和图像坐标系之间的转换关系、a2中相机坐标系与图像坐标系之间的转换关系和a3中世界坐标系与图像坐标系之间的转换关系，构建像素坐标系与世界坐标系的转换关系，表示为：

18、

19、其中：ax为相机的第三内参数，ay为相机的第四内参数。

20、进一步地，在步骤s2中，生成风电巡检机器人移动数据和操作者位姿数据具体为：确定风电巡检机器人移动数值并通过外设输入生成风电巡检机器人移动数据；调整操作者头部位姿和手臂位姿，以生成头部姿态坐标的旋转角度数据、手臂位置坐标的移动数据和手臂姿态坐标的旋转角度数据。

21、进一步地，步骤s3包括以下分步骤：

22、s31、构建操作者运动空间与风电巡检机器人运动空间的映射关系；

23、s32、根据分步骤s31中操作者运动空间与风电巡检机器人运动空间的映射关系、步骤s2中的风电巡检机器人移动数据和操作者位姿数据，生成风电巡检机器人的控制指令；

24、s33、将分步骤s32中风电巡检机器人的控制指令分解为第一串口指令和第二串口指令，并根据第一串口指令控制风电巡检机器人的头部舵机以执行风电巡检任务的头部位姿调整任务；

25、s34、将分步骤s33中的第二串口指令分解为脉冲宽度调制波和第三串口指令，根据脉冲宽度调制波控制风电巡检机器人的麦克纳姆轮以执行风电巡检任务的底盘移动任务，根据第三串口指令控制风电巡检机器人的手臂舵机以执行风电巡检任务的手臂位姿调整任务。

26、进一步地，步骤s31包括以下分步骤：

27、s311、构建操作者运动空间与风电巡检机器人运动空间的映射比例矩阵，表示为：

28、

29、其中：k为操作者运动空间与风电巡检机器人运动空间的映射比例矩阵，kxx′为映射比例矩阵k在位置坐标的横轴分量，kyy′为映射比例矩阵k在位置坐标的纵轴分量，kzz′为映射比例矩阵k在位置坐标的竖轴分量，kφφ′为映射比例矩阵k在姿态坐标的横轴分量，kθθ′为映射比例矩阵k在姿态坐标的纵轴分量，为映射比例矩阵k在姿态坐标的竖轴分量；

30、s312、根据分步骤s311中操作者运动空间与风电巡检机器人运动空间的映射比例矩阵，构建操作者运动空间与风电巡检机器人运动空间的映射关系，表示为：

31、pw,t＝pw,t-1+kδpc,t

32、其中：pw,t为操作者运动空间中的点pw在t时刻的位置，pw,t-1为操作者运动空间中的点pw在t-1时刻的位置，δpc,t为风电巡检机器人运动空间中的点pc在t-1时刻到t时刻的位姿变化量。

33、进一步地，步骤s32包括以下分步骤：

34、s321、根据步骤s31中操作者运动空间与风电巡检机器人运动空间的映射关系和步骤s2中的操作者位姿数据，确定风电巡检机器人的位姿调整数据；

35、s322、根据步骤s2中的风电巡检机器人移动数据和分步骤s321中风电巡检机器人的位姿调整数据，确定风电巡检机器人的底盘麦克纳姆轮移动数值、头部舵机旋转角度数值、手臂舵机旋转角度数值和手臂舵机移动数值；

36、s323、根据分步骤s322中风电巡检机器人的底盘麦克纳姆轮移动数值、头部舵机旋转角度数值、手臂舵机旋转角度数值和手臂舵机移动数值，生成风电巡检机器人的控制指令。

37、进一步地，在分步骤s323中，风电巡检机器人的控制指令采用设定的数据格式，所述设定的数据格式包括帧头、数据长度、指令和参数；所述设定的数据格式用于风电巡检机器人对控制指令进行验证。

38、一种应用上述方法的基于虚拟现实的巡检装置，包括虚拟现实控制单元、无线通信单元和风电巡检机器人；

39、所述虚拟现实控制单元用于构建像素坐标系与世界坐标系的转换关系，接收无线通信单元传输的风电巡检现场视频信息，并根据像素坐标系与世界坐标系的转换关系和风电巡检现场视频信息实时构建虚拟风电巡检现场图像，获取操作者位姿以生成操作者位姿数据，构建操作者运动空间与风电巡检机器人运动空间的映射关系，根据操作者位姿数据和操作者运动空间与风电巡检机器人运动空间的映射关系生成风电巡检机器人的控制指令，并将风电巡检机器人的控制指令传输至无线通信单元；

40、所述无线通信单元用于接收风电巡检机器人传输的风电巡检现场视频信息，并将风电巡检现场视频信息传输至虚拟现实控制单元，接收虚拟现实控制单元传输的风电巡检机器人的控制指令，并将风电巡检机器人的控制指令传输至风电巡检机器人；

41、所述风电巡检机器人用于获取风电巡检现场视频信息，并将风电巡检现场视频信息传输至无线通信单元，接收无线通信单元传输的风电巡检机器人的控制指令，并根据风电巡检机器人的控制指令执行风电巡检任务。

42、本发明的有益效果为：

43、(1)本发明通过构建像素坐标系与世界坐标系的转换关系，将虚拟现实和slam建图结合，进而能根据风电巡检现场视频信息实时构建更加准确的虚拟风电巡检现场；

44、(2)本发明通过调整操作者位姿以生成操作者位姿数据，采用这种更符合人体生理特征的控制方式对风电巡检机器人进行控制以执行风电巡检任务，能提升风电巡检的操作简便性；

45、(3)本发明通过构建操作者运动空间与风电巡检机器人运动空间的映射关系，并结合操作者位姿数据进而生成风电巡检机器人的控制指令，能有效提升风电巡检机器人执行风电巡检任务的准确性；

46、(4)本发明通过将风电巡检机器人的控制指令分解为第一串口指令和第二串口指令，并将第二串口指令分解为第三串口指令和脉冲宽度调制波，能够实现对风电巡检机器人的头部、手臂和底盘麦克纳姆轮的分级控制；

47、(5)本发明通过在虚拟现实单元中构建像素坐标系与世界坐标系的转换关系，能够实时构建更加准确的虚拟风电巡检现场，并通过在虚拟现实单元中构建操作者运动空间与风电巡检机器人运动空间的映射关系，能够有效提升风电巡检过程中操作者对风电巡检机器人传达的控制指令的准确性

48、(6)本发明通过在风电巡检机器人中的主控制单元将风电巡检机器人的控制指令分解为第一串口指令和第二串口指令，并在风电巡检机器人中的驱动制单元中将第二串口指令分解为第三串口指令和脉冲宽度调制波，能够实现对风电巡检机器人的头部、手臂和底盘麦克纳姆轮的分级控制。