运动设备控制方法、系统、装置、设备和存储介质与流程

本发明涉及元宇宙，尤其涉及运动设备控制方法、系统、装置、设备和存储介质。

背景技术：

1、随着技术发展，远程机器人越来越广泛地应用在工业场景、医疗场景和商业场景中。远程机器人能够代替操作人员进行相关操作，尤其是一些有毒有害的危险场景，或者难以触达的高空作业和水下作业等场景中，远程操作很有必要。但是在这些场景中很难对机器人的操作进行现场调试。

2、相关技术中，一种是利用获取的现场点云进行三维重建，根据三维重建的虚拟场景对远程机器人进行调试，另一种是通过肌电信息和远程机器人互联，通过不同姿态产生的生物电信号实现对远程机器人的控制。但是前一种方式并不能实现虚拟和现实的融合，不能对远程机器人进行精细控制，后一种方案对远程机器人的作业场景有限制，只能限于人体姿态能实现的控制过程。因此如何提升远程机器人的场景适应性和控制精度，成为了亟待解决的技术问题。

技术实现思路

1、本技术实施例的主要目的在于提出运动设备控制方法、系统、装置、设备和存储介质，提高远程机器人的控制精度，并扩展远程机器人的使用场景。

2、为实现上述目的，本技术实施例的第一方面提出了一种运动设备控制方法，应用于运动设备控制系统，所述运动设备控制系统包括虚拟设备和被控设备，所述虚拟设备在虚拟空间运行，所述被控设备在执行空间运行，所述虚拟设备与所述被控设备关联；所述虚拟空间与所述执行空间关联；所述方法包括：

3、获取运动指令；

4、根据所述运动指令进行运动模拟，得到运动模拟结果，所述运动模拟结果包括：停止运动和执行运动；

5、当所述运动模拟结果为执行运动，根据所述运动模拟结果进行设备控制操作，所述设备控制操作包括：控制所述被控设备在所述执行空间中进行被控设备操作，以及控制所述虚拟设备在所述虚拟空间中进行虚拟设备操作；

6、否则，所述虚拟设备和所述被控设备停止运动。

7、在一实施例，所述根据所述运动指令进行运动模拟，得到运动模拟结果，包括：

8、获取所述被控设备或所述虚拟设备的前一时刻运动状态和所述虚拟空间的空间位置属性信息；

9、根据所述运动指令和所述前一时刻运动状态计算得到当前时刻运动状态；

10、根据所述当前时刻运动状态、所述空间位置属性信息和预设约束条件判断是否出现运动冲突；

11、若存在运动冲突，则所述运动模拟结果为停止运动；

12、若不存在运动冲突，则所述运动模拟结果为执行运动。

13、在一实施例，所述根据所述运动模拟结果进行设备控制操作，包括：

14、将所述运动指令发送至所述执行空间和所述虚拟空间；

15、根据所述运动指令生成运动数据，在所述执行空间基于所述运动数据控制所述被控设备进行被控设备操作；

16、在所述虚拟空间基于所述运动数据控制所述虚拟设备进行虚拟设备操作。

17、在一实施例，所述根据所述运动指令生成运动数据，在所述执行空间基于所述运动数据控制所述被控设备进行被控设备操作之后，所述方法还包括：

18、获取所述被控设备的被控运动数据；

19、对所述被控运动数据进行滤波操作，得到运动检测结果；

20、根据所述运动检测结果生成所述运动指令。

21、在一实施例，所述运动指令包括：位移指令和/或姿态变化指令；所述获取所述被控设备的被控运动数据，包括：

22、根据所述运动指令控制所述被控设备执行被控设备操作，得到所述被控设备的所述被控运动数据，所述被控设备操作包括：位移操作和/或姿态变化操作。

23、在一实施例，所述对所述被控运动数据进行滤波操作，得到运动检测结果，包括：

24、获取所述被控设备的运动数据序列，所述运动数据序列包括：当前时刻被控运动数据和前一时刻被控运动数据；

25、对所述运动数据序列进行增量变化计算，得到增量变化结果；

26、根据所述增量变化结果得到所述运动检测结果。

27、在一实施例，所述被控运动数据包括：位移运动数据和姿态变化数据；所述对所述运动数据序列进行增量变化计算，得到增量变化结果，包括：

28、计算当前时刻被控运动数据和前一时刻被控运动数据的运动增量数据，所述运动增量数据包括：位移增量数据和姿态增量数据；

29、当所述位移增量数据位于预设位移阈值范围内，且所述姿态增量数据位于预设姿态阈值范围内，则所述增量变化结果为第一增量结果，否则所述增量变化结果为第二增量结果。

30、在一实施例，所述根据所述增量变化结果得到所述运动检测结果，包括：

31、当所述增量变化结果为所述第一增量结果时，对所述运动增量数据进行卡尔曼滤波操作，得到所述运动检测结果；

32、当所述增量变化结果为所述第二增量结果时，累计得到预设次数的运动增量数据构成增量序列；

33、对所述增量序列求平均值，得到平均增量结果；

34、根据所述平均增量结果得到所述运动检测结果。

35、在一实施例，所述运动设备控制系统还包括控制手柄；所述获取运动指令之前，还包括：

36、与所述控制手柄建立连接；

37、根据所述被控设备的当前位置对所述控制手柄的手柄坐标系和所述被控设备的末端坐标系进行初始化；

38、对经过初始化的所述手柄坐标系和所述末端坐标系进行坐标映射，得到所述手柄坐标系和所述末端坐标系的坐标映射关系。

39、在一实施例，所述获取运动指令，包括：

40、获取手柄运动指令；

41、根据所述坐标映射关系将所述手柄运动指令转化为所述运动指令。

42、在一实施例，所述根据所述运动指令进行运动模拟，得到运动模拟结果之前，所述方法还包括：

43、获取所述被控设备的设备数据和环境数据，所述环境数据包括：第一图像数据和第二深度数据；

44、根据所述第一图像数据和所述第二深度数据生成所述虚拟空间；

45、根据所述设备数据在所述虚拟空间生成与所述被控设备对应的所述虚拟设备。

46、为实现上述目的，本技术实施例的第二方面提出了一种运动设备控制系统，包括：

47、被控设备，位于执行空间中；

48、虚拟设备，位于虚拟空间中，所述虚拟设备与所述被控设备关联；所述虚拟空间与所述执行空间关联；

49、运动控制器，用于接收运动指令，并根据所述运动指令进行运动模拟，得到运动模拟结果，所述运动模拟结果包括：停止运动和执行运动；

50、当所述运动模拟结果为执行运动，所述运动控制器还用于根据所述运动模拟结果进行设备控制操作，所述设备控制操作包括：控制所述被控设备在所述执行空间中进行被控设备操作，以及控制所述虚拟设备在所述虚拟空间中进行虚拟设备操作。

51、在一实施例，所述运动控制器根据所述运动指令进行运动模拟，得到运动模拟结果时执行：

52、获取所述被控设备或所述虚拟设备的前一时刻运动状态和所述虚拟空间的空间位置属性信息；

53、根据所述运动指令和所述前一时刻运动状态计算得到当前时刻运动状态；

54、根据所述当前时刻运动状态和所述空间位置属性信息判断是否出现运动冲突；

55、若存在运动冲突，则所述运动模拟结果为停止运动；

56、若不存在运动冲突，则所述运动模拟结果为执行运动。

57、在一实施例，所述运动控制器根据所述运动模拟结果进行设备控制操作时执行：

58、将所述运动指令发送至所述执行空间和所述虚拟空间；

59、根据所述运动指令生成运动数据，在所述执行空间基于所述运动数据控制所述被控设备进行被控设备操作；

60、在所述虚拟空间基于所述运动数据控制所述虚拟设备进行虚拟设备操作。

61、在一实施例，所述运动控制器还用于执行：

62、获取所述被控设备的被控运动数据；

63、对所述被控运动数据进行滤波操作，得到运动检测结果；

64、根据所述运动检测结果生成所述运动指令。

65、在一实施例，所述对所述被控运动数据进行滤波操作，得到运动检测结果，包括：

66、获取所述被控设备的运动数据序列，所述运动数据序列包括：当前时刻被控运动数据和前一时刻被控运动数据；

67、对所述运动数据序列进行增量变化计算，得到增量变化结果；

68、根据所述增量变化结果得到所述运动检测结果。

69、在一实施例，所述被控运动数据包括：位移运动数据和姿态变化数据；所述对所述运动数据序列进行增量变化计算，得到增量变化结果，包括：

70、计算当前时刻被控运动数据和前一时刻被控运动数据的运动增量数据，所述运动增量数据包括：位移增量数据和姿态增量数据；

71、当所述位移增量数据位于预设位移阈值范围内，且所述姿态增量数据位于预设姿态阈值范围内，则所述增量变化结果为第一增量结果，否则所述增量变化结果为第二增量结果。

72、在一实施例，所述根据所述增量变化结果得到所述运动检测结果，包括：

73、当所述增量变化结果为所述第一增量结果时，对所述运动增量数据进行卡尔曼滤波操作，得到所述运动检测结果；

74、当所述增量变化结果为所述第二增量结果时，累计得到预设次数的运动增量数据构成增量序列；

75、对所述增量序列求平均值，得到平均增量结果；

76、根据所述平均增量结果，得到所述运动检测结果。

77、为实现上述目的，本技术实施例的第三方面提出了一种运动设备控制装置，应用于运动设备控制系统，所述运动设备控制系统包括虚拟设备和被控设备，所述虚拟设备在虚拟空间运行，所述被控设备在执行空间运行，所述虚拟设备与所述被控设备关联；所述虚拟空间与所述执行空间关联，所述装置包括：

78、获取单元，用于获取运动指令；

79、运动模拟单元，用于根据所述运动指令进行运动模拟，得到运动模拟结果，所述运动模拟结果包括：停止运动和执行运动；

80、设备控制操作单元，用于当所述运动模拟结果为执行运动，根据所述运动模拟结果进行设备控制操作，所述设备控制操作包括：控制所述被控设备在所述执行空间中进行被控设备操作，以及控制所述虚拟设备在所述虚拟空间中进行虚拟设备操作；

81、停止运动单元，用于当运动模拟结果为停止运动时，所述虚拟设备和所述被控设备停止运动。

82、为实现上述目的，本技术实施例的第四方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

83、为实现上述目的，本技术实施例的第五方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

84、本技术实施例提出的运动设备控制方法、系统、装置、设备和存储介质，运动设备控制方法包括：通过获取运动指令，并根据运动指令进行运动模拟，得到运动模拟结果，运动模拟结果包括：停止运动和执行运动。当运动模拟结果为执行运动，控制被控设备在执行空间中进行被控设备操作以及控制虚拟设备在虚拟空间中进行虚拟设备操作，否则，虚拟设备和被控设备停止运动。由于虚拟空间和执行空间相关联，虚拟设备与被控设备关联，通过在虚拟空间中利用虚拟设备进行运动模拟，获取执行空间中被控设备的操作结果，根据运动模拟结果实现对被控设备的远程操作，将虚拟和现实进行融合，实现对远程机器人的精细控制。同时能够在不同场景环境下进行被控设备的运动模拟，提升被控设备的场景适应性。