手术机器人控制系统、方法、电子设备及存储介质与流程

本技术涉及医疗机器人的，具体而言，涉及一种手术机器人控制系统、方法、电子设备及存储介质。

背景技术：

1、在应用手术机器人进行手术操作的场景下，例如手术器械进入患者体内，或者手术器械被遮挡等情况下，手术机器人的视觉传感器的感知精度会受到影响，甚至无法感知。

2、且由于一些手术机器人的执行机构在运动范围上存在一定限制，导致执行机构不能快速准确的运行到特定工作区域或工作位置以进行手术，因此现有的手术机器人实现手术操作的准确性不高。此外，在患者体内进行作业的手术机器人，执行机构的移动或执行方式需按照特定的轨迹或者时机进行，对手术机器人的控制方式和系统提出了更为严苛的要求。

技术实现思路

1、本技术实施例的目的在于提供一种手术机器人控制系统、方法、电子设备及存储介质，通过环境感知对手术环境进行建模和定位，提高了手术机器人的准确性。

2、第一方面，提供了一种手术机器人控制系统，该系统包括：环境感知模块、上位计算模块、下位计算模块和执行机构模块，所述执行机构模块包括执行机构和采集所述执行机构的运动信息的运动传感器；其中：

3、所述环境感知模块，用于对手术环境内的至少一个感兴趣物体进行感知，得到至少一个感兴趣物体的特征集合；

4、所述上位计算模块，用于基于所述环境感知模块和所述运动信息得到的至少一个感兴趣物体的特征集合，获取导航决策信息，获取导航决策信息；

5、所述下位计算模块，用于获取所述运动传感器采集的所述执行机构的当前运动信息；基于所述执行机构的当前运动信息和所述上位计算模块获取的导航决策信息，生成控制所述执行机构的运动指令；

6、所述执行机构模块，用于获取所述运动传感器采集的所述执行机构的当前运动信息，以及执行所述下位计算模块生成的运动指令。

7、在一种可能的实现中，所述环境感知模块包括视觉传感器、透视类传感器和信号传感器；

8、所述视觉传感器按照类型分为：可见光视觉传感器、红外光视觉传感器和深度视觉传感器；所述视觉传感器按照是否会进入患者体内的工作状态分为：体外视觉传感器和体内视觉传感器；

9、所述透视类传感器包括使用x光的cr、dr、ct和dsa成像装置、使用伽马光的pet和spect成像装置、使用声波的超声成像装置和使用磁场的mri成像装置、以及混合上述多个成像技术的pet-ct和pet-mri；

10、所述信号传感器包括使用激光的激光扫描仪、使用电磁波的雷达和电信号传感器。

11、在一种可能的实现中，所述上位计算模块包括环境建模单元、环境建模更新单元、定位单元和导航决策单元；

12、环境建模单元，用于基于所述至少一个感兴趣物体的特征集合，对所述手术环境内至少一个感兴趣物体进行建模，得到所述手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合；

13、环境建模更新单元，用于采用所述局部感兴趣物体的特征集合，对所述全局感兴趣物体的特征集合进行更新，得到全局感兴趣物体的新特征集合；

14、定位单元，用于基于所述至少一个感兴趣物体的特征集合和所述运动传感器采集的执行机构的当前运动信息，对所述手术环境内的至少一个感兴趣物体进行定位，得到各感兴趣物体的几何特征和/或状态信息；

15、导航决策单元，用于基于全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息，获取导航决策信息；

16、其中，从执行逻辑上讲，所述环境建模单元的建模过程、所述环境建模更新单元的更新过程和所述定位单元的定位过程为并行过程，可同时进行，没有约束固定的逻辑先后顺序。

17、在一种可能的实现中，环境建模单元，还用于对所述术中手术环境内全部或部分感兴趣物体进行建模，得到所述感兴趣物体的特征集合；

18、遍历所述全部感兴趣物体，针对遍历到的当前的感兴趣物体，对所述术中手术环境内的所述感兴趣物体进行建模，得到所述感兴趣物体对应的局部感兴趣物体的特征集合；

19、环境建模更新单元，还用于采用所述感兴趣物体对应的局部感兴趣物体的特征集合，对所述全局感兴趣物体的特征集合进行更新，得到全局感兴趣物体的新特征集合；将未遍历到的任一感兴趣物体作为新的当前的感兴趣物体，返回执行对所述术中手术环境内的所述感兴趣物体进行建模的步骤，直至遍历完所述全部感兴趣物体。

20、在一种可能的实现中，在术前阶段，使用所述环境建模单元中的全局环境感知单元对全部或部分感兴趣物体进行感知，并使用全局环境建模单元建立全局感兴趣物体的特征集合；

21、在术中阶段，使用所述环境建模单元中的局部环境感知单元对全部或部分感兴趣物体进行感知，并使用局部环境建模单元建立局部感兴趣物体的特征集合；

22、在术中阶段，遍历局部感兴趣物体的特征集合中的感兴趣物体的特征，对全局感兴趣物体的特征集合中的部分或全部感兴趣物体的特征进行更新，获得更新后的全局感兴趣物体的特征集合；

23、或者，在术中阶段，遍历局部感兴趣物体的特征集合中的感兴趣物体的特征，对任一时刻所述环境建模单元中的全局环境感知单元建立的全局感兴趣物体的特征集合中的部分或全部感兴趣物体的特征进行更新，获得更新后的全局感兴趣物体的特征集合。

24、在一种可能的实现中，所述执行机构包括机械臂和附着在所述机械臂上的手术器械；

25、所述机械臂是由一个或多个可动组件结合或间接控制形成的可动机械结构，所述可动机械结构为刚性机械结构、柔性机械结构、或由刚性机械结构和柔性机械结构组合的混合型机械结构；

26、其中，所述运动传感器包括关节角度传感器、形变传感器、压力传感器、惯性传感器和磁力传感器中的至少一种。

27、在一种可能的实现中，所述下位计算模块包括机械臂运动建模单元、手术器械运动建模单元和运动传感器控制单元；

28、机械臂运动建模单元，用于对机械臂的导航决策信息进行建模，并将其转化为控制所述机械臂运动的运动信息；

29、手术器械运动建模单元，用于对手术器械的导航决策信息进行建模，并将其转化为控制手术器械运动的运动信息；

30、运动传感器控制单元，用于对所述运动传感器进行控制；所述运动传感器控制单元包括运动传感器的开关、运动传感器的参数设置和运动传感器的数据获取。

31、在一种可能的实现中，所述运动信息包括所述执行机构的位置、速度、加速度、角速度、角加速度、拉力和压力中的至少一个。

32、在一种可能的实现中，所述手术机器人控制系统在控制手术机器人进行手术过程中，包括：

33、a、数学符号和表示方法：

34、a1、进行术前、术中和术后的观测或者操作，均分别用上标pre、j和post表示，其中术中的j表示该迭代步骤的序号；

35、a2、所述环境感知模块得到的至少一个感兴趣物体的特征集合中分别用上标global和local来区分全局感兴趣物体的特征集合和局部感兴趣物体的特征集合；

36、a3、所述环境感知模块中不同的传感器、机械臂或者手术器械的相同类型的组件，或者同一阶段的观测、运动、操作用下标区分；

37、a4上标区分了阶段，以及全局感兴趣物体的特征集合或局部感兴趣物体的特征集合，下标区分不同组件或者控制行为；

38、a5、所述环境感知模块采用的环境感知方程用f表示，所述至少一个感兴趣物体的特征集合表示的环境感知结果用f表示，下标i_1表示一个环境感知结果，来源于一个传感器的环境感知；

39、a6、所述上位计算模块采用的感兴趣物体定位方程用g表示，所述各感兴趣物体的几何特征和/或状态信息表示的感兴趣物体定位结果用g表示，下标i_2表示一个感兴趣物体；

40、a7、所述下位计算模块采用的运动感知方程用p表示，运动信息表示的运动感知结果用p表示，下标i_3表示一个运动感知结果，来源于一个运动感知传感器的一次运动感知；

41、a8、所述上位计算模块采用的导航决策方程用q表示，导航决策结果用q表示，下标i_4表示一个独立的导航决策；

42、a9、所述上位计算模块基于至少一个感兴趣物体的特征集合对应的导航决策信息生成手术计划，其采用的手术计划方程用q’表示，手术计划用q’表示，由一系列导航决策所组成；

43、a10、所述下位计算模块采用的运动控制方程用r表示，运动控制结果用r表示，下标i_5表示一个运动组件，运动组件为机械臂或手术器械；

44、a11、所述上位计算模块的环境建模单元采用的建模方程用m表示，建模结果用m表示，其中对于局部感兴趣物体的特征集合的局部环境建模结果，下标i_6代表一个感兴趣物体；

45、a12、至少一个感兴趣物体的特征集合的更新方程用m’表示；

46、b、术前阶段：

47、b1、进行一次或多次术前感知，环境感知结果为运动感知结果为

48、b2、根据环境感知结果和运动感知结果，建立全部感兴趣物体的特征集合的全局环境建模结果，表示为：

49、b3、根据全局环境建模结果，术前建立一系列全局导航决策

50、b4、根据术前建立的一系列导航决策结果，建立手术计划

51、c、术中阶段：

52、c1、术中阶段是迭代进行的，下述描述是对其中一个迭代步而言的：

53、c2、进行一次或多次术中感知，环境感知结果为运动感知结果为

54、c3、根据环境感知结果和运动感知结果，建立局部建模结果，表示为：

55、c4、根据局部环境建模结果，更新全局环境建模结果，表示为：

56、c5、进行感兴趣物体局部定位，表示为：

57、c6、进行感兴趣物体全局定位，表示为：

58、c7、建立局部导航决策，该导航决策与手术计划，建模结果和定位结果相关，表示为：

59、c8、生成运动指令，表示为：

60、c9、执行机构按照运动指令执行，包括机械臂执行运动指令和手术器械执行运动指令；

61、d、术后阶段：

62、d1、进行一次或多次术后感知，环境感知结果为运动感知结果为

63、d2、根据环境感知结果和运动感知结果，建立全局环境建模结果，表示为：

64、d3、根据术后的全局环境建模结果，进行术后评估。

65、在一种可能的实现中，所述建模过程和定位过程之间有如下形式的关系：

66、a、建模时使用定位结果：m＝m({fi_1},{pi_3},{gi_2})；

67、b、定位时使用建模结果：gi_2＝gi_2({fi_1},{pi_3},m)。

68、在一种可能的实现中，所述感知过程和运动过程之间有如下形式的关系：

69、a、

70、b、

71、c、

72、其中，表示机械臂或者手术器械真实的运动状态，代表感兴趣物体的真实空间位置或几何信息。

73、第二方面，提供了一种手术机器人控制方法，应用于第一方面的任一项所述的系统中，该方法包括：

74、对术中手术环境内的至少一个感兴趣物体进行感知，得到至少一个感兴趣物体的特征集合；

75、基于所述至少一个感兴趣物体的特征集合，确定所述术中手术环境的局部感兴趣物体的特征集合；同时，基于所述至少一个感兴趣物体的特征集合和获取的执行机构的当前运动信息，对所述术中手术环境内的至少一个感兴趣物体进行定位，得到各感兴趣物体的几何特征和/或状态信息；

76、基于至少一个感兴趣物体的特征集合、局部感兴趣物体的特征集合和各感兴趣物体的位置坐标，获取导航决策信息；

77、基于所述执行机构的当前运动信息和所述导航决策信息，生成控制执行机构的运动指令；

78、控制所述执行机构执行所述运动指令。

79、在一种可能的实现中，基于至少一个感兴趣物体的特征集合、局部感兴趣物体的特征集合和各感兴趣物体的几何特征和/或状态信息，获取导航决策信息，包括：

80、对所述术中手术环境内至少一个感兴趣物体进行建模，得到所述术中手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合；

81、采用所述局部感兴趣物体的特征集合，对所述全局感兴趣物体的特征集合进行更新，得到全局感兴趣物体的新特征集合；

82、基于所述全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息，获取导航决策信息。

83、其中，从执行逻辑上讲，上述的建模过程、更新过程和定位过程为并行过程，可同时进行，没有约束固定的逻辑先后顺序。

84、在一种可能的实现中，对所述术中手术环境内至少一个感兴趣物体进行建模，得到所述术中手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合，包括：

85、对所述术中手术环境内全部感兴趣物体进行建模，得到全局感兴趣物体的特征集合；

86、遍历所述全部感兴趣物体，针对遍历到的当前的感兴趣物体，对所述术中手术环境内的所述感兴趣物体进行建模，得到所述感兴趣物体对应的局部感兴趣物体的特征集合；

87、采用所述局部感兴趣物体的特征集合，对所述全局感兴趣物体的特征集合进行更新，得到全局感兴趣物体的新特征集合，包括：

88、采用所述感兴趣物体对应的局部感兴趣物体的特征集合，对所述全局感兴趣物体的特征集合进行更新，得到全局感兴趣物体的新特征集合；

89、将未遍历到的任一感兴趣物体作为新的当前的感兴趣物体，返回执行对所述术中手术环境内的所述感兴趣物体进行建模的步骤，直至遍历完所述全部感兴趣物体，以基于所述全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息，获取导航决策信息。

90、在一种可能的实现中，对术中手术环境内的至少一个感兴趣物体进行感知之前，所述方法还包括：

91、对术前手术环境内的至少一个感兴趣物体进行感知，得到至少一个感兴趣物体的术前特征集合；

92、基于至少一个感兴趣物体的术前特征集合，确定所述术前手术环境的全局导航决策信息；

93、基于所述全局导航决策信息，生成手术计划；

94、对所述术中手术环境内至少一个感兴趣物体进行建模，得到所述术中手术环境的全局感兴趣物体的特征集合，包括：

95、基于所述手术计划，对所述术中手术环境的至少一个感兴趣物体的特征集合进行局部建模，得到所述术中手术环境的局部感兴趣物体的特征集合。

96、在一种可能的实现中，所述方法还包括：

97、将所述导航决策信息，对所述全局导航决策信息进行更新；

98、根据更新后的全局导航决策信息，更新原有手术计划和/或生成新的手术计划。

99、在一种可能的实现中，所述方法还包括：

100、若检测到所述执行机构完成所述手术环境的手术操作，则对术后手术环境内的至少一个感兴趣物体进行感知，得到所述术后手术环境的全局感兴趣物体的术后特征集合；

101、生成针对所述术后手术环境的全局感兴趣物体的术后特征集合、所述至少一个感兴趣物体的特征集合和全局感兴趣物体的新特征集合的术后评估信息。

102、在一种可能的实现中，所述导航决策信息包括避开风险器官操作流程、限制执行机构的运动范围、限制执行机构的运动速度和目标手术操作的操作流程；

103、所述目标手术操作包括对机械臂和/或手术器械的自动/半自动控制；

104、所述对机械臂和/或手术器械的自动/半自动控制，包括：自动/半自动寻径、自动/半自动调整位姿、自动/半自动的流程化操作、自动/半自动器械退出操作；

105、所述自动/半自动调整位姿包括对准、跟随和去抖动；

106、所述自动/半自动的流程化操作包括缝合、打结和植入物释放。

107、在一种可能的实现中，对所述术中手术环境内的至少一个感兴趣物体进行定位，得到各感兴趣物体的几何特征和/或状态信息之后，所述方法还包括：

108、针对任一感兴趣物体，对所述感兴趣物体进行回环检测；

109、若检测到所述感兴趣物体的当前位置坐标与历史时刻的观测结果相同，则确定所述感兴趣物体的几何特征与历史几何特征之间存在相关性，并根据所述相关性对所述感兴趣物体的几何特征估计结果进行修正。

110、第三方面，提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

111、存储器，用于存放计算机程序；

112、处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一所述的方法步骤。

113、第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一所述的方法步骤。

114、本技术实施例提供的手术机器人控制系统可以包括：环境感知模块、上位计算模块、下位计算模块和执行机构模块，执行机构模块包括执行机构和采集执行机构的运动信息的运动传感器；环境感知模块用于对手术环境内的至少一个感兴趣物体进行感知，得到至少一个感兴趣物体的特征集合；上位计算模块用于基于环境感知模块得到的至少一个感兴趣物体的特征集合，获取导航决策信息；下位计算模块用于获取运动传感器采集的所述执行机构的当前运动信息；基于执行机构的当前运动信息和上位计算模块获取的导航决策信息，生成控制执行机构的运动指令；执行机构模块用于执行下位计算模块生成的运动指令。该系统通过环境感知对手术环境进行建模和定位，提高了手术机器人的准确性。