机器人能量输出展示方法及系统与流程

1.本技术涉及机器人设备领域，可应用于医疗领域和其他领域，尤指一种机器人能量输出展示方法及系统。


背景技术：

2.在现有的手术机器人手术中，针对能量器械的使用往往凭借专家经验，需要医生长时间的手术经验积累，如果使用不当，容易造成组织损伤或是凝血效果不佳等。现实生活中大部分医生的手术机器人操作经验是不足，因此，如何以直观的方式来量化能量器械输出的效果是现阶段需要解决的问题。


技术实现要素：

3.本技术目的在于提供一种机器人能量输出展示方法及系统，通过预展示能量输出效果的方式生成提示信息，以为工作人员提供参考。
4.为达上述目的，本技术所提供的机器人能量输出展示方法，具体包含：采集器械与组织接触区域的图像信息；通过利用机器学习算法构建的图像识别模型分析所述图像信息获得器械与组织的接触状态；根据机器人的能量输出参数和所述接触状态分析获得能量输出效果数据；根据所述能量输出效果数据生成对应的提示信息。
5.在上述机器人能量输出展示方法中，可选的，所述方法还包含：根据历史数据中器械与组织接触的图像数据提取获得图像特征值；根据所述图像特征值通过机器学习算法构建对应的图像识别模型；其中图像特征值提取方法包含harris角点检测、sift特征检测、fast特征检测或surf特征检测。
6.在上述机器人能量输出展示方法中，可选的，通过利用机器学习算法构建的图像识别模型分析所述图像信息获得器械与组织的接触状态还包含：通过利用机器学习算法构建的图像识别模型分析所述图像信息获得与所述器械接触的组织的组织类型。
7.在上述机器人能量输出展示方法中，可选的，根据机器人的能量输出参数和所述接触状态分析获得能量输出效果数据还包含：根据历史数据中机器人的能量输出参数、接触状态、组织类型和输出效果之间的对应关系获得映射关系数据；根据所述映射关系数据通过神经网络算法构建效果量化模型。
8.在上述机器人能量输出展示方法中，可选的，根据所述映射关系数据通过神经网络算法构建效果量化模型还包含：根据器械与组织的接触时长和所述映射关系数据之间的关联关系构建计算因子；根据所述计算因子和所述映射关系数据通过神经网络算法构建效果量化模型。
9.在上述机器人能量输出展示方法中，可选的，根据所述能量输出效果数据生成对应的提示信息还包含：根据所述图像信息标定器械与组织的接触位置；通过增强现实技术将所述提示信息映射在所述图像信息中对应的所述接触位置展示；其中，所述提示信息包含能量效果条、文字提示和语音提示中一种或多种的组合。
10.本技术还提供一种机器人能量输出展示系统，所述系统包含图像采集单元、图像处理单元、控制单元和视觉提示单元；所述图像采集单元用于采集器械与组织接触区域的图像信息；所述图像处理单元用于通过利用机器学习算法构建的图像识别模型分析所述图像信息获得器械与组织的接触状态；所述控制单元用于根据机器人的能量输出参数和所述接触状态分析获得能量输出效果数据；所述视觉提示单元用于根据所述能量输出效果数据生成对应的提示信息。
11.在上述机器人能量输出展示系统中，可选的，所述图像采集单元包含内窥镜，所述内窥镜通过双目镜头和冷光源采集器械与组织接触区域的图像信息。
12.本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
13.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
14.本技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。
15.本技术的有益技术效果在于：通过对能量器械输出效果的直观提示，便于工作人员参考，可提高能量器械的使用效率和效果，尽可能的释放能量器械的优势，提高作业安全性和效率。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，并不构成对本技术的限定。在附图中：
17.图1为本技术一实施例所提供的机器人能量输出展示方法的流程示意图；
18.图2为本技术一实施例所提供的图像识别模型的构建原理示意图；
19.图3为本技术一实施例所提供的能量器械效果提示的流程示意图；
20.图4为本技术一实施例所提供的图像识别逻辑流程示意图；
21.图5为本技术一实施例所提供的效果量化模型的构建流程示意图；
22.图6为本技术一实施例所提供的接触时长引入效果量化模型的流程示意图；
23.图7为本技术一实施例所提供的能量器械效果提示的应用流程示意图；
24.图8为本技术一实施例所提供的接触时长对能量器械效果的影响示意图；
25.图9为本技术一实施例所提供的能量器械电凝止血效果示意图；
26.图10为本技术一实施例所提供的未接触提示示意图；
27.图11为本技术一实施例所提供的凝血效果差异提示示意图；
28.图12为本技术一实施例所提供的能量过度提示示意图；
29.图13为本技术一实施例所提供的机器人能量输出展示系统的结构示意图；
30.图14为本技术一实施例所提供的机器人能量输出展示系统的应用结构示意图；
31.图15为本技术一实施例所提供的图像采集场景示意图；
32.图16为本技术一实施例所提供的机器人能量输出展示系统的内部硬件结构示意图；
33.图17为本技术一实施例所提供的能量输出效果提示的流程示意图；
34.图18为本技术一实施例所提供的电子设备的结构示意图。
具体实施方式
35.以下将结合附图及实施例来详细说明本技术的实施方式，借此对本技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本技术中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本技术的保护范围之内。
36.另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
37.请参考图1所示，本技术所提供的机器人能量输出展示方法，具体包含：
38.s101采集器械与组织接触区域的图像信息；
39.s102通过利用机器学习算法构建的图像识别模型分析所述图像信息获得器械与组织的接触状态；
40.s103根据机器人的能量输出参数和所述接触状态分析获得能量输出效果数据；
41.s104根据所述能量输出效果数据生成对应的提示信息。
42.以此，在实际应用工作中，如腹腔电切/电凝工作中，通过采集腹腔内能量器械和组织图像信息；机器学习方法识别器械和组织的接触状态；通过多目标最优计算能量器械输出的效果；视觉直观提示能量输出效果，以提升手术效率和安全性。其中，多目标最优计算能量器械输出效果的具体流程将在后续实施例中详细说明，在此就不再一一详述。
43.请参考图2所示，在本技术一实施例中，所述方法还包含：
44.s201根据历史数据中器械与组织接触的图像数据提取获得图像特征值；
45.s202根据所述图像特征值通过机器学习算法构建对应的图像识别模型；
46.其中图像特征值提取方法包含harris角点检测、sift特征检测、fast特征检测或surf特征检测。
47.进一步的，在上述实施例中，通过利用机器学习算法构建的图像识别模型分析所述图像信息获得器械与组织的接触状态还包含：通过利用机器学习算法构建的图像识别模型分析所述图像信息获得与所述器械接触的组织的组织类型。
48.具体的，可参考图3所示，在实际工作中，以机器人进行手术为例，首先通过相关设备采集腹腔内图像信息进行预处理，将预处理完成的图像信息进行特征点检测，该过程可包含harris角点检测、sift特征检测、fast特征检测或surf特征检测等。然后，根据特征点定位器械末端位置及周围人体组织信息，识别器械与组织接触的装置，如肝、肾、淋巴等；接着，根据所述器械与组织接触状态及人体组织信息和能量输出数据，通过大数据方法，如神经网络训练等完成能量输出的估计参数；最后，通过能量输出的估计参数建立能量输出估计模型即效果量化模型，通过所述能量输出估计模型建立的映射关系生成对应的提示效果予以展示给用户参考。在此过程中，组织类型的确定可更好的帮助后续的调整能量输出效果，工作人员可根据实际需要选择使用，本技术对此并不做进一步限定。
49.其中，所述图像识别模型的构建流程可参考图4所示，在实际工作中，图像识别模型一般包括两个过程，即图像处理和图像识别，其中图像处理又包括预处理和图像分割，图
像识别包括图像特征提取和图像分类：所述预处理，图像信息在采集、转化、传输过程中引入噪声，为提高识别准确度在进行图像处理之前需进行去噪处理，如采用二维小波滤波方法；此外，还进行平滑、二值化和幅值归一化等；所述图像分割，根据图像的灰度、纹理、边缘等特征，将图像分成各自满足某种相似性准则或具有某种同质特征的连通区域集合的过程，为进一步的图像识别创造条件；所述特征提取，在模式识别中抽取及选择图像特征，特征检测可采用常用方法包括：harris角点检测、sift特征检测、fast特征检测及surf特征检测等；所述图像分类，设计图像分类器和分类决策进行模式匹配输出识别结果。本发明采用基于人工神经网络的方法。其优势在于允许样品有较大的缺损、畸变，可在过程中不断完善模型，具有自主学习能力，且运行速度快、自适应性能好、具有较高的分辨率等特点，适用于腹腔中狭小的复杂环境图像识别。
50.请参考图5所示，在本技术一实施例中，根据机器人的能量输出参数和所述接触状态分析获得能量输出效果数据还包含：
51.s501根据历史数据中机器人的能量输出参数、接触状态、组织类型和输出效果之间的对应关系获得映射关系数据；
52.s502根据所述映射关系数据通过神经网络算法构建效果量化模型。
53.再请参考图6所示，其中根据所述映射关系数据通过神经网络算法构建效果量化模型还包含：
54.s601根据器械与组织的接触时长和所述映射关系数据之间的关联关系构建计算因子；
55.s602根据所述计算因子和所述映射关系数据通过神经网络算法构建效果量化模型。
56.请参考图7所示，本技术所提供的能量输出效果预测的整体流程如下：
57.1、采集图像信息；
58.2、导入预存的神经网络训练集，该训练集为大量人体脏器图片和能量器械使用图片，并对应的各自输出效果参数；
59.3、所述图像信息经预处理后进行模式匹配，如bp神经网络，输出若干可能的结果及置信度；
60.4、将上一步中可能的结果进行加权处理，输出当前能量输出效果估计参数；
61.5、通过得出的估计参数建立能量输出效果量化模型。
62.具体的，请参考图8所示，能量输出效果计算表达式如下：
63.l＝limit(0,ap+bn+cs+df+u,100)；
64.其中，p、n、s、f分别表示输出能量、组织属性、接触面积和接触力大小；a、b、c、d分别表示的权重大小；n的取值为赋予不同的组织数值。
65.接触时长t为t为u的计算因子，效果u为二次函数，如图8，首先随着接触时间增加效果逐渐提高，当效果已达到时，过度接触会降低效果值，起到防止过度接触的效果；例如：通过l值映射输出效果，如》85对应优，84-75对应良，74-60对应普通，小于60对应差；当然实际情况也可采用其他方式予以防止过度接触的效果，本技术在此就不再一一详述。
66.在本技术一实施例中，根据所述能量输出效果数据生成对应的提示信息还包含：根据所述图像信息标定器械与组织的接触位置；通过增强现实技术将所述提示信息映射在
所述图像信息中对应的所述接触位置展示；其中，所述提示信息包含能量效果条、文字提示和语音提示中一种或多种的组合。具体可参考图9所示，以能量器械电凝止血效果为例，其中电凝器械901向组织902输出能量时，当所述l值较低，输出效果较差时，无法起到有效止血的作用，此时通过标识903指示该处未有效止血。
67.再请参考图10所示，在能量器械末端未接触组织时，从保证安全的角度触发，控制单元判断末端器械是否具备接触组织的条件，如果具备，则在输出能量指令后，不输出能量，并提示类似于“请接触组织！”等提示信息1001；再请参考图11所示，在实际应用时不同能量输出效果可通过不同颜色进行映射即能量效果条，术中使用能量器械时，输出效果高亮显示采用指定颜色。颜色通过rbg值定义，如定义r值和b值为零，g值通过三个变量的属性及其权重计算得到，表达式可如下所示：
68.g＝limit(0,l,100)；
69.其中，l为能量输出效果。
70.最后请参考图12所示，为防止能量过度输出，可在分析确定止血效果达到后，将l值从优降低至差，同时展示文字提示等。
71.请参考图13所示，本技术还提供一种机器人能量输出展示系统，所述系统包含图像采集单元、图像处理单元、控制单元和视觉提示单元；所述图像采集单元用于采集器械与组织接触区域的图像信息；所述图像处理单元用于通过利用机器学习算法构建的图像识别模型分析所述图像信息获得器械与组织的接触状态；所述控制单元用于根据机器人的能量输出参数和所述接触状态分析获得能量输出效果数据；所述视觉提示单元用于根据所述能量输出效果数据生成对应的提示信息。其中，所述图像采集单元包含内窥镜，所述内窥镜通过双目镜头和冷光源采集器械与组织接触区域的图像信息。
72.具体的，所述机器人能量输出展示系统在实际应用时可参考图14所示，手术机器人系统主要由医生控制台车1401、患者台车1402、视觉台车1403组成。所述医生控制台车1401包括主控制臂和立体监视器，为医生沉浸式手术提供基础条件；所述患者台车1402悬挂若干机械臂，装载手术器械，响应医生指令，直接与患者接触；所述视觉台车1403具有图像数据采集及图像处理功能，提供腹腔内手术视野，并回传医生台车立体监视器。再请参考图15所示，所述能量器械安装于所述患者台车机械臂上，由机械臂上的动力盒驱动，实现器械末端的能量输出等动作。所述能量器械1504须通过连接线1503连接至能量平台1501，通过能量平台1501的设置后安装在患者台车上使用。所述内窥镜作为一种特殊的手术器械，器械末端为双目镜头1505，提供腹腔内视野，采集人体组织1502以及器械末端等图像信息；此外，内窥镜分别连接成像光纤1506和冷光源1507进行输入增强视野，所述成像光纤1506传输采集的图像信息至图像台车，进行相关的图像处理。
73.在实际工作中，请参考图16所示，在本技术另一实施例中，所述机器人能量输出展示系统在硬件组成上可包含图像采集单元、图像处理单元、控制单元、执行单元、数据存储单元、视觉提示单元。所述图像采集单元，用于术中提供视野，并采集器械接触组织图像信息；所述图像处理单元，用于图像识别特征点检测、估计参数生成、图像识别；所述控制单元，用于设置能量等级，能量效果计算；所述视觉提示单元，包括图像显示器、立体监视器等；所述数据存储单元，包括硬盘、内存等具有数据存储功能的设备，用于存储控制参数、训练模型等。请参考图17所示，所述机器人能量输出展示系统在实际应用过程中，能量输出效
果的提示流程如下：
74.1、检测到末端器械正在执行能量输出动作，执行2；
75.2、检测器械与组织的接触状态，能量停止输出则退出流程，如果正在输出则执行3；所述检测接触状态可采用图像识别方法，和\或在器械末端开合片接触面上安装应变片式压力传感器；
76.3、根据模型计算当前输出的效果，并执行4；
77.4、在屏幕和立体监视器上给予能量输出效果的提示。
78.本技术的有益技术效果在于：通过对能量器械输出效果的直观提示，便于工作人员参考，可提高能量器械的使用效率和效果，尽可能的释放能量器械的优势，提高作业安全性和效率。
79.本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
80.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
81.本技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。
82.如图18所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图18中所示的所有部件；此外，电子设备600还可以包括图18中没有示出的部件，可以参考现有技术。
83.如图18所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
84.其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
85.输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为lcd显示器，但并不限于此。
86.该存储器140可以是固态存储器，例如，只读存储器(rom)、随机存取存储器(ram)、sim卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为eprom等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
87.存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
88.通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
89.基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
90.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
91.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
92.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
93.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
94.以上所述的具体实施例，对本技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本技术的具体实施例而已，并不用于限定本技术的保护范围，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。