远程手术装置产生强制反馈的方法与流程

1.本发明是关于一种产生强制反馈的方法，特别是一种远程手术装置产生强制反馈的方法。


背景技术：

2.近年来，随着机构学、自动化控制及计算器技术的蓬勃发展，机械手臂为提供高效率及稳定的自动化控制，特别是用于远程操作。
3.一般而言一般而言，远程手术装置即是由外科主刀医师操作远程手术装置，进行外科手术，例如:达文西手术机器人，远程手术装置一般即是使用机械手臂进行手术作业。
4.虽然，远程手术装置藉由半自动化控制，而提供微创且稳定的手术，但是施作手术作业的机械手臂并未能让操作者如同近端手术作业一般，藉由手持的手术器械接触到修复或摘除的解剖部分的器官组织，而轻易得知手术器械的控制状态，也就是远程手术装置的操作者在远程使用机械手臂进行远程作业，而存在有无法得知的当前机械手臂的受力情况，导致在无法得知机械手臂受力情况下发生意外状况时，机械手臂的操作者无法实时做出反应而造成风险的问题。
5.为了解决远程作业无法得知机械手臂受力情况下发生意外状况的问题，遂有业者发展出透过强制反馈手套，其为外加于原先的机械手臂，但是对于手术装置而言，每多一个元件即多一分成本。此外，远程手术装置对于机械手臂的控制较精密，因此在设备成本上，亦是需要注意的地方。
6.依据上述问题，本发明为提供一种远程手术装置产生强制反馈的方法，其系透过远程手术装置所撷取的手术影像在手术作业中，边进行手术作业边分析远程手术装置的运动分量与元件动作，因而运算出远程手术装置于手术作业中的输出力，除了可避免因过度施力产生意外的医源性伤害，亦可更精确地进行手术。


技术实现要素：

7.本发明的一目的，在于提供一种远程手术装置产生强制反馈的方法，其藉由在手术作业中的手术影像，边进行手术作业边分析远程手术装置的运动分量与元件动作，因而运算出远程手术装置于手术作业中的输出力，除了可避免因过度施力产生意外的医源性伤害，亦可更精确地进行手术。
8.针对上述的目的，本发明提供一种远程手术装置产生强制反馈的方法，其先利用一远程手术装置的一影像撷取单元撷取一手术作业对应的多个手术影像至一控制装置，尔后，该控制装置依据该些个手术影像取得该作业部的一第一运动分量；并由该控制装置依据该第一运动分量与该远程手术装置至作业部的一第二运动分量估算该远程手术装置的一输出力，以进一步藉由该输出力产生一力量回馈。藉此让控制装置针对远程手术装置的手术动作产生强制反馈，除了可避免因过度施力产生意外的医源性伤害，亦可更精确地进行手术。。
9.本发明提供一实施例，其中于利用该远程手术装置的一影像撷取单元撷取该手术作业对应的多个手术影像至一控制装置的步骤中，进一步利用一压力传感器感测该作业部的一承受压力。
10.本发明提供一实施例，其中于该控制装置依据该第一运动分量与该远程手术装置至作业部的一第二运动分量估算该远程手术装置的一输出力的步骤中，该控制装置进一步依据该承受压力估算该输出力
11.本发明提供一实施例，其中该作业部为连接一夹具、一钻头、一锉刀、一刮刀、一锯刀、一螺丝刀或通过钻孔、打磨、切除或刮除以修复或摘除部分组织的外科手术工具，该作业部设有一压力传感器、一压电传感器、一弹力传感器、一光学摄像头、一激光扫描仪或一超音波扫描仪。
12.本发明提供一实施例，其中于该控制装置依据该些个手术影像取得该作业部的一第一运动分量的步骤中，先分别切割该些个手术影像成多个影像区块，以依据一匹配运算法分析该些个影像区块，以获得该远程手术装置的多个动作影像，再依据该些个动作影像取得多个前景影像与至少一背景影像，然后比较该些个前景影像与该背景影像，以取得该第一运动分量。
13.本发明提供一实施例，其中于获得该远程手术装置的多个动作影像的步骤中，进一步卷标该些个动作影像。
14.本发明提供一实施例，其中于依据该动作影像取得多个前景影像与至少一背景影像的步骤中，进一步依据该些个前景影像的多个元件中心点取得一出力向量，以取得该第一运动分量。
15.本发明提供一实施例，其中于比较该些个前景影像与该背景影像的步骤中，进一步取得该背景影像的一色彩，以比对一色彩系数表，而调整该第一运动分量。
16.本发明提供一实施例，其中该匹配运算法为全局搜索法(full search)、三步骤搜索法(three-stepsearch)、钻石搜索法(diamond search)、绝对误差合(sum of absolute difference，sad)、平均绝对误差合(mean absolute error，mae)或均方误差合(mean squared error，mse)。
17.本发明提供一实施例，其中于该控制装置依据该输出力产生一力量回馈的步骤中，该控制装置为依据该输出力产生一力量回馈对应的一显示影像或一机械操作。
18.本发明提供一实施例，其中该显示影像为一力量数值影像，该机械操作为一反馈推力。
附图说明
图1：其为本发明的一实施例的流程图；以及图2a-2e：其为本发明的一实施例的装置示意图；图3：其为本发明的控制装置依据影像运算第一运动分量的流程图；以及图4a-4d：其为本发明的一实施例的影像运算的示意图。【图号对照说明】1手术系统10控制装置
102处理单元1022影像处理单元1024分析单元104影像产生单元106致动产生单元108控制手把20远程手术装置22基座24作业部act元件动作ag动作影像b影像区块bg背景影像c影像撷取单元cp元件中心点cut切口fb力量回馈fg前景影像img手术影像mat匹配演算法p输出力scn显示画面st1第一手术工具st11微型手术刀st2第二手术工具st21夹具st3第三手术工具st31钻头t1第一运动分量t2第二运动分量v1显示影像v2机械操作s10～s50步骤
具体实施方式
19.为了使本发明的结构特征及所达成的功效有更进一步的了解与认识，特用较佳的实施例及配合详细的说明，说明如下：
20.习知远程手术装置的控制方法系直接参考影像直接进行操作，本发明改善习知远程手术装置的控制方法的缺点，除了可避免因过度施力产生意外的医源性伤害，亦可更精确地进行手术，另外亦可避免造成器械损坏。
21.在下文中，将藉由图式来说明本发明的各种实施例来详细描述本发明。然而本发明的概念可能以许多不同型式来体现，且不应解释为限于本文中所阐述的例式性实施例。
22.本发明的远程手术装置产生强制反馈的方法的使用流程如图1所示，其为本发明的一实施例的流程图，如图所示，步骤如下：
23.步骤s10：控制远程手术装置的作业部执行手术作业；
24.步骤s20：利用远程手术装置的影像撷取单元撷取手术作业对应的手术影像至控制装置；
25.步骤s30：控制装置依据手术影像取得作业部的第一运动分量；
26.步骤s40：控制装置依据第一运动分量与远程手术装置至作业部的第二运动分量估算远程手术装置的输出力；以及
27.步骤s50：该控制装置依据该输出力产生一力量回馈。
28.本发明的远程手术装置使用步骤流程如步骤s10至步骤s40，为了更明白说明本发明的该远程手术装置产生强制反馈的方法的使用步骤流程，在此举一实际范例，请参考第2a至2e图，其为本发明的一实施例的装置示意图。如图所示，本发明的手术系统1包含一控制装置10与一远程手术装置20，本实施例为控制装置10经传输线连接至远程手术装置20，但本发明不限于此，控制装置10更可透过无线传输方式传送控制讯号至远程手术装置20，远程手术装置20设有至少一作业部22，本实施例为远程手术装置20设有一基座22与多个作业部24，该些个作业部24分别连接一影像撷取单元c、一第一手术工具st1、一第二手术工具st2与一第三手术工具st3，第一手术工具st1为连接一微型手术刀st11，第二手术工具st2为连接一夹具st21，第三手术工具st3为连接一钻头st31，该些个作业部24分别为机械手臂，控制装置10为传输控制命令ctrl至远程手术装置20。作业部24除了连接微型手术刀st11、连接夹具st21、钻头st31，其中微型手术刀st11为一锉刀、一刮刀、一锯刀、一螺丝刀，更可为通过钻孔、打磨、切除或刮除以修复或摘除部分组织的外科手术工具，此外，作业部24更可进一步设有一传感器26，其为一压力传感器、一压电传感器、一弹力传感器、一光学摄像头、一激光扫描仪或一超音波扫描仪。
29.于步骤s10中，如图2a所示，用户透过控制装置10控制远程手术装置20的作业部24进入人体body的内部，以进行手术作业op，例如:胆管切除的微创手术，也就是将该些个作业部24所连接的影像撷取单元c、第一手术工具st1、第二手术工具st2与第三手术工具st3进入人体body的内部，接续于步骤s20中，如图2b所示，透过控制装置10的控制，而利用远程手术装置20的影像撷取单元c撷取手术作业对应的多个手术影像img至控制装置10，因而形成影像数据vd，其对应的显示画面scn，为提供显示手术作业op中的画面，其中画面scn为显示微型手术刀st11与夹具st21。
30.于步骤s30中，如图2c所示，控制装置10依据上述影像数据vd中的该些个手术影像img，取得作业部24于手术影像img上所形成的一第一运动分量t1，本实施例系以第一运动分量t1对应于作业部24所连接的元件于手术影像img上所形成的一元件动作act，即微型手术刀st11下切动作因而形成切口cut作为举例说明，但本发明不限于此，更可以是夹具st21的夹取动作或钻头st31的钻孔动作，或者其他手术器械动作。
31.接续上述，于步骤s40中，如图2c与图2d所示，控制装置10藉由处理单元102依据默认数据取得远程手术装置20至作业部24机械施力所形成的一第二运动分量t2搭配部骤s30
所得的第一运动分量t1，估算远程手术装置20输出至作业部24的输出力p。然后，于步骤s50中，如图2e所示，控制装置10的处理单元102将步骤s30所获得的输出力p对应的数据传输至一影像产生单元104或一致动产生单元106，对应产生一力量回馈fb，特别是依据输出力p产生对应的一显示影像v1或一机械操作v2，例如:显示画面scn一力量数值影像，或者是一反馈推力传递至控制装置10的控制手把108。
32.因此，本发明利用远程手术装置20的影像撷取单元c所取得的手术影像img，经图像处理并经运算而获得输出力p，再以输出力p转换成对应的力量回馈fb，以让操作控制装置10的操作者轻易获得远程手术装置20的出力状态，进而避免操作者操作远程手术装置20时过度施力，因而避免手术上的意外发生。
33.此外，请参阅图3，其为本发明的控制装置依据影像运算第一运动分量的流程图。如图所示，本发明的控制装置于上述步骤s30中运算第一运动分量的流程如下:
34.步骤s310：切割手术影像成影像区块；
35.步骤s320：依据匹配运算法分析影像区块，以获得远程手术装置的动作影像；
36.步骤s330：依据动作影像取得前景影像与背景影像；以及
37.步骤s340：比较前景影像与背景影像，以取得第一运动分量与元件动作。
38.于步骤s310中，如图4a所示，控制装置10的处理单元102具有影像处理单元1022将所接收到的手术影像img切割成多个影像区块b，接续于步骤s320中，本发明的处理单元102的一分析单元1024运算一匹配演算法mat进行分析，而将对应的动作影像ag从手术影像img中撷取出来，其中处理单元102所运算的匹配运算法为全局搜索法(full search)[2]、三步骤搜索法(three-stepsearch)[2]、钻石搜索法(diamond search)、绝对误差合(sum of absolute difference，sad)、平均绝对误差合(mean absolute error，mae)或均方误差合(mean squared error，mse)。此外，分析单元1024更可进一步对该些个动作影像进行卷标，以区分不同元件动作。
[0039]
接续上述，于步骤s330中，如图4c所示，影像处理单元1022针对步骤s320中所得的动作影像ag撷取出前景影像fg与背景影像bg，其中前景影像fg为动作影像ag的动态影像，背景影像bg为多个动作影像ag中的静态影像且固定不变场景，一般而言，前景影像fg会出现较多，而背景影像bg相对性较少。于步骤s340中，比较该些个前景影像与该背景影像，因而获得元件动作act对应的第一运动分量t1(如图2c所示)，其中本实施例系以影像处理单元1022取得该些个前景影像fg的多个元件中心点cp并依据该些个元件中心点cp，以取得一出力向量vec，并藉由出力向量vec获得元件动作act对应的第一运动分量t1(如图2c所示)作为举例，但本发明不限于此，更可抓取元件轮廓的方式追踪元件动作act进一步获得第一运动分量t1，或者进一步利用该些个前景影像fg进行动态追踪，以进一步获得第一运动分量t1与元件动作act。
[0040]
上文仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围，凡依本发明权利要求范围所述的形状、构造、特征及精神所为的均等变化与修饰，均应包括于本发明的权利要求范围内。