手术机器人操作监测系统和方法
【专利摘要】本发明公开了手术机器人操作监测系统和方法。手术机器人操作监测系统包括2组薄膜压力传感器及相应的压力采集仪、第1摄像机、第2摄像机、视频采集卡、中心控制器；2组薄膜压力传感器分别安装在手术机器人或手术机器人模拟器的左手托台和右手托台上，2组薄膜压力传感器通过压力采集仪与中心控制器连接，第1摄像机、第2摄像机以及来源于手术机器人成像系统的第3视频信号、第4视频信号与视频采集卡连接；视频采集卡与中心控制器连接。本发明通过监测手术操作者前臂对托台的压力情况来判断记录手术操作者的“错误程度”，从而计算出手术质量，实现对手术操作者的培训和对手术过程监测。
【专利说明】手术机器人操作监测系统和方法
【技术领域】
[0001]本发明涉及一种手术机器人操作监测系统和方法。
【背景技术】
[0002]以麻省理工学院(原名斯坦福研究学院)研发的机器人外科手术技术为基础，Intuitive Surgical随后与IBM、麻省理工学院和Heartport公司联手对该系统进行了进一步开发。目前达芬奇机器人手术系统已经应用各个外科领域，在世界范围的总装机量达2000余台。美国95%以上的前列腺癌手术由该系统完成。我国天津大学也于今年研制成功国产机器人“巧手系统”。达芬奇外科手术系统和巧手系统都是一种高级“主-仆”机器人平台，由三部分组成:外科医生控制台、床旁机械臂系统、成像系统。主刀医生使用双手(通过操作两个主控制器)及脚(通过脚踏板)来控制器械和一个三维高清内窥镜，其操作台控制手术器械与外科医生的双手同步运动。
[0003]和标准腹腔镜相比，机器人手术系统提供了更好地人体工学环境，主刀医生可以使用坐姿，前臂和颈部放在支撑台上进行长时间手术。研究表明，和标准腹腔镜比较，机器人前臂支撑台的存在，可以有效地降低术者疲劳，提高术者动作精度，提高手术质量。
[0004]通过对手术者的动作进行分析，我们发现新手和专家对于机器人前臂支撑台的利用率有显著地差异，新手沿用腹腔镜习惯进行操作，双臂悬空，不光加重了疲劳，而且操作不稳，给患者安全带来隐患。所以，所有使用机器人手术系统的外科医生需要在模拟器上进行经过系统培训，经过认证才能进行手术。在使用模拟器进行训练外科医生时，我们也观察到了新手的这种不符合人体工学习惯的动作。为了养成良好的习惯，保证手术者手臂运动精度，降低手术疲劳和确保患者安全，需要对该行为进行规范。
[0005]为了纠正手术中的不良习惯，缩短培训周期和提高培训效果。本发明提供一种可对外科医生操作控制台的手部动作及支撑台压力进行实时监测的系统，用于机器人技术培训和实时手术监测。系统同时可记录手术者视野，手术者的手部动作，以及前臂和操作台的接触状况，可以标记和回放错误动作时术者的操作和对应的手术进度，便于研究，也便于外科医生术后进行总结。系统具有误操作报警功能，可以用语音的形式提醒术者实时纠正不规范动作，确保对前臂支撑台的有效利用。
【发明内容】
[0006]本发明要解决的技术问题是提供一种用于手术机器人或手术机器人模拟器的操作监测系统。以实现在手术机器人上对手术操作者的操作培训，以及对手术过程进行监测。
[0007]本发明要解决的另外一个技术问题是提供一种手术机器人或手术机器人模拟器的操作监测方法。
[0008]对于手术机器人操作监测系统，本发明采用的技术方案是:包括2组薄膜压力传感器及相应的压力采集仪、第I摄像机、第2摄像机、视频采集卡、中心控制器；
[0009]2组薄膜压力传感器分别安装在手术机器人的左手托台和右手托台上，所述2组薄膜压力传感器通过压力采集仪与中心控制器连接；
[0010]所述第I摄像机、第2摄像机以及来源于手术机器人成像系统的第3视频信号、第4视频信号与视频采集卡连接；所述第3视频信号和第4视频信号是与实时传输患者手术部位的视频数据至手术操作者视频信号相同的视频信号；
[0011]视频采集卡与中心控制器连接。
[0012]作为优选，还包括语音提醒单元；所述语音提醒单元与中心控制器连接。
[0013]作为优选，所述薄膜式压力传感器是电阻式、电容式或压电式薄膜压力传感器；所述薄膜式压力传感器采用单元式、组合式或阵列式进行组合并覆盖托台整个表面，当手术操作者的前臂支撑于托台表面的任何位置时，薄膜式传感器都可以感应到。
[0014]作为优选，第I摄像机安装于手术操作者的正前方；第I摄像机的视角中心与左手托台、右手托台的中心连线重合，第I摄像机的高度与左手托台、右手托台表面等高，第I摄像机的视角范围能完整的覆盖手术操作者的左前臂、右前臂和左手托台、右手托台的接触处。
[0015]作为优选，第2摄像机安装位置要求其视角覆盖整个手术场所，用于记录手术室内的状况和手术者的坐姿；第2摄像机水平放置，其视角中心与手术者坐下时的整个人体的中心重合。
[0016]作为优选，压力采集仪通过RS232、USB或者以太网接口与中心控制器的接口连接。
[0017]作为优选，中心控制器是具有RS232、网口、USB接口且主板具有PCIE X 4或者以上的工控机、PC机或服务器。
[0018]对于手术机器人的操作监测方法，本发明采用的技术方案是:包括以下步骤:
[0019](I)设备安装:将2组薄膜压力传感器分别安装在手术机器人或手术机器人模拟器(以下统称手术机器人)的左手托台和右手托台上，并使每组薄膜压力传感器覆盖所安装托台的整个表面；
[0020]将第I摄像机安装于手术操作者的正前方；第I摄像机的视角中心与左手托台、右手托台的中心连线重合，第I摄像机的高度与左手托台、右手托台表面等高，第I摄像机的视角范围能完整的覆盖手术操作者的左前臂、右前臂和左手托台、右手托台的接触处；
[0021]安装第2摄像机，要求第2摄像机的视角覆盖整个手术场所，用于记录手术室内的状况和手术者的坐姿；第2摄像机水平放置，其视角中心与手术者坐下时的整个人体的中心重合；
[0022](2)设备连接:将2组薄膜压力传感器通过压力采集仪与中心控制器连接；
[0023]将第I摄像机、第2摄像机以及来源于手术机器人成像系统的第3视频信号、第4视频信号与视频采集卡连接，再将视频采集卡与中心控制器连接；所述第3、4视频信号与手术机器人成像系统的视野相同；
[0024](3)手术过程开始，软件运行，同时开启压力数据和视频数据的实时采集，处理和存储；
[0025](4)当手术操作者前臂脱离托台，安装在托台上压力传感器即传输无压力数据，软件对脱离时间和脱离持续时间记录，并语音告警；
[0026](5)当观摩专家对操作过程中的不规范动作进行标记时，软件对标记的时间和标记的持续时间记录，并发出语音告警；专家通过鼠标的左键，右键和滚轮分别标记不同等级的不规范动作，当专家按下左键，右键和滚轮时，实时画面会用不同的颜色在不规范动作处以光标所在位置为圆心以光标拖拽范围为半径画圆进行标记；
[0027](6)对手术过程实时采集的压力数据和视频数据进行处理和存储，并对手术过程中的压力异常和专家标记情况进行统计，给予评价；
[0028](7)可以对整个手术过程回放，或者回放压力出现异常时的压力数据和视频图像，或者回放专家标记时的压力数据和视频图像。
[0029]作为优选，薄膜式压力传感器是电阻式、电容式或压电式薄膜压力传感器；所述薄膜式压力传感器采用单元式、组合式或阵列式进行组合并覆盖托台整个表面，当手术操作者的前臂支撑于托台表面的任何位置时，薄膜式传感器都可以感应到。
[0030]作为优选，压力采集仪通过RS232、USB或者以太网接口与中心控制器的接口连接。
[0031]本发明的有益效果是:
[0032]通过监测手术操作者前臂对托台的压力情况来判断记录手术操作者的“错误程度”，从而计算出手术质量，以此实现对手术操作者进行有效的培训，以及对手术过程进行监测。
[0033]本发明不额外增加手术者的负担，改变现在由教师人工观察的方式，实现自动化纠错，让一对多培训成为可能，从而提高培训效率。可以监测手术过程，提高术者操作质量，同时可以实现优秀手术医生手术过程的实时观摩。
【专利附图】
【附图说明】
[0034]下面结合附图和【具体实施方式】对本发明作进一步详细的说明。
[0035]图1是本发明手术机器人操作监测系统实施例的结构示意图。
[0036]图2是本发明手术机器人的操作监测方法实施例的流程图。
【具体实施方式】
[0037]图1是一种手术机器人操作监测系统，由2组薄膜压力传感器及相应的压力采集仪、第I摄像机、第2摄像机、视频采集卡、中心控制器组成。
[0038]2组薄膜压力传感器分别安装在手术机器人或手术机器人模拟器(以下统称手术机器人)的左手托台和右手托台上，2组薄膜压力传感器通过压力采集仪与中心控制器连接，第I摄像机、第2摄像机以及来源于手术机器人成像系统的第3视频信号、第4视频信号与视频采集卡连接；视频采集卡与中心控制器连接。
[0039]硬件及安装说明:
[0040]1、薄膜压力传感器两组及相应的压力采集仪:安装在手术机器人的左右两个托台上，用于监测托台对手术操作者前臂的支撑情况；
[0041]薄膜式压力传感器可以是电阻式，电容式，压电式等薄膜压力传感器，其特点是基本不改变托台的形状和大小；可以采用单元式，组合式，阵列式薄膜压力传感器，其要求是可以完整的覆盖托台的表面，当手术操作者的前臂支撑于托台表面的任何位置时，薄膜式传感器都可以感应到；
[0042]2、第I摄像机:第I摄像机安装于手术操作者的正前方，摄像机视角中心与左右两个托台的中心重合，高度与托台表面等高，视角范围可以完整的覆盖手术操作者的两个前臂和托台的接触情况；
[0043]第I摄像机的视野覆盖托台和手术操作者的前臂，配合压力传感器实时监测手术操作者的手部动作，并录像，标记，并实时报警。
[0044]3、第2摄像机:第2摄像机:安装位置要求其视角覆盖整个手术场所，主要用于记录手术室内的状况，主要是手术者的坐姿等。比如可以安装如手术操作者侧面3米处，可水平放置，视角中心与手术者坐下时的整个人体的中心重合；
[0045]第2摄像机的视野覆盖整个手术场所，主要用于记录手术室内的状况，包括手术者的坐姿等。
[0046]4、第3、第4视频信号:第3、第4视频信号来源于手术机器人成像系统，第3、第4视频信号与手术者手术过程中的视野相同。
[0047]5、压力采集仪:用于采集相应薄膜压力传感器的压力数据变化，其与中心控制器的接口可以使用RS232，USB或者以太网接口等数据接口 ；
[0048]6、视频采集卡:视频采集卡的选择，要求可以兼容手术机器人成像系统的视频信号，同时可以兼容第I摄像机和第2摄像机的视频输出接口，根据视频数据量的大小与中心处理器的接口可以选择PCIE或者千兆以太网接口等，例如达芬奇手术机器人的视频输出有DVI视频输出接口，本系统可以采用四路HDMI视频采集卡，达芬奇手术机器人的视频信号可以直接通过DVI转HDMI线缆无缝传输至四路HDMI视频采集卡，同时目前绝大多数高清摄像机均带有HDMI接口，可以直接连接到HDMI视频采集卡其他两个输出接口，同时四路HDMI视频采集卡与中心控制器的接口是PCIEX4槽，使得视频数据的传输非常流畅；
[0049]视频采集卡用于采集第1、第2摄像机、第3、第4视频信号，一共四路视频信号。
[0050]7、中心控制器:其要求是具有压力采集仪和视频采集卡对应的接口，可以实时处理两个前臂压力变化数据和四路视频图像数据，一般可以采用具有PCIE PCIE X 4或者以上的工控机或者PC机，服务器等。
[0051]中心控制器可以是电脑，工控机等，用于处理压力传感器信号和视频信号，并进行处理，语音播放等。
[0052]本实施例的软件包括以下功能:
[0053]1、压力数据的实时采集和处理，相应视频的实时显示，记录和语音告警；
[0054]2、术后手术操作者的前臂对托台负载的统计，前臂离开托台的次数，每次时间长短的统计，打分等功能；
[0055]3、提供专家对手术操作者的实时观摩和指导，并可在实时视频上进行标记，录像；
[0056]本实施例的工作过程:
[0057]1、两组薄膜压力传感器分别安装在手术机器人的左手托台和右手托台上，手术过程中，手术操作者的左右手的前臂支撑在托台之上，薄膜压力传感会感应到压力，当有不规范操作时，任一前臂离开托台，相应的传感器的压力消失，压力采集仪完成压力变化的监测，并将压力信息传输至中心控制器进行处理；
[0058]2、第I摄像机完成对整个手术过程中手术操作者前臂动作的实时记录，并将视频信息通过数据采集仪(器)实时传输至中心控制器；第2摄像机对整个手术过程中手术室环境和状况的实时记录，包括对手术操作者坐姿的记录，并将视频信息通过数据采集仪(器)实时传输至中心控制器；
[0059]3、手术机器人成像系统的视频信号是手术过程中手术操作者看到的手术场景，通过视频分路器实时传送至中心控制器；
[0060]4、中心控制器实时完成对压力数据，各路视频数据的实时搜集，显示，处理，记录和语音告警。
[0061]以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。
【权利要求】
1.手术机器人操作监测系统，其特征在于:包括2组薄膜压力传感器及相应的压力采集仅、弟I摄像机、弟2摄像机、视频米集卡、中心控制器； 2组薄膜压力传感器分别安装在手术机器人或手术机器人模拟器(以下统称手术机器人)的左手托台和右手托台上，所述2组薄膜压力传感器通过压力采集仪与中心控制器连接; 所述第I摄像机、第2摄像机以及来源于手术机器人成像系统的第3视频信号、第4视频信号与视频采集卡连接；所述第3视频信号和第4视频信号是与实时传输患者手术部位的视频数据至手术操作者视频信号相同的视频信号； 视频采集卡与中心控制器连接。
2.根据权利要求1所述的手术机器人操作监测系统，其特征在于:还包括语音提醒单元；所述语音提醒单元与中心控制器连接。
3.根据权利要求1所述的手术机器人操作监测系统，其特征在于:所述薄膜式压力传感器是电阻式、电容式或压电式薄膜压力传感器；所述薄膜式压力传感器采用单元式、组合式或阵列式进行组合并覆盖托台整个表面，当手术操作者的前臂支撑于托台表面的任何位置时，薄膜式传感器都可以感应到。
4.根据权利要求1所述的手术机器人操作监测系统，其特征在于:所述第I摄像机安装于手术操作者的正前方；第I摄像机的视角中心与左手托台、右手托台的中心连线重合，第I摄像机的高度与左手托台、右手托台表面等高，第I摄像机的视角范围能完整的覆盖手术操作者的左前臂、右前臂和左手托台、右手托台的接触处。
5.根据权利要求1所述的手术机器人操作监测系统，其特征在于:所述第2摄像机安装位置要求其视角覆盖整个手术场所，用于记录手术室内的状况和手术者的坐姿；第2摄像机水平放置，其视角中心与手术者坐下时的整个人体的中心重合。
6.根据权利要求1所述的手术机器人操作监测系统，其特征在于:所述压力采集仪通过RS232、USB或者以太网接口与中心控制器的接口连接。
7.根据权利要求1所述的手术机器人操作监测系统，其特征在于:所述中心控制器是具有RS232、网口、USB接口且主板具有PCIE X 4或者以上的工控机、PC机或服务器。
8.手术机器人的操作监测方法，包括以下步骤: (1)设备安装:将2组薄膜压力传感器分别安装在手术机器人或手术机器人模拟器(以下统称手术机器人)的左手托台和右手托台上，并使每组薄膜压力传感器覆盖所安装托台的整个表面； 将第I摄像机安装于手术操作者的正前方；第I摄像机的视角中心与左手托台、右手托台的中心连线重合，第I摄像机的高度与左手托台、右手托台表面等高，第I摄像机的视角范围能完整的覆盖手术操作者的左前臂、右前臂和左手托台、右手托台的接触处； 安装第2摄像机，要求第2摄像机的视角覆盖整个手术场所，用于记录手术室内的状况和手术者的坐姿；第2摄像机水平放置，其视角中心与手术者坐下时的整个人体的中心重合； (2)设备连接:将2组薄膜压力传感器通过压力采集仪与中心控制器连接； 将第I摄像机、第2摄像机以及来源于手术机器人成像系统的第3视频信号、第4视频信号与视频采集卡连接，再将视频采集卡与中心控制器连接；所述第3、4视频信号与手术机器人成像系统的视野相同； (3)手术过程开始，软件运行，同时开启压力数据和视频数据的实时采集，处理和存储； (4)当手术操作者前臂脱离托台，安装在托台上压力传感器即传输无压力数据，软件对脱离时间和脱离持续时间记录，并语音告警； (5)当观摩专家对操作过程中的不规范动作进行标记时，软件对标记的时间和标记的持续时间记录，并发出语音告警；专家通过鼠标的左键，右键和滚轮分别标记不同等级的不规范动作，当专家按下左键，右键和滚轮时，实时画面会用不同的颜色在不规范动作处以光标所在位置为圆心以光标拖拽范围为半径画圆进行标记； (6)对手术过程实时采集的压力数据和视频数据进行处理和存储，并对手术过程中的压力异常和专家标记情况进行统计，给予评价； (7)可以对整个手术过程回放，或者回放压力出现异常时的压力数据和视频图像，或者回放专家标记时的压力数据和视频图像。
9.根据权利要求8所述手术机器人的操作监测方法，其特征在于:所述薄膜式压力传感器是电阻式、电容式或压电式薄膜压力传感器；所述薄膜式压力传感器采用单元式、组合式或阵列式进行组合并覆盖托台整个表面，当手术操作者的前臂支撑于托台表面的任何位置时，薄膜式传感器都可以感应到。
10.根据权利要求8所述手术机器人的操作监测方法，其特征在于:所述压力采集仪通过RS232、USB或者以太网接口与中心控制器的接口连接。
【文档编号】A61B19/00GK104306071SQ201410607109
【公开日】2015年1月28日 申请日期:2014年11月4日 优先权日:2014年11月4日
【发明者】杨琨, 魏焕东 申请人:合肥市嘉升电子科技有限公司