一种采用手势操作的介入机器人主端控制系统的制作方法

1.本发明属于微创血管介入手术器械领域，涉及对于介入手术中机器人主端控制技术，特别涉及一种采用手势操作的介入机器人主端控制系统。


背景技术：

2.全球每年有近3000万人死于心脑血管疾病，占所有疾病死亡率的30％左右，其中，我国患有心脑血管疾病人数近3亿。心脑血管疾病已经成为人类疾病死亡的三大原因之一，严重影响着国民健康和人们的正常生活。
3.心脑血管微创介入疗法是针对心脑血管疾病的主要治疗手段。和传统外科手术相比，有着切口小、术后恢复时间短等明显优势。心脑血管介入手术是由医生手动将导管、导丝以及支架等器械送入病患体内来完成治疗的过程。
4.介入造影手术存在以下2点问题，第一，在手术过程中，由于dsa会发出x射线，医生体力下降较快，注意力及稳定性也会下降，将导致操作精度下降，易发生因推送力不当引起的血管内膜损伤、血管穿孔破裂等事故，导致病人生命危险。其次，长期电离辐射的积累伤害会大幅地增加医生患白血病、癌症以及急性白内障的几率。医生因为做介入手术而不断积累射线的现象，已经成为损害医生职业生命、制约介入手术发展不可忽视的问题。
5.通过借助机器人技术能够有效应对这一问题，还可以大幅提高手术操作的精度与稳定性，同时能够有效降低放射线对介入医生的伤害，降低术中事故的发生几率。因此，心脑血管介入手术辅助机器人越来越多的被人们所关注，逐渐成为当今各科技强国在医疗机器人领域的重点研发对象。而介入机器人的主端控制系统是介入机器人的重要环节。
6.但，目前介入手术机器人的主端操作端存在如下几个方面的问题：(1)主端控制盒体积较大，占据桌面的空间较多；(2)操作方式比较单一，医生只能被动适应控制盒的方式；(3)介于空间的限制，控制精度不能达到很高；(4)任何人可以操作，无法保证术者操作的唯一性和安全性；(5)无法快速实现医生在手术中的操作动作。


技术实现要素：

7.本发明的主要目的在于提供一种至少部分解决上述技术问题的采用手势操作的介入机器人主端控制系统，可以配合介入手术机器人的从端执行机构来使用，实现用手势操作来控制介入手术机器人动作。
8.为实现上述目的，本发明采取的技术方案为：
9.本发明提供一种采用手势操作的介入机器人主端控制系统，包括：
10.触摸屏、主机和指环；
11.其中，所述指环用于佩戴在使用者手指上，作为所述触摸屏的采集手势焦点；
12.所述触摸屏用于显示系统信息、数据录入、功能选择，并基于所述指环的位置采集手势信息；
13.所述主机与所述触摸屏连接，接收所述触摸屏采集的手势信息进行分析判断，得
出相应的操作指令；并将所述操作指令传送给下位机的操作机器人执行相应动作。
14.进一步地，所述触摸屏包括屏幕结构和摄像头；
15.所述摄像头位于所述屏幕结构的一侧，且与所述屏幕结构连接；所述摄像头用于采集佩戴所述指环的手势信息。
16.进一步地，所述屏幕结构包括屏幕、支架和外壳；
17.所述屏幕安装在所述外壳构成的框架内；所述支架一端安装在所述框架上，另一端与所述屏幕背部抵接。
18.进一步地，所述屏幕为以下任一种类型：
19.电阻式触摸屏、电容感应式触摸屏、红外线式触摸屏以及表面声波式触摸屏。
20.进一步地，所述外壳的顶端具有旋转支架；所述摄像头安装在由前盖和上盖构成的腔体内；
21.所述前盖具有与所述摄像头对应的通孔，所述上盖底部具有旋转装置；所述旋转装置与所述旋转支架适配安装，实现对所述摄像头的摆放角度调节。
22.进一步地，所述指环包括：用于佩戴在手指上的环体和嵌入在所述环体内的芯片板；
23.所述芯片板与所述摄像头相适配，作为所述摄像头的采集基准点。
24.进一步地，所述主机包括：
25.登录模块，用于验证使用者的登录信息，确定使用者的身份和操作权限；
26.选择模块，用于供处于登录状态的使用者选择并调用对应的手势数据库；
27.控制模块，用于根据所述摄像头采集的手势信息，在对应的手势数据库中进行对比判断，确定相应的操作指令；并根据所述操作指令控制操作机器人执行相应动作。
28.进一步地，所述主机还包括：
29.反馈模块，用于实时反馈所述控制模块中的操作指令，通过所述触摸屏进行显示。
30.进一步地，所述主机还包括：
31.录入模块，用于通过触摸屏接收手势编辑的触摸操作，并结合所述摄像头连续采集同一手势n次，完成相应动作录入或修改；
32.识别模块，用于在所述录入模块中，当所述摄像头连续采集同一手势不满足预设条件时，退出录入模块的录入操作；所述预设条件为：连续采集同一手势小于n次，或采集过程超过预设时长；
33.保存模块，用于将所述录入模块录入或修改相应动作的手势信息关联存储到手势数据库中。
34.进一步地，所述主机还包括：
35.自定义模块，用于接收用户自定义的控制操作机器人急停的命令手势并存储到手势数据库中。
36.与现有技术相比，本发明具有如下有益效果：
37.一种采用手势操作的介入机器人主端控制系统，包括：触摸屏、主机和指环；其中，所述指环用于佩戴在使用者手指上，作为所述触摸屏的采集手势焦点；所述触摸屏用于显示系统信息、数据录入、功能选择，并基于所述指环的位置采集手势信息；所述主机与所述触摸屏连接，接收所述触摸屏采集的手势信息进行分析判断，得出相应的操作指令；并将所
述操作指令传送给下位机的操作机器人执行相应动作。该控制系统结构较为简单、体积较小、占用空间较小、无需使用机器人的控制盒等装置，节省了桌面空间；成本低、方便使用，且操作简单，有助于提高控制精度。设置有控制指环，保证了手术操作者的唯一性和安全性；可以配合介入手术机器人的从端执行机构来使用，方便医生实现用手势操作来控制介入手术机器人动作，完成导丝和导管前进、后撤、旋转等所有手术中的操作。
38.进一步地，该控制系统仅供有登录权限的使用者使用，也可保证术者操作的唯一性和安全性。另外，该控制系统克服了操作方式单一的问题，可以根据使用者偏好录入设置与手术机器人动作相匹配的手势。
附图说明
39.图1为本发明实施例提供的采用手势操作的介入机器人主端控制系统的整体结构示意图
40.图2为本发明实施例提供的触摸屏结构背面示意图；
41.图3为本发明实施例提供的触摸屏结构爆炸示意图；
42.图4为本发明实施例提供的指环结构示意图；
43.图5为本发明实施例提供的主机功能模块示意图；
44.图6为本发明实施例提供的采用手势操作的介入机器人主端控制系统工作流程图；
45.图7为本发明实施例提供的介入机器人主端控制系统手势录入手势流程图；
46.图8为本发明实施例提供的介入机器人主端控制系统手势操作演示图；
47.附图中：触摸屏-100；屏幕-101；外壳-102；支架-103；前盖-104；摄像头-105；上盖-106；旋转支架-107；电源接口-108；视频接口-109；
48.主机-200；
49.指环-300；芯片板-301；环体-302。
具体实施方式
50.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
51.在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
52.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
53.参照图1所示，本发明提供的一种采用手势操作的介入机器人主端控制系统，包
括：触摸屏100，主机200和指环300。其中，触摸屏100用于显示系统信息，数据录入，功能选择，并基于指环300的位置实现对手势数据采集等。主机200用于接收数据，分析和处理数据，发送指令给下位机。
54.指环300用于佩戴在使用者手指上，作为触摸屏的采集手势焦点；实现对手势的准确识别，提高系统识别率。控制系统作为介入机器人的主端装置，可放置在手术室外，主机200通过线缆和手术室内的机器人从端执行机构进行连接。在具体实施时，比如医生只需坐在手术室外的椅子上，在触摸屏100前，佩戴好指环300，然后使用不同的手势控制机器人完成手术。介入手术中常用的操作有导丝前进、导丝后退，导丝旋转，支架前进，支架后退，导引导管前进，导引导管后退，导引导管旋转等。
55.其中，触摸屏100的数据录入功能，比如是医生可以根据自己的习惯，把每个动作定义一个手势，根据手术需要，采用不同手术进行手术操作。功能选择，比如在触摸屏100上，选择不同的操作对象。如选择控制导丝，然后用手势对导丝操作。
56.该控制系统结构较为简单、体积较小、占用空间较小、无需使用机器人的控制盒等装置，节省了桌面空间；成本低、方便使用，且操作简单，有助于提高控制精度。设置有控制指环，保证了手术操作者的唯一性和安全性；可以配合介入手术机器人的从端执行机构来使用，方便医生实现用手势操作来控制介入手术机器人动作，完成导丝和导管前进、后撤、旋转等所有手术中的操作。
57.如图2、3所示，介入机器人主端控制系统的触摸屏100包括屏幕结构和摄像头105，其中，摄像头105位于屏幕结构的一侧，且与屏幕结构连接；摄像头105用于采集佩戴了指环100手部的手势信息。具体地，屏幕结构包括屏幕101、支架103和外壳102；屏幕101安装在外壳102构成的框架内；支架103一端安装在框架上，另一端与屏幕101背部抵接。
58.如图3所示，支架103一端安装在外壳102上，另一端和屏幕101相固定。本实施例对支架的形状不作限定，可稳定放置在水平面上即可。屏幕101可采用电阻式触摸屏、电容感应式触摸屏、红外线式触摸屏以及表面声波式触摸屏的任一种，可优选电容式触摸，定位更准确。屏幕101可以实现人机交互，医生可以通过触摸操作进行信息的录入，功能选择，参数设置，数据观察等功能。
59.摄像头105安装在上盖106内，和前盖104进行配合安装。上盖106下端设计有旋转装置，和旋转支架107进行配合安装，可以实现对摄像头的摆放角度调节，适应实际使用需求。其中，屏幕101的侧面还具有电源接口108用于连接电源线，视频接口109用于连接视频线，该视频线与主机200相连接。
60.如图4所示，介入机器人主端控制系统的指环300，主要有2部分组成，指环的环体302和指环内嵌入的芯片板301。指环的环体302和操作者的手指配合，使用时可以任选一根手指，穿过指环的环体302。在指环300内，有嵌入式的芯片板301。它可以和摄像头105进行配合使用，正常工作时，摄像头的角度可以自动跟踪到指环内的芯片板301上，这样可以保证检测手势的准确性和唯一性。另外，环体302也可参照戒指的紧固方式，可适配不同直径的手指。
61.其中，摄像头和芯片板配合的工作原理如下：
62.芯片板内含有三维坐标传感器，无线信号发射模块，电源模块，指示灯等。芯片板可以采用arm芯片。芯片板可以把芯片所处的空间坐标可以进行采集，通过无线信号发送模
块把位置坐标信息发送到与摄像头连接的主机内，主机经过计算，得到所要检测的目标区域发送给摄像头，摄像头会把焦点聚集到目标区域，即指环所在的位置上，进行重点观察指环周围的手势，并把距离指环较远的区域进行排除，减小检测数据，提高检测的效率。
63.参照图5所示，该主机包括：
64.登录模块，用于验证使用者的登录信息，确定使用者的身份和操作权限；
65.选择模块，用于供处于登录状态的使用者选择并调用对应的手势数据库；
66.控制模块，用于根据所述摄像头采集的手势信息，在对应的手势数据库中进行对比判断，确定相应的操作指令；并根据所述操作指令控制操作机器人执行相应动作。
67.如图6所示，系统的正常工作流程为首先系统开机，用户输入正确的登录信息后，选择自己熟悉的手势数据库，此时系统会调入事先准备好的手势信息，用于和用户的手势进行对比判断。然后用户佩戴好指环，根据手术的情况，在触摸屏、主机和指环的协同配合下，可以配合进行不同的手势来操作手术。
68.如图5中所示，还包括：反馈模块，用于实时反馈所述控制模块中的操作指令，通过所述触摸屏进行显示。自定义模块，用于接收用户自定义的控制操作机器人急停的命令手势并存储到手势数据库中。
69.摄像头105采集到手势信息后，会把收集的信息也显示在触摸屏上，实时给予医生反馈，来保证操作信息的准确性。系统也会要求用户定义一种急停命令手势，以防一旦有错误信息时，及时停止机器人从端装置动作，保证手术的安全。
70.此外，参照图5，主机还包括：
71.录入模块，用于通过触摸屏接收手势编辑的触摸操作，并结合所述摄像头连续采集同一手势n次，完成相应动作录入或修改。比如医生可以通过自定义操作方式，使得机器人的操作更加灵活，使用更加便捷、舒适。
72.识别模块，用于在所述录入模块中，当所述摄像头连续采集同一手势不满足预设条件时，退出录入模块的录入操作；所述预设条件为：连续采集同一手势小于n次，或采集过程超过预设时长。
73.保存模块，用于将所述录入模块录入或修改相应动作的手势信息关联存储到手势数据库中。
74.比如，当接收手势编辑的触摸操作时，判断是否处于用户登录状态，如未登录，则跳转到登录界面；只有当处于登录状态时，结合摄像头连续采集同一手势n次，完成相应动作录入或修改。如图7中所示，当识别到连续采集的同一手势小于5次时，或用户在更换、展示手势时超过3秒钟，则认定手势录入或修改失败；提示用户重新录入或退出录入的界面。
75.如图7所示，用户可以通过点击触摸屏，来进行手势系统的修改或新的录入。手势信息采集的流程为，在系统开机、登录，医生佩戴好指环后，系统会出现不同的操作动作录入，如导丝前进，此时，医生需摆放出他想要的手势，然后系统会把这个手势储存到主机200中，同一个手势需要重复比如5-10次，以保证机器能准确的学习到手势信息。依此方法进行所有的机器人的操作动作的手势录入。录入完成后，医生可以选择进行手势的确认，来保证每个手势系统都能准确的响应。全部准确后，系统可以把这些手势信息储存到数据库内，用户可以对数据进行重命名，用户可以设置有多个数据库，这样不同的医生可以使用不同的手势来进行操作，使得人们对机器的控制更加方便。
76.如图8所示，这是一个手势操作的示意图，图中指环300佩戴在大拇指上，食指指向前方，其他手指收回。这个手势比如可以代表导丝向前移动。用户面向触摸屏100，摄像头105可以采集到这个手势信息，经过主机分析处理后，把指令传递给机器人从端执行机构，就可以带动导丝进行向前移动。
77.本发明实施例提供的采用手势操作的介入机器人主端控制系统，主要包括触摸屏，主机，指环3个部分。主要工作原理如下：
78.触摸屏用于显示系统信息，数据录入，功能选择，手势数据采集等。内部主要有2部分组成，屏幕显示和摄像头。屏幕采用电容触摸屏，可以进行人机交互操作。摄像头用于采集数据，配合指环一起使用。摄像头下端的支架可以自由调整角度。摄像头会把焦点集中在指环的位置，通过识别人手的不同手势，把信号发送到主机，主机会对数据进行分析判断，从而得到人们给发出的不同的指令，进而把指令传给给下位机的执行机构，从而达到控制机器人动作的效果。
79.该主机内置有系统程序与手势数据库，医生可以教给系统不同手势代表的不同指令。系统可以把这些指令储存到数据库内，用户可以设置有多个数据库，这样不同的医生可以使用不同的手势来进行操作，使得人们对机器的控制更加方便。
80.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。