基于视线追踪控制的医用内窥镜操控系统的制作方法

基于视线追踪控制的医用内窥镜操控系统的制作方法
【专利摘要】本发明提供了一种基于视线追踪控制的医用内窥镜操控系统，包括相互建立无线通信连接的头戴式视线追踪控制器和医用内窥镜，其头戴式视线追踪控制器能够佩戴于人体头部上，能够通过眼动作和视线进行追踪识别而对显示画面上的操作指针加以控制，还能够通过语音和操作键等方式，实现人机交互，进而触发相应的内窥镜控制指令来控制医用内窥镜执行相应操作，并通过头戴式视线追踪控制器上的显示画面呈现医用内窥镜的探头前方拍摄到的数字图像，在视觉上达到了数字图像画面与现实场景相叠加的效果，从而能够在操控过程中减少、甚至避免视线和手动操作的频繁切换，帮助减少医用内窥镜操控系统的使用对于手术操作和手术质量的影响，具有广阔的应用前景。
【专利说明】基于视线追踪控制的医用内窥镜操控系统

【技术领域】
[0001] 本发明涉及医疗器械【技术领域】，具体涉及一种基于视线追踪控制的医用内窥镜操 控系统。

【背景技术】
[0002] 随着科学技术的发展进步，人们生活水平的不断提高，广大人民群众对手术的个 方面要求也在不断提高，"微创"这一概念已深入到外科手术的各种领域，世界卫生组织提 出：二十一世纪的医学外科将是微创和无创的外科。外科手术由皮肤切开手术向更加隐蔽 的内窥镜手术发展，这种手术创伤较小，恢复较快，痛苦较小，受到广大患者的欢迎，人们把 这种手术称为"钥匙眼手术"。
[0003] 最初的医用内窥镜和监控设备体积庞大，价格较为昂贵，连接导线的存在给手术 带来不方便，极大的限制手术范围及场地。
[0004] 如中国专利号200820005178. 5公开了一种医用便携式螺丝刀形无线内窥镜，其 属于医用专用手术器械，涉及一种医用便携式螺丝刀形无线内窥镜。产品外观仅是一个如 螺丝刀大小的操作器和一个书本大小的平板监视器。电路由微型针孔摄像镜头、CCD成像 系统、信号发射器、信号接收器、电源电池五个部分组成。它将五个部分的器件全部数字化、 微型化，且全部集中于一个螺丝刀大小的外壳中，体积缩小了百倍，并达到无线传输。
[0005] 又如，中国专利申请号为201410066784. 8公开了一种便携式内窥镜视频系统，其 涉及医疗器械领域，特别涉及一种结构简单、便于携带的内窥镜视频系统。包括手持主机， 无线视频接收器及无线脚踏开关，所述手持主机上设有光学接口及显示屏，所述手持主机 内置有摄像头，LED冷光源，影像处理器，显示模块，无线数据发送模块及供电单元。其结构 简单，便于携带，功耗低，可与各种医用内窥镜配接，适用于临床医疗诊断治疗。
[0006] 上述两个专利的无线内窥镜和便携式内窥镜视频的手持主机可以相结合使用，利 用手持主机对内窥镜采集的视频进行监视观测，进而构成一种医用内窥镜监视系统。但是， 以上专利中涉及的医用内窥镜监视系统技术，都主要着重于针对手持设备的设计，没有考 虑手术过程中使用者同时操作内窥镜和手持设备时，在视线切换和手动操作两方面都可能 存在应接不暇的状况。因为使用者的视线一边需要关注患者的伤口情况，一边又需要观察 对内窥镜的操作情况，还要时常转头查看监视设备上的视频显示画面，以观察内窥镜采集 的视频情况，这种视线的不断切换，在手术过程中会造成一定的时间延误，同时，视线的切 换也使得使用者难以将患者的伤口情况与窥镜采集的视频情况有效地进行结合观察；另一 方面，系统中对内窥镜的监视设备仅仅具备视频监视功能以及对视频进行暂停/播放功能 切换、截图等简单操作，而无法一并对内窥镜的光照、图像缩/放、拍照/摄像功能切换等操 作进行控制，因此使用者在手动操作上也时常需要在监视设备、内窥镜设备的操作之间进 行切换，同时还要关于手术操作。这些因素，不仅使得内窥镜手术的监视和手动控制操作麻 烦，让操作者在视线切换和手动操作两方面都应接不暇，而且在一定程度上还会分散操作 者的注意力，影响手术操作质量，增加误操作隐患，导致手术时间增长，进而给手术患者带 来更大的手术风险。
[0007] 综上所述，现有微创外科手术设备存在医用内窥镜和监视设备之间的操控结合性 较差，监视和手动控制操作都较为麻烦，需要对视线和手动操作进行频繁的切换，并且容易 影响手术质量，增加手术风险的问题。


【发明内容】

[0008] 针对现有技术中存在的上述不足，本发明的目的在于提供一种基于视线追踪控制 的医用内窥镜操控系统，其能够佩戴于人体头部上且能够通过眼部动作对操作指针加以操 作控制而实现人机交互，并能够在视觉上达到了医用内窥镜采集的数字图像画面与人眼视 线所观察到的现实场景相叠加的人机交互效果，增强了系统的操控结合性，从而能够在操 控过程中减少、甚至避免视线和手动操作的频繁切换，进而解决现有微创外科手术设备操 控结合性差、监视和手动控制操作麻烦、容易影响手术质量的问题。
[0009] 为解决上述技术问题，本发明采用了如下的技术手段： 基于视线追踪控制的医用内窥镜操控系统，包括相互建立无线通信连接的头戴式视线 追踪控制器和医用内窥镜；所述头戴式视线追踪控制器具有显示模块，用于佩戴在人体头 部，通过对人眼动作和视线进行追踪识别而控制显示模块输出的显示画面上操作指针的指 示位置以及操作指针所执行的功能操作，进而根据操作指针的指示位置以及操作指针所执 行的功能操作触发相应的内窥镜控制指令，通过无线通信将内窥镜控制指令传送至医用内 窥镜，并接收医用内窥镜通过无线通信回传的数字图像，通过显示模块的显示画面加以呈 现；所述医用内窥镜用于接收头戴式视线追踪控制器通过无线通信传送的内窥镜控制指 令，根据内窥镜控制指令执行相应操作，并拍摄和处理得到其探头前方的数字图像，通过无 线通信将数字图像回传至头戴式视线追踪控制器进行显示。
[0010] 在上述基于视线追踪控制的医用内窥镜操控系统基础上，作为一种具体的实施方 案，所述头戴式视线追踪控制器包括用于通过佩戴而固定在人体头部上的佩戴支架，以及 设置在所述佩戴支架上的红外测距传感器、微型红外摄像头、图像处理模块、视线追踪识别 模块、中央控制模块、数据存储模块、第一无线数据收发模块、显示模块和第一电源模块；所 述佩戴支架具有对应于人体眉毛位置处的眉部，所述微型红外摄像头以及红外测距传感器 的红外发射器和红外接收器均设置于佩戴支架的眉部并朝向人体眼睛所在方向；所述显示 模块输出的显示画面所在位置位于佩戴支架的眉部的下方对应于人体眼睛位置处； 其中，微型红外摄像头的红外图像数据输出端与图像处理模块的红外图像采集端电连 接，图像处理模块的处理数据输出端与视线追踪识别模块的人眼数据采集端电连接，视线 追踪识别模块的识别信息输出端与中央控制模块的眼动数据输入端电连接，红外测距传感 器的距离信号输出端与中央控制模块的距离数据输入端电连接，中央控制模块的显示信号 输出端与显示模块的显示信号输入端电连接，中央控制模块的参数采集端与数据存储模块 进行数据连接，中央控制模块的数据通信端与第一无线数据收发模块进行数据连接，由第 一电源模块分别为红外测距传感器、微型红外摄像头、图像处理模块、视线追踪识别模块、 中央控制模块、数据存储模块、第一无线数据收发模块和显示模块供电； 所述显示模块用于通过输出的显示画面显示对医用内窥镜进行操作控制的虚拟操作 按钮，并根据显示信号输入端接收到的信号对其显示画面中所显示呈现的内容以及操作指 针所指示的位置和执行的功能操作进行显示控制； 所述数据存储模块用于存储设备参数数据和指令参数数据；所述设备参数数据记录的 信息包括佩戴支架上红外接收器所在位置与显示模块输出的显示画面所在位置之间的三 维位置关系；所述指令参数数据记录的信息包括操作指针功能指令所对应的眼睛睁闭动作 以及瞳孔移动动作，还包括显示画面中虚拟操作按钮被触发时所对应的内窥镜控制指令； 所述红外测距传感器用于通过红外发射器实时地向人体眼睛所在位置发射出红外光， 通过红外接收器接收由红外光在人体眼睛所在位置漫反射后返回的红外反射光，由红外测 距传感器的测距处理模块根据红外光发出时间与红外反射光接收时间之间所存在的时差 进行换算而测得佩戴支架上红外接收器所在位置与人体眼睛所在位置的距离数据，并将该 距离数据传送至中央控制模块； 所述微型红外摄像头用于拍摄人体眼睛所在位置的原始红外图像，并通过红外图像数 据输出端实时地传送至图像处理模块； 所述图像处理模块用于实时获取微型红外摄像头拍摄的原始红外图像，通过图像分割 处理从原始红外图像中分割得到人眼区域图像，并将得到的人眼区域图像进行滤波和边缘 增强处理后，通过处理数据输出端实时地传送至视线追踪识别模块； 所述视线追踪识别模块用于实时获取图像处理模块处理得到的人眼区域图像，通过图 像边界识别处理而确定人眼区域图像中的眼睛形状、瞳孔位置和角膜反射光斑，进而确定 眼睛的睁闭状态、瞳孔中心所在位置以及角膜反射光斑中心所在位置，并将眼睛的睁闭状 态、瞳孔中心所在位置以及角膜反射光斑中心所在位置通过识别信息输出端实时地传送至 中央控制|吴块； 所述第一无线数据收发模块用于与医用内窥镜建立无线通信连接，实现与医用内窥镜 之间的数据收发通信； 所述中央控制模块用于实时地根据眼动数据输入端接收到的瞳孔中心所在位置与角 膜反射光斑中心所在位置所构成的位置向量而估算确定人眼的视线方向，并结合通过参数 采集端从数据存储模块提取的佩戴支架上红外接收器所在位置与显示模块输出的显示画 面所在位置之间的三维位置关系以及通过距离数据输入端获取到的佩戴支架上红外接收 器所在位置与人体眼睛所在位置的距离数据构建空间三维坐标，通过该空间三维坐标计算 确定人体眼睛所在位置相对于显示模块输出的显示画面上各个显示位置点的距离，进而计 算确定人眼的视线方向在显示画面上的实时相交点，并生成操作指针位置指令通过显示信 号输出端实时地传送至显示模块，控制其显示画面上的操作指针实时地指示于人眼的视线 方向在显示画面上的相交点位置；中央控制模块还用于实时地根据眼动数据输入端接收到 的眼睛的睁闭状态和瞳孔中心所在位置的变化情况确定眼睛的实际睁闭动作和瞳孔的实 际移动动作，且与通过参数采集端从数据存储模块提取的操作指针功能指令所对应的眼睛 睁闭动作以及瞳孔移动动作进行对比，判断是否匹配，并在判定匹配时将相匹配的操作指 针功能指令通过显示信号输出端传送至显示模块以控制其显示画面上的操作指针所指示 的位置执行相应的功能操作，进而判断显示画面上操作指针所指示的位置执行的功能操作 是否触发了显示画面中的虚拟操作按钮，并在判定虚拟操作按钮被触发时通过参数采集端 从数据存储模块提取对应的内窥镜控制指令，通过数据通信端传送至第一无线收发模块， 由第一无线收发模块将内窥镜控制指令发送至医用内窥镜；此外，中央控制模块还用于通 过第一无线数据收发模块接收医用内窥镜回传的数字图像，并通过显示信号输出端将接收 到的数字图像实时地传送至显示模块，控制其显示画面进行显示呈现。
[0011] 在上述基于视线追踪控制的医用内窥镜操控系统基础上，作为一种优选方案，所 述头戴式视线追踪控制器的显示模块包括显示驱动电路和透明显示屏；所述透明显示屏坚 向地固定安装在佩戴支架的眉部的下方，用于呈现显示模块输出的显示画面；所述显示驱 动电路的显示数据输入端作为显示模块的显示信号输入端，显示驱动电路的显示控制输出 端与透明显示屏进行数据连接，用于根据显示数据输入端接收到的信号相应地输出和控制 通过透明显示屏呈现出的显示画面；所述显示模块输出的显示画面所在位置即为透明显示 屏所在位置。
[0012] 在上述基于视线追踪控制的医用内窥镜操控系统基础上，作为另一种优选方案， 所述头戴式视线追踪控制器的显示模块包括微型投影仪和透明棱镜；所述微型投影仪的投 影数据输入端作为显示模块的显示信号输入端，微型投影仪的投影镜头朝向透明棱镜，根 据投影数据输入端接收到的信号向透明棱镜投射出相应的显示画面影像；所述透明棱镜固 定安装在佩戴支架的眉部的下方，且透明棱镜中具有可见光折射面，用于将微型投影仪的 投影镜头投射进入透明棱镜的显示画面影像折射至人体眼睛所在方向，进而呈现出显示画 面；所述显示模块输出的显示画面所在位置即为透明棱镜中可见光折射面所在位置。
[0013] 在上述基于视线追踪控制的医用内窥镜操控系统基础上，作为一种优选方案，所 述头戴式视线追踪控制器的佩戴支架包括一个从对应于人体左侧眉梢位置处横向延伸至 对应于人体右侧眉梢位置处的横梁，所述横梁上对应于人体眉毛位置处即为佩戴支架的眉 部；横梁的中部设有用于将横梁支撑在人体鼻梁位置处的鼻托；横梁的左端和右端分别可 转动地连接有左侧腿部和右侧腿部，且所述左侧腿部和右侧腿部相对于横梁转动至伸展状 态时，使得左侧腿部从对应于人体左侧眉梢位置处横向延伸至对应于人体左耳位置处，而 右侧腿部从对应于人体右侧眉梢位置处横向延伸至对应于人体右耳位置处；所述左侧腿部 和右侧腿部远离所述横梁的末端之间通过绑带相连接，所述绑带上具有能够弹性伸缩的伸 缩部。
[0014] 在上述基于视线追踪控制的医用内窥镜操控系统基础上，作为进一步的技术改进 方案，所述头戴式视线追踪控制器还包括声音采集模块和音频处理模块；所述声音采集模 块的声音数据输出端与音频处理模块的音频输入端电连接，音频处理模块的音频输出端与 中央控制模块的语音数据输入端电连接；所述声音采集模块用于对环境声音进行音频采 集，并将采集到的原始声音音频数据通过声音数据输出端实时地传送至音频处理模块；所 述音频处理模块用于实时获取来自声音采集模块的原始声音音频数据，并对原始声音音频 数据进行降噪滤波处理，并将处理后的声音音频数据通过音频输出端实时地传送至中央控 制模块；所述数据存储模块中存储的指令参数数据所记录的信息，还包括内窥镜控制指令 所对应的语音口令音频数据；所述中央控制模块还用于实时地将语音数据输入端收到的声 音音频数据与通过参数采集端从数据存储模块提取的内窥镜控制指令所对应的语音口令 音频数据进行对比，判断是否匹配，并在判定匹配时将相匹配的内窥镜控制指令通过数据 通信端传送至第一无线收发模块，由第一无线收发模块将内窥镜控制指令发送至医用内窥 镜。
[0015] 在上述基于视线追踪控制的医用内窥镜操控系统基础上，作为进一步的技术改进 方案，所述头戴式视线追踪控制器的佩戴支架上还设置有若干个操作键，各个操作键分别 与中央控制模块的不同I/O端电连接，在操作键被手动操作时向相应的I/O端发出电信号； 所述数据存储模块中存储的指令参数数据所记录的信息，还包括中央控制模块的各个I/O 端电信号所对应的内窥镜控制指令；所述中央控制模块还用于实时地接收来自各不同I/O 端的电信号，通过查询数据存储模块存储的指令参数数据，判定接收到的I/O端电信号所 对应的内窥镜控制指令，并将相应的内窥镜控制指令通过数据通信端传送至第一无线收发 模块，由第一无线收发模块将内窥镜控制指令发送至医用内窥镜。
[0016] 在上述基于视线追踪控制的医用内窥镜操控系统基础上，作为一种具体的实施方 案，所述医用内窥镜包括冷光源照明模块、微型CCD摄像头、CCD图像信号转换模块、微控 制模块、第二无线数据收发模块和第二电源模块；所述冷光源照明模块和微型CCD摄像头 均设置于医用内窥镜的探头位置处并朝向探头的前方；其中，微型CCD摄像头的拍摄图像 输出端与CCD图像信号转换模块的图像输入端电连接，CCD图像信号转换模块的转换数据 输出端与微控制模块的数字图像输入端电连接，微控制模块的拍摄控制信号输出端与微型 CCD摄像头的拍摄控制端电连接，微控制模块的数据收发端与第二无线数据收发模块进行 数据连接，由第二电源模块分别为冷光源照明模块、微型CCD摄像头、CCD图像信号转换模 块、微控制模块和第二无线数据收发模块供电； 所述冷光源照明模块用于向医用内窥镜的探头前方提供照明； 所述微型CCD摄像头用于根据拍摄控制端接收到的拍摄控制信号对医用内窥镜的探 头前方进行图像拍摄操作，并将拍摄的CCD图像信号通过拍摄图像输出端传送至CCD图像 信号转换模块； 所述CCD图像信号转换模块用于实时地将来自微型CCD摄像头的CCD图像信号转换为 数字图像，并通过转换数据输出端传送至微控制模块； 所述第二无线数据收发模块用于与头戴式视线追踪控制器建立无线通信连接，实现与 头戴式视线追踪控制器的数据收发通信； 所述微控制模块用于通过第二无线数据收发模块接收头戴式视线追踪控制器发送的 内窥镜控制指令，并根据内窥镜控制指令通过拍摄控制信号输出端向微型CCD摄像头发送 相应的拍摄控制信号以控制其执行相应的图像拍摄操作，还用于将数字图像输入端接收到 的数字图像通过数据收发端传送至第二无线数据收发模块，由第二无线数据收发模块将数 字图像回传至头戴式视线追踪控制器。
[0017] 相比于现有技术，本发明具有以下有益效果： 1、本发明基于视线追踪控制的医用内窥镜操控系统，其头戴式视线追踪控制器能够佩 戴于人体头部上，且能够通过眼部动作和视线进行追踪识别而对显示画面上操作指针的指 示位置以及操作指针所执行的功能操作，实现人机交互，进而触发相应的内窥镜控制指令， 来控制医用内窥镜执行相应操作，避免了操作者需要手动操作医用内窥镜和监视控制器的 麻烦，并且这样的操控方式，大幅降低了人眼的随即动作触发医用内窥镜发生误动作的可 能性，使得本发明基于视线追踪控制的医用内窥镜操控系统具有较好的可操作性。
[0018] 2、本发明基于视线追踪控制的医用内窥镜操控系统，其头戴式视线追踪控制器还 能够接收并通过头戴式视线追踪控制器上的显示画面呈现医用内窥镜的探头前方拍摄到 的数字图像，在视觉上达到了医用内窥镜采集的数字图像画面与人眼视线所观察到的现实 场景相叠加的人机交互效果，避免了操作者的视线在显示环境与内窥镜视频之间频繁切换 的麻烦，增强了系统的操控结合性，从而能够在操控过程中减少、甚至避免视线和手动操作 的频繁切换，进而解决了现有微创外科手术设备操控结合性差、监视和手动控制操作麻烦、 容易影响手术质量的问题。
[0019] 3、本发明基于视线追踪控制的医用内窥镜操控系统中，其头戴式视线追踪控制器 采用了红外测距传感器对人眼所在位置进行测距，还通过其红外发射器实时地向人体眼睛 所在位置发射出红外光，以此作为辅助的红外光源，并借助红外光在人眼角膜上反射而形 成角膜反射光斑，相应地采用微型红外摄像头有效的拍摄人体眼睛所在位置的原始红外图 像，用以进行人眼识别和视线追踪，避免了可见光环境阴暗等情况引起的干扰，并且角膜反 射光斑可用于在后续的视线追踪识别过程中对角膜反射光斑中心所在位置加以定位，进而 结合瞳孔中心所在位置，辅助实现对人眼的视线方向加以捕捉。
[0020] 4、本发明基于视线追踪控制的医用内窥镜操控系统，还能够通过人眼动作和语音 口令、实体操作键等操作方式相结合，实现人机交互，对医用内窥镜继续更复杂、更精确的 功能控制，更进一步地帮助降低误操作几率，增强系统的可操作性，从而进一步地减少了医 用内窥镜操控系统的使用对于手术操作和手术质量的影响。
[0021] 5、本发明基于视线追踪控制的医用内窥镜操控系统，还能够借助其无线通信能 力，与其它计算机终端设备配合使用，以解决更多的技术应用问题，具有丰富的可操作性和 强大的可扩展性，在微创外科手术设备【技术领域】具有广阔的应用前景。

【专利附图】

【附图说明】
[0022] 图1为本发明基于视线追踪控制的医用内窥镜操控系统的构架结构示意图。
[0023] 图2为本发明实施例一中医用内窥镜操控系统的头戴式视线追踪控制器的立体 结构示意图。
[0024] 图3为本发明实施例一中医用内窥镜操控系统的头戴式视线追踪控制器的电子 构架结构示意图。
[0025] 图4为本发明实施例一中医用内窥镜操控系统的医用内窥镜的电子构架结构示 意图。
[0026] 图5为本发明实施例一中头戴式视线追踪控制器上显示模块的显示画面示例图。
[0027] 图6为本发明实施例二中医用内窥镜操控系统的头戴式视线追踪控制器的立体 结构示意图。

【具体实施方式】
[0028] 本发明提供了一种基于视线追踪控制的医用内窥镜操控系统。如图1所示，该医 用内窥镜操控系统包括相互建立无线通信连接的头戴式视线追踪控制器和医用内窥镜。其 中，头戴式视线追踪控制器具有显示模块，用于佩戴在人体头部，通过对人眼动作和视线进 行追踪识别而控制显示模块输出的显示画面上操作指针的指示位置以及操作指针所执行 的功能操作，进而根据操作指针的指示位置以及操作指针所执行的功能操作触发相应的内 窥镜控制指令，通过无线通信将内窥镜控制指令传送至医用内窥镜，并接收医用内窥镜通 过无线通信回传的数字图像，通过显示模块的显示画面加以呈现。医用内窥镜则用于接收 头戴式视线追踪控制器通过无线通信传送的内窥镜控制指令，根据内窥镜控制指令执行相 应操作，并拍摄和处理得到其探头前方的数字图像，通过无线通信将数字图像回传至头戴 式视线追踪控制器进行显示。
[0029] 由此以来，本发明基于视线追踪控制的医用内窥镜操控系统，其头戴式视线追踪 控制器能够佩戴于人体头部上，且能够通过眼部动作和视线进行追踪识别而对显示画面上 操作指针的指示位置以及操作指针所执行的功能操作，实现人机交互，进而触发相应的内 窥镜控制指令，来控制医用内窥镜执行相应操作，避免了操作者需要手动操作医用内窥镜 和监视控制器的麻烦；同时，系统中的头戴式视线追踪控制器还能够接收并通过头戴式视 线追踪控制器上的显示画面呈现医用内窥镜的探头前方拍摄到的数字图像，在视觉上达到 了医用内窥镜采集的数字图像画面与人眼视线所观察到的现实场景相叠加的人机交互效 果，避免了操作者的视线在显示环境与内窥镜视频之间频繁切换的麻烦。由此可见，本发明 基于视线追踪控制的医用内窥镜操控系统增强了系统的操控结合性，从而能够在操控过程 中减少、甚至避免视线和手动操作的频繁切换，进而解决了现有微创外科手术设备操控结 合性差、监视和手动控制操作麻烦、容易影响手术质量的问题。
[0030] 下面结合附图和实施例对本发明的技术方案作进一步说明。
[0031] 实施例一： 针对本发明提出的基于视线追踪控制的医用内窥镜操控系统，本实施例给出一种具体 的方式。本实施的医用内窥镜操控系统包括相互建立无线通信连接的头戴式视线追踪控制 器和医用内窥镜。
[0032] 其中，医用内窥镜的电子构架如图4所示，包括冷光源照明模块、微型(XD摄像头 (Charge-coupled Device,电稱合感光兀件，简称CO))、CO)图像信号转换模块、微控制模 块、第二无线数据收发模块和第二电源模块。冷光源照明模块和微型CCD摄像头均设置于 医用内窥镜的探头位置处并朝向探头的前方，主要是便于对医用内窥镜的探头前方进行照 明和图像采集。而医用内窥镜中的其它构件，例如CCD图像信号转换模块、微控制模块、第 二无线数据收发模块和第二电源模块等，则可以根据集成需要设置在医用内窥镜的任意位 置，其具体安装位置，影响这些构件相互之间的电气布线方式，但不影响整体功能的实现。 在医用内窥镜的电子构架中，微型CCD摄像头的拍摄图像输出端与CCD图像信号转换模块 的图像输入端电连接，CCD图像信号转换模块的转换数据输出端与微控制模块的数字图像 输入端电连接，微控制模块的拍摄控制信号输出端与微型CCD摄像头的拍摄控制端电连 接，微控制模块的数据收发端与第二无线数据收发模块进行数据连接，由第二电源模块分 别为冷光源照明模块、微型CCD摄像头、CCD图像信号转换模块、微控制模块和第二无线数 据收发模块供电。其中，冷光源照明模块用于向医用内窥镜的探头前方提供照明。微型CCD 摄像头用于根据拍摄控制端接收到的拍摄控制信号对医用内窥镜的探头前方进行图像拍 摄操作，并将拍摄的C⑶图像信号通过拍摄图像输出端传送至(XD图像信号转换模块。（XD 图像信号转换用于实时地将来自微型CCD摄像头的CCD图像信号转换为数字图像，并通过 转换数据输出端传送至微控制模块。第二无线数据收发模块用于与头戴式视线追踪控制器 建立无线通信连接，实现与头戴式视线追踪控制器的数据收发通信。微控制模块则用于通 过第二无线数据收发模块接收头戴式视线追踪控制器发送的内窥镜控制指令，并根据内窥 镜控制指令通过拍摄控制信号输出端向微型CCD摄像头发送相应的拍摄控制信号以控制 其执行相应的图像拍摄操作，还用于将数字图像输入端接收到的数字图像通过数据收发端 传送至第二无线数据收发模块，由第二无线数据收发模块将数字图像回传至头戴式视线追 踪控制器。实际上，本发明医用内窥镜操控系统中的医用内窥镜，可以基本沿用现有医用内 窥镜产品的整体构架，只是在现有构架基础上增加第二无线数据收发模块，并增加微控制 模块通过第二无线数据收发模块进行内窥镜控制指令的接收以及数字图像等数据的发送 等相应功能。其中，第二无线数据收发模块与第一无线数据收发模块，具体可以采用蓝牙收 发模块、射频收发模块、WiFi收发模块或ZigBee收发模块等现有技术中较为成熟的无线数 据收发模块。当然，在现有的一些医用内窥镜产品中，还集成有通过微控制模块加以控制的 供药机构、取样机构等，用以对手术患者的手术位置提供麻醉等药物，或者对手术位置进行 组织取样操作；现有技术中的这些供药机构、取样机构等，同样可以包含应用在本发明医用 内窥镜操控系统的医用内窥镜中，由微控制模块根据头戴式视线追踪控制器发送的内窥镜 控制指令而控制这些机构执行相应操作。
[0033] 本实施的医用内窥镜操控系统中，头戴式视线追踪控制器如图2所示，该头戴式 视线追踪控制器包括一个用于通过佩戴而固定在人体头部上的佩戴支架10,以及设置在 所述佩戴支架10上的红外测距传感器20、微型红外摄像头30、图像处理模块、视线追踪识 别模块、中央控制模块、数据存储模块、第一无线数据收发模块、显示模块40和第一电源模 块。该佩戴支架10的具体形状，可以根据其佩戴功能和外形美观的需要而设计为任意适合 佩戴于人体头部的形状样式，例如较为复杂的可以设计为一个头盔样式，较为简单的可以 设计为如图2所示的一个眼镜支架的样式，等等；但最主要的是，该佩戴支架10需要具有 对应于人体眉毛位置处的眉部11。而微型红外摄像头30以及红外测距传感器20的红外 发射器21和红外接收器22则均设置于佩戴支架的眉部11并朝向人体眼睛所在方向，主要 是便于微型红外摄像头拍摄人体眼睛所在位置的图像，以及便于红外测距传感器对人体眼 睛所在位置进行测距。显示模块40输出的显示画面所在位置位于佩戴支架的眉部11的下 方对应于人体眼睛位置处，便于人眼观测显示画面；本实施例中，显示模块40采用显示驱 动电路和透明显示屏41的构架实现方案，其中，透明显示屏41坚向地固定安装在佩戴支架 10的眉部11的下方，用于呈现显示模块输出的显示画面，而显示驱动电路则可以安装在佩 戴支架上的任意位置；显示驱动电路的具体安装位置影响与透明显示屏之间的电气布线方 式，而并不影响显示模块的功能实现；但为了使得布线距离较短，显示驱动电路最好安装在 佩戴支架的眉部上位于透明显示屏的正上方位置处。而头戴式视线追踪控制器中的其它 构件，例如图像处理模块、视线追踪识别模块、中央控制模块、数据存储模块、第一无线数据 收发模块和第一电源模块等，则可以根据集成需要设置在佩戴支架上的任意位置，例如数 据存储模块和第一电源模块安装在佩戴支架上的左侧位置，图像处理模块、视线追踪识别 模块、第一无线数据收发模块和中央控制模块则安装在佩戴支架上的右侧位置，或者图像 处理模块、视线追踪识别模块、中央控制模块、数据存储模块、第一无线数据收发模块和第 一电源模块通过电路集成的方式都安装在佩戴支架上专门设置的集成电路安装腔室内，等 等；这些构件在佩戴支架上的具体安装位置，影响其相互之间的电气布线方式，但不影响整 体功能的实现。
[0034] 具体而言，在本实施例中，如图2所示，头戴式视线追踪控制器的佩戴支架10包括 一个从对应于人体左侧眉梢位置处横向延伸至对应于人体右侧眉梢位置处的横梁12,所述 横梁12上对应于人体眉毛位置处即为佩戴支架的眉部11 ;横梁12的中部设有用于将横梁 支撑在人体鼻梁位置处的鼻托13 ;横梁12的左端和右端分别可转动地连接有左侧腿部14 和右侧腿部15,且所述左侧腿部14和右侧腿部15相对于横梁鼻托12转动至伸展状态时， 使得左侧腿部14从对应于人体左侧眉梢位置处横向延伸至对应于人体左耳位置处，而右 侧腿部15从对应于人体右侧眉梢位置处横向延伸至对应于人体右耳位置处；所述左侧腿 部14和右侧腿部15远离所述横梁12的末端之间通过绑带16相连接，所述绑带16上具有 能够弹性伸缩的伸缩部17。由此设计的头戴式视线追踪控制器的佩戴支架结构，不仅结构 简单轻巧，而且其整体佩戴方式与眼镜相似，将佩戴支架的横梁上支撑在人体鼻梁位置处， 左侧腿部和右侧腿部的末端分别架设在人体的左耳和右耳上形成支撑，同时利用绑带绑在 人体头部的后脑勺形成固定，由绑带上的伸缩部提供伸缩调节，以适合不同头型的使用者 佩戴，佩戴方便；并且借助绑带的固定，即使操作者在进行手术等过程中需要长时间低头也 不会使得头戴式视线追踪控制器产生晃动、脱落等情况。此外，佩戴支架10还具有一个从 对应于人体右耳位置处一直延伸至对应于人体右侧眉毛位置处的封装体18,该封装体18 内具有一封装腔室，图像处理模块、视线追踪识别模块、微控制处理模块、数据存储模块、第 一无线数据收发模块和第一电源模块等构件通过电路集成的方式都安装在封装体18的封 装腔室内；微型红外摄像头30以及红外测距传感器20的红外发射器21和红外接收器22则 均设置于佩戴支架的封装体18上对应于人体右侧眉毛位置处的眉部，并朝向人体眼睛所 在方向；同时，显示驱动电路也安装于佩戴支架的封装体18上对应于人体右侧眉毛位置处 的眉部11，而透明显示屏41则坚向地固定安装在佩戴支架的封装体18上对应于人体右侧 眉毛位置处的眉部11的下方，对应于人体右眼位置处。由此设计的电子原件在佩戴支架上 的布置结构，更有利于电路整合和布线方便，同时也使得头戴式视线追踪控制器的外观更 加整洁、美观。显示驱动电路的显示数据输入端作为显示模块的显示信号输入端，显示驱动 电路的显示控制输出端与透明显示屏进行数据连接，用于根据显示数据输入端接收到的信 号相应地输出和控制通过透明显示屏呈现出的显示画面。由此以来，显示模块输出的显示 画面所在位置即为透明显示屏所在位置。使用者佩戴本实施例的头戴式视线追踪控制器， 其透明显示屏的存在并不影响使用者的视线对现实场景的观测，在使用者视觉观感上能够 达到显示画面与现实场景相叠加的效果；同时在透明显示屏呈现的显示画面上，还能够同 步跟踪使用者的视线进行操作指针的指示，实现操作指针的指示位置与人眼视线所观察到 的现实场景相叠加的交互性指示效果。
[0035] 在头戴式视线追踪控制器的电子构架方面，如图3所示，微型红外摄像头的红外 图像数据输出端与图像处理模块的红外图像采集端电连接，图像处理模块的处理数据输出 端与视线追踪识别模块的人眼数据采集端电连接，视线追踪识别模块的识别信息输出端与 中央控制模块的眼动数据输入端电连接，红外测距传感器的距离信号输出端与中央控制模 块的距离数据输入端电连接，中央控制模块的显示信号输出端与显示模块的显示信号输入 端电连接，中央控制模块的参数采集端与数据存储模块进行数据连接，由第一电源模块分 别为红外测距传感器、微型红外摄像头、图像处理模块、视线追踪识别模块、中央控制模块、 数据存储模块、第一无线数据收发模块和显示模块供电。
[0036] 在头戴式视线追踪控制器的电子构架中，显示模块用于通过输出的显示画面显示 对医用内窥镜进行操作控制的虚拟操作按钮，并根据显示信号输入端接收到的信号对其显 示画面中所显示呈现的内容以及操作指针所指示的位置和执行的功能操作进行显示控制。 其中，显示模块的显示画面中所显示的虚拟操作按钮，可以根据对医用内窥镜的相应功能 和控制需要而设计触发执行的各种功能，例如可以是触发对医用内窥镜所采集的数字图像 的放大、缩小、暂停、播放等功能控制的虚拟操作按钮，也可以是触发对医用内窥镜进行拍 照、摄像功能切换控制的虚拟操作按钮；对于具有供药、采样等功能的医用内窥镜而言，还 可以设计触发医用内窥镜执行供药、采样操作的虚拟操作按钮。图5示出了头戴式视线追 踪控制器上显示模块的显示画面中显示出虚拟操作按钮的一个示例，该示例中的显示画面 显示了放大、缩小、暂停、播放、拍照、摄像、供药、采样等多个功能的虚拟操作按钮，该示例 中显示画面中的" + "为操作指针，该操作指针根据人眼动作和视线控制其指示位置以及所 执的功能操作，从而控制点击这些虚拟操作按钮触发向医用内窥镜发送相应的内窥镜控制 指令。
[0037] 数据存储模块用于存储设备参数数据和指令参数数据，设备参数数据记录的信息 包括佩戴支架上红外接收器所在位置与显示模块输出的显示画面所在位置之间的三维位 置关系，而指令参数数据记录的信息则包括操作指针功能指令所对应的眼睛睁闭动作以及 瞳孔移动动作，还包括显示画面中虚拟操作按钮被触发时所对应的内窥镜控制指令；当然， 数据存储模块中存储的设备参数数据和指令参数数据所记录的数据信息，还可以包括其实 现其它智能化功能或交互功能所必须的参数数据。
[0038] 红外测距传感器用于通过红外发射器实时地向人体眼睛所在位置发射出红外光， 通过红外接收器接收由红外光在人体眼睛所在位置漫反射后返回的红外反射光，由红外测 距传感器的测距处理模块根据红外光发出时间与红外反射光接收时间之间所存在的时差 进行换算而测得佩戴支架上红外接收器所在位置与人体眼睛所在位置的距离数据，并将该 距离数据传送至中央控制处理模块。红外测距传感器在本发明头戴式视线追踪控制器中的 作用还不仅在于对人体眼睛所在位置进行测距，其还通过与微型红外摄像头相结合，实现 更为重要的两项辅助功能，其一是起到红外辅助光源的作用，其二是起到对人眼角视线助 定位的作用。因为在具体的应用环境中，由于可能存在光线阴暗的环境，致使人体眼睛位置 可见度低、甚至不可见，若采用常规的可见光感光摄像机，在阴暗环境下则会影响和干扰基 于人眼图像对人眼位置和视线追踪识别，因此需要辅助光源。但若直接采用可见光光源作 为辅助光源照射人眼位置，会产生光线晃眼的不适感，反而影响头戴式视线追踪控制器的 佩戴舒适性及其操作指针的可视效果。针对于此，本发明的头戴式视线追踪控制器中采用 了红外测距传感器，通过其红外发射器实时地向人体眼睛所在位置发射出红外光，以此作 为辅助的红外光源；相应地，人眼位置的图像采集设备则采用了微型红外摄像头。另一方 面，红外测距传感器的红外发射器向人体眼睛所在位置发射出的红外光源光线，会因人眼 角膜的反射而形成角膜反射光斑，该角膜反射光斑可用于在后续的视线追踪识别过程中对 角膜反射光斑中心所在位置加以定位，进而结合瞳孔中心所在位置，辅助实现对人眼的视 线方向加以捕捉。
[0039] 微型红外摄像头用于拍摄人体眼睛所在位置的原始红外图像，并通过红外图像数 据输出端实时地传送至图像处理模块。由此，即便是在阴暗、不可见等任意的可见光条件 下，由于存在红外测距传感器的红外发射器作为辅助光源的帮助，始终能够通过微型红外 摄像头有效的拍摄到人体眼睛所在位置的原始红外图像，同时还能够借助红外发射器发射 出的红外光源光线在人眼位置处形成角膜反射光斑，用以进行人眼识别和视线追踪，避免 了可见光环境阴暗等情况引起的干扰。
[0040] 图像处理模块则用于实时获取微型红外摄像头拍摄的原始红外图像，通过图像分 害IJ处理从原始红外图像中分割得到人眼区域图像，并将得到的人眼区域图像进行滤波和边 缘增强处理后，通过处理数据输出端实时地传送至视线追踪识别模块。在现有的图像处理

【技术领域】中，实现感兴趣区域的定位识别、分割处理以及图像滤波、边缘增强处理的相关 技术方法很多，例如可以根据感兴趣区域的图像灰度信息和图像纹理信息对其进行定位识 另IJ，再加以图象分割处理，采用基于小波变换的图像去噪和增强方法，利用其多尺度和多分 辨率的性质，检测感兴趣的图像区域的图像信号局部特征，有效滤除噪声，保留其图像纹理 信息，进行实现对图像的边缘增强效果。本发明头戴式视线追踪控制器中的图像处理模块， 就可以以人眼区域图像作为感兴趣区域，实现对原始红外图像中人眼区域图像的定位识别 和分割处理。从原始红外图像中分割得到人眼区域图像的处理，还达到了缓解因抖动导致 人眼图像识别和视线追踪产生误差的问题。本发明的头戴式视线追踪控制器虽然能够通过 佩戴而固定在人体头部上，从而使得设备上的微型红外摄像头与人体眼部位置较好地保持 相对固定，以稳定地进行人眼图像识别和视线追踪，但并不能完全排除因头部晃动剧烈、受 到外来物体撞击等不可控因素，致使微型红外摄像头与人体眼部位置之间发生位移，造成 原始红外图像中人体眼睛的位置产生位移偏差的问题。但本发明的头戴式视线追踪控制器 中，通过分割人眼区域图像的方式，不管原始图像中人眼位置是否因为头动而发生位移变 化，分割出的人眼区域图像的图像区域范围是相对固定的，因此后期依据人眼区域图像进 行人眼识别和视线追踪时，就不存在因抖动引起的位移，相当于缓解、屏蔽了因抖动产生的 位移误差。
[0041] 视线追踪识别模块用于实时获取图像处理模块处理得到的人眼区域图像，通过图 像边界识别处理而确定人眼区域图像中的眼睛形状、瞳孔位置和角膜反射光斑，进而确定 眼睛的睁闭状态、瞳孔中心所在位置以及角膜反射光斑中心所在位置，并将眼睛的睁闭状 态、瞳孔中心所在位置以及角膜反射光斑中心所在位置通过识别信息输出端实时地传送至 中央控制处理模块。图像边界识别技术也是图像处理【技术领域】中非常成熟的应用技术，因 此在现有技术中能够应用于确定人眼区域图像中的眼睛形状、瞳孔位置和角膜反射光斑的 图像边界识别处理方法有很多。作为较为优选的方案，可以采用基于径向对称的眼睛状态 检测算法，来检测眼睛的睁闭状态，具体方式可参见现有文献"基于径向对称变换的眼睛 睁闭状态检测，张文聪，邓宏平，李斌，庄镇泉；《中国科学技术大学学报》2010年第5期，第 46(Γ465页"；同时，可以采用随机化椭圆拟合方法对提取的边缘点进行椭圆最小二乘法拟 合链接成边界，对瞳孔位置和角膜反射光斑的位置加以识别和确定。
[0042] 第一无线数据收发模块用于与医用内窥镜建立无线通信连接，实现与医用内窥镜 之间的数据收发通信。该第一无线数据收发模块的类型需要与医用内窥镜中第二无线数据 收发模块相匹配，具体可以采用蓝牙收发模块、射频收发模块、WiFi收发模块或ZigBee收 发模块等，与第二无线数据收发模块建立无线通信连接。
[0043] 中央控制模块通过其眼动数据输入端接收到眼睛的睁闭状态、瞳孔中心所在位置 以及角膜反射光斑中心所在位置后，要进行两方面的处理。第一方面，中央控制模块用于实 时地根据眼动数据输入端接收到的瞳孔中心所在位置与角膜反射光斑中心所在位置所构 成的位置向量而估算确定人眼的视线方向，并结合通过参数采集端从数据存储模块提取的 佩戴支架上红外接收器所在位置与显示模块输出的显示画面所在位置之间的三维位置关 系以及通过距离数据输入端获取到的佩戴支架上红外接收器所在位置与人体眼睛所在位 置的距离数据构建空间三维坐标，通过该空间三维坐标计算确定人体眼睛所在位置相对于 显示模块输出的显示画面上各个显示位置点的距离，进而计算确定人眼的视线方向在显示 画面上的相交点，并生成操作指针位置指令通过显示信号输出端实时地传送至显示模块以 控制其显示画面上的操作指针实时地指示于人眼的视线方向在显示画面上的相交点位置。 由此，使得本发明头戴式视线追踪控制器的显示画面上，操作指针的指示位置始终与人眼 的视线方向在显示画面上的相交点位置相重合，达到可以通过人眼视线的移动动作控制改 变操作指针指示位置的人机交互功能，同时，由于显示画面上操作指针的指示位置会同步 跟踪人眼视线，因此还达到了操作指针的指示位置与人眼视线所观察到的现实场景相叠加 的人机交互效果。另一方面，中央控制模块还用于实时地根据眼动数据输入端接收到的眼 睛的睁闭状态和瞳孔中心所在位置的变化情况确定眼睛的实际睁闭动作和瞳孔的实际移 动动作，且与通过参数采集端从数据存储模块提取的操作指针功能指令所对应的眼睛睁闭 动作以及瞳孔移动动作进行对比，判断是否匹配，并在判定匹配时将相匹配的操作指针功 能指令通过显示信号输出端传送至显示模块以控制其显示画面上的操作指针所指示的位 置执行相应的功能操作；例如，可以通过眨眼等眼睛睁闭动作、有规律地晃动眼球等瞳孔移 动动作，来控制操作指针执行确认、取消、触发虚拟操作按钮等功能指令，丰富了通过人眼 动作实现人机交互的功能组合方式，达到接近于鼠标等常用人机交互输入设备的人机交互 能力；由此，中央控制模块便能够进一步判断显示画面上操作指针所指示的位置执行的功 能操作是否触发了显示画面中的虚拟操作按钮，并在判定虚拟操作按钮被触发时通过参数 采集端从数据存储模块提取对应的内窥镜控制指令，通过数据通信端传送至第一无线收发 模块，由第一无线收发模块将内窥镜控制指令发送至医用内窥镜，来控制医用内窥镜执行 相应的功能操作。这样的操控方式，大幅降低了人眼的随即动作触发医用内窥镜发生误动 作的可能性，使得本发明基于视线追踪控制的医用内窥镜操控系统具有较好的可操作性。 此外，中央控制模块还用于通过第一无线数据收发模块接收医用内窥镜回传的数字图像， 并通过显示信号输出端将接收到的数字图像实时地传送至显示模块，控制其显示画面进行 显示呈现。这样以来，在视觉上达到了医用内窥镜采集的数字图像画面与人眼视线所观察 到的现实场景相叠加的人机交互效果，操作者可以一边观察现实场景中自己手动操作环境 的实际情况，又可以借助显示画面查看医用内窥镜的探头前的图像情况，避免了操作者的 视线在显示环境与内窥镜视频之间频繁切换的麻烦，也避免了频繁切换视线导致注意力分 散的问题，同时使得医用内窥镜采集的数字图像画面与现实场景相结合，更便于操作者同 时了解手术患者的内、外手术位置情况，帮助降低误操作的几率。
[0044] 由此可以看到，本发明基于视线追踪控制的医用内窥镜操控系统，能够使用头戴 式视线追踪控制器佩戴于人体头部上，通过眼部动作对操作指针加以操作控制而实现人机 交互，并能够在视觉上达到了医用内窥镜采集的数字图像画面与人眼视线所观察到的现实 场景相叠加的人机交互效果，增强了系统的操控结合性，从而能够在操控过程中减少、甚至 避免对视线和手动操作进行切换，进而解决现有微创外科手术设备操控结合性差、监视和 手动控制操作麻烦、容易影响手术质量的问题。
[0045] 实施例二： 本实施例是在实施例一基础上的进一步改进方案。在本实施例基于视线追踪控制的 医用内窥镜操控系统中，医用内窥镜的构架与实施例一相同；而在头戴式视线追踪控制器 中，除了红外测距传感器、微型红外摄像头、图像处理模块、视线追踪识别模块、中央控制模 块、数据存储模块、显示模块、第一无线数据收发模块和第一电源模块之外，还增设了声音 采集模块和音频处理模块，其中，声音采集模块的声音数据输出端与音频处理模块的音频 输入端电连接，音频处理模块的音频输出端与中央控制模块的语音数据输入端电连接。本 实施例医用内窥镜操控系统的头戴式视线追踪控制器中，声音采集模块用于对环境声音进 行音频采集，并将采集到的原始声音音频数据通过声音数据输出端实时地传送至音频处理 模块；音频处理模块则用于实时获取来自声音采集模块的原始声音音频数据，并对原始声 音音频数据进行降噪滤波处理，并将处理后的声音音频数据通过音频输出端实时地传送至 中央控制模块；在实施例一的基础上，数据存储模块中存储的指令参数数据所记录的信息， 还包括内窥镜控制指令所对应的语音口令音频数据；同时，中央控制模块还用于实时地将 语音数据输入端收到的声音音频数据与通过参数采集端从数据存储模块提取的内窥镜控 制指令所对应的语音口令音频数据进行对比，判断是否匹配，并在判定匹配时将相匹配的 内窥镜控制指令通过数据通信端传送至第一无线收发模块，由第一无线收发模块将内窥镜 控制指令发送至医用内窥镜。
[0046] 同时，本实施例的医用内窥镜操控系统的头戴式视线追踪控制器在构架布局上也 有变动。本实施例的头戴式视线追踪控制器如图6所示，其佩戴支架10依然主要包括从 对应于人体左侧眉梢位置处横向延伸至对应于人体右侧眉梢位置处且设有鼻托13的横梁 12,横梁12的左端和右端可转动地连接的左侧腿部14和右侧腿部15,以及左侧腿部14和 右侧腿部15远离所述横梁12的末端之间连接的具有伸缩部17的绑带16,横梁12上对应 于人体眉毛位置处即为佩戴支架的眉部11。但与实施例一不同之处在于，本实施例中，显示 模块40采用微型投影仪和透明棱镜42的构架实现方案。其中，微型投影仪的投影数据输 入端作为显示模块的显示信号输入端，微型投影仪的投影镜头朝向透明棱镜42,根据投影 数据输入端接收到的信号向透明棱镜42投射出相应的显示画面影像。而透明棱镜42固定 安装在佩戴支架10的眉部11的下方，且透明棱镜42中具有一可见光折射面，用于将微型 投影仪的投影镜头投射进入透明棱镜的显示画面影像折射至人体眼睛所在方向，进而呈现 出显示画面。该显示模块构架中，微型投影仪的具体安装位置也是较为任意的。例如，微型 投影仪可以安装在佩戴支架的眉部上位于透明棱镜的正上方位置处，由上至下向透明棱镜 投射出显示画面影像；微型投影仪也可以安装在佩戴支架的眉部的下方位于透明棱镜旁侧 的位置处，从旁侧向透明棱镜投射出显示画面影像。当然，微型投影仪的安装位置只要不阻 挡人眼视线即可。
[0047] 具体而言，在本实施例中，如图6所示，佩戴支架10具有一个从对应于人体右耳位 置处一直延伸至对应于人体右侧眉毛位置处的封装体18,该封装体18内具有一封装腔室， 图像处理模块、视线追踪识别模块、微控制处理模块、数据存储模块、声音采集模块、音频处 理模块、第一无线数据收发模块和第一电源模块等构件通过电路集成的方式都安装在封装 体18的封装腔室内；微型红外摄像头30以及红外测距传感器20的红外发射器21和红外 接收器22则均设置于佩戴支架的封装体18上对应于人体右侧眉毛位置处的眉部，并朝向 人体眼睛所在方向；同时，透明棱镜42固定安装在佩戴支架10上的封装体18对应于人体 右侧眉毛位置处的眉部11的下方，对应于人体右眼位置处；而微型投影仪则安装在佩戴支 架10上的封装体18内部位于透明棱镜42右侧的位置处，微型投影仪的投影镜头则朝向透 明棱镜42,用于从旁侧向透明棱镜42投射出显示画面影像。由此设计的电子原件在佩戴支 架上的布置结构，更有利于电路整合和布线方便，同时也使得本发明头戴式视线追踪控制 器的外观更加整洁、美观。由此以来，显示模块输出的显示画面所在位置即为透明棱镜中可 见光折射面所在位置。使用者佩戴本实施例的头戴式视线追踪控制器后，透明棱镜的存在 同样不影响使用者的视线对现实场景的观测，同时透明棱镜中的可见光折射面将微型投影 仪的投影镜头投射的显示画面影像折射至使用者的眼睛所在方向，显示画面影像光线通过 使用者眼睛的瞳孔进入眼球并成像在视网膜上，使得使用者能够观看到显示画面影像，并 且对于使用者而言，显示画面似乎就位于透明棱镜中的可见光折射面所在位置一样，从而 在使用者视觉观感上达到显示画面与现实场景相叠加的效果；同时，在透明棱镜呈现的显 示画面上，同样能够同步跟踪使用者的视线进行操作指针的指示，实现操作指针的指示位 置与人眼视线所观察到的现实场景相叠加的交互性指示效果。不仅如此，由于透明显示屏 技术的研发和硬件成本都较为高昂，与实施例一中采用显示驱动电路和透明显示屏的显示 模块构架实现方案相比较，本实施例所采用的微型投影仪和透明棱镜的显示模块构架方案 在功能上相当，而在研发和硬件成本上则更低，因此更有利于减少设备技术开发和生产的 成本。
[0048] 本实施例基于视线追踪控制的医用内窥镜操控系统中，除了能够使用头戴式视线 追踪控制器通过眼部动作对操作指针加以操作控制而实现人机交互，对医用内窥镜加以控 制之外，借助头戴式视线追踪控制器中声音采集模块、音频处理模块与数据存储模块和中 央控制模块之间的配合，使得操作者还可以通过语音对医用内窥镜加以控制。例如，在头戴 式视线追踪控制器的数据存储模块中存储的指令参数数据中，加入汉语发音的"放大"、"缩 小"、"暂停"、"播放"、"拍照"、"摄像"、"供药"、"采样"等音频数据作为语音口令音频数据， 分别对应执行放大、缩小、暂停、播放、拍照、摄像、供药、采样等功能的内窥镜控制指令；在 使用过程中，操作者可以通过语音汉语发音喊出需要医用内窥镜执行操作的功能名称，例 如"拍照"，操作者发出的语音便能够被头戴式视线追踪控制器的声音采集模块采集，通过 音频处理模块处理后传送至中央控制模块进行识别，中央控制模块通过与数据存储模块中 记录的语音口令音频数据进行对比，判定操作者汉语发音的"拍照"音频数据与指令参数数 据中"拍照"语音口令音频数据相匹配，头戴式视线追踪控制器则会通过第一无线收发模块 向医用内窥镜发出"拍照"的内窥镜控制指令，控制医用内窥镜执行拍照操作。由此以来， 对于本发明的医用内窥镜操控系统，使用者能够通过更加丰富的非手动操控方式实现人机 交互，并且还能够通过人眼动作和语音口令相结合，对医用内窥镜继续更复杂、更精确的功 能控制，更进一步地帮助降低误操作几率，增强系统的可操作性，从而进一步地减少了医用 内窥镜操控系统的使用对于手术操作和手术质量的影响。
[0049] 实施例三： 本实施例同样是在实施例一或者实施例二基础上的进一步改进方案。在本实施例基于 视线追踪控制的医用内窥镜操控系统中，医用内窥镜的构架与实施例一相同；而在头戴式 视线追踪控制器中，除了红外测距传感器、微型红外摄像头、图像处理模块、视线追踪识别 模块、中央控制模块、数据存储模块、显示模块、第一无线数据收发模块和第一电源模块之 夕卜，还增设了若干个操作键，各个操作键分别与中央控制模块的不同I/O端（I/O即Input/ Output的缩写，指输入端口 /输出端口）电连接，在操作键被手动操作时向相应的I/O端 发出电信号。本实施例医用内窥镜操控系统的头戴式视线追踪控制器中，在实施例一的基 础上，数据存储模块中存储的指令参数数据所记录的信息，还包括中央控制模块的各个I/O 端电信号所对应的内窥镜控制指令；同时，中央控制模块还用于实时地接收来自各不同1/ 〇端的电信号，通过查询数据存储模块存储的指令参数数据，判定接收到的I/O端电信号所 对应的内窥镜控制指令，并将相应的内窥镜控制指令通过数据通信端传送至第一无线收发 模块，由第一无线收发模块将内窥镜控制指令发送至医用内窥镜。
[0050] 对于具体实施而言，本实施例医用内窥镜操控系统的头戴式视线追踪控制器中， 各个操作键的设置位置可以根据外观需要以及易操作性的考虑加以设计，例如可以设计在 佩戴支架的左侧腿部或右侧腿部上，等等；同时，操作键的具体形式也可以是多样的，可以 根据其功能需要而选择，例如可以是按钮键，可以是拨动键，也可以是拨轮键，等等。此外， 该若干个操作键可以用于触发头戴式视线追踪控制器发出不同的内窥镜控制指令，例如放 大、缩小、播放、暂停操作，摄像、拍照的切换操作，内窥镜的供药、取样控制操作，等；触发这 些指令，需要头戴式视线追踪控制器的数据存储模块和中央控制模块相配合。
[0051] 使用本实施例的医用内窥镜操控系统，除了能够使用头戴式视线追踪控制器通过 眼部动作对操作指针加以操作控制而实现人机交互，对医用内窥镜加以控制之外，还可以 通过操作头戴式视线追踪控制器上的操作键对医用内窥镜加以控制。例如，头戴式视线追 踪控制器上设有一个触发"放大"操作的按钮键形式的操作键，数据存储模块中存储的指令 参数数据所记录的信息中，记录有该按钮键被按下时向中央控制模块的相应I/O端发出电 信号表示触发"放大"操作的内窥镜控制指令，则当该按钮键被按下时，中央控制模块接收 来自该按钮键I/O端的电信号，通过查询数据存储模块存储的指令参数数据，即可判定该 I/O端电信号表示触发"放大"操作的内窥镜控制指令，从而由头戴式视线追踪控制器的第 一无线收发模块将"放大"操作的内窥镜控制指令发送至医用内窥镜，控制医用内窥镜执行 图像放大的操作。由此以来，对于本发明的医用内窥镜操控系统，使用者能够在结合眼部动 作的情况下，进一步的通过手动操作头戴式视线追踪控制器上的操作键，来对医用内窥镜 继续更复杂、更精确的功能控制，更进一步地帮助降低误操作几率，增强系统的可操作性， 从而进一步地减少了医用内窥镜操控系统的使用对于手术操作和手术质量的影响。
[0052] 综上所述，本发明基于视线追踪控制的医用内窥镜操控系统，其头戴式视线追踪 控制器能够佩戴于人体头部上，且能够通过眼部动作和视线进行追踪识别而对显示画面上 操作指针的指示位置以及操作指针所执行的功能操作，实现人机交互，进而触发相应的内 窥镜控制指令，来控制医用内窥镜执行相应操作，避免了操作者需要手动操作医用内窥镜 和监视控制器的麻烦；同时，系统中的头戴式视线追踪控制器还能够接收并通过头戴式视 线追踪控制器上的显示画面呈现医用内窥镜的探头前方拍摄到的数字图像，在视觉上达到 了医用内窥镜采集的数字图像画面与人眼视线所观察到的现实场景相叠加的人机交互效 果，避免了操作者的视线在显示环境与内窥镜视频之间频繁切换的麻烦。由此可见，本发明 基于视线追踪控制的医用内窥镜操控系统增强了系统的操控结合性，从而能够在操控过程 中减少、甚至避免视线和手动操作的频繁切换，帮助降低误操作几率，减少医用内窥镜操控 系统的使用对于手术操作和手术质量的影响，进而解决了现有微创外科手术设备操控结合 性差、监视和手动控制操作麻烦、容易影响手术质量的问题。不仅如此，由于在本发明的医 用内窥镜操控系统中，头戴式视线追踪控制器和医用内窥镜均具备有无线通信的能力，因 此头戴式视线追踪控制器和医用内窥镜均能够与其它具备无线通信能力的外来计算机终 端设备建立无线通信连接，例如其它的个人计算机、手机终端、鼠标、手持式遥控设备、口腔 佩戴式遥控设备等等，来接收这些外来计算机终端设备所发出的控制指令对医用内窥镜加 以控制，或者接收这些外来计算机终端设备发出的字符、图片、视频等信息数据通过头戴式 视线追踪控制器的显示模块加以显示呈现，又或者利用医用内窥镜操控系统向这些外来计 算机终端设备发送数据信息，实现交互，等等，使得本发明的医用内窥镜操控系统能够与其 它计算机终端设备配合使用，以解决更多的技术应用问题。可见，本发明基于视线追踪控制 的医用内窥镜操控系统还可以具有丰富的可操作性和强大的可扩展性，在微创外科手术设 备【技术领域】具有广阔的应用前景。
[0053] 最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实 施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方 案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明 的权利要求范围当中。
【权利要求】
1. 基于视线追踪控制的医用内窥镜操控系统，其特征在于，包括相互建立无线通信连 接的头戴式视线追踪控制器和医用内窥镜； 所述头戴式视线追踪控制器具有显示模块，用于佩戴在人体头部，通过对人眼动作和 视线进行追踪识别而控制显示模块输出的显示画面上操作指针的指示位置以及操作指针 所执行的功能操作，进而根据操作指针的指示位置以及操作指针所执行的功能操作触发相 应的内窥镜控制指令，通过无线通信将内窥镜控制指令传送至医用内窥镜，并接收医用内 窥镜通过无线通信回传的数字图像，通过显示模块的显示画面加以呈现； 所述医用内窥镜用于接收头戴式视线追踪控制器通过无线通信传送的内窥镜控制指 令，根据内窥镜控制指令执行相应操作，并拍摄和处理得到其探头前方的数字图像，通过无 线通信将数字图像回传至头戴式视线追踪控制器进行显示。
2. 根据权利要求1所述基于视线追踪控制的医用内窥镜操控系统，其特征在于，所述 头戴式视线追踪控制器包括用于通过佩戴而固定在人体头部上的佩戴支架，以及设置在所 述佩戴支架上的红外测距传感器、微型红外摄像头、图像处理模块、视线追踪识别模块、中 央控制模块、数据存储模块、第一无线数据收发模块、显示模块和第一电源模块；所述佩戴 支架具有对应于人体眉毛位置处的眉部，所述微型红外摄像头以及红外测距传感器的红外 发射器和红外接收器均设置于佩戴支架的眉部并朝向人体眼睛所在方向；所述显示模块输 出的显示画面所在位置位于佩戴支架的眉部的下方对应于人体眼睛位置处； 其中，微型红外摄像头的红外图像数据输出端与图像处理模块的红外图像采集端电连 接，图像处理模块的处理数据输出端与视线追踪识别模块的人眼数据采集端电连接，视线 追踪识别模块的识别信息输出端与中央控制模块的眼动数据输入端电连接，红外测距传感 器的距离信号输出端与中央控制模块的距离数据输入端电连接，中央控制模块的显示信号 输出端与显示模块的显示信号输入端电连接，中央控制模块的参数采集端与数据存储模块 进行数据连接，中央控制模块的数据通信端与第一无线数据收发模块进行数据连接，由第 一电源模块分别为红外测距传感器、微型红外摄像头、图像处理模块、视线追踪识别模块、 中央控制模块、数据存储模块、第一无线数据收发模块和显示模块供电； 所述显示模块用于通过输出的显示画面显示对医用内窥镜进行操作控制的虚拟操作 按钮，并根据显示信号输入端接收到的信号对其显示画面中所显示呈现的内容以及操作指 针所指示的位置和执行的功能操作进行显示控制； 所述数据存储模块用于存储设备参数数据和指令参数数据；所述设备参数数据记录的 信息包括佩戴支架上红外接收器所在位置与显示模块输出的显示画面所在位置之间的三 维位置关系；所述指令参数数据记录的信息包括操作指针功能指令所对应的眼睛睁闭动作 以及瞳孔移动动作，还包括显示画面中虚拟操作按钮被触发时所对应的内窥镜控制指令； 所述红外测距传感器用于通过红外发射器实时地向人体眼睛所在位置发射出红外光， 通过红外接收器接收由红外光在人体眼睛所在位置漫反射后返回的红外反射光，由红外测 距传感器的测距处理模块根据红外光发出时间与红外反射光接收时间之间所存在的时差 进行换算而测得佩戴支架上红外接收器所在位置与人体眼睛所在位置的距离数据，并将该 距离数据传送至中央控制模块； 所述微型红外摄像头用于拍摄人体眼睛所在位置的原始红外图像，并通过红外图像数 据输出端实时地传送至图像处理模块； 所述图像处理模块用于实时获取微型红外摄像头拍摄的原始红外图像，通过图像分割 处理从原始红外图像中分割得到人眼区域图像，并将得到的人眼区域图像进行滤波和边缘 增强处理后，通过处理数据输出端实时地传送至视线追踪识别模块； 所述视线追踪识别模块用于实时获取图像处理模块处理得到的人眼区域图像，通过图 像边界识别处理而确定人眼区域图像中的眼睛形状、瞳孔位置和角膜反射光斑，进而确定 眼睛的睁闭状态、瞳孔中心所在位置以及角膜反射光斑中心所在位置，并将眼睛的睁闭状 态、瞳孔中心所在位置以及角膜反射光斑中心所在位置通过识别信息输出端实时地传送至 中央控制|吴块； 所述第一无线数据收发模块用于与医用内窥镜建立无线通信连接，实现与医用内窥镜 之间的数据收发通信； 所述中央控制模块用于实时地根据眼动数据输入端接收到的瞳孔中心所在位置与角 膜反射光斑中心所在位置所构成的位置向量而估算确定人眼的视线方向，并结合通过参数 采集端从数据存储模块提取的佩戴支架上红外接收器所在位置与显示模块输出的显示画 面所在位置之间的三维位置关系以及通过距离数据输入端获取到的佩戴支架上红外接收 器所在位置与人体眼睛所在位置的距离数据构建空间三维坐标，通过该空间三维坐标计算 确定人体眼睛所在位置相对于显示模块输出的显示画面上各个显示位置点的距离，进而计 算确定人眼的视线方向在显示画面上的实时相交点，并生成操作指针位置指令通过显示信 号输出端实时地传送至显示模块，控制其显示画面上的操作指针实时地指示于人眼的视线 方向在显示画面上的相交点位置；中央控制模块还用于实时地根据眼动数据输入端接收到 的眼睛的睁闭状态和瞳孔中心所在位置的变化情况确定眼睛的实际睁闭动作和瞳孔的实 际移动动作，且与通过参数采集端从数据存储模块提取的操作指针功能指令所对应的眼睛 睁闭动作以及瞳孔移动动作进行对比，判断是否匹配，并在判定匹配时将相匹配的操作指 针功能指令通过显示信号输出端传送至显示模块以控制其显示画面上的操作指针所指示 的位置执行相应的功能操作，进而判断显示画面上操作指针所指示的位置执行的功能操作 是否触发了显示画面中的虚拟操作按钮，并在判定虚拟操作按钮被触发时通过参数采集端 从数据存储模块提取对应的内窥镜控制指令，通过数据通信端传送至第一无线收发模块， 由第一无线收发模块将内窥镜控制指令发送至医用内窥镜；此外，中央控制模块还用于通 过第一无线数据收发模块接收医用内窥镜回传的数字图像，并通过显示信号输出端将接收 到的数字图像实时地传送至显示模块，控制其显示画面进行显示呈现。
3. 根据权利要求2所述基于视线追踪控制的医用内窥镜操控系统，其特征在于，所述 头戴式视线追踪控制器的显示模块包括显示驱动电路和透明显示屏；所述透明显示屏坚向 地固定安装在佩戴支架的眉部的下方，用于呈现显示模块输出的显示画面；所述显示驱动 电路的显示数据输入端作为显示模块的显示信号输入端，显示驱动电路的显示控制输出端 与透明显示屏进行数据连接，用于根据显示数据输入端接收到的信号相应地输出和控制通 过透明显示屏呈现出的显示画面； 所述显示模块输出的显示画面所在位置即为透明显示屏所在位置。
4. 根据权利要求2所述基于视线追踪控制的医用内窥镜操控系统，其特征在于，所述 头戴式视线追踪控制器的显示模块包括微型投影仪和透明棱镜；所述微型投影仪的投影数 据输入端作为显示模块的显示信号输入端，微型投影仪的投影镜头朝向透明棱镜，根据投 影数据输入端接收到的信号向透明棱镜投射出相应的显示画面影像；所述透明棱镜固定安 装在佩戴支架的眉部的下方，且透明棱镜中具有可见光折射面，用于将微型投影仪的投影 镜头投射进入透明棱镜的显示画面影像折射至人体眼睛所在方向，进而呈现出显示画面； 所述显示模块输出的显示画面所在位置即为透明棱镜中可见光折射面所在位置。
5. 根据权利要求2所述基于视线追踪控制的医用内窥镜操控系统，其特征在于，所述 头戴式视线追踪控制器的佩戴支架包括一个从对应于人体左侧眉梢位置处横向延伸至对 应于人体右侧眉梢位置处的横梁，所述横梁上对应于人体眉毛位置处即为佩戴支架的眉 部；横梁的中部设有用于将横梁支撑在人体鼻梁位置处的鼻托；横梁的左端和右端分别可 转动地连接有左侧腿部和右侧腿部，且所述左侧腿部和右侧腿部相对于横梁转动至伸展状 态时，使得左侧腿部从对应于人体左侧眉梢位置处横向延伸至对应于人体左耳位置处，而 右侧腿部从对应于人体右侧眉梢位置处横向延伸至对应于人体右耳位置处；所述左侧腿部 和右侧腿部远离所述横梁的末端之间通过绑带相连接，所述绑带上具有能够弹性伸缩的伸 缩部。
6. 根据权利要求1所述基于视线追踪控制的医用内窥镜操控系统，其特征在于，所述 头戴式视线追踪控制器还包括声音采集模块和音频处理模块；所述声音采集模块的声音数 据输出端与音频处理模块的音频输入端电连接，音频处理模块的音频输出端与中央控制模 块的语音数据输入端电连接； 所述声音采集模块用于对环境声音进行音频采集，并将采集到的原始声音音频数据通 过声音数据输出端实时地传送至音频处理模块； 所述音频处理模块用于实时获取来自声音采集模块的原始声音音频数据，并对原始声 音音频数据进行降噪滤波处理，并将处理后的声音音频数据通过音频输出端实时地传送至 中央控制模块； 所述数据存储模块中存储的指令参数数据所记录的信息，还包括内窥镜控制指令所对 应的语音口令音频数据； 所述中央控制模块还用于实时地将语音数据输入端收到的声音音频数据与通过参数 采集端从数据存储模块提取的内窥镜控制指令所对应的语音口令音频数据进行对比，判断 是否匹配，并在判定匹配时将相匹配的内窥镜控制指令通过数据通信端传送至第一无线收 发模块，由第一无线收发模块将内窥镜控制指令发送至医用内窥镜。
7. 根据权利要求1所述基于视线追踪控制的医用内窥镜操控系统，其特征在于，所述 头戴式视线追踪控制器的佩戴支架上还设置有若干个操作键，各个操作键分别与中央控制 模块的不同I/O端电连接，在操作键被手动操作时向相应的I/O端发出电信号； 所述数据存储模块中存储的指令参数数据所记录的信息，还包括中央控制模块的各个 I/O端电信号所对应的内窥镜控制指令； 所述中央控制模块还用于实时地接收来自各不同I/O端的电信号，通过查询数据存储 模块存储的指令参数数据，判定接收到的I/O端电信号所对应的内窥镜控制指令，并将相 应的内窥镜控制指令通过数据通信端传送至第一无线收发模块，由第一无线收发模块将内 窥镜控制指令发送至医用内窥镜。
8. 根据权利要求1所述基于视线追踪控制的医用内窥镜操控系统，其特征在于，所述 医用内窥镜包括冷光源照明模块、微型CCD摄像头、CCD图像信号转换模块、微控制模块、第 二无线数据收发模块和第二电源模块；所述冷光源照明模块和微型CCD摄像头均设置于医 用内窥镜的探头位置处并朝向探头的前方；其中，微型CCD摄像头的拍摄图像输出端与CCD 图像信号转换模块的图像输入端电连接，CCD图像信号转换模块的转换数据输出端与微控 制模块的数字图像输入端电连接，微控制模块的拍摄控制信号输出端与微型CCD摄像头的 拍摄控制端电连接，微控制模块的数据收发端与第二无线数据收发模块进行数据连接，由 第二电源模块分别为冷光源照明模块、微型CCD摄像头、CCD图像信号转换模块、微控制模 块和第二无线数据收发模块供电； 所述冷光源照明模块用于向医用内窥镜的探头前方提供照明； 所述微型CCD摄像头用于根据拍摄控制端接收到的拍摄控制信号对医用内窥镜的探 头前方进行图像拍摄操作，并将拍摄的CCD图像信号通过拍摄图像输出端传送至CCD图像 信号转换模块； 所述CCD图像信号转换模块用于实时地将来自微型CCD摄像头的CCD图像信号转换为 数字图像，并通过转换数据输出端传送至微控制模块； 所述第二无线数据收发模块用于与头戴式视线追踪控制器建立无线通信连接，实现与 头戴式视线追踪控制器的数据收发通信； 所述微控制模块用于通过第二无线数据收发模块接收头戴式视线追踪控制器发送的 内窥镜控制指令，并根据内窥镜控制指令通过拍摄控制信号输出端向微型CCD摄像头发送 相应的拍摄控制信号以控制其执行相应的图像拍摄操作，还用于将数字图像输入端接收到 的数字图像通过数据收发端传送至第二无线数据收发模块，由第二无线数据收发模块将数 字图像回传至头戴式视线追踪控制器。
【文档编号】A61B1/00GK104055478SQ201410322232
【公开日】2014年9月24日 申请日期:2014年7月8日 优先权日:2014年7月8日
【发明者】金纯 , 李娅萍, 汪源 申请人:金纯