增强现实无线电子内窥镜手术系统的制作方法

本发明属于医疗器械领域，具体涉及一种增强现实无线电子内窥镜手术系统。

背景技术：

目前，医疗机器人技术的研究已经成为国际机器人领域的前沿研究热点之一，医务人员和科学工程技术人员紧密配合，研究开发了一些医用外科手术系统，但目前还未有水平高的很成熟的系统应用于临床实践中。

现有的电子内窥镜手术系统，其主要组成为各种形式的内窥镜、光源主机、图像处理主机及显示装置，内窥镜进入人体腔道后，通过摄像单元采集图像，经图像处理主机处理后在显示装置上显示出来，供医生在手术时参考。但医生在操作手术时，往往需要较长的时间，而长时间盯着显示装置的屏幕会使身体的相关部位疲劳度增加，极易影响手术的进行。同时，手术操作时一直盯着屏幕，使医生无法进行别的操作或查看前期检查的图像，降低了手术效率和成功率。

技术实现要素：

本发明解决的技术问题在于提供一种增强现实无线电子内窥镜手术系统，采用增强现实装置作为系统显示装置的补充，使医务人员能够通过增强现实装置上的微显示器观看到内窥镜采集的图像及其它图像，同时不影响医务人员直接通过眼睛观察目标。为了实现上述目的，本发明采用了如下技术方案：

一种增强现实无线电子内窥镜手术系统，该手术系统包括：

内窥镜，其具有摄像、照明的光学系统，和将弯曲部设在前端部分的长条状插入部；

支架总成以及安装在支架总成上的光源主机、成像主机和显示装置；其中，

所述光源主机具有光源及光源接口，并通过光纤连接所述内窥镜的光学系统；

所述成像主机具有图像处理单元，及连接图像处理单元的存储单元和第一无线通信单元，所述图像处理单元用于接收及处理所述内窥镜采集的图像，并传输到所述显示装置或储存于存储单元中；

所述显示装置用于显示经所述图像处理单元处理过的由所述内窥镜采集的图像；还包括，

增强现实装置，所述增强现实装置具有支架，以及设于所述支架上的第二无线通信单元、微处理单元和微显示单元，其中，所述微显示单元于支架戴在人头部时位于人眼前方；

所述成像主机的图像处理单元还用于处理图像并通过第一无线通信单元进行发送，所述第二无线通信单元用于接收第一无线通信单元发射的图像信号，所述微处理单元用于控制并驱动所述微显示单元显示第二无线通信单元接收的图像信号。

进一步的，所述显示装置包括第一显示器和第二显示器，所述第一显示器设于成像主机上，第二显示器为专用医学显示器；所述第一显示器还用于操作人员在其显示屏幕上标记感兴趣区域，所述图像处理单元还用于获取该感兴趣区域，经处理后发送到所述增强现实装置，并由所述微显示单元显示所述感兴趣区域。

优选的，所述第一显示器具有触摸式显示屏幕，该触摸式显示屏幕用于操作人员通过触控方式在屏幕上标记感兴趣区域。

进一步的，所述微显示单元通过可调支架安装于增强现实装置上，所述可调支架用于调节微显示单元与人眼之间的距离。

进一步的，所述增强现实装置上还设有语音接收单元，所述语音接收单元连接所述微处理单元，用于接收语音指令；

所述成像主机的存储单元还用于存储外部设备采集的病理图像；

所述语音接收单元接收到语音指令后，由所述微处理单元通过第二无线通信单元发送到所述图像处理单元，并由所述图像处理单元识别语音指令后从存储单元中调取相应的病理图像发送到增强现实装置上的微显示单元进行显示。

进一步的，本发明的手术系统还包括骨传导耳机，所述骨传导耳机通过第三通信单元和所述成像主机无线连接，用于接受成像主机的提醒指令并发出提示语音。

进一步的，所述内窥镜还具有位置传感单元，所述位置传感单元连接所述成像主机的图像处理单元；所述位置传感单元用于检测内窥镜所摄图像的旋转角度，当位置传感单元检测到内窥镜所摄图像发生歪斜或倒立时，所述图像处理单元对内窥镜采集的图像进行相应的旋转以矫正，使所述显示装置显示的图像始终保持正立。

优选的，所述位置传感单元为设于内窥镜里的九轴陀螺仪。

进一步的，本发明的手术系统还包括外接电源，所述外接电源包括可充电电池及挂置部，所述挂置部用于将电源挂置于人体上，所述可充电电池连接增强现实装置的电源接口。

优选的，所述内窥镜是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一个或一个以上。

本发明的有益效果：

本发明的增强现实无线电子内窥镜手术系统，在传统内窥镜手术系统的基础上增加了增强现实装置，该增强现实眼睛能够佩戴于医务人员头部，并通过设于其上的微显示单元进行图像显示，使医务人员能够通过微显示单元观看内窥镜采集的图像，进行手术操作；或者忽略微显示单元，直接以正常方式通过眼睛观察目标，从而将医务人员的眼睛从现有内窥镜手术系统的显示装置上解放出来，避免了医务人员因长时间盯着屏幕造成的身体疲劳甚至损伤，也使得手术操作更有效率。

进一步的，医务人员可以通过本发明的手术系统中的显示装置标记内窥镜采集的图像中的感兴趣区域，并由图像处理单元对该感兴趣区域进一步处理后发送到增强现实装置上的微显示单元进行显示，使操作者对图像的观察更加清楚，提高手术准确度。从而大大降低了病人的痛苦、手术创伤和手术费用，缩短了康复时间，同时也减轻了医生的疲劳强度。

进一步的，手术过程中，医务人员可能需要查看其它设备获取的病理区域图像，比如血管造影图像、电脑断层扫描图像、核磁共振成像图像或超声波检查图像等。但在进行内窥镜手术操作时，医务人员的手脚都需要操作相应的设备，无法调取图像进行观看。此时，可以通过本发明的手术系统中的语音接收单元发出语音指令，从预先存入成像主机的存储单元中的相关图像中调取需要的图像，并显示到增强现实装置的微显示单元上进行观察，从而大大提高了便捷度和手术效率，使该系统将微创手术精度和水平提高到新的高度。

附图说明

图1为本发明的增强现实无线电子内窥镜手术系统的部件组成及连接关系示意图。

图2为内窥镜、支架总成、光源主机和成像主机的安装、连接示意图。

图3为本发明中增强现实装置一种实施例的结构示意图。

图4为本发明中增强现实装置另一种实施例的结构示意图。

具体实施方式

为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。

如图1和图2所示，本发明的增强现实无线电子内窥镜手术系统，其较佳实施例包括：

内窥镜1，所述的内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的任意一个，其具有摄像、照明的光学系统，和将弯曲部设在前端部分的长条状插入部11，用于插入人体腔道采集图像或通过器械进行手术操作。

以及集成于支架总成2上的：

光源主机3，其具有光源及光源接口，通过光纤连接内窥镜的光学系统，用于给内窥镜的光学系统提供照明或手术光源。

成像主机4，其至少具有图像处理单元、存储单元和第一无线通信单元，其中存储单元和第一无线通信单元连接图像处理单元。其中，图像处理单元用于接收及处理内窥镜采集的图像，之后发送到显示装置显示或者储存到存储单元中。

具体的，上述的图像处理单元由DSP+FPGA+ARM构成，以DSP为主CPU，FPGA作为主CPU的协处理器进行视频预处理，ARM作为辅助处理控制单元。

其中，FPGA完成接口处理、视频数据的接入与预处理；DSP完成视频数据的输入、视频数据的压缩、外存的控制、与FPGA的交互通信及压缩数据的输出。另外，图像处理过程中，串行数字视频信号（LVDS）通过专用串并转换芯片实现串并转换，然后通过隔离芯片将隔离后的信号送给FPGA。FPGA中的视频数据格式解析模块将CML接口输入的视频信号转换成Y格式视频数据；VPIF接口模块将视频数据格式解析模块输出的数据转换成DSP的VPIF接口支持的格式，将视频数据通过VPIF接口传输给DSP。DSP实现对视频数据进行编解码处理，最后将视频数据流通过HDMI接口实现高清视频显示。同时，将视频数据流通过无线WIFI传输至增强现实装置实现增强现实显示。

进一步的，上述的图像处理单元，通过linux操作系统在ARM嵌入式系统上的移植，实现内窥镜摄像系统的人机交互。ARM与DSP之间的通信具体为：直接将DSP连接到ARM的系统上实现两者之间的通信。对于ARM设备，DSP可以看作是连接在其系统上的存储器，ARM通过存储器访问指令访问DSP。采用ARM与DSP结合的构架，使DSP丰富的资源用于实现图像处理，充分发挥其图像处理领域的优势。比如，在图像冻结后，系统需要存储冻结图像时，DSP将冻结的图像数据发送到ARM系统，在ARM系统实现存储。

显示装置，其具有显示屏幕，用于显示经图像处理单元处理过的由内窥镜采集的图像。

优选的，显示装置包括第一显示器和第二显示器。其中，第一显示器集成于成像主机上，该显示器为触摸式液晶显示器，操作人员可以通过触控的方式在该显示器的屏幕上标记感兴趣区域。其中，所述的感兴趣区域为病人身体病变的关键部位或者手术的关键部位。选取的感兴趣区域经过成像主机的进一步处理后，发送到所述增强现实装置，由微显示单元显示出来，供医生近距离观看，从而提高手术的精准度。

具体的，本发明的优选实施例中，基于Embedded Visual C++对触摸屏的软件界面进行设计。整个视频图像的重建和处理软件界面中，左边较大窗口为视频的实时全分辨率预览，通过触摸的触控方式对触摸屏上感兴趣的图像区域进行标记，通过右边的触摸图标按键进行抓捕操作。同时，可以在设置按键中进行选择以BMP或JPEG格式进行存储，并将最近捕获的八幅图像在右边小窗口中形成预览，图像抓捕过程不会对视频的实时显示产生任何干扰。

第二显示器为内窥镜系统专用显示器5。该显示器具有很高的分辨率，以及优异的亮度和对比度，自然的分级和精确的色彩还原，作为主显示屏幕显示内窥镜采集的图像，便于医生观看、识别。

为了将医务人员的眼睛从显示装置上解放出来，并提高手术效率，本发明的手术系统还进一步设置了增强现实装置。

如图3所示为本发明中增强现实装置的较佳实施例，其具有支架61，以及设于支架上的第二无线通信单元、微处理单元和微显示单元62；其中，第二无线通信单元、微处理单元集成于支架上的原件盒63内。

或者，上述的增强现实装置也可以做成如图4所示的类型。其具有支架71和显示部72，该显示部可集成第二无线通信单元、微处理单元和微显示单元。

具体的，上述实施例中，第二无线通信单元用于和成像主机上的第一无线通信单元进行通信，接受/发送数据信息或指令信息。优选的，所述的第一、第二无线通信单元可以是WiFi通信模块，或者蓝牙通信模块；当然，也可以是其它无线通信模块，在此不做具体限制。

微处理单元连接第二无线通信单元和微显示单元，其用于接受图像主机通过无线通信单元发送的图像信号，进一步处理后驱动微显示单元显示接收的图像信号。

具体的，微处理单元选用八核ARM处理器，其处理图像时利用CUDA架构技术的KLT和SIFT混合特征点进行跟踪算法，并合理利用图像特征点快速跟踪匹配技术，极大提升了图像处理的可用性。考虑到特征点跟踪匹配算法在像素和特征点两个层次上的并行性，利用并行运算技术对算法进行加速，将提高了算法效率，并减小了算法时耗。利用混合特征点的跟踪策略，通过与深度图增强算法机制，在保证算法精度的同时维持了在鲁棒性和实时性之间的有效平衡。同时，采用深度图增强算法，利用原始深度图的置信度估计结果及彩色图像的颜色、边缘和分割结果为线索对深度图进行优化求解，有效地降低深度图噪声并对数据缺损区域进行修复。微显示单元用于显示图像。特别的，本发明中，所述的增强现实装置其微显示单元为设于支架上的微显示器，并且当支架戴在人的头部时，该微显示正好位于人眼前方。此时，医务人员的眼睛可以灵活选择，既可以聚焦到微显示器的屏幕上，也可以忽略微显示器，以正常方式观察外部目标。

具体实施时，该微显示单元采用1366x768分辨率的LCOS屏进行图像显示，通过可调支架安装于增强现实装置的支架上。当增强现实装置佩戴于人体头部时，人眼和该LCOS屏的距离通过调节可刚好满足看清楚屏幕上的显示图像，并具有观看外部大屏幕显示设备的体验。

为了进一步增强上述增强现实装置的功能，提高手术效率，本发明的手术系统中，操作人员在第一显示器的显示屏幕上标记感兴趣区域，经图像处理单元获取并处理该感兴趣区域后，发送到增强现实装置，并由增强现实装置上的微显示单元显示所述的感兴趣区域，以便于医务人员观看细节或关键区域的图像，提高手术的准确度和效率。

另外一方面，作为进一步的优选实施方案，本发明的手术系统还于增强现实装置上设置了语音接收单元，该语音接收单元连接微处理单元，用于接收语音指令。同时，成像主机的存储单元中预存储了外部设备采集的病理图像，如血管造影图像、电脑断层扫描图像、核磁共振成像图像或超声波检查图像等。当医务人员在手术过程中需要查看上述图像时，可发出语音指令，语音接收单元接受该语音指令后，通过微处理单元发送到图像处理单元，由图像处理单元对语音指令进行识别后，从存储单元中调取相应的病理图像发送到增强现实装置，并由微显示单元进行显示，以便于医务人员查看。此时，医务人员可以在微显示单元上查看外部设备采集的病理图像，并通过显示装置观看内窥镜采集的图像，进行对比，从而提高手术准确度和手术效率。

上述的语音接收单元可以为集成于支架上的微型麦克风，接收语音信号。成像主机的图像处理单元进一步集成了语音处理模块，以便进行语音指令识别。在实际使用时，可以通过几个预先设置的语音指令发出指示，以提高语音指令的识别准确率。

作为进一步的优选实施方案，本发明的手术系统还包括骨传导耳机，该骨传导耳机通过第三通信单元和成像主机无线连接，用于接受成像主机的提醒指令并发出提示语音。采用骨传导耳机，可以有效避免外部噪音的干扰，使接收者听到的指示更清楚。

作为进一步的优选实施方案，本发明中，内窥镜还具有位置传感单元，该位置传感单元为设于内窥镜中的九轴陀螺仪，其连接成像主机的图像处理单元。使用时，当位置传感单元检测到内窥镜所摄的图像发生歪斜或倒立时，图像处理单元根据九轴陀螺仪采集的数据对内窥镜采集的图像进行相应的旋转，使显示装置显示的图像始终保持正立，以便于医务人员观看图像，进而提高操作的准确度。

进一步的，本发明的手术系统还包括外接电源，该外接电源包括可充电电池及挂置部，挂置部用于将电源挂置于人体上，可充电电池连接增强现实装置的电源接口。采用外接电源，可以克服内置电池电量不足或连接电源线麻烦的不足，尤其适用于手术时间较长的场合。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。