一种有AR功能的智能内窥镜操作系统的制作方法

本发明属于医疗器械领域，特别涉及一种有增强现实技术（augmentedreality，ar）功能的智能内窥镜操作系统。

背景技术：

内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器。利用内窥镜可以看到x射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案，在手术过程中通过内窥镜探得的人体内部结构医生进行手术和操作，但是很多情况下医生可能分不清当前看到的解剖结构（如动脉、静脉、神经位置等）从而导致医生的判断有误导致手术的成功率不高。

技术实现要素：

本发明的目的在于提供一种有ar功能的智能内窥镜操作系统，通过设有第一显示屏和计算机，计算机根据第一显示屏所显示的画面自动从后台相似图片并使用ar技术将相似图片叠加显示在画面上，为医生提供更多的参考图像，以辅助医生进行下一步的操作，以解决进行手术和操作过程中医生分不清当前内窥镜传输看到的解剖结构（如动脉、静脉、神经位置等）从而导致医生的判断有误导致手术的成功率不高的问题。

本发明提供的技术方案如下：一种有ar功能的智能内窥镜操作系统，包括内窥镜，所述内窥镜连接端设有计算机，所述计算机通过rs总线分别连接有第一显示屏、耳机和第二显示屏，所述计算机连接端分别设有手术器具和模拟手术器具，所述计算机输出端设有服务器，所述计算机通过传输线缆连接有打印机。

优选的，所述内窥镜包括摄像头、cpu处理器、蓝牙模块和wifi模块。

优选的，所述第一显示屏和耳机均设置于头戴式ar眼镜上，所述第一显示屏为眼镜显示屏，所述耳机为头戴式ar眼镜外侧连接耳机。

优选的，所述第二显示屏设置为可移动式外接显示屏，所述第二显示屏和计算机均设置于可移动式工作台上。

优选的，所述手术器具和模拟手术器具为多种不同手术实验器具，用于手术实验操作，所述手术器具内部设有接触传感器、激光传感器、压力传感器、接触式微型传感器中的一种或多种。

优选的，所述服务器连接端设有云服务器，所述云服务器通过局域网和互联网与远程专家用户客户端连接，用于将内窥镜实时拍摄的视频传输到远程的专家用户客户端，所述专家用户客户端用于展示所述视频，并收集专家用户输入的文字、声音、图案，并将所述文字、声音、图案回传给所述服务器。

本发明中，1、通过设有第一显示屏，医生在进行手术前戴上头戴式ar眼镜，在使用内窥镜做检查或手术时，计算机可以根据第一显示屏上的画面自动从后台搜索相似图片并使用ar技术将相似图片叠加显示在画面上，从而通过ar的形式为医生提供更多的参考图像，以辅助医生进行下一步的操作，提高手术的成功率；

2、通过设有云服务器与远程专家用户客户端连接，在手术难度较高的情况下可实现将内窥镜下实时视频传输到远程专家用户客户端，专家用户客户端可以回传专家输入的文字、声音、画图等，给医生进行实时指导，提高手术的成功率；

3、通过设有模拟手术器具和第二显示屏，可以通过计算机控制将内窥镜获取的图片显示在第一显示屏上供医生通过模拟手术器具进行操作和实验，并将实验步骤记录后传输至第二显示屏上，也可以通过打印机将操作步骤打印成报告，从而可以提高医生的操作水平。

附图说明

图1为本发明的ar功能的智能内窥镜操作系统的结构图；

图中：1内窥镜、2计算机、3第一显示屏、4耳机、5第二显示屏、6手术器具、7模拟手术器具、8服务器、81云服务器、9打印机。

具体实施方式

实施例一：

本发明提供了如图1所示的一种有ar功能的智能内窥镜操作系统，包括内窥镜1，所述内窥镜1连接端设有计算机2，所述计算机2通过rs385总线分别连接有第一显示屏3、耳机4和第二显示屏5，所述计算机2连接端分别设有手术器具6和模拟手术器具7，所述计算机2输出端设有服务器8，所述计算机2通过传输线缆连接有打印机9。

所述第二显示屏5设置为可移动式外接显示屏，所述第二显示屏5和计算机2均设置于可移动式工作台上。

其中，模拟手术器具7可以为虚拟手术仿真器。

本实施例优点为：内窥镜1可以经口腔进入胃内或经其他天然孔道进入体内，随后将深入部位通过内窥镜1前端微型摄像头进行拍摄并传输至计算机2，计算机2将内窥镜1实时拍摄画面传输至第一显示屏3，并且可以通过计算机2控制将内窥镜获取的图片显示在第一显示屏3上供医生进行操作和实验，并将实验步骤记录后传输至第二显示屏5上，也可以通过打印机9将操作步骤打印成报告，从而可以提高医生的操作水平。

实施例二：

所述第一显示屏3和耳机4均设置于头戴式ar眼镜上，所述第一显示屏3为眼镜显示屏，所述耳机4为头戴式ar眼镜外侧连接耳机。

在进行手术前戴上头戴式ar眼镜，医生可以通过第一显示屏3直观的观察内窥镜实时拍摄画面，在使用内窥镜1做检查或手术时，分不清当前看到的解剖结构（如动脉、静脉、神经位置等），这时可以通过第一显示屏3上的画面自动从后台搜索图片，找到与拍摄画面相似度高于设定值的图片，并使用ar技术将解剖结构图叠加显示在画面上，以指引医生进行下一步的操作，提高手术的成功率。

实施例三：

所述手术器具6和模拟手术器具7为多种不同手术实验器具，用于手术实验操作，所述手术器具6和模拟手术器具7上可以均设有接触传感器、激光传感器、压力传感器、接触式微型传感器等传感器中的一种或多种。

通过计算机2控制将内窥镜1获取的图片显示在第一显示屏3上供医生通过计算机2控制模拟手术器具7进行操作，并将实验步骤记录后传输至第二显示屏5上，也可以通过打印机9将操作过程打印成报告，多次模拟手术实验从而可以提高医生的操作水平，在进行手术或模拟手术时，手术器具6和模拟手术器具7内部多种传感器可检测医生操作过程中切入深度、长度或压力大小等数据，当达到预定值时及时通过耳机对医生进行示警，提高手术的成功率。

实施例四：

所述服务器8连接端设有云服务器81，所述云服务器81通过局域网和互联网与远程专家用户客户端连接。

可实现将内窥镜1下实时视频传输到远程的专家用户客户端，所述专家用户客户端用于展示所述视频，并收集专家用户输入的文字、声音、图案，并将所述文字、声音、图案传输至云服务器81后传输至服务器8，随后通过计算机2传输至第一显示屏3和耳机4，辅助医生进行手术。

本发明工作原理：通过计算机控制系统的工作模式进行工作如模拟实验模式和手术操作模式，医生在进行手术前戴上头戴式ar眼镜，在使用内窥镜1做检查或手术时，分不清当前看到的解剖结构，这时可以通过第一显示屏3上的画面自动从后台搜索相似图片并使用ar技术将相似图片叠加显示在画面上，以指引医生进行下一步的操作，提高手术的成功率，并且通过云服务器81通过局域网和互联网与远程专家用户客户端连接，可实现将内窥镜1下实时视频传输到远程的专家用户客户端，专家可以在专家用户客户端上通过文字、声音、画图等方式给医生进行实时指导，当工作模式为模拟实验模式时，通过计算机2提取内窥镜1拍摄的图片显示在第一显示屏3上供医生通过模拟手术器具7进行操作和实验，并将实验步骤记录后传输至第二显示屏5上，也可以通过打印机9将操作中的步骤和错误部分打印成报告，多次模拟手术实验可以提高医生的操作水平，在进行手术或模拟手术时，手术器具6和模拟手术器具7内部的多种传感器可检测医生操作过程中切入深度、长度或压力大小等数据，当达到预定值时及时通过耳机传输至医生，提高手术的成功率。

本发明实施例中，计算机2包括控制模块，控制模块用于，接收用户指令，基于用户指令设定当前有ar功能的智能内窥镜操作系统的工作模式，所述工作模式为模拟实验模式或手术操作模式。

控制模块还用于，在模拟实验模式下，接收用户指令，控制模拟手术器具7执行模拟手术操作。

控制模块还用于，接收手术器具6上的传感器的反馈信号，基于所述反馈信号，通过耳机播放示警音。

计算机2还包括ar图像生成模块，用于基于内窥镜获取图像，进行网络检索，获取与所述图像相似度大于设定值的相似图像，将所述相似图像下载到本地，基于ar技术进行图像叠加，生成ar图像，输出给第一显示屏进行图像显示。

本发明实施例还提供一种有ar功能的智能内窥镜操作系统的控制方法，包括：

接收用户指令，基于用户指令设定当前有ar功能的智能内窥镜操作系统的工作模式，所述工作模式为模拟实验模式或手术操作模式。

在模拟实验模式下，接收用户指令，控制模拟手术器具7执行模拟手术操作。

接收手术器具6上的传感器的反馈信号，基于所述反馈信号，通过耳机播放示警音。

该方法还包括：基于内窥镜获取图像，进行网络检索，获取与所述图像相似度大于设定值的相似图像，将所述相似图像下载到本地，基于ar技术进行图像叠加，生成ar图像，输出给第一显示屏进行图像显示。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。