用于外科手术的视频捕获和显示的数字系统的制作方法
【专利说明】用于外科手术的视频捕获和显示的数字系统
[0001]背景
[0002]1.
技术领域
[0003]本发明涉及医学成像领域，并且更具体地涉及数字化的外科手术捕获和显示。
[0004]2.对相关技术的讨论
[0005]当前可利用的用于显微镜外科手术操作的技术使用传统光学显微镜。基础的传统外科手术显微镜由高质量光学部件、变焦物镜、供用户观看的目镜和XY电机构成。用户(或外科医生)通过直接光学通道看到相关对象。存在有折叠显微镜中的光线的技术，用于为用户设计更舒适且符合人体工学的结构。然而，因为显微镜基于直接光线通道，所以显微镜在其定位和移动目镜的能力和灵活性方面受到限制。另外，由于显微镜的传统直接观看方法，所以在没有数字装置和传感器的情况下，用户不能从数字领域优势中受益。
[0006]在对显微镜的延长使用(特别地，外科手术操作)期间，用户必须在长时间段内将其头部定位到固定于显微镜。用户长时间将其头部保持在显微镜中会引起颈部疼痛。
[0007]当前可利用的内窥镜操作(腹腔镜检查、结肠镜检查等)技术包括将视频投影到固定在手术室(OR)中的(一个或多个)大型监视器上。内窥镜耦接至数字摄像机。摄像机视频被投影到大型显示器上。全体工作人员特别是主治外科医生必须在他们的头部固定于监视器方向时观看手术。工作人员缺乏移动他们的头部、观看彼此和他们的仪器的能力，这使得外科手术更加复杂、有风险并且增加了手术时间(在一些情况下，还可能导致工作人员的数量的增加)。对于外科医生协助人员而言，因为他们不能看到外科医生的直接动作并且不能共享其视角，所以很难进行辅助。
【发明内容】
[0008]本发明的一种实施方式提供了以下一种系统:该系统将来自外科手术可视化仪器(例如显微镜、腹腔镜)的数据、来自现有医疗成像仪器(例如MRI和CT扫描)的数据、患者病史以及在手术室(OR)中可得到的当前生命体征进行整合。新系统还使用户与任意固定仪器分离，从而使得环境更加符合人体工学。该系统可以显示来自OR中的仪器的参考数据以及3D路线图。所述数据可以来自捕获实时3D数据的成像仪器。另一方法是接收从不同角度进行捕获的数据，并且该系统将生成3D数据以用于显示。
[0009]本发明的另一实施方式提供了一种替换传统光学外科手术显微镜的、同时保持显微镜的光学分辨率和视场(FOV)的数字系统。两个数字摄像机用于从略微不同的角度捕获操作区域的、随后要向每个眼睛显示的图像，从而提供3D成像。用于从不同角度捕获图像的另一方法可以利用一个具有专用光学组件的摄像机。摄像机捕获与由外科手术显微镜捕获的最大FOV对应的大F0V。图像被显示到双显示头戴式设备上。用户注视方向(用户视野的视线)通过头部跟踪器和眼球跟踪器进行测量。所捕获的图像和注视方向被传送至系统的计算机。根据注视方向，计算机从摄像机图像获得相关的关注区域(ROI)，并且将它们馈送到特别设计的显示系统中。应当理解的是，ROI可以具有任意形状，并且可以出于应用的目的对ROI进行裁剪。
[0010]在另一实施方式中，可以使用来自键盘、鼠标、触摸屏和接口的输入来选择ROI。除了 3D成像之外，双显示系统在用户的当前关注区域处提供高分辨率(其与人眼的分辨率相当)的视频。显示器可以被设计成在其整个视场呈现高分辨率，或者可以被设计成在外围FOV保持低分辨率以用于情景认知。根据一种实施方式，可以通过跟踪外科医生所持有的工具(例如外科手术刀)的尖端来得到R0I。用这种方式，随着手术进行ROI被实时更新。
[0011]本发明的又一实施方式提供了针对不需要光学显微镜的应用的数字系统。所述应用可以(但不仅仅)涉及以下领域中的成像:骨外科、妇外科、耳鼻喉科、神经外科、肿瘤外科、儿科、口腔颁面、整形外科、导管插入术、腹腔镜检查以及结肠镜检查。视频源由计算机与头部跟踪器一起捕获。在该系统中，计算机获得相关的ROI (如果存在的话)，并且将图像传送至显示器。根据应用和视频源的特性允许2D或3D的显示器可以是单目式或双目式。透视型显示器允许了用户的周边视觉。在本申请中这里所称的ROI不仅可以包括在图像内ROI的位置，而且还可以包括与视角、要观看的对象的类型有关的元数据，以及可以在ROI内呈现的进一步的数据例如消息和警报。
[0012]与本发明的一些实施方式一致，前述系统可以设置有诸如以下要素:可以支持多个用户具有其自身的一套注视方向跟踪器和显示器的处理器和视频源。出于会诊和教示的目的，还可以将视频转发至不同位置；可以记录视频，用于将来的分析和展示；主要视频源的图像可以是空间稳定的，从而允许了以方便于用户的方向定位其它虚拟仪器，给出了病史、当前生命体征、过去的测试结果和CT扫描等。头部跟踪器可以用于控制手术室中的可操纵仪器。
【附图说明】
[0013]为了更好地理解本发明的实施方式并且示出可以如何实施所述实施方式，现在将仅仅通过示例的方式来参考附图，其中，贯穿附图相同的附图标记指示对应的要素或部分。
[0014]在附图中:
[0015]图1A为图示根据本发明的一些实施方式的一个方面的示意性框图；
[0016]图1B为图示根据本发明的一些实施方式的另一方面的立体图；
[0017]图1C为图示根据本发明的一些实施方式的另一方面的示意性框图；
[0018]图1D为图示根据本发明的一些实施方式的另一方面的立体图；
[0019]图2A为图示根据本发明的一些实施方式的又一方面的示意性框图；
[0020]图2B为图示根据本发明的一些实施方式的又一方面的立体图；
[0021]图2C为根据本发明的一些实施方式的又一方面的光学图；
[0022]图2D示出了图示根据本发明的一些实施方式的又一方面的曲线图；
[0023]图2E示出了图示根据本发明的一些实施方式的又一方面的立体图；
[0024]图2F示出了图示根据本发明的一些实施方式的又一方面的图像；以及
[0025]图2G示出了图示根据本发明的一些实施方式的又一方面的图像。
【具体实施方式】
[0026]现在详细且具体地参考附图，要强调的是:所示细节仅通过示例的方式，并且仅出于对本发明的优选实施方式进行说明性讨论的目的，以及是为了提供被认为是最有用的、并且较容易理解对本发明的原理和构思方面的描述而呈现。在这一点上，为了基本理解本发明，在不必要的情况下不尝试更详细地示出本发明的结构细节，结合附图进行的描述使得对于本领域的技术人员而言可以变得明显的是:如何在实践中实施本发明的若干形式。
[0027]在详细地说明本发明的至少一种实施方式之前，要理解的是，本发明在其应用方面不限于下面描述中所阐述的或附图中所示的部件的构造和布置的细节。本发明适用于其它实施方式或者以各种方式来实践或执行。此外，要理解的是，本文所采用的措辞和术语是出于描述的目的而不应被认为是进行限制。
[0028]本发明在其实施方式方面包括如下若干主要构造块:具有大FOV的一个或多个高分辨率摄像机；能够向用户投影所期望的分辨率和FOV的头戴式显示器；头部跟踪器和眼球跟踪器。本发明的实施方式提供与人眼的角分辨率相当或者比人眼的角分辨率好的角分辨率，并且能够具有与外科手术显微镜类似的对象放大率(放大率高达约30至40倍)。
[0029]另外，还可以使用如下一些其它要素:照射场景和对象的光源；处理器；以及接口设备。所述系统与用户、手术室器械和必要的基础设施(例如通信设施)对接。
[0030]根据本发明的一些实施方式，本文提供了用于数字显微镜的两个系统。本文还描述了主要用于内窥镜系统的第三系统。所述系统的许多要素对于所述两种系统是共用的，并且下面对其进行描述，随后详细描述所述系统之间的差异。
[0031]所提出的系统可以使用以下共用要素中的部分或全部。一个这样的要素为视频摄像机。所提出的系统使用摄像机来捕获操作区域的实时图像。图像被显示至头戴式显示器(HMD)或监视器。所述一个或多个摄像机可以替代显微镜一一所述摄像机具有能够对在数十厘米的距离处的对象进行聚焦的透镜。