内窥镜除雾的制作方法

相关申请的交叉引用

本申请要求享有2018年8月21日提交的美国申请第16/107,305号的权益，该美国申请的内容通过引用合并于此。

本公开总体上涉及外科技术，具体地，涉及内窥镜辅助的外科手术。

背景技术：

内窥镜检查术允许医师使用可插入器械来观察患者体内的器官和腔。这是用于在不需要猜测或进行探索性外科手术的情况下作出诊断的宝贵工具。有时被称为内窥镜或管道镜的可插入器械具有诸如管的部分，该部分被插入患者体内并被定位成靠近感兴趣的器官或腔。

内窥镜最早在19世纪初期出现，并主要用于照亮身体的暗部分(因为光学成像处于其早期阶段)。在20世纪50年代后期，开发了第一台能够捕获图像的光纤内窥镜。一束玻璃纤维被用于将图像光从内窥镜的远末端相干地传输到相机。然而，这种影响深远的成像内窥镜能够捕获的图像质量上存在物理限制：即，纤维的数量限制了图像的分辨率，并且纤维容易断裂。

技术实现要素：

附图说明

参照以下附图描述了本发明的非限制性且非穷举性的实施方式，其中，贯穿各个视图，相同的附图标记指代相同的部分，除非另外指明。并不是元件的所有实例都有必要被标记，从而在适当的地方不使附图混乱。附图不必按比例绘制，而是将重点放在示出所描述的原理上。

图1示出了根据本公开的一实施方式的内窥镜系统。

图2a示出了根据本公开的一实施方式的在图1中描绘的内窥镜的远末端(distaltip)的第一视图。

图2b示出了根据本公开的一实施方式的在图1中描绘的内窥镜的远末端的第二视图。

图3是根据本公开的一实施方式的可以在图1的系统上运行的机器学习算法的图形描绘。

图4示出了根据本公开的一实施方式的内窥镜检查术的方法。

具体实施方式

这里描述了用于内窥镜除雾的装置和方法的实施方式。在以下描述中，阐述了许多具体细节以提供对实施方式的透彻理解。然而，相关领域的技术人员将认识到，这里描述的技术可以在没有特定细节中的一个或更多个的情况下实践，或利用其它方法、部件、材料等实践。在其它实例中，为了避免混淆某些方面，没有详细示出或描述众所周知的结构、材料或操作。

贯穿本说明书对“一个实施方式”或“一实施方式”的引用意指结合该实施方式描述的特定的特征、结构或特性被包括在本发明的至少一个实施方式中。因此，短语“在一个实施方式中”或“在一实施方式中”贯穿本说明书在各处的出现未必都指的是同一实施方式。此外，在一个或更多个实施方式中，可以以任何合适的方式来组合特定的特征、结构或特性。

在许多外科手术过程中，水在内窥镜的光学窗上的凝结(又名起雾)是个很大的麻烦。雾降低外科手术现场的可见度，这直接影响外科手术过程的安全性和可行性。

一般来说，当内窥镜的窗(即，在外科手术现场和内窥镜内部之间提供密封的光学透明元件；其由于蓝宝石的强度而可以由蓝宝石制成)的温度低于外科手术空间(例如被吹气的腹部)中的空气或气体的露点温度时，引起起雾，因而导致水的凝结。

不幸的是，对于患者而言，减轻起雾通常需要移除内窥镜并用布擦拭内窥镜，这是不得不每隔几分钟就重复的过程，并使外科手术过程中断。其它解决方案包括通过使空气在内窥镜窗上流动来使用强制对流。然而，这种解决方案增大了内窥镜的体积(特别是内窥镜的直径增大)，因此在大多数情况下不被选择。另外，这种解决方案需要将空气或某种其它气体耦合到流道中，从而增大了设置和使用的复杂性。结果，尽管临床医生强烈希望减少起雾，但是对于该问题还没有令人满意的解决方案，因此显然需要创新。

这里公开的实施方式提出了使用光的选择性吸收来解决起雾问题的解决方案。具体地，在一些实施方式中，内窥镜覆盖窗可以由光学透明材料制成，该光学透明材料掺有金属纳米颗粒、纳米棒或金属-电介质纳米颗粒或纳米棒。当金属的一个或更多个尺寸足够小(典型地在亚微米范围内)时，可以通过调节该小尺寸跨可见光谱和近红外(nir)光谱调节金属的吸收。由于对称性的考虑，纳米球吸收对偏振较不敏感，而纳米棒可以被制成选择性地吸收某种偏振的光。引起的吸收峰可以是十几nm宽，这对于这个方案不会造成问题。

在其它实施方式中，内窥镜透镜可以由光学透明材料制成，该光学透明材料以薄膜被涂覆在透镜的内部，该薄膜被设计为使特定波长(例如“加热波长”λh)处的吸收最大化。薄膜涂层可以被设计为具有窄至1nm的吸收峰。该涂层也可以与荧光陷波滤光器结合，该荧光陷波滤光器可以用于执行荧光成像。替代地，涂层可以被沉积在覆盖透镜的外部，并与抗反射涂层结合。

通过上述任一种方式吸收的光于是会加热光学透镜，并会允许对透镜温度的调节以最小化或消除起雾。

基于光纤束(例如，内窥镜管中的光纤)的照明可以用于提供光以照亮现场来进行成像，并且还可以传输与覆盖窗中的吸收峰对应的波长的光(来自激光器、led、灯等)，覆盖窗中的吸收峰源于上述两种机制之一。因为用于照明的典型光纤束传输在400-1700nm范围内的光，所以可以将λh挑选为处于图像传感器的灵敏度范围(对于硅，典型地为400-1100nm)之外，或处于可在内窥镜的光学镜筒内部某处被阻挡的某个波段中，因而消除了λh处的光会导致图像质量伪影或以其它方式干扰成像过程的可能性。

可以使用包含加热波长λh的光源，其可以将光耦合到光纤束中。结合了某种需要偏振光的成像形态(诸如斑点流成像或光学相干断层扫描)的一种实现方式可以通过设计吸收一种偏振的涂层或掺杂方案而使用相同的λh来加热内窥镜的光学窗，因而允许λh处的另一种偏振用于相干照明。

凭借上述实现方式，在内窥镜架构中，加热波长λh的光可以在用户按钮按下时或周期性地遵循某个经实验验证的脉冲方案而脉冲开启和关闭，该脉冲方案被证明提供有效的除雾以及要不然就使光功率最小化。

在一些实施方式中，加热波长λh可以基于执行对内窥镜视频流的分析以检测起雾的存在和/或严重程度的反馈算法而被脉冲开启和关闭，其中更多的起雾将在瞬时功率意义上或在时间平均意义上导致在λh处的来自光源的高功率。这种算法可以基于机器学习，其中算法在一组没有雾的图像和存在雾的图像上进行训练。算法输出可以是二进制的(指示是否存在雾)，或者可以输出标量，该标量采用某个特定范围内的将会与雾的严重程度相对应的连续值。在一些实施方式中，算法可以实时计算分辨率的量度。这种算法可以基于检测场景中的边缘(其可以是去马赛克算法的一部分，并且有可能是相机图像处理途径(pipeline)的部分)，并从其估计系统的调制传递函数(mtf)。于是它将通过检测手术期间mtf的退化来推断雾的存在。这种算法可以通过将内窥镜暴露于雾并将雾的严重程度映射到与mtf相关的变量来实验性地调节。

该算法的一个高级别目的是将光学窗的温度升高到露点温度以上。防止起雾所需的温度条件可以不同于当已经存在雾时消除起雾所需的温度条件(主要归因于引起蒸发所需的潜热)。因此，不同时间的不同操作模式和不同算法响应可以是有必要的。

除了与附图有关的其它实施方式之外，以下公开内容将描述上述实施方式。

图1示出了根据本公开的一实施方式的内窥镜系统100。内窥镜系统100包括内窥镜150(具有远末端101)、计算机151、存储器153和网络155。要理解，内窥镜控制器可以包括计算机151、存储器153和网络155的元件以及内窥镜150中包含的控制电路和软件。换句话说，根据本公开的教导，控制器可以是分布式系统，其中不同的过程发生在不同的位置(例如，在内窥镜150中，在计算机151中，和/或在远程服务器上)。如所示出的，所描绘的所有部件有线地或无线地联接。

在一些实施方式中，网络155和存储器153可以运行算法(比如机器学习算法)并执行图像处理。计算机151还可以操控某一数量的图像处理，与存储器153/网络155通信，并控制内窥镜150的各个操作方面(例如，从远末端101输出的光量、从相机接收到的图像的对比度等)。

如所示出的，内窥镜的近(手持)端可以具有用于控制远末端101的移动的许多按钮和操纵杆。本领域普通技术人员将理解，这里描绘的内窥镜150仅是内窥镜的草图(cartoon)例示，并且将理解，术语“内窥镜”应涵盖所有类型的内窥镜(例如，腹腔镜、内窥镜、机器人手术系统或将相机插入体内时的任何其它情景)，并且将理解，内窥镜应至少包括—仅举几例—“末端上芯片(chip-on-tip)”装置、棒状透镜装置(脊形的)、图像光纤装置(柔性的)。内窥镜150可以被包括在外科手术机器人系统中或联接到外科手术机器人。

图2a示出了根据本公开的一实施方式的在图1中描绘的内窥镜管的远末端201的第一视图。具体地，所描绘的实施方式示出了“末端上芯片”立体腹腔镜的远末端，然而，本领域普通技术人员将理解，这里描述的技术适用于其它内窥镜系统。如所示出的，光源207(例如，发光二极管、激光二极管、用于传输来自远程源的光的(多个)光纤的端部)被耦合以发射光，透镜203(例如，其可以具有或可以不具有屈光力，并且可以包括蓝宝石、玻璃等)靠近内窥镜的远末端201设置。透镜203被构造为吸收至少一些光。控制器(例如，包括通用处理器、专用集成电路、分布式系统、存储器等)被联接到光源207，并且该控制器包括逻辑，该逻辑在由控制器运行时使内窥镜执行操作。所述操作可以包括调整光源207的发射轮廓(emissionprofile)以用光加热透镜203，并且如上所述，加热透镜203减轻了雾在透镜203上的形成(凝结)。

如所示出的，远末端201包括被光学耦合以接收穿过透镜203的图像光(例如来自身体/患者的光)的至少一个相机209(例如，图像传感器或用于将图像发送回内窥镜的近端中的相机的纤维光学器件)。一旦接收到图像光，相机209就可以将图像光转换成图像数据，并将图像数据发送给控制器。控制器可以使用图像数据(例如，使用在控制器上运行的模块化传递函数或机器学习算法中的至少一种)来检测雾在镜头上的存在。并且，响应于检测到雾的存在，控制器可以调整光源的发射轮廓(例如，强度、占空比或波长)以加热透镜。要理解，透镜203被构造(例如，通过纹理化、内含物、设置在透镜上的膜等)为吸收光的不可见部分(例如，具有在2000nm和1100nm之间的波长的红外光—在相机209的吸收谱之外的光)。要理解，在大多数实施方式中，透镜对于可见光波长的大部分是光学透明的(因此，图像光可以无阻碍地穿过)。在所描绘的示例中，在内窥镜中存在两个相机209(例如，用于立体观察)，但是在其它示例中，可以采用单个相机。如所示出的，透镜203可以与内窥镜管(例如，包括电子连接、光纤线缆、致动器等)的壳体形成密封，以防止水分到达设置在透镜203后面的电子部件和光学部件。

在一些实施方式中，当透镜203上存在雾时光源207的发射轮廓不同于当透镜203上不存在雾时光源207的发射轮廓。如上所述，这可以归因于与已经存在于透镜上的水滴(例如，不得不与汽化的潜热竞争)与试图在透镜上凝结的水滴的物理差异。在一些实施方式中，取决于透镜203如何起雾，可以独立地控制光源207以在透镜203的表面上产生不同的热梯度和轮廓。分析视频馈送的各种算法可以确定加热透镜203的位置和程度(例如，在透镜203上产生线性、正态、抛物线形等的热分布，其中透镜203的最热部分是起雾的区域)。在一些实施方式中，仅在起雾的地方加热透镜。在另一或同一实施方式中，将基线加热应用到整个透镜203(以防止起雾)，并且在透镜203上的开始发生起雾的位置处增大热/光强度。在一些实施方式中，控制器(或控制器上的软件)可以自动校正视频数据中的图像失真，该图像失真由归因于加热的透镜膨胀/收缩造成。

图2b示出了根据本公开的一实施方式的在图1中描绘的内窥镜的远末端201的第二视图。然而，这里，在截面视图中，示出了膜205。在所描绘的示例中，膜205设置在透镜203的靠近光源207的一侧上。膜205被构造为吸收至少一些光并加热透镜203。这可以通过在膜205中包括金属纳米颗粒、金属纳米棒、金属-电介质纳米颗粒或金属-电介质纳米棒中的至少一种来实现。本领域技术人员将理解，可以调节这些结构的大小以吸收特定波长的光。在其它或同一实施方式中，也可以使用量子点、小分子有机和无机染料。在一些实施方式中，膜205可以具有促进加热的红外吸收谱，或者可以被纹理化以产生加热。在一些实施方式中，膜205是其中设置有颗粒的聚合物基质、玻璃基质或其它氧化物基质(例如，基于溶胶-凝胶前体的基质)。在一些实施方式中，透镜203本身可以包括内含物/颗粒或可以被纹理化以产生加热。

图3是根据本公开的一实施方式的可以在图1的系统上运行的机器学习算法300的图形描绘。机器学习算法300包括输入层310、输出层330以及设置在输入层310和输出层330之间的多个隐藏层320。输入层310中的节点数量可以取决于输入(例如，视频馈送的数量)，输出层330可以输出描述防止起雾所需的光输出强度的数据。在一些实施方式中，输入节点的数量与各种输入的数量及其特定分辨率有关。要理解，针对每个输入(例如，每个图像传感器捕获的图像的类型)，可以单独运行(并训练)像所描绘的机器学习算法那样的多个机器学习算法。节点之间的连接的权重分布没有被示出，但是要理解，特定值高度依赖于训练方法或预训练方法、所执行的训练迭代的数量(例如，训练样本的数量)等等。

用于机器学习算法300的神经网络的类型是高度可配置的，并取决于输入和被分析的数据。因此，在一些实施方式中，机器学习模型300可以利用深度学习，比如径向基函数神经网络、循环神经网络、长期短期记忆网络、卷积神经网络、模块化神经网络或其它类型的神经网络。如上所述，根据本公开的教导，机器学习算法300可以与其它算法(例如，对模块化传递函数的分析)结合(例如，同时或按某种连接的顺序)使用以产生光输出要求。

图4示出了根据本公开的一实施方式的内窥镜操作的方法400。受益于本公开的本领域普通技术人员将理解，方法400中的块(401-409)的顺序可以按任何顺序或甚至并行地发生。此外，根据本公开的教导，可以将块添加到方法400或从方法400去除块。

块401显示出了从设置在内窥镜中的光源发射光。如所陈述的，这可以包括发射在红外范围、近红外范围、可见范围和紫外范围内的光。要理解，所发射的光的波长取决于透镜的吸收光谱。从光源发射光可以包括首先将来自光源的至少一些光发送通过透镜上的膜、然后将该光发送通过透镜(在将该光发送通过膜之后)。换句话说，膜设置在光源和透镜之间。

块403示出了用透镜吸收至少一些光，其中透镜被构造为吸收至少一些光以加热透镜。如所陈述的，构造透镜可以包括使用吸收性涂层(包括在透镜材料中的吸收性缺陷)、使透镜/膜的表面纹理化等。吸收至少一些光可以包括吸收光的不可见部分、以及使大部分可见光波长穿过透镜。

块405显示出了用设置在内窥镜中的相机接收图像光。相机可以是cmos图像传感器或吸收可见光和不可见光的其它数码相机。要理解，陷波滤光器可以与这里公开的加热透镜一起被采用。陷波滤光器可以用于将在各种染料增强的外科手术中与荧光染料结合使用的(例如，从光源发射的)激发光波长排除在外。

块407显示出了将图像数据从相机发送到控制器。这可以通过有线或无线连接来实现，并且可以包括将信息传送到互联网或其它网络。

块409示出了使用图像数据检测雾在透镜上的存在。如所陈述的，这可以利用训练为识别雾的深度学习模型来实现，或者可以利用诸如模块化传递函数的其它逻辑来实现，所述其它逻辑可以唯一地识别图像何时被透镜上的雾遮挡。

块411描述了使用联接到光源的控制器调整光源的发射轮廓。调整发射轮廓可以包括调整强度、占空比、波长等中的至少一种。减轻可以包括减少已经在透镜上的雾的存在、或防止雾形成在透镜上。要理解，当透镜上存在雾时光源的发射轮廓可以不同于当透镜上不存在雾时光源的发射轮廓。

在计算机软件和硬件方面描述了上述过程。所描述的技术可以构成体现在有形或非暂时性机器(例如，计算机)可读存储介质内的机器可运行指令，该机器可运行指令当由机器运行时将使该机器执行所描述的操作。另外，过程可以体现在诸如专用集成电路(“asic”)或别的方式的硬件内。

有形的机器可读存储介质包括提供(即存储)机器或控制器(例如，计算机、网络装置、个人数字助理、制造工具、具有一个或更多个处理器的集合的任何装置、由固件/软件配置的通用处理器、可编程门阵列或专用集成电路等)可访问的呈非暂时性形式的信息的任何机构。例如，机器可读存储介质包括可记录/不可记录介质(例如，只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光学存储介质、快闪存储器件等)。

对本发明的所示实施方式的以上描述，包括摘要中描述的内容，不旨在是穷举性的或将本发明限制为所公开的精确形式。虽然这里出于说明的目的描述了本发明的特定实施方式和示例，但是相关领域的技术人员将认识到的是，在本发明的范围内可以进行各种修改。

可以根据以上详细描述对本发明进行这些修改。在所附权利要求中使用的术语不应被解释为将本发明限制为说明书中公开的特定实施方式。而是，本发明的范围将完全由所附权利要求确定，所附权利要求将根据权利要求解释的既定原则被解释。