用于联合去马赛克和光谱特征图估计的方法和系统

本发明的实施方式总体上涉及图像和视频处理，特别是涉及用于获取和处理经实时获取的高光谱(hyperspectral)图像(并且在一些实施方式中涉及在医学背景下获取的图像)的系统和方法。发明的背景和现有技术对患者造成潜在生命改变后果的许多困难的术中(intraoperative)决定仍基于外科医生的主观视觉评估。这部分是因为，即使使用当前最先进的手术技术，在手术期间也仍然不可能可靠地标识关键的结构。跨多种外科专业已经证明了在手术期间对组织的更精细的、更少定性的术中宽视野可视化和表征的需要。作为第一个例子，在神经肿瘤学中，手术通常是主要的治疗，其目的是尽可能安全地去除异常组织(完全切除(gross total resection(gtr))。gtr的追求必须与和承担重要功能的损伤敏感区域(诸如关键神经和血管)相关联的术后(postoperative)发病率的风险进行平衡。在手术期间，诸如美国专利no.9,788,906b2中所公开的导航解决方案可以将术前(preoperative)信息(例如,mri或ct)映射至手术台上患者的解剖结构。然而，基于术前成像的导航没有考虑术中变化。介入成像和感测(诸如手术显微镜检查、荧光成像、基于点的拉曼(raman)光谱学、超声和术中mri)，可以由外科医生独立地使用或作为导航信息的附件以使经手术的组织可视化。然而，基于现有术中成像的组织分化(tissuedifferentiation)仍然具有挑战性，这是因为临床环境中的严格手术约束(例如，术中mri或ct)，或者不精确的肿瘤描绘(例如，超声或荧光成像)。在神经肿瘤手术中，越来越多地使用利用经5-氨基乙酰丙酸(5-aminolevulinic acid(5-ala))诱导的原卟啉ix(protoporphyrin ix(ppix))的荧光引导手术。包括膀胱癌在内的其它领域也得益于ppix荧光引导手术。然而，恶性组织边界的可视化因肿瘤标志物在健康组织中的积累而模糊不清；部分因组织自身荧光的时变荧光效应和混杂效应而造成非定量的；与副作用相关联；并且仅可以被用于特定的肿瘤类型，如在suero molia等人的neurosurgical review,2019中所综述的。旨在改善神经外科组织分化的大量现有技术清楚表明，更好的术中成像被视为改善这些困难手术中患者结局的机会。作为第二个例子，坏死性小肠结肠炎(necrotising enterocolitis(nec))是一种破坏性的新生儿疾病，通常需要手术治疗，具有潜在的重要副作用。nec的特征在于肠粘膜缺血性坏死，从而导致穿孔、全身性腹膜炎，和在严重情况下新生儿死亡。每千名活产中有三名患有nec，其中85％的病例发生在极低出生体重的婴儿(<1500g)中，尽管有最先进的护理，但其中30％死亡，如在hull等人的journal of the american college of surgeons,2014中所综述的。nec的手术管理包括原发性腹膜引流、探查确认手术和/或剖腹手术伴肠切除术。执行nec剖腹手术的外科医生的主要挑战是在患有短肠综合征的婴儿长期存在的风险与在原位留下灌注不良的肠相权衡的情况下，决定切除多少肠而不致损害婴儿恢复的机会。目前，没有用于nec剖腹手术的标准护理图像引导技术。因此，切除的手术计划依赖于外科医生的判断、灵巧性以及知觉技能。若有疑问，则可能使用粗切组织来评估出血情况。认为早期诊断、更好的监测以及改进的手术管理可以降低nec死亡率。如在shapey等人的journal of biophotonics,2019中所讨论的，多光谱和高光谱成像(下文中被统称为高光谱成像(hsi))是新兴的光学成像技术，其具有改变执行手术的方式的潜力。然而，目前的系统是否能够递送用于手术引导的实时、高分辨率的组织表征仍然不清楚。hsi是一种安全的、非接触的、非电离的以及非侵入式的光学成像模态，其特征使其在外科使用方面具有吸引力。通过将光分裂成远超出肉眼所能看到的多个光谱带，hsi携带了超出常规颜色信息的关于组织特性的精细信息，该精细信息可以被用于更客观的组织表征。在hsi中，在给定时间帧内，所收集的数据跨越由两个空间维和一个光谱维组成的三维空间。各个这样的三维帧被通称为高光谱图像或超立方体(hypercube)。如美国专利no.6,937,885b1中所例示的，将hsi用于医学应用的概念已为人所知并已开发了数十年。经典地，hsi依赖于通过空间和/或光谱的扫描来获取完整的超立方体。由于扫描目的所需的时间，因此，这些方法不能提供高光谱图像的实况显示。最近已经开发了能够实时获取hsi数据(被称为快照hsi)的小型传感器。这样的快照传感器以视频速率获取高光谱图像，通过牺牲光谱和空间分辨率，通常能够实现大约每秒钟30个高光谱帧甚或更多。代替获取密集超立方体(即，在场景(x-y平面)的各个空间像素处具有经完全采样的光谱信息(z方向)，快照高光谱摄像机通常使用如在pichette等人的proc.of spie,2017中详述的马赛克(mosaic)图案。这里，我们在高光谱成像系统能够以这样的视频速率获取图像的情况下将它定义为实时的，即，该时频速率适于以每秒钟几十帧的量级来提供高光谱成像信息的实况显示。如在shapey等人的journal of biophotonics,2019中所例示的，以及下面考虑到现有技术而进一步详述的，虽然现有的hsi系统可以在手术期间捕获重要信息，但是它们目前没有提供这样的手段，即，提供足够高分辨率的宽视野和实时信息以支持手术引导的手段。已经利用许多不同的获取原理描述了供在医学应用中使用的高光谱成像。主要依靠检测器侧的光的顺序滤波。作为早期的例子，美国专利no.5,539,517a提出了一种基于干涉仪的方法，其中，通过扫描顺序地捕获光谱强度的一组预定的线性组合。差不多同时，美国专利no.6,937,885b1提出了借助于可调滤波器(诸如液晶可调滤波器(lctf))结合关于期望组织响应的现有知识来顺序地获取hsi数据，以根据给定的诊断协议获取数据。美国专利no.8,320,996b2改进了诸如lctf的可编程光谱分离器，以一个接一个地获取光谱带，提取与特定诊断协议相关的信息，并且提出将相加(summarising)的伪彩色图像投影到经成像的关注区域上。在e.p.专利申请no.2 851 662a2中，将与色散部件和机械扫描联接的狭缝形孔径用于以顺序方式获取光谱成像信息。由于这些方法依赖于顺序获取，因此，它们不直接适合于实时宽视野成像。而且，这些工作都没有提出一种提高所捕获的hsi的分辨率的手段。除了在检测器端对光进行滤波之外，用于医学应用的hsi也已经通过使用经滤波的激发光进行了探索。作为第一个例子，美国专利申请no.2013/0245455a1提出了一种hsi设置(setup)，其中，多个led源以特定顺序接通从而顺序地获取多个光谱带。在类似的方法中，w.o.专利申请no.2015/135058a1提出了一种hsi系统，其需要远程光源与光谱滤波设备之间的光通信以扫描通过一组照明滤波器。正如它们的检测滤波对应物那样，这些系统不适于实时成像，并且没有提供用于hsi分辨率提高的解决方案。仍然在医学领域中，hsi数据源已经被集成到更复杂的设置中，其中一些考虑提供病理相关的辨别信息。美国专利申请no.2016/0278678a1依赖于投射空间调制光以用于与高光谱成像结合的深度分辨荧光成像。美国专利no.10,292,771b2公开了一种手术成像系统，其潜在地包括hsi设备并且利用具有治疗的特定手术端口以降低端口的反射(reflectance)。在美国专利no.9,788,906b2中，将高光谱成像用作潜在的信息源以检测医疗过程的阶段并且相应地配置成像设备。hsi衍生的组织分类公开于e.p.专利申请no.3545491a1，其中，使用聚类来将相同的分类指派给属于同一聚类的所有像素。基于hsi数据的组织分类也在w.o.专利申请no.2018/059659a1中提出。尽管潜在关注用于手术期间，但是这些成像系统都没有提出获取实时hsi的手段或者提高hsi图像的分辨率的手段，并且它们也没有提出生成分类图的高分辨率组织表征的手段。虽然hsi已被研究用于评估各种临床状况(诸如外周血管疾病[11]、视网膜眼病[12]、出血性休克[13]、糖尿病患者足部溃疡愈合[14]以及癌症检测[15])，但是其体内(invivo)手术用途仅限于少数临床研究病例[5]。例如，虽然helicoid研究系统[10]证明了体内脑肿瘤检测的有希望的临床研究结果[16]，但是其尺寸对于手术期间的临床采用是禁止的。针对组织灌注和氧合的术中评估提出的其它系统(包括乳腺[17]、口腔癌[7]、肾[18]、癫痫[19]、神经血管[8]以及胃肠手术[20、21])进一步证明了术中hsi(ihsi)的潜力。然而，由于手术期间动态场景的成像速度不足，这些易于产生运动伪影。最近以来，提出了两种基于pushbroom hsi摄像机的术中系统，它们允许集成到手术工作流程中：在[22]中，将pushbroom hsi系统[23]附接至手术显微镜以捕获体内神经外科数据；以及在[24]中，提出了腹腔镜hsi摄像机，并且在食管手术期间进行了测试。虽然这些系统显示出支持手术工作流程的潜力，但是它们受限的成像速度很可能仍然是手术期间采用的限制因素。为了提高实时成像速度，如上面在与获取图像相关的章节中所提及的，最近开发的快照hsi摄像机系统已被用于在神经外科中评估脑灌注[25]和执行临床前皮肤灌注分析[26]。然而，虽然快照hsi传感器准许许利用视频速率成像进行实时hsi捕获，但是空间分辨率是有限的，并且需要在被称为去马赛克的后处理步骤中加以考虑[27、28]。此外，先前提出的快照ihsi工作没有在方法上制订(map out)和解决关键设计考虑事项，以确保无缝集成到手术工作流程中。尽管已经在手术环境中测试了各种hsi系统以研究ihsi的潜力，但是就我们所知，尚未提出允许严格临床要求的hsi系统，包括维持无菌性和确保无缝集成到可以提供用于术中手术引导的实时信息的手术工作流程中的手段。在医疗领域之外，最近提出了能够实时获取hsi数据的传感器。在e.p.专利申请no.3,348,974a1中，提出了一种高光谱马赛克传感器，其中，光谱滤波器在像素级上交错以生成空间和光谱上稀疏但实时的hsi数据。在这种传感器中预期到许多像差，并且pichette等人的proc.of spie,2017提出了一种能够补偿所观测到的光谱失真中的一些的校准方法，但是没有提出增加空间分辨率的方法。在dijkstra等人的machine vision andapplications,2019中，提出了一种用于利用马赛克传感器获取快照hsi的基于学习的方法。特别地，提出了超立方体重建方法。该方法仅专注于用于超立方体重建的去马赛克/串扰校正。然而，它们没有公开从高光谱影像中提取希望目标图像的参数。尽管在该工作中讨论了光谱串扰的影响和传感器的稀疏性质，但是各种失真的组合影响没有被建模或者直接捕获到。使用简化假设来分离串扰校正和放大(upscaling)。已经提出了捕获快照hsi数据的替代手段，诸如在wagadarikar等人的applied optics,2008中提出的编码孔径快照光谱成像(cassi)。这些成像系统通常包括许多光学部件(诸如色散光学器件、编码孔径、以及多个透镜)，从而经常导致在手术中使用的不切实际的形状因子。类似于马赛克传感器，cassi系统导致在时间、光谱以及空间分辨率之间的困难折衷，而且还导致复杂且计算昂贵的重建技术。美国专利申请no.2019/0096049a1提出了将基于学习的技术与优化技术相结合以重建基于cassi的hsi数据。即使降低了计算复杂度，并且尽管该系统能够实时捕获原始数据，但是该系统也没有公开执行实时重建的手段。即使诸如马赛克传感器和cassi的传感器可以在手术中找到使用，但是仍然要表明如何将这些传感器集成在能够显示高分辨率hsi导出图像并同时提供诸如组织表征或组织分类的辨别图像的地图的实时系统中，以用于手术支持。现有技术表明，术中组织表征的问题出现在许多手术领域中，并且已经利用不同的方法解决了该问题。高光谱成像在该领域中显著地显示出极大的潜力。然而，就我们所知，没有公开可以提供在手术期间从高光谱成像实时导出的宽视野和高分辨率组织相关信息的方法。因此，需要一种允许实时分辨率改进和高光谱成像的关联组织表征的系统和方法。

背景技术：

技术实现思路

1、本发明的实施方式提供了一种方法和系统，其允许从场景的高光谱影像确定希望目标图像的参数。这些参数可以表示正被成像的场景的各个方面，特别是表示场景的物理特性。例如，在一些医学成像背景下，正被成像的特性可以是每像素的血液灌注或氧合饱和度信息。在一个实施方式中，通过收集较低的光谱和空间分辨率的高光谱影像，然后使用空间光谱(spatiospectral)感知去马赛克处理来构建具有较高空间分辨率的信息的虚拟超立方体，然后将该虚拟超立方体用于在较高空间分辨率下对希望参数的估计，来获得参数。另选地，在另一实施方式中，不是构建虚拟超立方体然后执行估计，而是执行联合去马赛克和参数估计操作，以直接从较低光谱和空间分辨率高光谱影像获得采用高空间分辨率的参数。还可以执行各种白电平和光谱校准操作以改善所获得的结果。

2、特别参照高光谱成像系统的开发，我们的贡献是四倍的：(i)与先前的工作[29]相反，我们系统地捕获了一组设计要求，包括功能和技术要求，这对ihsi系统提供实时宽视野hsi信息以在高度受限的手术室(or)中进行无缝手术引导至关重要；(ii)通过考虑基于线扫描和快照成像技术的两种最先进的工业hsi摄像机系统，针对这些要求提出并评估一组ihsi实施方式；(iii)我们利用示例性ihsi实施方式在受控环境中执行离体(ex vivo)动物组织实验，以使用两种摄像机系统研究组织特性；以及(iv)我们报告了在经伦理学批准的住院患者临床可行性病例研究期间使用一个实时ihsi实施方式(图5)作为脊柱融合手术的部分，因此成功证实了我们的假设，即我们的发明可以无缝整合到or中而不中断手术工作流程。

3、鉴于上述，从第一方面，提供了一种从高光谱影像确定希望目标图像的参数的方法，所述方法包括以下步骤：使用高光谱图像传感器来捕获场景的高光谱快照马赛克图像，该快照马赛克图像具有相对低的空间分辨率和低的光谱分辨率；对快照马赛克图像采取去马赛克，以生成该快照马赛克图像数据的虚拟超立方，该虚拟超立方包括与快照马赛克图像相比空间分辨率相对高的图像数据；从虚拟超立方中的图像数据中，确定希望目标图像的相对高的空间分辨率参数；以及输出所确定的相对高的分辨率参数作为希望目标图像的表示。

4、在一个示例中，去马赛克是空间光谱感知的。例如，去马赛克可以包括快照马赛克图像的图像重采样(诸如线性或三次重采样)，随后是应用光谱校准矩阵。此外，在另一示例中，去马赛克可以包括机器学习。

5、另外或者另选地，基于帧之间的运动补偿，去马赛克在两个或更多个连续帧之间在时间上可以是一致的。

6、另一示例还包括：在捕获高光谱快照马赛克图像之前，对高光谱图像传感器采取白平衡操作。在一个示例中，白平衡操作可以包括：单独获取参考图像，所述参考图像包括在积分时间τd的暗参考马赛克图像和在积分时间τw的白参考马赛克图像以及部署线性模型，其中，除了对象的以积分时间τ所获取的马赛克图像wτ之外，还利用关闭的快门，以积分时间τ和τw来获取具有积分时间τw的反射图块的白参考马赛克图像和暗参考马赛克图像wd；τ和并且白平衡操作产生由给出的反射马赛克图像。

7、在另一示例中，在捕获高光谱快照马赛克图像之前，对高光谱图像传感器采取空间光谱校准操作。在校准操作期间，在受控设置中估计真实光谱滤波器响应算子和空间串扰算子t:w→w，以考虑在图像获取期间的寄生效应。

8、另外，另一示例还可以包括：通过使用准直光获取快照马赛克图像数据，并且结合具有已知的、通常是空间恒定的光谱特征图的成像目标来扫过所有nλ个波长，对高光谱图像传感器的特性进行测量，以获得所测量的系统滤波器响应算子

9、在一个示例中，确定相对高的空间参数的步骤还包括：分析像素级高光谱信息，以获得它的由特定光谱特征图表征的独特端员(end-member)的组成。

10、在一个示例中，确定相对高的空间参数的步骤还包括：根据高光谱成像的反射信息(诸如像素级组织吸收信息)，来估计每空间位置(通常为像素)一个的组织特性。

11、本公开的另一示例提供了一种从高光谱影像确定希望目标图像的参数的方法，所述方法包括以下步骤：使用高光谱图像传感器来捕获场景的高光谱快照马赛克图像，该快照马赛克图像具有相对低的空间分辨率和低的光谱分辨率；从快照马赛克图像采取联合去马赛克和参数估计，以确定希望目标图像的相对高的空间分辨率参数；以及输出所确定的相对高的分辨率参数作为希望目标图像的表示。在该附加示例内，也可以采用上述所有白平衡和校准操作。

12、本公开的另一方面提供了一种用于目标区域的高光谱成像的系统，该系统包括：光源，该光源用于照明目标区域；高光谱图像传感器，该高光谱图像传感器被配置成，捕获目标区域的一个或更多个高光谱图像；光学观测仪(optical scope)，该光学观测仪联接至高光谱图像传感器，使得在使用期间，由高光谱图像传感器获得由光学观测仪生成的、该目标的图像。

13、在一个示例中，根据本公开的系统是一种用于目标区域的高光谱成像的系统，该系统包括：光源，该光源用于照明目标区域；以及至少一个高光谱图像传感器，所述至少一个高光谱图像传感器被配置成，捕获目标区域的高光谱图像，其中，该系统被配置成，在所述至少一个图像传感器上获取目标区域的多个高光谱子图像。

14、在一个示例中，根据本公开的系统是一种用于目标区域的高光谱成像的系统，该系统包括：光源，该光源用于照明目标区域；以及高光谱图像传感器，该高光谱图像传感器被配置成，捕获目标区域的高光谱图像，其中，该系统被设置成以预定频率控制光源的切换。

15、在另一示例中，根据本公开的系统是一种用于目标区域的高光谱成像的系统，该系统包括：光源，该光源用于照明目标区域；以及高光谱图像传感器，该高光谱图像传感器被配置成，捕获目标区域的高光谱图像，其中，该系统包括联接至高光谱图像传感器的用于散热的装置。

16、在上面所提及示例中的任一示例中，该系统还可以被配置成，从高光谱影像确定目标区域的参数，该系统还包括：处理器；以及计算机可读存储介质，所述计算机可读存储介质存储计算机可读指令，该计算机可读指令在由处理器执行时，使该处理器控制系统执行如本章节中稍早所述的方法。

17、另外，另一示例提供了一种存储计算机程序的计算机可读存储介质，该计算机程序在被执行时，使根据上面指定示例中的任一示例的高光谱成像系统执行本章节中稍早所述的上述示例中的任一示例的方法。本发明的进一步的特征和优点根据所附权利要求将显而易见。