一种基于超高光谱分辨率的成像方法与流程

本发明涉及成像领域，尤其是涉及了一种基于超高光谱分辨率的成像方法。

背景技术：

在各种医学成像技术中，图像数据主要通过内窥镜和其他集成硬件进行收集，它能够提供实时纹理和颜色信息。通过对图像数据分析，可以提取组织表面形状从成像模式(如ct和mri)记录和手术前的信息。这些信息对于帮助手术计划、指导、对于微创治疗和机器人手术中的决策有重要意义。因此，成像的方法，如多功能/高光谱成像(msi/hsi)等手术光学模式也具有重要的意义临床，例如它们可以应用在血管可视化的窄带成像、术中灌注监测、临床决策的氧饱和度以及组织分类和病理学鉴定。然而，传统的成像方法空间分辨率不够，图像质量较差，因此需要一种更好的成像方法来代替。

本发明提出了一种基于超高光谱分辨率的成像方法，先由交替的结构照明和白光照明图像组成采集的帧，再使用单目运动结构进行表面重建、结构照明和运动结构的重建结果相结合进行组织表面特征跟踪和形状测量，接着从rgb图像恢复多功能成像堆栈和从rgb图像和稀疏光谱信号中恢复高光谱成像堆栈，最后进行训练和预测。本发明增加输入图像的空间分辨率，又将结构照明和运动结构结合在图形处理器上，提高了重建密度和鲁棒性，因此图像质量大大提高。

技术实现要素：

针对空间分辨率不够，图像质量较差的问题，本发明的目的在于提供一种基于超高光谱分辨率的成像方法，先由交替的结构照明和白光照明图像组成采集的帧，再使用单目运动结构进行表面重建、结构照明和运动结构的重建结果相结合进行组织表面特征跟踪和形状测量，接着从rgb图像恢复多功能成像堆栈和从rgb图像和稀疏光谱信号中恢复高光谱成像堆栈，最后进行训练和预测。

为解决上述问题，本发明提供一种基于超高光谱分辨率的成像方法，其主要内容包括：

(一)交错结构照明和白光视图；

(二)组织表面特征跟踪和形状测量；

(三)高光谱分辨率成像；

(四)训练和预测。

其中，所述的交错结构照明和白光视图，使用光斩波轮实现白光和结构照明之间的快速频闪切换；白光使用两根光纤电缆：一根连接到氙气灯，另一根连接到腹腔镜；它们的自由端彼此定位，由切割轮可以通过的2mm气隙隔开；安装斩波器，使发射的超连续激光器也通过光斩波轮，并且结构照明和白光光束路径在其转动时交替地阻挡或传输；从仪器尖端出来的光在斩波频率下在结构照明和氙气之间切换；另外，使用计算机控制的信号发生装置产生可变频率和相位的两个同步方波；一个用于通过电荷耦合器件摄像机触发图像采集，而另一个则控制每个转轮的旋转频率和相位；将触发频率设置为斩波器的两倍，相位调整，使得采集的帧由交替的结构照明和白光照明图像组成；

三维打印的尖端适配器将结构照明探针安装在刚性内窥镜上；该适配器为圆柱形(直径为12mm)，两个通道分别用于容纳内窥镜和结构照明探针；这两个通道的角度和基线设置为10°和5mm，使1.5～4cm工作距离内的表面重建的三角测量精度最大化。

其中，所述的组织表面特征跟踪和形状测量，包括使用单目运动结构进行表面重建、结构照明和运动结构的重建结果相结合。

进一步地，所述的使用单目运动结构进行表面重建，一种组合基于表面的特征检测和光流跟踪方法进行对应搜索；应用几个标准排除跟踪异常值，包括特征描述符差分、流矢量长度、时间平滑度、对称光流量和基本矩阵估计中的随机抽样一致算法；对于表面重建，假设表面在一个小的时间窗内是刚性的；然后可以使用奇异值分解和检查所有四种可能的解决方案，估计两帧中的摄像机之间的相对位置以及特征点的三维位置；给定足够的对应性，可以使用两个相邻的帧对表面进行测量。

进一步地，所述的运动结构的重建结果相结合，由于每个白光图像具有两个时间上相邻的结构照明图像，所以使用从两个结构照明帧重构的平均形状，用缩放信息定位运动结构重建结果。

其中，所述的高光谱分辨率成像，包括从rgb图像恢复多功能成像(msi)堆栈和从rgb图像和稀疏光谱信号中恢复高光谱成像(hsi)堆栈。

进一步地，所述的从rgb图像恢复msi堆栈，rgb图像被认为是具有3个光谱通道的msi堆叠，所提出的模型寻找从m×n×3的msi堆栈到m×n×24的映射，其中m×n代表图像空间分辨率；这个模型由两个主要阶段组成：

(1)在频谱维度中增大输入，将四个3d转置卷积层堆叠在一起，将输入从m×n×3转换为m×n×24；

(2)高频信号提取：提取并组合高频信号与低分辨率堆栈；这个阶段是使用一个残差块来实现的，在模型中，卷积映射f(x)被用于从输入x提取高频率，然后被添加到代表没有高频内容的堆栈的“快捷方式”x输入本身；

该映射实现了一般良好的光谱预测，但仍具有明显的误差；为了反映预测，扩展模型1将采用hsi模式捕获的空间稀疏hsi信号进行整合。

进一步地，所述的从rgb图像和稀疏光谱信号中恢复hsi堆栈，rgb图像提供高空间，但低光谱分辨率；而hsi模式具有低空间、高光谱分辨率；由于高光谱信号的稀疏性，使用rgb作为msi堆栈估计的主要贡献者，然后应用hsi信号进行估计；

模型2具有三个输入：rgb图像(m×n×3)表示收集hsi的位置的密度图(m×n)和包含稀疏hsi信号的稀疏堆栈(m×n×24)；模型2在模型1之上添加了合并阶段，其中所有输入都被集成；hsi数据与从rgb恢复的密度图和hsi堆栈之间的元素乘积连接；在卷积之后估算出空间密集的msi堆叠。

其中，所述的训练和预测，使用液晶可调滤波器内窥镜成像仪收集叠层(h)，并记录不同的光谱以产生光谱匹配的叠层；利用rgb照相机的透射光谱(h)从hsi堆叠中生成合成rgb图像(r)，其中r＝h*h；稀疏hsi信号的密度图(dhsi)是使用先前的斑点分割结果产生的，每个光点位置填充高斯分布(max＝1)；drgb＝1-dhsi定义rgb图像drgb的密度图；稀疏hsi堆栈(hs)是密度图和hsi堆栈之间的元素乘积

进一步地，所述的单个像素光谱向量训练模型1，为了保证有效的训练样本，对单个像素光谱向量而不是整个msi堆栈训练模型1；在这种情况下，沿着频谱维度应用卷积，使得训练的网络可以应用于具有任意空间维度的输入；训练模型2时，网络由模型1的训练参数初始化；采用两阶段训练策略：模型1共享层中的参数被冻结，合并层更新；所有参数都被更新直到收敛；使用优化器和l2范数损失函数训练了两个模型；在预测中，rgb图像由相同的摄像机拍摄，稀疏的hsi信号来自hsi摄像机；使用张量流程进行训练和预测；计算机上的每帧预测成本为120ms。

附图说明

图1是本发明一种基于超高光谱分辨率的成像方法的系统框架图。

图2是本发明一种基于超高光谱分辨率的成像方法的交错结构照明和白光视图。

图3是本发明一种基于超高光谱分辨率的成像方法的组织表面特征跟踪和形状测量。

图4是本发明一种基于超高光谱分辨率的成像方法的超光谱分辨率成像。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于超高光谱分辨率的成像方法的系统框架图。主要包括交错结构照明和白光视图，组织表面特征跟踪和形状测量，高光谱分辨率成像，训练和预测。

训练和预测，使用液晶可调滤波器内窥镜成像仪收集叠层(h)，并记录不同的光谱以产生光谱匹配的叠层；利用rgb照相机的透射光谱(h)从hsi堆叠中生成合成rgb图像(r)，其中r＝h*h；稀疏hsi信号的密度图(dhsi)是使用先前的斑点分割结果产生的，每个光点位置填充高斯分布(max＝1)；drgb＝1-dhsi定义rgb图像drgb的密度图；稀疏hsi堆栈(hs)是密度图和hsi堆栈之间的元素乘积

为了保证有效的训练样本，对单个像素光谱向量而不是整个msi堆栈训练模型1；在这种情况下，沿着频谱维度应用卷积，使得训练的网络可以应用于具有任意空间维度的输入；训练模型2时，网络由模型1的训练参数初始化；采用两阶段训练策略：模型1共享层中的参数被冻结，合并层更新；所有参数都被更新直到收敛；使用优化器和l2范数损失函数训练了两个模型；在预测中，rgb图像由相同的摄像机拍摄，稀疏的hsi信号来自hsi摄像机；使用张量流程进行训练和预测；计算机上的每帧预测成本为120ms。

图2是本发明一种基于超高光谱分辨率的成像方法的交错结构照明和白光视图。使用光斩波轮实现白光和结构照明之间的快速频闪切换；白光使用两根光纤电缆：一根连接到氙气灯，另一根连接到腹腔镜；它们的自由端彼此定位，由切割轮可以通过的2mm气隙隔开；安装斩波器，使发射的超连续激光器也通过光斩波轮，并且结构照明和白光光束路径在其转动时交替地阻挡或传输；从仪器尖端出来的光在斩波频率下在结构照明和氙气之间切换；另外，使用计算机控制的信号发生装置产生可变频率和相位的两个同步方波；一个用于通过电荷耦合器件摄像机触发图像采集，而另一个则控制每个转轮的旋转频率和相位；将触发频率设置为斩波器的两倍，相位调整，使得采集的帧由交替的结构照明和白光照明图像组成；

三维打印的尖端适配器将结构照明探针安装在刚性内窥镜上；该适配器为圆柱形(直径为12mm)，两个通道分别用于容纳内窥镜和结构照明探针；这两个通道的角度和基线设置为10°和5mm，使1.5～4cm工作距离内的表面重建的三角测量精度最大化。

图3是本发明一种基于超高光谱分辨率的成像方法的组织表面特征跟踪和形状测量。其包括使用单目运动结构进行表面重建、结构照明和运动结构的重建结果相结合。

一种组合基于表面的特征检测和光流跟踪方法进行对应搜索；应用几个标准排除跟踪异常值，包括特征描述符差分、流矢量长度、时间平滑度、对称光流量和基本矩阵估计中的随机抽样一致算法；对于表面重建，假设表面在一个小的时间窗内是刚性的；然后可以使用奇异值分解和检查所有四种可能的解决方案，估计两帧中的摄像机之间的相对位置以及特征点的三维位置；给定足够的对应性，可以使用两个相邻的帧对表面进行测量。

由于每个白光图像具有两个时间上相邻的结构照明图像，所以使用从两个结构照明帧重构的平均形状，用缩放信息定位运动结构重建结果。

图4是本发明一种基于超高光谱分辨率的成像方法的超光谱分辨率成像。其包括从rgb图像恢复多功能成像(msi)堆栈和从rgb图像和稀疏光谱信号中恢复高光谱成像(hsi)堆栈。

从rgb图像恢复msi堆栈：rgb图像被认为是具有3个光谱通道的msi堆叠，所提出的模型寻找从m×n×3的msi堆栈到m×n×24的映射，其中m×n代表图像空间分辨率；这个模型由两个主要阶段组成：

(1)在频谱维度中增大输入，将四个3d转置卷积层堆叠在一起，将输入从m×n×3转换为m×n×24；

(2)高频信号提取：提取并组合高频信号与低分辨率堆栈；这个阶段是使用一个残差块来实现的，在模型中，卷积映射f(x)被用于从输入x提取高频率，然后被添加到代表没有高频内容的堆栈的“快捷方式”x输入本身；

该映射实现了一般良好的光谱预测，但仍具有明显的误差；为了反映预测，扩展模型1将采用hsi模式捕获的空间稀疏hsi信号进行整合。

从rgb图像和稀疏光谱信号中恢复hsi堆栈：rgb图像提供高空间，但低光谱分辨率；而hsi模式具有低空间、高光谱分辨率；由于高光谱信号的稀疏性，使用rgb作为msi堆栈估计的主要贡献者，然后应用hsi信号进行估计；

模型2具有三个输入：rgb图像(m×n×3)表示收集hsi的位置的密度图(m×n)和包含稀疏hsi信号的稀疏堆栈(m×n×24)；模型2在模型1之上添加了合并阶段，其中所有输入都被集成；hsi数据与从rgb恢复的密度图和hsi堆栈之间的元素乘积连接；在卷积之后估算出空间密集的msi堆叠。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。