多模态图像及光谱曲线结合的内窥镜辅助诊疗系统及方法

本发明属于医疗，涉及内窥镜技术，具体涉及一种多模态图像及光谱曲线结合的内窥镜辅助诊疗系统及方法。

背景技术：

1、内窥镜是集成了光学、人体工程学、精密机械、现代电子、数学、软件等一体化的检测仪器，它具有体积小、无创、操作方便等诸多优点，一直在工业探伤、质量控制、产品评估和生物医学等领域发挥着重要作用。在临床医学中，操作者通过一个具有图像传感器、光学镜头、光源照明的机械装置，经口腔进入胃内或经其他天然孔进入人体内，利用内窥镜可以看到x射线或其他影像不能显示的病变，使医生可以通过内窥镜实时观察病变区域做出诊断或取病灶活检进行后续病理诊断，例如：肠胃道、胰腺、胆道疾病的检查、腹腔镜检查、呼吸道疾病的检查、泌尿系统疾病的检查等。其中肠胃道疾病中的食管癌是我国常见的消化道恶性肿瘤之一，严重威胁我国居民生命健康，食管癌患者的生存时间与其临床分期密切相关，“早发现、早身段、早治疗”能够有效降低食管癌的发病率和死亡率，早期食管癌患者在接受治疗后5年生存率可达95%。因此精确、安全、高效、经济的新型食管癌早筛内窥式智能辅助诊断技术亟待被研发.

2、现有的光声内窥镜成像技术结合了纯光学成像的高对比度和纯超声图像的深穿透性的优点，从原理上避开了光散射对图像分辨率的影像，实现了对活体深层组织的高分辨率、高对比度成像，其穿透范围可达到cm级，分辨率可达微米级。光声内窥系统将光纤、超声换能器、锥面反射镜及微透镜集成到内窥镜前端探头中，通过旋转光声内窥探头扫描，实现圆周或螺旋激发与采集，经过反演算法将其携带的时间信息和强度信息转化为能够反映生物组织结构和吸收分布图的可视化光声图像，虽然光声内窥镜能够为医生提供高分辨率高对比度的光声图像，但由于生物结构组织的复杂性导致声速分布难以精确重建，使得光声图像出现边界伪影，而对于病变区域出现的边界伪影会导致医生无法通过肉眼直接对病变区域作出准确的判断，医生根据单一的光声图像的三维性能够判断出病人体内癌变细胞的浸润深度和扩散程度，但无法从细胞微观层级上对癌变细胞的类别做出准确的判断。

3、而对于光谱内窥成像技术是一种结合了光谱分析技术与光学成像技术的新型成像技术，由于人体内的不同组织对不同波长的光的敏感程度不一样，因此光谱成像技术可以实现光谱分析技术的定性定量分析功能，光谱技术能够获取更多的窄带波谱信息，捕获肉眼无法分辨的细胞层级的微观信息，从而使得医生可以更直观的对病变区域的类别进行划分。但基于光谱内窥和现有的光学内镜图像对消化道的检测仅针对黏膜表层或浅层黏膜下的病变，且无法判断癌细胞的侵润深度和扩散程度，因此对病变发展的时期无法做精准诊断，需结合后续的病理检查。

技术实现思路

1、为克服现有技术存在的技术缺陷，本发明公开了一种多模态图像及光谱曲线结合的内窥镜辅助诊疗系统及方法。

2、本发明所述多模态图像及光谱曲线结合的内窥镜辅助诊疗系统，包括置于探测软管内的光声内窥模组和光谱内窥模组，及位于探测软管末端的锥面反射镜，所述光声内窥模组包括超声换能器；探测软管的管头盖板设置有光声内窥模组和光谱内窥模组的探测用通孔；

3、所述诊疗系统还包括数据采集与处理系统,所述数据采集与处理系统包括与光声内窥模组中超声图像模块连接的光声成像模块,与光谱内窥模组连接的光学成像模块和光谱信息处理模块,与所述超声换能器连接的超声图像模块,以及与各个成像模块连接的多模态信息融合模型；

4、所述多模态信息融合模型包括图像配准融合模型和光谱曲线输入通道，以及与二者连接的多模态融合神经网络模型；其中图像配准融合模型包括光学图像、光声图像、超声图像三个输入通道，图像配准融合模型的功能为将三个输入通道可能输入的图像数据进行图像融合后输出图像融合结果，与光谱曲线输入通道输入的光谱曲线一起输入到多模态融合神经网络模型，所述多模态融合神经网络模型的功能为对输入量进行融合并输出多模态融合结果。

5、优选的，所述光声内窥镜头包括光声激发光源及与光声激发光源连接的激光光纤，与激光光纤连接的光声内窥镜头，所述超声换能器安装在激光光纤末端或从外伸到探测软管内。

6、优选的，所述光谱内窥模组包括光谱光源，依次置于光谱光源前方的旋转滤光轮和可见光光纤，所述可见光光纤末端为光谱内窥镜头和cmos组件，所述cmos组件与所述光学成像模块和光谱信息处理模块连接。

7、优选的，所述光谱信息处理模块中接收外部光源的数据接收单元为多元cmos传感器感知阵列。

8、优选的，所述图像配准融合模型包括与所述三个输入通道连接的配准模块，所述配准模块连接图像融合模块，所述图像融合模块连接lbp数据特征提取模块，所述lbp数据特征提取模块连接第一elm模块，所述光谱曲线输入通道连接第二elm模块，两个elm模块与所述多模态融合神经网络模型连接。

9、优选的，所述光谱光源的光源波长范围为300纳米-2500纳米。

10、本发明所述多模态图像及光谱曲线结合的内窥镜辅助诊疗方法，包括如下步骤：

11、步骤1.将探测软管伸入待检测腔体，开启光声光谱结合辅助诊疗系统, 光谱内窥模组接收经腔体内壁反射的光强信号，经光学成像模块和光谱信息处理模块处理获得光谱曲线和光学图像；判断是否存在表层或浅层病变；

12、如判断不存在病变或为表层病变，则进入步骤2或步骤3，否则进入步骤3；

13、步骤2.将光谱曲线和光学图像输入多模态融合神经网络模型进行多模态融合；根据融合结果进行判断；

14、步骤3.超声换能器通过发送和接收反射回来的超声波，经过超声图像模块获得超声图像；光声内窥模组产生激光辐照腔体内壁，采集光声信号并得到检测区域的光声图像；将本步骤和步骤1得到的光谱曲线、光学图像、超声图像和光声图像输入所述多模态融合神经网络模型；

15、步骤4.多模态融合神经网络模型的图像融合模块对光学图像、超声图像和光声图像进行多模态图像融合，输出图像融合结果；

16、步骤5.将步骤4得到的图像融合结果与光谱曲线进行多模态融合，输出多模态融合结果，根据多模态融合结果进行判断。

17、优选的，所述步骤4具体为：

18、步骤41. 首先对光学图像、光声图像、超声图像三个通道输入的图像进行配准，再采用l0梯度平滑算法将不同模态的各个图像分别分解为低频层lowi和高频层highi；

19、步骤42.将各个图像的低频层和高频层的信息分别融合后进行加权组合得到图像配准融合模型的图像融合结果，计算公式为：

20、--公式8；

21、所述步骤5具体为：

22、步骤51.图像配准融合模型的图像融合结果进行lbp特征提取后送入第一elm模块elm1转换，

23、elm模块的输出方程，

24、elm模块输出函数f(x)

25、

26、--公式9

27、得到单通道的输出类别

28、--公式10

29、函数表示取得最大值时对应的x取值，其中h(x)是elm模块的隐藏层相对于输入量x的输出向量，β是隐藏层与输出层之间的输出权值，α是elm模块惩罚因子，h是隐藏层相对于所有样本的输出向量，上标t是转置符号，c是预测分类结果矩阵；fl(x)表示elm模型输出的每个类别的概率，下标l表示不同类别；l∈[1,2...m,],m表示elm的输出类别数量；

30、步骤52.利用图像配准融合模型和光谱曲线两个通道的概率矩阵相关性作为自适应加权方法进行连接，从而得到融合概率矩阵作为该矩阵的最终判决；

31、

32、--公式11

33、融合后的输出类别

34、--公式12

35、pl(x)表示融合后每个类别的概率，下标l表示不同类别, xk表示第k个通道的输入；m表示输入通道总数，μk表示第k个通道输入xk对应的权重,label(x)f表示多模态融合后的输出类别，l∈[1,2...m,],m表示elm的输出类别数量；

36、以公式12计算输出概率最大的m值作为输出判决依据。

37、优选的，

38、所述步骤41中,低频层和高频层融合的具体公式分别为公式1和公式2

39、lowi=l0(lowi,λ, k),i=1,2...n--公式1

40、highi= lowi-lowi-1,i=1,2...n--公式2

41、i是l0梯度平滑分解的等级，λ为平滑参数，k为分解速率，low0表示未经过平滑处理的原始图像,n表示图像的不同区域；

42、分别对各个图像的低频层和高频层进行融合；

43、高频层highi的融合规则如下：

44、对于在高频层上的每一个系数w，创建表示系数能量大的能量模糊隶属函数μ0（w）和系数信息熵大的信息熵模糊隶属函数μ1（w）；

45、--公式3

46、定义系数融合函数--公式4

47、其中en(w)=w2和i(p(w))=exp(1-p(w))分别为系数w的能量和信息内容，exp表示以自然常数e为底的指数函数，p(w)为系数w的概率，max表示最大值，min表示最小值，

48、表示w属于集合highi；

49、高频层的融合结果通过以下函数实现：

50、--公式5

51、wa为光学图像a在高频层上的系数，wb为光声图像b在高频层上的系数,wc为超声图像c在高频层上的系数；

52、对低频层lowi，定义图像每个区域n的隶属度为σn,m，计算公式为：

53、--公式6

54、vmin、vmax分别表示图像的最低和最高像素值；e1= vmin,e2= vmax；men表示区域n内像素灰度的平均值；当men =e1时表示区域n为背景区域，当men =e2时表示区域n为重要区域；

55、低频层的融合结果通过以下函数实现：

56、

57、--公式7

58、其中fm在m=1,2时分别表示背景区域和重要区域的融合结果。

59、优选的，所述步骤3中将光谱曲线、光学图像、超声图像和光声图像输入所述多模态融合神经网络模型之前，还需要进行数据预处理，具体为分别对光学图像采用图像增强算法去除图像内干扰因素对图像色彩、纹理的影响；对光声和超声图像进行图像去噪；对光谱曲线进行s-g平滑操作。

60、采用本发明所述光声光谱结合辅助诊疗系统及诊疗方法，有机结合光学图像、光声图像、光谱曲线和超声图像综合处理，将含有细胞层级的光谱微观信息与多模态宏观图像融合，经过光谱处理模块可直接得到病变的分期预判，为医生提供了更直观准确病灶区域早期判断依据，有效的提高了检测人体内部癌病变分期的灵敏度，实现了精准早筛,为进一步靶向活检和引导精准诊疗提供了判断基础。