一种结合人工智能技术自动计算球囊参数的方法与流程

1.本发明属于数字化医疗技术领域，特别涉及一种通过人工智能技术在心脏瓣膜植入术中自动化输出优选的球囊型号、充水体积和球囊压力的方法。


背景技术：

2.传统的心脏瓣膜置换手术通过胸部中的纵向切口进入患者的心脏。植入式的微创手术相比于传统开胸手术有以下几个优势：手术时间短、恢复期时间短、减少了手术后的创伤和术后恢复期的疼痛。在过去几十年中，本领域致力于促进和改进微创手术的装置和方法。但在进行微创手术的治疗位置的术前评估方面仍存在改进的空间。例如，在手术时，外科医生评估治疗位置的形状、大小、位置、顺应性和其他物理特性，并使用该信息来控制在体腔内或位于患者体内的器官的中空部分内执行手术过程的器械是十分有益的。目前该领域利用检查设备对患者进行术前评估的主观性太强，效率不高，尚无法做到术中导航。
3.目前，在瓣膜植入术前评估方面已有解剖结构测量平台工具软件，如fluoroct、3mensio、cvi42等。但是，需要医生凭借自身经验和对主动脉根部解剖结构的理解，通过纯手动或半自动的方式对主动脉根部相关结构进行打点、描绘和测量。对影像中特征范围的选择和提取，完全通过医生手工操作完成。在经导管主动脉瓣植入术(tavi)期间，仅依靠施加的压力或体积手动对任何类型的瓣膜扩张球囊充气仍然是一种“粗略”的方法。可能导致充气到指定压力时不能保证瓣膜完全膨胀到公称直径，或者充气到指定体积时不能确保达到所需压力，甚至更危险的是已经超过主动脉根部承受压力的极限，导致瓣环破裂。


技术实现要素：

4.为了解决上述问题，本发明提出了一种结合人工智能技术自动计算球囊参数的方法，包括：
5.s1：数据采集和分析，采集多中心不同条件下病人的术前术后的影像资料和手术记录，分析和统计的信息包括球囊的参数、病人的术中及术后情况，将球囊的参数和病人的术后恢复评分作为真实世界的决策和临床结局；
6.s2：进行神经网络模型训练，使用深度强化学习得到优选的球囊参数的决策，将深度强化学习的决策和真实世界的决策进行对比，使其结果趋近于临床结局获益的真实世界决策而远离不良结局发生的真实世界决策；
7.s3：将训练好的网络模型部署至推理服务器，所述推理服务器接受深度强化学习网络所需的影像数据及测量诊断参数并输出最终的建议球囊参数。
8.进一步地，所述球囊的参数包括球囊的型号、尺寸s
balloon
、充水量v
balloon
和球囊内部压力p
balloon
。
9.其中，所述步骤s2中的神经网络模型训练的具体方法为：
10.综合三维影像数据i
ct
及若干多模态数据，采用多模态数据融合架构将不同模态的数据融合，所述多模态数据融合架构首先使用两个独立的神经网络，即图像处理网络
net
image
和参数处理网络net
parameter
，将不同模态的数据转换为相似的数据结构，然后，将相似的数据结构合并，并使用集成神经网络net
integration
综合上述合并后的结果得到最终的结果result，将最终结果与真实世界的结果的获益结局benign和不良结局malignant进行对比，对比结果使用交叉熵损失函数bce，利用神经网络的反向传播机制自动学习上述三个神经网络，使其预测结果更加接近真实世界的临床获益结局benign或更加远离真实世界的不良结局malignant。
11.进一步地，所述步骤s2中的所述三维影像数据及多模态数据包括：所述数据包括基于ct影像的主动脉层面，窦管交界平面，瓦式窦平面和瓣环平面的长度l、面积a和周长p，还包括原始ct影像及基于该影像得到的图像分割结果i
seg
，以及基于超声图像得到的血液流速v
blood
、瓣膜两侧血流压强δp
va1ve
和心脏射血分数ejection fraction(ef)。
12.进一步地，步骤s2中的数据处理方法表达为：
13.图像处理网络：
[0014]vimage
＝net
image
(i
ct
，i
seg
)；
[0015]
参数处理网络：
[0016]vparameter
＝net
parameter
(l，a，p，v
blood
，δp
valve
，ef)；
[0017]
将网络输出合并：
[0018]vintegration
＝concatenate(v
image
，v
image
)；
[0019]
集成神经网络：
[0020]
result＝net
integration
(v
integration
)；
[0021]
损失函数：
[0022]
groundtruth＝{benigh，malignant}
[0023]
loss＝bce(result，groundtruth)
[0024]
整个系统的学习过程可以被概括为：
[0025]
f：＝argminf(bce(f(i
ct
，i
seg
，l，a，p，v
blood
，δp
valve
，ef)，groundtruth))；
[0026]
其中，
[0027]
f＝{net
image
，net
parameter
，net
parameter
}。
[0028]
进一步地，所述步骤s3中的所述影像数据包括主动脉分割图像和原始ct影像数据，所述测量诊断参数包括通过超声获得的左心室射血分数、血液流速、瓣膜两侧血流压强和主动脉层面，窦管交界平面，瓦式窦平面和瓣环平面的长度l、面积a和周长p。
[0029]
发明的有益效果：本发明利用人工智能技术通过学习临床真实手术案例，实现对介入手术术中球囊最佳充水量和最佳压力的预测。该预测能避免球囊扩张不充分导致手术效果不佳，也能够避免球囊扩张过度导致术中循环崩溃风险。
附图说明
[0030]
图1为本发明实施方式的示意性流程图；
[0031]
图2为本发明的实施方式的步骤s2中数据处理方法的示意图。
具体实施方式
[0032]
下面结合具体实施例，进一步阐述本发明。应理解，实施例仅用于说明本发明而不
用于限制本发明的保护范围。此外，应理解，在阅读了本发明所公开的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本发明所限定的保护范围之内。
[0033]
本发明实施方式的步骤参见图1。具体如下：
[0034]
s1：数据采集和分析，采集多中心不同条件下病人的术前术后的影像资料，对相应的手术记录进行分析和统计，分析和统计的信息包括：球囊的型号尺寸、操作过程、内部所施加的压力和充水体积，记录病人的术中及术后情况，重点记录和分析因球囊充气而导致终点事件的病例，将球囊的尺寸s
balloon
、充水量v
balloon
、球囊内部压力p
balloon
和病人的术后恢复评分score作为真实世界的决策和临床结局；
[0035]
s2：进行神经网络模型训练，使用深度强化学习自主做出球囊选型、球囊最佳充水量和工作压力的决策，将深度强化学习的决策和真实世界的决策进行对比，要求深度强化学习的决策结果趋近于临床结局获益的真实世界决策，同时远离不良结局发生的真实世界决策，具体方法如下(参见图2)：
[0036]
深度学习网络能够综合三维影像数据i
ct
及若干多模态数据，所述数据包括基于ct影像的主动脉层面，窦管交界平面，瓦式窦平面和瓣环平面的长度l、面积a和周长p，还包括原始ct影像及基于该影像得到的图像分割结果i
seg
，以及基于超声图像得到的血液流速v
blood
、瓣膜两侧血流压强δp
valve
和心脏射血分数ejection fraction(ef)；
[0037]
采用多模态数据融合架构将不同模态的数据融合，综合多模态结果得到最终的建议决策，所述多模态数据融合架构首先使用两个独立的神经网络，即图像处理网络net
image
和参数处理网络net
parametero
两个网络将不同模态的数据转换为相似的数据结构，之后将相似的数据结构合并，并使用集成神经网络net
integration
综合上述合并后的结果得到最终的结果resu1t，将最终结果与真实世界的结果的获益结局benign和不良结局malignant进行对比。对比结果使用交叉熵损失函数bce，利用神经网络的反向传播机制自动学习上述三个神经网络，使其预测结果更加接近真实世界的临床获益结局benign或更加远离真实世界的不良结局malignant；
[0038]
其中，图像处理网络：
[0039]vimage
＝net
image
(i
ct
，i
seg
)；
[0040]
参数处理网络：
[0041]vparameter
＝net
parameter
(l，a，p，v
blood
，δp
valve
，ef)；
[0042]
将网络输出合并：
[0043]vintegration
＝concatenate(v
image
，v
image
)；
[0044]
集成神经网络：
[0045]
result＝net
integration
(v
integration
)；
[0046]
损失函数：
[0047]
groundtruth＝{benigh，malignant}
[0048]
loss＝bce(result，groundtruth)
[0049]
整个系统的学习过程可以被概括为：
[0050]
f：＝argmin
t
(bce(f(i
ct
，i
seg
，l，a，p，v
blood
，δp
valve
，ef)，groundtruth))；
[0051]
其中
[0052]
f＝{net
image
，net
parameter
，net
parameter
}；
[0053]
s3：将训练好的网络模型部署至推理服务器，当所述推理服务器进行推理时，所述推理服务器接受深度强化学习网络所需的影像数据及测量诊断参数并输出最终的建议球囊型号、充水体积和球囊压力，所述影像数据包括主动脉分割图像和原始ct影像数据，所述测量诊断参数包括通过超声获得的左心室射血分数、血液流速、瓣膜两侧血流压强和主动脉层面，窦管交界平面，瓦式窦平面和瓣环平面的长度l、面积a和周长p。