利用超音波与深度学习技术的气管模型重建方法及系统与流程

本发明为一种利用超音波与深度学习技术的气管模型重建方法及其系统，特别是一种可正确、快速地重建及记录立体三维气管模型的气管模型重建方法及其系统。

背景技术：

当病患在手术中进行全身麻醉、心肺复苏术或病患无法自行呼吸时，则须对病患进行插管治疗，以将人工气道插入气管内，使医疗用气体顺利送入病患气管内。而当进行插管治疗时，由于医护人员并无法直接目视、调整人工气道，仅能仰赖医疗人员的触感及过往经验来操作，以避免刺伤病患气管，造成需操作多次才能成功，并有拖延建立通畅气道的时间。因此，快速、正确的建立三维气管模型以供医疗人员辅助插管，实为目前急欲解决的课题。

技术实现要素：

本发明所要解决的主要技术问题在于，克服现有技术存在的上述缺陷，而提供一种利用超音波与深度学习技术的气管模型重建方法及系统，其可正确、快速地重建及记录立体三维气管模型。

本发明解决其技术问题所采用的技术方案是：

一种利用超音波与深度学习技术的气管模型重建方法，包含有如下步骤：

取得气管管壁的影像与位置信息：利用可定位超音波扫描仪对口腔至气管扫描取得超音波影像，且依据扫描位置同步获得超音波影像的位置信息；

图资空间定位：对超音波影像进行空间定位处理，并获得超音波影像的空间定位信息；

图像处理：对超音波影像进行去噪声、降噪与裁切处理，并进行影像强化处理，以强化超音波影像细节，使获得清晰超音波影像；

影像特征撷取与深度学习影像辨识：对清晰超音波影像进行撷取、萃取，并储存多种不同的影像特征与连续气管管壁影像，然后透过训练深度学习模型达到辅助辨识影像特征及气管管壁影像，且定位气管管壁的形状、曲率与位置；

6dof空间定位：将图资空间定位步骤中的超音波影像及空间位置信息进行定位处理，以获得超音波影像的空间定位数据；

影像空间校正：对经6dof空间定位步骤定位处理后的超音波影像空间的定位数据进行校正，以获得超音波影像在三维空间中的实际大小与实际投影位置，以转换为实际三维空间位置，并校正超音波影像输出的正确尺寸；

影像空间转换：将影像空间校正步骤中的超音波影像投影至三维空间，获得气管模型的三维空间数据及影像信息；

形成三维气管模型：将影像特征撷取与深度学习影像辨识步骤中所获得的超音波影像，及影像空间转换步骤中所获得的气管模型的三维空间数据及影像信息相连，并拼接重建、记录成实际的立体三维气管模型；

借此，提供一种可正确、快速地重建及记录立体三维气管模型，以供后续的医疗研究或使用的气管模型重建方法。

本发明的有益效果是，其可正确、快速地重建及记录立体三维气管模型。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的步骤流程图。

图2是本发明的系统方块图。

图3是本发明结合可定位超音波扫描仪系统方块图。

图中标号说明：

10图资加载模组

20图像处理模组

30影像特征撷取模组

40深度学习影像辨识模组

50六自由度空间定位模组

60影像空间校正算法模组

70影像空间转换算法模组

80三维模型重建模组

90可定位超音波扫描仪

具体实施方式

有关本发明为达到目的所应用的技术手段及其构造，兹谨再配合图1至图3所示的实施例，详细说明如下：

如图1所示步骤流程图，详细说明步骤如下：

取得气管管壁的影像与位置信息：利用可定位超音波扫描仪对口腔至气管扫描取得超音波影像，且依据扫描位置同步获得超音波影像的位置信息。

图资空间定位：对超音波影像进行空间定位处理，并获得超音波影像的空间定位信息。

图像处理：对超音波影像进行去噪声、降噪与裁切处理，并进行影像强化处理，以强化超音波影像细节，使获得清晰超音波影像。

影像特征撷取与深度学习影像辨识：对清晰超音波影像进行撷取、萃取，并储存多种不同的影像特征与连续气管管壁影像，然后透过训练深度学习模型达到辅助辨识影像特征及气管管壁影像，且定位气管管壁的形状、曲率与位置。

6dof空间定位：将图资空间定位步骤中的超音波影像及空间位置信息进行定位处理，以获得超音波影像的空间定位数据。

影像空间校正：对经6dof空间定位步骤定位处理后的超音波影像空间的定位数据进行校正，以获得超音波影像在三维空间中的实际大小与实际投影位置，以转换为实际三维空间位置，并校正超音波影像输出的正确尺寸。

影像空间转换：将影像空间校正步骤中的超音波影像投影至三维空间，获得气管模型的三维空间数据及影像信息。

形成三维气管模型：将影像特征撷取与深度学习影像辨识步骤中所获得的超音波影像，及影像空间转换步骤中所获得的气管模型的三维空间数据及影像信息相连，并拼接重建、记录成实际的立体三维气管模型。

为进一步说明本发明，兹谨再配合图2、图3所示的系统配置图，详细说明如下：如图2所示，本发明的利用超音波与深度学习技术的气管模型重建系统，包含有一图资加载模组10、图像处理模组20、影像特征撷取模组30、深度学习影像辨识模组40、六自由度空间定位模组50、影像空间校正算法模组60、影像空间转换算法模组70、三维模型重建模组80；其中：

图资加载模组10(请同时参阅图2所示)，与可定位超音波扫描仪90连接，用以加载超音波扫描仪90所得的超音波影像及位置信息，并协同空间定位进行图像处理。

图像处理模组20(请同时参阅图2所示)，与图资加载模组10连接，用以接收图资加载模组10所加载的超音波影像，以对该超音波影像去噪声、降噪与裁切处理，并进行影像强化处理以强化超音波影像细节，使获得清晰超音波影像。

影像特征撷取模组30(请同时参阅图2所示)，与图像处理模组20连接，用以撷取、萃取及储存清晰超音波影像的多种不同的影像特征与连续气管管壁影像。

深度学习影像辨识模组40(请同时参阅图2所示)，与影像特征撷取模组30连接，并依据影像特征撷取模组30所储存的多种不同的影像特征及连续气管管壁影像，借以训练深度学习模型达到辨识辅助超音波影像中气管管壁，并定位出平面清晰超音波影像中部份气管管壁的形状、曲率与位置信息。

承上述，较佳的实施例是，该深度学习影像辨识模组40的深度学习模型可经设计为手动、自动或半自动控制的方式来进行定位气管管壁的形状、曲率与位置信息。

六自由度空间定位模组50(请同时参阅图2所示)，与图资加载模组10及可定位超音波扫描仪90连接，用以接收加载可定位超音波扫描仪90所得的空间位置信息，并与图资加载模组10所加载的超音波影像进行空间定位处理，以获得超音波影像及空间定位数据。

影像空间校正算法模组60(请同时参阅图2所示)，与六自由度空间定位模组50连接，用以接收并校正六自由度空间定位模组50所处理的空间定位数据在三维空间中的实际大小与实际投影位置，以转换为实际三维空间位置，并校正超音波影像输出的正确尺寸。

影像空间转换算法模组70(请同时参阅图2所示)，与影像空间校正算法模组60连接，用以接收经影像空间校正算法模组60处理过的超音波影像，并将该超音波影像投影至三维空间，以获得气管模型的三维空间数据及影像信息。

三维模型重建模组80(请同时参阅图2所示)，与深度学习影像辨识模组40及影像空间转换算法模组70连接，用以接收深度学习影像辨识模组40的清晰超音波影像信息，并依据影像空间转换算法模组70所取得的气管模型的三维空间数据及影像信息，将连续气管管壁的清晰超音波影像相连拼接，使重建及记录完整的立体三维气管模型。

另，该影像特征撷取与深度学习影像辨识步骤及深度学习影像辨识模组40，其将许多患者的气管影像数据进行撷取取得影像特征，并将该些影像特征与超音波影像输入至深度学习模型中，该深度学习模型可选自监督式学习、非监督式学习、半监督式学习及增强学习等类型(如：神经网络、随机森林、支持向量机svm、判定树或集群等)，借由透过深度学习模型来辨识气管管壁的特征、形状、曲率与位置。

借此，本发明利用可定位超音波扫描仪取得连续超音波影像及对应的位置信息后，经由图像处理、特征撷取来形成清晰超音波影像及影像特征，并搭配深度学习辅助辨识气管管壁的形状、曲率及位置，及利用6dof空间定位、影像空间校正、转换取得超音波影像的对应空间信息后，即可正确、快速地重建形成立体三维气管模型，以供插管辅助及后续的医疗研究或使用。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。