一种多任务标签模型的冠脉点云数据处理优化方法与流程

本发明涉及了一种心脏医疗图像数据处理优化方法，尤其是涉及了一种多任务标签模型的冠脉点云数据处理优化方法。

背景技术：

1、随着医学的不断发展，医学影像在不同疾病的治疗过程中，都给出了更加直观的依据。现有技术通常是以心脏cta数据为依据，cta数据中组织器官的三维重建都是至关重要，那么在利用深度学习过程中，其中标签的制作将是尤为重要。

2、冠状动脉是心脏供血的血管属支，冠状动脉的病灶会对相应的心脏区域产生功能上的影响，是冠心病、心绞痛、心肌梗死的原因。在心脏cta数据中，现在主要涉及的技术有冠状动脉重构，冠脉斑块分析，冠脉狭窄分析，心脏分区分割等等，其中冠状动脉的重建是尤为重要。在做冠状动脉三维重构过程中，医生或多或少都是半自动实现重构功能。

3、现在的一般技术，关于心脏cta数据的研究，大部分功能是半自动，较为依赖操作者的相关经验。在深度学习的发展过程中，对样本数据集的收集就显得非常重要，需要在不同任务状态下，收集对应的标签。目前在心脏cta数据集的收集与管理中，并没有一个固定的流程化处理过程。

4、而且现有技术一般是对cta图像进行简单的预处理(旋转、归一化等)后利用cnn网络，进行中心线半径与方向的追踪，还通过3d uet网络，直接进行图像分割，会导致冠脉分支断裂，丢失等问题，会存在丢失分支或者粘连等问题，导致重构的冠脉点云不能满足冠脉树标签的要求。

技术实现思路

1、为了解决背景技术中存在的问题，本发明提出了一种多任务标签模型的冠脉点云数据处理优化方法，解决了冠脉重构过程中存在小分支丢失、心耳粘连、肺静脉粘连等问题，克服了多任务的标签难以制作的难题。

2、现有的心脏医疗图像数据在造影剂过多的状态下，在冠脉重构过程中，往往会出现心耳与冠脉粘连的问题。在造影剂不充盈的图像中，冠脉存在深度狭窄的数据，就会出现冠脉分支断裂的问题。本发明也能很好的解决了此类问题。

3、本发明的技术方案如下：

4、本发明方法详细流程可参考图1多任务标签训练模型的流程图，其中，流程13是给定原始的心脏医疗图像、冠脉进口点位置以及中心线追踪通过深度学习冠脉重构算法，直接获得冠脉点云数据。

5、后期还可以批量的规范化处理cta类型的心脏医疗图像，直接利用心脏分区模型，自动的获得主动脉组织、左心室、左心房、心耳、心肌；直接利用冠脉的进口点位置模型，自动搜寻左冠与右冠进口点位置；利用深度学习冠脉重构算法获取冠脉点云数据；利用中心线提取算法，自动提取冠脉树标签。若各类冠脉树标签质量好可作为新一轮标签的加入数据集，用于更新对应的模型获得新的进口点位置模型。

6、一、一种多任务标签模型的冠脉点云数据处理优化方法，其特征在于：

7、步骤一、心脏分区：

8、利用已训练完成的心脏分区模型对心脏医疗图像分割得心脏目标区域；

9、更具体地，以心脏医疗图像进行标记处理得已标注的心脏区域数据，将已标注的心脏区域数据输入到标记神经网络，训练得到心脏分区模型，利用心脏分区模型中对心脏医疗图像分割得心脏目标区域。

10、步骤二、冠脉进口点位置识别：

11、利用已完成训练的进口点位置模型对心脏目标区域中的主动脉组织进行冠脉搜寻获得冠脉的进口点位置；

12、步骤三、获得冠脉点云数据：

13、利用在步骤二获得的所述冠脉的进口点位置输入传统冠脉重构算法获得初始的冠脉点云数据，

14、上述具体可以是通过冠脉的进口点位置输入到传统冠脉重构算法中区域生长，分割出冠脉点云，并通过修复保留获得冠脉点云数据。

15、步骤四、中心线追踪：

16、通过冠脉点云数据获得冠脉树标签数据，所述冠脉树标签数据用于计算目标q值，所述目标q值用于训练中心线追踪模型；同时将所述心脏医疗图像进行数据预处理获得图像数据作为第一目标区域；再将所述冠脉的进口点位置、所述第一目标区域一起输入到训练完成的所述中心线追踪模型中预测处理获得冠脉的中心线；

17、步骤五、深度学习冠脉重构：采用特殊的深度学习冠脉重构算法结合步骤四获得的冠脉的中心线处理获得新的冠脉点云数据。

18、所述步骤一具体是，先以心脏医疗图像导入标注软件标记处理获得主动脉组织、左冠、右冠、左心室、左心房、心耳和心肌的心脏区域作为第一标签数据；将所述心脏医疗图像和所述第一标签数据输入标记神经网络训练获得心脏分区模型，再将待处理的心脏医疗图像输入到已训练完成的心脏分区模型中进行分割提取获得主动脉组织、左心室、左心房、心耳和心肌的心脏目标区域。

19、此处用训练后的心脏分区模型对未知心脏区域的心脏医疗图像数据进行分割获得的心脏区域不包括左冠、右冠，不分割左冠、右冠，这是因为左冠，右冠组织较小，存在部分粘连，冠脉断裂现象，若直接分割获得会导致标记出来的冠脉存在丢失小分支现象。

20、用训练后的心脏分区模型对未知心脏区域的心脏医疗图像数据进行预测分割获得的左冠、右冠结果不能作为冠状动脉的标签，本发明进一步后续步骤利用包含预测分割获得的左冠、右冠结果的数据继续结合主动脉组织器官的信息，来确定冠状动脉的进口点位置。

21、所述步骤二进一步包括：

22、在步骤一分割获得的主动脉组织结果上，选择特定主动脉组织附近的图像区域，利用两次膨胀和连通域标记的方法去除其中的非冠脉特征获得样本特征点，以样本特征点中的部分特征点作为中心截取主动脉组织附近的图像块，并对截取的图像块进行归一化处理，作为输入参数，将所述输入参数输入到所述已完成训练的进口点位置模型中计算获得冠脉的进口点位置。

23、所述进口点位置模型的输出参数为左冠进口点与右冠进口点，训练时为通过步骤一标记处理获得的主动脉组织、左冠和右冠的数据处理获得的左冠进口点与右冠进口点，作为标签。

24、所述的进口点位置模型是用于自动寻找冠脉的进口点位置，冠脉的进口点位置包括左冠进口点与右冠进口点。

25、所述步骤四，进一步包括：

26、现有技术一般在冠脉中心线追踪处理中，大部分都是对cta图像进行简单的预处理(旋转、归一化等)后利用cnn网络，进行中心线半径与方向的追踪。

27、所述通过冠脉点云数据获得冠脉树标签数据包括：

28、利用冠脉点云数据，进行冠脉中心线数据提取，将提取到的冠脉中心线数据，转化成冠脉树标签数据；

29、所述将所述心脏医疗图像进行数据预处理获得图像数据作为第一目标区域包括：

30、通过心脏医疗图像，利用在步骤一分割获得的心脏目标区域结果，去除主动脉组织、左心室、左心房、心耳和心肌的心脏区域，再利用冠状动脉总都是紧贴着心肌表面的几何特点在保留剩余的区域中确定左冠与右冠相关区域，左冠与右冠相关区域是一个区域，包含了左冠相关区域与右冠相关区域，对左冠与右冠相关区域的图像数据进行等轴间距统一规划，保留小于灰度阈值下的数据并归一化处理后获得第一目标区域。

31、所述的中心线追踪模型采用dqn强化学习网络，分为主干分支和目标分支。

32、具体地，所述步骤四中，所述的中心线追踪模型采用dqn强化学习网络，包括主干分支和目标分支，主干分支和目标分支的拓扑结构相同；

33、以步骤二获得的冠脉的进口点位置作为初始冠脉点，中心线追踪模型是根据初始冠脉点预测获得下一个冠脉点位置，且以下一个冠脉点位置为中心从第一目标区域中选取固定大小的图像，将固定大小的图像输入到已训练完成的中心线追踪模型中，获得冠脉的中心线结果。

34、目标q值是中心线追踪模型的dqn强化学习网络训练时的中间参数。

35、具体实施还可通过多套数据集，利用强化学习网络强化学习中心线追踪，获取中心线追踪。

36、目标分支的网络参数不需要迭代更新，而是每隔一段时间从当前主干分支复制过来，形成延时更新。

37、现有的冠脉重构通常是通过3d uet网络，直接进行图像分割。由于冠状动脉的体积小的特征，其实直接利用3d uet网络进行图像分割，往往会导致冠脉分支断裂，丢失等问题。因此现有的冠脉重构算法，也会存在丢失分支或者粘连等问题，导致重构的冠脉点云不能满足冠脉数标签的要求。

38、本发明是首先利用中心线追踪模型后获得冠脉数中心线，结合区域生长函数获取冠脉点云数据，记为深度学习冠脉重构法。通过深度学习冠脉重构法获取的完整冠脉点云数据，通过中心线提取算法获取冠脉中心线数据转化成冠脉树标签数据，重新训练中心线追踪模型，以此来提高最终模型的准确性，从而提高冠脉重构的精度，由此解决了左心耳与冠脉的粘连等问题。

39、所述步骤五中，深度学习冠脉重构算法具体为：

40、将所述冠脉的中心线先通过膨胀、灰度二值化获得连通域范围，在连通域范围基础上根据进口点位置提取获得非冠脉连通域在连通域范围中进行排除，将最终位于冠脉中心线内的连通域范围叠加到冠脉上进而遍历搜寻获得为完整的冠脉点云数据。

41、更具体地，所述步骤五中，深度学习冠脉重构算法具体为：

42、s1、将所述冠脉的中心线先以核为3*3*3的球体膨胀k次，以中心线膨胀后所在的图像范围作为第一范围，在第一范围内的原始医疗图像再以截止灰度做二值化获得第二范围，在第二范围内的原始医疗图像数据进行标记连通域处理获得各个连通域形成第三范围，在第三范围根据步骤二获得的左冠进口点与右冠进口点提取获得左冠连通域和右冠连通域作为第四范围，具体以靠近左冠进口点的连通域作为左冠连通域，以靠近右冠进口点的连通域作为右冠连通域；

43、s2、对第三范围的连通域数量进行判断：

44、若第三范围中包含的连通域数量超过两个，则以第三范围中除去第四范围以外的连通域作为第五范围；否则所有连通域均为冠脉组织，不用去除，以第三范围直接作为第五范围；

45、s3、判断第五范围是否在中心线上：

46、若第五范围在中心线内，则第五范围属于冠脉组织，将第五范围叠加在第四范围冠脉上获得第六范围，遍历中心线上每个点，找寻第五范围与第四范围之间的中心线上的点作为参考点，并将参考点叠加到第六范围上获得第七范围，以第七范围作为完整的冠脉点云数据。

47、随后将冠脉点云数据再反馈回到步骤三的冠脉点云数据进行更新，再通过中心线提取算法计算处理获得新的冠脉的中心线。由此不断迭代处理获得更优的冠脉点云数据，提高了冠脉重构的成功率与准确性，也解决了左心耳与冠脉的粘连等问题。

48、优选地，所述的心脏医疗图像可以为cta图像，所述的心脏分区模型/标记神经网络可采用3d unet神经网络，所述的进口点位置模型可采用resnet10神经网络，但不限于此。

49、所述方法还包括步骤六：将新的冠脉点云数据再反馈到步骤四中，通过新的冠脉点云数据获得冠脉树标签数据，重新训练中心线追踪模型。优选地，还可以不断重复步骤四～步骤五迭代处理，直到达到预设的迭代次数。

50、二、一种多任务标签模型的冠脉树标签数据处理优化系统，包括：

51、心脏分区模块，利用已训练完成的心脏分区模型中对心脏医疗图像分割得心脏目标区域；

52、冠脉进口点位置模块，利用心脏分区模块获得的心脏目标区域输入已训练的进口点位置模型对主动脉目标区域进行冠脉搜寻获得冠脉的进口点位置；

53、中心线追踪模块，利用在心脏分区模块分割获得的心脏目标区域结果结合冠脉点云数据，进而输入已训练的中心线追踪模型中处理获得冠脉的中心线；

54、深度学习冠脉重构模块，采用深度学习冠脉重构算法结合冠脉的进口点位置处理获得新的冠脉点云数据，并反馈到中心线追踪模块进一步更新优化。

55、本发明中，由心脏分区模块、冠脉进口点位置模块、中心线追踪模块和深度学习冠脉重构模块构成了多任务标签模型。

56、三、一种存储介质，存储有计算机程序，述计算机程序被处理器执行时实现上述方法。

57、具体地，所述的计算机程序为对应实现上述方法的指令。

58、本发明的多任务标签包括，心脏分区标签(主动脉组织、左心室、左心房、左心耳、左冠、右冠、心肌)，左冠与右冠进口点位置标签，冠脉点云标签，冠脉树标签。

59、本发明通过导入病例数据，就能全自动化处理数据，得到一个较为正规统一的数据集，同时能满足多个研究任务。为后期的发展，提供数据集的支持，为在心脏医疗诊断提供了技术方向。

60、本发明的有益效果是：

61、本发明利用多任务标签，完全实现全自动心脏分区、冠脉入口自动搜索、冠脉中心线追踪、冠脉三维重构等等。

62、本发明提供一套固定的流程操作，克服了多任务的标签难以制作的难题。

63、本发明提出一个流程化方法处理心脏医疗图像数据，解决了冠状动脉重构过程中的分支丢失与粘连的问题，从而提高了冠状动脉重构的准确性。

64、本发明以全自动化多任务标签生成，优化了冠脉重构算法，不仅解决了心耳组织与冠脉粘连的问题，还解决了血管分支断裂的问题，统一样本数据集的处理方式，提高了算法的效率。