本发明涉及基于深度学习与迁移学习的IVUS组织标注方法及系统。
背景技术：
血管内超声(intravascular ultrasound，IVUS)是分析血管形态和检测粥样硬化斑块的常用介入影像手段。它利用镶嵌于心导管顶端的微小超声探头，从血管腔内获得管腔的切面图像，完整显示包括血管壁外膜和中膜边界、内膜即管腔以及两者之间的斑块负荷情况在内的血管横断面。
目前对IVUS图像中斑块的识别和分类主要由人工手动完成，不仅工作量巨大，而且结果的主观性强，可重复性差，易受操作者的临床经验和专业知识的影响。因此，自动检测IVUS图像中的斑块组织并对其按照成分进行分类具有重要的临床应用价值。由于IVUS成像的分辨率较低，所以容易丢失细节信息，这样就给利用数字图像处理技术来提取纹理信息进行分类标注的造成困难。
技术实现要素：
为了解决现有技术的不足，本发明提供了基于深度学习与迁移学习的IVUS组织标注方法及系统，其基于深度学习并根据动物的组织切片对血管内超声图像组织自动标定并利用迁移学习的方法将模型应用到人的血管内超声图像组织自动组织标注；
基于深度学习与迁移学习的IVUS组织标注方法，包括：
步骤(101)：图像采集和预处理：
采集人的IVUS图像，对人的IVUS图像进行内外膜的分割；
采集动物的IVUS图像，对动物的IVUS图像进行内外膜的分割；
将动物的IVUS图像对应的动物血管做成切片，对切片进行染色，对染色处理后的切片进行拍照获得染色后的组织切片图像；
步骤(102)：图像配准：将进行内外膜分割的动物的IVUS图像与染色后的组织切片图像进行配准，得到配准后的IVUS图像；
步骤(103)：斑块检测：根据异常斑块的染色和正常组织是不同的，对配准后的IVUS图像进行斑块检测，将配准后的IVUS图像的异常斑块位置使用标签进行标注，得到异常斑块位置的标签信息；
步骤(104)：检测模型搭建：根据配准后的IVUS图像和异常斑块位置的标签信息，利用深度学习算法进行训练，得到检测模型；
步骤(105)：迁移学习：利用迁移学习算法将训练得到的检测模型迁移到人的IVUS图像中；
步骤(106)：将进行内外膜分割的人的IVUS图像输入到检测模型中，进行人血管中的斑块进行检测，根据检测结果对人血管中的不同斑块组织进行标注。
所述对切片进行染色，对染色处理后的切片进行拍照获得染色后的组织切片图像是指：
对切片中脂质斑块、纤维化斑块和钙化斑块分别进行染色处理，其中，一个切片染色一种斑块，对染色处理后的切片进行拍照共得到3幅染色后的切片图像。
所述图像配准利用CNN的深度学习或是手动配准的方法将组织切片图像与IVUS图像配准。
所述斑块检测，利用目标检测算法。所述目标检测算法，包括但不限于R-CNN,SPP-NET,Fast R-CNN,Faster R-CNN等深度学习方法。
所述迁移学习，由于动物的血管和人的血管在特征分布上具有相似性，故采用基于特征选择的迁移学习方法来识别出人的血管与动物中共有的特征表示，然后利用共有特征进行模型迁移。
基于深度学习与迁移学习的IVUS组织标注系统，包括：
图像采集和预处理模块，用于采集人的IVUS图像，对人的IVUS图像进行内外膜的分割；采集动物的IVUS图像，对动物的IVUS图像进行内外膜的分割；将动物的IVUS图像对应的动物血管做成切片，对切片进行染色，对染色处理后的切片进行拍照获得染色后的组织切片图像；
图像配准模块，用于将进行内外膜分割的动物的IVUS图像与染色后的组织切片图像进行配准，得到配准后的IVUS图像；
斑块检测模块，用于根据异常斑块的染色和正常组织是不同的，对配准后的IVUS图像进行斑块检测，将配准后的IVUS图像的异常斑块位置使用标签进行标注，得到异常斑块位置的标签信息；
检测模型搭建模块，用于根据配准后的IVUS图像和异常斑块位置的标签信息，利用深度学习算法进行训练，得到检测模型；
迁移学习模块，用于利用迁移学习算法将训练得到的检测模型迁移到人的IVUS图像中；
组织标注模块，用于将进行内外膜分割的人的IVUS图像输入到检测模型中，进行人血管中的斑块进行检测，根据检测结果对人血管中的不同斑块组织进行标注。
基于深度学习与迁移学习的IVUS组织标注装置，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上任一方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时，完成如上任一方法所述的步骤。
所述内外膜分割采用FCN深度学习算法，例如：Zhou H,Zhang J,Lei J,et al.Image semantic segmentation based on FCN-CRF model[C]//International Conference on Image,Vision and Computing.IEEE,2016:9-14。
所述图像配准利用CNN的深度学习，例如：Uzunova H,Wilms M,Handels H,et al.Training CNNs for Image Registration from Few Samples with Model-based Data Augmentation[J].2017。
共有特征例如：纹理特征或图像灰度特征。
所述迁移学习算法，例如：庄福振,罗平,何清,等.迁移学习研究进展[J].软件学报,2015,26(1):26-39.
所述基于特征选择的迁移学习方法，例如：Pan S J,Yang Q.A Survey on TransferLearning[J].IEEE Transactions on Knowledge&Data Engineering,2010,22(10):1345-1359.
本发明的有益效果是：
根据组织切片，利用深度学习的方法对IVUS图像的斑块组织识别标注，降低了医生的负担，也减少了由于医生的主观性造成的误差。本发明中根据组织切片，利用深度学习的方法也极大的提高了斑块检测的准确性，提高了识别精度。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本发明的方法流程图；
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
如图1为本发明具体实施的方法流程图。下面将结合图1对此过程作进一步说明。
基于深度学习与迁移学习的IVUS组织标注方法，包括：
步骤(101)：图像采集和预处理：
采集人的IVUS图像，对人的IVUS图像进行内外膜的分割；
采集动物的IVUS图像，对动物的IVUS图像进行内外膜的分割；
将动物的IVUS图像对应的动物血管做成切片，对切片进行染色，对染色处理后的切片进行拍照获得染色后的组织切片图像；
步骤(102)：图像配准：将进行内外膜分割的动物的IVUS图像与染色后的组织切片图像进行配准，得到配准后的IVUS图像；
步骤(103)：斑块检测：根据异常斑块的染色和正常组织是不同的，对配准后的IVUS图像进行斑块检测，将配准后的IVUS图像的异常斑块位置使用标签进行标注，得到异常斑块位置的标签信息；
步骤(104)：检测模型搭建：根据配准后的IVUS图像和异常斑块位置的标签信息，利用深度学习算法进行训练，得到检测模型；
步骤(105)：迁移学习：利用迁移学习算法将训练得到的检测模型迁移到人的IVUS图像中；
步骤(106)：将进行内外膜分割的人的IVUS图像输入到检测模型中，进行人血管中的斑块进行检测，根据检测结果对人血管中的不同斑块组织进行标注。
所述对切片进行染色，对染色处理后的切片进行拍照获得染色后的组织切片图像是指：
对切片中脂质斑块、纤维化斑块和钙化斑块分别进行染色处理，其中，一个切片染色一种斑块，对染色处理后的切片进行拍照共得到3幅染色后的切片图像。
所述图像配准利用CNN的深度学习或是手动配准的方法将组织切片图像与IVUS图像配准。
所述斑块检测，利用目标检测算法。所述目标检测算法，包括但不限于R-CNN,SPP-NET,Fast R-CNN,Faster R-CNN等深度学习方法。
所述迁移学习，由于动物的血管和人的血管在特征分布上具有相似性，故采用基于特征选择的迁移学习方法来识别出人的血管与动物中共有的特征表示，然后利用共有特征进行模型迁移。
基于深度学习与迁移学习的IVUS组织标注系统，包括：
图像采集和预处理模块，用于采集人的IVUS图像，对人的IVUS图像进行内外膜的分割；采集动物的IVUS图像，对动物的IVUS图像进行内外膜的分割；将动物的IVUS图像对应的动物血管做成切片，对切片进行染色，对染色处理后的切片进行拍照获得染色后的组织切片图像；
图像配准模块，用于将进行内外膜分割的动物的IVUS图像与染色后的组织切片图像进行配准，得到配准后的IVUS图像；
斑块检测模块，用于根据异常斑块的染色和正常组织是不同的，对配准后的IVUS图像进行斑块检测，将配准后的IVUS图像的异常斑块位置使用标签进行标注，得到异常斑块位置的标签信息；
检测模型搭建模块，用于根据配准后的IVUS图像和异常斑块位置的标签信息，利用深度学习算法进行训练，得到检测模型；
迁移学习模块，用于利用迁移学习算法将训练得到的检测模型迁移到人的IVUS图像中；
组织标注模块，用于将进行内外膜分割的人的IVUS图像输入到检测模型中，进行人血管中的斑块进行检测，根据检测结果对人血管中的不同斑块组织进行标注。
基于深度学习与迁移学习的IVUS组织标注装置，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上任一方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时，完成如上任一方法所述的步骤。
本发明的具体实施例如下：
首先利用相应的设备采集IVUS图像，对于动物图像可采集如兔子等其他动物的图像，然后采集人的血管内超声图像。采集完动物的超声图像后，将兔子的相应血管做成切片，不同的斑块成分将会呈现不同的颜色。将组织切片以图片的形式保存下来。
在预处理阶段，首先要对动物和人的IVUS图像的内外膜进行分割，这样有利于下一步的配准。这里的分割包括但不限于利用全卷积网络(FCN)来实现。接下来就将分割后的图像与组织切片图像配准，在经过配准后可以根据组织切片的颜色的差异明显的判断出斑块组织，并进行标注。接下来根据上一步标注好的斑块组织打好标签利用深度学习进行训练得到斑块检测模型，进行测试后选出一个最优的斑块检测模型用于下一步的工作。
由于人的IVUS图像和动物的IVUS图像存在相似的部分，所以可以利用迁移学习的方法将上述模型应用到人的IVUS图像中去。将经过分割内外膜后的IVUS图像送入利用迁移学习得到的检测模型中进行检测，最后将检测结果进行标注。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。