一种医疗影像的处理方法、装置、设备和介质与流程
本申请涉及图像处理技术领域，尤其涉及一种医疗影像的处理方法、装置、设备和介质。
背景技术：
肥厚型心肌病(hypertrophiccardiomyopathy,hcm)是一类以左心室肥厚尤其非对称性室间隔肥厚为特征的心肌病，是常见的致病基因遗传性心血管疾病，目前尚无根本性治疗方法，临床预后差，是青少年和运动员猝死的首要病因。近年来hcm已成为儿童心血管疾病谱中常见疾病之一。
目前超声影像为评价儿童hcm心功能的主要技术。超声影像作为评价心室舒张功能的经典方法，其准确性依赖于大致正常形态的左右心室，而对于hcm这一左室内腔形态明显异常的疾病而言，常规多普勒超声指标误差很大。
现有技术下，超声影像中，主要依赖医生经验，往往需要重复多次勾勒以获得比较精确的结果；由于存在医生的主观偏差，疾病诊断的效率较低。
技术实现要素：
本申请实施例提供一种医疗影像的处理方法、装置、设备和介质，用以在根据医疗影像进行医学诊断时，对心肌斑点进行精确定位，以及提高诊断的精确度和效率。
一方面，提供一种医疗影像的处理方法，包括：
获取第一图像；所述第一图像为序列心动图中的任一张图像帧；
通过分割模型获得所述第一图像中的感兴趣区域及所述感兴趣区域中的心肌斑点的第一位置；
根据所述心肌斑点的第一位置，确定第二图像中对应的心肌斑点的第二位置；所述第二图像为所述序列心动图中与所述第一图像相邻的第n张图像帧；
提取所述第一图像中所述第一位置的第一特征图像，及所述第二图像中所述第二位置的第二特征图像；
通过所述第一特征图像和所述第二特征图像，确定所述心肌斑点的运动轨迹。
一种可能的实现方式，所述第二位置包括所述第二图像中的所述第一位置，及所述第一位置附近的候选位置；所述第二特征图像为多个；
所述通过所述第一特征图像和所述第二特征图像，确定所述心肌斑点的运动轨迹，包括：
将所述第一特征图像和任一个第二特征图像，进行相似度比较；
将相似度最高的第二特征图像的位置作为所述第二图像中所述心肌斑点的位置；
根据所述第一位置及所述相似度最高的第二特征图像的位置，确定所述心肌斑点的运动轨迹。
一种可能的实现方式，所述将所述第一特征图像和任一个第二特征图像，进行相似度比较，包括：
根据所述第一特征图像和所述第二特征图像间的欧式距离，确定所述第一特征图像和所述第二特征图像间的相似度。
一种可能的实现方式，所述通过分割模型获得所述第一图像中的感兴趣区域，包括：
将所述第一图像，通过m个下采样卷积块提取所述第一图像的第一特征图像；每个下采样卷积块提取的第一特征图像的尺寸均不同，m大于0；
将第m个下采样卷积块输出的第一特征图像依次通过m个第一上采样卷积块提取所述第一图像的第二特征图像，每个第一上采样卷积块提取的第二特征图像的尺寸均不同；
将m个下采样卷积块中的每个下采样卷积块输出的第一特征图像依次输入至多个第二上采样卷积块中，确定第三特征图像；
将所述第三特征图像与尺寸相同且特征相似的下采样卷积块输出的第一特征图像进行合并，确定第四特征图像；m为正整数；
将尺寸相同且特征相似的第一特征图像、第二特征图像和第四特征图像合并后，确定所述分割模型输出的不同尺寸的特征图像；
根据所述分割模型输出的不同尺寸的特征图像，确定所述第一图像中的感兴趣区域。
一种可能的实现方式，所述获取第一图像之前，还包括：
对所述超声心动视频图像中的图像帧进行预处理，其中，所述预处理包括以下方式中的任意一种或任意组合：归一化、二值化操作、形态学开操作、直方图均衡处理以及双边滤波处理。
一方面，提供一种医疗影像的处理装置，包括：
收发单元，用于获取第一图像；所述第一图像为序列心动图中的任一张图像帧；
处理单元，用于通过分割模型获得所述第一图像中的感兴趣区域及所述感兴趣区域中的心肌斑点的第一位置；根据所述心肌斑点的第一位置，确定第二图像中对应的心肌斑点的第二位置；所述第二图像为所述序列心动图中与所述第一图像相邻的第n张图像帧；提取所述第一图像中所述第一位置的第一特征图像，及所述第二图像中所述第二位置的第二特征图像；通过所述第一特征图像和所述第二特征图像，确定所述心肌斑点的运动轨迹。
一种可能的实现方式，所述第二位置包括所述第二图像中的所述第一位置，及所述第一位置附近的候选位置；所述第二特征图像为多个；
所述处理单元，具体用于：
将所述第一特征图像和任一个第二特征图像，进行相似度比较；将相似度最高的第二特征图像的位置作为所述第二图像中所述心肌斑点的位置；根据所述第一位置及所述相似度最高的第二特征图像的位置，确定所述心肌斑点的运动轨迹。
一种可能的实现方式，所述处理单元，具体用于：
根据所述第一特征图像和所述第二特征图像间的欧式距离，确定所述第一特征图像和所述第二特征图像间的相似度。
一种可能的实现方式，所述处理单元，具体用于：
将所述第一图像，通过m个下采样卷积块提取所述第一图像的第一特征图像；每个下采样卷积块提取的第一特征图像的尺寸均不同，m大于0；将第m个下采样卷积块输出的第一特征图像依次通过m个第一上采样卷积块提取所述第一图像的第二特征图像，每个第一上采样卷积块提取的第二特征图像的尺寸均不同；将m个下采样卷积块中的每个下采样卷积块输出的第一特征图像依次输入至多个第二上采样卷积块中，确定第三特征图像；将所述第三特征图像与尺寸相同且特征相似的下采样卷积块输出的第一特征图像进行合并，确定第四特征图像；m为正整数；将尺寸相同且特征相似的第一特征图像、第二特征图像和第四特征图像合并后，确定所述分割模型输出的不同尺寸的特征图像；根据所述分割模型输出的不同尺寸的特征图像，确定所述第一图像中的感兴趣区域。
一方面，本申请实施例提供一种医疗影像的处理设备，包括：
至少一个存储器，用于存储程序指令；
至少一个处理器，用于调用存储器中存储的程序指令，按照获得的程序指令执行上述任一种医疗影像的处理方法的步骤。
一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种医疗影像的处理方法的步骤。
本申请实施例提供的一种医疗影像的处理方法、装置、设备和介质中，获取第一图像；所述第一图像为序列心动图中的任一张图像帧；通过分割模型获得所述第一图像中的感兴趣区域及所述感兴趣区域中的心肌斑点的第一位置；通过预先确定的感兴趣区域，提前划定了分析区域，避免了由于心脏中依赖心室的位置而确定的心肌斑点的位置的准确性低的问题。通过确定第一位置，进而确定第二图像中对应的心肌斑点的第二位置；所述第二图像为所述序列心动图中与所述第一图像相邻的第n张图像帧；提取所述第一图像中所述第一位置的第一特征图像，及所述第二图像中所述第二位置的第二特征图像；通过所述第一特征图像和所述第二特征图像，确定所述心肌斑点的运动轨迹。避免了序列心动图中各组织的移动，导致定位不准确，无法获得根据所述心肌斑点的准确位置，划定心肌斑点的运动轨迹的问题，通过本申请实施例的方法，可以有效降低病变识别的误报率，提高病变识别的精确判定。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施方式中提供的一种医疗影像的处理方法的流程示意图；
图2为本申请实施方式中提供的一种医疗影像的处理方法的实施流程图；
图3为本申请实施方式中一种医疗影像处理的方法流程示意图；
图4为本申请实施方式中一种医疗影像的处理装置的结构示意图；
图5为本申请实施方式中一种医疗影像的处理设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先，对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
首先，对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
医疗影像的处理设备：可以安装各类应用程序，并且能够将已安装的应用程序中提供的实体进行显示的设备，该电子设备可以是移动的，也可以是固定的。例如，服务器、手机、平板电脑、车载设备、个人数字助理(personaldigitalassistant，pda)或其它能够实现上述功能的电子设备等。
医疗影像：是人对视觉感知的物质再现，可以由光学设备获取，如照相机、镜子、望远镜及显微镜等；也可以人为创作，如，手工绘画图像等。病理可以记录、保存在纸质媒介、胶片等对光信号敏感的介质上。随着信号处理和数字采集技术的发展，越来越多的医疗影像以数字形式存储，如，序列心动图。
卷积神经网络：在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。
深度神经网络：是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。深度神经网络通常都是前馈神经网络，但也有语言建模等方面的研究将其拓展到递归神经网络。
分割模型：采用标注了心脏边缘的医疗影像样本，对基于卷积神经网络建立的模型进行训练后获得的。
识别模型：采用标注了心肌斑点区域块的医疗影像样本，对基于深度神经网络或卷积神经网络建立的模型进行训练获得的。
感兴趣区域：从原始医疗影像中提取的病变的轮廓(如，肿块的形状)，通常为封闭的多边形。
心肌斑点区域：从原始医疗影像中确定出的包含心肌斑点部分以及部分背景的区域块。心肌斑点区域块通常为矩形。
鲁棒性：是反应控制系统抗干扰能力的参数，是指控制系统在一定(结构，大小)的参数摄动下，维持其它某些性能的特性。用以表征控制系统对特性或参数摄动的不敏感性。
迁移学习：是运用已存有的知识对不同但相关领域问题进行求解的新的一种机器学习方法。它放宽了传统机器学习中的两个基本假设，目的是迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题。
二值化操作：按图像的灰度特性，将图像分成背景和前景两部分。
形态学操作：包括形态学开操作和形态学关操作。形态学开操作和形态学关操作就是把腐蚀和膨胀结合起来，先腐蚀后膨胀就是开，膨胀后腐蚀就是关。形态学开操作一般使对象的轮廓变得光滑，断开狭窄的间断和消除细的突出物。形态学关操作可以去掉目标内的孔。
其中，针对二值化的图像来说，膨胀是指将把二值化的图像中的各1像素连接成分的边界扩大一层(填充边缘或0像素内部的孔)。腐蚀是指把二值化的图像中的各1像素连接成分的边界点去掉从而缩小一层(可提取骨干信息，去掉毛刺，去掉孤立的0像素)。
直方图均衡处理：是图像处理领域中利用图像直方图将对比度进行调整的方法。又称直方图平坦化，实质上是对图像进行非线性拉伸，重新分配图像象元值，使一定灰度范围内象元值的数量大致相等。直方图是表示数字图像中每一灰度出现频率的统计关系。
双边滤波处理：是采用加权平均的方法，用周边像素亮度值的加权平均代表某个像素的强度，是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。
非极大值抑制算法：本质是搜索局部极大值，抑制非极大值元素，物体检测中主要目的是消除多余(交叉重复)的窗口，找到最佳物体检测位置。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
超声心动图：应用超声测距原理脉冲超声波透过胸壁、软组织测量其下各心壁、心室及瓣膜等结构的周期性活动,在显示器上显示为各结构相应的活动和时间之间的关系曲线,用记录仪记录这些曲线,即为序列心动图。主要可以分为：m型序列心动图、二维序列心动图、多普勒序列心动图等。其中，二维序列心动图采用三个直角相交的平面束观察心脏。心脏体积较大，结构复杂，探头随意置于心前区，即能获得一种图像。m型序列心动图和二维序列心动图可实时观察心脏和大血管结构，对心包积液、心肌病、先天性心脏病、各种心瓣膜病、急性心肌梗死的并发症(如室间隔穿孔、乳头肌断裂、室壁瘤、假性室壁瘤)、心腔内附壁血栓形成等有重要诊断价值。对心脏肿物、冠心病、心包疾患、高血压性心脏病、肺心病、人工瓣膜随访、大血管疾患也有辅助诊断价值。血液内有很多红细胞，它能反射和散射超声，可以认为是微小的声源。
对于多普勒超声心动图，探头置于肋间隙不动而发射超声波，红细胞在心脏或大血管流动时，红细胞散射的声频发生改变。红细胞朝向探头运动时，反射的声频增加，反之则降低。这种红细胞与探头作相对运动时所产生声频的差值称为多普勒频移。它可以显示血流的速度、方向和血流的性质。多普勒超声心动图又分为脉冲多普勒超声心动图、连续波多普勒超声心动图、彩色多普勒超声心动图。应用最多的是脉冲多普勒超声心动图，它可以在二维图像监视定位情况下，描记出心内任何一点血流的实时多普勒频谱图。
肥厚型心肌病(hypertrophiccardiomyopathy,hcm)是一类以左心室肥厚尤其非对称性室间隔肥厚为特征的心肌病，是常见的致病基因遗传性心血管疾病，目前尚无根本性治疗方法，临床预后差，是青少年和运动员猝死的首要病因。近年来hcm已成为儿童心血管疾病谱中常见疾病之一。
目前国内儿童hcm诊治指南较为陈旧，临床诊治基本参照成人hcm指南。主要的方法可以有：1、全基因外显子测序(wholeexonsequencing,wes)的确能快速准确地了解基因序列信息并确诊hcm的致病基因，但目前无法作为常规检测项目在基层单位开展，导致hcm的诊治延误及预后判断困难，同时也无法对不同基因引起的hcm预后做一精确判断。2、很多成人检查手段如运动负荷检查、心脏mra和心内导管检查等由于其高风险、有创性及需要全身麻醉等因素在儿科几乎无法开展。3、超声心动图，心脏在收缩和舒张时经历了复杂的三维空间心肌变形，包括线性变形、扭转变形及变形的同步性。心肌线性变形的量化指标为应变(strain)，是心肌段长度相对于舒张末期参考长度的百分比变化，左室线性变形的strain分为纵向、环向和径向。而右室心肌纤维纵向排列，纵向strain通常是用来描述右室变形。心肌变形的速度用应变率(strainrate,sr)评估，收缩期峰值sr可很好反映心肌力量生成的速率和心脏收缩功能；而舒张期sr则用来评价心室舒张功能。基于上述原因，儿童hcm心功能检测主要以超声心动图为主。
多普勒超声作为评价心室舒张功能的经典方法，其准确性依赖于大致正常形态的左右心室；常用的超声指标，如e/a比值、e峰减速时间、tei指数等，对于hcm这一左室内腔形态明显异常的疾病而言，均无法灵敏准确评估hcm的舒张功能，甚至在hcm终末期都无法明确评价hcm的舒张功能，更遑论检测hcm的病程及判断预后；因此，常规多普勒超声指标误差很大。因此，需要针对儿童hcm心功能及判断预后寻找新的超声指标。
本申请实施例以超声心动图为例进行说明，其中，斑点追踪超声心动图技术(speckletrackingimageechocardiography,sti)是一种新的超声定量分析技术，其通过逐帧追踪灰阶图像中小于入射超声波长的细小结构产生的背向散射斑点信息，实时跟踪不同帧频间同一位置的心肌运动轨迹，准确评估心肌运动速度、应变和扭转变形，从而可评价心脏整体功能，包含左、右心室乃至心房的收缩舒张功能。与常规超声心动图及组织多普勒技术相比，其无需将心室模拟成几何体，故不依赖正常形态心室内腔，目前已应用于成人缺血性心脏病和先天性心脏病的心功能评价。
虽然sti较传统超声技术有明确的理论优势，也是评价hcm的首选检测方法，但是sti其在hcm心功能评价方面研究结果的不均一性也揭示其固有的技术缺陷，主要为：1、sti数据的准确性高度依赖超声图像的质量，包括合适的增益、清晰的心脏二维切面、利用心电图门控采集连续多个完整的心动周期；尤其在测定strain和sr方面，目前在心肌位移的轨迹勾勒方面偏倚较大，通常需要重复勾勒才能获得比较精确的结果，这一点极大地影响了strain和sr的准确性，导致临床数据可信度下降；2、sti数据的测量有相当的主观偏倚，反映在心室不同运动周期斑点取样的准确性，尤其在超声增益条件变化的情况下偏倚更明显，导致结果可重复性差；3、在sti数据的后处理上，现有的方法需要应用专门软件(echopac)进行分析，在超声图像中心内膜区域显示最清楚时(通常是收缩末期)由医生沿左室心内膜边界手动勾画轮廓，软件自动生成含内膜下心肌层、中层和外膜下心肌层的感兴趣区域(regionofinterest,roi)，并将左室壁均分为6个节段(前壁、侧壁、后壁、下壁、后间隔、前间隔)进行自动追踪。由于心肌区域是医生手工勾画，因此部分节段可能会追踪不成功，此时需要医生重新手动微调感兴趣区域厚度，使其包含全层心肌。图像追踪成功后软件会自动进行后续分析，检测应变率。由于存在医生的主观偏差，因此每个sti影像都需要随机选取20个图像并由两名超声科医生进行盲评，通过组内相关系数评估观察者内和观察者间的变异，只有确认两位医生检测结果一致的情况下才予以采纳。因此，即便目前vivid系列超声心动图仪器加上echopac系统是全球公认最全面的图像后处理系统，但其自带的自动心功能测量(autoef)与自动功能成像(automatedfunctionalimaging,afi)仍然无法完全解决以上问题。
针对心肌区域和心肌斑点需要多次重复勾勒才能获得精确结果的问题，如图1所示，本申请实施例提供一种医疗影像的处理方法，包括：
步骤101：获取第一图像；所述第一图像为序列心动图中的任一张图像帧；
需要说明的是，序列心动图可为超声心动图，电子计算机断层扫描(computedtomography，ct)，磁共振成像(magneticresonanceimaging，mri)等序列图像，本实施例中以超声心动图为例，但并不限于超声心动图。由于序列心动图属于动态影像，由许多帧的静态图片按照时间顺序组合播放而成，通过二维超声平面心肌斑点的运动轨迹进行追踪来检测心脏功能。
在具体实施过程中，可以通过对sti超声中心动周期影像每一帧将其拆解为系列静态图片。一种可能的实现方式，第一图像为首帧静态图片。
一种可能的实现方式，所述获取第一图像之前，还包括：
对所述超声心动视频图像中的图像帧进行预处理，其中，所述预处理包括以下方式中的任意一种或任意组合：归一化、二值化操作、形态学开操作、直方图均衡处理以及双边滤波处理。
步骤102：通过分割模型获得所述第一图像中的感兴趣区域及所述感兴趣区域中的心肌斑点的第一位置；
本申请实施例中，可以采用改进的分割模型进行心肌区域的分割以及心肌斑点的识别。
具体改进可以包括：1)通过特征叠加的方式更有效的整合了不同层次的特征；2)采用重叠平铺策略和随机弹性变形的方式进行数据增强，通过增加上下文特征来更好的预测边界区域；3)采用了加权的交叉熵损失函数，从而使得网络对区域边缘的分割更加精细。结合sti心脏结构的先验知识，本申请实施例中的分割模型理论上能更加准确的识别并分割心肌斑点。
一种可能的实现方式，所述通过分割模型获得所述第一图像中的感兴趣区域，包括：
将所述第一图像，通过m个下采样卷积块提取所述第一图像的第一特征图像；每个下采样卷积块提取的第一特征图像的尺寸均不同，m大于0；
将第m个下采样卷积块输出的第一特征图像依次通过m个第一上采样卷积块提取所述第一图像的第二特征图像，每个第一上采样卷积块提取的第二特征图像的尺寸均不同；
将m个下采样卷积块中的每个下采样卷积块输出的第一特征图像依次输入至多个第二上采样卷积块中，确定第三特征图像；
将所述第三特征图像与尺寸相同的下采样卷积块输出的第一特征图像进行合并，确定第四特征图像；m为正整数；
将尺寸相同的第一特征图像、第二特征图像和第四特征图像合并后，确定所述分割模型输出的不同尺寸的特征图像；
根据所述分割模型输出的不同尺寸的特征图像，确定所述第一图像中的感兴趣区域。
通过抓取不同层次的特征并将它们通过特征叠加的方式整合，实现了特征的再利用，从而提高了网络感受野的敏感范围，可以更好的完成医学图像分割任务。
举例来说，如图2所示，第一图像依次通过5个下采样卷积块x(0,0)，x(1,0)，x(2,0)，x(3,0)，x(4,0)获得第一图像的第一特征图像0.0，第一特征图像1.0，第一特征图像2.0，第一特征图像3.0，第一特征图像4.0；第一特征图像1-4的尺寸均不相同；
将第一特征图像1.0输入至第一上采样块x(0,1)经过上采样后与第一特征图像0.0合并，获得第二特征图像1.1；
将第一特征图像2.0输入至第一上采样块x(1,1)经过上采样后与第一特征图像1.0合并，获得第二特征图像2.1；
将第一特征图像3.0输入至第一上采样块x(2,1)经过上采样后与第一特征图像2.0和/或第一特征图像1.1合并，获得第二特征图像3.1；
将第二特征图像2.1输入至第一上采样块x(0,2)经过上采样后与第二特征图像1.1合并，获得第二特征图像1.2；
将第二特征图像2.1输入至第一上采样块x(1,2)经过上采样后与第二特征图像2.1和/或第一特征图像1.0合并，获得第二特征图像2.2；
将第二特征图像2.2输入至第一上采样块x(0,3)经过上采样后与第二特征图像3.1和/或第一特征图像1.1合并，获得第二特征图像2.3；
将第一特征图像4.0输入至第二上采样块x(3,1)经过上采样后，获得第三特征图像4.1；
将第三特征图像4.1输入至第二上采样块x(2,2)经过上采样后，获得第三特征图像4.2；
将第三特征图像4.2输入至第二上采样块x(1,3)经过上采样后，获得第三特征图像4.3；
将第三特征图像4.3输入至第二上采样块x(0,4)经过上采样后，获得第三特征图像4.4；
将尺寸相同的第一特征图像、第二特征图像和第四特征图像合并，即，将第三特征图像4.1和第一特征图像4.0合并，获得第四特征图像5.1；
将第三特征图像4.2、第二特征图像3.1、第一特征图像2.0合并，获得第四特征图像5.2；
将第三特征图像4.3、第二特征图像2.2、第二特征图像2.1、第一特征图像2.0合并，获得第四特征图像5.3；
将第三特征图像4.4、第二特征图像2.3、第二特征图像1.2、第一特征图像1.0合并，获得第四特征图像5.4；
将第一特征图像4.0作为第四特征图像5.0。
一种可能的实现方式，本申请实施例中的分割模型网络通过增加深度监督步骤来抓取不同层次的特征并进行叠加整合，从而提升图像分割精度。
一种可能的实现方式，分割模型还可以通过剪枝操作实现网络优化，在可接受的精度范围内大幅度的缩减参数量。
一种可能的实现方式，考虑到若直接将编码器(encoder)的浅层特征与解码器(decoder)的深层特征结合可能会产生语义隔离的问题，本申请实施例的分割模型，还可以仅结合浅层特征与深层特征相似的区域，从而有效抑制了语义隔离的产生。相似公式定义为：
其中u表示卷积操作，h为激活函数，第二上采样层可以为交叉传递的卷积层。以第二特征图像1.1为例说明，它是由将第一特征图像2.0输入至第一上采样块x(1,1)经过上采样后与第一特征图像1.0合并，再经过一次卷积和激活函数处理后得到第二特征图像2.1。
一种可能的实现方式，所述通过分割模型获得所述第一图像中的感兴趣区域，包括：
将所述第一图像，通过m个下采样卷积块提取所述第一图像的第一特征图像；每个下采样卷积块提取的第一特征图像的尺寸均不同，m大于0；
将第m个下采样卷积块输出的第一特征图像依次通过m个第一上采样卷积块提取所述第一图像的第二特征图像，每个第一上采样卷积块提取的第二特征图像的尺寸均不同；
将m个下采样卷积块中的每个下采样卷积块输出的第一特征图像依次输入至多个第二上采样卷积块中，确定第三特征图像；
将所述第三特征图像与尺寸相同且特征相似的下采样卷积块输出的第一特征图像进行合并，确定第四特征图像；m为正整数；
将尺寸相同且特征相似的第一特征图像、第二特征图像和第四特征图像合并后，确定所述分割模型输出的不同尺寸的特征图像；
根据所述分割模型输出的不同尺寸的特征图像，确定所述第一图像中的感兴趣区域。
结合上述例子，仅在第二上采样卷积块的合并过程中，通过特征相似的进行交叉合并，以提高识别精度。
此外，分割模型还可以引入深度监督(deepsupervision)机制，结合对数损失函数(binarycross-entropy)和dice系数(dicecoefficient)作为总体损失函数，并应用到每一个不同层次的输出，网络的整体损失函数是由不同层得到的分割图中损失的平均，其公式如下：
其中yb和
如图2所示，第一图像经过一系列下采样、上采样等卷积操作，最终实现心肌区域的智能分割。
步骤103：根据所述心肌斑点的第一位置，确定第二图像中对应的心肌斑点的第二位置；所述第二图像为所述序列心动图中与所述第一图像相邻的第n张图像帧；
步骤104：提取所述第一图像中所述第一位置的第一特征图像，及所述第二图像中所述第二位置的第二特征图像；
步骤105：通过所述第一特征图像和所述第二特征图像，确定所述心肌斑点的运动轨迹。
对于第二个技术问题(在不同心动周期中心肌斑点的取样主观性大)，本提案将引入神经网络模型，并对现有的算法框架进行改良，使其更好的应用于超声图像中心肌斑块的追踪。神经网络模型算法在目标追踪任务上有三大优点：1、采用卷积神经网络能够自动获取各层特征相比传统特征提取更加合理；2、孪生网络结构能够保证从两幅图片中获得相同的特征，比传统特征提取更具有可比性；3、通过损失函数算法能够从两幅图片中学习相似距离，并对网络的每一层进行调节，这样获得的特征比手工提取更有效。
通过采用神经网络模型对心动周期中后续所有帧中连续静态图片内的心肌斑块进行追踪，从而可以检测心肌斑块在sti中的运动轨迹。与传统模型相比，神经网络模型算法模型具有更好的网络表达能力并适用于多目标追踪，在降低心肌斑块勾勒主观偏倚的同时减少数据采集和处理时间。
通过给定一组映射函数fw(x)将输入信息映射到目标空间，通过神经网络的前向处理，可以将原本在原始空间中分辨困难的数据进行维度规约，从而变得容易分辨，进而在目标空间使用简单的距离(例如欧式距离等)进行相似性度量计算，损失函数计算公式为：
dw(x1,x2)＝||fw(x1)-fw(x2)||
用训练集中成对的样本进行模型训练，当x1和x2来自相同类别时，最小化损失函数dw(x1,x2)，当x1和x2来自不同类别时，最大化损失函数dw(x1,x2)。对于本提案而言，x1和x2分别来自心超影像中相邻两帧的心肌斑点区域，通过设计两个一模一样的网络并共享权值w，对输出进行距离度量并设计损失函数dw(x1,x2)，使用获得的损失函数通过梯度反传去更新两个网络共享的权值w。
对于候选的一对图片(x1和x2)，设计同样的卷积神经网络算法fw(x)进行特征抽提，并设计损失函数dw(x1,x2)进行x1和x2的相似性比较。通过反复训练迭代优化卷积神经网络的共享权值w，不断提升神经网络模型判定图像中心肌斑点的相似度的能力。
为了能够对神经网络模型进行训练，需要定义可微分的损失函数。令为x1和x2神经网络模型的输入，y为指示x1和x2是否匹配的标签，有y∈{0,1}，如果x1和x2相似则y＝0，不相似则y＝1，采用的损失函数为如下形式：
其中dw(x1,x2)＝||fw(x1)-fw(x2)||，fw表示神经网络模型将输入x1和x2映射到它们的特征向量，m值用于在fw上定义一个边界，使得只有距离在该范围内的负样本才对损失函数有影响。对于所有的训练样本，最后得到的总体损失函数为：
具体来说，对于本提案中超声影像中心肌斑点的追踪，引入函数f(z,x)来比较原始斑点图像z与候选斑点图像x之间的相似性，利用卷积神经网络来解决相似性函数的学习问题。
一种可能的实现方式，所述第二位置包括所述第二图像中的所述第一位置，及所述第一位置附近的候选位置；所述第二特征图像为多个；
所述通过所述第一特征图像和所述第二特征图像，确定所述心肌斑点的运动轨迹，包括：
将所述第一特征图像和任一个第二特征图像，进行相似度比较；
将相似度最高的第二特征图像的位置作为所述第二图像中所述心肌斑点的位置；
根据所述第一位置及所述相似度最高的第二特征图像的位置，确定所述心肌斑点的运动轨迹。
在具体实施过程中，为了在新的心超图像中找到目标斑点，可以详尽地测试所有可能位置的候选斑点图像xi，选择和原始图像z外观具有最大相似值的候选，进而预测到目标的位置。
一种可能的实现方式，所述将所述第一特征图像和任一个第二特征图像，进行相似度比较，包括：
根据所述第一特征图像和所述第二特征图像间的欧式距离，确定所述第一特征图像和所述第二特征图像间的相似度。
图3所示，首先利用神经网络模型算法对第一帧图片(对应sti动态超声影像起始帧)中的心肌区域进行分割，随后对心肌斑块进行定位识别；在后续的每一帧静态图片中(对应sti动态超声的整个影像)使用神经网络模型对已经分割好的心肌斑块进行追踪，通过检测心肌斑块的运动轨迹来计算sti心功能指标。
相比于传统方法，本申请实施例有如下有益效果：
(1)基于深度学习的人工智能sti超声心功能指标检测。相比于传统检测方法，无需手工标注，避免了主观偏倚。同时根据临床需要将算法拆解为神经网络模型和神经网络模型两个模块，既保证了不依赖超声图像质量的心肌斑点识别敏感性，又保证了在动态超声影像中对心肌斑点快速、准确的追踪。
(2)首次将神经网络模型网络应用于心超影像中心肌区域的识别与分割，进一步实现心肌斑点的准确分割；同时首次将神经网络模型用于sti影像中心肌斑点的识别与追踪，实现超声动态影像中心肌斑点运动轨迹智能检测。
(3)本提案结合了神经网络模型和神经网络模型的技术优点用于sti心动超声的人工智能辅助诊断系统开发，最终实现的是端到端(endtoend)输出，即输入原始影像数据，直接输出诊断结果，中间过程无需任何人工完成的病变部位勾画、图像增强处理等步骤，实现了客观、准确、快速的sti心功能检测。
基于同一发明构思，本申请实施例中还提供了一种医疗影像的处理装置，由于上述装置及设备解决问题的原理与一种医疗影像的处理方法相似，因此，上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图4示，其为本申请实施例提供的一种医疗影像的处理装置的结构示意图。一种医疗影像的处理装置包括：
收发单元501，用于获取第一图像；所述第一图像为序列心动图中的任一张图像帧；
处理单元502，用于通过分割模型获得所述第一图像中的感兴趣区域及所述感兴趣区域中的心肌斑点的第一位置；根据所述心肌斑点的第一位置，确定第二图像中对应的心肌斑点的第二位置；所述第二图像为所述序列心动图中与所述第一图像相邻的第n张图像帧；提取所述第一图像中所述第一位置的第一特征图像，及所述第二图像中所述第二位置的第二特征图像；通过所述第一特征图像和所述第二特征图像，确定所述心肌斑点的运动轨迹。
一种可能的实现方式，所述第二位置包括所述第二图像中的所述第一位置，及所述第一位置附近的候选位置；所述第二特征图像为多个；
处理单元502，具体用于：
将所述第一特征图像和任一个第二特征图像，进行相似度比较；将相似度最高的第二特征图像的位置作为所述第二图像中所述心肌斑点的位置；根据所述第一位置及所述相似度最高的第二特征图像的位置，确定所述心肌斑点的运动轨迹。
一种可能的实现方式，处理单元502，具体用于：
根据所述第一特征图像和所述第二特征图像间的欧式距离，确定所述第一特征图像和所述第二特征图像间的相似度。
一种可能的实现方式，处理单元502，具体用于：
将所述第一图像，通过m个下采样卷积块提取所述第一图像的第一特征图像；每个下采样卷积块提取的第一特征图像的尺寸均不同，m大于0；将第m个下采样卷积块输出的第一特征图像依次通过m个第一上采样卷积块提取所述第一图像的第二特征图像，每个第一上采样卷积块提取的第二特征图像的尺寸均不同；将m个下采样卷积块中的每个下采样卷积块输出的第一特征图像依次输入至多个第二上采样卷积块中，确定第三特征图像；将所述第三特征图像与尺寸相同且特征相似的下采样卷积块输出的第一特征图像进行合并，确定第四特征图像；m为正整数；将尺寸相同且特征相似的第一特征图像、第二特征图像和第四特征图像合并后，确定所述分割模型输出的不同尺寸的特征图像；根据所述分割模型输出的不同尺寸的特征图像，确定所述第一图像中的感兴趣区域。
一种可能的实现方式，处理单元502，还用于：
对所述超声心动视频图像中的图像帧进行预处理，其中，所述预处理包括以下方式中的任意一种或任意组合：归一化、二值化操作、形态学开操作、直方图均衡处理以及双边滤波处理。
参阅图5所示，为一种医疗影像的处理设备的结构示意图。基于同一技术构思，本申请实施例还提供了一种医疗影像的处理设备，可以包括存储器601和处理器602。
所述存储器601，用于存储处理器602执行的计算机程序。存储器601可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。处理器602，可以是一个中央处理单元(centralprocessingunit，cpu)，或者为数字处理单元等。本申请实施例中不限定上述存储器601和处理器602之间的具体连接介质。本申请实施例在图5中以存储器601和处理器602之间通过总线603连接，总线603在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线603可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器601可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，ram)；存储器601也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flashmemory)，硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)、或者存储器601是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器601可以是上述存储器的组合。
处理器602，用于调用所述存储器601中存储的计算机程序时执行如图2中所示的实施例提供的医疗影像的处理方法。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意方法实施例中的医疗影像的处理方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台医疗影像的处理设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！