一种基于超声微泡造影的试剂定点释放方法与系统

1.本发明涉及图像处理技术领域，具体涉及一种基于超声微泡造影的试剂定点向释放方法与系统。


背景技术：

2.在超声分子影像学技术中，造影微泡能够显著增强超声的背向散射能力，通常应用在超声成像中来增强组织结构的灰阶显像，进而增加超声成像的图像精度、清晰度、以及分辨率，提高超声成像的图形质量。
3.随着超声技术的发展，超声的应用范围在更多方面得到了实践。其中，利用超声进行异常组织结构的判定与修复(或消除)是超声的一个新应用方向。具体地，通过在微泡表面或者内部附载特定的试剂(能与异常组织发生物理反应或化学反应的微粒物质)，当微泡到达指定位置时，通过超声探头发射超声波进行定点刺激，使微泡空化爆裂释放特定试剂进行异常组织修复。超声频率越高，产生空化效应的阈值就越大，产生空化效应就越不容易，微泡就越不容易爆裂。因为市面中超声发生器一般发射的是平面高频超声波，不具有聚焦特性，无法实现定点发射。因此，微泡爆裂需要低频率超声来进行靶向刺激，进而促进微泡爆裂释放相应试剂。
4.目前，市面中对于超声的应用大多还局限于组织内部结构成像的获取，对于载有修复性试剂微泡的定点控释还处于一种低效的状态，具体表现在，对于试剂控释的位置、控释量，缺乏有效控制，多是处于一种“随机”的爆裂状态，极有可能造成对于正常组织结构产生破坏。因此，如何准确的获取异常组织结构所处的位置，并进行有效的微泡定点释放就是本发明所要解决的技术问题。


技术实现要素：

5.为了弥补现有超声应用中对于微泡控释的不足，本发明提出了一种基于超声微泡造影的试剂定点释放方法，包括步骤：
6.s1：根据异常组织的类型进行含有特定试剂微泡的组织注入；
7.s2：通过高频超声波获取组织整体的超分子成像；
8.s3：根据超分子成像，利用异常组织所对应图像训练完成的卷积神经网络进行异常组织的识别判定与区域提取；
9.s4：根据异常组织所处的区域进行低频超声波的聚焦；
10.s5：通过聚焦后的低频超声波爆裂异常组织所处区域内的微泡，并释放微泡所附载的特定试剂。
11.进一步地，所述卷积神经网络的训练包括图像预处理、主干网络特征提取和特征融合，其中，图像预处理阶段采用unet算法对目标组织的预设图像集进行感兴趣区域的提取，并作为卷积神经网络的训练数据。
12.进一步地，所述卷积神经网络以mask r-cnn网络的网络架构作为卷积神经网络的
基础框架，并以残差网络resnet50和sknet网络相融合后的sk-resnet50网络作为卷积神经网络的主干网络。
13.进一步地，所述卷积神经网络的训练，还包括对mask r-cnn网络内置损失函数的优化，可表示为如下公式：
14.l＝l
cls
+α1l
box
+α2l
mask
15.式中，l为总损失，l
cls
为分类损失，l
box
为边框回归损失，l
mask
为分割掩膜损失，α1和α2为权重参数。
16.进一步地，所述权重参数α1和α2为根据卷积神经网络，以imagenet数据库中的图像数据为预设图像集进行迁移学习获取。
17.进一步地，所述s3步骤中，对于异常组织的识别判定包括超出预设超声波造影强度的异常组织判定，以及根据造影强度大小进行的组织异常等级判定。
18.本发明还提出了一种基于超声微泡造影的试剂定点释放系统，包括：
19.微泡注入器，用于根据异常组织的类型进行含有特定试剂微泡的组织注入；
20.超声波发生器，用于发射高频超声波或者低频超声波；
21.超声波显示器，用于根据组织内微泡反射的高频超声波进行超分子成像显示；
22.主控系统，用于根据超分子成像，利用异常组织所对应图像训练完成的卷积神经网络进行异常组织的识别判定与区域提取，并控制超声波发生器对异常组织所处的区域进行低频超声波的聚焦，通过聚焦后的低频超声波爆裂异常组织所处区域内的微泡，并释放微泡所附载的特定试剂。
23.进一步地，所述卷积神经网络以mask r-cnn网络的网络架构作为卷积神经网络的基础框架，并以残差网络resnet50和sknet网络相融合后的sk-resnet50网络作为卷积神经网络的主干网络。
24.进一步地，所述卷积神经网络的训练，还包括对mask r-cnn网络内置损失函数的优化，可表示为如下公式：
25.l＝l
cls
+α1l
box
+α2l
mask
26.式中，l为总损失，l
cls
为分类损失，l
box
为边框回归损失，l
mask
为分割掩膜损失，α1和α2为权重参数。
27.进一步地，所述权重参数α1和α2为根据卷积神经网络，以imagenet数据库中的图像数据为预设图像集进行迁移学习获取。
28.与现有技术相比，本发明至少含有以下有益效果：
29.(1)本发明所述的一种基于超声微泡造影的试剂定点释放方法与系统，在通过高频超声波获得超分子图像后，通过对异常组织的边缘界定，再改变超声波为低频进行定点的微泡爆裂控制，从而将异常组织结构筛选与修复相结合，并能够对异常组织的异变程度进行判定，帮助工作人员快速了解；
30.(2)控制检测和分割任务的优先等级，提高各损失项之间的差别，从而实现对损失函数的优化；
31.(3)根据不同特性的异常组织结构，能够实现针对性的识别与判定。
附图说明
32.图1为一种基于超声微泡造影的试剂定点释放方法的方法步骤图；
33.图2为一种基于超声微泡造影的试剂定点释放系统的系统结构图。
具体实施方式
34.以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
35.实施例一
36.为了更好的运用超声成像技术，基于成像数据实现集异常组织结构的发现、判定与修复一体化，如图1所示，本发明提出了一种基于超声微泡造影的试剂定点释放方法，其主要包括步骤：
37.s1：根据异常组织的类型进行含有特定试剂微泡的组织注入；
38.s2：通过高频超声波获取组织整体的超分子成像；
39.s3：根据超分子成像，利用异常组织所对应图像训练完成的卷积神经网络进行异常组织的识别判定与区域提取；
40.s4：根据异常组织所处的区域进行低频超声波的聚焦；
41.s5：通过聚焦后的低频超声波爆裂异常组织所处区域内的微泡，并释放微泡所附载的特定试剂。
42.在实际生产生活中，当生物组织中某一组织结构疑似发生异态变化时，可根据日常经验以及相关检测手段进行初步的目标判定，根据初判定结果即可将异常组织所对应的试剂通过微泡注入组织中。由于异常组织结构的声学反馈特征相较于正常组织往往会发生一定变化，而通过微泡的注入，使得这一声学反馈发生放大变化。而这在超分子成像上的体现就是异常组织与正常组织之间的色度差变大，更易于工作人员识别。
43.为了实现基于超分子成像的异常组织自判定与修复，本发明选用卷积神经网络模型对超分子成像进行自主判定与识别。其中，针对不同的异常组织，需要对卷积神经网络模型进行不同的超声图像进行模型训练。
44.同时，本发明又从不同方面对模型进行了改进，以获得更好的训练卷积神经网络模型。在图像预处理阶段，本发明首选选用unet来进行初始图像的预分割，得到的分割结果则作为模型主干网络的输入。而为了获得更为完整的异常组织图像，避免识别框漏框导致的异常组织信息判定失准，在预分割的结果所在区域的矩形外接框的基础上，进行相应倍数的外裁剪，最终制成包含感兴趣区域的超声子图数据集作为主干网络的输入数据。
45.对于主干网络，由于sknet网络使用不同的卷积核对原图进行卷积操作，其相比于senet网络，sknet网络使用了多分支卷积网络、组卷积、空洞卷积以及注意力机制，可以自适应地动态调整感受野的尺寸。将残差网络与sknet网络融合为一体，形成sk-resnet50网络。也即是，主干网络是以mask r-cnn网络作为卷积神经网络的基础框架，以sk-resnet50网络作为主干网络，针对特征金字塔网络算法fpn的三个结构性缺陷，实现基于mask r-cnn模型框架的多类异常组织的自动定位、异常等级判定与修复。
46.由于mask r-cnn网络对输入图像的不同操作，在操作过程中，mask r-cnn网络会出现分类损失、回归损失和分割损失，在初始状态下的mask r-cnn网络中，其仅仅是将三者
简单的相加就作为网络的总损失进行补偿，并没有很好地考虑到不同操作优先级所造成损失的占比问题。
47.如式(1)所述，为初始状态下mask r-cnn网络所对应的损失函数表达公式，其中l
cls
为分类损失，分类损失函数使用交叉熵损失函数，代表预测类别与实际类别的接近程度；l
box
为边框回归损失，回归损失函数使用smoothl1函数，代表模型的定位效果；l
mask
为分割掩膜损失，对于每一个像素通过sigmoid函数求取交叉损失熵，掩膜分割损失函数就是像素二进制交叉损失熵的平均。在本发明中，设计使用两个参数a1和a2，来进行多任务网络的规范化，相当于两个权重，在多任务网络结构中，控制定位与分割任务的优先等级，如式(2)所示。
48.l＝l
cls
+l
box
+l
mask
ꢀꢀꢀ
(1)
49.l＝l
cls
+α1l
box
+α2l
mask
ꢀꢀꢀ
(2)
50.对于卷积神经网络模型的训练，为了使训练好的模型能够适应不同异常组织的判定，此处使用多个卷积神经网络模型，针对不同异常组织，使用迁移学习在大型数据库imagenet上进行预训练，将获得预训练模型权重通过迁移学习的方式应用到对应模型中，从而能够更好地提取相应异常组织的图像特征，节省识别的时间和算力。
51.在一优选实施例中，通过表1所示的一组具体数据对来不同损失函数权重参数下的检测效果进行实验，在sk-resnet50为主干网络的情况下，maskr-cnn网络的损失函数在不同参数权重下的实验结果map值，从表中可以看出当a1＝0.9，a2＝0.7时，模型可获得map最大值为0.817。
52.表1：不同损失函数权重参数下的检测效果
[0053][0054]
在通过卷积神经网络模型识别并框选出异常组织的区域后，即可根据异常组织的大小以及造影强度的大小进行基于经验的异变等级判定。同时，在确定了异常组织所在区域后，即可改变声呐为低频超声，对异常组织所在区域进行聚焦，使区域内的微泡爆裂释放
其附在的特定试剂，对异常组织进行修复或消除。
[0055]
实施例二
[0056]
为了更好的对本发明的技术内容进行阐述，本实施例通过系统结构的方式来对本发明进行阐述，如图2所示，一种基于超声微泡造影的试剂定点释放系统，包括：
[0057]
微泡注入器，用于根据异常组织的类型进行含有特定试剂微泡的组织注入；
[0058]
超声波发生器，用于发射高频超声波或者低频超声波；
[0059]
超声波显示器，用于根据组织内微泡反射的高频超声波进行超分子成像显示；
[0060]
主控系统，用于根据超分子成像，利用异常组织所对应图像训练完成的卷积神经网络进行异常组织的识别判定与区域提取，并控制超声波发生器对异常组织所处的区域进行低频超声波的聚焦，通过聚焦后的低频超声波爆裂异常组织所处区域内的微泡，并释放微泡所附载的特定试剂。
[0061]
进一步地，卷积神经网络以mask r-cnn网络的网络架构作为卷积神经网络的基础框架，并以残差网络resnet50和sknet网络相融合后的sk-resnet50网络作为卷积神经网络的主干网络。
[0062]
进一步地，卷积神经网络的训练，还包括对mask r-cnn网络内置损失函数的优化，可表示为如下公式：
[0063]
l＝l
cls
+α1l
box
+α2l
mask
[0064]
式中，l为总损失，l
cls
为分类损失，l
box
为边框回归损失，l
mask
为分割掩膜损失，α1和α2为权重参数。
[0065]
进一步地，权重参数α1和α2为根据卷积神经网络，以imagenet数据库中的图像数据为预设图像集进行迁移学习获取。
[0066]
综上所述，本发明所述的一种基于超声微泡造影的试剂定点释放方法与系统，在通过高频超声波获得超分子图像后，通过对异常组织的边缘界定，再改变超声波为低频进行定点的微泡爆裂控制，从而将异常组织结构筛选与修复相结合，并能够对异常组织的异变程度进行判定，帮助工作人员快速了解。
[0067]
通过控制检测和分割任务的优先等级，提高各损失项之间的差别，从而实现对损失函数的优化。根据不同特性的异常组织结构，能够实现针对性的识别与判定。
[0068]
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0069]
另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0070]
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0071]
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。