一种基于超声图像的肝包虫术中引导监测装置

1.本发明涉及医疗技术领域，尤其涉及一种基于超声图像的肝包虫术中引导监测装置。


背景技术：

2.肝包虫病是由棘球绦虫(echinococcus)的幼虫感染起病的人畜共患性寄生虫病，分为囊型及泡型两种，主要流行于四川省、甘肃省、宁夏回族自治区、青海省、新疆维吾尔自治区、西藏自治区等畜牧地区，此类地区的患者往往缺乏卫生常识、医疗资源相对匮乏，患者常常错过最佳治疗时机，临床就诊时往往病情严重，多数合并重要血管、胆管侵犯，手术难度大、手术相关并发症发生率高，致死率、致残率均较高，预后极差。
3.目前，肝包虫病主要治疗方法是根治性切除手术，即通过穿刺手术将肝包虫囊肿吸掉，该种方法虽然对人体创伤小，但是存在处理不干净的问题，很容易引起交叉感染，极易复发，直接打开人体的腹腔进行手术处理，将肝包虫囊肿切除，该种方法虽然能够处理干净，但是对人体创伤太大，所需康复时间太长。超声治疗是近年发展较快的一项技术，其具有创伤小、术后并发症少、经济等优点，更易被患者接受。在手术消除患者包虫病灶时，需要确定病灶范围和边界，如果不能消除其边缘浸润带，很容易导致复发，为了达到更好的术后效果，在消除包虫的同时不对周围健康组织产生影响，需要对手术过程进行监测，而现有技术不能为医生提供精确可靠、信息量丰富的手术引导与监测。


技术实现要素：

4.本发明的目的是提供一种基于超声图像的肝包虫手术监测引导装置及存储介质，可利用深度学习训练患者超声图像，识别出肝包虫病灶区域，并精确标识、显示病灶区域，使用超声波治疗肝包虫，同时利用术中超声图像以引导医生进行肝包虫的切除工作，提高了手术效率和准确率，并对超声治疗过程予以监测，在消除包虫的同时不对周围健康组织产生影响，达到最佳的手术效果。
5.为了实现上述目的，本发明所采用的技术方案如下：
6.一种基于超声图像的肝包虫手术监测引导装置，包括以下模块：
7.机器学习模块、目标图像获取模块、图像引导模块、超声治疗模块和监测模块；所述机器学习模块，将数据库中肝包虫超声图像作为学习数据，通过机器学习的自动学习方法确定病灶区域的轮廓；
8.所述目标图像获取模块，获取当前患者术前二维超声图像，对所述术前二维超声图像进行三维重建，得到三维超声图像，将所述三维超声图像输入超声体积目标分割模型中，在所述三维超声图像中示出包虫病灶区域边缘轮廓，得到目标图像；
9.所述图像引导模块，在当前患者进行手术时，通过超声扫描获得实时三维超声影像，使所述实时三维超声影像与所述目标图像同时呈现在显示界面上，采用伪彩色融合和透明融合两种方案，搭建增强虚拟显示环境对手术进行有效引导；所述超声治疗模块，使用
超声波对所述包虫病灶区域进行治疗，通过瞬间产生的高温，致使所述包虫病灶区域的组织凝固性坏死；
10.所述监测模块，若治疗范围到达所述目标图像的包虫病灶边界阈值时，从所述实时三维超声影像中提取所述包虫病灶边界的特征，并且基于所提取的特征来评估所述包虫病灶区域的温度状态，以判断包虫病灶边界区域的治疗状态，防止过度治疗损伤健康组织。
11.优选的，所述学习数据包括患者的术前图像，用于该患者的手术计划参数，以及该患者在切除包虫病灶区域后的图像。
12.在所述机器学习模块中，训练超声体积目标分割模型，首先获取患者的二维超声图像，遍历所述二维超声图像序列所对应的二维超声平面上的每一个像素点，利用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中，以及利用核回归算法对所述三维体数据进行空洞补全，得到所述三维超声图像。
13.搭建第一神经网络，使用数据集开始训练；采用卷积层中大小为3
×3×
3的小卷积核，在所述第一神经网络中加入跳跃链接，并采取逐元素求和的方法来融合不同分辨率的特征体来平滑梯度流，每个卷积层后跟一个归一化层和一个激活层，在所述第一神经网络中使用池化层进行下采样，使用上采样进行特征体积还原，最后输出不同类别的概率体积。
14.搭建第二神经网络，将所述超声体积中每个体素经由第二神经网络处理得出每个体素的类型，该体素及其周边3
×3×
3区域的包虫病灶的概率和所述健康肝脏组织的概率组成第二网络的输入序列x＝(x1,...,x
t
)，所述第二神经网络的输出y表示该体素的类型为包虫病灶区域和健康组织，通过以下等式对当前时间输出的概率进行建模，选取最后时刻的输出作为网络输出。所述第二神经网络中最重要的便是重置门和更新门以及一个tanh层。其中重置门和更新门都是h
t-1
和x
t
拼接之后经过一个sigmoid函数求得控制状态，而tanh层则是x
t
和经过重置门的h
t-1
相拼接，之后在经过一个tanh函数来表示候选隐藏状态。最后经过更新门的状态控制候选隐藏状态和旧的隐藏状态相加组成新的隐藏状态，其计算公式如下：
15.z
t
＝σ(wz·
[h
t-1
,x
t
])
[0016]rt
＝σ(wr·
[h
t-1
,x
t
]
[0017][0018][0019]
y＝softmax(h
t
)
[0020]
其中，x
t
是t时刻输入，w表示权重矩阵，z
t
是更新门，r
t
是重置门，是中间隐藏变量，h
t
是隐藏变量，y表示输出。
[0021]
所述机器学习模块监督机制的损失函数为：
[0022][0023][0024][0025]
其中，为第二神经网络损失函数，为第一神经网络损失函数，为训练组，为第一神经网络输入后的预测值，为第二神经网络的预测值,是权重矩阵，λ为权重
系数。
[0026]
优选的，边缘提取时采用canny算法和最大间类方差法结合的方法来进行边缘提取，即使用canny算法计算得到高低两部分内的最佳分割阈值，记其中较低阈值为t
l
，较高阈值为th，使用最大间类方差法计算得到的最佳两类分割阈值为t0，在三个阈值中选择其中较优的阈值组合t0、th来进行边缘提取。
[0027]
边缘提取时将高阈值th以上的部分认为是超声体积的强边界，将低阈值t0以下的部分全部排除，将中间部分作为待处理部分：
[0028][0029]
其中，b(x,y,z)为输出，g(x,y,z)为体素点(x,y,z)的梯度信息，其中，b(x,y,z)为输出，g(x,y,z)为体素点(x,y,z)的梯度信息，g
x
(x,y,z)为体素点在x方向的梯度信息，gy(x,y,z)为体素点在y方向的梯度信息，gz(x,y,z)为体素点在z方向的梯度信息。对于中间待处理部分，圈定当前待求体素点周围3
×3×
3的邻域，然后在该邻域内统计大于阈值t0的体素点数目n，当统计的数目n大于9时，将该待定的体素点判定为边缘点，否则判定为非边缘点，并绘制边界曲面。
[0030]
优选的，在治疗过程中留有治疗裕度，该治疗裕度通常为0.5cm。
[0031]
优选的，训练bp神经网络，输入不同的超声图像，依据其不同的纹理特征得到包虫病灶区域的温度分类，设定第一温度阈值和第二温度阈值，所述第二温度阈值大于所述第一温度阈值，当超声图像的纹理特征显示对应的温度小于所述第一温度阈值时，说明可以继续进行超声治疗，当超声图像的纹理特征显示对应的温度大于所述第一温度阈值小于所述第二温度阈值时，则可以停止治疗，当超声图像的纹理特征显示对应的温度大于所述第二温度阈值时，则出现过度治疗，此时向医生发出警告，防止对健康组织继续损坏。
[0032]
由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
[0033]
1.使用超声治疗肝包虫创伤小、术后并发症少、经济花费低，更易被患者接受。
[0034]
2.将患者术前二维超声图像进行三维重建，利用机器学习中的超声体积目标分割模型可以更精准地提取肝包虫病灶区域，采用canny算法和最大间类方差法结合的方法来进行边缘提取，并在术中通过超声扫描获得实时三维超声影像，使所述实时三维超声影像与目标图像同时呈现在显示界面上，采用伪彩色融合和透明融合两种方案，搭建增强虚拟显示环境对手术进行有效引导。
[0035]
3.利用所述目标图像对手术进行监测，若治疗范围到达所述目标图像的病灶边界阈值时，从实时超声影像中提取当前包虫病灶边界区域的特征，并且基于所提取的特征来评估当前包虫病灶区的温度状态，以判断包虫病灶与健康组织交界处的病灶区域治疗状态，防止过度治疗损伤健康组织。
附图说明
[0036]
图1为本发明的装置结构示意图。
[0037]
图2为机器学习模型结构示意图。
[0038]
图3为第一神经网络结构示意图。
[0039]
图4为第二神经网络结构示意图。
[0040]
图5为包虫病灶区边缘提取流程示意图。
[0041]
图6为超声治疗中监测模块的流程示意图。
具体实施方式
[0042]
下面详细描述本发明，本发明的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本发明的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0043]
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
[0044]
下面结合图1和图2以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。
[0045]
请参考图1，图1为本实施例提供的一种基于超声图像的肝包虫手术引导监测装置的结构示意图，利用深度学习训练患者超声图像，识别出肝包虫病灶区域，并精确标识、显示病灶区域，使用超声波治疗肝包虫，同时利用术中超声图像以引导医生进行肝包虫的切除工作，并对超声治疗过程予以监测。
[0046]
本实施例包含以下模块：
[0047]
1)机器学习模块10，将数据库中肝包虫超声图像作为学习数据，通过机器学习的自动学习方法确定病灶区域的轮廓。
[0048]
由于肝包虫病的病灶检测受相邻解剖结构的干扰，如可能与胆囊特征相似等，容易混淆造成假阳性，因此准确分割影响特征至关重要。对于不同任务或不同数据集中训练的深度神经网络，其浅层特征是可以迁移共享的，因此为了得到的更佳的训练模型，本发明先使用肝肿瘤数据，作为预训练数据，进行模型训练，并在此基础上，采集和标注大量的肝包虫病超声图像数据，以肝包虫数据样本对深度学习模型进行调整，得到准确率较高的肝包虫检测模型，以通过所述检测模型确定病灶区域的轮廓。其中，所述学习数据包括患者的术前图像，用于该患者的手术计划参数，以及该患者切除包虫病灶区域后的图像。
[0049]
由于体积数据可以提供比2d平面图像更完整的立体信息，为了提高分割性能，本发明提出一种超声图像体积特征分割模型。参见图2，首先获取患者的二维超声图像，遍历所述二维超声图像序列所对应的二维超声平面上的每一个像素点，利用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中，以及利用核回归算法对所述三维体数据进行空洞补全，得到三维超声图像。其次，搭建第一神经网络，参见图3，使用数据集开始训练。选取其中90％的切片作为训练集，剩余10％作为验证集。在所述第一神经网络算法中，为所有层配备3d算子，由于跳跃连接是神经网络中识别超声图像中边界的关键，因此本发明在所述第一神经网络算法中加入长跳跃连接，在三维超声图像的肝脏超声体积上
进行密集的语义标记。本发明采用卷积层中大小为3
×3×
3的小卷积核，采取逐元素求和的方法来融合不同分辨率的特征体来平滑梯度流，每个卷积层后跟一个归一化层和一个激活层，在所述第一神经网络中使用池化层进行下采样，使用上采样进行特征体积还原，最后输出不同类别的概率体积。
[0050]
为了有效解决边界不完整性的问题，搭建第二神经网络，参见图4，将所述超声体积中每个体素经由第二神经网络处理得出每个体素的类型，该体素及其周边3
×3×
3区域的包虫病灶的概率和所述健康肝脏组织的概率组成第二网络的输入序列x＝(x1,...,x
t
)，所述第二神经网络的输出y表示该体素的类型为包虫病灶区域和健康组织，通过以下等式对当前时间输出的概率进行建模，选取最后时刻的输出作为网络输出。所述第二神经网络中最重要的便是重置门和更新门以及一个tanh层。其中重置门和更新门都是h
t-1
和x
t
拼接之后经过一个sigmoid函数求得控制状态，而tanh层则是x
t
和经过重置门的h
t-1
相拼接，之后在经过一个tanh函数来表示候选隐藏状态。最后经过更新门的状态控制候选隐藏状态和旧的隐藏状态相加组成新的隐藏状态，其计算公式如下：
[0051]zt
＝σ(wz·
[h
t-1
,x
t
])
[0052]rt
＝σwr·
[h
t-1
,x
t
]
[0053][0054][0055]
y＝softmax(h
t
)
[0056]
其中，x
t
是t时刻输入，w表示权重矩阵，z
t
是更新门，r
t
是重置门，是中间隐藏变量，h
t
是隐藏变量，y表示输出。
[0057]
将所述第一神经网络和所述第二神经网络进行联合训练，为了增强训练效率，将第一神经网络最后的输出增加一个softmax层后输出，并进行loss计算，作为最后loss中的一部分。所述机器学习模块监督机制的损失函数为：
[0058][0059][0060][0061]
其中，为第二神经网络损失函数，为第一神经网络损失函数，为训练组，为第一神经网络输入后的预测值，为第二神经网络的预测值,是权重矩阵，λ为权重系数。
[0062]
2)目标图像获取模块20，获取当前患者术前二维超声图像，对所述术前二维超声图像进行三维重建，将该图像输入超声体积目标分割模型中，得到三维超声图像，在所述三维超声图像中示出病灶区域边缘轮廓，得到目标图像。
[0063]
考虑到边缘提取的过程噪声的影响，在边缘提取中，需要设定一定阈值来避免因噪声干扰而出现大量伪边缘的情况。参见图5，本发明采用canny算21和最大间类方差法22结合的方法来进行边缘提取，即使用canny算法21计算得到高低两部分内的最佳分割阈值，记其中较低阈值为t
l
，较高阈值为th，使用最大间类方差法22计算得到的最佳两类分割阈值
为t0，在三个阈值中选择其中较优的阈值组合t0、th来进行边缘提取。
[0064]
边缘提取时将高阈值th以上的部分认为是超声体积的强边界，将低阈值t0以下的部分全部排除，将中间部分作为待处理部分：
[0065][0066]
其中，b(x,y,z)为输出，g(x,y,z)为体素点(x,y,z)的梯度信息，其中，b(x,y,z)为输出，g(x,y,z)为体素点(x,y,z)的梯度信息，g
x
(x,y,z)为体素点在x方向的梯度信息，gy(x,y,z)为体素点在y方向的梯度信息，gz(x,y,z)为体素点在z方向的梯度信息。对于中间待处理部分，圈定当前待求体素点周围3
×3×
3的邻域，然后在该邻域内统计大于阈值t0的体素点数目n，当统计的数目n大于9时，将该待定的体素点判定为边缘点，否则判定为非边缘点，并绘制边界曲面。
[0067]
3)图像引导模块30。在所述当前患者进行手术时，通过超声扫描获得实时超声影像，使所述超声影像与所述目标图像同时呈现在显示界面上，采用伪彩色融合和透明融合两种方案，搭建增强虚拟显示环境对手术进行有效引导。
[0068]
术中，通过超声扫描进行图像引导手术导航，超声扫描获得实时超声影像，将实时超声影像和所述目标图像进行重叠，使所述超声影像与所述目标图像同时呈现在显示界面上，采用伪彩色融合和透明融合两种方案，搭建增强虚拟显示环境对手术进行有效引导。
[0069]
4)超声治疗模块40。使用超声波对病灶区域进行治疗，通过瞬间产生的高温，致使包虫病灶组织凝固性坏死。
[0070]
超声治疗装置中的超声换能器在连续波驱动源的驱动下发射连续超声波，对肝包虫病灶区域进行治疗，通过瞬间产生的高温，致使包虫病灶组织凝固性坏死。
[0071]
5)监测模块50。若治疗范围到达所述目标图像的病灶边界阈值时，从实时超声影像中提取当前包虫病灶边界区域的特征，并且基于所提取的特征来评估当前包虫病灶区的温度状态，以判断包虫病灶与健康组织交界处的病灶区域治疗状态，防止过度治疗损伤健康组织。
[0072]
在超声治疗的过程中，瞬间的高温使包虫病灶组织凝固性坏死，相应的，在超声图像中包虫病灶组织的纹理会发生改变。参见图6，本发明通过训练bp神经网络51，输入不同的超声图像，依据其不同的纹理特征得到包虫病灶区域的温度分类，设定第一温度阈值和第二温度阈值，所述第二温度阈值大于所述第一温度阈值，当超声图像的纹理特征显示对应的温度小于第一温度阈值时，说明可以继续进行超声治疗，当超声图像的纹理特征显示对应的温度大于第一温度阈值小于第二温度阈值时，则可以停止治疗，当超声图像的纹理特征显示对应的温度大于第一温度阈值时，则出现过度治疗，此时向医生发出警告，防止对健康组织继续损坏。
[0073]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。