超声图像膀胱脱垂自动分级方法及系统与流程

本发明涉及一种超声图像膀胱脱垂自动分级方法及系统。

背景技术：

膀胱脱垂是一种常见的女性疾病，由于女性盆底支持结构的缺陷，导致膀胱膨出于阴道内。准确的膀胱脱垂分级结果对于治疗至关重要，例如轻度的患者不需要治疗，而重度的患者可能需要实施手术。

盆腔器官脱垂量化系统(POP-Q)被广泛用于膀胱脱垂的诊断。该评价系统涉及了很多复杂的测量过程，导致在临床中难以实施。

近年来，经会阴超声(TPUS)作为一种有效手段应用到膀胱脱垂的分级中。它的优势在于无辐射，较舒适，成本低和实时的成像能力。通常来说，膀胱脱垂的超声检查包括四个步骤：首先，超声医师需要将超声探头置于病患待检部位，同时病患作Valsalva动作；然后，在获得的超声序列中找出包含最大膀胱脱垂距离(MDB)和耻骨联合的一帧图像；接着，手动地测量膀胱最低点到水平参考线的距离，这个距离称为最大膀胱脱垂距离(MDB)；在测量MDB之后，膀胱脱垂的程度可以被分为正常，轻度，中度和重度。

在这一系列的步骤中，定位图像的帧和手动测量非常耗时，同时依赖于操作者的经验，这在膀胱脱垂分级中常常带来显著的组间误差。要对膀胱脱垂进行分级必须首先分割膀胱和检测耻骨联合的中轴线和下缘点。然而，这个任务非常具有挑战性。首先，由于超声图像比较模糊，即使对于有经验的医生来说，定位耻骨联合和它的下缘点是非常困难的。第二，由于声波射线衰减，斑点噪音和声影的影响使得膀胱的边界缺失和不明显，这也让分割膀胱任务更加困难。第三，在患者作Valsalva动作的超声序列图像中，解剖结构的外观和几何形状都发生了非常显著的变化，这是因为患者用力呼吸导致组织之间产生的移动和变形。这些情况在不同患者之间的差异也是非常显著的。这些巨大的差异使得让该技术完成自动化的目标更加困难。

技术实现要素：

有鉴于此，有必要提供一种超声图像膀胱脱垂自动分级方法及系统。

本发明提供一种超声图像膀胱脱垂自动分级方法，该方法包括如下步骤：a.获取训练数据集中的超声图像，同时医生对所述获取的超声图像进行标注；b.对所述获取的超声图像进行特征提取，得到随机Haar特征的特征值；c.根据上述得到的随机Haar特征的特征值，结合医生的标注训练第一层时空回归模型；使用第一层时空回归模型预测训练数据得到对应的位移图；在得到的位移图上提取上下文特征，结合医生的标注训练第二层时空回归模型；d.获取测试数据集中的超声图像，同时医生对所述获取的测试数据集中的超声图像进行标注预测；e.对上述获取的测试数据集中的超声图像进行特征提取，得到随机Haar特征的特征值，利用上述训练得到的第一层时空回归模型预测测试数据得到对应的位移图；f.在步骤e得到的位移图上提取上下文特征，结合训练得到的第二层时空回归模型预测最终位移图，以自动识别所述测试数据集超声图像中的耻骨联合的中轴线，下缘点和膀胱轮廓；g.根据识别得到的所述测试数据集超声图像中的耻骨联合的中轴线，下缘点和膀胱轮廓，利用几何关系测量出最终所需的最大膀胱脱垂距离，依据标准对膀胱脱垂进行自动分级。

其中，所述的步骤c具体包括：c1，构建决策树，每颗决策树随机地在训练样本和特征中采样以避免过拟合；c2，最终的回归结果P(d^s|v)是由每颗决策树的预测结果p_i(d^s|v)取平均求得，表示为：其中，x是图像的像素，v是特征向量，d^s是x到目标结构s的距离，s∈{l,t,b}，目标结构l、t和b分别表示耻骨联合的中轴线、下缘点和膀胱；c3，对于每个目标结构s，训练一个时空回归模型，用于学习从每个像素点的局部外观到它对应的2D位移向量的非线性映射。

所述的时空回归模型包括二层，第一层时空回归模型用于提取超声图像中每个时间点和周围时间点的表面特征和坐标，从而对每个时间点产生一个初始化的位移域，第二层时空回归模型用于利用第一层的结果作为上下文特征，改善在时空域上检测的结果。

所述的第一层时空回归模型包括：在提取灰度和对比度的同时，利用当前时间点之前和之后的图像的信息来增强当前图像的解剖结构检测结果，同时将归一化的空间坐标作为输入特征，得到所述输入特征之后，训练回归森林寻找一个好的非线性映射，得到所述超声图像中一个像素到耻骨联合中轴线，下缘点和膀胱的距离。

所述的第二层时空回归模型包括：每个超声图像中的像素点来说，不仅获取其表面特征，同时从初始位移图中得到当前时间点相邻时间点的高阶上下文特征。

本发明还提供一种超声图像膀胱脱垂自动分级系统，包括相互电性连接的获取模块、特征提取模块、训练模块、识别模块及分级模块，其中：所述获取模块用于获取训练数据集中的超声图像，同时医生对所述获取的超声图像进行标注；所述特征提取模块用于对所述获取的超声图像进行特征提取，得到随机Haar特征的特征值；所述训练模块用于根据上述得到的随机Haar特征的特征值，结合医生的标注训练第一层时空回归模型；使用第一层时空回归模型预测训练数据得到对应的位移图；在得到的位移图上提取上下文特征，结合医生的标注训练第二层时空回归模型；所述获取模块还用于获取测试数据集中的超声图像，同时医生对所述获取的测试数据集中的超声图像进行标注预测；所述特征提取模块还用于对上述获取的测试数据集中的超声图像进行特征提取，得到随机Haar特征的特征值，利用上述训练得到的第一层时空回归模型预测测试数据得到对应的位移图；在上述得到的位移图上提取上下文特征，结合训练得到的第二层时空回归模型预测最终位移图，以自动识别所述测试数据集超声图像中的耻骨联合的中轴线，下缘点和膀胱轮廓；所述分级模块用于根据识别得到的所述测试数据集超声图像中的耻骨联合的中轴线，下缘点和膀胱轮廓，利用几何关系测量出最终所需的最大膀胱脱垂距离，依据标准对膀胱脱垂进行自动分级。

其中，所述的所述训练模块具体用于：构建决策树，每颗决策树随机地在训练样本和特征中采样以避免过拟合；最终的回归结果P(d^s|v)是由每颗决策树的预测结果p_i(d^s|v)取平均求得，表示为：其中，x是图像的像素，v是特征向量，d^s是x到目标结构s的距离，s∈{l,t,b}，目标结构l、t和b分别表示耻骨联合的中轴线、下缘点和膀胱；对于每个目标结构s，训练一个时空回归模型，用于学习从每个像素点的局部外观到它对应的2D位移向量的非线性映射。

所述的时空回归模型包括二层，第一层时空回归模型用于提取超声图像中每个时间点和周围时间点的表面特征和坐标，从而对每个时间点产生一个初始化的位移域，第二层时空回归模型用于利用第一层的结果作为上下文特征，改善在时空域上检测的结果。

所述的第一层时空回归模型包括：在提取灰度和对比度的同时，利用当前时间点之前和之后的图像的信息来增强当前图像的解剖结构检测结果，同时将归一化的空间坐标作为输入特征，得到所述输入特征之后，训练回归森林寻找一个好的非线性映射，得到所述超声图像中一个像素到耻骨联合中轴线，下缘点和膀胱的距离。

所述的第二层时空回归模型包括：每个超声图像中的像素点来说，不仅获取其表面特征，同时从初始位移图中得到当前时间点相邻时间点的高阶上下文特征。

本发明超声图像膀胱脱垂自动分级方法及系统，提出一个时空回归模型来解决现有的技术难点，并在经会阴超声图像中对膀胱脱垂实现自动分级，在提高检查的效率同时降低组间的误差。本发明提出一个两层的时空回归模型，联合地将所有时间点的上下文信息用于检测解剖结构。在模型当中，表面特征和上下文特征在时空域中一起提取出来去加强位移图在时间轴上的一致性。因此，检测的结果可以互相协同消除不确定性，同时改善结构的定位结果。

附图说明

图1为本发明超声图像膀胱脱垂自动分级方法的流程图；

图2为本发明超声图像膀胱脱垂自动分级系统的硬件架构图；

图3为所述超声图像中一个像素到耻骨联合中轴线，下缘点和膀胱的距离示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

参阅图1所示，是本发明超声图像膀胱脱垂自动分级方法较佳实施例的作业流程图。

步骤S401，获取训练数据集中的超声图像，同时医生对所述获取的超声图像进行标注。具体而言，从训练数据集中获取超声图像，然后对所述超声图像中每一帧的耻骨联合下缘点、中轴线以及膀胱轮廓进行手动标注。

步骤S402，对所述获取的超声图像进行特征提取，得到随机Haar特征的特征值。具体而言，本实施例首先从超声图像中随机选定图像块的数量，一般1个或者2个，然后确定所述图像块在图像中的位置，本实施例中所述图像块在图像中的位置是必须相连的，最后计算得到随机Haar特征的特征值。

步骤S403，根据上述得到的随机Haar特征的特征值，结合医生的标注训练第一层时空回归模型；使用第一层时空回归模型预测训练数据得到对应的位移图；在得到的位移图上提取上下文特征，结合医生的标注训练第二层时空回归模型。具体而言：

在本实施例中，使用随机森林来训练一个两层的时空回归模型，用于在超声图像中检测目标结构。

为了构造所述随机森林，首先需要构建许多决策树，每颗树随机地在训练样本和特征中采样来避免过拟合。最终的回归结果P(d^s|v)是由每颗决策树的预测结果p_i(d^s|v)取平均求得，可以表示为：

其中，x是图像的像素，v是特征向量，d^s是x到目标结构s的距离，s∈{l,t,b}。目标结构l、t和b分别表示耻骨联合的中轴线、下缘点和膀胱。

对于每个目标结构s，训练一个时空回归模型，用于学习从每个像素点的局部外观到它对应的2D位移向量的非线性映射。特别地，设计第一层的目的是提取超声图像中每个时间点和周围时间点的表面特征和坐标，从而对每个时间点产生一个初始化的位移域。然后，第二层利用第一层的结果作为上下文特征，用于改善在时空域(2D+t的周围)上检测的结果。

第一层时空回归模型：

耻骨联合在超声图像中的外观表现为一个白色的山脊，旁边围绕着两条黑色的山谷。而由于液体的填充，膀胱在超声中为低回声。因此，认为具有对比特性的特征将会为描述感兴趣的目标提供大量的信息。另外，超声图像的相邻帧图像信息可以用于保证位移域在时间上的一致性。在这点上，不是仅在空间域，而是在时空域计算不同尺度的随机类Haar特征来描述目标结构。这样的做法在提取灰度和对比度的同时，利用当前时间点之前和之后的图像的信息来增强当前图像的解剖结构检测结果。同时将归一化的空间坐标作为输入特征，得到所述输入特征之后，训练回归森林寻找一个好的非线性映射，得到所述超声图像中一个像素到耻骨联合中轴线，下缘点和膀胱的距离，分别表示为d¹，d^t和d^b，请参考图3。

第二层时空回归模型：

采用所述第一层时空回归模型估计当前时间点的初始位移图。因此，对于每个超声图像中的像素点来说，本实施例不仅获取其表面特征，同时从初始位移图中得到当前时间点相邻时间点的高阶上下文特征。所有的这些特征联合地用于训练第二层时空回归模型。不同于传统的上下文特征，本实施例在位移图的局部块中同样使用类Haar特征去计算上下文特征。

特别地，本实施例提取了两种上下文特征：1)时间点内的上下文特征：可以认为是每个结构内部位移图的类Haar特征。所述每个结构内部位移图的类Haar特征在定位结构的时候从相邻的像素获取了大量信息，这种做法可以保证每个结构的位移图在空间上的一致性。2)时间点间的上下文特征：可以认为是同一个结构在其他时间点位移图上计算类Haar特征。所述同一个结构在其他时间点位移图上计算类Haar特征构建了位移图在时域上的关系，例如结构的轨迹等等。因此，使用时间点间的上下文特征可以有效地提高位移图时域的一致性。特征向量得到增加之后，本实施例利用时空回归模型预测目标的距离d^l，d^t和d^b。

步骤S404，获取测试数据集中的超声图像，同时医生对所述获取的测试数据集中的超声图像进行标注预测。其中，医生的标注包括：耻骨联合下缘点位置，耻骨联合中轴线，以及膀胱最低点到参考线的距离。

步骤S405，对上述获取的测试数据集中的超声图像进行特征提取，得到随机Haar特征的特征值，利用上述训练得到的第一层时空回归模型预测测试数据得到对应的位移图。本步骤中的特征提取方法与步骤S402中的特征提取方法相同，这里不再赘述。

步骤S406，在步骤S405得到的位移图上提取上下文特征，结合训练得到的第二层时空回归模型预测最终位移图，以自动识别所述测试数据集超声图像中的耻骨联合的中轴线，下缘点和膀胱轮廓。其中，所述最终位移图用于投票。具体而言：

所述耻骨联合的中轴线，下缘点和膀胱轮廓用于距离测量和膀胱脱垂的分级。首先，从测试数据集中产生耻骨联合的中轴线，下缘点和膀胱轮廓三个目标结构的位移图；然后，采用投票策略，得到耻骨联合中轴线、下缘点的投票图，搜索投票图中票数最多的点，得到耻骨联合下缘点的位置；最后，根据耻骨联合的下缘点作为起始点，搜索不同方向的直线，在中轴线的投票图上计算不同方向直线上票数均值最大的方向即为耻骨联合的中轴线。对于膀胱的分割，本实施例简单的认为是去找位移图上的零水平集，由于得到的是位移图是1维的，所以不进行投票，直接对图像进行阈值分割，得到轮廓，阈值为0，即距离为0的轮廓。一旦识别出上述三个目标结构，就可以在连续超声图像中计算最大膀胱脱垂距离。

步骤S407，根据识别得到的所述测试数据集超声图像中的耻骨联合的中轴线，下缘点和膀胱轮廓，利用几何关系测量出最终所需的MDB，依据标准对膀胱脱垂进行自动分级。

在本实施例中，所述的标准为：正常：MDB<＝-10mm；轻度：MDB>-10mm且MDB<＝0mm；中度：MDB>0mm且MDB<＝20mm；重度：MDB>20mm。

参阅图2所示，是本发明超声图像膀胱脱垂自动分级系统的硬件架构图。该系统包括相互电性连接的获取模块、特征提取模块、训练模块、识别模块及分级模块。

所述获取模块用于获取训练数据集中的超声图像，同时医生对所述获取的超声图像进行标注。具体而言，从训练数据集中获取超声图像，然后对所述超声图像中每一帧的耻骨联合下缘点、中轴线以及膀胱轮廓进行手动标注。

所述特征提取模块用于对所述获取的超声图像进行特征提取，得到随机Haar特征的特征值。具体而言，本实施例首先从超声图像中随机选定图像块的数量，一般1个或者2个，然后确定所述图像块在图像中的位置，本实施例中所述图像块在图像中的位置是必须相连的，最后计算得到随机Haar特征的特征值。

所述训练模块用于根据上述得到的随机Haar特征的特征值，结合医生的标注训练第一层时空回归模型；使用第一层时空回归模型预测训练数据得到对应的位移图；在得到的位移图上提取上下文特征，结合医生的标注训练第二层时空回归模型。具体而言：

在本实施例中，使用随机森林来训练一个两层的时空回归模型，用于在超声图像中检测目标结构。

为了构造所述随机森林，首先需要构建许多决策树，每颗树随机地在训练样本和特征中采样来避免过拟合。最终的回归结果P(d^s|v)是由每颗决策树的预测结果p_i(d^s|v)取平均求得，可以表示为：

其中，x是图像的像素，v是特征向量，d^s是x到目标结构s的距离，s∈{l,t,b}。目标结构l、t和b分别表示耻骨联合的中轴线、下缘点和膀胱。

对于每个目标结构s，训练一个时空回归模型，用于学习从每个像素点的局部外观到它对应的2D位移向量的非线性映射。特别地，设计第一层的目的是提取超声图像中每个时间点和周围时间点的表面特征和坐标，从而对每个时间点产生一个初始化的位移域。然后，第二层利用第一层的结果作为上下文特征，用于改善在时空域(2D+t的周围)上检测的结果。

第一层时空回归模型：

耻骨联合在超声图像中的外观表现为一个白色的山脊，旁边围绕着两条黑色的山谷。而由于液体的填充，膀胱在超声中为低回声。因此，认为具有对比特性的特征将会为描述感兴趣的目标提供大量的信息。另外，超声图像的相邻帧图像信息可以用于保证位移域在时间上的一致性。在这点上，不是仅在空间域，而是在时空域计算不同尺度的随机类Haar特征来描述目标结构。这样的做法在提取灰度和对比度的同时，利用当前时间点之前和之后的图像的信息来增强当前图像的解剖结构检测结果。同时将归一化的空间坐标作为输入特征，得到所述输入特征之后，训练回归森林寻找一个好的非线性映射，得到所述超声图像中一个像素到耻骨联合中轴线，下缘点和膀胱的距离，分别表示为d^l，d^t和d^b，请参考图3。

第二层时空回归模型：

采用所述第一层时空回归模型估计当前时间点的初始位移图。因此，对于每个超声图像中的像素点来说，本实施例不仅获取其表面特征，同时从初始位移图中得到当前时间点相邻时间点的高阶上下文特征。所有的这些特征联合地用于训练第二层时空回归模型。不同于传统的上下文特征，本实施例在位移图的局部块中同样使用类Haar特征去计算上下文特征。

特别地，本实施例提取了两种上下文特征：1)时间点内的上下文特征：可以认为是每个结构内部位移图的类Haar特征。所述每个结构内部位移图的类Haar特征在定位结构的时候从相邻的像素获取了大量信息，这种做法可以保证每个结构的位移图在空间上的一致性。2)时间点间的上下文特征：可以认为是同一个结构在其他时间点位移图上计算类Haar特征。所述同一个结构在其他时间点位移图上计算类Haar特征构建了位移图在时域上的关系，例如结构的轨迹等等。因此，使用时间点间的上下文特征可以有效地提高位移图时域的一致性。特征向量得到增加之后，本实施例利用时空回归模型预测目标的距离d^l，d^t和d^b。

所述获取模块还用于获取测试数据集中的超声图像，同时医生对所述获取的测试数据集中的超声图像进行标注预测。其中，医生的标注包括：耻骨联合下缘点位置，耻骨联合中轴线，以及膀胱最低点到参考线的距离。

所述特征提取模块还用于对上述获取的测试数据集中的超声图像进行特征提取，得到随机Haar特征的特征值，利用上述训练得到的第一层时空回归模型预测测试数据得到对应的位移图。本步骤中的特征提取方法与步骤S402中的特征提取方法相同，这里不再赘述。

所述识别模块用于根据上述得到位移图上提取上下文特征，结合训练得到的第二层时空回归模型预测最终位移图，以自动识别所述测试数据集超声图像中的耻骨联合的中轴线，下缘点和膀胱轮廓。其中，所述最终位移图用于投票。具体而言：

所述耻骨联合的中轴线，下缘点和膀胱轮廓用于距离测量和膀胱脱垂的分级。首先，从测试数据集中产生耻骨联合的中轴线，下缘点和膀胱轮廓三个目标结构的位移图；然后，采用投票策略，得到耻骨联合中轴线、下缘点的投票图，搜索投票图中票数最多的点，得到耻骨联合下缘点的位置；最后，根据耻骨联合的下缘点作为起始点，搜索不同方向的直线，在中轴线的投票图上计算不同方向直线上票数均值最大的方向即为耻骨联合的中轴线。对于膀胱的分割，本实施例简单的认为是去找位移图上的零水平集，由于得到的是位移图是1维的，所以不进行投票，直接对图像进行阈值分割，得到轮廓，阈值为0，即距离为0的轮廓。一旦识别出上述三个目标结构，就可以在连续超声图像中计算最大膀胱脱垂距离。

所述分级模块用于根据识别得到的所述测试数据集超声图像中的耻骨联合的中轴线，下缘点和膀胱轮廓，利用几何关系测量出最终所需的MDB，依据标准对膀胱脱垂进行自动分级。

在本实施例中，所述的标准为：正常：MDB<＝-10mm；轻度：MDB>-10mm且MDB<＝0mm；中度：MDB>0mm且MDB<＝20mm；重度：MDB>20mm。

本发明一个两层的时空回归模型被用于分割膀胱和检测耻骨联合的中轴线和下缘点，这是测量MDB的过程中最重要的部分。为了提高检测的精度，本发明不但提取了表面特征，同时在时空域中提取了上下文的信息。最后，通过实验测试了85例经会阴超声序列。结果表明，本发明在中间结果和最终分类上都明显优于现有的回归方法。

虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。