肋骨中心线检测装置及方法与流程

本发明属于图像处理技术领域，具体涉及一种肋骨中心线检测装置及方法。

背景技术：

影像科的医生通常会借助ct图像来检测肋骨骨折和癌症的肋骨转移。每个病人的ct图像的数量可能达到百余张，为了检查ct图像中存在的病灶和异常，医生往往需要逐层对ct图像进行检查，跟踪每根肋骨在不同层的片子上的动态变化，以便在视觉上跟踪肋骨截面积的改变。但是人工对ct图像进行检查相当耗时，并且人工检查容易造成失误而错过肋骨异常。

提取肋骨中心线可以用来增强展开肋骨的可视化，可以让医生更加高效和有效地检查肋骨的相关情况，肋骨的中心线还可以用于定位器官、登记病变以及引导间隔改变分析的串行胸廓ct扫描之间的对应性的参考。

现有的肋骨中心线的检测方法可以包括下述几种方法：

1、将肋骨建模为细长管状结构，并且采用海赛矩阵(hessian)或者结构张量本征系统分析进行脊背体素检测，通过计算3d空间中每个点的海赛矩阵的特征值来检测管状结构。但是这种方法在计算方面花费很高，而且可能无法对所有患者都获得一致的结果。

2、通过模板进行肋骨中心线匹配：肋骨的切面通常具有一定的规律，肋骨中心的脊髓偏暗，肋骨边缘的骨头偏亮，肋骨边缘呈椭圆形，可以根据上述规律设计模板匹配肋骨进而找到中心线，再根据需要对中心线进行修正。但是许多情况下，肋骨骨髓可能比肋骨边界更暗，从而无法将肋骨中心点一致地检测为脊背体素。

3、通过机器学习的方法识别中心线：提取ct图像的haar特征，通过人工标注的数据训练中心线的预测模型，对每个像素预测其为中心线的概率。

4、通过曲线追踪的方法追踪中心线：人工设置种子或者自动选择种子，采用如卡尔曼滤波的追踪方法，从一个切片到下一个切片对所检测到的肋骨中心点进行追踪。但是该方法需要人工初始种子点，对于骨折之类的肋骨病变所造成的局部模糊或者不连续高度敏感。

现有技术方案的鲁棒性较差，对于医学影像，特别是包含病灶的数据往往变化多样，人工设置的规则不能很好地处理异常情况；计算速度慢，由于需要处理较为复杂的异常情况，现有技术的方法需要设置较多的规则和步骤，从而导致计算速度慢。

因此，如何提出一种解决上述问题的技术方案是本领域技术人员目前需要解决的问题。

技术实现要素：

为了解决现有技术的上述问题，即为了解决现有技术鲁棒性差和计算速度慢的问题，本发明的第一方面提供了一种肋骨中心线检测装置，包括：

肋骨识别模块，配置为基于预设的肋骨识别模型识别目标图像中肋骨所在区域，并且根据所述肋骨所在区域获取每根肋骨对应的肋骨区域；

肋骨中心线获取模块，配置为获取在所述目标图像对应的三维空间图像中每个所述肋骨区域对应的多个特定平面，并且根据所述特定平面计算相应肋骨区域的重心，将所述每个肋骨区域的所有重心相连得到相应肋骨的中心线；

其中，所述肋骨识别模型是基于预先标定的肋骨图像并利用机器学习算法所构建的神经网络模型；所述特定平面是平面角度为预设极角并且平行于预设的坐标轴的平面，所述极角的角度值取决于根据所述肋骨所在区域的重心对相应肋骨区域内的二维投影点进行极坐标变换后得到的二维投影点极角范围。

在上述装置的优选技术方案中，所述肋骨中心线获取模块进一步配置为执行如下操作：

将所述肋骨所在区域的重心和每个肋骨区域投影到二维平面，分别得到重心投影点和所述每个肋骨区域的肋骨投影区域；

以所述重心投影点为中心对每个肋骨投影区域内的二维投影点进行极坐标变换；

根据所述每个肋骨投影区域内每个二维投影点的极坐标获取相应肋骨区域对应的二维投影点极角范围。

在上述装置的优选技术方案中，所述肋骨中心线获取模块还配置为执行如下操作：

根据所述每个肋骨区域对应的二维投影点极角范围和预设的角度步长提取所述每个肋骨区域对应的多个极角。

在上述装置的优选技术方案中，所述肋骨中心线检测装置还包括中心线修正模块，所述中心线修正模块配置为：

利用预设的曲线平滑方法对所述肋骨中心线获取模块所获取的中心线进行平滑处理。

在上述装置的优选技术方案中，所述曲线平滑方法是基于预设的马尔科夫随机场模型的曲线处理方法。

在上述装置的优选技术方案中，所述中心线修正模块进一步配置为按照下式所示的方法对中心线进行平滑处理：

其中，所述e(x)表示所述马尔科夫随机场模型的能量函数，所述x表示所述中心线上所有的点所在的某个维度(x、y或者z轴所在的维度)，xi表示所述中心线上第i个点在x维度的坐标，ni表示所述中心线上与第i个点相邻的点的个数，xj表示所述中心线上与xi点相邻的第j个点的坐标，x′i表示所述第i个点在x维度上的初始坐标，γ表示x′i所占的权重，d表示预设的距离。

在上述装置的优选技术方案中，所述肋骨识别模块进一步配置为执行如下操作：

获取在所述目标图像对应的三维空间图像中所述肋骨所在区域包含的多个连通区域，并且根据每个所述连通区域获取每根肋骨对应的肋骨区域。

在上述装置的优选技术方案中，所述肋骨识别模块还配置为执行如下操作：

获取所述肋骨所在区域内所有欧式距离小于预设距离的三维空间点；

根据所获取的三维空间点获取每根肋骨的连通区域。

本发明的第二方面提供了一种肋骨中心线检测方法，包括：

基于预设的肋骨识别模型识别目标图像中肋骨所在区域，并且根据所述肋骨所在区域获取每根肋骨对应的肋骨区域；

获取在所述目标图像对应的三维空间图像中每个所述肋骨区域对应的多个特定平面，并且根据所述特定平面计算相应肋骨区域的重心，将所述每个肋骨区域的所有重心相连得到相应肋骨的中心线；

其中，所述肋骨识别模型是基于预先标定的肋骨图像并利用机器学习算法所构建的神经网络模型；所述特定平面是平面角度为预设极角并且平行于预设的坐标轴的平面，所述极角的角度值取决于根据所述肋骨所在区域的重心对相应肋骨区域内的二维投影点进行极坐标变换后得到的二维投影点极角范围。

在上述方法的优选技术方案中，在“获取在所述目标图像对应的三维空间图像中每个所述肋骨区域对应的多个特定平面，并且根据所述特定平面计算相应肋骨区域的重心”的步骤之前，所述方法还包括：

将所述肋骨所在区域的重心和每个肋骨区域投影到二维平面，分别得到重心投影点和所述每个肋骨区域的肋骨投影区域；

以所述重心投影点为中心对每个肋骨投影区域内的二维投影点进行极坐标变换；

根据所述每个肋骨投影区域内每个二维投影点的极坐标获取相应肋骨区域对应的二维投影点极角范围。

在上述方法的优选技术方案中，在“根据所述每个肋骨投影区域内每个二维投影点的极坐标获取相应肋骨区域对应的二维投影点极角范围”的步骤之后，所述方法还包括：

根据所述每个肋骨区域对应的二维投影点极角范围和预设的角度步长提取所述每个肋骨区域对应的多个极角。

在上述方法的优选技术方案中，在“将所述每个肋骨区域的所有重心相连得到相应肋骨的中心线”的步骤之后，所述方法还包括：

利用预设的曲线平滑方法对所述肋骨中心线获取模块所获取的中心线进行平滑处理。

在上述方法的优选技术方案中，所述曲线平滑方法是基于预设的马尔科夫随机场模型的曲线处理方法。

在上述方法的优选技术方案中，“利用预设的曲线平滑方法对所述肋骨中心线获取模块所获取的中心线进行平滑处理”的步骤包括按照下式所示的方法对中心线进行平滑处理：

其中，所述e(x)表示所述马尔科夫随机场模型的能量函数，所述x表示所述中心线上所有的点所在的某个维度(x、y或者z轴所在的维度)，xi表示所述中心线上第i个点在x维度的坐标，ni表示所述中心线上与第i个点相邻的点的个数，xj表示所述中心线上与xi点相邻的第j个点的坐标，x′i表示所述第i个点在x维度上的初始坐标，γ表示x′i所占的权重，d表示预设的距离。

在上述方法的优选技术方案中，“根据所述肋骨所在区域获取每根肋骨对应的肋骨区域”的步骤包括：

获取在所述目标图像对应的三维空间图像中所述肋骨所在区域包含的多个连通区域，并且根据每个所述连通区域获取每根肋骨对应的肋骨区域。

在上述方法的优选技术方案中，“获取在所述目标图像对应的三维空间图像中所述肋骨所在区域包含的多个连通区域”的步骤包括：

获取所述肋骨所在区域内所有欧式距离小于预设距离的三维空间点；

根据所获取的三维空间点获取每根肋骨的连通区域。

本发明的第三方面提供了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载以执行上述任一项所述的肋骨中心线检测方法。

本发明的第四方面提供了一种控制装置，包括处理器和存储设备，所述存储设备适于存储多条程序，所述程序适于由所述处理器加载以执行上述任一项所述的肋骨中心线检测方法。

与最接近的现有技术相比，上述技术方案至少具有如下有益效果：

1、通过肋骨识别模型可以准确高效地识别出目标图像中肋骨所在区域，肋骨识别模型可以适应目标图像中多种异常情况，识别出的肋骨所在区域更加鲁棒；

2、基于肋骨识别模型得到目标图像中准确的肋骨所在区域后，通过极坐标变换的方法可以将肋骨区域中心线从三维平面的计算问题转换为二维平面的计算问题，简化了计算处理过程，提高了计算速度。

附图说明

图1为本发明一种实施例肋骨中心线检测方法的主要步骤示意图；

图2为本发明一种实施例的单根肋骨连通区域的示意图；

图3为本发明一种实施例的单根肋骨中心线的示意图；

图4为本发明一种实施例的修正后的中心线的示意图；

图5为本发明一种实施例的肋骨中心线检测装置的主要结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

参阅附图1，图1示例性地给出了本实施例中肋骨中心线检测方法的主要步骤。如图1所示，本实施例中肋骨中心线检测方法包括下述步骤：

步骤s101：基于预设的肋骨识别模型识别目标图像中肋骨所在区域。

本发明实施例中，肋骨识别模型可以从目标图像中识别出肋骨所在的区域。具体地，目标图像可以是ct图像，肋骨识别模型可以是基于预先标定的肋骨图像并利用机器学习算法构建的神经网络模型，该模型可以采用unet-like网络结构，该网络结构包括4个上采样结构和4个下采样结构。将目标图像输入肋骨识别模型，肋骨识别模型的卷积层可以采用3*3的卷积核对输入的目标图像进行卷积操作，提取输入卷积层的目标图像的特征；肋骨识别模型可以使用relu激活函数，去除图像数据中的冗余，最大可能地保留数据的特征；肋骨识别模型的池化层可以使用stride＝2的maxpooling以及size＝2的upsample操作，将输入池化层的特征图缩小，降低卷积层输出的特征向量；最后可以使用1*1的卷积核进行卷积操作，通过全连接层连接所有的特征，并将连接后的特征输入softmax分类器，输出目标图像中肋骨所在区域。

为了肋骨识别模型可以更好地识别目标图像中肋骨所在的区域，可以通过预先标定的肋骨图像对肋骨识别模型进行训练。具体地，可以对原始的目标图像进行图像平移、图像旋转、图像缩放以及图像翻转等操作，在不改变目标图像内容的前提下，对目标图像的像素进行几何变换。在对图像的像素进行几何变换后，对几何变换后的图像进行伽马变换、随机裁剪、高斯模糊以及归一化等操作，以便待训练的肋骨识别模型可以更好地识别肋骨所在区域。在训练过程中，可以采用diceloss损失函数来判断待训练的肋骨识别模型输出的肋骨所在区域与真实的肋骨所在区域的接近程度。训练后的肋骨识别模型可以准确地从目标图像中识别出肋骨所在的区域，后续可以基于准确的肋骨所在区域快速地获取肋骨的中心线，提高了运算的速度。此外，肋骨识别模型可以适应于多种异常情况，识别出的肋骨所在区域更加鲁棒。

本发明实施例的肋骨识别模型除了可以采用unet-like网络结构，还可以采用vgg网络结构或者resnet网络结构等，本发明在此不做限定。

步骤s102：获取目标图像对应的三维空间图像中肋骨所在区域包含的多个连通区域，并根据每个连通区域获取每根肋骨对应的肋骨区域。

继续参阅附图2，图2示例性地给出了单根肋骨连通区域的示意图。通过肋骨识别模型识别目标图像中肋骨所在的区域包含的多个连通区域，每个连通区域对应一根肋骨。为了获取每根肋骨的中心线，可以将肋骨所在的区域中每根肋骨分离出来，对每根肋骨单独进行分析。具体地，可以获取肋骨所在区域内的三维空间点，并判断三维空间点中任意两点的欧式距离是否小于等于预设距离(如两个点的欧式距离为1)，若是，则可以判定这两点是连通的，若干个连通的点可以构成单根肋骨的连通区域。

步骤s103：获取每个肋骨区域对应的多个特定平面，根据特定平面计算相应肋骨区域的重心，将每个肋骨区域的所有重心相连得到相应肋骨的中心线。

在本发明实施例中，得到肋骨所在区域后，获取肋骨所在区域的第一重心，将肋骨所在区域的第一重心和每个肋骨区域都投影到二维平面，分别得到第一重心投影点和每个肋骨区域的肋骨投影区域，将第一重心投影点记为c，二维平面可以是xy平面。将每个肋骨区域投影到二维平面后，获取肋骨投影区域的起始点和结束点的角度，可以分别记为α和β，以第一重心投影点c为中心，按照预设角度步长对肋骨投影区域的极角范围(α，β)进行极坐标变换，得到每个肋骨区域对应的多个极角。假设当前角度为θ，预设角度步长为ω，预设角度步长在当前角度θ内共有10个对应的值，求解这10个值的对应的第二重心，以此类推，在极角范围(α，β)内可以得到多个第二重心。

获取目标图像对应的三维空间图像中每个肋骨区域对应的多个特定平面，以当前角度为θ为例，基于该角度对应的第二重心构建与z轴平行的平面，该平面即为特定平面，该平面与肋骨区域的交点即为第二重心的z轴坐标，将每个肋骨区域的多个第二重心相连得到该肋骨的中心线。继续参阅附图3，图3示例性地给出了单根肋骨中心线的示意图。通过极坐标变换的方法可以将肋骨区域中心线从三维平面的计算问题转换为二维平面的计算问题，简化了算法处理过程，提高了计算速度。

步骤s104：利用预设的曲线平滑方法对中心线进行平滑处理。

上述计算得到的中心线是将每根肋骨分离独立计算的，并没有考虑到不同肋骨之间的相关性，最后计算得到的中心线上某些点可能不在中心线上，因此中心线不是光滑的。此外，肋骨识别模型识别的肋骨区域可能出现偏差，会出现一些异常点，这些异常点会偏离正常位置较远。为了对中心线进行修正，可以利用预设的曲线平滑方法对中心线进行平滑处理。具体地，曲线平滑方法可以是基于预设的马尔科夫随机场模型对中心线进行修正，可以按照公式(1)所示的方法对中心线进行修正：

其中，e(x)表示马尔科夫随机场模型的能量函数，x表示中心线上所有的点所在的某个维度(x、y或者z轴所在的维度)，xi表示中心线上第i个点在x维度的坐标，ni表示中心线上与第i个点相邻的点的个数，xj表示中心线上与xi点相邻的第j个点的坐标，x′i表示第i个点在x维度上的初始坐标，γ表示x′i所占的权重，d表示预设的距离。

能量函数的第一部分(加号左边的部分)要求相邻的中心点的距离较近，相邻的中心点的个数是决定曲线光滑程度的一个因素；能量函数的第二部分(加号右边的部分)要求中心点的距离不能偏离初始点太远，d表示预设的距离，可以避免偏离正常中心线太远的异常点，如果偏离太远的点，其与中心线的距离也只算是d的距离。通过能量函数的约束，可以使中心线更加平滑和对异常点不敏感。继续参阅附图4，图4示例性地给出了修正后的中心线的示意图。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

基于上述肋骨中心线检测方法实施例，本发明还提供了一种肋骨中心线检测装置。下面结合附图，对该肋骨中心线检测装置进行说明。

参阅附图5，图5示例性地给出了本实施例中肋骨中心线检测装置的主要结构。如图5所示，本实施例肋骨中心线检测装置包括肋骨识别模块1和肋骨中心线获取模块2。

肋骨识别模块1，配置为基于预设的肋骨识别模型识别目标图像中肋骨所在区域，并且根据肋骨所在区域获取每根肋骨对应的肋骨区域；

肋骨中心线获取模块2，配置为获取在目标图像对应的三维空间图像中每个肋骨区域对应的多个特定平面，并且根据特定平面计算相应肋骨区域的重心，将每个肋骨区域的所有重心相连得到相应肋骨的中心线；

其中，肋骨识别模型是基于预先标定的肋骨图像并利用机器学习算法所构建的神经网络模型；特定平面是平面角度为预设极角并且平行于预设的坐标轴的平面，极角的角度值取决于根据肋骨所在区域的重心对相应肋骨区域内的二维投影点进行极坐标变换后得到的二维投影点极角范围。

在本发明实施例的一个优选实施方案中，肋骨中心线获取模块2进一步配置为执行如下操作：

将肋骨所在区域的重心和每个肋骨区域投影到二维平面，分别得到重心投影点和每个肋骨区域的肋骨投影区域；

以重心投影点为中心对每个肋骨投影区域内的二维投影点进行极坐标变换；

根据每个肋骨投影区域内每个二维投影点的极坐标获取相应肋骨区域对应的二维投影点极角范围。

在本发明实施例的一个优选实施方案中，肋骨中心线获取模块2还配置为执行如下操作：

根据每个肋骨区域对应的二维投影点极角范围和预设的角度步长提取每个肋骨区域对应的多个极角。

在本发明实施例的一个优选实施方案中，肋骨中心线检测装置还包括中心线修正模块，中心线修正模块配置为：

利用预设的曲线平滑方法对肋骨中心线获取模块2所获取的中心线进行平滑处理。

在本发明实施例的一个优选实施方案中，曲线平滑方法是基于预设的马尔科夫随机场模型的曲线处理方法。

在本发明实施例的一个优选实施方案中，中心线修正模块进一步配置为按照下式所示的方法对中心线进行平滑处理：

其中，e(x)表示马尔科夫随机场模型的能量函数，x表示中心线上所有的点所在的某个维度(x、y或者z轴所在的维度)，xi表示中心线上第i个点在x维度的坐标，ni表示中心线上与第i个点相邻的点的个数，xj表示中心线上与xi点相邻的第j个点的坐标，x′i表示第i个点在x维度上的初始坐标，γ表示x′i所占的权重，d表示预设的距离。

在本发明实施例的一个优选实施方案中，肋骨识别模块1进一步配置为执行如下操作：

获取在目标图像对应的三维空间图像中肋骨所在区域包含的多个连通区域，并且根据每个连通区域获取每根肋骨对应的肋骨区域。

在本发明实施例的一个优选实施方案中，肋骨识别模块1还配置为执行如下操作：

获取肋骨所在区域内所有欧式距离小于预设距离的三维空间点；

根据所获取的三维空间点获取每根肋骨的连通区域。

进一步地，基于上述方法实施例，本发明还提供了一种存储装置，其中该存储装置存储有多条程序并且这些程序可以适于由处理器加载以执行上述方法实施例的肋骨中心线检测方法。

再进一步地，基于上述方法实施例，本发明还提供了一种控制装置，该控制装置包括处理器和存储设备；存储设备可以适于存储多条程序并且这些程序可以适于由处理器加载以执行上述方法实施例的肋骨中心线检测方法。

所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明装置实施例的具体工作过程以及相关说明，可以参考前述方法实施例中的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。