血管二维中心线和三维中心线配准的方法及装置与流程

本发明实施例属于图像处理技术领域，更具体地，涉及一种血管二维中心线和三维中心线配准的方法及装置。

背景技术：

血管疾病严重威胁人类健康，相关的病症包括血管狭窄、血管硬化以及动脉粥样硬化。二维x-ray(x射线)造影图像和对应的三维ct(computedtomography，计算机断层扫描)造影图像从不同角度提供血管疾病的细节。因此术前三维ct图像和二维造影图像的融合在基于图像引导的血管微创手术中极为重要。

为了对血管的三维ct图像和二维造影图像进行融合，首先需要对三维ct图像中血管的中心线和二维造影图像中血管的中心线进行配准。二维和三维血管中心线配准的方法大多为基于点云的配准方法进行相应的改变，通过使用高斯混合模型对点云的位置信息进行建模，通过使用最大似然函数或者最小二乘的框架实现目标函数的建立，然后基于梯度下降的方法对目标函数进行优化得到最优结果。

上述基于梯度下降的方法容易受到噪声的影响，即容易陷入局部极小值，使得配准结果发生较大偏差。

技术实现要素：

为克服上述现有的血管二维中心线和三维中心线配准方法配准结果不精确的问题或者至少部分地解决上述问题，本发明实施例提供一种血管二维中心线和三维中心线配准的方法及装置。

根据本发明实施例的第一方面，提供一种血管二维中心线和三维中心线配准的方法，包括：

从目标血管的二维图像中提取所述目标血管的二维中心线的特征，从所述目标血管的三维图像中提取所述目标血管的三维中心线的特征；

对所述二维中心线的特征和所述三维中心线的特征进行建模，获取所述二维中心线的特征对应的特征模型和所述三维中心线的特征对应的特征模型，根据所述二维中心线的特征对应的特征模型和所述三维中心线的特征对应的特征模型构建目标函数；

基于粒子群优化算法对所述目标函数进行优化，根据优化后的所述目标函数对所述二维中心线和所述三维中心线进行配准。

根据本发明实施例第二方面提供一种血管二维中心线和三维中心线配准的装置，包括：

提取模块，用于从目标血管的二维图像中提取所述目标血管的二维中心线的特征，从所述目标血管的三维图像中提取所述目标血管的三维中心线的特征；

构建模块，用于对所述二维中心线的特征和所述三维中心线的特征进行建模，获取所述二维中心线的特征对应的特征模型和所述三维中心线的特征对应的特征模型，根据所述二维中心线的特征对应的特征模型和所述三维中心线的特征对应的特征模型构建目标函数；

优化模块，用于基于粒子群优化算法对所述目标函数进行优化，根据优化后的所述目标函数对所述二维中心线和所述三维中心线进行配准。

根据本发明实施例的第三个方面，还提供一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的血管二维中心线和三维中心线配准的方法。

根据本发明实施例的第四个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的血管二维中心线和三维中心线配准的方法。

本发明实施例提供一种血管二维中心线和三维中心线配准的方法及装置，该方法为实现不同维度的血管中心线的配准，先提取血管二维中心线和三维中心线的特征，并对特征进行建模，然后根据特征模型构建目标函数，随后使用粒子群优化算法对目标函数进行优化和目标函数中的特征模型参数再估计，根据优化后的目标函数对不同维度的血管中心线进行配准，从而实现血管二维中心线和三维中心线的自动配准，使用粒子群的启发式算法可以有效的跳出优化目标函数过程中的局部极小值，得到全局最优值，提高了配准的准确性。

附图说明

图1为本发明实施例提供的血管二维中心线和三维中心线配准的方法整体流程示意图；

图2为本发明实施例提供的血管二维中心线和三维中心线配准的装置整体结构示意图；

图3为本发明实施例提供的电子设备整体结构示意图。

具体实施方式

下面结合附图和实施例，对本发明实施例的具体实施方式作进一步详细描述。以下实施例用于说明本发明实施例，但不用来限制本发明实施例的范围。

在本发明实施例的一个实施例中提供一种血管二维中心线和三维中心线配准的方法，图1为本发明实施例提供的血管二维中心线和三维中心线配准的方法整体流程示意图，该方法包括：s101，从目标血管的二维图像中提取目标血管的二维中心线的特征，从目标血管的三维图像中提取目标血管的三维中心线的特征；

其中，目标血管为需要进行二维中心线和三维中心线配准的血管。二维中心线为从目标血管的二维图像中提取出的中心线，其位置为二维坐标。三维中心线为从目标血管的三维图像中提取出的中心线，其位置为三维坐标。进一步从二维中心线中提取出二维中心线的一个或多个特征，从三维中心线中提取出三维中心线的一个或多个特征。其中，二维中心线的特征与三维中心线的特征一一对应，例如二维中心线的位置特征对应有三维中心线的位置特征。本发明实施例不限于二维中心线和三维中心线的提取方法，也不限于二维中心线和三维中心线的各特征的提取方法。

s102，对二维中心线的特征和三维中心线的特征进行建模，获取二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型，根据二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型构建目标函数；

对二维中心线的每个特征和三维中心线的每个特征进行建模，即用模型表示二维中心线的每个特征和三维中心线的每个特征。二维中心线的特征对应的特征模型是指用于表示二维中心线的每个特征的模型。三维中心线的特征对应的特征模型是指用于表示三维中心线的每个特征的模型。根据二维中心线的特征对应的特征模型和三维中心线的特征对应的模型构建目标函数。

s103，基于粒子群优化算法对目标函数进行优化，根据优化后的目标函数对二维中心线和三维中心线进行配准。

其中，粒子群优化算法首先初始化一群随机粒子，即随机解，然后通过迭代找到最优解。在每次迭代中，粒子通过跟踪两个极值进行自我更新，直到达到结束条件。一个极值为粒子本身所找到的最优解，这个解叫做个体极值，另一个极值为整个种群目前找到的最优解，这个极值为全局极值。本发明实施例基于粒子群优化算法对目标函数进行优化和目标函数中特征模型参数的再估计。在目标函数的优化过程中，建立最大期望的迭代数学框架，将粒子群的优化算法融入数学框架之中，在一定搜索区域内通过随机分布粒子进行最优值搜索，在得到本轮的最优值之后，根据期望最大化的方法计算出特征模型的估计参数，直到达到结束条件。经过迭代优化之后获取目标函数最终的最优值，在此情况之下会得到对应的旋转矩阵r和平移矩阵t，根据旋转矩阵r和平移矩阵t对血管二维中心线和血管三维中心线进行配准。其中，血管二维中心线和三维中心线配准是指通过旋转和平移的变换方式使得血管二维中心线和三维中心线的物理坐标得到最大程度的对应。

本发明实施例为实现不同维度的血管中心线的配准，先提取血管二维中心线和三维中心线的特征，并对特征进行建模，然后根据特征模型构建目标函数，随后使用粒子群优化算法对目标函数进行优化和目标函数中的特征模型参数再估计，根据优化后的目标函数对不同维度的血管中心线进行配准，从而实现血管二维中心线和三维中心线的自动配准，使用粒子群的启发式算法可以有效的跳出优化目标函数过程中的局部极小值，得到全局最优值，提高了配准的准确性。

在上述实施例的基础上，本实施例中二维中心线的特征包括方向、位置和半径，三维中心线的特征包括方向、位置和半径。

本发明实施例提取目标血管二维中心线的方向、位置和半径，以及目标血管三维中心线的方向、位置和半径，通过提取基于方向、位置和半径三个特征，使用三个特征对应的特征模型构建目标函数。本发明实施例基于血管中心线的多个特征进行配准，使得目标函数能够准确的衡量不同维度中心线之间的配准程度，提高了配准的精确度。

在上述实施例的基础上，本实施例中从目标血管的二维图像中提取目标血管的二维中心线的特征，从目标血管的三维图像中提取目标血管的三维中心线的特征的步骤具体包括：从目标血管的二维图像中提取目标血管的二维中心线的位置和半径，从目标血管的三维图像中提取目标血管的三维中心线的位置和半径；根据二维中心线中连续两个点的位置获取二维中心线的方向，根据三维中心线中连续两个点的位置获取三维中心线的方向。

具体地，从目标血管的二维中心线中提取出二维中心线的位置，即二维坐标。从目标血管的三维中心线中提取出三维中心线的位置，即三维坐标。从而获取二维中心线和三维中心线上各点的半径，并对得到的不同维度中心线上各点的半径进行邻域高斯平滑。对二维中心线上连续两个点的位置求差，获取二维中心线的方向。对三维中心线上连续两个点的位置求差，获取三维中心线的方向。

在上述实施例的基础上，本实施例中对二维中心线的特征和三维中心线的特征进行建模，获取二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型的步骤具体包括：基于高斯混合模型对二维中心线的位置和三维中心线的位置进行建模，获取二维中心线的位置对应的特征模型和三维中心线的位置对应的特征模型；基于修正的fisher混合模型对二维中心线的方向和三维中心线的方向进行建模，获取二维中心线的方向对应的特征模型和三维中心线的方向对应的特征模型；基于高斯分布对二维中心线的半径和三维中心线的半径进行建模，获取二维中心线的半径对应的特征模型和三维中心线的半径对应的特征模型。

具体地，在对血管二维中心线和三维中心线建模的过程中，使用高斯混合模型对二维中心线的位置和三维中心线的位置进行建模获取相应的特征模型，使用修正的fisher混合模型对二维中心线的方向和三维中心线的方向进行建模获取相应的特征模型，使用高斯分布模型对二维中心线的半径和三维中心线的半径进行建模获取相应的特征模型。其中，高斯混合模型是指将多个不同权值的高斯分布叠加而获取的模型。修正的fisher混合模型的公式如下：

其中，i0表示0阶贝塞尔函数，k为方向的权重，g和v为两个方向。

在上述实施例的基础上，本实施例中根据二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型构建目标函数的步骤具体包括：根据二维中心线的各特征对应的特征模型和三维中心线的各特征对应的特征模型，基于最大似然函数方法构建目标函数。

其中，最大似然函数提供了一种给定观察数据来估计模型参数的方法，首先假设所得的样本服从某一分布，目标是估计出分布中的参数，当得到这一组样本的概率最大时获取到模型的参数值。将二维中心线的各特征对应的特征模型和三维中心线的各特征对应的特征模型融合至最大似然函数框架中构建目标函数。

在上述实施例的基础上，本实施例中通过以下公式根据二维中心线的各特征对应的特征模型和三维中心线的各特征对应的特征模型，基于最大似然函数方法构建目标函数：

其中，n为二维中心线中的总点数，m为三维中心线中像素的总点数，当m＝m+1时，当m≠m+1时，w表示三维中心线中离群点所占比重，a表示三维中心线中点集的投影面积，an表示二维中心线的第n个点，bm表示三维中心线中的第m个点，p(an,bm|m)表示an与bm之间的相似度，表示二维中心线中第n个点的方向向量的转置，表示三维中心线中第m个点的方向向量，表示二维中心线中第n个点的位置，表示三维中心线中第m个点的位置，表示二维中心线中第n个点的半径，表示三维中心线中第m个点的半径，κ,σd,σr分别为κ表示方向的权重，σd表示位置的权重，σr表示半径的权重，表示三维中心线中第m个点的投影，表示三维中心线中第m个点形变后的投影，表示三维中心线的形变，i0表示0阶贝塞尔函数。

在上述各实施例的基础上，本实施例中基于粒子群优化算法对目标函数进行优化的步骤具体包括：根据预设搜索区域中对目标函数进行优化的各粒子的位置，计算出各粒子对应的目标函数值，将最大的目标函数值作为目标函数的当前最优值；根据当前最优值，对二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型进行更新；根据当前最优值和上次迭代中目标函数的最优值，对各粒子的位置进行更新，将更新位置后的粒子作为下一次对目标函数进行优化的粒子。

其中，预设搜索区域为预先设定的搜索区域，通过使用粒子群优化算法对目标函数进行最优值搜寻，根据每次迭代获取的目标函数最优值更新粒子所在的位置，直到目标函数最优值基本不发生改变或者达到预设迭代次数。在使用粒子群优化算法对目标函数进行优化时，首先初始化搜索区域、粒子数量、粒子位置、迭代次数、目标函数最优值的最小变化量、二维中心线的特征对应的特征模型的初始参数和三维中心线的特征对应的特征模型的初始参数。其中，目标函数最优值的最小变化量为相邻两次迭代获取的目标函数最优值之间差值的阈值。该阈值为预先设定的。然后在预设搜索区域中各粒子的位置，计算出各粒子对应的目标函数值，将最大的目标函数值作为目标函数的当前最优值。根据当前最优值，对二维中心线的特征对应的特征模型的初始参数和三维中心线的特征对应的特征模型的初始参数进行更新。判断当前最优值和上次迭代获取的目标函数的最优值之间的差值是否小于最小变化量，若大于最小变化量，则更新各粒子的位置，使用更新位置后的各粒子迭代执行上述对目标函数优化的步骤，直到当前最优值和上次迭代获取的目标函数的最优值之间的差值小于或等于最小变化量。

在本发明实施例的另一个实施例中提供一种血管二维中心线和三维中心线配准的装置，该装置用于实现前述各实施例中的方法。因此，在前述血管二维中心线和三维中心线配准的方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图2为本发明实施例提供的血管二维中心线和三维中心线配准的装置整体结构示意图，该装置包括提取模块201、构建模块202和优化模块203；其中：

提取模块201用于从目标血管的二维图像中提取目标血管的二维中心线的特征，从目标血管的三维图像中提取目标血管的三维中心线的特征；

其中，目标血管为需要进行二维中心线和三维中心线配准的血管。二维中心线为从目标血管的二维图像中提取出的中心线，其位置为二维坐标。三维中心线为从目标血管的三维图像中提取出的中心线，其位置为三维坐标。提取模块201从二维中心线中提取出二维中心线的一个或多个特征，从三维中心线中提取出三维中心线的一个或多个特征。其中，二维中心线的特征与三维中心线的特征一一对应，例如二维中心线的位置特征对应有三维中心线的位置特征。本发明实施例不限于二维中心线和三维中心线的提取方法，也不限于二维中心线和三维中心线的各特征的提取方法。

构建模块202用于对二维中心线的特征和三维中心线的特征进行建模，获取二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型，根据二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型构建目标函数；

构建模块202对二维中心线的每个特征和三维中心线的每个特征进行建模，即用模型表示二维中心线的每个特征和三维中心线的每个特征。二维中心线的特征对应的特征模型是指用于表示二维中心线的每个特征的模型。三维中心线的特征对应的特征模型是指用于表示三维中心线的每个特征的模型。根据二维中心线的特征对应的特征模型和三维中心线的特征对应的模型构建目标函数。

优化模块203用于基于粒子群优化算法对目标函数进行优化，根据优化后的目标函数对二维中心线和三维中心线进行配准。

其中，粒子群优化算法首先初始化一群随机粒子，即随机解，然后通过迭代找到最优解。在每次迭代中，粒子通过跟踪两个极值进行自我更新，直到达到结束条件。一个极值为粒子本身所找到的最优解，这个解叫做个体极值，另一个极值为整个种群目前找到的最优解，这个极值为全局极值。优化模块203基于粒子群优化算法对目标函数进行优化和目标函数中特征模型参数的再估计。在目标函数的优化过程中，建立最大期望的迭代数学框架，将粒子群的优化算法融入数学框架之中，在一定搜索区域内通过随机分布粒子进行最优值搜索，在得到本轮的最优值之后，根据期望最大化的方法计算出特征模型的估计参数，直到达到结束条件。根据优化后的目标函数对血管二维中心线和三维中心线进行配准。其中，血管二维中心线和三维中心线配准是指通过x轴偏移、y轴偏移和z轴偏移的变换方式使得血管二维中心线和三维中心线的物理坐标得到最大程度的对应。

本发明实施例为实现不同维度的血管中心线的配准，先提取血管二维中心线和三维中心线的特征，并对特征进行建模，然后根据特征模型构建目标函数，随后使用粒子群优化算法对目标函数进行优化和目标函数中的特征模型参数再估计，根据优化后的目标函数对不同维度的血管中心线进行配准，从而实现血管二维中心线和三维中心线的自动配准，使用粒子群的启发式算法可以有效的跳出优化目标函数过程中的局部极小值，得到全局最优值，提高了配准的准确性。

在上述实施例的基础上，本实施例中二维中心线的特征包括方向、位置和半径，三维中心线的特征包括方向、位置和半径。

在上述实施例的基础上，本实施例中提取模块具体用于：从目标血管的二维图像中提取目标血管的二维中心线的位置和半径，从目标血管的三维图像中提取目标血管的三维中心线的位置和半径；根据二维中心线中连续两个点的位置获取二维中心线的方向，根据三维中心线中连续两个点的位置获取三维中心线的方向。

在上述实施例的基础上，本实施例中构建模块具体用于：基于高斯混合模型对二维中心线的位置和三维中心线的位置进行建模，获取二维中心线的位置对应的特征模型和三维中心线的位置对应的特征模型；基于修正的fisher混合模型对二维中心线的方向和三维中心线的方向进行建模，获取二维中心线的方向对应的特征模型和三维中心线的方向对应的特征模型；基于高斯分布对二维中心线的半径和三维中心线的半径进行建模，获取二维中心线的半径对应的特征模型和三维中心线的半径对应的特征模型。

在上述实施例的基础上，本实施例中构建模块具体用于：根据二维中心线的各特征对应的特征模型和三维中心线的各特征对应的特征模型，基于最大似然函数方法构建目标函数。

在上述各实施例的基础上，本实施例中构建模块具体通过以下公式根据二维中心线的各特征对应的特征模型和三维中心线的各特征对应的特征模型，基于最大似然函数方法构建目标函数：

其中，n为二维中心线中的总点数，m为三维中心线中像素的总点数，当m＝m+1时，当m≠m+1时，w表示三维中心线中离群点所占比重，a表示三维中心线中点集的投影面积，an表示二维中心线的第n个点，bm表示三维中心线中的第m个点，p(an,bm|m)表示an与bm之间的相似度，表示二维中心线中第n个点的方向向量的转置，表示三维中心线中第m个点的方向向量，表示二维中心线中第n个点的位置，表示三维中心线中第m个点的位置，表示二维中心线中第n个点的半径，表示三维中心线中第m个点的半径，κ,σd,σr分别为κ表示方向的权重，σd表示位置的权重，σr表示半径的权重，表示三维中心线中第m个点的投影，表示三维中心线中第m个点形变后的投影，表示三维中心线的形变，i0表示0阶贝塞尔函数。

在上述各实施例的基础上，本实施例中优化模块具体用于：根据预设搜索区域中对目标函数进行优化的各粒子的位置，计算出各粒子对应的目标函数值，将最大的目标函数值作为目标函数的当前最优值；根据当前最优值，对二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型进行更新；根据当前最优值和上次迭代中目标函数的最优值，对各粒子的位置进行更新，将更新位置后的粒子作为下一次对目标函数进行优化的粒子。

本实施例提供一种电子设备，图3为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器301、至少一个存储器302和总线303；其中，

处理器301和存储器302通过总线303完成相互间的通信；

存储器302存储有可被处理器301执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：从目标血管的二维图像中提取目标血管的二维中心线的特征，从目标血管的三维图像中提取目标血管的三维中心线的特征；对二维中心线的特征和三维中心线的特征进行建模，获取二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型，根据二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型构建目标函数；基于粒子群优化算法对目标函数进行优化，根据优化后的目标函数对二维中心线和三维中心线进行配准。

本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：从目标血管的二维图像中提取目标血管的二维中心线的特征，从目标血管的三维图像中提取目标血管的三维中心线的特征；对二维中心线的特征和三维中心线的特征进行建模，获取二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型，根据二维中心线的特征对应的特征模型和三维中心线的特征对应的特征模型构建目标函数；基于粒子群优化算法对目标函数进行优化，根据优化后的目标函数对二维中心线和三维中心线进行配准。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的电子设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。