一种图像实时配准方法及系统与流程

本发明属于图像配准领域，更具体地，涉及一种医学图像实时配准方法及系统。
背景技术：
：图像配准广泛应用于临床医学、航空遥感、公安刑侦等领域，围绕该问题展开了大量而深入的研究。医学图像中有大量的2D-3D图像配准的问题，现行的2D-3D配准方法基本可描述为：从不同的角度和位置获得3D数据的切面图，比较切面图与实际的二维图像，根据相似度最优的原则，得到2D图像在3D数据中的位置。根据以上分析，已有的2D-3D图像配准，严格说是粗配准，主要采用的策略是接近穷举的方法或辅助于人工交互，为提高计算效率，金字塔方法及GPU被采用，对金字塔策略而言，在高级别层上通过少量的计算，为后续匹配提供较小的搜索范围；GPU的优势体现在数值计算方面，对逻辑性判断较多的计算过程，其加速比是有限的。据报道，2D-3D图像的配准速度在2s～15s，GPU加速的情况下，配准的速度在1s左右，距离实时性的要求还是有相当的差距。因此，建立一种快速且无损的配准方法具有十分重要的意义。技术实现要素：针对现有技术的以上缺陷或改进需求，本发明提供了一种基于卷积神经网络的2D-3D实时配准方法，将卷及神经网络引入到配准中，其目的在于模拟实际生物的神经网络，通过其优异的特征学习能力达到实时的2D-3D配准，由此解决现有技术配准方法准确性低、鲁棒性低的技术问题。为实现上述目的，按照本发明的一个方面，提供了一种图像实时配准方法，其特征在于，包括以下步骤：(1)采集待配准的2D图像数据；(2)将步骤(1)中获得的待配准的2D图像数据，输入根据目标3D图像训练得到的配准用神经网络，获得所述2D图像在所述目标3D图像中位置信息；所述位置信息包括待配准2D图像在目标3D图像坐标系中的特征向量及与坐标系原点的距离；所述特征向量为经过坐标系原点且垂直于所述2D图像平面的向量，包括仰角和方位角两个参数。优选地，所述图像实时配准方法，其步骤(1)所述待配准的2D图像数据与目标3D图像数据为同源数据。优选地，所述图像实时配准方法，其当直接采集得到的2D图像数据与目标3D图像数据为不同源数据时，步骤(1)包括以下子步骤：将直接采集得到的2D图像数据转换为与目标3D图像数据同源的2D图像数据，作为待配准的2D图像数据。优选地，所述图像实时配准方法，其所述根据目标3D图像训练得到的配准用神经网络，按照如下方法获取：(2-1)获取目标3D图像；(2-2)抽取切面数据：从步骤(2-1)中获得的目标3D图像中抽取切面；(2-3)设置神经网络模型参数；(2-4)根据步骤(2-2)中获取的切面数据训练步骤(2-3)中获得的神经网络参数模型，得到所述配准用神经网络。优选地，所述图像实时配准方法，其步骤(2-2)所述切面满足以下条件：θ∈[0,360)；其中，l为所述目标3D图像数据中的长，w为所述目标3D图像数据中的宽，h为所述目标3D图像数据中的高。优选地，所述图像实时配准方法，其步骤(2-3)所述的神经网络模型优选为卷积神经网络模型；所述卷积神经网络模型包括依次链接的卷积层、池化层、卷积层、池化层、全连接层、激励层和全连接层。优选地，所述图像实时配准方法，其所述卷积神经网络其所述全连接层输出为3，即待配准2D图像的特征向量仰角特征向量的方位角θ和与坐标系原点的距离r。优选地，所述图像实时配准方法，其步骤(2-4)具体为：将步骤(2-2)中获得的切面数据输入步骤(2-3)中获得的神经网络参数模型，设置训练解决方案参数并初始化网络参数，迭代更新权重，得到所述配准用神经网络。优选地，所述图像实时配准方法，其步骤(2-4)所述训练解决方案参数中学习率优选设置为0.0001。按照本发明的另一方面，提供了一种图像实时配准系统，包括：图像采集模块，用于采集待配准的2D图像数据；配准模块，用于将图像采集模块获得的待配准的2D图像数据，输入根据目标3D图像训练得到的配准用神经网络，获得所述2D图像在所述目标3D图像中位置信息；所述位置信息包括待配准2D图像在目标3D图像坐标系中的特征向量及与坐标系原点的距离；所述特征向量为经过坐标系原点且垂直于所述2D图像平面的向量，包括仰角和方位角两个参数。总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：1、将深度学习引入到2D-3D配准的问题中，将2D与3D的对应关系表达为一个深度卷积神经网络，从理论上探索一种解决穷举计算问题的策略，以达到实时配准的目的。2、训练网络的合理设计，为准确训练提供了保障并且对结果优化有着重要影响。3、解决方案参数的合理设置，在保证结果准确的前提下进一步缩短了网络训练的时间。4、训练时调用GPU，大幅度提高了训练数据。附图说明图1本发明配准流程图；图2抽取切面原理图；图3深度卷积神经网络结构图；图4待配准的3D医学数据图；图5待配准的3D医学数据中心处三个断面图像；图6真实切面与测试切面绝对残差图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。一种图像时是配准方法，包括以下步骤：(1)采集待配准的2D图像数据。所述待配准的2D图像数据与目标3D图像数据为同源数据，当直接采集得到的2D图像数据与目标3D图像数据为不同源数据时，将直接采集得到的2D图像数据转换为与目标3D图像数据同源的2D图像数据，作为待配准的2D图像数据。(2)将步骤(1)中获得的待配准的2D图像数据，输入根据目标3D图像训练得到的配准用神经网络，获得所述2D图像在所述目标3D图像中位置信息；所述位置信息包括待配准2D图像在目标3D图像坐标系中的特征向量及与坐标系原点的距离；所述特征向量为经过坐标系原点且垂直于所述2D图像平面的向量，包括仰角和方位角两个参数。所述根据目标3D图像训练得到的配准用神经网络，按照如下方法获取：(2-1)获取目标3D图像；(2-2)抽取切面数据：从步骤(2-1)中获得的目标3D图像中抽取切面，所述切面的特征向量仰角特征向量的方位角θ和与坐标系原点的距离r满足以下条件：θ∈[0,360)；其中，l为所述目标3D图像数据中的长，w为所述目标3D图像数据中的宽，h为所述目标3D图像数据中的高。(2-3)设置神经网络模型参数；所述神经网络模型优选为卷积神经网络模型；所述卷积神经网络模型包括依次链接的卷积层、池化层、卷积层、池化层、全连接层、激励层和全连接层。所述全连接层输出为3，即待配准2D图像的特征向量仰角特征向量的方位角θ和与坐标系原点的距离r。(2-4)根据步骤(2-2)中获取的切面数据训练步骤(2-3)中获得的神经网络参数模型，得到所述配准用神经网络。将步骤(2-2)中获得的切面数据输入步骤(2-3)中获得的神经网络参数模型，设置训练解决方案参数并初始化网络参数，迭代更新权重，得到所述配准用神经网络。所述训练解决方案参数中学习率优选设置为0.0001，即每训练10000次学习率下降为原学习率的1/10，动量momentum设为0.9，权值衰减惩罚项weight_decay设为0.00003。为了方便观察训练过程中的网络变化，设置每100次显示一次loss值，每500次测试一次，每1000次保存一次网络结构。以下为实施例：实施例1(1)采集待配准的2D图像数据。待配准的2D图像为CT数据。(2)将步骤(1)中获得的待配准的2D图像数据，输入根据目标3D图像训练得到的配准用神经网络，获得所述2D图像在所述目标3D图像中位置信息；所述位置信息包括待配准2D图像在目标3D图像坐标系中的特征向量及与坐标系原点的距离；所述特征向量为经过坐标系原点且垂直于所述2D图像平面的向量，包括仰角和方位角两个参数。所述根据目标3D图像训练得到的配准用神经网络，按照如下方法获取：(2-1)获取目标3D图像；(2-2)抽取切面数据：从步骤(2-1)中获得的目标3D图像中抽取切面，所述切面的特征向量仰角特征向量的方位角θ和与坐标系原点的距离r满足以下条件：θ∈[0,360)；其中，l为所述目标3D图像数据中的长，w为所述目标3D图像数据中的宽，h为所述目标3D图像数据中的高。(2-3)设置神经网络模型参数；所述神经网络模型优选为卷积神经网络模型；所述卷积神经网络模型包括依次链接的卷积层、池化层、卷积层、池化层、全连接层、激励层和全连接层。所述全连接层输出为3，即待配准2D图像的特征向量仰角特征向量的方位角θ和与坐标系原点的距离r。参数设置为：训练块小为32，测试块大小为16，第一个卷积层模板大小设置为10×9×9，第一个池化层尺寸为3，第二个卷积层模板大小设置为5×7×7，第二个池化层尺寸为4，第一个全连接层输出为200，激励层采用ReLU，最后一个全连接层输出为3。残差由欧几里得距离产生，采用随机梯度下降法进行权重的优化迭代。(2-4)根据步骤(2-2)中获取的切面数据训练步骤(2-3)中获得的神经网络参数模型，得到所述配准用神经网络。将步骤(2-2)中获得的切面数据输入步骤(2-3)中获得的神经网络参数模型，设置训练解决方案参数并初始化网络参数，迭代更新权重，得到所述配准用神经网络。设置学习率为0.0001，每训练10000次学习率下降为原学习率的1/10，动量momentum设为0.9，权值衰减惩罚项weight_decay设为0.00003。为了方便观察训练过程中的网络变化，设置每100次显示一次loss值，每500次测试一次，每1000次保存一次网络结构。测试所述配准用神经网络，评价配准的准确性以及鲁棒性，具体如下：选取loss值尽可能小的一个网络结构，运用测试数据两种进行测试。第:1种测试为：将测试数据输入网络，得到的标签值与测试数据的真实标签值作对比，我们认为误差在一定范围内是满足条件的；第2种测试为：将测试数据输入网络，得到一组标签值，将以此组标签值得到的切面图像与测试图像进行对比。表1展示了第一种测试的结果，图6和表2展示了第二种测试的结果。测试1：表1表示3个标签的测试值与真实值的绝对值误差同时满足在同一个范围内时的准确率(测试图像为598幅)：表1标签误差与准确率关系表误差值准确率290.47％397.66％499.00％599.67％699.83％7100％8100％训练数据采样间隔为5，上表可以看出误差满足小于等于5时，准确率可以达到98.05％，因此我们认为准确率小于等于采样间隔时满足我们配准的需求。同时，在普通个人电脑上，配准过程小于10ms(配准过程无GPU加速)，完全满足实时性的要求。测试2：将一张测试的真实图像作为输入图像，得到的标签值分别为(23.40707416.62757179.137238)，由标签值可以得到对应的切面估计图像，图6standard为估计图像与输入图像的绝对误差图。图6(a)-(f)分别表示6中不同标签得到的估计图像与输入图像的绝对误差图。为了方便查看，我们将绝对误差图进行了数值翻转。表2展示了图6的估计图像的标签值和对应绝对误差图翻转前MSE：表2估计图像标签值与绝对误差MSE表图6和表2可以很明显的看出，我们得到的标签值对应的估计图像与原始图像最为接近，因此也验证我们方法的正确性。本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页1 2 3