预测血管树血管路径上的血流特征的深度学习模型和系统的制作方法
本申请为申请日为2017年4月1日、申请号为201710213469.7且发明名称为“预测血管树血管路径上的血流特征的深度学习模型和系统”的中国发明申请的分案申请。
本发明涉及人工智能领域，特别涉及一种预测血管树的血管路径上的血流特征的深度学习模型、其建立方法、其建立装置、利用其的预测装置，以及一种用于预测血管树的血管路径上的血流特征的系统。
背景技术：
在人体生理学及流体动力学中，特别是在要求精确数据的血液动力学中，获取大量的血液在相应血管路径中不同点处的血流特征，例如血流储备分数(fractionalflowreserve,ffr)等，具有极其重要的意义，但是目前基于人工智能方法获取血管路径中不同点处的血流特征比如血流储备分数时采用传统的机器学习方法，只考虑血管路径当前点的特征(参见amachinelearningapproachforcomputationoffractionalflowreservefromcoronarycomputedtomography.articlesinpress.japplphysiol(april14,2016).doi:10.1152/japplphysiol.00752.2015，下文中会详述)，但是这类方法忽略了血管路径的序列关系，从而无法利用整个血管所提供的序列信息来对整个血管进行全局化考虑以获取准确的血流特征(例如血流储备分数等)，因此是一种局部优化方法。
近期的研究表明，基于ffr的血液动力学特性是用以确定、评估动脉疾病患者的最佳治疗方式的重要指标。这些准确的血流特征诸如血流储备分数、血管狭窄度相关的结构特征比如血管半径、血流压力降、血流量等，可以提供给医生，由其据此对血管状况进行评估。例如大量的临床试验证明，ffr可以很好地指导冠状动脉狭窄及其他血管疾病的治疗，如果ffr值大于0.8，通常选择药物治疗，如果ffr值小于或等于0.8则考虑采用介入治疗的方法。
侵入式定量测量、评估人体血管疾病是现在临床的标准，但是，因为与侵入性测量相关联的风险和开支，越来越多的研究应用新一代非侵入式方法来评估人体的血流特性及血管疾病。
非侵入式测量通常使用计算机断层扫描ct来确定患者的血管几何模型，并且这个模型在计算上用以使用具有适当生理学边界条件和参数的计算流体力学(cfd)来模拟血流(该实现方法可以参考以下文献，baumanns,wangr,schoepfj,steinbergd,spearmanj,bayerr,hammc,renkerm.coronaryctangiography-derivedfractionalflowreservecorrelatedwithinvasivefractionalflowreservemeasurementsinitialexperiencewithanovelphysician-drivenalgorithm.eurradiol25:1201–1207,2015)。但是cfd计算模拟通常要求大量的计算负担，使这些虚拟的非侵入性测量难以在实时临床环境中执行。
近年来深度学习在图像、语音和自然语言处理等各项领域中已经取得了突破性的进展。其中，mlnn(multilayerneuralnetwork)是一种基于全连接层的神经网络，输入层接受输入，而每层网络上节点都和下一层网络上的所有节点相连接，值得指出的是这里节点不同于血管路径上的点，特指的是网络节点，也称为神经元。该方法已经被尝试应用于点层面ffr值的预测，例如参见前面提到的amachinelearningapproachforcomputationoffractionalflowreservefromcoronarycomputedtomography.articlesinpress.japplphysiol(april14,2016).doi:10.1152/japplphysiol.00752.2015，文中提出了预测ffr可以通过一种基于机器学习的模型实现，模型训练可以应用在一个大型数据库综合产生的冠状动脉信息，其中目标值使用基于物理模拟计算结果，训练好的模型预测沿冠状动脉树中心线的每个点的ffr值，并对其性能进行比较。
但是包括该文在内的现有算法几乎都仅仅对血管路径上单点进行ffr值预测，属于一种局部优化的方法，这些基于点层面的机器学习模型没有考虑到血管中的血流特性的序列关系，无法利用整条血管所提供的序列信息来对整条血管进行全局优化并预测整条血管路径上的ffr值，导致预测结果不够精确。
此外，在图像和信号分析领域，深度序列学习算法，例如时间递归神经网络(rnn)，已经被应用于处理和分析序列数据。但是，目前还没有使用深度序列学习方法解决血流特征的建模和预测问题等方面的研究。
技术实现要素：
本发明实施例的目的在于提供一种预测血管树的血管路径上的血流特征的深度学习模型，一种建立用于预测血管树的血管路径上的血流特征的深度学习模型的方法，一种利用该深度学习模型来预测血管树的血管路径上的血流特征的预测装置，及一种用于预测血管树的血管路径上的血流特征的系统。该深度学习模型能够利用整条血管路径中各点之间的序列信息对整条血管进行全局优化，并能够精确预测整条血管路径上的血流特征(例如血流储备分数等)。
为了解决上述技术问题，本发明实施例采用了如下技术方案。
根据本发明的第一方案，提供了一种预测血管树的血管路径上的血流特征的深度学习模型，所述深度学习模型包括针对所述血管路径上各点设置的神经网络，接收所述血管路径上各点的影像特征、结构特征和功能特征中的至少一种特征作为输入，并预测所述血管路径上各点的血流特征作为输出，其特征在于：
所述深度学习模型接收的是所述血管路径上的点序列的影像特征、结构特征和功能特征中的至少一种特征，输出的是所述血管路径上的所述点序列的血流特征；并且
所述深度学习模型由递归神经网络建立，或者由多层神经网络与递归神经网络依序组合而成。
优选地，所述递归神经网络是双向递归神经网络，所述双向递归神经网络分别包含相互独立的正向处理层和反向处理层。
优选地，所述双向递归神经网络是双向长短期记忆递归神经网络或关口循环单元。
优选地，所述点序列中各点的影像特征、结构特征和功能特征中的至少一种特征是各点的影像、结构和功能中的相应至少一种的基本特征、基于所述基本特征推导得出的派生特征、或者其中两个以上特征的组合。
优选地，所述派生特征包括当前点变型特征、上游路径累积特征与下游路径累积特征。
优选地，所述递归神经网络被设置2层或3层。
优选地，所述血流特征包括血流储备分数、血流量、血流速度和血流压力降中的至少一种。
根据本发明的第二方案，提供了一种建立用于预测血管树的血管路径上的血流特征的深度学习模型的方法，其特征在于，所述深度学习模型接收所述血管路径上的点序列的影像特征、结构特征和功能特征中的至少一种特征，输出所述血管路径上的点序列的血流特征，并且所述深度学习模型由所述多层神经网络与递归神经网络依序组合而成，所述方法包括以下步骤：
获取所述血管路径的训练数据集，所述训练数据集包括所述血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征及相应各点的血流特征的数据对；
利用所述训练数据集，训练所述深度学习模型，直到目标函数收敛。
优选地，获取所述血管路径的训练数据集的步骤为以下步骤中的任何一种或多种：
提取血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征，其中，所述影像特征和结构特征从血管树的训练医疗图像提取得到，所述功能特征通过由血管树的医疗图像估算、临床检测、经验公式和仿真建模中的至少一种方式得到，并通过仿真模拟或临床检测得出血管路径上的点序列的相应各点的血流特征；
调用患者的血管树的历史数据集，并从中提取所述血管路径的训练数据集。
优选地，所述方法是线下执行的。
优选地，所述血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征是各点的影像、结构和功能中的至少一种的基本特征、基于所述基本特征推导得出的派生特征、或者其中至少两个特征的组合。
优选地，所述派生特征包括当前点变型特征、上游路径累积特征与下游路径累积特征。
优选地，所述方法还包括：在训练所述深度学习模型之前，设置所述深度学习模型的相关参数，所述相关参数包括以下中的任何一种：
所述多层神经网络层的类别和层数，每层网络的点数；
所述递归神经网络中隐藏层的数量，学习率，初始值。
优选地，所述深度学习模型的所述相关参数的最优值通过交叉验证来确定。
优选地，所述血流特征包括血流储备分数、血流量、血流速度和血流压力降中的至少一种。
根据本发明的第三方案，提供了一种利用前述的深度学习模型来预测血管树的血管路径上的血流特征的预测装置，其特征在于，所述预测装置包括：
检测图像获取单元，用于获取所述血管树的检测医学图像并传输给第二提取计算单元；
所述第二提取计算单元，用于从所述检测医学图像提取各条血管路径上的点序列中各点的影像特征、结构特征和功能特征中的至少一种特征并输出；以及
训练好的所述的深度学习模型，其输入连接到所述第二提取计算单元的输出，以便其基于所提取的各条血管路径上的点序列中各点的影像特征、结构特征和功能特征中的至少一种特征，来预测计算各条血管路径上的点序列中各点的血流特征。
优选地，所述血管路径能够设置为与另一血管路径部分重叠，所述预测装置包括求平均单元，用于对重叠部分取多次计算的血流特征的均值作为最终的血流特征。
优选地，所述预测装置是线上执行的。
优选地，所提取的各条血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征和所预测得到的各条血管路径上的点序列的相应各点的血流特征，能够被存储作为患者的血管树的历史数据集，以供下一次调用作为训练数据集。
优选地，所述血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征是各点的影像、结构和功能中的至少一种的基本特征、基于所述基本特征推导得出的派生特征、或者其中至少两个特征的组合。
优选地，所述派生特征包括：当前点变型特征，上游路径累积特征与下游路径累积特征。
优选地，所述血流特征包括血流储备分数、血流量、血流速度和血流压力降中的至少一种。
优选地，所述预测装置包括：
存储器，存储计算机可执行指令以及在执行所述计算机可执行指令时使用或生成的数据；
处理器，通信地联接到存储器，并配置为执行存储器中存储的所述计算机可执行指令，所述计算机可执行指令在被执行时，实现如下的步骤：
获取所述血管树的检测医学图像；
从所述检测医学图像提取各条血管路径上的点序列中各点的影像特征、结构特征和功能特征中的至少一种特征并输出到训练好的深度学习模型；以及
利用训练好的所述的深度学习模型，基于所提取的各条血管路径上的点序列中各点的影像特征、结构特征和功能特征中的至少一种特征，来预测计算各条血管路径上的点序列中各点的血流特征。
根据本发明的第四方案，提供了一种建立用于预测血管树的血管路径上的血流特征的深度学习模型的建立装置，其特征在于，所述深度学习模型接收所述血管路径上的点序列的影像特征、结构特征和功能特征中的至少一种特征，输出所述血管路径上的点序列的血流特征，并且所述深度学习模型由所述多层神经网络与递归神经网络依序组合而成，所述建立装置包括：
获取单元，用于获取并输出所述血管路径的训练数据集，所述训练数据集包括所述血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征及相应各点的血流特征的数据对；
训练单元，从所述获取单元接收训练数据集并与所述深度学习模型交互，以利用所述训练数据集，训练所述深度学习模型，直到目标函数收敛。
优选地，所述获取单元包括：
训练图像获取单元，用于获取血管树的训练医学图像；
第一提取计算单元，用于从所述训练图像获取单元接收血管树的训练医学图像，并能够从其提取血管路径上的点序列的各点的影像特征或结构特征，其中，所述功能特征能够由所述第一提取计算单元通过由血管树的训练医疗图像估算、经验公式和仿真建模中的至少一种方式得到，或者，所述功能特征能够通过临床检测得到并传输到所述第一提取计算单元；
血流特征获取单元，用于接收通过仿真模拟或临床检测得出的血管路径上的点序列的相应各点的血流特征。
优选地，所述建立装置包括：
存储器，存储计算机可执行指令以及在执行所述计算机可执行指令时使用或生成的数据；
处理器，通信地联接到存储器，并配置为执行存储器中存储的所述计算机可执行指令，所述计算机可执行指令在被执行时，实现如下的步骤：
获取所述血管路径的训练数据集，所述训练数据集包括所述血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征及相应各点的血流特征的数据对；
利用所述训练数据集，训练所述深度学习模型，直到目标函数收敛。
根据本发明的第五方案，本发明提供了一种用于预测血管树的血管路径上的血流特征的系统，所述系统包括：
根据前述的建立装置；
根据前述的深度学习模型，其与所述建立装置中的获取单元和训练单元相连，以由训练单元利用获取单元输出的训练数据集进行训练，以得到训练好的深度学习模型；以及
根据前述的预测装置。
本发明实施例的有益效果在于：该深度学习模型能够利用整条血管中各点之间的序列信息对整条血管进行全局优化，并能够精确、快速预测整条血管路径上的血流特征(例如血流储备分数等)，并且能够一次全部预测任意长度血管上的所有血流储备分数等血流特征，极大提高计算效率，鲁棒性及大批量数据的处理，而无需过多的人工干预。
附图说明
图1(a)-(d)为根据本发明实施例的一种预测血管树的血管路径上的血流特征的深度学习模型的各种示例；
图2是根据本发明优选实施例的一种预测血管树的血管路径上的血流特征的深度学习模型的图示；
图3是使用roc作为评测标准、单独使用现有的多层神经网络与多层神经-rnn组合网络的预测效果的对比图示；
图4是根据本发明又一优选实施例的包括线下训练深度学习模型的线下训练过程和利用训练好的深度学习模型来预测血管路径上的血流特征的线上预测过程的总体流程图；
图5是根据本发明又一实施例的用于建立用于预测血管树的血管路径上的血流特征的深度学习模型的方法的流程图；
图6是根据本发明又一实施例的利用深度学习模型来预测血管树的血管路径上的血流特征的预测装置的图示；
图7是根据本发明又一实施例的一种建立用于预测血管树的血管路径上的血流特征的深度学习模型的建立装置的图示；以及
图8是根据本发明再一实施例的一种实现所述预测装置和/或建立装置的处理设备的图示。
具体实施方式
为使本领域技术人员更好地理解本发明，下面参照附图对本发明的实施例进行详细说明，但不作为对本发明的限定。
深度学习模型
神经网络算法是一种模仿大脑神经网络行为，进行分布式并行信息处理的算法数学模型，这种网络依靠系统的复杂程度，通过调整内部神经元之间相互连接的关系，从而达到处理信息的目的。
本发明提出了一种预测血管树的血管路径上的血流特征的深度学习模型，深度学习模型包括针对血管路径上各点设置的神经网络，接收血管路径上各点的影像特征、结构特征和功能特征中的至少一种特征作为输入，例如图2中的输入特征x1，x2，x3…xt，并预测血管路径上各点的血流特征作为输出，例如图2中的输出层输出的y1，y2，y3…yt。该深度学习模型接收的是血管路径上的点序列的影像特征、结构特征和功能特征中的至少一种特征，输出的是血管路径上的点序列的血流特征；并且深度学习模型由递归神经网络(rnn)建立，或者由多层神经网络(mlnn)与递归神经网络依序组合而成，如图2或图1(a)-(d)所示。所述点序列中各点的影像特征、结构特征和功能特征中的至少一种特征是各点的影像、结构和功能中的相应至少一种的基本特征、基于所述基本特征推导得出的派生特征、或者其中两个以上特征的组合。具体说来，所述基本特征是当前点的基本特征，而派生特征则是当前点的扩展部的综合特征，例如包括当前点的变型特征，当前点上游的路径的累积特征，当前点下游的路径的累积特征等，当前点的扩展不限于这些示例，综合特征的示例也不限于这些示例。优选地，影像上的基本特征包括但不限于血管路径上的点序列的图像亮度、梯度以及纹理特征、梯度直方图(histogramofgradient,hog)特征、尺度不变特征转换(scale-invariantfeaturetransform，sift)等特征。此外，影像上的基本特征还包括基于图像分割结果的特征，例如心房体积、壁厚等。优选地，结构上的基本特征包括但不限于3d或者2d血管结构(3d影像对应3d血管结构，2d影像对应2d血管结构)、2d或1d血管横截面结构(3d影像对应2d横截面结构，2d影像对应1d横截面结构)以及1d中心线结构相关联的特征，例如，3d(2d)血管结构特征包括体积等，2d(1d)血管横截面结构特征包括横截面积、等效半径，偏心率等，1d中心线结构特征包括血管半径、弯曲度、长度；此外结构上的基本特征还包括狭窄特征，所述狭窄特征是血管狭窄处相较所述点序列中的相邻点产生突变的特征，因此能够表征狭窄的存在。例如但不作为限制，所述狭窄特征可以包括：血管路径上点序列的血管截面的面积减小率，以及根据面积减小率判断出的狭窄位置、狭窄长度等。优选地，功能上的基本特征包括但不限于与血流动力学相关特征，例如(通过临床检测得到的)血流粘度等特性、采用经验公式估算的压力、血流流量或流速或阻力等、或者采用简易模型估算的压力、血流流量或流速或阻力等、或者基于影像估算的血流速度、血流量等。下文中会对功能上的基本特征及其提取的方法进行详细描述，在此不赘述。
点序列为血管路径上点和点之间构成的序列，而递归神经网络(recurrentneuralnetwork，rnn，在此可以参看以下文献：acriticalreviewofrecurrentneuralnetworksforsequencelearninghttps://arxiv.org/abs/1506.00019)是一种具有固定的权值、外部的输入和内部的状态的神经网络，可将其看作以权值和外部输入为参数的，关于内部状态的行为动力学，在本领域中能够获取各种公开的资源例如以上的文献让本领域技术人员实现rnn的架构和设置。在本发明的一个实施例中，rnn被引入来处理血管状况相关的序列数据。rnn之所以称为递归神经网路，即一个序列当前点(或时间)的输出与前面的点(或时间)输出也有关，具体的表现形式为神经网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的神经元不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。对于一段血管路径而言，该血管路径上各点的影像特征、结构特征和功能特征中的至少一种特征和血流特征受到其以外的各点影响，离当前点越近的点对其影响越大。因此，相比于现有技术中仅对各个点进行孤立建模和预测的技术，针对所述血管路径上的点序列的影像特征、结构特征和功能特征中的至少一种特征、血流特征，利用rnn对所述血管路径上的点序列的影像特征、结构特征和功能特征中的至少一种特征进行分析并预测血流特征，更符合血管的实际生理属性。
图3是使用roc作为评测标准、单独使用现有的(amachinelearningapproachforcomputationoffractionalflowreservefromcoronarycomputedtomography.articlesinpress.japplphysiol(april14,2016).doi:10.1152/japplphysiol.00752.2015所公开的)多层神经网络(mlnn)与本发明的该多层神经网络-rnn网络的组合网络(如图2所示)的预测效果对比图示。具体说来，图3示出了利用多层神级网络(mlnn)和多层神经-rnn组合网络(如图2所示)，分别对心脏的ct数据取得的结构/流体参数-50个有创ffr测量值的数据集进行初步验证所得到的roc曲线。接受者操作特性曲线(receiveroperatingcharacteristiccurve)简称roc曲线。接受者操作特性曲线是在以假阳性概率(falsepositiverate)为横轴且击中概率为纵轴所组成的坐标图中，被预测数据在特定刺激条件下由于采用不同的判断标准得出不同结果，曲线下面积的数值越大表示预测值越接近真实测量值。
如图3所示，单独利用以上文献中公开的mlnn进行预测，曲线下面积为0.9，而在其上组合了上述rnn后，曲线下面积变为0.95，从此角度看来，rnn的引入提高了对于数据序列的预测的准确度。
以上的rnn的示例只是作为说明，rnn可以采取各种实现方式，例如可以采取长短期记忆递归神经网络(lstm)和关口循环单元(gru)等。
长短期记忆递归神经网络(lstm)(其详细说明可以参看longshort-termmemory(lstm).http://deeplearning.cs.cmu.edu/pdfs/hochreiter97_lstm.pdf，根据其中的具体介绍本领域技术人员能够适当地设置和实现lstm)是为了解决rnn模型梯度弥散的问题而提出的：在传统的rnn中，当时间比较长时，需要回传的残差会指数式下降，无法体现出rnn的长期记忆的效果，因此需要一个存储单元来存储记忆，因此lstm模型被提出；该模型通常比一般的rnns能够更好地对长短时依赖进行表达。
长短期记忆递归神经网络(lstm)通过引入关口(gate)和一个精确定义的记忆单元，解决梯度消失或者爆炸的问题。在一个实施例中，每一个神经元都有一个存储单元和三个关口：输入、输出和忽略。这些关口的功能是通过运行或者禁止流动来保证信息的安全，输入关口决定有多少上一层的信息可以存储到单元中；输出层承担了另一端的工作，决定下一层可以了解到多少这一层的信息；忽略关口可以在学习新的知识时忽略掉旧的信息。这些关口中的每一个神经元都对前一个神经元中的存储单元赋有权重，会需要更多资源来运行。
关口循环单元(gru)是lstm的一种轻量级变体。gru没有输入、输出和忽略关口，而是有一个更新关口(updategate)，该更新关口既决定来自上个状态的信息保留多少，也决定允许进入多少来自上一层的信息，gru速度更快，更容易运行。在实践中，当需要具有更大表达力的大型网络时，要考虑性能收益，彼此之间要做出平衡，需要配合使用gru与lstm。
图1(a)-(d)为根据本发明实施例的一种预测血管树的血管路径上的血流特征的深度学习模型的各种示例，其中使用的rnn模型均为lstm，其中的血流特征为血管路径上点序列的ffr。
在一个示例中，如图1(a)所示，深度学习模型仅由单层长短期记忆递归神经网络(lstm)构成，lstm获取血管路径上的点序列的影像特征、结构特征和功能特征中的至少一种特征作为输入，输出点序列的血流特征。
在另一个示例中，如图1(b)所示，深度学习模型包括一个多层神经网络和一个单层lstm，由多层神经网络从血管路径上获取点序列的影像特征、结构特征和功能特征中的至少一种特征并进行相应处理，最终由该单层lstm计算输出点序列的血流特征。
在又一个示例中，如图1(c)所示，深度学习模型包括一个多层神经网络和一个多层lstm(例如可以为三层lstm)依序组合而成，由多层神经网络获取血管路径上点序列的影像特征、结构特征和功能特征中的至少一种特征并进行相应处理，最终由该多层lstm进行层层计算输出点序列的血流特征。
在另一个示例中，如图1(d)所示，其中采用了三层lstmin-lstmout的架构。
以ffr作为输出的血流特征为例，以上几种深度学习模型在预测血管路径上的ffr时均表现了临床可接受的计算耗时和准确度，其中，图1(b)和图1(c)的深度学习模型优于图1(a)和图1(d)的深度学习模型。
图2是根据本发明优选实施例的一种预测血管树的血管路径上的血流特征的深度学习模型。例如，图2中包括了多层神经网络(mlnn)和递归神经网络(rnn)，其中多层神经网络可以根据需要灵活设计网络结构，可设计成卷积神经网络(convolutionneuralnetwork)，卷积神经网络的结构也可以根据需要灵活设计，可使用卷积层，全连接层，正则化层等层来构造网络；其中递归神经网络包括输入层、处理层和输出层。mlnn读入每个点的特征，其输出被传输到递归序列模型中，最终输出变量长度的预测结果。这是一个一般化的框架，根据不同的需求，rnn中的框架我们也可以使用gru代替lstm，整个结构是一个端对端(end-to-end)训练的深度学习模型，可以较好地整合点特征和序列数据特征来优化模型。
递归神经网络可以是双向递归神经网络，如图2所示，双向递归神经网络分别包含相互独立的正向处理层和反向处理层。对于双向递归神经网络(brnn)，在一个实施例中，假设当前的输出(第t步的输出)不仅仅与正向处理层(前面的序列)有关，并且还与反向处理层(后面的序列)有关。和单独使用正向或反向rnn相比，在预测t步的输出时所能使用的上下文信息更多，所以预测更准确，例如：预测一个语句中缺失的词语那么就需要根据上下文同时来进行预测更加准确。因此本实施例中双向递归神经网络分别包含相互独立的正向处理层和反向处理层，能够更加精确的表示出血管路径中某一点的血流特征。
我们将如图2所示的合并了mlnn和双向rnn(例如双向长短期记忆神经网络)的深度学习模型简称为dbl-rnn，具体来说，dbl-rnn可以处理变长输入(输入序列的长度是可变的)，输入序列的每个点单独传入到mlnn，每个点对应一个mlnn，所有mlnn的输出传入到双向多层rnn中(brnn)，并可以叠加多层双向rnn来优化序列模型。图2中示出了神经网络结构的细节。
一般来讲,当给定序列的输入和输出
可以采用反向传播来计算梯度
深度学习模型的建立和使用
下文中关于深度学习模型的建立和使用的描述中，所使用的深度学习模型是以上描述的各种深度学习模型，在此不予赘述。
在深度学习模型的使用方法上，如图4所示，在线下可以针对某一对象进行深度学习建模，并对建立好的模型进行线下训练，而训练好的模型便能够进行线上使用，例如基于某一对象对应的建立好的模型，利用该对象的血管路径上的点序列的影像特征、结构特征和功能特征中的至少一种特征进行计算，进而输出该对象的血流特征。神经网络具有多个神经元，此类神经元能够组成一个层次网络结构，当网络的层次有多种就可以构成多层神经网络，例如该层次可以包括输入层、隐藏层和输出层。所述点序列中各点的影像特征、结构特征和功能特征中的至少一种特征是各点的影像、结构和功能上的至少一种的基本特征(例如影像基本特征、结构基本特征、功能基本特征、影像-结构基本特征、结构-功能基本特征等等)、基于所述基本特征推导得出的派生特征、或者其中两个以上特征的组合；其中，影像上的基本特征包括但不限于血管路径上的点序列的图像亮度、梯度以及纹理特征、梯度直方图(histogramofgradient,hog)特征、尺度不变特征转换(scale-invariantfeaturetransform，sift)等特征。此外，影像上的基本特征还包括基于图像分割结果的特征，例如心房体积、壁厚等。优选地，结构上的基本特征包括但不限于3d或者2d血管结构(3d影像对应3d血管结构，2d影像对应2d血管结构)、2d或1d血管横截面结构(3d影像对应2d横截面结构，2d影像对应1d横截面结构)以及1d中心线结构相关联的特征，例如，3d(2d)血管结构特征包括体积等，2d(1d)血管横截面结构特征包括横截面积、等效半径，偏心率等，1d中心线结构特征包括血管半径、弯曲度、长度；此外结构上的基本特征还包括狭窄特征，所述狭窄特征是血管狭窄处相较所述点序列中的相邻点产生突变的特征，因此能够表征狭窄的存在。例如但不作为限制，所述狭窄特征可以包括：血管路径上点序列的血管截面的面积减小率，以及根据面积减小率判断出的狭窄位置、狭窄长度等。功能上的基本特征包括但不限于与血流动力学相关特征，例如(通过临床检测得到的)血流粘度等特性、采用经验公式估算的压力、血流流量或流速或阻力等、或者采用简易模型估算的压力、血流流量或流速或阻力等、或者基于影像估算的血流速度、血流量等。
所述基本特征包括以下的任何一种：所述点序列的各点的血管半径、所述各点在血管路径中的位置等，作为结构上的基本特征的示例；采用简易模型计算的从血管的入口到所述各点的压降、所述点序列的各点的流量等，作为功能上的基本特征的示例。
所述派生特征包括当前点变型特征，上游路径累积特征与下游路径累积特征。尤其，通过引入上游或下游路径的特征的累计得到累计特征，可以进一步考虑到前段和/或后段血管对当前点的血流特征(例如ffr)的影响。
当前点变型特征包括：各点的压降的梯度变化率、血管路径上的点序列的血管半径曲线上前一个波峰点处的半径值与到当前点处的半径的值的径向距离差、当前点的血管半径到血管半径的基准点之间的径向(最短)距离。所述血管半径的基准点是当没有发生狭窄时当前点应具有的血管半径，也称为基准血管半径，例如可以通过对血管路径上的点序列的血管半径进行对比分析，选取当前点附近的符合正常血管半径的变化规律的点序列，对其进行拟合方法来估计当前点的基准血管半径，拟合方法可以采用线性回归、曲线回归和样条拟合等等。上游路径累积特征包括：所述各点与血管入口的距离、与上游最近血管分叉处的距离、上游路径上分叉个数、上游最近分叉的面积、上游路径上点序列的平均半径、上游路径上点序列的最小与最大半径、以及与上游路径上最小半径点的距离。下游路径累积特征包括：所述各点离下游最近血管分叉处的距离、下游所有路径上分叉的个数、下游最近分叉的面积、下游所有路径上点序列的平均半径、下游路径上最小与最大半径、与下游路径上最小半径点距离、下游血管总阻力、下游所有出口的总阻力、下游所有出口平均阻力、下游出口平均面积、下游所有出口的最小与最大面积。
前文结构特征中提到狭窄特征是血管狭窄处相较所述点序列中的相邻点产生突变的特征，因此能够表征狭窄的存在。例如但不作为限制，所述狭窄特征可以包括：血管路径上点序列的血管截面的面积减小率，以及根据面积减小率判断出的狭窄位置。具体说来，通常从血管路径的干部到末端，各点的面积是逐渐减小的，而当发生狭窄时，血管截面会突然变小，导致面积减小率的突变。其中，面积减小率的计算，可以通过由所述点序列血管半径曲线的波峰点，采用线性回归方法得出基准半径，并在当前点血管半径小于基准半径情况下，计算减小面积与基准面积的比值。
其中，前面提到的部分功能基本特征可以通过经验公式推导，比如说血管流量分布规律的经验公式等；也可以通过简化的模型等到，这种简化模型包括降维的数值模拟(比如说1d血管模拟)，或者其他基于血管树状分布、分支与分支间的生物学关系与特性等估算，比如说后者，可以通过生物学的异速生长(allometricrelations)与尺度效应(scalinglaw)得出。异速生长与尺度效应是经长期科学研究发现的系统性的经验法则，对于几乎所有生物种群均适用的通用规律，用以描述比如新陈代谢、心跳率等各种生理特征与生物系统尺度如主动脉长度或左心室体积等的指数定律式关系。此外，一些功能基本特征也可以通过影像得到，比如数字减影血管造影(dsa)中造影剂的流动情况可以用来估算血液流速以及流量分布，ct血管灌注图像也可以用来估算血液在心肌中流量分布等。
其中，所述点序列中各点的影像特征、结构特征和功能特征中的至少一种特征可以采用其中两个以上特征的组合，比如基本特征之间的组合、派生特征之间的组合、以及基本特征和派生特征中不同类型的特征之间的组合等。
在本发明的一个实施例中，考虑到大量的分类问题是线性不可分的，递归神经网络被设置多层，克服了单层神经网络只能解决线性可分问题缺点。多层神经网络可以在输入层与输出层之间引入隐层作为输入模式的内部表示。在本发明的一个实施例中，递归神经网络被设置2层或3层(例如图2中的3层)。值得指出的是，一般而言神经网络的层数并不是越多越好，虽然精确度会随着层数的增加而增加，但会导致过度拟合问题，层数的增加占用了过多的系统资源也会对计算效率产生不利影响，经过大量的实验和经验判断，在本实施例中优选层数为2层或3层(例如图2中的3层)，这样可以保证根据血管路径上各点的影像特征、结构特征和功能特征中的至少一种特征作为输入计算相应各点的血流特征的计算速度和效率，同时也能得到精确的计算结果。
血流特征可以是医生能够用来判断血管生理状况的各种参数。在一种实施例中，血流特征包括血流储备分数、血流量、血流速度和血流压力降等多种特征。该血流特征也可以根据医生的偏好和需求来提供。
如图4的线下计算部分所示，本发明实施例还提供了一种建立用于预测血管树的血管路径上的血流特征的深度学习模型的方法，深度学习模型接收血管路径上的点序列的影像特征、结构特征和功能特征中的至少一种特征，输出血管路径上的点序列的血流特征，如图5所示，该方法包括以下步骤：
获取血管路径的训练数据集，训练数据集包括血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征及相应各点的血流特征的数据对；
利用训练数据集，使用随机梯度下降的方法训练深度学习模型，直到目标函数收敛。递归神经网络在构建过程中会出现一定的误差，但是在递归神经网络进行过多次(例如数百次或数千次)训练之后，其输出结果会非常接近客观数据，例如在学习或训练过程中改变某些神经元的权重值，以适应周围环境的要求使得输出结果更加接近客观，使得递归神经网络具有初步的自适应与自组织能力。利用训练数据集训练深度学习模型能够使该训练好的深度学习模型在使用时精确地输出血流特征。
对于训练深度学习模型的方式，在一种实施例中，使用随机梯度下降的方法训练深度学习模型，直到目标函数收敛；在另一种实施例中，可以进行有监督的学习，利用给定的样本标准进行分类或模仿；在又一种实施例中，可以进行无监督的学习，是只规定学习方式或某些规则，具体的学习内容随系统所处环境(即输入信号情况)而异，系统可以自动发现环境特征和规律性。
图4示出了获取血管路径的训练数据集的步骤，包括：提取血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征，其中，所述影像特征和结构特征从血管树的训练医疗图像(例如ct图像、血管数字减影造影dsa图像)提取得到，所述功能特征通过由血管树的训练医疗图像估算、临床检测、经验公式和仿真建模中的至少一种方式得到，并通过仿真模拟或临床检测得出血管路径上的点序列的相应各点的血流特征；其中，仿真建模可以是心血管电路网络仿真建模、机械建模(例如3d打印)流体进行流场测量等。调用患者的血管树的历史数据集，并从中提取所述血管路径的训练数据集。
当然，获取血管路径的训练数据集的方式并不限于此，例如采用人工合成方法得到训练数据集，比如通过模型算法产生人工的血管树结构，或者基于已有的影像数据，利用图像处理算法对图像直接进行修改，继而产生相应的血管树结构等。也可以是以下任何一种：通过临床检测的方式(例如通过手术的方式直接有创检测)获取训练数据集；调用患者的血管树的历史数据集，并从中提取血管路径的训练数据集，该历史数据集可以为对象历史上已经做出的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征-相应各点的血流特征的数据对的集合，如此即可直接调用作为训练数据集，也可以是仿真模拟前驱数据集或者已经临床测量得到的前驱数据集(前驱数据也就是从其可以提取训练数据对的数据)，例如可信任的机构历史上已经做出的数据集，其他机构可以经由网络共享和取用，所述网络可以是局域网(lan)、无线网络、云运算环境(例如，软件即服务、平台即服务、基础设施即服务)、客户端-服务器、广域网(wan)、等等。
在一种实施例中，建立用于预测血管树的血管路径上的血流特征的深度学习模型的方法是线下执行的。线下表示模型的训练过程可以提前计算好，而不需在计算对象的血流特征时再去着手建立相应的深度学习模型，节省了计算时间。
在一个实施例中，血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征是各点的相应的基本特征、派生特征、和/或两个以上其中特征的组合。在将特征表示为向量时，组合特征增加了作为深度学习模型的输入的向量的维度，而如上涉及的深度学习模型对输入的向量维度没有限制，因此提高了深度学习模型的应用灵活度，用户可以根据经验和需求来选择作为输入的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征的种类、维度。
在一个实施例中，上述方法还包括：在训练深度学习模型之前，设置深度学习模型的相关参数，相关参数包括以下中的任何一种：多层神经网络的层数(例如2层或3层)，每层网络的神经元数；递归神经网络中隐藏层的数量，学习率，初始值等信息。
在一个实施例中，深度学习模型的相关参数的最优值通过交叉验证来确定。例如进行k次交叉验证，将初始数据集分割成k个子样本，一个单独的子样本被保留作为验证模型的测试数据，其他k-1个样本用来训练，如此循环处理完成整个相关参数的最优值。
如图4的线上计算部分所示，预测过程包括如下步骤：经由ct机等各种成像装置获取所述血管树的检测医学图像；从所述检测医学图像提取各条血管路径上的点序列中各点的影像特征、结构特征和功能特征中的至少一种特征并输出；将所提取的各条血管路径上的点序列中各点的影像特征、结构特征和功能特征中的至少一种特征输入到训练好的深度学习模型，以便其基于所提取的各条血管路径上的点序列中各点的影像特征、结构特征和功能特征中的至少一种特征，所述至少一种特征可以是影像、结构和功能上的基本特征或派生特征或其任何组合等，来预测计算各条血管路径上的点序列中各点的血流特征(例如ffr)并输出。可以采用多种方法来提取各条血管路径上的点序列中各点的影像特征、结构特征和功能特征中的至少一种特征：以功能特征为例，从医疗图像(例如ct图像)重建血管树的结构模型，对血管树的结构模型利用生物学异速生长与尺度效应规律来估算出血管路径中各点与血流相关特征，如此推导出的流体特征准确率在60％-70％之间，医生无法直接用其来作为诊断的标准，但利用其作为输入使用训练好的深度学习模型预测的结果准确率可达到80％以上，从而可以直接用来作为诊断。以上仅仅是示例，提取各条血管路径上的点序列中各点的影像特征、结构特征和功能特征中的至少一种特征的方法并不限于这些。
通过将耗时且计算负担重的计算部分安排为线下执行，可以针对特定患者和/或医生的需求为其训练好计算效率高的深度学习模型。当需要预测患者的血流特征时，可以利用现成的已经训练好的且适用于该特定患者的深度学习模型来一次全部预测任意长度血管上所有血流特征，获取医学图像、特征提取和预测的时耗都是临床可接受的，从而使得能够在临床上运用深度学习模型来高效地预测血管路径上点序列的血流特征。
用于预测血管树的血管路径上的血流特征的系统
本发明实施例还提供了一种利用建立的深度学习模型来预测血管树的血管路径上的血流特征的预测装置，参见图6，该预测装置包括：
检测图像获取单元，用于获取所述血管树的检测医学图像并传输给第二提取计算单元；
所述第二提取计算单元，用于从所述检测医学图像提取各条血管路径上的点序列中各点的影像特征、结构特征和功能特征中的至少一种特征并输出；以及
训练好的所述的深度学习模型，其输入连接到所述第二提取计算单元的输出，以便其基于所提取的各条血管路径上的点序列中各点的影像特征、结构特征和功能特征中的至少一种特征，来预测计算各条血管路径上的点序列中各点的血流特征。其中，所述至少一种特征可以是影像、结构和功能上的基本特征、派生特征或其任何组合。具体说来，影像上的基本特征包括但不限于血管路径上的点序列的图像亮度、梯度以及纹理特征、梯度直方图(histogramofgradient,hog)特征、尺度不变特征转换(scale-invariantfeaturetransform，sift)等特征。此外，影像上的基本特征还包括基于图像分割结果的特征，例如心房体积、壁厚等。优选地，结构上的基本特征包括但不限于3d或者2d血管结构(3d影像对应3d血管结构，2d影像对应2d血管结构)、2d或1d血管横截面结构(3d影像对应2d横截面结构，2d影像对应1d横截面结构)以及1d中心线结构相关联的特征，例如，3d(2d)血管结构特征包括体积等，2d(1d)血管横截面结构特征包括横截面积、等效半径，偏心率等，1d中心线结构特征包括血管半径、弯曲度、长度；此外结构上的基本特征还包括狭窄特征，所述狭窄特征是血管狭窄处相较所述点序列中的相邻点产生突变的特征，因此能够表征狭窄的存在。例如但不作为限制，所述狭窄特征可以包括：血管路径上点序列的血管截面的面积减小率，以及根据面积减小率判断出的狭窄位置、狭窄长度等。功能上的基本特征包括但不限于与血流动力学相关特征，例如(通过临床检测得到的)血流粘度等特性、采用经验公式估算的压力、血流流量或流速或阻力等、或者采用简易模型估算的压力、血流流量或流速或阻力等、或者基于影像估算的血流速度、血流量等。
血管路径能够设置为与另一血管路径部分重叠，预测装置可选地包括求平均单元，用于对重叠部分，取多次计算的血流特征的均值作为最终的血流特征，提高计算血流特征的精度。
在一种实施例中，上述预测装置为线上执行。线上的含义包括根据接收到的数据，使用线下计算好的模型进行计算并返回结果。例如使用已经训练好的深度学习模型(训练过程可以在线下进行)来预测计算各条血管路径上的点序列中各点的血流特征。
在一种实施例中，所提取的各条血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征和所预测得到的各条血管路径上的点序列的相应各点的血流特征，能够被存储作为患者的血管树的历史数据集，以供下一次调用作为训练数据集，使得获取训练数据集的步骤简化，提高计算效率，而不会影响输出结果的精度。该历史数据集可以为对象历史上已经做出的数据集，例如可信任的机构历史上已经做出的数据集，其他机构可以直接使用。存储时可以将该历史数据集存储在本地、远程客户端或服务器上，使用时可以通过相应的通信网络调用。
在一个实施例中，点序列中各点的影像特征、结构特征和功能特征中的至少一种特征可以是各点的相应的基本特征、派生特征中的单个特征，或者是若干个同种特征或不同种特征的组合。基本特征、派生特征的定义和示例在上文中已经详细阐述过，在此不赘述。
在一种实施例中，血流特征包括血流储备分数、血流量、血流流速和血流压力降等多种特征。
本发明实施例还提供了一种建立用于预测血管树的血管路径上的血流特征的深度学习模型的建立装置，深度学习模型接收血管路径上的点序列的影像特征、结构特征和功能特征中的至少一种特征，输出血管路径上的点序列的血流特征，并且深度学习模型由多层神经网络与递归神经网络依序组合而成，如图7所示，该建立装置包括：
获取单元，用于获取并输出血管路径的训练数据集，训练数据集包括血管路径上的点序列的各点的影像特征、结构特征和功能特征中的至少一种特征及相应各点的血流特征的数据对；
训练单元，从所述获取单元接收训练数据集并与所述深度学习模型交互，以利用训练数据集，使用随机梯度下降的方法训练深度学习模型，直到目标函数收敛。
递归神经网络在构建过程中会出现一定的误差，但是在递归神经网络进行过多次(例如数百次或数千次)训练之后，其输出结果会非常接近客观数据，例如在学习或训练过程中改变某些神经元的权重值，以适应周围环境的要求使得输出结果更加接近客观，使得递归神经网络具有初步的自适应与自组织能力。递归神经网络在训练后能够生成训练数据集，获取单元组可以从递归神经网络及其他部件或系统中获取训练数据集，利用训练数据集训练深度学习模型能够使该深度学习模型在使用时能够精确的输出血流特征。
对于训练单元训练深度学习模型的方式，在一种实施例中，使用随机梯度下降的方法训练深度学习模型，直到目标函数收敛；在另一种实施例中，训练单元可以进行有监督的学习，利用给定的样本标准进行分类或模仿；在又一种实施例中，训练单元可以进行无监督的学习，是只规定学习方式或某些规则，具体的学习内容随系统所处环境(即输入信号情况)而异，自动发现环境特征和规律性。
获取单元可以包括训练图像获取单元、第一提取计算单元和血流特征获取单元，其中：
训练图像获取单元，用于获取血管树的训练医学图像；例如可以直接从ct机获取操作对象的医学图像作为训练医学图像，也可以从网络中获取本地或远端存储的医学图像作为训练医学图像，也可以通过现场的上传来获取医学图像作为训练医学图像。
第一提取计算单元，用于从所述训练图像获取单元接收血管树的训练医学图像，并能够从其提取血管路径上的点序列的各点的影像特征或结构特征，其中，所述功能特征能够由所述第一提取计算单元通过由血管树的训练医疗图像估算、经验公式和仿真建模中的至少一种方式得到，或者，所述功能特征能够通过临床检测得到并传输到所述第一提取计算单元；
血流特征获取单元，用于接收通过仿真模拟或临床检测得出的血管路径上的点序列的相应各点的血流特征。
注意，所述建立装置和预测装置分别执行图4中的线下计算流程和线上计算流程，其中的各个单元可以分别执行在“深度学习模型的建立和使用”部分中描述的线下计算流程和线上计算流程的各种细节，在此不赘述。
本发明实施例还提供了一种用于预测血管树的血管路径上的血流特征的系统，该系统包括：
如上所述的建立装置；
如上所述的深度学习模型，其与建立装置中的获取单元和训练单元相连，以由训练单元利用获取单元输出的训练数据集进行训练，以得到训练好的深度学习模型；以及
如上所述的预测装置。
图8是根据本发明再一实施例的一种实现所述预测装置和/或建立装置的处理设备的图示。如本领域技术人员将理解的，在一些实施例中，该处理设备800可以是专用智能设备或通用智能设备。例如，处理设备800可以是为医院定制的用于处理图像数据获取和图像数据处理任务的计算机，也可以是放置在云端的服务器。
如图8所示，处理设备800可以包括处理器821、存储器822、医学数据库825、输入/输出827、网络接口828和图像显示器829。
处理器821可以是包括诸如微处理器、中央处理单元(cpu)、图形处理单元(gpu)等一个或更多个通用处理设备的处理设备。更具体地，处理器821可以是复杂指令集运算(cisc)微处理器、精简指令集运算(risc)微处理器、超长指令字(vliw)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。处理器821还可以是诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)等一个或更多个专用处理设备。
处理器821可以通信地联接到存储器822并且被配置为执行存储在其中的计算机可执行指令。存储器822可以包括只读存储器(rom)、闪存、随机存取存储器(ram)、静态存储器等。在一些实施例中，存储器822可以存储诸如一个或更多个处理程序823的计算机可执行指令以及在执行计算机程序时使用或生成的影像特征、结构特征和功能特征中的至少一种特征数据。处理器821可以执行处理程序823以实现预测装置和/或建立装置的功能。处理器821还可以向存储器822发送/接收医学数据824。例如，处理器821可以接收存储在存储器822中的训练数据集，或者将预测得到的血管路径上各点的血流特征与各点的结构/流体参数成对地传送到存储器822中作为历史数据集。可选地，存储器822能够与医学数据库825通信，以便从其获取训练数据集，或将历史数据集传输到医学数据库825中，以供授权访问医学数据库825的用户调取和使用，例如作为训练数据集来使用。
医学数据库825是可选的，可以包括以集中或分布的方式定位的多个设备。处理器821可以与医学数据库825进行通信，以将训练数据集读取到存储器822中或将来自存储器822的历史数据集存储到医学数据库825。可选地，医学数据库825也可以存储有训练图像、检测图像等，处理器821可以与之通信，将训练图像传输并存储到存储器822，并启用(一个或多个)处理程序来提取得到训练数据集，以供对深度学习模型进行训练，和/或将检测图像传输并存储到存储器822，并启用(一个或多个)处理程序来提取血管路径上的点序列的各点的结构/流体参数，作为深度学习模型的输入，用于预测出各点的血流特征。
输入/输出827可以被配置为允许由处理设备800接收和/或发送数据。输入/输出827可以包括允许处理设备800与用户或其他机器和设备进行通信的一个或更多个数字和/或模拟通信设备。例如，输入/输出827可以包括让用户提供输入的键盘和鼠标。
网络接口828可以包括网络适配器、电缆连接器、串行连接器，usb连接器、并行连接器，诸如光纤、usb3.0、雷电等高速数据传输适配器、诸如wifi适配器的无线网络适配器、电信(3g、4g/lte等)适配器等。处理设备800可以通过网络接口828连接到网络。图像显示器829可以是适用于显示医学图像和结构/流体特征的任何显示设备。例如，图像显示器829可以是lcd、crt或led显示器。优选地，预测得到的血管路径上点序列的各点的血流特征可以以云图、灰度等的方式显示在该段血管路径的三维结构上，以便医生直接比对结构和血流特征，更准确方便地进行诊断。
本文描述了各种操作或功能，其可以被作为软件代码或指令实现或定义为软件代码或指令。这样的内容可以是可直接执行的(“对象”或“可执行”形式)源代码或差分代码(“增量”或“补丁”代码)。本文所述的实施例的软件实现可以经由其中存储有代码或指令的制品或者经由操作通信接口以经由通信接口发送数据的方法来提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器(例如，计算设备、电子系统等等)访问的形式存储信息的任何机制，诸如可记录/不可记录介质(例如，只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光存储介质、闪存设备、等等)。通信接口包括接合到硬连线、无线、光学等介质中的任何一个以与另一设备通信的任何机制，诸如存储器总线接口、处理器总线接口、互联网连接、磁盘控制器等。可以通过提供配置参数和/或发送信号来将通信接口配置成将该通信接口准备好以提供描述软件内容的数据信号。可以经由发送到通信接口的一个或更多个命令或信号来访问通信接口。
本发明还涉及一种用于执行本文的操作的系统。该系统可以是为了所需目的而特别构造的，或者该系统可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，所述计算机可读存储介质诸如但并不限于包括软盘、光盘、cdrom、磁光盘等任何类型的盘、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁卡或光卡、或适于存储电子指令的任何类型的介质，其中每个介质耦合到计算机系统总线。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！