图像处理方法、装置、电子设备及计算机可读存储介质与流程

本发明涉及计算机视觉技术领域，具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术：

图像配准是将不同的获取时间、不同传感器、不同条件下的同一场景或者同一目标的两幅或者多幅图像进行配准的过程，被广泛应用于医学图像处理过程中。医学图像配准是医学图像处理领域中一项重要技术，对临床诊断和治疗起着越来越重要的作用。

现代医学通常需要将多个模态或者多个时间点获得的医学图像进行综合分析，那么在进行分析之前就需要将几副图像进行配准工作。传统的可形变配准方法是通过不断计算每个像素点的一个对应关系，通过相似性度量函数来计算配准后的图像与参考图像的相似度并且不断的迭代的一个过程，直到达到一个合适的结果，这个过程通常需要几个小时甚至更长的时间来完成，而在实际应用中病人脏器器官配准的需求量较大，并且在很多情况下如手术前对配准的结果要求急迫，可见一般的配准方法较浪费诊断医生的时间，缺乏时效性。

技术实现要素：

本申请实施例提供了一种图像处理方法、装置及计算机可读存储介质，可以简化配准操作步骤，提高图像配准的精度和实时性。

本申请实施例第一方面提供一种图像处理方法，包括：

获取待配准图像和用于配准的参考图像；

将所述待配准图像输入仿射变换网络，通过所述仿射变换网络对所述待配准图像进行仿射变换，获得第一待配准图像；

将所述第一待配准图像和所述参考图像输入预设神经网络模型，通过所述预设神经网络模型将所述第一待配准图像向所述参考图像配准，获得配准结果。

在一种可选的实施方式中，所述通过所述仿射变换网络对所述待配准图像进行仿射变换，获得第一待配准图像包括：

通过所述仿射变换网络获取所述待配准图像的处理参数，基于所述处理参数生成变换矩阵；

使用所述变换矩阵对所述待配准图像进行仿射变换，获得所述第一待配准图像。

在一种可选的实施方式中，所述待配准图像的处理参数包括旋转参数、平移参数、缩放参数和/或剪切参数。

在一种可选的实施方式中，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失，或者包括所述预设待配准图像和所述预设参考图像的互信息损失。

在一种可选的实施方式中，所述获取待配准图像和用于配准的参考图像之前，所述方法还包括：

获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的待配准图像和参考图像。

在一种可选的实施方式中，所述对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的待配准图像和参考图像包括：

将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；以及，

将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。

在一种可选的实施方式中，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失时，所述预设神经网络模型的训练过程包括：

获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像输入所述仿射变换网络获得第二待配准图像；

将所述第二待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；

基于所述形变场将所述第二待配准图像向所述预设参考图像配准，获得配准后图像；

获得所述配准后图像和所述预设参考图像的相关系数损失；

基于所述相关系数损失对所述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。

在一种可选的实施方式中，所述获取所述预设待配准图像和所述预设参考图像之后，所述方法还包括：

对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；

所述将所述预设待配准图像输入所述仿射变换网络获得第二待配准图像包括：

将所述满足预设训练参数的预设待配准图像输入所述仿射变换网络获得第二待配准图像。

在一种可选的实施方式中，所述对所述预设待配准图像和所述预设参考图像进行图像归一化处理之前，所述方法还包括：

将所述预设待配准图像的尺寸和所述预设参考图像的尺寸转换为预设图像尺寸；

所述对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像包括：

根据目标窗宽对转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。

在一种可选的实施方式中，所述预设神经网络模型训练中衡量相似度的目标函数包括所述预设待配准图像和所述预设参考图像的互信息损失时，所述预设神经网络模型包括配准模型和互信息估计网络模型，所述预设神经网络模型的训练过程包括：

获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像输入所述仿射变换网络获得第二待配准图像；

将所述第二待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；

在基于所述形变场和所述第二待配准图像向所述预设参考图像配准的过程中，通过所述互信息估计网络模型对配准后图像和所述预设参考图像的互信息进行估计，获得互信息损失；

基于所述互信息损失对所述配准模型和所述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型。

在一种可选的实施方式中，所述通过所述互信息估计网络模型对配准后图像和所述预设参考图像的互信息进行估计，获得互信息损失包括：

通过所述互信息估计网络模型，基于配准后图像和所述预设参考图像获得联合概率分布和边缘概率分布；

根据所述联合概率分布参数和所述边缘概率分布参数计算获得所述互信息损失。

在一种可选的实施方式中，所述基于所述互信息损失对所述配准模型和所述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型包括：

基于所述互信息损失对所述配准模型进行第一阈值次数的参数更新，基于所述互信息损失对所述互信息估计网络模型进行第二阈值次数的参数更新，获得所述训练后的预设神经网络模型。

在一种可选的实施方式中，所述仿射变换网络的训练方法包括：

以均方损失函数为所述仿射变换网络训练的目标函数训练所述仿射变换网络。

在一种可选的实施方式中，所述以均方损失函数为所述仿射变换网络训练的目标函数训练所述仿射变换网络包括：

获取所述预设待配准图像基于所述仿射变换网络进行仿射变换后的第三待配准图像；

将所述第三待配准图像与所述预设参考图像的特征点之间的均方损失函数作为所述仿射变换网络训练的目标函数对所述仿射变换网络进行训练，获得训练后的所述仿射变换网络。

本申请实施例第二方面提供一种图像处理装置，包括：获取模块、仿射变换模块和配准模块，其中：

所述获取模块，用于获取待配准图像和用于配准的参考图像；

所述仿射变换模块，用于将所述待配准图像输入仿射变换网络，通过所述仿射变换网络对所述待配准图像进行仿射变换，获得第一待配准图像；

所述配准模块，用于将所述第一待配准图像和所述参考图像输入预设神经网络模型，通过所述预设神经网络模型将所述第一待配准图像向所述参考图像配准，获得配准结果。

在一种可选的实施方式中，所述仿射变换模块具体用于：

通过所述仿射变换网络获取所述待配准图像的处理参数，基于所述处理参数生成变换矩阵；

使用所述变换矩阵对所述待配准图像进行仿射变换，获得所述第一待配准图像。

在一种可选的实施方式中，所述待配准图像的处理参数包括旋转参数、平移参数、缩放参数和/或剪切参数。

在一种可选的实施方式中，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失，或者包括所述预设待配准图像和所述预设参考图像的互信息损失。

在一种可选的实施方式中，所述图像处理装置还包括：预处理模块，用于获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的待配准图像和参考图像。

在一种可选的实施方式中，所述预处理模块具体用于：

将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；以及，

将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。

在一种可选的实施方式中，所述获取模块还用于，获取所述预设待配准图像和所述预设参考图像；所述仿射变换模块还用于，将所述预设待配准图像输入所述仿射变换网络获得第二待配准图像；

所述配准模块包括第一配准单元和第一更新单元，其中：

所述第一配准单元用于：

将所述第二待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；

基于所述形变场将所述第二待配准图像向所述预设参考图像配准，获得配准后图像；

所述第一更新单元用于：

获得所述配准后图像和所述预设参考图像的相关系数损失；

基于所述相关系数损失对所述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。

在一种可选的实施方式中，所述预处理模块还用于：

对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；

所述仿射变换模块具体用于，将所述满足预设训练参数的预设待配准图像输入所述仿射变换网络获得第二待配准图像。

在一种可选的实施方式中，所述预处理模块还具体用于：将所述预设待配准图像的尺寸和所述预设参考图像的尺寸转换为预设图像尺寸；

根据目标窗宽对转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。

在一种可选的实施方式中，所述获取模块用于获取所述预设待配准图像和所述预设参考图像；所述仿射变换模块用于将所述预设待配准图像输入所述仿射变换网络获得第二待配准图像；

所述预设神经网络模型包括配准模型和互信息估计网络模型，所述配准模块包括第二配准单元、互信息估计单元和第二更新单元，其中：

所述第二配准单元用于，将所述第二待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；

所述互信息估计单元用于，在基于所述形变场和所述第二待配准图像向所述预设参考图像配准的过程中，通过所述互信息估计网络模型对配准后图像和所述预设参考图像的互信息进行估计，获得互信息损失；

所述第二更新单元用于，基于所述互信息损失对所述配准模型和所述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型。

在一种可选的实施方式中，所述互信息估计单元具体用于：

通过所述互信息估计网络模型，基于配准后图像和所述预设参考图像获得联合概率分布和边缘概率分布；

根据所述联合概率分布参数和所述边缘概率分布参数计算获得所述互信息损失。

在一种可选的实施方式中，所述第二更新单元具体用于：

基于所述互信息损失对所述配准模型进行第一阈值次数的参数更新，基于所述互信息损失对所述互信息估计网络模型进行第二阈值次数的参数更新，获得所述训练后的预设神经网络模型。

在一种可选的实施方式中，所述仿射变换模块还包括训练单元，用于：

以均方损失函数为所述仿射变换网络训练的目标函数训练所述仿射变换网络。

在一种可选的实施方式中，所述训练单元，具体用于：

获取所述预设待配准图像基于所述仿射变换网络进行仿射变换后的第三待配准图像；

将所述第三待配准图像与所述预设参考图像的特征点之间的均方损失函数作为所述仿射变换网络训练的目标函数对所述仿射变换网络进行训练，获得训练后的所述仿射变换网络。

本申请实施例第三方面提供另一种图像处理装置，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请实施例通过获取待配准图像和用于配准的参考图像，将上述待配准图像输入仿射变换网络，通过上述仿射变换网络对上述待配准图像进行仿射变换，获得第一待配准图像，再将上述第一待配准图像和上述参考图像输入预设神经网络模型，通过上述预设神经网络模型将上述第一待配准图像向上述参考图像配准，获得配准结果，可以简化配准操作步骤，提高图像配准的精度和实时性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本申请实施例公开的一种图像处理方法的流程示意图；

图2是本申请实施例公开的一种预设神经网络模型的训练方法的流程示意图；

图3是本申请实施例公开的一种图像处理装置的结构示意图；

图4是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的图像处理装置可以允许多个其他终端设备进行访问。上述图像处理装置可以为电子设备，包括终端设备，具体实现中，上述终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

本申请实施例中的深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素点强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

下面对本申请实施例进行详细介绍。

请参阅图1，图1是本申请实施例公开的一种图像处理方法的流程示意图，如图1所示，该图像处理方法可以由上述图像处理装置执行，包括如下步骤：

101、获取待配准图像和用于配准的参考图像。

图像配准是将不同的获取时间、不同传感器、不同条件下的同一场景或者同一目标的两幅或者多幅图像进行配准的过程，被广泛应用于医学图像处理过程中。医学图像配准是医学图像处理领域中一项重要技术，对临床诊断和治疗起着越来越重要的作用。现代医学通常需要讲多个模态或者多个时间点获得的医学图像进行综合分析，那么在进行分析之前就需要将几副图像进行配准工作。

本申请实施例中提到的待配准图像(moving)和用于配准的参考图像(fixed)均可以为通过各种医学图像设备获得的医学图像，尤其可以是可形变的器官的图像，比如肺部ct，其中待配准图像和用于配准的参考图像一般为同一器官在不同时间点或不同条件下采集的图像。

可选的，上述待配准图像和参考图像也可以是通过算法提取出的掩膜(mask)或者特征点。其中掩膜可以理解为一种图像滤镜的模板，图像掩膜可以理解为用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。数字图像处理中掩模一般为二维矩阵数组，有时也用多值图像，可以用于结构特征提取。

在提取特征或mask后，可以减少图像处理中的干扰，使得配准结果更准确。

由于需要进行配准的医学图像可能具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。可选的，在步骤101之前，可以获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的待配准图像和参考图像。

本申请实施例中的图像归一化是指对图像进行一系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。图像归一化可以利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，将待处理的原始图像转换成相应的唯一标准形式，该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性。因此，通过上述图像归一化处理可以获得统一风格的图像，提高后续处理的稳定性和准确度。

上述目标参数可以理解为描述图像特征的参数，即用于使上述原始图像数据呈统一风格的规定参数。例如，上述目标参数可以包括：用于描述图像分辨率、图像灰度、图像大小等特征的参数。

上述原始待配准图像可以为通过各种医学图像设备获得的医学图像，尤其可以是可形变的器官的图像，具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。在进行配准前可以对原始待配准图像和原始参考图像做一些基本的预处理，也可以仅对上述原始待配准图像进行预处理。在预处理之后还可以执行上述图像归一化处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。

具体的，可以将上述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；以及，

将上述原始参考图像转换为上述预设灰度值范围内和上述预设图像尺寸的参考图像。

本申请实施例中的图像处理装置可以存储有上述预设灰度值范围和上述预设图像尺寸。可以通过simpleitk软件做重采样(resample)的操作来保证需要上述待配准图像和上述参考图像的位置和分辨率基本保持一致。itk是一个开源的跨平台系统，为开发人员提供了一整套用于图像分析的软件工具。

上述预设图像尺寸可以为长宽高：416x416x80，可以通过剪切或者填充(补零)的操作来保证上述待配准图像和上述参考图像的图像尺寸一致为416x416x80。

通过对原始图像数据进行预处理，可以降低其多样性，神经网络模型能够给出更稳定的判断。

102、将上述待配准图像输入仿射变换网络，通过上述仿射变换网络对上述待配准图像进行仿射变换，获得第一待配准图像。

对于在不同时间或/和不同条件下获取的两幅医学图像1和2配准，就是寻找一个映射关系p，使图像1上的每一个点在图像2上都有唯一的点与之相对应。并且这两点应对应同一解剖位置。映射关系p表现为一组连续的空间变换。常用的空间几何变换有刚体变换(rigidbodytransformation)、仿射变换(affinetransformation)、投影变换(projectivetransformation)和非线性变换(nonlineartransformation)。

其中，刚体变换是指物体内部任意两点间的距离及平行关系保持不变。仿射变换是一种最为简单的非刚性变换，它一种保持平行性，但不保角的、距离发生变化的变换。而在许多重要的临床应用中，就经常需要应用可形变的图像配准方法，而一般做可形变配准之前需要先做一个简单的刚体配准或者仿射配准(仿射配准包括上述刚体配准)将待配准图像进行简单的对齐，然后再进行可形变配准，以降低可形变配准前的待配准图像和参考图像间的差异性，即比如两张图片差别太多的情况下，需要先大致配准才能通过可形变变换来获得配准结果。比如在研究腹部以及胸部脏器的图像配准时，由于生理运动或者患者移动造成内部器官和组织的位置、尺寸和形态发生改变，就需要可形变变换来补偿图像变形，其中，变化前后的器官图像差异小时可以直接进行上述可形变配准，而差异较大时则先进行上述仿射配准再进行可形变配准。

步骤102则可以在预设神经网络模型配准前先初步进行仿射变换，完成仿射配准，可以执行步骤103，更加方便地进行后续配准，避免多个步骤操作影响效率。

具体的，步骤102可以包括：

通过上述仿射变换网络获取上述待配准图像的处理参数，基于上述处理参数生成变换矩阵；

使用上述变换矩阵对上述待配准图像进行仿射变换，获得上述第一待配准图像。

可选的，上述待配准图像的处理参数可以包括旋转参数、平移参数、缩放参数和剪切参数。

具体的，举例来讲，可以设置12个处理参数，其中3个旋转参数，3个平移参数，3个缩放参数和3个剪切参数，比如3个旋转参数指的是关于x，y，z三个轴的旋转角度，每个旋转角度通过一个矩阵来描述，是一些正余弦函数，限制到[-1,1]之间。将预处理过后的待配准图像输入上述仿射变换网络中回归上述12个参数，通过给这12个参数相应的约束，可以获得用于变换的3d变换矩阵，使用上述变换矩阵针对上述待配准图像进行仿射变换，则可以获得仿射配准的结果，即上述第一待配准图像。

可选的，可以以均方损失函数为上述仿射变换网络训练的目标函数，训练上述仿射变换网络。

即在上述仿射变换网络中可以加入均方误差(mean-squareerror,mse)来约束，本申请实施例中提到的mse损失是反映估计量与被估计量之间差异程度的一种度量，加入mse损失可以一定程度提升网络训练的稳定性。

具体的，可以获取上述预设待配准图像基于上述仿射变换网络进行仿射变换后的第三待配准图像；

将上述第三待配准图像与上述预设参考图像的特征点之间的均方损失函数作为上述仿射变换网络训练的目标函数对所述仿射变换网络进行训练，获得训练后的上述仿射变换网络。

其中，由于上述预设待配准图像和预设参考图像也可以是通过算法提取出的掩膜(mask)或者特征点，在提取特征或mask后，可以减少图像处理中的干扰，使得配准结果更准确，相应的，上述mse损失也可以为仿射变换后的moving图像和fixed图像特征点之间的mse损失。

通过上述仿射变换网络处理可以获得上述第一待配准图像，即将传统方法的刚体配准也包含进去了，可以实现一体化配准，避免了先需要传统配准方法做刚体配准再做深度学习的形变配准工作。本申请实施例中的仿射配准可以包含刚体配准，具体可以比刚体配准增加图像剪切和图像缩放的功能。

本申请实施例中的仿射变换网络也可以单独用于只需要刚体配准的医学图像处理中，比如脑部或者脊椎等图像配准的应用。

103、将上述第一待配准图像和上述参考图像输入预设神经网络模型，通过上述预设神经网络模型将上述第一待配准图像向上述参考图像配准，获得配准结果。

图像配准一般是首先对两幅图像进行特征提取得到特征点；再通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。

本申请实施例中，图像处理装置中可以存储有上述预设神经网络模型，该预设神经网络模型可以预先训练获得。

上述预设神经网络模型可以是基于神经元估计互信息的方式进行训练获得，具体可以基于预设待配准图像和预设参考图像的互信息损失进行训练获得。

上述预设神经网络模型可以包括配准模型和互信息估计网络模型，上述预设神经网络模型的训练过程可以包括：

获取上述预设待配准图像和上述预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述配准模型生成形变场；

在基于上述形变场和上述预设待配准图像向上述预设参考图像配准的过程中，通过上述互信息估计网络模型对上述预设待配准图像和上述预设参考图像的互信息进行估计，获得互信息损失；

基于上述互信息损失对上述配准模型和上述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型。

具体的，可以使用神经网络梯度下降算法对高维度连续随机变量间的互信息进行估计。比如mine(mutualinformationneuralestimaiton)算法，在维度上和样本大小上是线性可测量的，可使用反向传播算法训练。mine算法可以最大或者最小化互信息，提升生成模型的对抗训练，突破监督学习分类任务的瓶颈。

本申请实施例中的预设神经网络模型的卷积层可以为3d卷积，通过上述预设神经网络模型生成形变场(deformablefield)，然后通过3d的空间转换层将需要形变的待配准图像进行可形变的变换，获得配准后的上述配准结果，即包括生成的配准结果图像(moved)。

其中，上述预设神经网络模型中，为了保证可形变场的平滑性采用了l2损失函数函数对形变场的梯度进行约束。上述预设神经网络模型训练中衡量相似度的目标函数可以包括预设待配准图像和预设参考图像的相关系数损失，或者包括预设待配准图像和预设参考图像的互信息损失。

本申请实施例中提到的相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母r表示。由于研究对象的不同，相关系数有多种定义方式，较为常用的是皮尔逊相关系数。

一般相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。需要说明的是，皮尔逊相关系数并不是唯一的相关系数，但是最常见的相关系数，本申请实施例中的相关系数可以为皮尔逊相关系数。

具体的，在预设神经网络模型中可以通过特征提取配准后图像和预设参考图像的特征图，利用特征图之间的互相关系数，得到上述相关系数损失。

现有的方法是利用有监督深度学习来做配准，基本没有金标准，必须利用传统配准方法来获得标记，处理时间较长，且限制了配准精度。并且利用传统方法做配准需要计算每个像素点的变换关系，计算量巨大，消耗时间也很大。

根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。本申请实施例使用基于无监督深度学习的神经网络来进行图像配准，可用于任何会发生形变的脏器的配准中。本申请实施例可以利用gpu执行上述方法在几秒内得到配准结果，更加高效。

本申请实施例通过获取待配准图像和用于配准的参考图像，将上述待配准图像输入仿射变换网络，通过上述仿射变换网络对上述待配准图像进行仿射变换，获得第一待配准图像，再将上述第一待配准图像和上述参考图像输入预设神经网络模型，通过上述预设神经网络模型将上述第一待配准图像向上述参考图像配准，获得配准结果，可以简化配准操作步骤，提高图像配准的精度和实时性。

请参阅图2，图2是本申请实施例公开的另一种图像处理方法的流程示意图，具体为一种预设神经网络的训练方法的流程示意图，图2是在图1的基础上进一步优化得到的。执行本申请实施例步骤的主体可以为一种图像处理装置，可以是与图1所示实施例的方法中相同或者不同的图像处理装置。如图2所示，该图像处理方法包括如下步骤：

201、获取上述预设待配准图像和上述预设参考图像，将上述预设待配准图像输入上述仿射变换网络获得第二待配准图像。

其中，与图1所示实施例中类似的，上述预设待配准图像(moving)和上述预设参考图像(fixed)，均可以为通过各种医学图像设备获得的医学图像，尤其可以是可形变的器官的图像，比如肺部ct，其中待配准图像和用于配准的参考图像一般为同一器官在不同时间点或不同条件下采集的图像。“预设”一词是为了区别于图1所示实施例中的待配准图像和参考图像区别，这里的预设待配准图像和预设参考图像主要用于进行该预设神经网络模型的训练。

可以通过上述仿射变换网络获取上述预设待配准图像的处理参数，基于上述处理参数生成变换矩阵；

使用上述变换矩阵对上述预设待配准图像进行仿射变换，获得上述第二待配准图像。

其中通过上述仿射变换网络获得第二待配准图像图像的过程可以参考图1所示实施例的步骤101中的具体描述。

202、将上述第二待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场。

由于需要进行配准的医学图像可能具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。可选的，上述获取上述预设待配准图像和上述预设参考图像之后，上述方法也可以包括：

对上述预设待配准图像和上述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；

其中，上述将上述预设待配准图像输入上述仿射变换网络获得第二待配准图像包括：

将上述满足预设训练参数的预设待配准图像输入上述仿射变换网络获得第二待配准图像。

上述预设训练参数可以包括预设灰度值范围和预设图像尺寸(如416x416x80)。上述图像归一化处理的过程可以参考图1所示实施例的步骤101中的具体描述。可选的，首先在配准前进行刚体变换和数据归一化。具体可以通过simpleitk软件做重采样的操作来保证预设待配准图像和预设参考图像的位置和分辨率基本保持一致。为了后续训练过程的方便操作，可以对图像进行预定大小的裁剪或者填充。假设预先设定的输入图像的图像尺寸长宽高为416x416x80，就需要通过剪切或者填充(补零)的操作来保证预设待配准图像和预设参考图像的图像尺寸一致为416x416x80。

上述对上述预设待配准图像和上述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像可以包括：

根据目标窗宽对转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。

为了肺部ct中的重要信息，可以预先设置目标窗宽，比如通过目标窗宽为[-1200，600]对预设待配准图像和预设参考图像归一化到[0，1]，即对于原图像中大于600的设为1，小于-1200的设为0。

本申请实施例中不同组织在ct上可以设置公认的窗宽、窗位，是为了更好地提取重要的信息。这里的[-1200，600]的具体值-1200，600代表的是窗位，范围大小为1800，即窗宽。上述图像归一化处理是为了方便后续的损失计算不造成梯度爆炸。

本申请实施例提出一种归一化层来保证训练的稳定性和收敛性。可以假设特征图大小为nxcxdxhxw，其中n指的是batchsize：每批数据量的大小。本申请实施例可以通过计算cxdxhxw的最小值和最大值，来对每个图像数据做归一化处理操作。

203、基于上述形变场将上述第二待配准图像向上述预设参考图像配准，获得配准后图像。

在进行仿射配准后，可以将上述第二待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场(deformablefield)，再基于上述形变场和上述预设待配准图像向上述预设参考图像配准，即利用该形变场和预设参考图像生成形变后的配准结果图像(moved)。

其中，可以选用l2损失函数，l2损失函数的特性是比较光滑，这里为了应对形变场的梯度的变化较大而造成突变，产生褶皱和空洞的情况，而梯度是通过临近像素点的差值来表示，即是为了保证相邻像素点不要变化太大，造成较大的形变。

上述配准后图像即为第二待配准图像经过预设神经网络模型向预设参考图像初步配准后的中间图像，这个过程可以理解为多次执行，即可以重复执行步骤203和步骤204以不断训练和优化该预设神经网络模型。

204、获得上述配准后图像和上述预设参考图像的相关系数损失，基于上述相关系数损失对上述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。

本申请实施例中，通过相关系数损失作为配准后的图像和参考图像的相似度评估标准，即可以重复执行步骤203和步骤204，不断对参数进行更新，来指导完成网络的训练。

可选的，可以基于预设优化器对上述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。

上述更新时涉及的预设阈值次数，指的是神经网络训练中的时期(epoch)。一个时期可以理解为所有训练样本的一个正向传递和一个反向传递。

优化器中使用的算法一般有自适应梯度优化算法(adaptivegradient，adagrad)，它能够对每个不同的参数调整不同的学习率，对频繁变化的参数以更小的步长进行更新，而稀疏的参数以更大的步长进行更新；以及rmsprop算法，结合梯度平方的指数移动平均数来调节学习率的变化，能够在不稳定(non-stationary)的目标函数情况下进行很好地收敛。

具体的，上述预设优化器可以采用adam的优化器。

图像处理装置或者上述预设优化器中可以存储上述预设阈值次数和预设学习率来控制更新。比如学习率0.001，预设阈值次数300epoch。以及可以设置学习率的调整规则，以该学习率的调整规则调整参数更新的学习率，比如可以设置分别在40、120和200epoch时学习率减半。

在获得上述训练后的预设神经网络模型之后，图像处理装置可以执行图1所示实施例中的部分或全部方法，即可以使用上述预设神经网络模型将待配准图像向参考图像配准，获得配准结果。

一般而言，大多数技术使用互信息的配准方法，需要估计联合分布密度。而非参数化方法估计互信息(比如使用直方图)，不仅计算量大并且不支持反向传播，无法应用到神经网络中。本申请实施例采用局部窗口的相关系数作为相似度度量损失，训练后的预设神经网络模型的可用于图像配准，尤其是任何会发生形变的脏器的医学图像配准中，可以对于不同时间点的随访图像进行形变配准，配准效率高、结果更加准确。

可选的，上述预设神经网络模型训练中衡量相似度的目标函数包括上述预设待配准图像和上述预设参考图像的互信息损失时，上述预设神经网络模型可以包括配准模型和互信息估计网络模型，上述预设神经网络模型的训练过程包括：

获取上述预设待配准图像和上述预设参考图像，将上述预设待配准图像输入上述仿射变换网络获得第二待配准图像；

将上述第二待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场；

在基于上述形变场和上述第二待配准图像向上述预设参考图像配准的过程中，通过上述互信息估计网络模型对配准后图像和上述预设参考图像的互信息进行估计，获得互信息损失；

基于上述互信息损失对上述配准模型和上述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型。

具体的，上述预设神经网络模型可以包括互信息估计网络模型和配准模型。配准后图像即为第二待配准图像本次经过该配准网络向预设参考图像配准后的图像。具体的，可以通过上述互信息估计网络模型，基于上述配准后图像和上述预设参考图像获得联合概率分布和边缘概率分布，再根据上述联合概率分布参数和上述边缘概率分布参数计算获得互信息损失。

具体的，可以基于神经网络梯度下降算法对高维度连续随机变量间的互信息进行估计。比如mine(mutualinformationneuralestimaiton)算法，在维度上和样本大小上是线性可测量的，可使用反向传播算法训练。mine算法可以最大或者最小化互信息，提升生成模型的对抗训练，突破监督学习分类任务的瓶颈可以基于以下互信息计算公式计算上述互信息损失：

其中，x，z可以理解为两个输入图像(配准后图像和预设参考图像)，这里x，z可以理解为解空间，解空间是指齐次线性方程组所有解的集合构成一个向量空间，也就是一个集合，上述计算互信息损失的参数属于上述两个输入图像的解空间；pxz为联合概率分布，px与pz为边缘概率分布；θ为上述互信息估计网络的初始化参数。

其中，训练中互信息越大，表示配准的结果越准确。上述t可以理解为上述互信息估计网络模型(包括其参数)，结合这个公式可以估计互信息，所以这里的t也是有参数需要更新的。这个公式和t共同组成互信息损失。

通过神经元估计互信息作为配准后的图像和参考图像的相似度评估标准，可以不断对上述配准模型和互信息估计网络模型的参数进行更新，来指导完成两个网络的训练。

可选的，可以基于上述互信息损失对上述配准模型进行第一阈值次数的参数更新，基于上述互信息损失对上述互信息估计网络模型进行第二阈值次数的参数更新，获得上述训练后的预设神经网络模型。

图像处理装置中可以存储有上述第一阈值次数和第二阈值次数，其中，上述第一阈值次数和第二阈值次数可以不同，上述第一阈值次数可以大于上述第二阈值次数。

上述更新时涉及的第一阈值次数和第二阈值次数，指的是神经网络训练中的时期(epoch)。一个时期可以理解为所有训练样本的一个正向传递和一个反向传递。

具体的，上述配准模型和互信息估计网络模型可以进行独立的参数更新，举例来讲，第一阈值次数为120，第二阈值次数为50，即可以在前50个epoch互信息估计网络模型和配准模型一起更新，50个epoch之后冻住互信息估计网络模型的网络参数，只更新配准模型，直到配准模型的120个epoch更新完成。

可选的，还可以基于预设优化器对上述预设神经网络模型进行预设学习率和第三阈值次数的参数更新，以获得最后的训练后的预设神经网络模型。

其中，上述预设优化器可以采用adam的优化器。

上述第三阈值次数与前述第一阈值次数和第二阈值次数一样，指的是epoch。图像处理装置或者上述预设优化器中可以存储上述第三阈值次数和预设学习率来控制更新。比如学习率0.001，第三阈值次数300epoch。以及可以设置学习率的调整规则，以该学习率的调整规则调整参数更新的学习率，比如可以设置分别在40、120和200epoch时学习率减半。

在获得上述训练后的预设神经网络模型之后，图像处理装置可以执行图1所示实施例中的部分或全部方法，即可以使用上述预设神经网络模型将待配准图像向参考图像配准，获得配准结果。

一般而言，大多数技术使用非参数化方法估计互信息(比如使用直方图)，不仅计算量大并且不支持反向传播，无法应用到神经网络中。本申请实施例采用神经元估计互信息来衡量图像的相似性损失，训练后的预设神经网络模型的可用于图像配准，尤其是任何会发生形变的脏器的医学图像配准中，可以对于不同时间点的随访图像进行形变配准，配准效率高、结果更加准确。

一般在某些手术中需要在术前或者手术期间进行不同质量和速度的各种扫描，获得医学图像，但通常需要做完各种扫描之后才可以进行医学图像配准，这是不满足手术中的实时需求的，所以一般需要通过额外的时间对手术的结果进行判定，如果配准后发现手术结果不够理想，可能需要进行后续的手术治疗，对于医生和病人来说都会带来时间上的浪费，耽误治疗。而基于本申请实施例的预设神经网络模型进行配准，可以应用于手术中实时的医学图像配准，比如在做肿瘤切除手术中进行实时配准来判断肿瘤是否完全切除，提高了时效性。

本申请实施例通过获取上述预设待配准图像和上述预设参考图像，将上述预设待配准图像输入上述仿射变换网络获得第二待配准图像，再将上述第二待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场，基于上述形变场将上述第二待配准图像向上述预设参考图像配准，获得配准后图像，获得上述配准后图像和上述预设参考图像的相关系数损失，并基于上述相关系数损失对上述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型，可以应用于可形变配准，简化配准操作步骤、提高图像配准的精度和实时性。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本申请实施例可以根据上述方法示例对图像处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

请参阅图3，图3是本申请实施例公开的一种图像处理装置的结构示意图。如图3所示，该图像处理装置300包括：获取模块310、仿射变换模块320和配准模块330，其中：

上述获取模块310，用于获取待配准图像和用于配准的参考图像；

上述仿射变换模块320，用于将上述待配准图像输入仿射变换网络，通过上述仿射变换网络对上述待配准图像进行仿射变换，获得第一待配准图像；

上述配准模块330，用于将上述第一待配准图像和上述参考图像输入预设神经网络模型，通过上述预设神经网络模型将上述第一待配准图像向上述参考图像配准，获得配准结果。

可选的，上述仿射变换模块320具体用于：

通过上述仿射变换网络获取上述待配准图像的处理参数，基于上述处理参数生成变换矩阵；

使用上述变换矩阵对上述待配准图像进行仿射变换，获得上述第一待配准图像。

可选的，上述待配准图像的处理参数包括旋转参数、平移参数、缩放参数和/或剪切参数。

可选的，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失，或者包括上述预设待配准图像和上述预设参考图像的互信息损失。

可选的，上述的图像处理装置300还包括：预处理模块340，用于获取原始待配准图像和原始参考图像，对上述原始待配准图像和上述原始参考图像进行图像归一化处理，获得满足目标参数的待配准图像和参考图像。

可选的，上述预处理模块340具体用于：

将上述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；以及，

将上述原始参考图像转换为上述预设灰度值范围内和上述预设图像尺寸的参考图像。

可选的，上述获取模块310还用于，获取上述预设待配准图像和上述预设参考图像；上述仿射变换模块还用于，将上述预设待配准图像输入上述仿射变换网络获得第二待配准图像；

上述配准模块330包括第一配准单元331和第一更新单元332，其中：

上述第一配准单元331用于：

将上述第二待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场；

基于上述形变场将上述第二待配准图像向上述预设参考图像配准，获得配准后图像；

上述第一更新单元332用于：

获得上述配准后图像和上述预设参考图像的相关系数损失；

基于上述相关系数损失对上述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。

可选的，上述预处理模块340还用于：

对上述预设待配准图像和上述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；

上述仿射变换模块具体用于，将上述满足预设训练参数的预设待配准图像输入上述仿射变换网络获得第二待配准图像。

可选的，上述预处理模块340还具体用于：将上述预设待配准图像的尺寸和上述预设参考图像的尺寸转换为预设图像尺寸；

根据目标窗宽对转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。

可选的，上述获取模块310用于获取上述预设待配准图像和上述预设参考图像；上述仿射变换模块320用于将上述预设待配准图像输入上述仿射变换网络获得第二待配准图像；

上述预设神经网络模型包括配准模型和互信息估计网络模型，上述配准模块330包括第二配准单元333、互信息估计单元334和第二更新单元335，其中：

上述第二配准单元333用于，将上述第二待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场；

上述互信息估计单元334用于，在基于上述形变场和上述第二待配准图像向上述预设参考图像配准的过程中，通过上述互信息估计网络模型对配准后图像和上述预设参考图像的互信息进行估计，获得互信息损失；

上述第二更新单元335用于，基于上述互信息损失对上述配准模型和上述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型。

可选的，上述互信息估计单元334具体用于：

通过上述互信息估计网络模型，基于配准后图像和上述预设参考图像获得联合概率分布和边缘概率分布；

根据上述联合概率分布参数和上述边缘概率分布参数计算获得上述互信息损失。

可选的，上述第二更新单元335具体用于：

基于上述互信息损失对上述配准模型进行第一阈值次数的参数更新，基于上述互信息损失对上述互信息估计网络模型进行第二阈值次数的参数更新，获得上述训练后的预设神经网络模型。

可选的，上述仿射变换模块320还包括训练单元321，用于：

以均方损失函数为上述仿射变换网络训练的目标函数训练上述仿射变换网络。

可选的，上述训练单元321，具体用于：

获取上述预设待配准图像基于上述仿射变换网络进行仿射变换后的第三待配准图像；

将上述第三待配准图像与上述预设参考图像的特征点之间的均方损失函数作为上述仿射变换网络训练的目标函数对上述仿射变换网络进行训练，获得训练后的上述仿射变换网络。

图3所示的实施例中的图像处理装置300可以执行图1和/或图2所示实施例中的部分或全部方法。

实施图3所示的图像处理装置300，图像处理装置300可以获取待配准图像和用于配准的参考图像，将上述待配准图像输入仿射变换网络，通过上述仿射变换网络对上述待配准图像进行仿射变换，获得第一待配准图像，再将上述第一待配准图像和上述参考图像输入预设神经网络模型，通过上述预设神经网络模型将上述第一待配准图像向上述参考图像配准，获得配准结果，可以简化配准操作步骤，提高图像配准的精度和实时性。

请参阅图4，图4是本申请实施例公开的一种电子设备的结构示意图。如图4所示，该电子设备400包括处理器401和存储器402，其中，电子设备400还可以包括总线403，处理器401和存储器402可以通过总线403相互连接，总线403可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。总线403可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，电子设备400还可以包括输入输出设备404，输入输出设备404可以包括显示屏，例如液晶显示屏。存储器402用于存储包含指令的一个或多个程序；处理器401用于调用存储在存储器402中的指令执行上述图1和图2实施例中提到的部分或全部方法步骤。上述处理器401可以对应实现图3中的电子设备300中的各模块的功能。

实施图4所示的电子设备400，电子设备400可以获取待配准图像和用于配准的参考图像，将上述待配准图像输入仿射变换网络，通过上述仿射变换网络对上述待配准图像进行仿射变换，获得第一待配准图像，再将上述第一待配准图像和上述参考图像输入预设神经网络模型，通过上述预设神经网络模型将上述第一待配准图像向上述参考图像配准，获得配准结果，可以简化配准操作步骤，提高图像配准的精度和实时性。

本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块(或单元)的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。