训练卷积神经网络的方法、装置、电子设备和计算机可读存储介质与流程

本公开涉及信息处理领域，尤其涉及一种训练卷积神经网络的方法、装置、电子设备及计算机可读存储介质。

背景技术：

随着计算机技术的进步，与图像相关的应用愈发丰富，例如经过训练的卷积神经网络能够用于对输入图像的识别和/或分类。

在虚拟现实和仿真等图像处理领域，两幅图像之间的变换参数能够用于支撑各种应用，作为示例，视频流中的第一图像和随后的第二图像之间可能发生了形变(包括但不限于包括缩放、旋转、平移等)，例如第一图像中的一个或多个像素在第二图像中被映射到了其他位置，那么可以根据第一图像和第二图像之间的变换参数来确定第一图像中的一个或多个像素在第二图像中被映射的具体位置。在确定该变换参数时，常见的处理方式包括：首先在第一图像中提取该一个或多个像素的颜色特征，然后在第二图像中确定与所提取的颜色特征满足相似度要求的像素的位置作为第一图像中该一个或多个像素在第二图像中被映射的具体位置，然后根据映射前后的位置计算出变换参数，以支撑各种应用。

根据上述现有技术确定两幅图像之间的变换参数，需要将第二图像中的所有像素的颜色特征与第一图像中的像素的颜色特征做比对，计算量巨大，并且仅根据一个或多个像素的颜色特征的相似度来进行定位存在较大误差，例如第二图像中满足相似度要求的像素可能与第一图像中的一个或多个像素在图像内容上无关。

技术实现要素：

本公开实施例提供训练卷积神经网络的方法，装置，电子设备，和计算机可读存储介质，根据本公开实施例训练的卷积神经网络能够用于确定输入的图像对的变换参数，相对于现有技术更加高效、准确、便捷。

第一方面，本公开实施例提供一种训练卷积神经网络的方法，其特征在于，包括：确定图像对集合，所述图像对集合中的图像对与标签信息对应，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数；确定卷积神经网络的输出项目，所述输出项目的数量与所述变换参数的元素数量对应；根据所述图像对集合训练所述卷积神经网络。

进一步的，所述变换参数包括矩阵。

进一步的，所述矩阵包括3*3大小的单应性矩阵。

进一步的，所述确定图像对集合，包括：获取所述第一图像；

从变换参数集合中确定所述变换参数；根据所述第一图像和所述变换参数生成所述第二图像。

进一步的，所述从变换参数集合中确定所述变换参数，包括：从所述变换参数集合中以随机的方式确定所述变换参数。

进一步的，所述标签信息与所述变换参数集合中的各变换参数一一对应。

进一步的，根据所述第一图像和所述变换参数生成所述第二图像，包括：将所述第一图像中的像素的坐标乘以所述变换参数得到所述第二图像中与所述第一图像中的像素对应的像素的坐标；和/或，将所述第一图像中的像素的颜色信息作为所述第二图像中与所述第一图像中的像素对应的像素的颜色信息。

进一步的，根据所述图像对集合训练所述卷积神经网络，包括：将所述图像对集合输入所述卷积神经网络；确定所述卷积神经网络的所述输出项目的输出值；根据所述输出项目的输出值和所述变换参数构造损失函数；根据所述损失函数更新所述卷积神经网络的参数。

进一步的，在根据所述图像对集合训练所述卷积神经网络之后，还包括：获取输入图像对；确定所述卷积神经网络的所述输出项目的输出值；根据所述输出项目的输出值确定与所述输入图像对中的第一图像与第二图像之间的输入图像对变换参数。

进一步的，在根据所述输出项目的输出值确定与所述输入图像对中的第一图像与第二图像之间的输入图像对变换参数之后，还包括：从所述输入图像对的第一图像中确定第一像素；根据所述第一像素的坐标和所述输入图像对变换参数得到所述输入图像对的第二图像中与所述第一像素对应的第二像素的坐标；在以所述第二像素的坐标为圆心，以预设距离为半径的圆形区域中确定与所述第一像素的颜色的相似度最高的像素。

第二方面，本公开实施例提供一种训练卷积神经网络的装置，其特征在于，包括：图像对集合确定模块，用于确定图像对集合，所述图像对集合中的图像对与标签信息对应，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数；输出项目确定模块，用于确定卷积神经网络的输出项目，所述输出项目的数量与所述变换参数对应；训练模块，用于根据所述图像对集合训练所述卷积神经网络。

进一步的，所述变换参数包括矩阵。

进一步的，所述矩阵包括3*3大小的单应性矩阵。

进一步的，所述训练卷积神经网络的装置还包括图像获取模块，变换参数确定模块，和第二图像生成装置，所述图像获取模块用于：获取所述第一图像；所述变换参数确定模块用于：从变换参数集合中确定所述变换参数；所述第二图像生成装置用于：根据所述第一图像和所述变换参数生成所述第二图像。

进一步的，所述变换参数确定模块还用于：从所述变换参数集合中以随机的方式确定所述变换参数。

进一步的，所述标签信息与所述变换参数集合中的各变换参数一一对应。

进一步的，所述第二图像生成装置还用于：将所述第一图像中的像素的坐标乘以所述变换参数得到所述第二图像中与所述第一图像中的像素对应的像素的坐标；和/或，将所述第一图像中的像素的颜色信息作为所述第二图像中与所述第一图像中的像素对应的像素的颜色信息。

进一步的，所述训练模块还用于：将所述图像对集合输入所述卷积神经网络；确定所述卷积神经网络的所述输出项目的输出值；根据所述输出项目的输出值和所述变换参数构造损失函数；根据所述损失函数更新所述卷积神经网络的参数。

进一步的，所述训练卷积神经网络的装置还包括输入图像对获取模块，输出值确定模块，和输入图像对变换参数确定模块，所述输入图像对获取模块用于：获取输入图像对；所述输出值确定模块用于确定所述卷积神经网络的所述输出项目的输出值；所述输入图像对变换参数确定模块用于根据所述输出项目的输出值确定与所述输入图像对中的第一图像与第二图像之间的输入图像对变换参数。

进一步的，所述训练卷积神经网络的装置还包括第一像素确定模块，第二像素坐标确定模块，和相似度最高像素确定模块，所述第一像素确定模块用于从所述输入图像对的第一图像中确定第一像素；所述第二像素坐标确定模块用于根据所述第一像素的坐标和所述输入图像对变换参数得到所述输入图像对的第二图像中与所述第一像素对应的第二像素的坐标；所述相似度最高像素确定模块用于在以所述第二像素的坐标为圆心，以预设距离为半径的圆形区域中确定与所述第一像素的颜色的相似度最高的像素。

第三方面，本公开实施例提供一种电子设备，包括：存储器，用于存储计算机可读指令；以及与所述存储器耦合的一个或多个处理器，用于运行所述计算机可读指令，使得所述处理器运行时实现前述第一方面中的任一所述训练卷积神经网络的方法。

第四方面，本公开实施例提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行前述第一方面中的任一所述训练卷积神经网络的方法。

本公开公开了一种训练卷积神经网络的方法、装置、电子设备和计算机可读存储介质。其中所述训练卷积神经网络的方法，其特征在于，包括：确定图像对集合，所述图像对集合中的图像对与标签信息对应，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数；确定卷积神经网络的输出项目，所述输出项目的数量与所述变换参数的元素数量对应；根据所述图像对集合训练所述卷积神经网络。根据本公开实施例提供的训练卷积神经网络的方法、装置、电子设备和计算机可读存储介质所训练的卷积神经网络，能够用于确定输入的图像对的变换参数，相对于现有技术更加高效、准确、便捷。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的训练卷积神经网络的方法实施例的流程图；

图2为本公开提供的一种卷积神经网络模型示意图；

图3为本公开实施例提供的确定图像对集合的流程示意图；

图4为本公开实施例提供的一种定位对应像素的流程示意图；

图5为本公开实施例提供的训练卷积神经网络的装置实施例的结构示意图；

图6为根据本公开实施例提供的电子设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图示中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本实施例提供的该训练卷积神经网络的方法可以由一个训练卷积神经网络的装置来执行，该装置可以实现为软件，可以实现为硬件，还可以实现为软件和硬件的组合，例如所述训练卷积神经网络的装置包括计算机设备，从而通过该计算机设备来执行本实施例提供的该训练卷积神经网络的方法，如本领域技术人员所理解的，计算机设备可以是台式或便携计算机设备，还可以是移动终端设备等。

图1为本公开实施例提供的训练卷积神经网络的方法实施例的流程图，如图1所示，本公开实施例的训练卷积神经网络的方法包括如下步骤：

步骤S101，确定图像对集合，所述图像对集合中的图像对与标签信息对应，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数；

需要通过训练集合训练卷积神经网络，因此在步骤S101中获取图像对集合作为训练集合以训练卷积神经网络。其中，每个图像对包括两个图像，例如包括第一图像和第二图像。

由于本公开实施例希望通过训练卷积神经网络以用于确定输入的图像对之间的变换参数，因此本公开实施例中，对于作为训练集合的图像对集合，其中的每一个图像对对应有标签信息，以在训练卷积神经网络的过程中实现监督。如同本领域技术人员所理解的，在训练卷积神经网络的过程中，将训练集合中的数据项目输入到卷积神经网络得到计算结果，需要根据标签信息确定计算结果的偏差以构造损失函数，进而修正卷积神经网络的权重和偏置等参数，如此迭代以完成对卷积神经网络的训练，即实现监督功能，因此作为训练集合的图像对集合中的各图像对对应有标签信息。

其中，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数，本公开实施例中的变换参数包括一个或多个元素，进一步的，如果所述变换参数包括多个元素，多个元素之间还可以具有关联，其中，一个或多个元素对应有数值。例如所述变换参数包括一个元素，该元素代表缩放比例，取值范围0到1之间，还例如所述变换参数包括两个元素，两个元素分别代表x坐标和y坐标的缩放比例，取值范围0到10之间。作为一个可选的实施例，所述变换参数包括矩阵，例如是N*N矩阵，其中N为自然数，该示例中的变换参数包括N*N个元素，并且各元素之间在位置上存在关联，例如各元素在该矩阵中具有位置信息。

可选的，所述矩阵包括3*3大小的单应性矩阵或单应矩阵(Homography)。作为示例，所述图像对集合中的一个图像对，其包括第一图像和第二图像，第一图像和第二图像之间的变换参数能够用于确定在第一图像中的任意像素在第二图像中的对应像素，例如对于第一图像中的像素A，其坐标为(x1，y1)，那么根据该变换参数能够确定该像素A在第二图像中对应的像素A’的坐标为(x2，y2)，其中A’的坐标为A的坐标与所述变换参数的乘积。以上述第一图像和第二图像之间的变换参数包括3*3大小的单应性矩阵H为例，前述第一图像中的像素A的坐标和第二图像中的像素A’的坐标满足如下关系：[x2，y2，1]^T＝H*[x1，y1，1]^T。在上述示例中，该一个图像对所对应的标签信息用于指示第一图像和第二图像之间的变换参数H，在实现上，例如不同的标识与不同的变换参数一一对应，那么可以采用变换参数H所对应的标识作为该一个图像对所对应的标签信息。

可选的，本公开实施例中的标签信息所指示的各图像对中的第一图像和第二图像间的变换参数具有相同的元素数量，例如该图像对集合中各图像对的第一图像和第二图像之间的变换参数均为N*N的矩阵。

步骤S102，确定卷积神经网络的输出项目，所述输出项目的数量与所述变换参数的元素数量对应；

卷积神经网络的输出项目在训练以及识别的过程中会对应有输出值，这用于表示卷积神经网络的计算结果。如前所述，本公开实施例希望通过训练卷积神经网络以实现确定输入图像对的两个图像之间的变换参数，故所训练的该卷积神经网络的输出项目的数量应当与标签信息所指示的变换参数的元素数量对应，从而通过该卷积神经网络的各输出项目的输出值表示该卷积神经网络计算出的变换参数。

以所述变换参数包括N*N矩阵为例，N*N矩阵包括N*N个元素，那么所述卷积神经网络的输出项目与N*N的变换参数对应意味着所述卷积神经网络的输出项目包括N*N个输出项目，从而通过N*N个输出项目的输出值表示所述卷积神经网络所计算的N*N的变换参数。可以认为，所述卷积神经网络各输出项目与所述变换参数的各元素一一对应，例如所述卷积神经网络的N*N各输出项目与所述N*N矩阵中的元素一一对应。

步骤S103，根据所述图像集合训练所述卷积神经网络。

在步骤S101中确定了训练所述卷积神经网络的图像对集合，在步骤S102中确定了所述卷积神经网络的输出项目，故在步骤S103中可以根据所述图像对集合训练所述卷积神经网络，所述卷积神经网络的输出项目可以用于输出所述卷积神经网络的计算结果。

可选的，所述卷积神经网络包括但不限于MobileNetV2，AlexNet，googleNet，VGGNet，DenseNet等。例如MobileNetV2卷积神经网络是由Google公司针对嵌入式设备提出的一种轻量级的深度卷积神经网络，其在MobileNetV1基础上做出改进，采用先扩张再压缩的策略以减少计算量并提高精度。

本领域技术人员能够理解，不同的卷积神经网络具有不同的架构，这体现在可能包括不同的层以及不同数量的层。如图2所示，典型的卷积神经网络的框架包括卷积层、非线性层、池化层、以及完全连接层。

卷积层主要用于从输入图像(本领域技术人员可以理解，在训练过程中将从训练集合中获取输入图像；当卷积神经网络训练完成后，卷积神经网络的参数将会被固化，因此可以将任何图像输入到卷积神经网络并通过该训练完成的卷积神经网络得到结果)中提取图像特征，可以通过一个或多个过滤器(也称特征探测器)按照预设的步长从输入图像中提取图像特征。如本领域技术人员所理解的，图像由像素构成，可以通过颜色参数和位置参数表征图像中的每一个像素，例如输入图像包括48*48个像素，通过5*5的过滤器按照步长为1提取器图像特征可以得到卷积层所输出的44*44的图像特征矩阵。

卷积层之后可以连接非线性层或池化层，其中非线性层用于对卷积层输出的图像特征进行二次特征提取，池化层可以采用平均池化的方式或者最大池化的方式对卷积层或非线性层的输出结果进行处理，能够降低图像特征的维度，减少运算次数。

卷积神经网络的最后为完全连接层，完全连接层的最后一层为输出层，完全连接层接收之前的层的图像特征，并对所述图像特征进行层层处理，最终，经过处理的图像特征输入到输出层，在输出层中通过激活函数对该图像特征进行计算，并将计算结果映射到输出层所包括的多个输出项目，该多个输出项目的输出值即为卷积神经网络的输出结果。

在训练卷积神经网络的过程中，对于训练集合中的图像，会输入到卷积神经网络，按照卷积神经网络的架构层层计算和处理，最终在完全连接层的输出层输出结果，然后根据该结果与图像的标签信息进行比对以构造损失函数，在通过梯度下降等算法根据该损失函数更新训练过程中涉及的权重和偏置等参数之后，再根据更新后的参数重新计算结果，如此迭代，在得到最优的结果后完成对卷积神经网络的训练，需要注意的是，对于训练完成的卷积神经网络，其权重和偏置等参数将被固化，从而对于输入的图像，可以通过该卷积神经网络得到计算结果。

因此在步骤S103中，可以按照上述方式，训练所述卷积神经网络。可选的，步骤S103：根据所述图像对集合训练所述卷积神经网络，包括：将所述图像对集合输入所述卷积神经网络；确定所述卷积神经网络的所述输出项目的输出值；根据所述输出项目的输出值和所述变换参数构造损失函数；根据所述损失函数更新所述卷积神经网络的参数。作为示例，在训练的过程中，首先将所述图像对集合中的各图像对输入所述卷积神经网络，通过各个层的特征提取和计算，从所述输出项目得到计算结果，参照前述实施例，所述输出项目包括N*N个输出值，而对于当前输入到卷积神经网络的图像对所对应的标签信息，可以根据标签信息的指示得到该当前输入的图像对中的第一图像和第二图像之间的N*N的变换参数，然后将输出项目的N*N个输出值所构成的矩阵与该标签信息指示的当前输入到卷积神经网络的图像对中的第一图像和第二图像之间的N*N的变换参数进行比对，例如通过现有的或将来的计算方法计算两个矩阵之间的距离或者相似度，并根据上述距离或者相似度构造损失函数，进而更新卷积神经网络的权重和偏置参数，以实现对卷积神经网络的训练。

值得说明的是，由于本公开实施例所训练的卷积神经网络用于确定输入的图像对的变换参数，因此用于训练卷积神经网络的训练集合包括图像对，图像对包括两个图像例如第一图像和第二图像，在按照上述方式训练卷积神经网络时，在一次训练过程中需要将第一图像和第二图像输入到卷积神经网络，当然还可以把图像对中的第一图像和第二图像合并或拼接为一个图像输入到卷积神经网络，本公开实施例对此不做限定。

通过本公开实施例提供的技术方案所训练的卷积神经网络，能够用于确定输入的图像对的变换参数，相对于现有技术更加高效、准确、便捷。

为了使基于步骤S101所确定的图像对集合训练出的卷积神经网络能够准确确定输入的图像对的变换参数，要尽量保证该图像对集合中的图像对的第一图像和第二图像之间的变换参数应与第一图像和第二图像的特征准确对应(例如，第一图像中的像素A的坐标和第二图像中的像素A’的坐标满足如下关系：[x2，y2，1]^T＝H*[x1，y1，1]^T)，因此可以根据第一图像和预设的变换参数构造图像对。参见图3，在一个可选的实施例中，步骤S101中所述确定图像对集合，还可以包括：

步骤S301，获取所述第一图像；

步骤S302，从变换参数集合中确定所述变换参数；

步骤S303，根据所述第一图像和所述变换参数生成所述第二图像。

在该可选的实施例中，变换参数集合中预设一个变换参数或者多个不同的变换参数，因此可以根据第一图像和预设的变换参数构造出第二图像，如此能够以较低成本快速构造出图像对，并且所构造的第二图像与第一图像之间的变换参数与第一图像和第二图像的特征准确对应。可选的，对于多个不同的第一图像，采用上述方式更能够以较低成本快速构造出图像对集合，从而基于该图像对集合训练卷积神经网络，有助于提高卷积神经网络的准确度。

可选的，所述从变换参数集合中确定所述变换参数，包括：从所述变换参数集合中以随机的方式确定所述变换参数。可选的，所述标签信息与所述变换参数集合中的各变换参数一一对应。作为示例，变换参数集合中包括M个变换参数，其中M为自然数且M＞1，M个变换参数与M个标签信息一一对应，对于多个第一图像中的任意一个第一图像，可以通过随机的方式从M个变换参数中选取一个变换参数，根据该随机选取的变换参数生成第二图像，并且该任一一个第一图像和所生成的该第二图像所构成的图像对所对应的标签信息为与该一个变换参数所对应的标签信息，对于多个第一图像中的每一个第一图像均按照上述方式进行处理以生成多个第二图像，从而构成步骤S101中的图像对集合，并且图像对集合中的每个图像对是基于变换参数集合中的M个变换参数中的一个生成的，每个图像对所对应的标签信息对应于生成该每个图像对时所根据的变换参数，然后继续按照本公开前述实施例中的步骤S102和步骤S103完成对卷积神经网络的训练，不但能够以较低成本快速构造出图像对集合，还能够使图像对集合中的各图像对的两个图像之间的变换参数与图像特征准确对应，从而基于该图像对集合训练卷积神经网络，有助于提高卷积神经网络的准确度。

可选的，步骤S303中的根据所述第一图像和所述变换参数生成所述第二图像，包括：将所述第一图像中的像素的坐标乘以所述变换参数得到所述第二图像中与所述第一图像中的像素对应的像素的坐标；和/或将所述第一图像中的像素的颜色信息作为所述第二图像中与所述第一图像中的像素对应的像素的颜色信息。以第一图像和第二图像之间的变换参数包括3*3大小的单应性矩阵H为例，对于第一图像中的每一个像素的坐标，乘以所述单应性矩阵H得到其在第二图像中的坐标，同时在第二图像中还可以保持该每一个像素的颜色信息不变，从而得到所述第二图像。

通过本公开实施例所训练的卷积神经网络可以用于计算输入图像对的第一图像和第二图像之间的变换参数，如图4所示，在一个可选的实施例中，在步骤S103：根据所述图像对集合训练所述卷积神经网络之后，本公开实施例提供的训练卷积神经网络的方法还可以包括：

步骤S401，获取输入图像对；

步骤S402，确定所述卷积神经网络的所述输出项目的输出值；

步骤S403，根据所述输出项目的输出值确定与所述输入图像对中的第一图像与第二图像之间的输入图像对变换参数；

如本领域技术人员所理解的，通过卷积神经网络对输入的图像(或图像对)进行识别过程与训练卷积神经网络的过程类似，但是不需要根据卷积神经网络的计算结果更新卷积神经网络的参数。关于如何根据卷积神经网络的所述输出项目的输出值确定与所述输入图像对中的第一图像与第二图像之间的输入图像对变换参数，可以参照前述的实施例，此处不再赘述。

可选的，在步骤S403之后，还包括：

步骤S404，从所述输入图像对的第一图像中确定第一像素；

步骤S405，根据所述第一像素的坐标和所述输入图像对变换参数得到所述输入图像对的第二图像中与所述第一像素对应的第二像素的坐标；

步骤S406，在以所述第二像素的坐标为圆心，以预设距离为半径的圆形区域中确定与所述第一像素的颜色的相似度最高的像素。

如本公开背景技术所述，对于输入的图像对，其中的第一图像中的一个或多个像素可能在第二图像中被映射到了其他位置，而通过本公开实施例提供的训练卷积神经网络的方法所训练的卷积神经网络能够得到变换参数，从而根据该变换参数可以确定在第一图像中的一个或多个像素在第二图像中所映射的位置，但是卷积神经网络所确定的变换参数也可能存在一定的误差，因此基于卷积神经网络给出的变换参数所得到映射位置可能并不十分精确。为了解决这一技术问题，在上述可选的实施例中，在根据卷积神经网络确定所述输入图像对的输入图像对变换参数之后，在步骤S404中从该输入图像对中的第一图像中确定第一像素，在步骤S405中根据该第一像素的坐标和该输入图像对变换参数确定该第一像素在第二图像中与所述第一像素对应的第二像素的坐标，并在步骤S406中，以该第二像素为中心、与预设的距离为半径的圆形区域中确定与所述第一像素的颜色的相似度最高的像素，其中颜色相似度可以通过例如像素的颜色参数的欧式距离来表示，即计算该圆形区域中每个像素的颜色参数与所述第二像素的颜色参数的欧氏距离，将欧式距离最小的颜色参数所对应的像素作为该第一像素在第二图像中与所述第一像素对应的第二像素，从而能够更加准确的计算该输入图像对中第一图像中的像素在第二图像中的映射位置。

图5所示为本公开实施例提供的训练卷积神经网络的装置500实施例的结构示意图，如图5所示，所述训练卷积神经网络的装置500包括图像对集合确定模块501，输出项目确定模块502，训练模块503。

其中，所述图像对集合确定模块501，用于确定图像对集合，所述图像对集合中的图像对与标签信息对应，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数；所述输出项目确定模块502，用于确定卷积神经网络的输出项目，所述输出项目的数量与所述变换参数对应；所述训练模块503，用于根据所述图像对集合训练所述卷积神经网络。

可选的，图5所示装置还可以包括用于获取第一图像的获取模块，用于从变换参数集合中确定变换参数的变换参数确定模块，以及用于根据所述第一图像和所述变换参数生成所述第二图像的第二图像生成模块。

可选的，图5所示装置还可以包括用于获取输入图像对的输入图像对获取模块，用于确定所述卷积神经网络的所述输出项目的输出值的输出值确定模块，用于根据所述输出项目的输出值确定与所述输入图像对中的第一图像与第二图像之间的输入图像对变换参数的输入图像对变换参数确定模块，以及用于从所述输入图像对的第一图像中确定第一像素的第一像素确定模块，用于根据所述第一像素的坐标和所述输入图像对变换参数得到所述输入图像对的第二图像中与所述第一像素对应的第二像素的坐标的第二像素坐标确定模块，用于在以所述第二像素的坐标为圆心，以预设距离为半径的圆形区域中确定与所述第一像素的颜色的相似度最高的像素的相似度最高像素确定模块。

图5所示装置可以执行图1，图3，和/或图4所示实施例的方法，本实施例未详细描述的部分，可参考对图1，图3，和/或图4所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1，图3，和/或图4所示实施例中的描述，在此不再赘述。

下面参考图6，其示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线或通信线路604彼此相连。输入/输出(I/O)接口605也连接至总线或通信线路604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例中的训练卷积神经网络的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。