图片处理方法和装置与流程

本申请实施例涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及图片处理方法和装置。

背景技术

在基于卷积神经网络(convolutionalneuralnetwork)处理图片的场景分类、场景分割、目标识别以及行为识别等计算机视觉任务中，可以先通过卷积神经网络获取图像所包含物体的特征，然后对特征进行处理。

技术实现要素：

本申请实施例提出了图片处理方法和装置。

第一方面，本申请实施例提供了一种图片处理方法，包括：将待处理的图片输入卷积神经网络，得到图片的特征图像金字塔，其中，特征图像金字塔包括至少两个具有互不相同的原始分辨率的特征图像层；对特征图像金字塔变换分辨率，得到与特征图像金字塔对应的特征图像集合，其中，特征图像集合中的特征图像具有相同的分辨率；将特征图像集合划分为至少两个特征图像子集，其中，各个特征图像子集包括具有不同原始分辨率的特征图像；将具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合。

在一些实施例中，将具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合，包括：对至少一个特征图像子集中的特征图像变换分辨率；将特征图像金字塔中，具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合，其中，不同的特征图像层所对应的特征图像组合的分辨率不同。

在一些实施例中，对特征图像金字塔变换分辨率，包括：对特征图像金字塔中的第一特征图像层以外的特征图像进行上采样，使得上采样后生成的各特征图像具有与第一特征图像层中的各特征图像的原始分辨率相同的分辨率，其中，第一特征图像层为特征图像金字塔中，具有最大原始分辨率的特征图像所在的图像层。

在一些实施例中，将特征图像集合划分为至少两个特征图像子集，包括：将特征图像集合分为指定数量个组，其中，每个组中包括具有至少一个原始分辨率的特征图像，指定数量大于或等于原始分辨率的数量，各个组中的特征图像的数量差小于阈值；将每个组划分至其中一个特征图像子集。

在一些实施例中，将特征图像集合分为指定数量个组，包括：将特征图像集合分为指定数量个初始组，其中，各个初始组包括的特征图像的数量相等，其中，各个初始组中的特征图像按照原始分辨率的大小顺序排列；将按照顺序排列的初始组分为指定数量个组，其中，各个组按照其中包括的特征图像的原始分辨率的大小顺序排列，各个组包括的特征图像的数量相等。

在一些实施例中，将每个组划分至其中一个特征图像子集，包括：取各个初始组内的其中一个组，按照所取的组所在的各个初始组之间的顺序排列所取的各个组，得到组序列；按照组序列中的组在所在的初始组中的顺序，将各个组序列连接成组总序列；将组总序列按序分成预设数量个特征图像子集。

在一些实施例中，特征图像金字塔所包含的特征图像层的数量与特征图像子集的数量相同。

在一些实施例中，各特征图像子集包括与特征图像金字塔中，各特征图像层的原始分辨率相同原始分辨率的特征图像。

在一些实施例中，对至少一个特征图像子集中的特征图像变换分辨率，包括：对于至少一个特征图像子集，对其中一个特征图像子集的特征图像进行下采样，得到与特征图像金字塔中的其中一个特征图像层的分辨率相同的特征图像子集，其中，在下采样之后，不同的特征图像子集的分辨率不同；以及将特征图像金字塔中，具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，包括：确定所包括的特征图像的分辨率相同的特征图像层与特征图像子集分别为目标层和目标子集；对目标层中的特征图像和目标子集中的特征图像进行融合。

第二方面，本申请实施例提供了一种图片处理装置，包括：输入单元，被配置成将待处理的图片输入卷积神经网络，得到图片的特征图像金字塔，其中，特征图像金字塔包括至少两个具有互不相同的原始分辨率的特征图像层；变换单元，被配置成对特征图像金字塔变换分辨率，得到与特征图像金字塔对应的特征图像集合，其中，特征图像集合中的特征图像具有相同的分辨率；划分单元，被配置成将特征图像集合划分为至少两个特征图像子集，其中，各个特征图像子集包括具有不同原始分辨率的特征图像；合并单元，被配置成将具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合。

在一些实施例中，合并单元，包括：变换模块，被配置成对至少一个特征图像子集中的特征图像变换分辨率；合并模块，被配置成将特征图像金字塔中，具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合，其中，不同的特征图像层所对应的特征图像组合的分辨率不同。

在一些实施例中，变换单元进一步被配置成：对特征图像金字塔中的第一特征图像层以外的特征图像进行上采样，使得上采样后生成的各特征图像具有与第一特征图像层中的各特征图像的原始分辨率相同的分辨率，其中，第一特征图像层为特征图像金字塔中，具有最大原始分辨率的特征图像所在的图像层。

在一些实施例中，划分单元，包括：分组模块，被配置成将特征图像集合分为指定数量个组，其中，每个组中包括具有至少一个原始分辨率的特征图像，指定数量大于或等于原始分辨率的数量，各个组中的特征图像的数量差小于阈值；划分模块，被配置成将每个组划分至其中一个特征图像子集。

在一些实施例中，分组模块进一步被配置成：将特征图像集合分为指定数量个初始组，其中，各个初始组包括的特征图像的数量相等，其中，各个初始组中的特征图像按照原始分辨率的大小顺序排列；将按照顺序排列的初始组分为指定数量个组，其中，各个组按照其中包括的特征图像的原始分辨率的大小顺序排列，各个组包括的特征图像的数量相等。

在一些实施例中，划分模块进一步被配置成：取各个初始组内的其中一个组，按照所取的组所在的各个初始组之间的顺序排列所取的各个组，得到组序列；按照组序列中的组在所在的初始组中的顺序，将各个组序列连接成组总序列；将组总序列按序分成预设数量个特征图像子集。

在一些实施例中，特征图像金字塔所包含的特征图像层的数量与特征图像子集的数量相同。

在一些实施例中，各特征图像子集包括与特征图像金字塔中，各特征图像层的原始分辨率相同原始分辨率的特征图像。

在一些实施例中，变换模块被配置成：对于至少一个特征图像子集，对其中一个特征图像子集的特征图像进行下采样，得到与特征图像金字塔中的其中一个特征图像层的分辨率相同的特征图像子集，其中，在下采样之后，不同的特征图像子集的分辨率不同；以及合并模块进一步被配置成：确定所包括的特征图像的分辨率相同的特征图像层与特征图像子集分别为目标层和目标子集；对目标层中的特征图像和目标子集中的特征图像进行融合。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如图片处理方法中任一实施例的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图片处理方法中任一实施例的方法。

本申请实施例提供的图片处理方案，首先，将待处理的图片输入卷积神经网络，得到图片的特征图像金字塔，其中，特征图像金字塔包括至少两个具有互不相同的原始分辨率的特征图像层。之后，可以对特征图像金字塔变换分辨率，得到与特征图像金字塔对应的特征图像集合，其中，特征图像集合中的特征图像具有相同的分辨率。而后，将特征图像集合划分为至少两个特征图像子集，其中，各个特征图像子集包括具有不同原始分辨率的特征图像。最后，将具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合。本申请的上述实施例提供的方法能够通过划分特征图像子集，得到包括具有至少两个原始分辨率的特征图像的子集。这样，最终得到的特征图像组合，不是包括单一的原始分辨率的特征图像，而包括不同原始分辨率的特征图像。本申请实施例有利于卷积神经网络对图片进行检测和识别，可以提高卷积神经网络的准确度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的图片处理方法的一个实施例的流程图；

图3是根据本申请的图片处理方法的一个应用场景的示意图；

图4a是根据本申请的图片处理方法的又一个实施例的流程图，图4b是应用于图4a的一个应用场景的示意图；

图5是根据本申请的图片处理装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的图片处理方法或图片处理装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图像识别应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

这里的终端101、102、103可以是硬件，也可以是软件。当终端101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的图片等数据进行分析等处理，并将处理结果(例如特征图像组合)反馈给终端设备。

需要说明的是，本申请实施例所提供的图片处理方法可以由服务器105或者终端设备101、102、103执行，相应地，图片处理装置可以设置于服务器105或者终端设备101、102、103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的图片处理方法的一个实施例的流程200。该图片处理方法，包括以下步骤：

步骤201，将待处理的图片输入卷积神经网络，得到图片的特征图像金字塔，其中，特征图像金字塔包括至少两个具有互不相同的原始分辨率的特征图像层。

在本实施例中，图片处理方法的执行主体(例如图1所示的服务器)可以将待处理的图片输入卷积神经网络，得到图片的特征图像金字塔。待处理的图片指有待于处理的图片，这里的处理可以是检测图片中的关键点，或者对图片所包含对象进行识别等等。

在这里，特征图像包括卷积神经网络获取到的图片的特征。特征图像金字塔中有至少两层，每一层有同一种尺寸的特征图像。同一种尺寸的特征图像的分辨率相同。该特征图像金字塔中的特征图像的分辨率可以称为原始分辨率。

步骤202，对特征图像金字塔变换分辨率，得到与特征图像金字塔对应的特征图像集合，其中，特征图像集合中的特征图像具有相同的分辨率。

在本实施例中，上述执行主体可以变化特征图像金字塔中的部分或者所有特征图像的分辨率，以统一特征图像金字塔中特征图像的分辨率，得到与特征图像金字塔对应的特征图像集合。特征图像集合中有特征图像金字塔在分辨率变换之后得到的所有特征图像。分辨率变换可以是由小到大，也可以是由大到小。

在本实施例的一些可选的实现方式中，步骤202可以包括：

对特征图像金字塔中的第一特征图像层以外的特征图像进行上采样，使得上采样后生成的各特征图像具有与第一特征图像层中的各特征图像的原始分辨率相同的分辨率，其中，第一特征图像层为特征图像金字塔中，具有最大原始分辨率的特征图像所在的图像层。

在这些可选的实现方式中，上述执行主体可以对特征图像金字塔中的最大原始分辨率的特征图像以外的特征图像进行上采样，以增大特征图像的分辨率，并放大特征图像的尺寸。这样，经过上采样，特征图像金字塔中的所有特征图像的分辨率一致，都等于特征图像金字塔中的最大的分辨率。

这些实现方式通过对特征图像放大尺寸，可以避免缩小特征图像造成的特征信息的损失，确保了特征信息的完整性。

步骤203，将特征图像集合划分为至少两个特征图像子集，其中，各个特征图像子集包括具有不同原始分辨率的特征图像。

在本实施例中，上述执行主体可以将特征图像集合划分为至少两个特征图像子集，以使每个特征图像子集当中的多个特征图像的原始分辨率不尽相同。不同的原始分辨率指各个特征图像的原始分辨率不完全相同，这里的原始分辨率的数量为两个或者两个以上。具体地，原始分辨率不同的特征图像来源于卷积神经网络中的不同的卷积层，因而，原始分辨率不同的特征图像所包含的特征信息是不同的。

在实践中，可以采用多种方式划分特征图像子集。举例来说，上述执行主体可以先确定特征图像子集的数量。之后，将特征图像集合中的每个原始分辨率的特征图像均分为上述数量的份数，将分得的各份单一原始分辨率的特征图像分别放入各个特征图像子集中。此外，上述执行主体还可以将特征图像集合中的其中两个原始分辨率的特征图像放入每个特征图像子集中，之后将特征图像集合中的未分配的特征图像随机分配到各个特征图像子集中。

步骤204，将具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合。

在本实施例中，上述执行主体可以将具有相同原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并。从而合并得到与各个原始分辨率相对应的特征图像组合。这样，在得到的特征图像组合中，包括具有至少两个原始分辨率的特征图像。具体地，相对应是指特征图像组合的数量和原始分辨率的数量(也即特征图像金字塔中的特征图像层的数量)相对应。各个特征图像组合所包含的特征图像的原始分辨率可以是不同的。

在实践中，组合方式可以是共同加入某个集合，也可以是对特征图像进行融合，还可以是将有待合并的各个特征图像进行排序，形成特征图像序列。

在得到特征图像组合之后，上述执行主体可以将各个特征图像组合输入卷积神经网络的指定卷积层(可以是行使解码器功能的多个卷积层)。

在本实施例的一些可选的实现方式中，特征图像金字塔所包含的特征图像层的数量与特征图像子集的数量相同。

在这些可选的实现方式中，在特征图像金字塔所包含的特征图像层的数量与特征图像子集的数量相同时，也即原始分辨率的数量与特征图像子集的数量相同时，可以无需进一步划分，直接将特征图像集合中，原始分辨率相同的特征图像与同一个特征图像子集中的特征图像进行合并。

在本实施例的一些可选的实现方式中，各特征图像子集包括与特征图像金字塔中，各特征图像层的原始分辨率相同原始分辨率的特征图像。

在这些可选的实现方式中，每个特征图像子集中具有所有原始分辨率的特征图像，可以将具有各种原始分辨率的特征图像进行分散。高原始分辨率的特征图像有利于图片细节的分辨，低原始分辨率的特征图像有利于整体的分辨，这些实现方式可以提高卷积神经网络的准确度。

在本实施例的一些可选的实现方式中，步骤204可以包括：

将特征图像集合中，具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合。

在步骤204之后，可以对每个特征图像组合中的特征图像进行下采样，得到与特征图像金字塔中的其中一个特征图像层的分辨率相同的目标特征图像组合，其中，不同的特征图像组合所对应的目标特征图像组合的分辨率不同。

将各个目标特征图像组合输入卷积神经网络的指定卷积层。

在这些可选的实现方式中，上述执行主体可以将特征图像集合中，具有相同原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并。从而合并得到与各个原始分辨率相对应的特征图像组合。上述执行主体可以将各层特征图像输入指定的某些卷积层，以进行图像分割、对象分类或者对象的姿态估计等等。

在本实施例的一些可选的实现方式中，步骤204可以包括：

对至少一个特征图像子集中的特征图像变换分辨率；

将特征图像金字塔中，具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合，其中，不同的特征图像层所对应的特征图像组合的分辨率不同。

在这些可选的实现方式中，上述执行主体可以对部分或者全部特征图像子集进行处理，也即对所包括的特征图像进行分辨率的变换。之后可以将特征图像金字塔中的特征图像层中的特征图像，与其中一个特征图像子集中的特征图像进行合并。所得到的特征图像组之间的特征图像的分辨率互不相同。

在这些实现方式的一些应用场景中，上述的对至少一个特征图像子集中的特征图像变换分辨率，可以包括：

对于至少一个特征图像子集，对其中一个特征图像子集的特征图像进行下采样，得到与特征图像金字塔中的其中一个特征图像层的分辨率相同的特征图像子集，其中，在下采样之后，不同的特征图像子集的分辨率不同。

上述的将特征图像金字塔中，具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，可以包括：

确定所包括的特征图像的分辨率相同的特征图像层与特征图像子集分别为目标层和目标子集；

对目标层中的特征图像和目标子集中的特征图像进行融合。

在这些应用场景中，上述执行主体可以先对特征图像子集进行下采样，在下采样之后进行图像的融合。相比于前述实现方式中的先进行特征图像的合并，再对特征图像组合中的特征图像进行下采样，可以减小下采样的处理量，提高下采样的效率。

举例来说，共有4个特征图像子集，在下采样之后，各个特征图像子集的分辨率分别为a、b、c和d。特征图像金字塔中共有4个特征图像层，各层特征图像的分辨率(也即原始分辨率)分别为a、b、c和d。将上述的相同分辨率的特征图像进行融合，比如将a与a进行融合。

具体地，上述执行主体可以在特征图像金字塔中确定出其中一个特征图像层作为目标层，并确定出一个特征图像子集为目标子集。上述的目标层和目标子集，所包括的特征图像的分辨率是相同的。确定目标层和确定目标子集的步骤可以执行多次，直到从各个特征图像子集中，确定出与特征图像金字塔中的每个特征图像层的特征图像的分辨率相同的特征图像子集。

以上的方法可以用于卷积神经网络的训练或者应用。

继续参见图3，图3是根据本实施例的图片处理方法的应用场景的一个示意图。在图3的应用场景中，执行主体301将从本地或者其他电子设备获取的待处理的图片302输入卷积神经网络，得到图片的特征图像金字塔303，其中，特征图像金字塔包括4个具有互不相同的原始分辨率的特征图像层。对特征图像金字塔变换分辨率，得到与特征图像金字塔对应的特征图像集合304，其中，特征图像集合中的特征图像具有相同的分辨率；将特征图像集合划分为4个特征图像子集305，其中，各个特征图像子集包括具有2个原始分辨率的特征图像；将具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合306。

本申请的上述实施例提供的方法能够通过划分特征图像子集，得到包括具有至少两个原始分辨率的特征图像的子集。这样，最终得到的特征图像组合，不是包括单一的原始分辨率的特征图像，而包括不同原始分辨率的特征图像。高原始分辨率的特征图像有利于图片细节的分辨，低原始分辨率的特征图像有利于整体的分辨，通过将不同原始分辨率的特征图像进行合并，有利于提升卷积神经网络对图片进行检测和识别的准确度。

进一步参考图4a，其示出了图片处理方法的又一个实施例的流程400。该图片处理方法的流程400，包括以下步骤：

步骤401，将待处理的图片输入卷积神经网络，得到图片的特征图像金字塔，其中，特征图像金字塔包括至少两个具有互不相同的原始分辨率的特征图像层。

在本实施例中，图片处理方法的执行主体(例如图1所示的服务器)可以将待处理的图片输入卷积神经网络，得到图片的特征图像金字塔。待处理的图片指有待于处理的图片，这里的处理可以是检测图片中的关键点，或者对图片所包含对象进行识别等等。

步骤402，对特征图像金字塔变换分辨率，得到与特征图像金字塔对应的特征图像集合，其中，特征图像集合中的特征图像具有相同的分辨率。

在本实施例中，上述执行主体可以变化特征图像金字塔中的部分或者所有特征图像的分辨率，以统一特征图像金字塔中特征图像的分辨率，得到与特征图像金字塔对应的特征图像集合。特征图像集合中有特征图像金字塔在分辨率变换之后得到的所有特征图像。分辨率变换可以是由小到大，也可以是由大到小。

步骤403，将特征图像集合分为指定数量个组，其中，每个组中包括具有至少一个原始分辨率的特征图像，指定数量大于或等于原始分辨率的数量，各个组中的特征图像的数量差小于阈值。

在本实施例中，上述执行主体可以将特征图像集合分为指定数量个组。这样，上述执行主体可以得到较多组的特征图像，便于后续将各个组划分到特征图像子集中，得到包括具有至少两个原始分辨率的特征图像的特征图像子集。在这里，各个组中的特征图像的数量比较平均。

在本实施例的一些可选的实现方式中，步骤403可以通过如下的方式来实现。

首先，将特征图像集合分为指定数量个初始组，其中，各个初始组包括的特征图像的数量相等，其中，各个初始组中的特征图像按照原始分辨率的大小顺序排列。

接着，将按照顺序排列的初始组分为指定数量个组，其中，各个组按照其中包括的特征图像的原始分辨率的大小顺序排列，各个组包括的特征图像的数量相等。

在这些可选的实现方式中，上述执行主体可以对特征图像集合进行不止一次划分，以得到指定数量个组。这样，通过减小各个组的体量，在各个组甚至各个特征图像子集中，不同原始分辨率的特征图像可以排列得更加分散，进一步提高卷积神经网络的准确度。这里的指定数量可以是大于或等于某个数量阈值的较大的数值。

步骤404，将每个组划分至其中一个特征图像子集。

在本实施例中，上述执行主体可以将每个组划分至其中一个特征图像子集中，以使各个特征图像子集包括具有至少两个原始分辨率的特征图像。这样，各个原始分辨率的特征图像可以分散在不同的特征图像子集中，而不是集中在同一个特征图像子集。

在本实施例的一些可选的实现方式中，步骤404可以包括：

取各个初始组内的其中一个组，按照所取的组所在的各个初始组之间的顺序排列所取的各个组，得到组序列；

按照组序列中的组在所在的初始组中的顺序，将各个组序列连接成组总序列；

将组总序列按序分成预设数量个特征图像子集。

在这些可选的实现方式中，上述执行主体在划分组时，可以对组进行排序，并且排序的顺序，可以按照其在初始组中的排序。

举例来说，如图4b所示，(1)中有三个初始组按序排列，每个组中的特征图像有至少一个原始分辨率。各个初始组之间的特征图像的原始分辨率互不相同。如(2)，可以将每个初始组平均分成三个组。之后，可以对原始分辨率不尽相同的组进行穿插排列，得到(3)中的三个组序列连成的组总序列。按照组总序列中的特征图像的排列顺序，将组总序列中的多个特征图像分到(4)中的4个特征图像子集中。

步骤405，将具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合。

在本实施例中，上述执行主体可以将具有相同原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并。从而合并得到与各个原始分辨率相对应的特征图像组合。这样，在得到的特征图像组合中，包括具有至少两个原始分辨率的特征图像。

本实施例将特征图像分成多个组，并限定特征图像的排列顺序，让组总序列中的具有不同原始分辨率的特征图像得以交叉排列，从而避免了最后得到的特征图像子集形成每个原始分辨率的图片集中排列，进一步提高了卷积神经网络的准确性。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种图片处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的图片处理装置500包括：输入单元501、变换单元502、划分单元503和合并单元504。其中，输入单元501，被配置成将待处理的图片输入卷积神经网络，得到图片的特征图像金字塔，其中，特征图像金字塔包括至少两个具有互不相同的原始分辨率的特征图像层；变换单元502，被配置成对特征图像金字塔变换分辨率，得到与特征图像金字塔对应的特征图像集合，其中，特征图像集合中的特征图像具有相同的分辨率；划分单元503，被配置成将特征图像集合划分为至少两个特征图像子集，其中，各个特征图像子集包括具有不同原始分辨率的特征图像；合并单元504，被配置成将具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合。

在一些实施例中，图片处理装置500的输入单元501可以将待处理的图片输入卷积神经网络，得到图片的特征图像金字塔。待处理的图片指有待于处理的图片，这里的处理可以是检测图片中的关键点，或者对图片所包含对象进行识别等等。

在一些实施例中，变换单元502可以变化特征图像金字塔中的部分或者所有特征图像的分辨率，以统一特征图像金字塔中特征图像的分辨率，得到与特征图像金字塔对应的特征图像集合。特征图像集合中有特征图像金字塔在分辨率变换之后得到的所有特征图像。分辨率变换可以是由小到大，也可以是由大到小。

在一些实施例中，划分单元503可以将特征图像集合划分为至少两个特征图像子集，以使每个特征图像子集当中的多个特征图像的原始分辨率不尽相同。不同的原始分辨率指各个特征图像的原始分辨率不完全相同，这里的原始分辨率的数量为两个或者两个以上。

在一些实施例中，合并单元504可以将具有相同原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并。从而合并得到与各个原始分辨率相对应的特征图像组合。这样，在得到的特征图像组合中，包括具有至少两个原始分辨率的特征图像。

在本实施例的一些可选的实现方式中，合并单元，包括：变换模块，被配置成对至少一个特征图像子集中的特征图像变换分辨率；合并模块，被配置成将特征图像金字塔中，具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合，其中，不同的特征图像层所对应的特征图像组合的分辨率不同。

在本实施例的一些可选的实现方式中，变换单元进一步被配置成：对特征图像金字塔中的第一特征图像层以外的特征图像进行上采样，使得上采样后生成的各特征图像具有与第一特征图像层中的各特征图像的原始分辨率相同的分辨率，其中，第一特征图像层为特征图像金字塔中，具有最大原始分辨率的特征图像所在的图像层。

在本实施例的一些可选的实现方式中，划分单元，包括：分组模块，被配置成将特征图像集合分为指定数量个组，其中，每个组中包括具有至少一个原始分辨率的特征图像，指定数量大于或等于原始分辨率的数量，各个组中的特征图像的数量差小于阈值；划分模块，被配置成将每个组划分至其中一个特征图像子集。

在本实施例的一些可选的实现方式中，分组模块进一步被配置成：将特征图像集合分为指定数量个初始组，其中，各个初始组包括的特征图像的数量相等，其中，各个初始组中的特征图像按照原始分辨率的大小顺序排列；将按照顺序排列的初始组分为指定数量个组，其中，各个组按照其中包括的特征图像的原始分辨率的大小顺序排列，各个组包括的特征图像的数量相等。

在本实施例的一些可选的实现方式中，划分模块进一步被配置成：取各个初始组内的其中一个组，按照所取的组所在的各个初始组之间的顺序排列所取的各个组，得到组序列；按照组序列中的组在所在的初始组中的顺序，将各个组序列连接成组总序列；将组总序列按序分成预设数量个特征图像子集。

在本实施例的一些可选的实现方式中，特征图像金字塔所包含的特征图像层的数量与特征图像子集的数量相同。

在本实施例的一些可选的实现方式中，各特征图像子集包括与特征图像金字塔中，各特征图像层的原始分辨率相同原始分辨率的特征图像。

在本实施例的一些可选的实现方式中，变换模块被配置成：对于至少一个特征图像子集，对其中一个特征图像子集的特征图像进行下采样，得到与特征图像金字塔中的其中一个特征图像层的分辨率相同的特征图像子集，其中，在下采样之后，不同的特征图像子集的分辨率不同；以及合并模块进一步被配置成：确定所包括的特征图像的分辨率相同的特征图像层与特征图像子集分别为目标层和目标子集；对目标层中的特征图像和目标子集中的特征图像进行融合。

下面参考图6，其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(cpu和gpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有系统600操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。

以下部件连接至i/o接口605：包括硬盘等的存储部分606；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分607。通信部分607经由诸如因特网的网络执行通信处理。驱动器608也根据需要连接至i/o接口605。可拆卸介质609，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器608上，以便于从其上读出的计算机程序根据需要被安装入存储部分606。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分607从网络上被下载和安装，和/或从可拆卸介质609被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括输入单元、变换单元、划分单元和合并单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，输入单元还可以被描述为“将待处理的图片输入卷积神经网络，得到图片的特征图像金字塔的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：将待处理的图片输入卷积神经网络，得到图片的特征图像金字塔，其中，特征图像金字塔包括至少两个具有互不相同的原始分辨率的特征图像层；对特征图像金字塔变换分辨率，得到与特征图像金字塔对应的特征图像集合，其中，特征图像集合中的特征图像具有相同的分辨率；将特征图像集合划分为至少两个特征图像子集，其中，各个特征图像子集包括具有不同原始分辨率的特征图像；将具有相同的原始分辨率的特征图像与其中一个特征图像子集中的特征图像合并，形成与各个原始分辨率相对应的特征图像组合。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。