图像处理方法及装置、电子设备和存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。


背景技术：

2.图像识别可以有效确定图像中对象的所属类别，在自动驾驶、智能审核等多种场景都有着重要的应用。
3.然而，相关的图像识别方法中，往往基于固定范围的图像特征来识别对象的类别，忽略了图像自身的内容信息分布，降低了图像识别与分类的效果。


技术实现要素：

4.为克服相关技术中存在的问题，本公开提出了一种图像处理方案。
5.根据本公开的一方面，提供了一种增图像处理方法，包括：
6.对待处理图像进行特征提取，得到所述待处理图像的特征图，其中，所述待处理图像包括目标对象；根据所述目标对象在所述待处理图像中的位置，对所述特征图进行采样处理，得到采样特征；基于所述采样特征，对所述目标对象进行分类处理，得到分类结果。
7.在一种可能的实现方式中，所述根据所述目标对象在所述待处理图像中的位置，对所述特征图进行采样处理，得到采样特征，包括：根据所述目标对象在所述待处理图像中的位置，确定对所述特征图进行采样的目标采样位置；根据所述目标采样位置，对所述特征图进行采样处理，得到所述采样特征。
8.在一种可能的实现方式中，所述根据所述目标对象在所述待处理图像中的位置，确定对所述特征图进行采样的目标采样位置，包括：通过对所述特征图进行至少一次迭代采样，得到与所述目标对象在所述待处理图像中的位置相匹配的所述目标采样位置。
9.在一种可能的实现方式中，响应于对所述特征图进行至少两次迭代采样的情况，对所述特征图进行的第t次迭代采样包括：根据第t
‑
1次迭代采样后的中间采样位置，对所述特征图进行第t次迭代采样，得到第t次迭代采样后的中间采样特征，t为大于1的整数；根据所述第t次迭代采样后的中间采样特征，对所述第t
‑
1次迭代采样后的中间采样位置进行更新，得到第t次迭代采样后的中间采样位置；在所述t达到预设迭代次数的情况下，将所述第t次迭代采样后的中间采样位置作为所述目标采样位置。
10.在一种可能的实现方式中，所述根据所述第t次迭代采样后的中间采样特征，对所述第t
‑
1次迭代采样后的中间采样位置进行更新，得到第t次迭代采样后的中间采样位置，包括：根据所述第t次迭代采样后的中间采样特征进行位置偏移预测，生成位置偏移量；根据所述位置偏移量，对所述第t
‑
1次迭代采样后的中间采样位置进行更新，得到第t次迭代采样后的中间采样位置。
11.在一种可能的实现方式中，所述根据第t
‑
1次迭代采样后的中间采样位置，对所述特征图进行第t次迭代采样，得到第t次迭代采样后的中间采样特征，包括：根据第t
‑
1次迭
代采样后的中间采样位置，提取所述特征图中的特征向量，得到第t次迭代采样的中间提取特征；将所述第t次迭代采样的中间提取特征、第t
‑
1次迭代采样后的中间采样特征以及与所述第t
‑
1次迭代采样后的中间采样位置对应的特征向量进行融合，得到第t次迭代采样的中间融合特征；根据所述第t次迭代采样的中间融合特征，进行基于自注意力的特征编码变换，得到所述第t次迭代采样后的中间采样特征。
12.在一种可能的实现方式中，对所述特征图进行的第一次迭代采样包括：根据预设的初始采样位置，提取所述特征图中的特征向量，得到第一次迭代采样的中间提取特征；将所述第一次迭代采样的中间提取特征以及与所述初始采样位置对应的特征向量进行融合，得到第一次迭代采样的中间融合特征；根据所述第一次迭代采样的中间融合特征，进行基于自注意力的特征编码变换，得到第一次迭代采样后的中间采样特征；根据所述第一次迭代采样后的中间采样特征，对所述初始采样位置进行更新，得到第一次迭代采样后的中间采样位置。
13.在一种可能的实现方式中，所述基于所述采样特征，对所述目标对象进行分类处理，得到分类结果，包括：根据所述采样特征，进行基于自注意力的特征编码变换，得到变换后的采样特征；根据所述变换后的采样特征进行分类处理，得到所述目标对象的分类结果。
14.在一种可能的实现方式中，所述根据所述采样特征，进行基于自注意力的特征编码变换，得到变换后的采样特征，包括：获取所述采样特征的多个采样特征向量；根据所述多个采样特征向量之间的相似度，分别确定所述多个采样特征向量的融合权重；根据所述多个采样特征向量的融合权重，对所述多个采样特征向量进行加权融合，得到加权融合结果；根据所述加权融合结果，生成所述变换后的采样特征。
15.在一种可能的实现方式中，所述方法通过目标神经网络实现，所述目标神经网络包括：特征提取网络，用于对待处理图像进行特征提取，得到所述待处理图像的特征图；渐进式采样模块，用于根据所述目标对象在所述待处理图像中的位置，对所述特征图进行采样处理，得到采样特征；分类网络模块，用于基于所述采样特征，对所述目标对象进行分类处理，得到分类结果，其中，所述分类网络模块包括依次连接的视觉变换网络以及分类网络。
16.根据本公开的一方面，提供了一种图像处理装置，包括：
17.特征提取模块，用于对待处理图像进行特征提取，得到所述待处理图像的特征图，其中，所述待处理图像包括目标对象；采样模块，用于根据所述目标对象在所述待处理图像中的位置，对所述特征图进行采样处理，得到采样特征；分类模块，用于基于所述采样特征，对所述目标对象进行分类处理，得到分类结果。
18.在一种可能的实现方式中，所述采样模块用于：根据所述目标对象在所述待处理图像中的位置，确定对所述特征图进行采样的目标采样位置；根据所述目标采样位置，对所述特征图进行采样处理，得到所述采样特征。
19.在一种可能的实现方式中，所述采样模块进一步用于：通过对所述特征图进行至少一次迭代采样，得到与所述目标对象在所述待处理图像中的位置相匹配的所述目标采样位置。
20.在一种可能的实现方式中，响应于对所述特征图进行至少两次迭代采样的情况，所述采样模块进一步用于：根据第t
‑
1次迭代采样后的中间采样位置，对所述特征图进行第
t次迭代采样，得到第t次迭代采样后的中间采样特征，t为大于1的整数；根据所述第t次迭代采样后的中间采样特征，对所述第t
‑
1次迭代采样后的中间采样位置进行更新，得到第t次迭代采样后的中间采样位置；在所述t达到预设迭代次数的情况下，将所述第t次迭代采样后的中间采样位置作为所述目标采样位置。
21.在一种可能的实现方式中，所述采样模块进一步用于：根据所述第t次迭代采样后的中间采样特征进行位置偏移预测，生成位置偏移量；根据所述位置偏移量，对所述第t
‑
1次迭代采样后的中间采样位置进行更新，得到第t次迭代采样后的中间采样位置。
22.在一种可能的实现方式中，所述采样模块进一步用于：根据第t
‑
1次迭代采样后的中间采样位置，提取所述特征图中的特征向量，得到第t次迭代采样的中间提取特征；将所述第t次迭代采样的中间提取特征、第t
‑
1次迭代采样后的中间采样特征以及与所述第t
‑
1次迭代采样后的中间采样位置对应的特征向量进行融合，得到第t次迭代采样的中间融合特征；根据所述第t次迭代采样的中间融合特征，进行基于自注意力的特征编码变换，得到所述第t次迭代采样后的中间采样特征。
23.在一种可能的实现方式中，所述采样模块进一步用于：根据预设的初始采样位置，提取所述特征图中的特征向量，得到第一次迭代采样的中间提取特征；将所述第一次迭代采样的中间提取特征以及与所述初始采样位置对应的特征向量进行融合，得到第一次迭代采样的中间融合特征；根据所述第一次迭代采样的中间融合特征，进行基于自注意力的特征编码变换，得到第一次迭代采样后的中间采样特征；根据所述第一次迭代采样后的中间采样特征，对所述初始采样位置进行更新，得到第一次迭代采样后的中间采样位置。
24.在一种可能的实现方式中，所述分类模块用于：根据所述采样特征，进行基于自注意力的特征编码变换，得到变换后的采样特征；根据所述变换后的采样特征进行分类处理，得到所述目标对象的分类结果。
25.在一种可能的实现方式中，所述分类模块进一步用于：获取所述采样特征的多个采样特征向量；根据所述多个采样特征向量之间的相似度，分别确定所述多个采样特征向量的融合权重；根据所述多个采样特征向量的融合权重，对所述多个采样特征向量进行加权融合，得到加权融合结果；根据所述加权融合结果，生成所述变换后的采样特征。
26.在一种可能的实现方式中，所述装置通过目标神经网络实现，所述目标神经网络包括：特征提取网络，用于对待处理图像进行特征提取，得到所述待处理图像的特征图；渐进式采样模块，用于根据所述目标对象在所述待处理图像中的位置，对所述特征图进行采样处理，得到采样特征；分类网络模块，用于基于所述采样特征，对所述目标对象进行分类处理，得到分类结果，其中，所述分类网络模块包括依次连接的视觉变换网络以及分类网络。
27.根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
28.根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
29.在本公开实施例中，通过根据目标对象在待处理图像中的位置，对待处理图像的特征图进行采样处理以得到采样特征，并基于采样特征对目标对象进行分类处理，得到分
类结果。通过上述过程，根据本公开实施例提供的图像处理方法及装置、电子设备和存储介质，可以利用待处理图像本身的图像内容信息，来对待处理图像的特征图进行采样以得到采样特征，从而使得采样特征中目标对象的特征更加完整和全面，提升采样特征与目标对象的相关性，继而提升基于采样特征进行分类所得到的分类结果的精度，提升分类效果。
30.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
31.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
32.图1示出根据本公开实施例的图像处理方法的流程图。
33.图2示出根据本公开实施例的图像处理方法的流程图。
34.图3示出根据本公开实施例的目标采样位置的示意图。
35.图4示出根据本公开实施例的迭代采样的示意图。
36.图5示出根据本公开实施例的图像处理方法的流程图。
37.图6示出根据本公开实施例的特征编码层的结构示意图。
38.图7示出根据本公开实施例的特征编码层的结构示意图。
39.图8示出根据本公开实施例的图像处理装置的框图。
40.图9示出根据本公开一应用示例的示意图。
41.图10示出根据本公开实施例的一种电子设备800的框图。
42.图11示出根据本公开实施例的一种电子设备1900的框图。
具体实施方式
43.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
44.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
45.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
46.另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
47.图1示出根据本公开一实施例的图像处理方法的流程图，该方法可以应用于图像处理装置，该图像处理装置可以为终端设备、服务器或者其他处理设备等。其中，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个
人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。
48.在一些可能的实现方式中，该图像处理方法也可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
49.如图1所示，在一种可能的实现方式中，所述图像处理方法可以包括：
50.步骤s11，对待处理图像进行特征提取，得到待处理图像的特征图，其中，待处理图像包括目标对象。
51.其中，待处理图像可以是具有图像识别或分类需求的任意图像，待处理图像中包含的目标对象，可以是待处理图像中待识别或待分类的任意对象。本公开实施例中处理的待处理图像的数量可以根据实际情况灵活决定，可以每次对一张待处理图像进行处理，也可以同时对多张待处理图像进行处理。待处理图像中包含的目标对象的数量在本公开实施例中也不做限制，可以为一个或多个等。
52.待处理图像与目标对象的实现形式均可以随着应用场景的不同而灵活变化。比如在自动驾驶的应用场景中，待处理图像可以是行驶过程中采集到的图像，待处理图像中的目标对象可以包括行人、车牌、斑马线或红绿灯等驾驶过程中关注的各类对象；又比如在智能审核的应用场景中，待处理图像可以是网站中发布的各类图像，待处理图像中的目标对象可以包括待审核的各类图案或标志等；还比如在人脸识别的应用场景中，待处理图像可以是采集到的人脸图像，待处理图像中的目标对象可以包括图像中的人脸对象等。
53.待处理图像的特征图(feature map)可以包含待处理图像整体的特征信息，特征图中特征信息的位置可以与待处理图像中各像素点在待处理图像中的位置相对应，该特征图可以通过对待处理图像进行特征提取来得到。特征提取的方式在本公开实施例中不做限制，不局限于下述各公开实施例，在一些可能的实现方式中，可以通过对待处理图像进行卷积处理，来得到卷积后提取到的特征图等；在一些可能的实现方式中，也可以通过具有特征提取功能的任意神经网络，比如特征提取卷积神经网络等，对待处理图像进行特征提取，来得到特征图，在一个示例中，可以有效利用卷积算子对待处理图像中上下文信息的提取能力，将resnet50的主干网络以及前两个残差模块作为特征提取网络，来对待处理图像进行特征提取以得到特征图。
54.步骤s12，根据目标对象在待处理图像中的位置，对特征图进行采样处理，得到采样特征。
55.其中，采样特征可以是对特征图进行采样处理后所得到的特征信息，比如采样特征可以包含一个或多个特征向量。如步骤s12所述，在本公开实施例中，可以根据目标对象在待处理图像中的位置来进行采样处理，因此，本公开实施例中得到的采样特征中，可以包含更高比例的目标对象的特征信息，而且该目标对象的特征信息也可以更加完整和全面。
56.如何基于目标对象在待处理图像中的位置来对特征图进行采样处理，其实现方式可以根据实际情况灵活决定，比如可以先确定目标对象在待处理图像中的粗略位置，并基于该粗略位置对特征图进行采样；或者也可以随机确定初始的采样位置，基于初始的采样位置对特征图进行采样后，根据采样的结果对初始的采样位置进行更新，来确定与目标对象在待处理图像中的位置更加匹配的更新后的位置等。步骤s12的各类实现方式可以详见下述各公开实施例，在此先不做展开。
57.步骤s13，基于采样特征，对目标对象进行分类处理，得到分类结果。
58.其中，分类结果可以是待处理图像中目标对象的所属类别，比如在自动驾驶场景中，分类结果可以表明待处理图像中的目标对象属于行人还是红绿灯等物体；或是在智能审核场景中，分类结果可以表明待处理图像中的目标对象属于敏感对象，需要屏蔽等；或是在人脸识别场景中，分类结果可以表明待处理图像中的目标对象属于具有通行权限的人脸对象等。
59.分类结果的形式在本公开实施例中不做限制，可以为目标对象的类别，也可以为目标对象属于各类预设类别的概率等，根据实际情况灵活确定即可。
60.基于采样特征对目标对象进行分类处理的方式在本公开实施例中也不做限制，不局限于下述各公开实施例。在一些可能的实现方式中，可以直接将采样特征通过具有分类功能的神经网络层，比如softmax这类网络层，来根据采样特征对目标对象进行分类处理。在一些可能的实现方式中，也可以先对采样特征进行特征融合处理再进行分类，比如可以通过基于自注意力的变换网络(transformer)等对采样特征进行融合处理，并对融合处理后的采样特征再通过如softmax等网络层进行分类，来得到分类结果等。步骤s13的一些可能的实现方式可以详见下述各公开实施例，在此先不做展开。
61.在本公开实施例中，通过根据目标对象在待处理图像中的位置，对待处理图像的特征图进行采样处理以得到采样特征，并基于采样特征对目标对象进行分类处理，得到分类结果。通过上述过程，根据本公开实施例提供的图像处理方法及装置、电子设备和存储介质，可以利用待处理图像本身的图像内容信息，来对待处理图像的特征图进行采样以得到采样特征，从而使得采样特征中目标对象的特征更加完整和全面，提升采样特征与目标对象的相关性，继而提升基于采样特征进行分类所得到的分类结果的精度，提升分类效果。
62.图2示出根据本公开一实施例的图像处理方法的流程图，如图所示，在一种可能的实现方式中，步骤s12可以包括：
63.步骤s121，根据目标对象在待处理图像中的位置，确定对特征图进行采样的目标采样位置。
64.其中，目标采样位置可以是对特征图中的特征向量进行采样的位置，该目标采样位置可以包括一个或多个采样点在特征图中的位置信息。如上述公开实施例所述，特征图中特征信息的位置可以与待处理图像中各像素点在待处理图像中的位置相对应，因此根据目标对象在待处理图像中的位置，可以相应地确定目标采样位置来对特征图进行采样。
65.目标采样位置可以包含一个或多个采样点在待处理图像中的位置，采样点的位置分布可以根据待处理图像的实际情况灵活决定，在一些可能的实现方式中，根据目标对象在待处理图像中的位置所确定的目标采样位置可以包括多个非均匀分布的采样点，以提高对目标对象进行采样的针对性和精度。
66.图3示出根据本公开一实施例的目标采样位置的示意图，如图所示，在一个示例中，根据猫这一目标对象在待处理图像中的位置，可以确定多个属于目标对象或在目标对象周围的采样点，这些采样点在待处理图像中的位置，可以作为对特征图进行采样的目标采样位置。
67.步骤s121的实现方式可以根据实际情况灵活选择，不局限于下述各公开实施例。在一些可能的实现方式中，可以对待处理图像中目标对象所在的位置进行检测，并基于检
测结果，确定一个或多个采样点的位置作为目标采样位置，比如可以通过显著性检测，得到待处理图像中包含目标对象的显著区域的位置，并在该显著区域中随机或均匀地确定多个采样点，将这些采样点的位置作为目标采样位置。
68.在一些可能的实现方式中，也可以确定对特征图进行采样的初始采样位置，并基于该初始采样位置对特征图进行多次迭代采样，基于迭代采样的结果对初始采样位置进行不断更新，来得到目标采样位置。迭代采样以及对初始采样位置进行更新的具体方式可以详见下述各公开实施例，在此先不做展开。
69.步骤s122，根据目标采样位置，对特征图进行采样处理，得到采样特征。
70.其中，根据目标采样位置对特征图进行采样处理的方式，可以根据步骤s121实现方式的不同，而灵活发生变化。
71.在一些可能的实现方式中，在通过显著性检测等方式确定目标采样位置的情况下，可以直接从特征图中提取出目标采样位置处的特征信息，来得到采样特征。在一些可能的实现方式中，在通过迭代采样等方式确定目标采样位置的情况下，可以根据目标采样位置，结合每次迭代采样中从特征图中提取特征的方式，来得到采样特征等，具体过程详见下述各公开实施例，在此先不做展开。
72.通过本公开实施例，可以通过检测目标对象或是迭代采样等多种灵活的方式，确定与目标对象在待处理图像中的位置相匹配的目标采样位置，并基于该目标采样位置，对特征图进行采样处理以得到采样特征，一方面可以减少对待处理图像中背景部分特征的关注，提升采样特征与目标对象的相关性，而且通过该目标采样位置进行特征采样，还可以减少可能产生的对目标对象特征的切割，提升采样特征中目标对象特征的完整性；另一方面也可以提升采样的灵活性，继而在提升分类方法的精度的同时，提升分类的灵活性和实用性。
73.如上述公开实施例所述，可以通过迭代采样来确定目标采样位置，因此，在一种可能的实现方式中，步骤s121可以包括：通过对特征图进行至少一次迭代采样，得到与目标对象在待处理图像中的位置相匹配的目标采样位置。
74.其中，迭代采样的次数可以根据实际情况灵活决定，可以为一次或多次，在本公开实施例中不做限制。在对特征图进行的迭代采样过程中，各次的迭代采样的方式可以相同，且每次的迭代采样可以基于上一次迭代采样所得到的结果来进行实现，从而实现多次采样之间的迭代。
75.通过对特征图进行至少一次迭代采样，来得到与目标对象在待处理图像中的位置相匹配的目标采样位置，通过上述过程，可以利用迭代采样的方式，自适应地对目标采样位置进行渐进式修正，便捷且高效地提升分类精度。
76.在一种可能的实现方式中，可以对特征图进行至少两次迭代采样，在这种情况下，对特征图进行的第t次迭代采样可以包括：
77.根据第t
‑
1次迭代采样后的中间采样位置，对特征图进行第t次迭代采样，得到第t次迭代采样后的中间采样特征，t为大于1的整数；
78.根据第t次迭代采样后的中间采样特征，对第t
‑
1次迭代采样后的中间采样位置进行更新，得到第t次迭代采样后的中间采样位置；
79.在t达到预设迭代次数的情况下，将第t次迭代采样后的中间采样位置作为目标采
样位置。
80.其中，中间采样位置可以为每次迭代采样后确定的下一次对特征图进行采样的位置，中间采样特征可以为基于中间采样位置对特征图进行采样后所得到的特征信息。预设迭代次数为预先设置的迭代采样的次数阈值，具体数值在本公开实施例中不做限制，可以根据实际情况灵活选择，比如可以为3～10次等。
81.通过上述过程可以看出，在每次对特征图进行迭代采样的过程中，可以得到中间采样特征，该中间采样特征可以用于对上一次迭代采样后的中间采样位置进行更新，来得到本次迭代采样后的中间采样位置，在迭代采样次数未达到预设迭代次数的情况下，可以基于本次迭代采样后所得到的中间采样位置，对特征图进行下一次的迭代采样，从而得到新的中间采样特征来更新中间采样位置；在迭代采样次数达到预设迭代次数的情况下，可以认为本次迭代采样后得到的中间采样位置已趋近于目标对象在待处理图像中的位置，因此可以结束迭代过程，并将本次迭代采样后所得到的中间采样位置作为目标采样位置。
82.通过本公开实施例，可以通过多次迭代采样，对每一次迭代采样中确定的中间采样位置进行不断更新，使得该中间采样位置越来越趋近于目标对象在待处理图像中的位置，从而得到与目标对象的位置相匹配的目标采样位置，且该目标采样位置中各采样点可以为非均匀分布的采样点，比如各采样点之间的距离可以不同。通过本公开实施例，可以利用待处理图像本身的内容信息，自适应地对采样位置进行不断修正，来得到对目标对象关注度更高的目标采样位置，提升分类精度的同时，便于与各类分类方式进行结合，提升分类的应用范围和实用性。
83.如上述公开实施例所述，可以根据每次迭代采样后的中间采样特征，来对上一次迭代采样后的中间采样位置进行更新。其中，更新的方式可以根据实际情况灵活选择，比如在一种可能的实现方式中，可以根据本次迭代采样后的中间采样特征直接预测中间采样位置，并基于上一次迭代采样后的中间采样位置，对预测的中间采样位置进行修正，以得到本次迭代采样后更新的中间采样位置。
84.在一种可能的实现方式中，根据第t次迭代采样后的中间采样特征，对第t
‑
1次迭代采样后的中间采样位置进行更新，得到第t次迭代采样后的中间采样位置，可以包括：
85.根据第t次迭代采样后的中间采样特征进行位置偏移预测，生成位置偏移量；
86.根据位置偏移量，对第t
‑
1次迭代采样后的中间采样位置进行更新，得到第t次迭代采样后的中间采样位置。
87.其中，位置偏移量可以是位置的变化向量，根据该位置偏移量，可以确定第t
‑
1次迭代采样后中间采样位置调整的方向和距离，基于该方向和距离对第t
‑
1次迭代采样后的中间采样位置进行调整，可以得到第t次迭代采样后的中间采样位置。
88.位置偏移预测的方式在本公开实施例中不做限制，可以根据实际情况灵活决定，在一种可能的实现方式中，可以将第t次迭代采样后的中间采样特征输入至全连接层(fc，fully connected layer)进行处理，以得到全连接层输出的位置偏移量。
89.通过本公开实施例，可以利用上一次迭代采样所得到的中间采样位置来进行下一次迭代采样，并基于迭代采样所得到的中间采样特征预测中间采样位置的偏移量，来对上一次迭代采样的中间采样位置进行进一步修正，来得到更加准确的目标采样位置，从而通过多次迭代采样，充分利用每次迭代采样所得到的数据信息，渐进可微地不断对采样位置
进行修正，提升目标采样位置精确性的同时，提升计算资源的复用性，提升计算资源的利用效率，降低图像处理方法的整体处理成本。
90.在一些可能的实现方式中，中间采样特征可以是基于中间采样位置对特征图直接进行采样所得到的特征。在一些可能的实现方式中，中间采样特征也可以融合其他特征信息，比如在本次迭代采样以前所得到的中间采样特征等。随着中间采样特征中包含的特征信息的不同，迭代采样中的采样方式也可以灵活发生变化。
91.因此，在一种可能的实现方式中，根据第t
‑
1次迭代采样后的中间采样位置，对特征图进行第t次迭代采样，得到第t次迭代采样后的中间采样特征，可以包括：
92.根据第t
‑
1次迭代采样后的中间采样位置，提取特征图中的特征向量，得到第t次迭代采样的中间提取特征；
93.将第t次迭代采样的中间提取特征、第t
‑
1次迭代采样后的中间采样特征以及与第t
‑
1次迭代采样后的中间采样位置对应的特征向量进行融合，得到第t次迭代采样的中间融合特征；
94.根据第t次迭代采样的中间融合特征，进行基于自注意力的特征编码变换，得到第t次迭代采样后的中间采样特征。
95.其中，中间提取特征可以是特征图中位于中间采样位置的特征向量所构成的特征信息，在每次迭代采样的过程中，可以基于上一次迭代采样后的中间采样位置，对特征图中对应位置的特征向量进行提取，以得到中间提取特征。
96.中间融合特征可以是将中间提取特征与其他特征进行融合后所得到的特征信息，其中，融合的其他特征的种类可以根据实际情况灵活决定，在一种可能的实现方式中，其他特征可以包括上一次迭代采样后得到的中间采样特征，和/或，与上一次迭代采样后的中间采样位置对应的特征向量。其中，与上一次迭代采样后的中间采样位置所对应的特征向量，可以是将上一次迭代采样后的中间采样位置通过全连接层或其他网络层的形式进行位置编码所得到的特征向量。
97.融合的方式在本公开实施例中不做限制，可以是将上述几种特征直接相加，也可以是按照一定的预设权重进行加权相加等，根据实际情况灵活选择即可。
98.在一种可能的实现方式中，为了更好地通过迭代采样学习到目标对象更为全面的特征信息，可以对得到的中间融合特征进行基于自注意力的特征编码变换，来得到本次迭代采样后的中间采样特征。
99.其中，基于自注意力的特征编码变换，可以通过基于自注意力的变换网络(transformer)来实现，在一种可能的实现方式中，可以将中间融合特征通过transformer的特征编码网络层(transformer encoder layer)，来对中间融合特征中的特征信息实现全局融合，从而实现对中间融合特征的基于自注意力的特征编码变换。该特征编码网络层实现基于自注意力的特征编码变换的变换方式可以详见下述各公开实施例，在此先不做展开。
100.通过本公开实施例，可以在每次的迭代采样过程中，在基于上一次迭代采样后的中间采样位置对特征图中的特征向量进行采样的同时，还融合了上一次迭代采样后的中间采样特征，以及上一次迭代采样后的中间采样位置所对应的特征向量，从而可以得到更加全面且与前次迭代采样结果更加相关的中间采样特征，继而提升最终得到的目标采样位置
的精度，从而提升分类精度和效果。
101.在一种可能的实现方式中，在迭代次数为1即对特征图进行第一次迭代采样的过程中，无法利用上一次迭代所得到的中间采样位置和中间采样特征来进行处理，因此，响应于对特征图进行一次迭代采样的情况，或是响应于对特征图进行多次迭代采样的过程中且执行第一次迭代采样的情况，在一种可能的实现方式中，对特征图进行的第一次迭代采样可以包括：
102.根据预设的初始采样位置，提取特征图中的特征向量，得到第一次迭代采样的中间提取特征；
103.将第一次迭代采样的中间提取特征以及与初始采样位置对应的特征向量进行融合，得到第一次迭代采样的中间融合特征；
104.根据第一次迭代采样的中间融合特征，进行基于自注意力的特征编码变换，得到第一次迭代采样后的中间采样特征；
105.根据第一次迭代采样后的中间采样特征，对初始采样位置进行更新，得到第一次迭代采样后的中间采样位置。
106.其中，初始采样位置的具体位置可以根据实际情况灵活设定，不局限于本公开各实施例。在一种可能的实现方式中，可以随机生成初始采样位置，在一些可能的实现方式中，也可以设置对特征图进行均匀采样的多个采样点，并将这多个采样点的位置作为初始采样位置；在一些可能的实现方式中，还可以通过显著性检测等方式大致确定目标对象所在的位置，并将该位置作为初始采样位置等。
107.中间提取特征以及中间融合特征的实现形式可以参考上述各公开实施例，在此不再赘述。
108.根据初始采样位置提取特征图中的特征向量的过程可以参考上述根据中间采样位置提取特征向量的方式，在此不再赘述。
109.由于第一次迭代采样的过程中，无法利用上一次迭代所得到的中间采样特征，因此，在一种可能的实现方式中，基于初始采样位置所得到的中间提取特征可以仅与初始采样位置对应的特征向量进行融合，以得到中间融合特征。其中，与初始采样位置对应的特征向量的实现形式，可以参考上述公开实施例中与中间采样位置对应的特征向量，在此同样不再赘述。
110.同理，根据中间融合特征进行基于自注意力的特征编码变换的方式来得到中间采样特征，以及基于中间采样特征得到中间采样位置的方式，同样可以参考上述各公开实施例，在此不再一一赘述。
111.通过本公开实施例，可以利用预设的初始采样位置实现第一次迭代采样，从而实现迭代采样过程的初始化，便于后续迭代采样的进行与实现，从而提升整体图像处理方法的可行性。
112.图4示出根据本公开一实施例的迭代采样的示意图，如图所示，在对特征图f进行第t
‑
1次迭代采样后，可以得到中间采样特征t
t
‑1和中间采样位置p
t
。
113.在第t次迭代采样的过程中，可以首先根据该中间采样位置p
t
，通过下述公式(1)对特征图f中的特征向量进行提取，得到中间提取特征t
t
'：
114.t
t
'＝f(p
t
)
ꢀꢀꢀ
(1)
115.该中间提取特征t
t
'，可以通过下述公式(2)，分别与第t
‑
1次迭代采样后的中间采样特征t
t
‑1以及特征向量p
t
进行融合，来得到中间融合特征x
t
，其中，特征向量p
t
可以是对中间采样位置p
t
进行位置编码后所得到的特征向量，编码过程可以通过下述公式(3)进行表示：
[0116][0117]
p
t
＝w
t
p
t
ꢀꢀꢀ
(3)
[0118]
其中，w
t
为将中间采样位置p
t
投影为特征向量p
t
的线性变换方式。在得到中间融合特征x
t
以后，可以将x
t
通过transformer的特征编码网络层(transformer encoder layer)实现基于自注意力的特征编码变换，得到第t次迭代采样后的中间采样特征t
t
。进一步地，该中间采样特征t
t
可以通过全连接层，基于下述公式(4)实现位置偏移预测，以得到位置偏移量o
t
。
[0119]
o
t
＝m
t
t
t
,t∈{1,...,n
‑
1}
ꢀꢀꢀ
(4)
[0120]
其中，m
t
为用于预测位置偏移的可学习的线性变换参数，n为预设迭代次数。基于位置偏移量o
t
，可以通过下述公式(5)对第t
‑
1次迭代采样后的中间采样位置p
t
进行更新，以得到第t次迭代采样后的中间采样位置p
t+1
。
[0121]
p
t+1
＝p
t
+o
t
,t∈{1,...,n
‑
1}
ꢀꢀꢀ
(5)
[0122]
通过对上述迭代过程进行预设迭代次数的n次迭代，可以得到n次迭代采样后的采样特征t
n
，用于后续的分类处理过程。
[0123]
图5示出根据本公开一实施例的图像处理方法的流程图，如图所示，在一种可能的实现方式中，步骤s13可以包括：
[0124]
步骤s131，根据采样特征，进行基于自注意力的特征编码变换，得到变换后的采样特征。
[0125]
其中，根据采样特征进行基于自注意力的特征编码变换的过程，可以参考上述各公开实施例，即可以将采样特征输入到transformer的特征编码网络层(transformer encoder layer)，以实现基于自注意力的特征编码变换。
[0126]
在一些可能的实现方式中，采样特征可以通过一层transformer的特征编码层来实现基于自注意力的特征编码变换，在一些可能的实现方式中，采样特征也可以通过视觉变换网络(vit，vision transformer)来实现基于自注意力的特征编码变换，vit中可以包括多层依次连接的transformer的特征编码层，vit中包含的特征编码层的层数可以根据实际情况灵活决定，在本公开实施例中不做限制。
[0127]
在一些可能的实现方式中，采样特征还可以与一个预设分类特征t
cls
共同输入到vit中进行基于自注意力的特征编码变换，该预设分类特征t
cls
包含的特征信息在本公开实施例中不做限定，在一个示例中，该预设分类特征t
cls
可以作为一个可训练的参数，通过对vit进行训练所得到。
[0128]
步骤s131中，如何基于一层或多层transformer的特征编码层，来对采样特征进行基于自注意力的特征编码变换，其具体过程可以详见下述各公开实施例，在此先不做展开。
[0129]
步骤s132，根据变换后的采样特征进行分类处理，得到目标对象的分类结果。
[0130]
其中，分类处理的方式可以根据实际情况灵活决定，在一些可能的实现方式中，可以将变换后的采样特征通过具有分类功能的神经网络或神经网络层，来得到目标对象的分
类结果。在一个示例中，可以将变换后的采样特征通过softmax分类层，以得到softmax分类层输出的分类结果。
[0131]
通过本公开实施例，可以利用transformer中的网络层，对采样特征进行基于自注意力的特征编码变换，得到变换后的采样特征以进行分类处理，从而得到目标对象的分类结果，基于transformer实现分类的方式可以在输入的待处理数据规模较大的情况下，也可以高效地得到精确的分类结果，提升图像分类的效率与性能，扩大了图像分类的应用范围和实用性。
[0132]
在一种可能的实现方式中，步骤s131可以包括：
[0133]
获取采样特征的多个采样特征向量；
[0134]
根据多个采样特征向量之间的相似度，分别确定多个采样特征向量的融合权重；
[0135]
根据多个采样特征向量的融合权重，对多个采样特征向量进行加权融合，得到加权融合结果；
[0136]
根据加权融合结果，生成变换后的采样特征。
[0137]
其中，采样特征的多个采样特征向量，可以是将采样特征映射到不同的向量空间所得到的多个采样特征向量。多个采样特征向量包含的向量种类可以根据实际情况灵活决定，在一种可能的实现方式中，可以将采样特征分别映射到查询向量空间、键向量空间以及值向量空间，以得到采样特征的查询向量(queries)、键向量(keys)以及值向量(values)，来作为多个采样特征向量。
[0138]
根据查询向量、键向量以及值向量这三个采样特征向量彼此之间的相似度，可以分别确定这三个特征向量的融合权重，基于各向量的融合权重，可以对多个采样特征向量之间进行加权融合，来得到加权融合结果，该加权融合结果可以进一步通过全连接层进行处理以得到变换后的采样特征。其中，相似度的计算方式在本公开实施例中不做限制，计算得到的相似度可以直接作为采样特征向量的融合权重，来实现加权融合。
[0139]
如上述公开实施例所述，本公开实施例提出的基于自注意力的特征编码变换，可以通过transformer的特征编码层来实现。图6和图7示出根据本公开一实施例的特征编码层的结构示意图，如图6所示，在一个示例中，transformer的特征编码层可以包括依次连接的多头注意力模块(multi
‑
head attention)和前向传播模块(feed forward)，其中，多头注意力模块的结构如图7所示，从图7中可以看出，采样特征的查询向量q、键向量k和值向量v分别输入到多头注意力模块中，经过线性变换后，在多头注意力模块中的h个点积注意力单元(scaled dot
‑
product attention)中，可以分别计算q、k和v这多个向量之间的相似度，根据相似度确定q、k和v之间的融合权重，比如可以将q和k向量进行矩阵相乘，以确定q和k之间的相似度，作为q和k的融合权重，同时将q与k之间的相似度归一化后再与v向量进行矩阵相乘，以得到v在多个向量之间的相似度，作为v的权重，从而得到q、k和v之间的融合权重。并在每个点积注意力单元中根据确定的融合权重进行加权融合，从而得到每个点积注意力单元内的加权融合结果。
[0140]
h个点积注意力单元中的加权融合结果可以通过连接层进行连接后，再次进行线性变换后经过相加和归一化层(add&norm)得到多头注意力特征，该多头注意力特征进入到前向传播模块，通过前向传播模块中的两层全连接层进行处理后，再经过相加和归一化层得到变换后的采样特征。
[0141]
通过本公开实施例，可以通过将采样特征映射到不同向量空间来得到多个采样特征向量，利用多个采样特征向量之间的相似度，来对采样特征进行基于自身注意力机制的加权融合，来得到变换后的采样特征，从而使得变换后的采样特征可以更好地对自身的全局特征进行融合，提升变换后的采样特征的特征信息的完整性和精度，继而提升分类结果的精度，提升分类效果。
[0142]
在一种可能的实现方式中，本公开实施例提出的方法可以通过目标神经网络实现，该目标神经网络可以包括：
[0143]
特征提取网络，用于对待处理图像进行特征提取，得到待处理图像的特征图；
[0144]
渐进式采样模块，用于根据目标对象在所述待处理图像中的位置，对特征图进行采样处理，得到采样特征；
[0145]
分类网络模块，用于基于采样特征，对目标对象进行分类处理，得到分类结果，其中，分类网络模块包括依次连接的视觉变换网络以及分类网络。
[0146]
其中，特征提取网络可以是上述公开实施例中提出的具有特征提取功能的任意神经网络，在此不再赘述。
[0147]
渐进式采样模块可以通过上述公开实施例中提到的迭代采样的方式，对特征图进行至少一次迭代采样，以得到采样特征，其实现形式可以参考上述各公开实施例，比如该渐进式采样模块的结构可以参考上述公开实施例中的图4，在此不再赘述。
[0148]
分类网络模块可以基于采样特征对目标对象进行分类处理，在一种可能的实现方式中，该分类网络模块可以包括视觉变换网络以及分类网络，其中，视觉变换网络可以为上述公开实施例中提到的vit网络，在此不再赘述。而分类网络可以是具有分类功能的任意神经网络或神经网络层，同样可以参考上述各公开实施例，在此不再赘述。
[0149]
在一些可能的实现方式中，目标神经网络也可以省略某些网络结构或模块，比如可以仅包含渐进式采样模块以及视觉变换网络等，省略的其他网络或模块可以通过相关算法进行实现，根据实际情况灵活确定即可。
[0150]
通过本公开实施例，可以通过包含特征提取网络、渐进式采样模块、视觉变换网络以及分类网络中的一种或多种的目标神经网络，来实现图像分类，通过上述过程，可以利用目标神经网络，实现端到端的图像分类过程，提高分类的便捷性和精度。
[0151]
图8示出根据本公开实施例的图像处理装置20的框图，如图8所示，所述装置包括：
[0152]
特征提取模块21，用于对待处理图像进行特征提取，得到待处理图像的特征图，其中，待处理图像包括目标对象。
[0153]
采样模块22，用于根据目标对象在待处理图像中的位置，对特征图进行采样处理，得到采样特征。
[0154]
分类模块23，用于基于采样特征，对目标对象进行分类处理，得到分类结果。
[0155]
在一种可能的实现方式中，采样模块用于：根据目标对象在待处理图像中的位置，确定对特征图进行采样的目标采样位置；根据目标采样位置，对特征图进行采样处理，得到采样特征。
[0156]
在一种可能的实现方式中，采样模块进一步用于：通过对特征图进行至少一次迭代采样，得到与目标对象在待处理图像中的位置相匹配的目标采样位置。
[0157]
在一种可能的实现方式中，响应于对特征图进行至少两次迭代采样的情况，采样
模块进一步用于：根据第t
‑
1次迭代采样后的中间采样位置，对特征图进行第t次迭代采样，得到第t次迭代采样后的中间采样特征，t为大于1的整数；根据第t次迭代采样后的中间采样特征，对第t
‑
1次迭代采样后的中间采样位置进行更新，得到第t次迭代采样后的中间采样位置；在t达到预设迭代次数的情况下，将第t次迭代采样后的中间采样位置作为目标采样位置。
[0158]
在一种可能的实现方式中，采样模块进一步用于：根据第t次迭代采样后的中间采样特征进行位置偏移预测，生成位置偏移量；根据位置偏移量，对第t
‑
1次迭代采样后的中间采样位置进行更新，得到第t次迭代采样后的中间采样位置。
[0159]
在一种可能的实现方式中，采样模块进一步用于：根据第t
‑
1次迭代采样后的中间采样位置，提取特征图中的特征向量，得到第t次迭代采样的中间提取特征；将第t次迭代采样的中间提取特征、第t
‑
1次迭代采样后的中间采样特征以及与第t
‑
1次迭代采样后的中间采样位置对应的特征向量进行融合，得到第t次迭代采样的中间融合特征；根据第t次迭代采样的中间融合特征，进行基于自注意力的特征编码变换，得到第t次迭代采样后的中间采样特征。
[0160]
在一种可能的实现方式中，采样模块进一步用于：根据预设的初始采样位置，提取特征图中的特征向量，得到第一次迭代采样的中间提取特征；将第一次迭代采样的中间提取特征以及与初始采样位置对应的特征向量进行融合，得到第一次迭代采样的中间融合特征；根据第一次迭代采样的中间融合特征，进行基于自注意力的特征编码变换，得到第一次迭代采样后的中间采样特征；根据第一次迭代采样后的中间采样特征，对初始采样位置进行更新，得到第一次迭代采样后的中间采样位置。
[0161]
在一种可能的实现方式中，分类模块用于：根据采样特征，进行基于自注意力的特征编码变换，得到变换后的采样特征；根据变换后的采样特征进行分类处理，得到目标对象的分类结果。
[0162]
在一种可能的实现方式中，分类模块进一步用于：获取采样特征的多个采样特征向量；根据多个采样特征向量之间的相似度，分别确定多个采样特征向量的融合权重；根据多个采样特征向量的融合权重，对多个采样特征向量进行加权融合，得到加权融合结果；根据加权融合结果，生成变换后的采样特征。
[0163]
在一种可能的实现方式中，装置通过目标神经网络实现，目标神经网络包括：特征提取网络，用于对待处理图像进行特征提取，得到待处理图像的特征图；渐进式采样模块，用于根据目标对象在待处理图像中的位置，对特征图进行采样处理，得到采样特征；分类网络模块，用于基于采样特征，对目标对象进行分类处理，得到分类结果，其中，分类网络模块包括依次连接的视觉变换网络以及分类网络。
[0164]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0165]
应用场景示例
[0166]
图9示出根据本公开一应用示例的示意图，如图所示，本公开应用示例提出了一种图像处理方法，可以对输入的待处理图像中的目标对象进行分类，如图9所示，本公开应用示例提出的图像处理方法，可以包括如下过程：
[0167]
第一步，将待处理图像输入至特征提取网络进行特征提取，得到特征图f。
[0168]
第二步，得到的特征图f输入到图9中的渐进式采样模块，进行迭代采样：
[0169]
如图9所示，第一次迭代采样可以根据初始采样位置p1来实现，该初始采样位置包括对整个特征图进行平均划分的9个采样点。
[0170]
在每次迭代采样的过程中，可以根据上一次迭代采样所得到的中间采样位置，将采样点所对应的特征从f中提取出来，得到中间提取特征，中间提取特征与上一次迭代采样所得到的中间采样特征以及上一次迭代采样得到的中间采样位置对应的特征向量进行融合得到中间融合特征，中间融合特征再通过一层transformer中的特征编码层进行处理，得到本次迭代采样后的中间采样特征，基于该中间采样特征可以预测出每个采样点在二维平面上的位置偏移，作为位置偏移量。利用该位置偏移量可以对上一次迭代采样后的中间采样位置进行更新，得到本次迭代采样后的中间采样位置。
[0171]
渐进式采样模块通过多次迭代采样，可以得到采样特征，并输入到如图9所示的视觉变换网络vit中。
[0172]
第三步，vit网络包含多层transformer中的特征编码层，通过多层特征编码层可以对输入的采样特征进行基于自注意力的特征编码变换，得到变换后的采样特征。
[0173]
第四步，变换后的采样特征可以进入到分类网络中进行分类处理，得到分类结果，在一个示例中，图9中输出的分类结果可以表明待处理图像中的目标对象为猫。
[0174]
通过本公开应用示例，可以利用transformer的网络结构，结合对特征图进行动态采样的方式，对待处理图像中的目标对象进行分类，一方面通过采用transformer结构作为网络主体，相对于卷积神经网络来说，提高面向大规模数据的分类效果；另一方面通过迭代采样来调节采样位置，充分考虑图像本身的内容信息，根据目标对象在图像中的位置进行动态采样，减少目标对象所在区域的特征被分割的情况，有效提升分类效果和精度。
[0175]
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
[0176]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0177]
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
[0178]
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
[0179]
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的方法的指令。
[0180]
本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的方法的操作。
[0181]
电子设备可以被提供为终端、服务器或其它形态的设备。
[0182]
图10示出根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以
是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
[0183]
参照图10，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
[0184]
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0185]
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0186]
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
[0187]
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0188]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0189]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0190]
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，
如互补金属氧化物半导体(cmos)或电荷耦合装置(ccd)图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0191]
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如无线网络(wifi)，第二代移动通信技术(2g)或第三代移动通信技术(3g)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0192]
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0193]
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
[0194]
图11示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图11，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
[0195]
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(i/o)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统(windows server
tm
)，苹果公司推出的基于图形用户界面操作系统(mac os x
tm
)，多用户多进程的计算机操作系统(unix
tm
),自由和开放原代码的类unix操作系统(linux
tm
)，开放原代码的类unix操作系统(freebsd
tm
)或类似。
[0196]
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
[0197]
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
[0198]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd
‑
rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可
读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0199]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0200]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
[0201]
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0202]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0203]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0204]
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也
可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0205]
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0206]
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。