识别图片和训练神经网络的方法和装置与流程

1.本公开涉及图像识别领域，具体涉及一种识别图片和训练神经网络的方法和装置。


背景技术：

2.在实体商品的营销活动中，品牌方通常会在商品的实体上印刷有供用户购买后进行扫描兑奖的活动码。然而，随着网络黑产的兴起，活动码经常会被黑产窃取和售卖。一旦活动码被黑产中的羊毛党或者刷量团伙进行兑奖(可简称为欺诈)，就会给品牌方带来巨大的损失。
3.基于此，亟需要一种可以准确的识别欺诈的方案从而有效地防止黑产使用活动码兑奖。


技术实现要素：

4.有鉴于此，本公开提供一种识别图片和训练神经网络的方法和装置，以降低商品的营销活动对应的活动码被黑产利用的可能性。
5.第一方面，提供一种识别图片的方法，所述方法包括：接收扫码图片，所述扫码图片包含商品的营销活动对应的活动码；利用图像编码模块对所述扫码图片进行特征提取，得到第一图像特征；利用注意力模块对所述第一图像特征进行处理，得到所述第一图像特征的权重；利用所述第一图像特征的权重对所述第一图像特征进行加权，得到第二图像特征；根据所述第二图像特征对所述扫码图片进行识别，得到识别结果，所述识别结果用于确定所述扫码图片是否为对所述商品的实体上的所述活动码进行扫描后得到的图片。
6.第二方面，提供一种训练神经网络的方法，所述神经网络包括图像编码模块和注意力模块，所述方法包括：接收扫码图片，所述扫码图片包含商品的营销活动对应的活动码；利用所述图像编码模块对所述扫码图片进行特征提取，得到第一图像特征；利用所述注意力模块对所述第一图像特征进行处理，得到所述第一图像特征的权重；利用所述第一图像特征的权重对所述第一图像特征进行加权，得到第二图像特征；根据所述第二图像特征对所述扫码图片进行识别，得到识别结果，所述识别结果用于确定所述扫码图片是否为对所述商品的实体上的所述活动码进行扫描后得到的图片；根据所述识别结果确定所述神经网络的训练损失；根据所述训练损失对所述神经网络进行训练。
7.第三方面，提供一种识别图片的装置，所述装置包括：图像编码模块，用于接收扫码图片，所述扫码图片包含商品的营销活动对应的活动码；对所述扫码图片进行特征提取，得到第一图像特征；注意力模块，用于对所述第一图像特征进行处理，得到所述第一图像特征的权重；利用所述第一图像特征的权重对所述第一图像特征进行加权，得到第二图像特征；所述图像编码模块还用于根据所述第二图像特征对所述扫码图片进行识别，得到识别结果，所述识别结果用于确定所述扫码图片是否为对所述商品的实体上的所述活动码进行扫描后得到的图片。
8.第四方面，提供一种训练神经网络的装置，包括：图像编码模块，用于接收扫码图片，所述扫码图片包含商品的营销活动对应的活动码；对所述扫码图片进行特征提取，得到第一图像特征；注意力模块，用于对所述第一图像特征进行处理，得到所述第一图像特征的权重；利用所述第一图像特征的权重对所述第一图像特征进行加权，得到第二图像特征；所述图像编码模块还用于根据所述第二图像特征对所述扫码图片进行识别，得到识别结果，所述识别结果用于确定所述扫码图片是否为对所述商品的实体上的所述活动码进行扫描后得到的图片；训练模块，用于根据所述识别结果确定神经网络的训练损失；根据所述训练损失对所述神经网络进行训练。
9.第五方面，提供一种装置，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现如第一方面或第二方面所述的方法。
10.第六方面，提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被执行时，能够实现如第一方面或第二方面所述的方法。
11.第七方面，提供一种计算机程序产品，包括可执行代码，当所述可执行代码被执行时，能够实现如第一方面或第二方面所述的方法。
12.本公开实施例通过识别扫码图像的方式确定扫码图片是否为对商品的实体上的活动码进行扫描后得到的图片。该图片识别方式采用注意力机制进行图像识别，可靠性较高，能够有效降低黑产利用活动码的可能性。
附图说明
13.图1为本公开实施例提供的识别图片的方法的示意性流程图。
14.图2为图1的方法可以采用的神经网络的结构示例图。
15.图3是图1中的步骤s130的一种可能的实现方式的示例图。
16.图4是图1中的步骤s130的另一种可能的实现方式的示例图。
17.图5是本公开一个实施例提供的训练神经网络的方法的示意性流程图。
18.图6是本公开另一实施例提供的训练神经网络的方法的示意性流程图。
19.图7是本公开实施例提供的识别图片的装置的结构示意图。
20.图8是本公开实施例提供的训练神经网络的装置的结构示意图。
21.图9是本公开实施例提供的硬件形式的装置的结构示意图。
具体实施方式
22.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例。
23.为了便于理解，先对本公开实施例中涉及的部分概念进行简单的介绍。
24.本公开实施例提及的商品是指一切具有实体的商品，且商品为品牌方的正规商品。例如，商品可以是酒水饮料、生活用品、食品、玩具等。
25.营销活动是指品牌方为了促进商品的销售而展开的活动。营销活动可以是任何一种包含福利的促销活动，例如，可以是买商品送赠品，或者可以是买商品送红包或者各种抵用券，或者还可以是买多个商品后凑齐积分以兑换奖品。通常品牌方会将商品的营销活动做成活动码，并将活动码印刷在商品上。当消费者购买商品后对活动码进行扫描就可以获
得营销活动中包含的福利。
26.本公开实施例对活动码的类别不做具体的限定，只要活动码可以被识别并解读出其对应的营销活动即可。例如，活动码可以是二维码或者条形码。
27.黑产，也可以称为网络黑产。网络黑产是指以互联网为媒介，以网络技术为主要手段，为计算机信息系统安全和社会经济稳定带来潜在威胁的非法行为。例如，兑奖、套现、返利等网络非法行为。
28.随着黑产的兴起，用于营销的活动码经常会被黑产窃取和售卖以用于兑奖或套现。黑产的主体运营者会从废品回收站、塑料粉碎厂、人群聚集地、清洁工处等收集消费者丢弃的商品的实体上的活动码，或者会在活动码的生产、传输和加工的环节中窃取到活动码，并将活动码通过线上平台进行售卖。一旦活动码被黑产中的羊毛党或者刷量团伙进行兑奖(可简称为欺诈)，就会给品牌方带来巨大的损失。
29.为了防止黑产使用活动码兑奖带来的损失，现有技术中的一种可行的方式是，获取扫码兑奖的用户的ip、手机号或者设备，并通过已有的黑名单对其进行判别以判断用户是否为羊毛党或者刷量团伙。如果判别结果确定用户是羊毛党或者刷量团伙则限制其兑奖。
30.然而，这种方法会造成以下问题：1、场景错位导致的名单失效。例如，已有的黑名单是电信黑名单或者信贷黑名单，而电信诈骗份子或信贷老赖也会购买啤酒饮料，其属于真实消费者，使用该类黑名单用于营销反欺诈场景会导致错配问题。2、黑产攻击形式的演变导致名单失效。例如，过去的黑产攻击的ip为代理ip，账号为小号，验证码为码奴，设备为安装农场、操盘手为工作室。然而随着黑产攻击的演变，现在的黑产的攻击的ip为秒拨，账号为跑分账号，验证码为技术破解，设备为云手机、操盘手为众包。这一系列演变导致现有的黑产的ip、手机号或者设备是真实的和多变的，所以使用黑名单类方法对其失效。
31.现有技术中的另一种可行的方式是，获取扫码兑奖的用户的扫码次数，通过预设的扫码规则判断用户的扫码的次数是否超过了限制，以预防黑产中的刷量团伙大量的兑奖。
32.然而，该类方法会造成以下问题：1、正常消费者会被误伤。例如，某饮料的活动码印在两类包装上，一种是纸箱，一种是饮料瓶，一个纸箱内有24瓶饮料。便利店的店主在售卖饮料时，通常是按照瓶售卖，因此纸箱上的活动码都是店主本人扫码领取福利。如果通过限制规则制定的每人限制扫3次，就会误伤到店主，影响其销售积极性。2、黑产容易绕过预设的扫码规则。由于黑产团伙有大量账号和ip池，所以针对账号和ip的扫码次数限制，仅增加了黑产对抗成本，并不会阻止黑产非法获得营销资金的行为。例如，黑产每扫10个活动码换一个账号，用来跨过规则。
33.基于此，亟需要一种可以准确的识别欺诈的方案从而防止黑产使用活动码兑奖。
34.为了解决上述问题，下面结合图1和图2，对本公开实施例进行详细说明。图1所示的是本公开实施例提供的识别图片的方法。该方法可以基于如图2所示的神经网络20实现。
35.参见图1，在步骤s110，接收扫码图片。该扫码图片包含商品的营销活动对应的活动码(如二维码)。该扫码图片可以是为对商品的实体上的活动码进行扫描后得到的图片。例如，该扫码图片为消费者购买了该商品之后，通过对商品或商品包装盒上印刷的活动码进行扫码后得到的图片。该扫码图片也可以是上述扫码图片的伪造图片。例如，该扫码图片
是黑产基于电子码生成的伪造图片。
36.在步骤s120，对扫码图片进行特征提取，得到第一图像特征。如图2所示，可以将扫码图片输入至神经网络20的图像编码模块21(或称图像编码器)。该图像编码模块21可以采用通用的图像识别或图像分类网络。该图像编码模块例如可以是基于卷积的resnet、vgg、densenet等网络。该图像编码模块可用于从扫码图片中提取第一图像特征。该第一图像特征也可称为扫码图片的高阶语义特征。该图像编码模块21可以包括特征提取模块211。扫码图片的第一图像特征211可以由该特征提取模块211提取。
37.在步骤s130-s140，利用注意力机制对第一图像特征进行处理，得到第一图像特征的权重；利用第一图像特征的权重对第一图像特征进行加权，得到第二图像特征。
38.步骤s130中提及的注意力机制可以采用图2中的注意力模块22实现。该注意力模块22能够与图像编码模块21可插拔连接。图2示出的是注意力模块22的一种可能的设置方式。该注意力模块22还可以根据实际需要采用其他设置方式。以图像编码模块21为卷积神经网络为例，该注意力模块22可以设置在该卷积神经网络的任意相邻两层之间。
39.继续参见图2，在一些实施例中，该注意力模块22可以进一步包括空间注意力(spatial attention)模块22a和通道注意力(channel attention)模块22b。空间注意力模块22a可以对第一图像特征的图像空间维度(如第一图像特征对应的特征图的宽和高两个维度)的特征进行加权，以提高第一图像特征的空间显著性。通道注意力模块22b可以对第一图像特征的图像通道维度的特征进行加权，以提高第一图像特征的通道显著性。注意力模块22的加入使得神经网络20能够将注意力集中在对扫码图片的识别或分类有帮助的特征上，从而提高扫码图片的识别或分类结果。后文会结合图3和图4，对注意力模块22的实现方式进行更为详细的描述，此处暂不详述。
40.在步骤s150，根据第二图像特征对扫码图片进行识别，得到识别结果。该识别结果可用于确定扫码图片是否为对商品的实体上的活动码进行扫描后得到的图片。例如，图2中的图像编码模块还包括全连接层212。将步骤s140得到的第二图像特征输入至该全连接层212(在将第二图像特征输入至全连接层之前，还可以先利用一个或多个隐藏层对第二图像特征进行处理)，即可得到识别结果(或称预测结果)。
41.在一些实施例中，该识别结果可以包括第一识别结果。第一识别结果可用于指示扫码图片中的活动码的标签。活动码的标签可以包括实体码和电子码。如果活动码的标签为实体码，则可以判定该扫码图片为对商品的实体上的活动码进行扫描后得到的图片；如果活动码的标签为电子码，则可以判定该扫码图片并非对商品的实体上的活动码进行扫描后得到的图片。换句话说，该扫码图片很可能是黑产基于活动码制造的伪造图片。
42.在一些实施例中，该识别结果可以包括第二识别结果。第二识别结果可用于指示扫码图片中的背景区域的标签。该背景区域的标签包括以下标签中的至少一种：用于指示背景区域的颜色的标签，用于指示背景区域中的物体的类型的标签，用于指示背景区域中的物体的材质的标签。如果背景区域的标签属于预设标签，则可以判定该扫码图片为对商品的实体上的活动码进行扫描后得到的图片；如果背景区域的标签不属于预设标签，则可以判定该扫码图片并非对商品的实体上的活动码进行扫描后得到的图片。换句话说，该扫码图片很可能是黑产基于活动码制造的伪造图片。
43.背景区域的标签可以根据商品的实际情况指定。例如，如果活动码印在了商品的
瓶盖和/或包装盒上，则背景区域的标签可以包括瓶盖和/或包装盒。又如，如果承载活动码的物体(可以是商品的本体或者商品的包装盒)的颜色为红色和/或蓝色，则背景区域的标签可以包括红色和/或蓝色。又如，如果承载活动码的物体(可以是商品的本体或者商品的包装盒)的材质为金属和/或纸，则背景区域的标签可以包括金属和/或纸。
44.在一些实施例中，识别结果可以同时包括上述第一识别结果和第二识别结果。在得到第一识别结果和第二识别结果之后，可以综合该第一识别结果和第二识别结果，判断扫码图片是否为对所述商品的实体上的所述活动码进行扫描后得到的图片。例如，如果第一识别结果指示活动码为实体码，且第二识别结果指示扫码图片中的背景区域的类型为预设类型，则可以判断扫码图片为对商品的实体上的活动码进行扫描后得到的图片。
45.本公开实施例提供了一种扫码图片的识别框架，能够有效地对扫码图片进行识别或分类(如有效识别扫码图片中的活动码为实体码或电子码)。此外，注意力机制的引入，能够确定扫码图片中的感兴趣区域(与图片识别关联性较高的区域)，并提升该感兴趣区域中的图像特征的显著性，从而提高识别性能。
46.步骤s130中使用的注意力模块的类型不同，则步骤s130的实现方式不同。下面分别介绍空间注意力模块和通道注意力模块对应的处理流程。
47.如图2所示，在一些实施例中，注意力模块22可以包括空间注意力模块22a。该空间注意力模块22a可以对第一图像特征进行处理，得到第一图像特征中的图像空间特征的权重。图像空间特征可以指第一图像特征在图像的宽度w和高度h两个维度的特征。利用第一图像特征中的图像空间特征的权重对第一图像特征进行加权，相当于让图像编码模块21将注意力放图像空间维度中的对识别结果有较大影响的区域，从而可以提升第一图像特征的空间显著性。
48.如图3所示，当注意力模块22包括空间注意力模块22a时，图1中的步骤s130可以包括步骤s131a和步骤s132a。
49.在步骤s131a，在第一图像特征的空间维度，分别对第一图像特征进行第一最大池化操作和第一平均池化操作，得到第一最大池化结果和第一平均池化结果。
50.第一最大池化操作可以是全局最大池化(global max pooling，gmp)操作。第一平均池化操作可以是全局平均池化(global average pooling，gap)操作。
51.在步骤s132a，对第一最大池化结果和第一平均池化结果进行卷积操作，以确定第一图像特征中的图像空间特征的权重。
52.如图2所示，卷积操作conv可以将第一最大池化结果和第一平均池化结果融合。卷积操作conv的结果即为第一图像特征中的图像空间特征的权重。进一步地，在一些实施例中，在将该图像空间特征的权重加权至第一图像特征之前，还可以采用sigmoid函数，将第一图像特征中的图像空间特征的权重压缩至0-1范围内。
53.继续参见图2，在一些实施例中，注意力模块22可以包括通道注意力模块22b。该通道注意力模块22b可以对第一图像特征进行处理，得到第一图像特征中的图像通道特征的权重。图像空间特征可以指第一图像特征在图像的通道维度的特征。利用第一图像特征中的图像通道特征的权重对第一图像特征进行加权，相当于让图像编码模块将注意力放图像通道维度中的对识别结果有较大影响的通道，从而可以提升第一图像特征的通道显著性。
54.如图4所示，当注意力模块包括空间注意力模块时，图1中的步骤s130可以包括步
骤s131b、步骤s132b以及步骤s133b。
55.在步骤s131b，在第一图像特征的通道维度，分别对第一图像特征进行第二最大池化操作和第二平均池化操作，得到第二最大池化结果和第二平均池化结果。
56.第二最大池化操作可以是gmp操作。第二平均池化操作可以是gap操作。
57.在步骤s132b，分别对第二最大池化结果和第二平均池化结果进行全连接操作，得到第一全连接结果和第二全连接结果。
58.在步骤s133b，将第一全连接结果和第二全连接结果相加，以确定第一图像特征中的图像通道特征的权重。
59.进一步地，在一些实施例中，在将该图像通道特征的权重加权至第一图像特征之前，还可以采用sigmoid函数，将第一图像特征中的图像空间特征的权重压缩至0-1范围内。
60.图1描述的过程可以理解为神经网络的推理过程。下面结合图5，对该神经网络的训练过程进行描述。应理解，训练过程与推理过程是类似的，不同之处在于，训练过程还需要根据训练损失，对神经网络的模型参数进行调整。因此，下文重点描述训练过程和推理过程的不同之处，因此未详细描述的部分可以参见图1的相关描述。
61.参见图5，在步骤s510，接收扫码图片。该扫码图片可以包含商品的营销活动对应的活动码。与推理过程不同的是，训练过程输入的扫码图片可以称为训练样本。该训练样本可以包括正样本和负样本。正样本对应的扫码图片可以为对商品的实体上的活动码进行扫描后得到的图片。负样本对应的扫码图片可以为伪造的扫码图片。该训练样本可以由商品的品牌方采集。
62.在步骤s520，利用图像编码模块对扫码图片进行特征提取，得到第一图像特征。
63.在步骤s530，利用注意力模块对第一图像特征进行处理，得到第一图像特征的权重。
64.在步骤s540，利用第一图像特征的权重对第一图像特征进行加权，得到第二图像特征。
65.在步骤s550，根据第二图像特征对扫码图片进行识别，得到识别结果，识别结果用于确定扫码图片是否为对商品的实体上的活动码进行扫描后得到的图片。
66.步骤s520至步骤s550的描述与图1中的步骤s120至步骤s150类似，可以参见图1的相关描述。
67.在步骤s560，根据识别结果确定神经网络的训练损失。在训练阶段，可以对扫码图片进行预先标注，即标注扫码图片的识别结果(如扫码图片的类型或标签)。然后，可以基于神经网络输出的识别结果与该预先标注的结果进行比较，得到训练损失。
68.在步骤s570，根据训练损失对神经网络进行训练。例如，可以基于训练损失，采用反向传播的方式更新该神经网络的模型参数，使得神经网络的模型参数朝着减小训练损失的方向收敛。
69.图5中提及的扫码图片可以为神经网络的多个训练样本之一。可以先基于多个训练样本将神经网络训练到基本稳定的状态。然后，可以对神经网络模型进行微调。下面结合图6，给出一种对神经网络进行微调的方法。
70.如图6所示，在步骤s610，根据多个训练样本对应的训练损失，从多个训练样本中选取目标训练样本。该目标训练样本的训练损失大于多个训练样本中的除目标训练样本之
外的剩余训练样本。某个训练样本的训练损失越大，代表该训练样本越难识别。因此，这里提及的目标训练样本可以理解为从多个训练样本中挑选出的难以识别(如难以分类)的样本(此类样本也可称为难例(hard example))。目标训练样本的确定方式例如可以是对多个训练样本对应的训练损失进行排序，从而找出训练损失排在前n位的训练样本。或者，也可以从多个训练样本中选择训练损失大于预设阈值的训练样本，作为目标训练样本。
71.在步骤s620，利用目标训练样本训练神经网络。利用较难识别的样本对神经网络进行微调，可以降低神经网络训练的数据量，而且可以使得训练过程更有针对性，从而提升神经网络整体的识别效果。
72.可选地，在一些实施例中，注意力模块可以包括空间注意力模块和通道注意力模块。步骤s530可以包括：利用空间注意力模块对第一图像特征进行处理，得到第一图像特征中的图像空间特征的权重；和/或，利用通道注意力模块对第一图像特征进行处理，得到第一图像特征中的图像通道特征的权重。
73.可选地，在一些实施例中，步骤s530可以包括：在第一图像特征的空间维度，分别对第一图像特征进行第一最大池化操作和第一平均池化操作，得到第一最大池化结果和第一平均池化结果；对第一最大池化结果和第一平均池化结果进行卷积操作，以确定第一图像特征中的图像空间特征的权重。
74.可选地，在一些实施例中，步骤s530可以包括：在第一图像特征的通道维度，分别对第一图像特征进行第二最大池化操作和第二平均池化操作，得到第二最大池化结果和第二平均池化结果；分别对第二最大池化结果和第二平均池化结果进行全连接操作，得到第一全连接结果和第二全连接结果；将第一全连接结果和第二全连接结果相加，以确定第一图像特征中的图像通道特征的权重。
75.可选地，在一些实施例中，识别结果可以包括第一识别结果和/或第二识别结果，第一识别结果用于指示扫码图片中的活动码的标签，标签包括实体码和电子码，第二识别结果用于指示扫码图片中的背景区域的标签，背景区域的标签包括以下标签中的至少一种：用于指示背景区域的颜色的标签，用于指示背景区域中的物体的类型的标签，用于指示背景区域中的物体的材质的标签。
76.上文结合图1至图6，详细描述了本公开的方法实施例，下面结合图7至图9，详细描述本公开的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
77.图7是本公开实施例提供的一种识别图片的装置的示意性结构图。图7的装置700包括图像编码模块710和注意力模块720。
78.图像编码模块710可用于接收扫码图片，所述扫码图片包含商品的营销活动对应的活动码；对所述扫码图片进行特征提取，得到第一图像特征；
79.注意力模块720可用于对所述第一图像特征进行处理，得到所述第一图像特征的权重；利用所述第一图像特征的权重对所述第一图像特征进行加权，得到第二图像特征。
80.所述图像编码模块710还可用于根据所述第二图像特征对所述扫码图片进行识别，得到识别结果，所述识别结果用于确定所述扫码图片是否为对所述商品的实体上的所述活动码进行扫描后得到的图片。
81.可选地，所述注意力模块720可以包括空间注意力模块和/或通道注意力模块，所
述空间注意力模块用于对所述第一图像特征进行处理，得到所述第一图像特征中的图像空间特征的权重；和/或，所述通道注意力模块用于对所述第一图像特征进行处理，得到所述第一图像特征中的图像通道特征的权重。
82.可选地，所述空间注意力模块用于在所述第一图像特征的空间维度，分别对所述第一图像特征进行第一最大池化操作和第一平均池化操作，得到第一最大池化结果和第一平均池化结果；对所述第一最大池化结果和所述第一平均池化结果进行卷积操作，以确定所述第一图像特征中的图像空间特征的权重。
83.可选地，所述通道注意力模块用于在所述第一图像特征的通道维度，分别对所述第一图像特征进行第二最大池化操作和第二平均池化操作，得到第二最大池化结果和第二平均池化结果；分别对所述第二最大池化结果和所述第二平均池化结果进行全连接操作，得到第一全连接结果和第二全连接结果；将所述第一全连接结果和所述第二全连接结果相加，以确定所述第一图像特征中的图像通道特征的权重。
84.可选地，所述识别结果包括第一识别结果和/或第二识别结果，所述第一识别结果用于指示所述扫码图片中的活动码的标签，所述活动码的标签包括实体码和电子码，所述第二识别结果用于指示所述扫码图片中的背景区域的标签，所述背景区域的标签包括以下标签中的至少一种：用于指示所述背景区域的颜色的标签，用于指示所述背景区域中的物体的类型的标签，用于指示所述背景区域中的物体的材质的标签。
85.可选地，图7的装置700还可包括：决策模块，用于如果所述第一识别结果指示所述活动码为实体码，和/或所述第二识别结果指示所述扫码图片中的背景区域的类型为预设类型，确定所述扫码图片为对所述商品的实体上的所述活动码进行扫描后得到的图片。
86.图8是本公开实施例提供的一种训练神经网络的装置的示意性结构图。图8的装置800可以包括图像编码模块810，注意力模块820以及训练模块830。
87.图像编码模块810可用于接收扫码图片，所述扫码图片包含商品的营销活动对应的活动码；对所述扫码图片进行特征提取，得到第一图像特征。
88.注意力模块820可用于对所述第一图像特征进行处理，得到所述第一图像特征的权重；利用所述第一图像特征的权重对所述第一图像特征进行加权，得到第二图像特征。
89.所述图像编码模块810还可用于根据所述第二图像特征对所述扫码图片进行识别，得到识别结果，所述识别结果用于确定所述扫码图片是否为对所述商品的实体上的所述活动码进行扫描后得到的图片。
90.训练模块830可用于根据所述识别结果确定神经网络的训练损失；根据所述训练损失对所述神经网络进行训练。
91.可选地，所述注意力模块820可以包括：空间注意力模块，用于对所述第一图像特征进行处理，得到所述第一图像特征中的图像空间特征的权重；和/或，通道注意力模块，用于对所述第一图像特征进行处理，得到所述第一图像特征中的图像通道特征的权重。
92.可选地，所述空间注意力模块用于在所述第一图像特征的空间维度，分别对所述第一图像特征进行第一最大池化操作和第一平均池化操作，得到第一最大池化结果和第一平均池化结果；对所述第一最大池化结果和所述第一平均池化结果进行卷积操作，以确定所述第一图像特征中的图像空间特征的权重。
93.可选地，所述通道注意力模块用于在所述第一图像特征的通道维度，分别对所述
第一图像特征进行第二最大池化操作和第二平均池化操作，得到第二最大池化结果和第二平均池化结果；分别对所述第二最大池化结果和所述第二平均池化结果进行全连接操作，得到第一全连接结果和第二全连接结果；将所述第一全连接结果和所述第二全连接结果相加，以确定所述第一图像特征中的图像通道特征的权重。
94.可选地，所述扫码图片为所述神经网络模型的多个训练样本之一，所述训练模块还用于：根据所述多个训练样本对应的训练损失，从所述多个训练样本中选取目标训练样本，所述目标训练样本的训练损失大于多个训练样本中的除所述目标训练样本之外的剩余训练样本；利用所述目标训练样本训练所述神经网络。
95.可选地，所述识别结果包括第一识别结果和/或第二识别结果，所述第一识别结果用于指示所述扫码图片中的活动码的标签，所述活动码的标签包括实体码和电子码，所述第二识别结果用于指示所述扫码图片中的背景区域的标签，所述背景区域的标签包括以下标签中的至少一种：用于指示所述背景区域的颜色的标签，用于指示所述背景区域中的物体的类型的标签，用于指示所述背景区域中的物体的材质的标签。
96.图9是本公开又一实施例提供的识别图片或训练神经网络的装置的结构示意图。图9所示的装置900可以执行前文任一实施例对应的方法。装置900例如可以是具有计算功能的计算设备。比如，装置900可以是服务器。装置900可以包括存储器910和处理器920。存储器910可用于存储可执行代码。处理器920可用于执行所述存储器910中存储的可执行代码，以实现前文描述的各个方法中的步骤。在一些实施例中，该装置900还可以包括网络接口930，处理器920与外部设备的数据交换可以通过该网络接口930实现。
97.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
98.本领域普通技术人员可以意识到，结合本公开实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
99.在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的
划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
100.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
101.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
102.以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。