神经网络训练方法、物品检测方法、装置、设备及介质与流程

1.本公开涉及深度学习技术领域，具体而言，涉及一种神经网络训练方法、物品检测方法、装置、设备及介质。


背景技术：

2.随着科学技术的进步和社会的日益发展，人类的生活方式也发生了很大的改变，在购物方式上，网络购物、自助购物等已经成为人们主流的购物方式之一，随之在支付方式也出现了网络支付、扫码支付、刷脸支付等快捷便捷的付款方式。而无人自动售货机、无人自动售货柜等自助售货装置，因为其便捷的支付方式、高效的购物效率、自由的应用环境等优点被广泛应用于自助购物方式中。
3.通过自助售货装置进行自助购物时，大多是通过采集购物过程中的图像或者视频等，来识别用户所购买的物品，进而进行结算等处理。对于物品的识别，可以通过基于人工智能的识别模型的方式进行识别，而识别模型需要通过大量的训练图像等数据训练完毕后才可以使用，对于训练模型的训练图像，大多是先采集真实场景下的图像，然后通过人工标注等方式对图像进行标注，才能用来对模型进行训练，不仅需要消耗大量的人力和物力，训练图像的采集和标注需要消耗大量的时间，速度慢，周期长，而且对于现实场景中的物品真实摆放图像的数量和种类有限。


技术实现要素：

4.本公开实施例至少提供一种神经网络训练方法、物品检测方法、装置、设备及介质。
5.本公开实施例提供了一种神经网络训练方法，所述方法包括：
6.获取样本图像集和采集物品图像集，所述样本图像集包括针对同一样本物品采集得到的至少一个样本物品图像，所述采集物品图像包括采集的真实物品摆放图像；
7.基于所述样本图像集，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息；
8.将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，获取所述神经网络分别对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取得到的第一特征数据和第二特征数据，以及所述神经网络输出的所述样本物品摆放图像的物品检测结果；
9.基于所述物品检测结果和对应的样本物品标注信息，以及所述第一特征数据、所述第二特征数据和针对所述样本物品摆放图像与所述真实物品摆放图像的预设分类结果，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，将训练完毕的所述神经网络作为用于对图像中物品进行检测的物品检测模型。
10.这样，通过获取多量的样本物品图像和少量的真实物品摆放图像，进而通过样本物品图像生成模拟物品摆放的样本物品摆放图像，实现训练数据的构建，并且可以同步得
到样本物品摆放图像的标注信息，可以大大降低真实样本图像采集的工作量，并且可以进一步省去对采集图像进行标注的工作量和时间，减少训练样本的获取时间，降低人力、物力等资源和成本的消耗，节省样本构建时间，提高采集训练样本的效率，并且可以有效降低采集真实训练样本时所遇到的环境、时间、光照等因素带来的影响，增加训练样本的丰富性，在训练神经网络时，使用样本物品摆放图像，并结合真实物品摆放图像对神经网络进行训练，神经网络可以同时学习来自虚拟世界和真实世界的图像特征，通过训练实现虚拟域和真实域的融合，可以保证神经网络的训练有效性，有效地提升神经网络训练的鲁棒性和泛化能力，有效提升神经网络的训练效率。
11.一种可选的实施方式中，所述基于所述样本图像集，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，包括：
12.基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的三维物品虚拟模型；
13.对生成的三维物品虚拟模型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，其中，所述样本物品摆放图像包括生成的至少部分三维物品虚拟模型。
14.这样，通过获取的样本物品图像，构建样本物品的三维虚拟模型，使用样本物品的三维虚拟模型模拟样本物品的摆放，得到样本物品摆放图像，而且在得到样本物品摆放图像的同时可以得到对应的标注信息，不仅可以快速构建大量用于训练神经网络的虚拟训练样本，虚拟训练样本的仿真程度高，效果好，样本丰富，而且可以省去对样本标注的时间，可以节省大量的人力和物力，大大缩短样本图像收集的时间，提高神经网络训练的效率。
15.一种可选的实施方式中，所述基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的三维物品虚拟模型，包括：
16.基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的初始虚拟模型；
17.按照所述样本物品的物品信息，对所述初始虚拟模型进行纹理渲染和材质渲染，得到所述样本物品的三维物品虚拟模型。
18.一种可选的实施方式中，所述对生成的三维物品虚拟模型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，包括：
19.对生成的三维物品虚拟模型进行仿真密集摆放，得到在目标空间中摆放至少部分三维物品虚拟模型的至少两个物品摆放场景，以及每个物品摆放场景中各个三维物品虚拟模型的摆放信息；
20.针对每个物品摆放场景，按照预设的、针对所述物品摆放场景的场景信息，对所述物品摆放场景中的每个三维物品虚拟模型进行渲染，得到渲染后的物品摆放场景；
21.获取针对所述渲染后的物品摆放场景进行图像采集得到的样本物品摆放图像；
22.基于对应的各个三维物品虚拟模型的摆放信息，确定所述样本物品摆放图像对应的样本物品标注信息。
23.这里，通过使用样本物品的三维虚拟模型，可以构建不同的样本物品摆放场景，进而通过各种渲染条件对样本物品场景渲染后可以采集得到不同的样本物品摆放图像，所得
到的样本物品摆放图像的数量和种类得到极大的丰富，样本物品摆放图像中的物品摆放组合具有多样化和复杂化的效果，极大提高了样本图像对于不同情况的覆盖面，进而在训练神经网络时，有助于提升神经网络的鲁棒性和泛化能力。
24.一种可选的实施方式中，所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，获取所述神经网络分别对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取得到的第一特征数据和第二特征数据，以及所述神经网络输出的所述样本物品摆放图像的物品检测结果，包括：
25.将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，通过所述神经网络的特征提取层对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取，得到所述样本物品摆放图像的第一特征数据和所述真实物品摆放图像的第二特征数据；
26.将所述第一特征数据输入至所述神经网络的物品检测层中，得到对所述样本物品摆放图像进行物品检测的物品检测结果。
27.一种可选的实施方式中，将所述第一特征数据和所述第二特征数据作为目标特征数据，将所述样本物品摆放图像和所述真实物品摆放图像作为目标图像，所述基于所述物品检测结果和对应的样本物品标注信息，以及所述第一特征数据、所述第二特征数据和针对所述样本物品摆放图像与所述真实物品摆放图像的预设分类结果，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，包括：
28.基于所述目标特征数据和针对所述目标图像的预设分类结果，确定针对所述神经网络在特征提取方面的第一损失值；
29.基于所述物品检测结果和对应的样本物品标注信息，确定针对所述神经网络在物品检测方面的第二损失值；
30.基于所述第一损失值和所述第二损失值，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件为止。
31.一种可选的实施方式中，所述基于所述目标特征数据和针对所述目标图像的预设分类结果，确定针对所述神经网络在特征提取方面的第一损失值，包括：
32.基于所述目标特征数据，确定所述目标图像的图像分类结果；
33.基于所述图像分类结果和针对所述目标图像的预设分类结果，确定针对所述神经网络在特征提取方面的第一损失值。
34.一种可选的实施方式中，所述训练截止条件包括第一截止条件和第二截止条件，所述基于所述第一损失值和所述第二损失值，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件为止，包括：
35.基于所述第一损失值，调整所述神经网络的特征提取层的网络参数，直至所述神经网络满足所述第一截止条件为止；
36.基于所述第二损失值，调整所述神经网络的物品检测层的网络参数，以及所述物品检测层与所述特征提取层之间的网络参数，直至所述神经网络满足所述第二截止条件为止。
37.这里，使用虚拟构建的样本物品摆放图像和真实采集的真实摆放图像共同对神经网络进行训练，使神经网络学习虚拟的样本物品摆放图像与真实的物品摆放图像的特征，实现虚拟域和真实域的融合，可以有效降低神经网络对于不同领域特征的认知和提取差
异，提高神经网络对于真实图像进行处理的准确率，可以有效加快神经网络的训练速度和效率。
38.一种可选的实施方式中，所述基于所述第一损失值和所述第二损失值，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件为止，包括：
39.基于所述第一损失值和所述第二损失值，调整所述神经网络的特征提取层的网络参数和物品检测层的网络参数，以及所述物品检测层与所述特征提取层之间的网络参数，直至所述神经网络满足训练截止条件为止。
40.本公开实施例还提供了一种物品检测方法，所述方法包括：
41.获取待检测图像；
42.将所述待检测图像输入至根据上述神经网络训练方法训练得到的物品检测模型中，得到待检测图像的检测结果。
43.本公开实施例还提供一种神经网络训练装置，所述装置包括：
44.物品图像获取模块，用于获取样本图像集和采集物品图像集，所述样本图像集包括针对同一样本物品采集得到的至少一个样本物品图像，所述采集物品图像包括采集的真实物品摆放图像；
45.样本图像生成模块，用于基于所述样本图像集，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息；
46.样本图像处理模块，用于将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，获取所述神经网络分别对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取得到的第一特征数据和第二特征数据，以及所述神经网络输出的所述样本物品摆放图像的物品检测结果；
47.神经网络训练模块，用于基于所述物品检测结果和对应的样本物品标注信息，以及所述第一特征数据、所述第二特征数据和针对所述样本物品摆放图像与所述真实物品摆放图像的预设分类结果，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，将训练完毕的所述神经网络作为用于对图像中物品进行检测的物品检测模型。
48.一种可选的实施方式中，所述样本图像生成模块具体用于：
49.基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的三维物品虚拟模型；
50.对生成的三维物品虚拟模型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，其中，所述样本物品摆放图像包括生成的至少部分三维物品虚拟模型。
51.一种可选的实施方式中，所述样本图像生成模块在用于基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的三维物品虚拟模型时，具体用于：
52.基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的初始虚拟模型；
53.按照所述样本物品的物品信息，对所述初始虚拟模型进行纹理渲染和材质渲染，得到所述样本物品的三维物品虚拟模型。
54.一种可选的实施方式中，所述样本图像生成模块在用于对生成的三维物品虚拟模
型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息时，具体用于：
55.对生成的三维物品虚拟模型进行仿真密集摆放，得到在目标空间中摆放至少部分三维物品虚拟模型的至少两个物品摆放场景，以及每个物品摆放场景中各个三维物品虚拟模型的摆放信息；
56.针对每个物品摆放场景，按照预设的、针对所述物品摆放场景的场景信息，对所述物品摆放场景中的每个三维物品虚拟模型进行渲染，得到渲染后的物品摆放场景；
57.获取针对所述渲染后的物品摆放场景进行图像采集得到的样本物品摆放图像；
58.基于对应的各个三维物品虚拟模型的摆放信息，确定所述样本物品摆放图像对应的样本物品标注信息。
59.一种可选的实施方式中，所述样本图像处理模块具体用于：
60.将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，通过所述神经网络的特征提取层对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取，得到所述样本物品摆放图像的第一特征数据和所述真实物品摆放图像的第二特征数据；
61.将所述第一特征数据输入至所述神经网络的物品检测层中，得到对所述样本物品摆放图像进行物品检测的物品检测结果。
62.一种可选的实施方式中，将所述第一特征数据和所述第二特征数据作为目标特征数据，将所述样本物品摆放图像和所述真实物品摆放图像作为目标图像，所述神经网络训练模块具体用于：
63.基于所述目标特征数据和针对所述目标图像的预设分类结果，确定针对所述神经网络在特征提取方面的第一损失值；
64.基于所述物品检测结果和对应的样本物品标注信息，确定针对所述神经网络在物品检测方面的第二损失值；
65.基于所述第一损失值和所述第二损失值，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件为止。
66.一种可选的实施方式中，所述神经网络训练模块在用于基于所述目标特征数据和针对所述目标图像的预设分类结果，确定针对所述神经网络在特征提取方面的第一损失值时，具体用于：
67.基于所述目标特征数据，确定所述目标图像的图像分类结果；
68.基于所述图像分类结果和针对所述目标图像的预设分类结果，确定针对所述神经网络在特征提取方面的第一损失值。
69.一种可选的实施方式中，所述训练截止条件包括第一截止条件和第二截止条件，所述神经网络训练模块在用于基于所述第一损失值和所述第二损失值，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件为止时，具体用于：
70.基于所述第一损失值，调整所述神经网络的特征提取层的网络参数，直至所述神经网络满足所述第一截止条件为止；
71.基于所述第二损失值，调整所述神经网络的物品检测层的网络参数，以及所述物品检测层与所述特征提取层之间的网络参数，直至所述神经网络满足所述第二截止条件为止。
72.一种可选的实施方式中，所述神经网络训练模块在用于基于所述第一损失值和所述第二损失值，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件为止时，具体用于：
73.基于所述第一损失值和所述第二损失值，调整所述神经网络的特征提取层的网络参数和物品检测层的网络参数，以及所述物品检测层与所述特征提取层之间的网络参数，直至所述神经网络满足训练截止条件为止。
74.本公开实施例还提供一种物品检测装置，所述装置包括：
75.获取模块，用于获取待检测图像；
76.检测模块，用于将所述待检测图像输入至根据上述神经网络训练装置训练得到的物品检测模型中，得到待检测图像的检测结果。
77.本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述的神经网络训练方法或者物品检测方法的步骤。
78.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的神经网络训练方法或者物品检测方法的步骤。
79.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
80.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
81.图1为本公开实施例提供的一种神经网络训练方法的流程图；
82.图2为本公开实施例中一种神经网络的结构示意图；
83.图3为本公开实施例中神经网络在训练过程中对图像进行识别的过程示意图；
84.图4为本公开实施例提供的一种物品检测方法的流程图；
85.图5为本公开实施例提供的一种神经网络训练装置的示意图；
86.图6示出了本公开实施例提供的一种物品检测装置的示意图；
87.图7示出了本公开实施例提供的一种计算机设备的示意图。
具体实施方式
88.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的
实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
89.经研究发现，在神经网络的训练过程中，训练神经网络往往需要大量的真实样本图像，采集大量的真实样本图像需要大量的人力、物力和时间等，采集效率低。如果要使用获取到的真实样本图像对神经网络进行训练，还需要对样本图像进行人工标注，人工标注的工作量大，标注速度慢。若想得到较为复杂的样本图像，需要在不同的条件下多次获取，得到样本图像的难度高、效率低、所需的时间长。
90.基于上述研究，本公开提供了一种神经网络训练方法，不仅可以大大降低真实样本图像采集的工作量，并且可以进一步省去对采集图像进行标注的工作量和时间，减少训练样本的获取时间，降低人力、物力等资源和成本的消耗，节省样本构建时间，提高采集训练样本的效率，并且可以有效降低采集真实训练样本时所遇到的环境、时间、光照等因素带来的影响，增加训练样本的丰富性，可以保证神经网络的训练有效性，有效地提升神经网络训练的鲁棒性和泛化能力，有效提升神经网络的训练效率。
91.针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
92.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
93.请参阅图1，图1为本公开实施例提供的一种神经网络训练方法的流程图。如图1中所示，本公开实施例提供的一种神经网络训练方法，包括：
94.s101：获取样本图像集和采集物品图像集，所述样本图像集包括针对同一样本物品采集得到的至少一个样本物品图像，所述采集物品图像集包括采集的真实物品摆放图像。
95.在训练神经网络的时候，首先需要获取用于神经网络训练的大量图像数据，一般的，可以采集真实场景下的真实图像或者从网络上爬取到的真实图像，然后对真实图像进行标注，使用获取的真实图像和对应的标注信息对神经网络进行训练，而真实图像的获取和标注，需要大量人力和物力的消耗，因此，本公开实施例中可以使用生成虚拟图像的方式，结合少量真实图像实现神经网络的有效训练。
96.具体的，在该步骤中，可以通过对样本物品进行图像采集，得到所述样本物品所对应的至少一个样本物品图像，用于在后续过程中构建所述样本物品的三维物品虚拟模型，相应的，在采集时，可以使用拍摄设备通过变换摆设位置、拍摄角度、拍摄光线等方式，采集不同角度、不同光照等条件下的样本物品图像，此外，还可以采集少量的真实物品摆放图像，从而得到采集物品图像集。
97.其中，在实际作业中，可以对多个样本物品进行图像采集，每个样本物品对应采集至少一个样本物品图像，从而构成所述样本图像集。后续所述的至少一个样本物品图像，均是指针对同一样本物品来讲的，而对于不同组的至少一个样本物品图像，可以是针对不同的样本物品。
98.相应的，也可以采集多个所述真实物品摆放图像，每个真实物品摆放图像中可以
包括摆放的多个物品，优选的，各个所述真实物品摆放图像所包含的物品组合不同，或者部分所述真实物品摆放图像所包含的物品组合相同，但是同一物品组合中多个物品的摆放位置、摆放角度等摆放条件不同，即具有相同物品组合的各个所述真实物品摆放图像，其中多个物品的摆放位置、摆放角度等摆放条件均不同。
99.在该步骤中，采集到的真实物品摆放图像的数量可以较少，其数量远远小于所述样本物品图像，也远远小于后续生成的样本物品摆放图像的数量。
100.s102：基于所述样本图像集，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息。
101.该步骤中，在得到所述样本图像集之后，可以使用所述样本图像集中的至少一个样本物品图像，构建所述样本物品的虚拟模型，每个样本物品对应的至少一个样本物品图像，均可以构建出该样本物品对应的虚拟模型，进而借助各个所述样本物品的虚拟模型，生成样本物品摆放图像，或者从各个样本物品对应的至少一个样本物品图像中选择各个样本物品之间相匹配的目标物品图像，即从每组至少一个样本物品图像中选择出一个目标物品图像，然后通过选择出的多个目标物品图像进行组合，来生成样本物品摆放图像，与此同时，基于生成所述样本物品摆放图像过程中各个样本物品的组合和摆放情况等信息，可以得到针对所述样本物品摆放图像的样本物品标注信息。
102.其中，在通过选择出的多个目标物品图像生成所述样本物品摆放图像的时候，可以是先获取所要生成的样本物品摆放图像中各个样本物品的物品信息，例如位置信息、位姿信息、角度信息、光照信息、视角信息等，然后针对每个样本物品，根据对应的物品信息，遍历其对应的至少一个样本物品图像，选择出与上述各种信息相匹配，甚至一致的一张样本物品图像，然后可以从选择出的样本物品图像中将该样本物品对应的图像部分裁剪出来作为目标物品图像，或者是将选择出的样本物品图像中，除该样本物品对应的图像内容对应之外的背景内容进行虚化或者颜色归一化等处理，如将背景内容变为纯色内容，将处理后的样本物品图像作为目标物品图像，在得到各个样本物品对应的目标物品图像后，再根据各个样本物品的物品信息，对得到的多个目标物品图像进行拼接，对拼接后的图像按照所要生成的样本物品摆放图像的图像信息进行渲染，从而得到所述样本物品摆放图像，相应的，在得到所述样本物品摆放图像后，可以根据样本物品摆放图像中各个样本物品的位置信息和物品信息等，得到所述样本物品摆放图像的样本物品标注信息，也可以是生成与所述样本物品摆放图像对应的掩膜图像，掩膜图像中的掩膜部分可以对应样本物品，通过掩膜图像中的掩膜部分和非掩膜部分，即可得到所述样本物品摆放图像的样本物品标注信息。
103.相应的，对于借助构建虚拟模型来生成样本物品摆放图像，可以是通过以下步骤实现：
104.基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的三维物品虚拟模型；
105.对生成的三维物品虚拟模型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，其中，所述样本物品摆放图像包括生成的至少部分三维物品虚拟模型。
106.这里，通过构建虚拟模型来生成样本物品摆放图像，对于每一个样本物品来讲，可
以是先通过对其对应的至少一个样本物品图像进行识别，来得到样本物品的贴图信息，例如在各个所述样本物品图像中的物品特征、尺寸、形状等信息，然后使用贴图信息重建样本物品的三维虚拟模型，此外，在所述样本物品图像包含有景深信息等情况下，还可以通过识别样本物品的三维点云，通过三维点云进行三维重建来得到样本物品的三维虚拟模型。
107.具体的，对于通过建模生成所述三维物品虚拟模型，可以是基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的初始虚拟模型，即针对每个样本物品来讲，可以通过其对应的各个所述样本物品图像中样本物品的信息，先生成基础模型，然后再按照所述样本物品的物品信息，对所述初始虚拟模型进行纹理渲染和材质渲染，得到所述样本物品的三维物品虚拟模型。
108.在实际应用中，对于所述初始虚拟模型的渲染，可以是使用光栅化渲染配合风格迁移的方法，还可以是使用光栅追踪渲染的方式，对所述样本物品的初始虚拟模型进行渲染。优选的，可以使用光栅追踪渲染的方式，例如使用blender渲染引擎对所述样本物品的初始虚拟模型进行渲染，其不需要搭配风格迁移，即可达到较好的渲染效果。经过渲染，可以得到更加真实的所述样本物品的三维物品虚拟模型。
109.接着，在得到各个所述样本物品对应的三维物品虚拟模型之后，可以随机对得到的多个三维物品虚拟模型中的至少部分三维物品虚拟模型进行组合，例如按照一定的模型数量，取部分的三维物品虚拟模型进行组合，然后逐渐对所需要组合的三维物品虚拟模型的数量递增，按照每次递增的数量再取部分三维物品虚拟模型进行组合，直至所有的三维物品虚拟模型形成组合，在得到多个三维物品虚拟模型的组合后，即可进行仿真密集摆放，例如针对一个组合，可以将各个模型按照不同的位置、角度、重叠情况等进行仿真密集摆放，从而得到模拟物品摆放的样本物品摆放图像，并且可以通过仿真密集摆放的摆放信息，得到所述样本物品摆放图像的样本物品标注信息。
110.具体的，对生成的三维物品虚拟模型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，可以是先对生成的三维物品虚拟模型进行仿真密集摆放，从而得到在目标空间中摆放至少部分三维物品虚拟模型的至少两个物品摆放场景，以及每个物品摆放场景中各个三维物品虚拟模型的摆放信息，即通过仿真密集摆放，实现对至少部分三维物品虚拟模型进行模拟摆放，从而模拟出三维物品虚拟模型进行陈列摆放的物品摆放场景，相应的，在模拟摆放三维物品虚拟模型的过程中，还可以通过进行仿真密集摆放的仿真信息，得到每个物品摆放场景中各个三维物品虚拟模型的摆放信息。
111.接着，在仿真出物品摆放场景后，针对每个物品摆放场景，可以按照预设的、针对所述物品摆放场景的场景信息，对所述物品摆放场景中的每个三维物品虚拟模型进行渲染，得到渲染后的物品摆放场景，这里，由于仿真出的场景是空白的场景，即除了摆放的三维物品虚拟模型外，没有其他内容，因此，需要对物品摆放场景进行渲染，以得到贴合真实世界的、更加真实的样本物品摆放场景。
112.其中，对所述物品摆放场景进行渲染，与对所述初始虚拟模型的渲染类似，可以是使用光栅化渲染配合风格迁移的方法，还可以是使用光栅追踪渲染的方式，对所述物品摆放场景进行渲染。优选的，可以使用光栅追踪渲染的方式。
113.然后，在得到所述渲染后的样本物品摆放场景之后，通过模拟对真实场景的图像
采集等方式，就可以获取针对所述渲染后的物品摆放场景进行图像采集得到的样本物品摆放图像。
114.此外，基于对应的各个三维物品虚拟模型的摆放信息，确定所述样本物品摆放图像对应的样本物品标注信息。
115.其中，对于根据摆放信息确定所述样本物品标注信息，可以是在对所述物品摆放场景进行渲染的过程中，通过渲染生成一张与所述样本物品摆放图像相对应的掩膜图像，如上所述，所述掩膜图像可以为一张除所述样本物品所在区域外其余区域均为纯色的图像，其中包括对应样本物品的掩膜部分和背景部分的非掩膜部分，通过所述掩膜图像中各部分的划分，以及所述样本物品摆放图像中的样本物品的信息，即可得到所述样本物品摆放图像的样本物品标注信息。
116.其中，所述样本物品标注信息，可以包括所述样本物品在所述样本物品摆放图像中的位置信息，所述样本物品的尺寸信息、颜色信息、图像特征信息、物品种类信息等物品属性信息。
117.在具体应用中，鉴于需要模仿真实场景中的物品摆放以及采集的摆放图像，对于一些自助冰箱、自助冰柜等，所能采集到的图像大多具有一些相应的变化，通过鱼眼摄像头采集的图像，采集的图像会有对应的成像效果，因此，在对所述物品摆放场景进行渲染的过程中，还可以通过写入着色器等方式，对实现所述物品摆放场景进行鱼眼畸变等渲染变化，使得采集的所述样本物体摆放图像具有鱼眼畸变的变化，从而实现模拟得到使用鱼眼相机采集得到的真实摆放图像。
118.承接上述的s102，s103：将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，获取所述神经网络分别对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取得到的第一特征数据和第二特征数据，以及所述神经网络输出的所述样本物品摆放图像的物品检测结果。
119.该步骤中，在构建得到虚拟样本的所述样本物品摆放图像，以及采集的所述真实物品摆放图像后，就可以开始对预先构建好的神经网络进行训练，即可以将所述样本物品摆放图像和所述真实物品摆放图像作为所述神经网络的输入，输入至所述神经网络中，经过所述神经网络对图像的处理，可以获取到所述神经网络输出的所述样本物品摆放图像的物品检测结果，此外，所述神经网络在对所述真实物品摆放图像和所述样本物品摆放图像进行处理时，会先对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取，以分别提取所述样本物品摆放图像的第一特征数据和所述真实物品摆放图像的第二特征数据，以便后续通过提取的特征数据对图像进行检测和识别等处理，由此，可以获取到所述神经网络分别对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取得到的第一特征数据和第二特征数据。
120.其中，对于输入整体的所述神经网络的图像，所述神经网络会对图像进行完整处理，因此，在常规的处理过程中，所述神经网络也可以输出所述真实物品摆放图像的物品检测结果，但是所述神经网络还处于训练过程中，其检测的结果准确性较低，而且本公开实施例中，并未对采集的所述真实物品摆放图像进行标注，不会借助所述真实物品摆放图像的物品检测结果去训练所述神经网络，因此可以无需获取所述真实物品摆放图像的物品检测结果，或者可以将所述神经网络输出的所述真实物品摆放图像的物品检测结果忽略或者搁
置即可。
121.具体的，对于将图像输入所述神经网络，得到所述第一特征数据和所述第二特征数据，以及所述样本物品摆放图像的物品检测结果，可以是将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，通过所述神经网络的特征提取层对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取，得到所述样本物品摆放图像的第一特征数据和所述真实物品摆放图像的第二特征数据，即可以通过所述特征提取层提取输入的所述样本物品摆放图像的第一特征数据和所述真实物品摆放图像的第二特征数据，然后将所述第一特征数据输入至所述神经网络的物品检测层中，得到对所述样本物品摆放图像进行物品检测的物品检测结果，即经所述特征提取层提取出的所述第一特征数据和所述第二特征数据，可以只将所述第一特征数据输入所述神经网络的物品检测层中进行特征处理，以对所述样本物品摆放图像进行物品检测，得到物品检测结果。
122.这里，如上述记载，鉴于本公开实施例中无需对采集的所述真实物品摆放图像进行标注，因此不会借助所述真实物品摆放图像的物品检测结果去训练所述神经网络，所以仅将所述第一特征数据入所述物品检测层即可，但并不局限于此，在其他实施方式中，为了减少干预，也可以是将所述第二特征数据一并输入所述物品检测层，在识别出所述真实物品摆放图像的物品检测结果后，舍弃或者搁置即可，仅获取所述样本物品摆放图像的物品检测结果进行使用即可。
123.示例性的，请参阅图2，图2为本公开实施例中一种神经网络的结构示意图。如图2中所示，所述神经网络可以包括特征提取层和物品检测层，所述特征提取层用于提取所输入图像的图像特征，所述物品检测层可以根据提取出的图像特征对所输入的图像中的物品进行检测、定位以及识别等，相应的，将所述样本物品摆放图像和所述真实物品摆放图像输入至所述神经网络后，经过所述特征提取层的处理，可以分别得到所述第一特征数据和所述第二特征数据，进一步的，所述第一特征数据经过所述物品检测层后，即可得到所述样本物品摆放图像的物品检测结果。
124.其中，所述特征提取层可以包括至少一层卷积神经网络。
125.此外，所述神经网络还可以包括一些中间处理层，例如池化层等，可以对提取出的特征数据进行平滑处理、池化处理、归一化处理等，以提升特征数据的可用性和整体的检测效果等。
126.s104：基于所述物品检测结果和对应的样本物品标注信息，以及所述第一特征数据、所述第二特征数据和针对所述样本物品摆放图像与所述真实物品摆放图像的预设分类结果，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，将训练完毕的所述神经网络作为用于对图像中物品进行检测的物品检测模型。
127.该步骤中，在获取到所述物品检测结果，以及所述第一特征数据和所述第二特征数据后，可以结合所述样本物品摆放图像的样本物品标注信息，以及针对所述样本物品摆放图像与所述真实物品摆放图像的预设分类结果后，通过各项内容之间的差异，来对所述神经网络的参数进行调整，从而完成一次训练，接着返回到将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络的步骤，继续将所述样本物品摆放图像和真实物品摆放图像输入至第一次调整参数后的所述神经网络中，通过后续的处理步骤继续调整所述神经网络的网络参数，形成循环训练，直至多次训练后，调整后的所述神经网络满足训练截止
条件为止，可以认为所述神经网络训练完毕，可以作为用于对图像中物品进行检测的物品检测模型来使用了。
128.其中，通过各项内容之间的差异来对所述神经网络的参数进行调整，可以通过调用预先设置的损失函数，以通过各项内容计算所述神经网络在各个维度的损失，然后借助计算出的损失，确定所述神经网络中各网络参数的调整方向和调整大小等。
129.相应的，所述训练截止条件，可以是所述神经网络在各个维度下的损失小于各个维度对应的损失阈值，即为满足所述训练截止条件，但并不局限于此，在其它实施方式中，也可以是在所述神经网络的参数调整次数大于或者等于预设次数时，为满足所述训练截止条件，具体的训练截止条件，可以根据训练需求具体设置。
130.具体的，在通过损失对所述神经网络的网络参数进行调整的过程中，对于所述样本物品摆放图像和所述真实物品摆放图像在特征提取方面的损失的处理过程是相同的，因此，为了表述便捷和统一，将所述第一特征数据和所述第二特征数据作为目标特征数据，将所述样本物品摆放图像和所述真实物品摆放图像作为目标图像。
131.进一步的，在一些可能的实施方式中，对于调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，可以包括以下步骤：
132.首先，基于所述目标特征数据和针对所述目标图像的预设分类结果，确定针对所述神经网络在特征提取方面的第一损失值。
133.这里，在得到所述目标数据之后，可以获取到预先针对所述目标图像的预设分类结果，结合所述目标数据和所述预设分类结果进行计算，得到所述神经网络在特征提取方面的第一损失值，即对于所述特征提取层进行特征提取的损失进行衡量。
134.其中，在常规的使用特征数据对图像进行分类时，对于图像的分类结果大多是用来表示对于图像进行识别后得到的、图像的归类的结果，例如图像是属于a类图像，还是属于b类、c类图像等，例如以二分类为例，最后得到的分类概率越大，认为越偏向于属于a类图像，而得到的分类概率越小，认为越偏向于属于b类图像。
135.而在本技术中，使用构建的虚拟图像数据，即所述样本物品摆放图像，结合少量的真实的图像，即所述真实物品摆放图像，对所述神经网络进行训练的过程中，由于所述样本物品摆放图像是模拟出的虚拟图像，属于虚拟数据域的数据，而所述真实物品摆放图像属于真实数据域的数据，其二者提取出的特征数据方面，是存在差异的，按照常规方式，对所述样本物品摆放图像进行识别后得到的分类结果应该是虚拟图像，对于所述真实物品摆放图像进行识别后得到的分类结果应该是真实图像。
136.而在本技术中，对于训练后的所述神经网络，是用于对真实采集的图像进行检测的，因此其实际处理的均是真实数据域的数据，而为了保证训练出的所述神经网络可有保证数据处理和检测结果的准确性，在使用大量虚拟数据进行训练时，即使用多个所述样本物品摆放图像进行训练时，应该使得所述神经网络忽略多个所述样本物品摆放图像是模拟出的虚拟图像的事实，以及忽略所述真实物品摆放图像是真实图像的事实，而是将所述样本物品摆放图像与所述真实物品摆放图像同等看待，从而忽略虚拟数据域和真实数据域的差异。
137.相应的，所述预设分类结果，可以是指对针对所述目标图像无论是真实图像还是虚拟图像，即无论在所述目标图像是所述样本物品摆放图像还是所述真实物品摆放图像的
情况下，对于所述目标图像的分类均是一致的，示例性的，在以输出的分类概率表示所述目标图像的分类结果的情况下，所述预设分类结果可以是以处于各类分类结果的中间结果为佳，例如以二分类为例，在分类概率越大，即越接近于1时，认为越偏向于属于a类图像，而得到的分类概率越小，即越接近于0时，认为越偏向于属于b类图像，优选的，所述预设分类结果可以取值0.5，即不管对于所述样本物品摆放图像还是所述真实物品摆放图像，其检测和识别的分类结果是相同的情况下，即可弥补和抵消对于虚拟数据域和真实数据域之间的差异。
138.具体的，对于确定所述第一损失值，可以是先基于所述目标特征数据，确定所述目标图像的图像分类结果，例如借助用于图像分类的神经网络，或者借助用户图像分类的算法等，即可使用所述目标特征数据识别或者计算出所述目标图像的图像分类结果，然后基于所述图像分类结果和针对所述目标图像的预设分类结果，确定针对所述神经网络在特征提取方面的第一损失值，例如借助相应损失函数，或者直接对所述预设分类结果和确定出的所述图像分类结果进行比较和/或特征计算等，可以得到所述第一损失值。
139.示例性的，请同时参阅图3，图3为本公开实施例中神经网络在训练过程中对图像进行识别的过程示意图。如图3中所示，在将所述样本物品摆放图像和所述真实物品摆放图像输入至所述神经网络后，经过所述神经网络的特征提取层的特征提取，可以得到所述样本物品摆放图像的第一特征数据，以及所述真实物品摆放图像的第二特征数据，此时，为了要完成对所述特征提取层的有效训练，使所述提特征提取层在特征提取时实现领域自适应学习，忽略虚拟数据域和真实数据域的差异，可以通过在所述神经网络上外接训练好的领域自适应目标检测网络，来辅助所述神经网络的训练，相应的，可以将作为所述目标特征数据的所述第一特征数据和所述第二特征数据输入所述领域自适应目标检测网络，通过所述领域自适应目标检测网络对输入的特征数据进行识别和检测，得到对应的图像的判别结果，即所述样本物品摆放图像和所述真实物品摆放图像的图像分类结果，进而使用所述图像分类结果结合所述预设分类结果，计算对应的所述第一损失值。
140.在实际应用中，所述领域自适应目标检测网络可以包括梯度逆转层和领域辨别器，所述梯度逆转层的作用是在反向传播的过程中实现两个域特征的融合。所述领域判别器的作用是判断输入的特征数据(即所述目标特征数据)属于哪个域(即通过识别所述目标特征数据是属于虚拟数据域还是真实数据域，借此判断所述目标图像是构建的虚拟图像还是采集的真实图像)，随着所述神经网络的训练不断地学习，当判别器区分不出所述目标特征数据具体属于哪个域的时候(例如输出的概率是0.5)，这时模型在这里的特征对于两个域达到了一个统一，于是可以使用共同的候选框生成网络进行后续检测。在这里，通过领域自适应，加上渲染过程的优秀渲染能力，使得所述神经网络不需要使用风格迁移，可以节省数据处理时间，提高数据处理效率。
141.接着，基于所述物品检测结果和对应的样本物品标注信息，确定针对所述神经网络在物品检测方面的第二损失值。
142.这里，在得到所述物品检测结果后，可以结合所述样本物品标注信息，通过借助相应损失函数，或者直接对所述物品检测结果和所述样本物品标注信息进行比较和/或特征计算等，得到所述第二损失值。
143.其中，所述物品检测结果可以与所述样本物品标注信息类似，也包括所述样本物
品摆放图像中各个所述样本物品的位置信息，所述样本物品的尺寸信息、颜色信息、图像特征信息、物品种类信息等物品属性信息。
144.在实际应用中，可以通过交叉熵损失函数等确定所述神经网络的第一损失值和第二损失值。
145.示例性的，如图3中所示，在所述特征提取层提取到所述样本物品摆放图像的第一特征数据之后，可以将所述第一特征数据输入至所述神经网络的物品检测层中，从而经过所述物品检测层对所述第一特征数据的处理，得到所述样本物品检测图像的物品检测结果，进而可以结合所述样本物品标注信息，得到所述第二损失值。
146.然后，基于所述第一损失值和所述第二损失值，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件为止。
147.这里，通过所述第一损失值和所述第二损失值的指引和偏向等，可以对应调整所述神经网络的网络参数，从而完成一次所述神经网络的训练，接着可以返回所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络的步骤，继续对所述神经网络进行下一次训练，从而实现多轮次的神经网络的循环训练，在循环训练过程中，直至某一次训练结束后，所述神经网络满足训练截止条件为止，可以认为所述神经网络训练完毕，即可将训练完毕的所述神经网络作为用于对图像中物品进行检测的物品检测模型。
148.其中，在对所述神经网络训练的过程中，通过上述内容描述可以看出，对于所述特征提取层的训练和所述物品检测层的训练，两者是针对不同维度方面内容的训练，相应的，在实际训练过程中，可以将两者分别进行训练，例如先对所述特征提取层进行训练，在所述特征提取层训练完毕之后，再对所述物品检测层进行训练，这样，由于所述特征提取层是已经训练完毕的，其提取出的特征数据是相对准确的，所述物品检测层在对输入的、所述特征提取层提取的特征数据进行处理会更加具有针对性，因此，可以相应的提高所述物品检测层的训练效率，减少训练时间。
149.具体的，在一种可能的实施例中，所述训练截止条件可以包括第一截止条件和第二截止条件，相应的，对于使用所述第一损失值和所述第二损失值，调整所述神经网络的网络参数，直至训练后所述神经网络满足训练截止条件，实现对所述神经网络的训练，可以是先基于所述第一损失值，调整所述神经网络的特征提取层的网络参数，从而完成一次所述特征提取层的训练，然后可以返回所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络的步骤，以对所述特征提取层进行下一次训练，在多次训练的过程中，直至所述神经网络满足所述第一截止条件为止，此时，可以认为所述特征提取层训练完毕，即可停止训练，接着，可以再次返回所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络的步骤，以准备开始对所述物品检测层进行训练。
150.接下来，在所述特征提取层训练完毕后，基于所述第二损失值，调整所述神经网络的物品检测层的网络参数，以及所述物品检测层与所述特征提取层之间的网络参数，直至所述神经网络满足所述第二截止条件为止，即通过所述第二损失值，不仅可以调整所述物品检测层内部的网络参数，还可以调整所述物品检测层与所述特征提取层之间的网络参数，从而完成一次所述物品检测层的训练，然后可以再次返回所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络的步骤，通过上一次训练完的所述特征提取层提取输入的图像的特征数据，再将提取的特征数据输入至所述物品检测层，进而根据识别
结果确定第二损失值，再次调整所述物品检测层内部的网络参数，以及所述物品检测层与所述特征提取层之间的网络参数，从而完成再一次的所述物品检测层的训练，以此实现循环训练，在循环训练的过程中，直至某次训练完毕后，所述神经网络满足所述第二截止条件为止，可以认为所述物品检测层训练完毕。
151.其中，所述第一截止条件可以包括所述第一损失小于对应的第一损失阈值，和/或所述特征提取层的训练次数大于或者等于第一训练次数，所述第二截止条件可以包括所述第二损失小于对应的第二损失阈值，和/或所述物品检测层的训练次数大于或者等于第二训练次数。
152.其中，在对所述物品检测层进行训练的时候，由于无需所述真实物品摆放图像的帮助，因此在返回所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络的步骤后，可以是只将所述样本物品摆放图像输入至所述神经网络中即可。
153.此外，在对所述神经网络训练的过程中，也可以是与常规的网络训练一样，对所述神经网络整体进行训练，这样，可以适当减少整体上所述神经网络的数据处理量。
154.具体的，对于使用所述第一损失值和所述第二损失值，调整所述神经网络的网络参数，直至训练后所述神经网络满足训练截止条件，实现对所述神经网络的训练，可以是基于所述第一损失值和所述第二损失值，调整所述神经网络的特征提取层的网络参数和物品检测层的网络参数，以及所述物品检测层与所述特征提取层之间的网络参数，直至所述神经网络满足训练截止条件为止。
155.相应的，在对所述神经网络进行整体训练时，可以是通过所述第一损失值和所述第二损失值计算所述神经网络的总损失值，以作为所述神经网络整体进行参数调整的整体依据，例如，可以通过最小平方差损失函数等方式，对第一损失值和第二损失值进行融合计算，得到融合后的总损失值。
156.本公开实施例提供的神经网络训练方法，通过获取多量的样本物品图像和少量的真实物品摆放图像，进而通过样本物品图像生成模拟物品摆放的样本物品摆放图像，实现训练数据的构建，并且可以同步得到样本物品摆放图像的标注信息，可以大大降低真实样本图像采集的工作量，并且可以进一步省去对采集图像进行标注的工作量和时间，减少训练样本的获取时间，降低人力、物力等资源和成本的消耗，节省样本构建时间，提高采集训练样本的效率，并且可以有效降低采集真实训练样本时所遇到的环境、时间、光照等因素带来的影响，增加训练样本的丰富性，有效提升神经网络的训练效率。
157.进一步的，依托于图1中所示的神经网络训练方法训练得到的物品检测模型，即可投入到对采集的真实图像的识别，相应的，本公开实施例还提供一种物品检测方法，请参阅图4，图4为本公开实施例提供的一种物品检测方法的流程图。如图4中所示，本公开实施例提供的物品检测方法包括：
158.s401：获取待检测图像。
159.s402：将所述待检测图像输入至根据上述神经网络训练方法训练得到的物品检测模型中，得到待检测图像的检测结果。
160.这里，在通过上述的神经网络训练方法训练得到的物品检测模型后，即可将所述物品检测模型投入使用，对于获取的所述待检测图像，可以将所述待检测图像输入至所述物品检测模型中，即可得到所述物品检测模型输出的所述待检测图像的检测结果。
161.本公开实施例提供的物品检测方法，通过使用通过上述训练方法训练得到的、具有良好识别效果的物品检测模型对待检测图像进行检测，检测结果的准确性高、速度快，而且鲁棒性好。
162.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
163.基于同一发明构思，本公开实施例中还提供了与神经网络训练方法对应的神经网络训练装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述神经网络训练方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
164.请参阅图5，图5为本公开实施例提供的一种神经网络训练装置的示意图，如图5中所示，本公开实施例提供的神经网络训练装置500包括：
165.物品图像获取模块510，用于获取样本图像集和采集物品图像集，所述样本图像集包括针对同一样本物品采集得到的至少一个样本物品图像，所述采集物品图像包括采集的真实物品摆放图像。
166.样本图像生成模块520，用于基于所述样本图像集，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息。
167.样本图像处理模块530，用于将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，获取所述神经网络分别对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取得到的第一特征数据和第二特征数据，以及所述神经网络输出的所述样本物品摆放图像的物品检测结果。
168.神经网络训练模块540，用于基于所述物品检测结果和对应的样本物品标注信息，以及所述第一特征数据、所述第二特征数据和针对所述样本物品摆放图像与所述真实物品摆放图像的预设分类结果，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，将训练完毕的所述神经网络作为用于对图像中物品进行检测的物品检测模型。
169.一种可选的实施方式中，所述样本图像生成模块520具体用于：
170.基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的三维物品虚拟模型；
171.对生成的三维物品虚拟模型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，其中，所述样本物品摆放图像包括生成的至少部分三维物品虚拟模型。
172.一种可选的实施方式中，所述样本图像生成模块520在用于基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的三维物品虚拟模型时，具体用于：
173.基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的初始虚拟模型；
174.按照所述样本物品的物品信息，对所述初始虚拟模型进行纹理渲染和材质渲染，得到所述样本物品的三维物品虚拟模型。
175.一种可选的实施方式中，所述样本图像生成模块520在用于对生成的三维物品虚拟模型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆
放图像的样本物品标注信息时，具体用于：
176.对生成的三维物品虚拟模型进行仿真密集摆放，得到在目标空间中摆放至少部分三维物品虚拟模型的至少两个物品摆放场景，以及每个物品摆放场景中各个三维物品虚拟模型的摆放信息；
177.针对每个物品摆放场景，按照预设的、针对所述物品摆放场景的场景信息，对所述物品摆放场景中的每个三维物品虚拟模型进行渲染，得到渲染后的物品摆放场景；
178.获取针对所述渲染后的物品摆放场景进行图像采集得到的样本物品摆放图像；
179.基于对应的各个三维物品虚拟模型的摆放信息，确定所述样本物品摆放图像对应的样本物品标注信息。
180.一种可选的实施方式中，所述样本图像处理模块530具体用于：
181.将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，通过所述神经网络的特征提取层对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取，得到所述样本物品摆放图像的第一特征数据和所述真实物品摆放图像的第二特征数据；
182.将所述第一特征数据输入至所述神经网络的物品检测层中，得到对所述样本物品摆放图像进行物品检测的物品检测结果。
183.一种可选的实施方式中，所述神经网络训练模块540具体用于：
184.基于所述目标特征数据和针对所述目标图像的预设分类结果，确定针对所述神经网络在特征提取方面的第一损失值；
185.基于所述物品检测结果和对应的样本物品标注信息，确定针对所述神经网络在物品检测方面的第二损失值；
186.基于所述第一损失值和所述第二损失值，调整所述神经网络的网络参数，返回所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络的步骤，直至所述神经网络满足训练截止条件为止。
187.一种可选的实施方式中，所述神经网络训练模块540在用于基于所述目标特征数据和针对所述目标图像的预设分类结果，确定针对所述神经网络在特征提取方面的第一损失值时，具体用于：
188.基于所述目标特征数据，确定所述目标图像的图像分类结果；
189.基于所述图像分类结果和针对所述目标图像的预设分类结果，确定针对所述神经网络在特征提取方面的第一损失值。
190.一种可选的实施方式中，所述神经网络训练模块540在用于基于所述第一损失值和所述第二损失值，调整所述神经网络的网络参数，返回所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络的步骤，直至所述神经网络满足训练截止条件为止时，具体用于：
191.基于所述第一损失值，调整所述神经网络的特征提取层的网络参数，，直至所述神经网络满足所述第一截止条件为止；
192.基于所述第二损失值，调整所述神经网络的物品检测层的网络参数，以及所述物品检测层与所述特征提取层之间的网络参数，直至所述神经网络满足所述第二截止条件为止。
193.一种可选的实施方式中，所述神经网络训练模块540在用于基于所述第一损失值
和所述第二损失值，调整所述神经网络的网络参数，返回所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络的步骤，直至所述神经网络满足训练截止条件为止时，具体用于：
194.基于所述第一损失值和所述第二损失值，调整所述神经网络的特征提取层的网络参数和物品检测层的网络参数，以及所述物品检测层与所述特征提取层之间的网络参数，返回所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络的步骤，直至所述神经网络满足训练截止条件为止。
195.本公开实施例提供的神经网络训练装置，通过获取多个样本物品图像和少量的真实物品摆放图像，进而通过多个样本物品图像生成模拟物品摆放的样本物品摆放图像，实现训练数据的构建，并且可以同步得到样本物品摆放图像的标注信息，可以大大降低真实样本图像采集的工作量，并且可以进一步省去对采集图像进行标注的工作量和时间，减少训练样本的获取时间，降低人力、物力等资源和成本的消耗，节省样本构建时间，提高采集训练样本的效率，并且可以有效降低采集真实训练样本时所遇到的环境、时间、光照等因素带来的影响，增加训练样本的丰富性，在训练神经网络时，使用样本物品摆放图像，并结合真实物品摆放图像对神经网络进行训练，神经网络可以同时学习来自虚拟世界和真实世界的图像特征，通过训练实现虚拟域和真实域的融合，可以保证神经网络的训练有效性，有效地提升神经网络训练的鲁棒性和泛化能力，有效提升神经网络的训练效率。
196.基于同一发明构思，本公开实施例中还提供了与物品检测方法对应的物品检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述物品检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
197.请参阅图6，图6为本公开实施例提供的一种物品检测装置的示意图。如图6中所示，本公开实施例提供的物品检测装置600包括：
198.获取模块610，用于获取待检测图像；
199.检测模块620，用于将所述待检测图像输入至根据上述神经网络训练装置训练得到的物品检测模型中，得到待检测图像的检测结果。
200.本公开实施例提供的物品检测装置，通过使用通过上述训练装置训练得到的、具有良好识别效果的物品检测模型对待检测图像进行检测，检测结果的准确性高、速度快，而且鲁棒性好。
201.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
202.本公开实施例还提供了一种计算机设备700，如图7所示，为本公开实施例提供的计算机设备700结构示意图，包括：处理器710、存储器720、和总线730。所述存储器720存储有所述处理器710可执行的机器可读指令。当计算机设备700运行时，所述处理器710与所述存储器720之间通过总线703通信，所述机器可读指令被所述处理器710执行时执行上述的神经网络训练方法或者物品检测方法的步骤。
203.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的神经网络训练方法或者物品检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
204.本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的神经网络训练方法或者物品检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
205.其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
206.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
207.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
208.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
209.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。