用于货架的信息生成方法和装置与流程

本申请涉及计算机技术领域，尤其涉及用于货架的信息生成方法和装置。

背景技术：

在现有技术中，商店、库房或其他涉及取放物品的场所，通常都需要售货员等物品管理人员来确认用户已选择的商品，且此类人员通常都只能在结账或其他结算环节进行确认。然而，这种方式往往会耗费大量时间。

技术实现要素：

本申请实施例的目的在于提出一种改进的用于货架的信息生成方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种用于货架的信息生成方法，货架包括用于承载预设标识对应的物品的载物板，用于采集载物板周围图像的第一摄像头以及用于采集载物板所承载的物品的重量信息的传感器，上述方法包括：响应于监测到传感器采集的载物板所承载的物品的重量信息的改变，获取改变的时间、载物板所承载的物品的标识以及载物板所承载的物品的重量信息的变化量；根据变化量和预先设置的单个物品的重量信息确定载物板所承载的物品数量的变化值；根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的特征信息，以及预先设置的账户信息与特征信息的对应关系确定与提取出的特征信息对应的账户信息；根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量。

在一些实施例中，特征信息包括人脸对象的特征信息；以及根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的特征信息，以及预先设置的账户信息与特征信息的对应关系确定与提取出的特征信息对应的账户信息，包括：响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。

在一些实施例中，目标图像集合包括的目标图像是经由以下步骤确定的：将从第二摄像头采集到的图像中提取出的，与预先设置的人脸对象的特征信息集合包括的特征信息匹配的特征信息确定为备选特征信息，第二摄像头用于采集预先设置的物品选择区域的入口区域的图像；将从第一摄像头采集到的图像中提取出与备选特征信息匹配的特征信息的图像确定为目标图像。

在一些实施例中，特征信息还包括身体对象的特征信息；以及根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的特征信息，以及预先设置的账户信息与特征信息的对应关系确定与提取出的特征信息对应的账户信息，包括：响应于在目标图像集合中未查询到采集时间与改变时间匹配的目标图像，根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的身体对象的特征信息，以及账户信息与身体对象的特征信息的对应关系确定与提取出的身体对象的特征信息对应的账户信息。

在一些实施例中，账户信息与身体对象的特征信息的对应关系是经由以下步骤确定的：根据预先设置的账户信息与特征信息的对应关系，获取与备选特征信息对应的账户信息；将从备选特征信息提取自的图片中提取出的身体对象的特征信息，确定为与所获取的账户信息对应的身体对象的特征信息。

在一些实施例中，目标图像中包括至少两个人脸对象；以及响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息，包括：响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的面积最大的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的面积最大的人脸对象的特征信息对应的账户信息。

在一些实施例中，目标图像中包括至少两个人脸对象；以及响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息，包括：响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，通过人体行为识别算法确定查询到的目标图像中取放物品的用户对应的人脸对象的特征信息；根据所确定的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。

在一些实施例中，方法还包括：响应于在目标图像集合中未查询到采集时间与改变时间匹配的目标图像，获取第一摄像头、第三摄像头采集到的图像中采集时间处于根据改变时间确定时间范围内的图像，第三摄像头用于采集预先设置的物品选择区域的图像；通过目标跟踪算法，确定所获取的图像中取放物品的用户对应的人脸对象的特征信息；根据所确定的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。

在一些实施例中，根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量之后，方法还包括：响应于确定出所确定的账户信息关联的用户离开预先设置的物品选择区域，根据已选物品的标识和已选物品的数量生成订单。

在一些实施例中，响应于确定出所确定的账户信息关联的用户离开物品选择区域，根据已选物品的标识和已选物品的数量生成订单，包括：响应于从第四摄像头采集到的图像中提取出与所确定的账户信息对应的特征信息匹配的特征信息，或基于目标跟踪算法和第四摄像头采集到的图像确定用户离开物品选择区域，根据已选物品的标识和已选物品的数量生成订单，第四摄像头用于采集物品选择区域的出口区域的图像。

第二方面，本申请提供了一种用于货架的信息生成装置，货架包括用于承载预设标识对应的物品的载物板，用于采集载物板周围图像的第一摄像头以及用于采集载物板所承载的物品的重量信息的传感器，上述装置包括：获取单元，用于响应于监测到传感器采集的载物板所承载的物品的重量信息的改变，获取改变的时间、载物板所承载的物品的标识以及载物板所承载的物品的重量信息的变化量；第一确定单元，用于根据变化量和预先设置的单个物品的重量信息确定载物板所承载的物品数量的变化值；第二确定单元，用于根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的特征信息，以及预先设置的账户信息与特征信息的对应关系确定与提取出的特征信息对应的账户信息；生成单元，用于根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量。

在一些实施例中，特征信息包括人脸对象的特征信息；以及第二确定单元，进一步配置用于：响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。

在一些实施例中，装置还包括目标图像确定单元，目标图像确定单元，用于：将从第二摄像头采集到的图像中提取出的，与预先设置的人脸对象的特征信息集合包括的特征信息匹配的特征信息确定为备选特征信息，第二摄像头用于采集预先设置的物品选择区域的入口区域的图像；将从第一摄像头采集到的图像中提取出与备选特征信息匹配的特征信息的图像确定为目标图像。

在一些实施例中，特征信息还包括身体对象的特征信息；以及第二确定单元，进一步配置用于：响应于在目标图像集合中未查询到采集时间与改变时间匹配的目标图像，根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的身体对象的特征信息，以及账户信息与身体对象的特征信息的对应关系确定与提取出的身体对象的特征信息对应的账户信息。

在一些实施例中，装置还包括账户信息与身体对象的特征信息的对应关系确定单元，账户信息与身体对象的特征信息的对应关系确定单元，用于：根据预先设置的账户信息与特征信息的对应关系，获取与备选特征信息对应的账户信息；将从备选特征信息提取自的图片中提取出的身体对象的特征信息，确定为与所获取的账户信息对应的身体对象的特征信息。

在一些实施例中，目标图像中包括至少两个人脸对象；以及第二确定单元，进一步配置用于：响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的面积最大的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的面积最大的人脸对象的特征信息对应的账户信息。

在一些实施例中，目标图像中包括至少两个人脸对象；以及第二确定单元，进一步配置用于：响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，通过人体行为识别算法确定查询到的目标图像中取放物品的用户对应的人脸对象的特征信息；根据所确定的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。

在一些实施例中，第二确定单元，进一步配置用于：响应于在目标图像集合中未查询到采集时间与改变时间匹配的目标图像，获取第一摄像头、第三摄像头采集到的图像中采集时间处于根据改变时间确定时间范围内的图像，第三摄像头用于采集预先设置的物品选择区域的图像；通过目标跟踪算法，确定所获取的图像中取放物品的用户对应的人脸对象的特征信息；根据所确定的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。

在一些实施例中，装置还包括订单生成单元，订单生成单元，用于：响应于确定出所确定的账户信息关联的用户离开预先设置的物品选择区域，根据已选物品的标识和已选物品的数量生成订单。

在一些实施例中，订单生成单元，进一步配置用于：响应于从第四摄像头采集到的图像中提取出与所确定的账户信息对应的特征信息匹配的特征信息，或基于目标跟踪算法和第四摄像头采集到的图像确定用户离开物品选择区域，根据已选物品的标识和已选物品的数量生成订单，第四摄像头用于采集物品选择区域的出口区域的图像。

第三方面，本申请提供了一种设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面所述的方法。

本申请实施例提供的用于货架的信息生成方法和装置，通过响应于监测到传感器采集的载物板所承载的物品的重量信息的改变，获取改变的时间、载物板所承载的物品的标识以及载物板所承载的物品的重量信息的变化量；根据变化量和预先设置的单个物品的重量信息确定载物板所承载的物品数量的变化值；根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的特征信息，以及预先设置的账户信息与特征信息的对应关系确定与提取出的特征信息对应的账户信息；根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量，实现了在物品取放的同时生成账户信息关联的已选物品的标识和已选物品的数量，从而提高了信息生成的效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的用于货架的信息生成方法的一个实施例的流程图；

图3是根据本申请的用于货架的信息生成方法的又一个实施例的流程图；

图4是根据本申请的用于货架的信息生成方法的一个应用场景的示意图；

图5是根据本申请的用于货架的信息生成装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于货架的信息生成方法或用于货架的信息生成装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括于承载预设标识对应的物品的载物板101，用于采集载物板101周围图像的第一摄像头103以及用于采集载物板所承载的物品的重量信息的传感器102，网络104和服务器105、106。网络104用以在传感器102、第一摄像头103和服务器105、106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

服务器105、106可以是提供各种服务的服务器，例如可以响应于监测到传感器采集的载物板所承载的物品的重量信息的改变，获取改变的时间、载物板所承载的物品的标识以及载物板所承载的物品的重量信息的变化量；根据变化量和预先设置的单个物品的重量信息确定载物板所承载的物品数量的变化值；根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的特征信息，以及预先设置的账户信息与特征信息的对应关系确定与提取出的特征信息对应的账户信息；根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量。

需要说明的是，本申请实施例所提供的用于货架的信息生成方法可以由服务器105、106执行，相应地，信息生成装置可以设置于服务器105、106中。

应该理解，图1中的货架、传感器、摄像头、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的货架、网络和服务器。

继续参考图2，示出了根据本申请的用于货架的信息生成方法的一个实施例的流程200。该用于货架的信息生成方法，包括以下步骤：

步骤201，响应于监测到传感器采集的载物板所承载的物品的重量信息的改变，获取改变的时间、载物板所承载的物品的标识以及载物板所承载的物品的重量信息的变化量。

在本实施例中，货架包括用于承载预设标识对应的物品的载物板，用于采集载物板周围图像的第一摄像头以及用于采集载物板所承载的物品的重量信息的传感器。货架可以包括一个或多个载物板，载物板四周还可以设置挡板，防止物品从载物板上滑出。每个载物板可以用于承载同一类的物品，信息生成方法运行于其上的电子设备(例如图1所示的服务器)中可以预先存储有载物板的标识、载物板所承载的物品的标识，上述物品标识对应的单个物品重量，上述物品标识对应的单个物品的质量等。物品的标识可以是sku(stockkeepingunit，库存量单位)或其他可以标识商品的信息。

货架可以包括一个或多个第一摄像头，一个第一摄像头可以采集一个载物板周围的图像，也可以同时采集位置分布较近的多个载物板周围的图像，例如3×3排列的9个载物板可以关联同一个第一摄像头，上述电子设备中可以预先存储有载物板的标识，与用于拍摄该载物板周围的图像的第一摄像头的标识的对应关系。载物板周围可以包括用户拿取或放回该载物板上承载的物品时，其头部、上半身或全身可能处于的空间。此外，考虑到存储开销，可以仅保存第一摄像头采集到的部分图像，例如，每秒保存6帧图像。而后可对保存的图像进行特征提取等操作。

在本实施例中，传感器可以是压力传感器，上述电子设备可以通过定时获取传感器采集到的重量信息，比较先后获取的重量信息来监测传感器采集的重量信息的改变。此外，由于传感器采集到的重量信息可能存在不稳定的情况，也可以忽略较小的重量信息的改变，上述电子设备可以响应于监测到传感器采集的载物板所承载的物品的重量信息的改变超过预定阈值，预定阈值可以根据实际需要进行设置，获取改变的时间，载物板所承载的物品的重量信息的变化量，可以根据预先存储的传感器标识与载物板标识的对应关系以及物品标识与载物板标识的对应关系，获取重量信息变化的物品的标识。

步骤202，根据变化量和预先设置的单个物品的重量信息确定载物板所承载的物品数量的变化值。

在本实施例中，上述电子设备可以根据步骤201中获取的变化量和预先设置的单个物品的重量信息确定载物板所承载的物品数量的变化值。由于用户可能取走也可能放回物品，所以物品的重量信息的变化量可以是增加的或减少的，物品数量的变化值也可以是增加的或减少的，可以用正负来体现增加或减少。作为示例，预先设置的单个物品的重量为200克，重量信息的变化量处于380克～420克，则物品数量的变化值可以是2。

步骤203，根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的特征信息，以及预先设置的账户信息与特征信息的对应关系确定与提取出的特征信息对应的账户信息。

在本实施例中，考虑到图像采集及处理的耗时，上述电子设备也可以在检测到改变后的预设时间，例如检测到改变的2秒后，开始根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的特征信息，以及预先设置的账户信息与特征信息的对应关系确定与提取出的特征信息对应的账户信息。采集时间与改变时间匹配可以是采集时间处于根据改变时间确定的时间范围内，根据改变时间确定的时间范围可以根据实际需要进行设置，例如，可以是从改变时间前3秒到改变时间的后2秒。特征信息可以用于区分不同的用户，可以包括从图像中提取出的颜色特征、纹理特征、形状特征和空间关系特征，具体可以是用户的人脸对象的特征信息、身体对象的特征信息等，在图像中的一个用户的脸部可以称之为用户的脸部对应的人脸对象，在图像中的一个用户的身体部分可以称之为用户的身体对应的身体对象。账户信息可以是账户的账号、手机号、邮箱等可以用于标识账户的信息。

预先设置的账户信息与特征信息的对应关系可以是根据用户在注册账户或其他补充账户资料的情况下提供的信息而生成的。

步骤204，根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量。

在本实施例中，上述电子设备可以根据步骤201中获取的标识、步骤202中确定的变化值，生成与步骤203中确定出的账户信息关联的已选物品的标识和已选物品的数量。初始时账户信息关联的已选物品的标识和已选物品的数量为空，而后随着用户拿取、放回物品的操作，所生成的账户信息关联的已选物品的标识和已选物品的数量也会同步变化。上述电子设备可以首先查询上一次生成的账户信息关联的已选物品的标识和已选物品的数量，而后再根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量。例如，用户进入货架所在空间，拿取了一件标识为“111”的物品，上一次生成的该用户的账户信息关联的已选物品的标识包括“100”，已选标识为“100”的物品的数量为1，则此次生成的该用户的账户信息关联的已选物品的标识包括“100”、“111”，已选标识为“100”的物品的数量为1，已选标识为“111”的物品的数量为1。

在本实施例的一些可选的实现方式中，根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量之后，方法还包括：响应于确定出所确定的账户信息关联的用户离开预先设置的物品选择区域，根据已选物品的标识和已选物品的数量生成订单。预先设置的物品选择区域可以是货架所在的区域，可以是便利店、商店、超市、库房等区域。生成订单时还可以根据已选物品的标识获取已选物品的单价，以计算订单的费用。

在本实施例的一些可选的实现方式中，响应于确定出所确定的账户信息关联的用户离开物品选择区域，根据已选物品的标识和已选物品的数量生成订单，包括：响应于从第四摄像头采集到的图像中提取出与所确定的账户信息对应的特征信息匹配的特征信息，或基于目标跟踪算法和第四摄像头采集到的图像确定用户离开物品选择区域，根据已选物品的标识和已选物品的数量生成订单，第四摄像头用于采集物品选择区域的出口区域的图像。

在本实现方式中，上述电子设备可以响应于接收到用户发出的图像采集请求，通过第四摄像头采集包括用户的人脸对象的特征信息的图像，其人脸对象的特征信息与所确定的账户信息对应的特征信息匹配，则可以确定其离开物品选择区域。目标跟踪算法可以是点目标跟踪、以及对于目标占有一定区域有纹理、轮廓等特征的目标跟踪，其中后者可分为基于特征点检测的方法、基于背景相减的帧差法、基于分割思想的方法、基于监督学习的方法、及基于目标形状轮廓等特征的方法。

本申请的上述实施例提供的方法通过对传感器采集的载物板所承载的物品的重量信息，以及第一摄像头采集的图像的分析，实现了在物品取放的同时生成账户信息关联的已选物品的标识和已选物品的数量，从而提高了信息生成的效率。

进一步参考图3，其示出了用于货架的信息生成方法的又一个实施例的流程300。该用于货架的信息生成方法的流程300，包括以下步骤：

步骤301，响应于监测到传感器采集的载物板所承载的物品的重量信息的改变，获取改变的时间、载物板所承载的物品的标识以及载物板所承载的物品的重量信息的变化量。

在本实施例中，货架包括用于承载预设标识对应的物品的载物板，用于采集载物板周围图像的第一摄像头以及用于采集载物板所承载的物品的重量信息的传感器。信息生成方法运行于其上的电子设备(例如图1所示的服务器)可以响应于监测到传感器采集的载物板所承载的物品的重量信息的改变，获取改变的时间、载物板所承载的物品的标识以及载物板所承载的物品的重量信息的变化量。

步骤302，根据变化量和预先设置的单个物品的重量信息确定载物板所承载的物品数量的变化值。

在本实施例中，上述电子设备可以根据步骤301中获取的变化量和预先设置的单个物品的重量信息确定载物板所承载的物品数量的变化值。由于用户可能取走也可能放回物品，所以物品的重量信息的变化量可以是增加的或减少的，物品数量的变化值也可以是增加的或减少的，可以用正负来体现增加或减少。此外，也可以基于机器学习方法，通过行为识别算法，确定用户是取走还是放回物品。

步骤303，响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。

在本实施例中，上述电子设备可以响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。采集时间与改变时间匹配的目标图像，可以是采集时间与改变时间最接近的目标图像。

在本实施例的一些可选的实现方式中，目标图像集合包括的目标图像是经由以下步骤确定的：将从第二摄像头采集到的图像中提取出的，与预先设置的人脸对象的特征信息集合包括的特征信息匹配的特征信息确定为备选特征信息，第二摄像头用于采集预先设置的物品选择区域的入口区域的图像；将从第一摄像头采集到的图像中提取出与备选特征信息匹配的特征信息的图像确定为目标图像。预先设置的人脸对象的特征信息集合可以是目标网站或应用已注册用户的信息中包括的特征信息集合，也可以是某公司员工信息库中员工的特征信息集合。

在本实施例的一些可选的实现方式中，特征信息还包括身体对象的特征信息；以及根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的特征信息，以及预先设置的账户信息与特征信息的对应关系确定与提取出的特征信息对应的账户信息，包括：响应于在目标图像集合中未查询到采集时间与改变时间匹配的目标图像，根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的身体对象的特征信息，以及账户信息与身体对象的特征信息的对应关系确定与提取出的身体对象的特征信息对应的账户信息。身体对象的特征信息可以是用户服装、体态、步态等特征信息。

在本实施例的一些可选的实现方式中，账户信息与身体对象的特征信息的对应关系是经由以下步骤确定的：根据预先设置的账户信息与特征信息的对应关系，获取与备选特征信息对应的账户信息；将从备选特征信息提取自的图片中提取出的身体对象的特征信息，确定为与所获取的账户信息对应的身体对象的特征信息。作为示例，用户进入物品选择区域，可以同时采集用户的人脸对象的特征信息和身体对象的特征信息，以此可以建立对应关系。

在本实施例的一些可选的实现方式中，目标图像中包括至少两个人脸对象；以及响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息，包括：响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的面积最大的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的面积最大的人脸对象的特征信息对应的账户信息。人脸对象的面积最大，可以说明离货架较近，拿取或放置物品的可能性更大。

在本实施例的一些可选的实现方式中，目标图像中包括至少两个人脸对象；以及响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息，包括：响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，通过人体行为识别算法确定查询到的目标图像中取放物品的用户对应的人脸对象的特征信息；根据所确定的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。人体行为识别算法可以是基于时空兴趣点等传统行为识别算法，也可以是基于不同深度学习框架的人体行为识别算法，包括卷积神经网络(convolutionneuralnetwork,cnn)、独立子空间分析(independentsubspaceanalysis,isa)、限制玻尔兹曼机(restrictedboltzmannmachine,rbm)以及递归神经网络(recurrentneuralnetwork,rnn)等。

在本实施例的一些可选的实现方式中，方法还包括：响应于在目标图像集合中未查询到采集时间与改变时间匹配的目标图像，获取第一摄像头、第三摄像头采集到的图像中采集时间处于根据改变时间确定时间范围内的图像，第三摄像头用于采集预先设置的物品选择区域的图像；通过目标跟踪算法，确定所获取的图像中取放物品的用户对应的人脸对象的特征信息；根据所确定的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。第三摄像头的拍摄区域可能与第一摄像头存在重叠，而第三摄像头的拍摄角度与第一摄像头的拍摄角度存在差异，以此，第一摄像头可能采集到用户的身体对象的特征信息，而第三摄像头采集到了该用户的人脸对象的特征信息，由此可以通过目标跟踪算法，确定所获取的图像中取放物品的用户对应的人脸对象的特征信息。

步骤304，根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量。

在本实施例中，上述电子设备可以根据步骤301中获取的标识、步骤302中确定的变化值，生成与步骤303中确定出的账户信息关联的已选物品的标识和已选物品的数量。

步骤301、步骤302、步骤304的实现细节和技术效果可以参考步骤201、步骤202、步骤204中的说明，在此不再赘述。

从图3中可以看出，与图2对应的实施例相比，本实施例中的用于货架的信息生成方法的流程300中引入了目标图片集合，由此，本实施例描述的方案在更小的数据范围内进行特征匹配，进一步提高了信息生成效率。

继续参见图4，图4是根据本实施例的用于货架的信息生成方法的应用场景的示意图。在图4的应用场景中，预先设置的物品选择区域401中包括若干个货架404，物品选择区域401可以是无人便利店、无人超市等，第三摄像头405、406可以用于采集物品选择区域401走廊或其他需要监控区域的图像，第二摄像头407可以用于采集预先设置的物品选择区域的入口区域402的图像。第四摄像头408可以用于采集物品选择区域的出口区域403的图像。

如图5所示，本实施例上述的信息生成装置500包括：获取单元501，第一确定单元502，第二确定单元503，生成单元504。其中，获取单元501，用于响应于监测到传感器采集的载物板所承载的物品的重量信息的改变，获取改变的时间、载物板所承载的物品的标识以及载物板所承载的物品的重量信息的变化量；第一确定单元502，用于根据变化量和预先设置的单个物品的重量信息确定载物板所承载的物品数量的变化值；第二确定单元503，用于根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的特征信息，以及预先设置的账户信息与特征信息的对应关系确定与提取出的特征信息对应的账户信息；生成单元504，用于根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量。

在本实施例中，获取单元501，第一确定单元502，第二确定单元503，生成单元504的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203以及步骤204的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，特征信息包括人脸对象的特征信息；以及第二确定单元503，进一步配置用于：响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。

在本实施例的一些可选的实现方式中，装置还包括目标图像确定单元，目标图像确定单元，用于：将从第二摄像头采集到的图像中提取出的，与预先设置的人脸对象的特征信息集合包括的特征信息匹配的特征信息确定为备选特征信息，第二摄像头用于采集预先设置的物品选择区域的入口区域的图像；将从第一摄像头采集到的图像中提取出与备选特征信息匹配的特征信息的图像确定为目标图像。

在本实施例的一些可选的实现方式中，特征信息还包括身体对象的特征信息；以及第二确定单元503，进一步配置用于：响应于在目标图像集合中未查询到采集时间与改变时间匹配的目标图像，根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的身体对象的特征信息，以及账户信息与身体对象的特征信息的对应关系确定与提取出的身体对象的特征信息对应的账户信息。

在本实施例的一些可选的实现方式中，装置还包括账户信息与身体对象的特征信息的对应关系确定单元，账户信息与身体对象的特征信息的对应关系确定单元，用于：根据预先设置的账户信息与特征信息的对应关系，获取与备选特征信息对应的账户信息；将从备选特征信息提取自的图片中提取出的身体对象的特征信息，确定为与所获取的账户信息对应的身体对象的特征信息。

在本实施例的一些可选的实现方式中，目标图像中包括至少两个人脸对象；以及第二确定单元503，进一步配置用于：响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，根据查询到的目标图像中提取出的面积最大的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的面积最大的人脸对象的特征信息对应的账户信息。

在本实施例的一些可选的实现方式中，目标图像中包括至少两个人脸对象；以及第二确定单元503，进一步配置用于：响应于在目标图像集合中查询到采集时间与改变时间匹配的目标图像，通过人体行为识别算法确定查询到的目标图像中取放物品的用户对应的人脸对象的特征信息；根据所确定的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。

在本实施例的一些可选的实现方式中，第二确定单元503，进一步配置用于：响应于在目标图像集合中未查询到采集时间与改变时间匹配的目标图像，获取第一摄像头、第三摄像头采集到的图像中采集时间处于根据改变时间确定时间范围内的图像，第三摄像头用于采集预先设置的物品选择区域的图像；通过目标跟踪算法，确定所获取的图像中取放物品的用户对应的人脸对象的特征信息；根据所确定的人脸对象的特征信息，以及预先设置的账户信息与人脸对象的特征信息的对应关系确定与提取出的人脸对象的特征信息对应的账户信息。

在本实施例的一些可选的实现方式中，装置还包括订单生成单元504，订单生成单元504，用于：响应于确定出所确定的账户信息关联的用户离开预先设置的物品选择区域，根据已选物品的标识和已选物品的数量生成订单。

在本实施例的一些可选的实现方式中，订单生成单元504，进一步配置用于：响应于从第四摄像头采集到的图像中提取出与所确定的账户信息对应的特征信息匹配的特征信息，或基于目标跟踪算法和第四摄像头采集到的图像确定用户离开物品选择区域，根据已选物品的标识和已选物品的数量生成订单，第四摄像头用于采集物品选择区域的出口区域的图像。

需要说明的是，本实施例提供的信息生成装置中各单元的实现细节和技术效果可以参考本申请中其它实施例的说明，在此不再赘述。

下面参考图6，其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有系统600操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。

以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元，第一确定单元，第二确定单元，生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，生成单元还可以被描述为“根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：响应于监测到传感器采集的载物板所承载的物品的重量信息的改变，获取改变的时间、载物板所承载的物品的标识以及载物板所承载的物品的重量信息的变化量；根据变化量和预先设置的单个物品的重量信息确定载物板所承载的物品数量的变化值；根据第一摄像头采集到的图像中采集时间与改变时间匹配的图像中提取出的特征信息，以及预先设置的账户信息与特征信息的对应关系确定与提取出的特征信息对应的账户信息；根据标识、变化值生成与所确定的账户信息关联的已选物品的标识和已选物品的数量。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。