目标对象与商品信息的关联方法、装置及系统与流程

本发明涉及智能识别技术领域，尤其是涉及一种目标对象与商品信息的关联方法、装置及系统。

背景技术：

现有的超市、便利店、商场等实体购物场所，只有在消费者前往收银台结账时才可获知消费者最终的选购物品，而对于消费者在购物挑选过程中所接触的商品则一无所知。

随着智能零售的发展，为了能够更好的服务客户，需要了解消费者的购物喜好，售卖方更希望获知消费者在购物场所内的选购过程中都接触过哪些商品，以获知该消费者感兴趣的商品，以及消费者的购买行为习惯等，此外，提前获知消费者在购物过程中接触过的商品，也有助于提升后续智能结算的速度和准确率等。现有技术中，极少有超市方能够对用户在购物过程中所接触过的商品进行判别，纵然有美国亚马逊的体验店amazongo通过ai视觉进行判断，但是这种完全采用ai视觉的方式成本极高，单店成本预估在两千万美金以上。因此针对超市、便利店这种最常见也是规模最大的零售场景，急需成本合理的方式来确定消费者在购物过程中所接触的商品。

技术实现要素：

有鉴于此，本发明的目的在于提供一种目标对象与商品信息的关联方法、装置及系统，无需完全借助视觉识别，即可较好地确定消费者在购物过程中所接触的商品，能够有效降低成本，适合推广应用。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种目标对象与商品的关联方法，所述方法应用于处理设备，所述处理设备与设置于货架的第一构件的多个距离传感器相连；所述货架的第一构件上的每个商品至少位于一个所述距离传感器的感测区域内；所述方法包括：当监测到所述距离传感器受所述目标对象触发而生成距离信息时，确定所述距离传感器的身份标识；根据所述距离传感器的身份标识，确定与所述距离传感器对应的商品；关联所述目标对象和与所述距离传感器对应的商品的商品信息。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据所述距离传感器的身份标识，确定与所述距离传感器对应的商品的步骤，包括：根据所述距离传感器的身份标识，以及预先存储的距离传感器与商品的对应关系，确定与所述距离传感器对应的商品。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据所述距离传感器的身份标识，确定与所述距离传感器对应的商品的步骤，包括：根据所述距离传感器的身份标识，以及预先存储的距离传感器与安装位置的对应关系，确定所述距离传感器在所述货架的安装位置；基于所述安装位置，确定位于所述距离传感器的感测区域内的商品。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述基于所述安装位置，确定位于所述距离传感器的感测区域内的商品的步骤包括：向服务器查询所述安装位置对应的商品；其中，所述处理设备与所述服务器通信连接，且所述服务器记录有距离传感器的安装位置与位于所述距离传感器的感测区域内的商品的对应关系；或者，通过本地预先建立的货场数据库，查找所述安装位置对应的商品；其中，所述货场数据库记录有距离传感器的安装位置与位于所述距离传感器的感测区域内的商品的对应关系。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述距离信息包括距离信号与时间的对应关系，所述方法还包括：分析所述距离信号随所述时间的变化走势；如果随时间增长，所述距离信号由恒稳信号变为非稳信号，确定所述目标对象进入所述距离传感器的感测区域内；如果随时间增长，所述距离信号由非稳信号变为恒稳信号，确定所述目标对象离开所述距离传感器的感测区域内。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述关联所述目标对象和与所述距离传感器对应的商品的商品信息的步骤，包括：根据确定所述目标对象进入所述距离传感器的感测区域内时所对应的距离信号，以及确定所述目标对象离开所述距离传感器的感测区域内时所对应的距离信号，判断所述目标对象是否拿取所述距离传感器对应的商品；如果是，关联所述目标对象和与所述距离传感器对应的商品的商品信息。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述处理设备还与设置于所述货架的第二构件的多个重力传感器相连；所述货架的第二构件上的每个商品至少位于一个所述重力传感器的感测区域内；所述方法包括：当监测到所述重力传感器受所述目标对象触发而改变重量信息时，确定所述重力传感器的身份标识；根据所述重力传感器的身份标识，确定所述重力传感器对应的商品；关联所述目标对象和所述重力传感器对应的商品的商品信息。

进一步，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述方法还包括：根据所述重量信息，确定所述目标对象的行为类型；其中，所述行为类型包括：拿取商品，或，归位商品。

进一步，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述重量信息包括重量值与时间的对应关系，所述根据所述重量信息，确定所述目标对象的行为类型的步骤包括：计算所述重量值随时间的改变量；所述改变量为在后时刻的重量值与在前时刻的重量值的差值；如果所述改变量为正值，确定所述目标对象归位商品；如果所述改变量为负值，确定所述目标对象拿取商品。

进一步，本发明实施例提供了第一方面的第九种可能的实施方式，其中，所述方法还包括：查找所述商品的自重；根据所述改变量和所述商品的自重，确定所述目标对象拿取或归位所述商品的数量。

进一步，本发明实施例提供了第一方面的第十种可能的实施方式，其中，所述关联所述目标对象和与所述重力传感器对应的商品的商品信息的步骤，包括：关联所述目标对象、与所述重力传感器对应的商品的身份标识、所述目标对象拿取所述商品的数量和所述目标对象归位所述商品的数量。

进一步，本发明实施例提供了第一方面的第十一种可能的实施方式，其中，所述方法还包括：生成商品预选清单；其中，所述商品预选清单包含有与所述目标对象关联的商品信息。

进一步，本发明实施例提供了第一方面的第十二种可能的实施方式，其中，所述方法还包括：将所述目标对象和所述商品信息的关联关系数据发送至服务器，以给执行购物行为分析的所述服务器提供参考数据；其中，所述服务器与所述处理设备通信连接。

第二方面，本发明实施例还提供一种目标对象与商品信息的关联装置，所述装置应用于处理设备，所述处理设备与设置于货架的第一构件的多个距离传感器相连；所述货架的第一构件上的每个商品至少位于一个所述距离传感器的感测区域内；所述装置包括：身份确定模块，用于当监测到所述距离传感器受所述目标对象触发而生成距离信息时，确定与所述距离传感器的身份标识；商品确定模块，用于根据所述距离传感器的身份标识，确定所述距离传感器对应的商品；关联模块，用于关联所述目标对象和与所述距离传感器对应的商品的商品信息。

第三方面，本发明实施例提供了一种目标对象与商品信息的关联系统，所述系统包括：距离传感器和处理设备；所述距离传感器，用于探测距离信息；所述处理设备上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如第一方面提供的任一种所述方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理设备运行时执行上述第一方面提供的任一种所述方法的步骤。

本发明实施例提供了一种目标对象与商品信息的关联方法、装置及系统，处理设备与设置于货架的第一构件的多个距离传感器相连，且第一构件上的每个商品至少位于一个距离传感器的感测区域内。与现有技术中主要依靠ai等机器视觉才可以确定消费者接触过的商品，成本较高相比，本发明实施例中的处理设备可以根据距离传感器的距离信息即可判断消费者等目标对象是否进入该距离传感器的感测区域内，并将与距离传感器对应的商品的商品信息与目标对象建立关联。这种方式不仅可以较为简单有效的确定消费者所接触的商品，而且成本较低，适于推广应用。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子系统的结构示意图；

图2示出了本发明实施例所提供的一种目标对象与商品的关联方法流程图；

图3示出了本发明实施例所提供的距离传感器在货架上的安装示意图；

图4示出了本发明实施例所提供的一种目标识别算法的测试装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，极少有购物场所能够跟踪确定消费者在购物过程中所接触的商品，而完全采用ai视觉的方式成本极高。为改善此问题，本发明实施例提供的一种目标对象与商品信息的关联方法、装置及系统，该技术可采用相应的软件和硬件实现，可应用于各购物场所的智能零售场景。以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的目标对象与商品信息的关联方法、装置及系统的示例电子系统100。

如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及多个距离传感器110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子系统也可以具有其他组件和结构。

所述处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子系统100中的其它组件的数据进行处理，还可以控制所述电子系统100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述距离传感器110可以为tof测距传感器、超声波传感器、红外光开关、红外光栅栏(也称红外栏杆)、微波测距传感器等各种能够在感测区域内对物体进行探测，并可产生相应的探测信息(诸如信号或数值)的传感器，并且可将探测所得的距离信息发送给处理设备102，或者存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的目标对象与商品的关联方法、装置及系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将多个距离传感器分离设置于货架的各个位置。

为便于理解，以下对本实施例的电子系统的应用示例作进一步介绍。该电子系统可以安装设置于购物场所，其中，距离传感器可以设置于购物场所中货架上，并保证每个商品至少位于一个距离传感器的感测区域内，其中，距离传感器的感测范围可以预先设置。设置有该电子系统的货架可以为智能货架，并灵活应用于各个场合。

实施例二：

本实施例提供了一种目标对象与商品信息的关联方法，该方法由处理设备执行。本实施例进一步对该方法的应用场景示例如下：该处理设备与设置于货架的第一构件的多个距离传感器相连；货架的第一构件上的每个商品至少位于一个距离传感器的感测区域内，具体可以理解为货架的第一构件上的每个商品至少对应一个距离传感器，该距离传感器可以对商品所处环境进行探测。不同距离传感器可以对应不同的商品。

上述处理设备可以为网关，也可以是具有数据处理能力的其它设备，诸如上位机等。该处理设备可以独立对接收到的信息进行处理，也可以与服务器相连，共同对信息进行分析处理，并将处理结果上传至云端。其中，距离传感器包括但不限于tof测距传感器、超声波传感器、红外光开关、红外光栅栏(也称红外栏杆)、微波测距传感器等，该距离传感器能够在感测区域内对物体进行探测，产生相应的探测信息(诸如信号或数值)，并将探测信息发送至处理设备。

在实际应用中，距离传感器可以设置于货架的构件上，该构件包括但不限于货架层板、隔栏等，可以根据实际需求而灵活设置距离传感器的位置。可以理解的是，由于商品的种类众多，距离传感器的数量可以为多个，多个距离传感器的位置可以自行设定，但需要保证货架的构件上的每个商品至少位于一个距离传感器的感测区域内。诸如，当商品体积较小时，可以仅由一个距离传感器对应一个商品；当商品体积较大时，可以由多个距离传感器对应一个商品。

为了便于理解，以货架的第一构件为水平隔板为例进行说明，此时多个距离传感器可以在货架隔板上的商品的上层隔板的边缘处间隔设置，具体的，距离传感器可以垂直设置(在实际应用中，当然也可以根据隔板的角度而调整)，以使感测方向垂直于下层水平隔板，从而在商品的上方垂直监测商品是否被触碰，如被触碰，则会感测到消费者的手、胳膊等，则会相应生成距离信息。

基于上述介绍，参见图2所示的一种目标对象与商品信息的关联方法流程图，该方法以从处理设备侧描述为例进行说明，具体包括以下步骤：

步骤s202，当监测到距离传感器受目标对象触发而生成距离信息时，确定距离传感器的身份标识。

目标对象拿取、归位、触碰商品时，都会触发距离传感器生成相应的距离信息。每个距离传感器都对应有唯一的身份标识和安装位置，该身份标识可以为距离传感器的编号。当处理设备监测到有距离传感器受到目标对象触发而生成相应的距离信息时，通过确定该距离传感器的身份，从而可以查找到该距离传感器的信息，诸如该距离传感器的安装位置、该距离传感器所监测的商品等。

由于处理设备与多个距离传感器相连，以下给出两种身份标识的确定方式：方式一，每个距离传感器在向处理设备发送信息时，可以附带自身的身份标识；方式二，处理设备与各个距离传感器通过不同接口相接，该处理设备可根据传递距离信息的接口来确定对应的距离传感器的身份标识，其中，处理设备中存储有各接口与距离传感器的身份标识的对应关系。

步骤s204，根据距离传感器的身份标识，确定与距离传感器对应的商品。具体的，可以采取根据预先记录的距离传感器与商品的对应关系而直接确定商品的方式，也可以根据距离传感器与商品的位置而间接确定商品的方式。为便于理解，以下进行具体阐述说明。

确定距离传感器对应的商品的直接确定方式为：根据距离传感器的身份标识，以及预先存储的距离传感器与商品的对应关系，确定与该距离传感器对应的商品。具体的，可以在处理设备的本地存储有距离传感器和商品的对应关系，也可以在服务器存储有距离传感器和商品的对应关系，处理设备通过向服务器查询的方式来确定距离传感器对应的商品。

确定距离传感器对应的商品的间接确定方式为：(1)根据距离传感器的身份标识，以及预先存储的距离传感器与安装位置的对应关系，确定距离传感器在货架的安装位置；(2)基于安装位置，确定位于距离传感器的感测区域内的商品。具体的，本实施例进一步给出了以下两种确定位于距离传感器的感测区域内的商品的方式：

方式一：向服务器查询安装位置对应的商品；其中，处理设备与服务器通信连接，且服务器记录有距离传感器的安装位置与位于距离传感器的感测区域内的商品的对应关系。具体的，处理设备可以和服务器有线连接，也可以与服务器无线连接，以实现云端共享。

方式二：通过本地预先建立的货场数据库，查找安装位置对应的商品；其中，货场数据库记录有距离传感器的安装位置与位于距离传感器的感测区域内的商品的对应关系。

在可以根据处理设备的类型，以及实际场合，而灵活选用上述方式之一。

步骤s206，关联目标对象和与距离传感器对应的商品的商品信息。也即，建立目标对象的身份信息和距离传感器对应的商品的商品信息关联。商品信息至少包括商品的身份标识，还可以根据实际需要而包括商品种类、商品价格等，目标对象可以同时关联多个商品。处理设备可以将关联信息存储记录于指定区域，当然，处理设备在和服务器相连时，也可以将关联信息上传至服务器。

本发明实施例提供了一种目标对象与商品信息的关联方法，处理设备与设置于货架的第一构件的多个距离传感器相连，且第一构件上的每个商品至少位于一个距离传感器的感测区域内；当处理设备监测到距离传感器受目标对象触发而生成距离信息时，首先确定该距离传感器的身份标识，从而确定该距离传感器对应的商品，进而关联目标对象和商品信息。相比于现有技术中主要依靠ai等机器视觉才可以确定消费者接触过的商品，本发明实施例可以通过根据距离传感器的距离信息即可判断消费者等目标对象是否进入该距离传感器的感测区域内，并将与距离传感器对应的商品的商品信息与目标对象建立关联。这种方式不仅可以较为简单有效的确定消费者所接触的商品，而且与完全使用机器视觉相比，成本较低，适于推广应用。

在一种实施方式中，距离信息包括距离信号与时间的对应关系。由于距离传感器可以为tof测距传感器、超声波传感器、红外光开关、红外光栅栏(也可称为红外栏杆)、微波测距传感器等各种能够在感测区域内对物体进行探测的传感器，此类传感器均可生成包含距离信号与时间的距离信息。为了较好的对目标对象的行为进行分析，诸如分析判断目标对象是否进入距离传感器的感测区域(诸如手伸入货架)，或者判断目标对象是否离开距离传感器的感测区域(诸如手抽出货架)，上述方法还可执行步骤：

(1)分析距离信号随时间的变化走势。

(2)如果随时间增长，距离信号由恒稳信号变为非稳信号，确定目标对象进入距离传感器的感测区域内。

(3)如果随时间增长，距离信号由非稳信号变为恒稳信号，确定目标对象离开距离传感器的感测区域内。

上述恒稳信号可以为零信号，或者非零信号，取决于距离传感器与商品之间的位置；但是，一旦商品被目标对象探测，目标对象介入至距离传感器的探测范围时，由于目标对象的动态动作(诸如手和胳膊的伸入、抽出等动作)，距离传感器会生成相应的非稳信号。

为便于理解，假设货架的第一构件为水平隔板，两层隔板之间的高度为50cm，设定距离传感器垂直设置在上层隔板的最外边缘处，且其测量范围为30cm，放置在底层隔板的商品的高度为15cm，超出距离传感器的测量范围(但由于距离传感器是探测该商品上方区域，仍可以理解为该商品位于距离传感器的感测区域)，此时距离传感器并不发出信号，也可以理解为持续零信号；当人手探入拿取该商品时，手和胳膊的动作幅度相对于隔板的高度为23cm～28cm，也即进入距离传感器的测量范围，由于消费者的手是动态的，且并非平直，所以距离传感器测得的信号为非稳信号。当然，如果距离传感器设置于上层隔板靠里位置，如果商品较高，也可以探测该商品而生成恒稳信号，但当消费者的手探入拿取商品时，仍旧会因为手和胳膊的动态，而生成非稳信号。

进一步，还可以根据信号的变化幅度和规律，分析确定目标对象是否拿取商品，以及一次性拿取商品的数量等行为。

为了提升目标对象与商品信息的关联准确性，步骤s206可以具体执行如下：

(1)根据确定目标对象进入距离传感器的感测区域内时所对应的距离信号，以及确定目标对象离开距离传感器的感测区域内时所对应的距离信号，判断目标对象是否拿取距离传感器对应的商品。具体的，可以根据距离信号的变化幅度、变化差异，以及商品的大小体积等，通过预置算法判断目标对象是否拿取商品，此外，还可以进一步确定拿取商品的数量等。

(2)如果是，关联目标对象和与距离传感器对应的商品的商品信息。

通过上述方式，可以将目标对象与该目标对象确定拿取的商品建立关联，可进一步提升目标对象与商品信息的关联准确性，可过滤目标对象诸如只是横向扫物但不拿物等不当行为，有助于切实分析目标对象的购物行为。

考虑到购物场所中的货架具有各种形态，有些构造不适用于安装距离传感器，诸如部分商品是吊挂在货架的挂钩上。因此上述处理设备还与设置于货架的第二构件的多个重力传感器相连；货架的第二构件上的每个商品至少位于一个重力传感器的感测区域内。其中，该第二构件包括但不限于挂钩，吊篮、货架筐等；诸如，每个挂钩上可能挂有一个重力传感器和一件或多件同类商品，或者，货架筐内放置有一件和多件同类商品；框篮下挂有重力传感器等。利用重力传感器对商品和目标对象进行关联的方法可参照如下步骤执行：

步骤1，当监测到重力传感器受目标对象触发而改变重量信息时，确定重力传感器的身份标识。目标对象拿取、归位商品，都可会触发重力传感器改变重量信息。

步骤2，根据重力传感器的身份标识，确定重力传感器对应的商品。

步骤3，关联目标对象和重力传感器对应的商品的商品信息。

在利用距离传感器判断消费者等目标对象是否进入该距离传感器的感测区域内的基础上，本发明实施例还可以通过根据重力传感器的重量信息即可判断消费者等目标对象是否进入该重力传感器的感测区域内，并将与重力传感器对应的商品的商品信息与目标对象建立关联。这种方式不仅可以较为简单有效的确定消费者所接触的商品，而且与完全使用机器视觉相比，成本较低，适于推广应用。

由于重力传感器可以直接对重力进行感知，因此上述方法还包括：根据重量信息，确定目标对象的行为类型；其中，行为类型包括：拿取商品，或，归位商品。

本实施例给出了一种确定目标对象的行为类型的具体判别方式：在该方式中，重量信息包括重量值与时间的对应关系，确定目标对象的行为类型的步骤，具体可以参照如下步骤执行：(1)计算重量值随时间的改变量；改变量为在后时刻的重量值与在前时刻的重量值的差值；(2如果改变量为正值，确定目标对象归位商品；(3)如果改变量为负值，确定目标对象拿取商品。这种行为类型的判断方法简单可靠，重量信息增加，则表示归位商品，重量信息减少，则表示拿取商品。

此外，在计算得到重力传感器感测的重量值的改变量时，还可以查找商品的自重，并根据改变量和商品的自重，确定目标对象拿取或归位商品的数量。具体的，处理设备可以在本地查找与重力传感器对应的商品的自重，也可以通过服务器查询该重力传感器对应的商品的自重。具体的，数量为改变量与自重的比值。例如，改变量为-200g，而商品自重为100g，则商品的数量为-200/100＝-2，也即证明目标对象拿取2个该商品。

在获知目标对象的行为类型，以及拿取或归位商品的数量后，可以进一步关联目标对象、与重力传感器对应的商品的身份标识、目标对象拿取商品的数量和目标对象归位商品的数量，在一种实施方式中，关联数据的形式可以为“张三-a饮料-拿取2瓶-归位0瓶”。这种关联方式便于对该目标对象的购物行为进行更为直接准确的分析。

考虑到消费者在购物场所内会在购物过程中接触、拿取多个商品，为了便于售卖方获知消费者在购物过程中接触过所有的商品，上述方法还包括：生成商品预选清单；其中，商品预选清单包含有与目标对象关联的商品的信息。消费者接触过某商品，则证明对该商品感兴趣，将消费者接触过的商品汇总，有助于售卖方了解该消费者在购物过程中的购物喜好。此外，提前生成的商品预选清单，可以应用于智能零售的结账系统中，随着科技发展，智能零售可能会采取无人结算的方式，由机器自主识别消费者购买的商品。基于计算机视觉的商品识别受限于商品种类繁多，致使识别精度有限，而提前生成的包含有与该消费者相接触的商品信息的商品预选清单，将极大地缩小识别范围，使识别精度较好地达到商用标准。因此提前获取该消费者的商品预选清单，可以较好地提升后续智能结算过程中机器识别的准确性和效率。

进一步，基于上述目标对象与商品进行关联的方法，还可以应用于大数据分析中，具体的，还可以包括：将目标对象和商品信息的关联关系数据发送至服务器，以给执行购物行为分析的服务器提供参考数据；其中，服务器与处理设备通信连接。当然，也可以直接将商品预选清单发送给服务器，以给服务器执行购物行为分析提供参考数据。服务器可以根据参考数据确定该目标对象对哪类商品更感兴趣，或者对目标对象的类别(诸如某年龄段的目标对象人群、不同性别的目标对象等)进行购物行为分析，也有助于售卖方进行商品布局优化，制定更合理的售卖策略和导购策略，更好的服务于客户。

实施例三：

对于实施例二中所提供的目标对象与商品信息的关联方法，本实施例提供了一种该方法的应用示例，在该方法中，处理设备为网关，货架的第一构件为多个水平隔板，多个距离传感器的相隔设置于每层货架隔板的边缘，且感测方向垂直于地面，构成垂直方向的距离传感器阵列(可以简称为垂直距离传感器)，每个商品(sku)至少对应其中一个距离传感器，体积较大，长度较宽的sku可以对应多个距离传感器。

为了便于理解，参见图3所示的一种距离传感器在货架上的安装示意图。在图3中示出了具有4层水平隔板，每层隔板的外侧边缘都设置有多个距离传感器，用于监测下层隔板上与该距离传感器位置对应的商品。本实施方式中，将距离传感器设置于每层隔板的外侧边缘处，无论某个sku所在位置是否摆满商品，消费者的手都需要伸进货架去拿货，设置于边缘的距离传感器均可以感测到相应的信号。

在图3中，每层隔板上都放置有5类商品；每类商品都对应有相应的编号，诸如商品编号为sku1-1；每个距离传感器也都对应有相应的编号，诸如传感器编号sku-sensor-1.1；在图3中的编号与位置相关，可以根据编号而建立商品与距离传感器的对应关系。当然，在实际应用中，可以采用其它方式区分各类商品以及各距离传感器，建立并存储商品与距离传感器的对应关系。

图3中即示出一种安装有距离传感器和网关(未示出)的智能货架，在货架上安装的所有距离传感器均连到网关，其具体工作原理如下：

(1)网关记录有各距离传感器在货架的具体位置。具体的，每一个距离传感器的安装位置都录入至网关，实际操作中，可以在货架上安装距离传感器时，就对应将该距离传感器的安装位置在网关中注册。如图3所示，货架的每层每个位置都设有特定编号，也可以录入编号与位置的对应关系，网关直接根据该编号确定距离传感器的位置。可以理解为，网关存储有每个距离传感器的安装位置，任意一个距离传感器被人触发，网关都可以获知是哪一层货架的哪一个位置有动作。

(2)网关记录有各sku在货架的具体位置。以下给出两种记录sku与货架位置的方式：

方式一：货架的各个位置都设有携带具体位置信息的标识码(可以是打印的条码/二维码，也可以是诸如rfid或nfc等电子条码)，售卖方在将商品摆放在货架上时，通过与网关或服务器相连的智能终端(诸如手机)扫描货架上对应位置的标识码，同时在手机上选取放在该位置的商品名称，或者同时用该手机扫描商品的标识码，可以关联该商品与放置该商品的位置。

方式二：售卖方将所有商品都放置于货架上后，智能终端通过预设app可呈现虚拟货架，虚拟货架与真实货架的构造、具体位置都相同。售卖方按照实际摆货方式，在预设app中将对应的虚拟商品都拖拽于虚拟货架的对应位置，即可建立商品与货架位置的对应关系。智能终端与处理设备或者服务器相连，从而将商品与货架位置的对应关系上传至处理设备或服务器，以使处理设备记录各sku在货架的具体位置。

(3)可以根据距离传感器的信号变化情况判断顾客的行为。具体的，如果手伸入货架拿取、归置商品时，距离传感器从无信号变为有连续变化的信号(因为是从手掌到手臂，且呈现动态)；反之，手伸出货架时，距离传感器是现有连续变化的信号，再突然无信号。

(4)将重力传感器作为上述垂直距离传感器的补充。在货架上一些不适合安装距离传感器的位置，诸如用于挂货物的挂钩等，可以采用重力传感器。具体的，如果sku不是摆放在货架平板上，而是像电池、某些袋装食品等通过挂钩挂在货架上时，挂钩根部可连接重力传感器，当有sku被拿走的时候，重力传感器读数就会减少，反之，sku放回去时，重力传感器读数会增加，可以由此判断消费者是把货拿走还是放回货架。由于重力传感器具有称重功能，还可以简单直接地检测出消费者拿取或归置sku的数量。

(5)还可以在货架上设置探测方向水平于地面的水平距离传感器，能够确定目标对象的行动轨迹，诸如，其中一个水平距离传感器监测目标对象在t0时刻正靠近货架，而在t0+δt时间，在该位置附近的某一排垂直距离传感器检测到手拿取sku的动作，综合可以确定该目标对象的购物行踪，诸如走过什么样的路径，在路径过程中分别在哪个位置拿取商品等，非常有助于售卖方了解消费者的购物习惯和喜好。

基于上述原理，可以较好的建立目标对象与商品信息的关联关系，还可以生成商品预选清单，在商品预选清单中包括有目标对象以及该目标对象有关联的商品信息，以有助于售卖方了解该消费者在购物过程中的购物喜好，同时便与后续基于机器视觉进行无人结算时，缩小识别范围，提高智能结算过程中机器识别的准确性和效率。此外，售卖方通过获知目标对象与商品的关联关系，也可以进一步了解该消费者的喜好，并基于大数据技术，对不同类别的消费群体的购物行为进行分析，从而制定更合理的售卖策略，以更好的服务于客户。

实施例四：

对应于前述实施例提供的一种目标对象与商品信息的关联方法，本实施例提供了一种目标对象与商品信息的关联装置，该装置应用于处理设备，该处理设备与设置于货架的第一构件的多个距离传感器相连；货架的第一构件上的每个商品至少位于一个距离传感器的感测区域内；参见图4所示的一种目标对象与商品信息的关联装置的结构示意图，包括：

第一身份确定模块402，用于当监测到距离传感器受目标对象触发而生成距离信息时，确定距离传感器的身份标识；

第一商品确定模块404，用于根据距离传感器的身份标识，确定与距离传感器对应的商品；

第一关联模块406，用于关联目标对象和与距离传感器对应的商品的商品信息。

本发明实施例提供的上述目标对象与商品信息的关联装置，处理设备与设置于货架的第一构件的多个距离传感器相连，且第一构件上的每个商品至少位于一个距离传感器的感测区域内。与现有技术中主要依靠ai等机器视觉才可以确定消费者接触过的商品，成本较高相比，本发明实施例中的处理设备可以根据距离传感器的距离信息即可判断消费者等目标对象是否进入该距离传感器的感测区域内，并将与距离传感器对应的商品的商品信息与目标对象建立关联。这种方式不仅可以较为简单有效的确定消费者所接触的商品，而且成本较低，适于推广应用。

在一种实施方式中，上述商品确定模块404用于：根据距离传感器的身份标识，以及预先存储的距离传感器与商品的对应关系，确定与距离传感器对应的商品。

在另一种实施方式中，上述商品确定模块404包括：

位置确定单元，用于根据距离传感器的身份标识，以及预先存储的距离传感器与安装位置的对应关系，确定距离传感器在货架的安装位置；

商品确定单元，用于基于安装位置，确定位于距离传感器的感测区域内的商品。

进一步，商品确定单元还用于：向服务器查询安装位置对应的商品；其中，处理设备与服务器通信连接，且服务器记录有距离传感器的安装位置与位于距离传感器的感测区域内的商品的对应关系；或者，通过本地预先建立的货场数据库，查找安装位置对应的商品；其中，货场数据库记录有距离传感器的安装位置与位于距离传感器的感测区域内的商品的对应关系。具体的，处理设备可以和服务器有线连接，也可以与服务器无线连接，以实现云端共享。

在本实施例的一种实现方式中，上述距离信息包括距离信号与时间的对应关系，上述装置还包括：信号分析模块，用于分析距离信号随时间的变化走势；确定进入模块，用于如果随时间增长，距离信号由恒稳信号变为非稳信号，确定目标对象进入距离传感器的感测区域内；确定离开模块，用于如果随时间增长，距离信号由非稳信号变为恒稳信号，确定目标对象离开距离传感器的感测区域内。

基于上述信号分析模块，上述第一关联模块406还用于：

根据确定目标对象进入距离传感器的感测区域内时所对应的距离信号，以及确定目标对象离开距离传感器的感测区域内时所对应的距离信号，判断目标对象是否拿取距离传感器对应的商品；

如果是，关联目标对象和与距离传感器对应的商品的商品信息。

在另一实施例中，在原有距离传感器的基础上，处理设备还与设置于货架的第二构件的多个重力传感器相连；货架的第二构件上的每个商品至少位于一个重力传感器的感测区域内；上述装置还包括以下模块：

第二身份确定模块，用于当监测到重力传感器受目标对象触发而改变重量信息时，确定重力传感器的身份标识；

第二商品确定模块，用于根据重力传感器的身份标识，确定与重力传感器对应的商品；

第二关联模块，用于关联目标对象和与重力传感器对应的商品的商品信息。

为了较好的对目标对象的行为进行分析，上述装置还包括：行为确定模块，用于根据重量信息，确定目标对象的行为类型；其中，行为类型包括：拿取商品，或，归位商品。

进一步，上述行为确定模块还用于：计算重量值随时间的改变量；改变量为在后时刻的重量值与在前时刻的重量值的差值；如果改变量为正值，确定目标对象归位商品；如果改变量为负值，确定目标对象拿取商品。

为了获知目标对象所拿取商品的数量，上述装置还包括：自重查找模块，用于查找商品的自重；数量确定模块，用于根据改变量和商品的自重，确定目标对象拿取或归位商品的数量。

基于行为确定模块，上述第一关联模块406还用于：关联目标对象、与重力传感器对应的商品的身份标识、目标对象拿取商品的数量和目标对象归位商品的数量。

进一步，上述装置还包括：清单生成模块，用于生成商品预选清单；其中，商品预选清单包含有与目标对象关联的商品的信息。该商品预选清单不仅有助于售卖方了解该消费者在购物过程中的购物喜好，还可以应用于采取无人结算方式的智能零售的结账系统中，该清单可以缩小机器的识别范围，较好地提升后续智能结算过程中机器识别的准确性和效率。

此外，上述装置还包括：数据提供模块，用于将目标对象和商品信息的关联关系数据发送至服务器，以给执行购物行为分析的服务器提供参考数据；其中，服务器与处理设备通信连接。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例五：

本发明实施例提供了一种目标对象与商品信息的关联系统，该系统包括：距离传感器和处理设备；其中，距离传感器，用于探测距离信息；处理设备上存储有计算机程序，计算机程序在被处理设备运行时执行如前述方法实施例所提供的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步，本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。

本发明实施例所提供的一种目标对象与商品信息的关联方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。