实体零售商店中的基于多信号的购物车内容识别的制作方法

虽然实体商店现在仍支配着零售局面，但是电子商务已成为传统零售商的日益增长的威胁。电子零售商具有的优于实体零售商的关键优势之一是实时地跟踪在线购物者的行为和购物车的能力。这种能力给予电子零售商向其顾客提供个性化的和上下文感知的推荐的机会，并且因此可以向他们提供更好的购物体验和增加他们的购物篮大小及顾客忠诚度。例如，当在线购物者查看产品或将其添加到她的购物车时，可以立即推荐她可能感兴趣的或可能一起购买的其他相关产品。当她想要结账时，一个点击就足够了。

然而，在实体商店中，零售商没有好的机制来跟踪其顾客在购物之旅期间(此时是提供推荐的最佳时间)将要购买什么，直到顾客结账，此时通常已经太晚以至于不能有效地推荐产品，因为丢失了个别产品上下文、顾客不再处于购物心态中、将额外的产品添加到购物之旅将需要过量的精力来获得该额外的产品等。

本文要求保护的主题不限于解决仅在诸如上述那些环境中的任何缺点的实施例或仅在诸如上述那些环境中操作的实施例。而是，提供该背景仅为了说明可以实践本文描述的一些实施例的一个示例性技术领域。

技术实现要素：

本文中说明的一个实施例包括一种在实体商店购物环境中标识产品的方法。该方法包括使用第一检测方法来标识给定的产品可能属于给定的产品组。该方法还包括使用一个或多个其他检测方法来确定产品可能是来自给定的产品组的特定产品。

提供本发明内容是为了以简化的形式介绍一些概念，这些概念在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

在下面的描述中将阐述附加的特征和优点，并且从描述中，部分的特征和优点将是明显的，或者通过本文的教导的实践可以学习部分的特征和优点。借助于所附权利要求中特别指出的方法和组合，可以实现并获得本发明的特征和优点。从以下的描述和所附权利要求，本发明的特征将变得更加明显，或者通过如下文所阐述的本发明的实践可以学习本发明的特征。

附图说明

为了描述可以获得上述以及其他优点和特征的方式，将通过参考附图中所示出的特定实施例来呈现上面简要描述的主题的更具体的描述。应当理解，这些附图仅描绘典型的实施例，并且因此将不被认为是对范围的限制，通过使用附图利用附加特征和细节来描述和解释实施例，在附图中：

图1图示了零售商店环境；以及

图2图示了标识产品的方法。

具体实施方式

本文中说明的实施例可以使用多个不同的硬件传感器来确定什么产品与购物车相关联。特别地，使用多个硬件传感器和检测方法，可以更精确地确定与购物车相关联的物品。单个传感器和检测方法可能无法提供与多个传感器相同的精度。

这些传感器可以用于确定：何时将产品添加到购物车或从购物车移除、购物车中有什么产品、购物车中的什么产品被交换成其他产品等。

传感器可以包括以下中的一个或多个：摄像机和/或其他计算机视觉、rf发射器、位置传感器、量表等，以扩充购物车和商店基础设施来实时地识别被放在购物车中的产品，以用于个性化推荐和自动自助结账。

因此，实施例可以组合多个信号(例如，位置、重量、rf、视觉等)以提供关于购物车内容的多个维度的知识(例如，何时将产品添加或从购物车移除、购物车中有什么类别的产品、购物车中的产品位置、购物车中的类别内的产品实例等)。

附加地或备选地，实施例可以使用独立的新的基于rf的分类方法来标识产品特性并且定位购物车中的产品。

现在参考图1，图示了零售商店104中部署的购物车102和定位基础设施的示例。购物车102被扩充有：处于车102的篮子108的顶部的摄像机106(尽管摄像机可以位于其他位置)、围绕篮子108的一个或多个rf收发器110(尽管天线可以位于其他位置)、处于篮子108的底部的重量传感器112(尽管重量传感器可以位于其他位置)、以及数字设备114(诸如车102处的平板计算机或电话)。数字设备114可以获得实时的车位置以及来自摄像机、天线和传感器的、用于产品识别的计算数据。

在一些实施例中，可以通过使用被安装在零售商店104中的发射器116(例如，可从诸如爱尔兰的都柏林的decawave等公司获得的超宽带(uwb)发射器)来获得实时的车位置信息，该发射器116发送可以由接收器118接收的精确信号以用于确定购物车102位于何处。在一些实施例中，零售商店104被分隔成多个区以确定以哪些产品为目标。在其他实施例中，精确信号也可以由数字设备114接收。

实施例可以使用多信号方法来确定关于与车102相关联的产品的信息。特别地，可以使用多个不同的传感器，该多个不同的传感器中的每个传感器可以被组合使用以确定产品及产品与车的关系。特别地，实施例可以确定产品是否被放入车102中、是否从车102中移除和/或是否被其他产品替换。备选地或附加地，实施例可以确定产品在车中的位置。

实施例可以组合来自多个源的知识以获得更精确的信息。这样的信息可以包括以下中的一个或多个：购物车相对于商店货架的位置、购物车中的物品的重量、购物车内容的顺序拍摄的照片/视频、购物车内容的射频签名等。

在所示示例中，服务120包括关于零售商店104处的产品的信息和关于零售商店104本身的信息。例如，服务120可以包括关于以下项的信息：产品重量多少、产品外观如何、由产品引起的和/或产生的无线电波签名、产品位于零售商店104中的何处等。如下面更详细地说明的，该信息可以用于尝试标识购物车102中放置的产品。

服务120可以以多种不同的方式来实现。例如，服务120可以是位于零售商店104的服务。备选地或附加地，服务120可以位于由零售商店104处的计算系统可访问的云服务中。因此，服务120可以仅在云服务处实现、作为本地部署服务来实现、或以两者的某种组合来实现。

可以以多种不同方式来执行对各种产品的重量的测量和/或描述。例如，在一些实施例中，可以以高精度来测量重量。在一些实施例中，重量可以包括由包装引起的重量。

在备选实施例中，可以以更粗略的方式来标识重量。这可以用于总体标识一类产品，而不是试图通过重量来更精确地单独标识产品。特别地，如下所示，可以将各种因素结合在一起以尝试标识产品，并且正因如此可能不太需要测量精确的重量，使得可以以粗略的方式测量重量，但重量仍然被用来精确标识产品。

如所提到的，服务120还可以包括关于产品外观的信息。摄像机106可以检测车102中的产品外观。产品和车102的外观的变化可以被提供给服务120，然后服务120可以尝试标识产品是否已经被添加到车102或从车102移除，包括标识哪些产品已经被添加到购物车102或从购物车102移除。

在一些实施例中，服务120可以存储零售商店104中的各种产品的三维模型。可以将购物车102中的产品的外观的变化与服务120处的各种三维模型比较，以尝试标识哪些产品已经被添加到购物车102或从购物车102移除。

在一些实施例中，产品的模型可以包括容差窗口，以考虑关于给定产品的不同样本具有不规则形状的各种产品。例如，服务120可以存储诸如西兰花的蔬菜的模型。然而，应当理解，西兰花的所有样本在大小和形状方面都不相同。因此，服务120可以具有包括一定容差的模型，以允许西兰花的不同样本均被标识为西兰花。此外，这样的模型可以包括用于标识西兰花冠以及将其与西兰花的整个根茎区分的变量。

一些实施例可以包含产品模式，其包括以下中的一个或多个：各种条形码、产品编号(诸如标识不同水果和蔬菜的编号)标签特性、专用标签特性，诸如当关于产品正在进行促销时可以发生的那些，或者可以用于标识零售商店104中的各种产品的其他产品特性。

一些实施例可以使用rf特性来帮助产品标识。特别地，一些实施例可以在服务120处存储零售商店104处的各种产品的各种rf签名。例如，这样的签名可以包括零售商店104处的产品的吸收、反射、多路径或其他rf特性。特别地，服务120可以标识各种产品在暴露于rf频率和无线电波时将如何反应。

每个源可以提供关于购物车内容的知识的某些方面。例如，车位置信息可以与零售商店货架图集成以映射零售商店104中的产品的位置。因此，当可以确定购物车102的位置时，存在关于在该位置处容易获得什么产品的系统知识。因此，如果可以确定购物车102处于特定位置并且产品已经被添加到购物车102，则算法可以在计算中赋予该特定位置处的产品更高的权重，以确定什么产品有可能被添加到购物车102。因此，例如，如果购物车102的位置是零售商店104的冷冻食品区域并且产品被添加到购物车中，则例如与狗食相比，冷冻食品将被给予作为被添加到购物车102的产品的更高概率。特别地，实施例可以查询服务120。

备选地或附加地，购物车重量可以用于检测产品的添加和/或移除，并且提供关于什么产品已被添加和/或移除的信息。说明性地，如果重量传感器112检测到购物车102中产品的重量增加，则这是某物已经被添加到购物车102的指示。或者，如果重量传感器112检测到购物车102中产品的重量减少，则这是某物已经从购物车102被移除的指示。

此外，检测到的重量差异的幅度可以用于帮助标识哪个产品已经被添加到购物车102和/或从购物车102移除。特别地，商店服务120可以包括关于各种产品及其包装的重量的数据。例如，如果检测到大约一磅的增加，则具有该已知重量的产品(包括包装)将在确定什么产品已经被添加到购物车102的计算中被给予更高的概率。

备选地或附加地，顺序拍摄的照片/视频可以用来跟踪购物车102中产品的视觉变化。这些视觉变化可以用于标识被添加到购物车102或从购物车102移除的特定产品实例。例如，可以将服务120处的产品的视觉模型与购物车102中的变化进行比较，以尝试标识哪些产品已经被添加到购物车102或从购物车102移除。

当(例如，通过重量传感器检测到)产品被添加或移除时，连续拍摄或触发照片和/或视频。通过查看顺序拍摄的照片/帧，实施例可以提取关键视觉特征/点以标识差异并且准确定位购物车中发生变化的位置。在一些实施例中，还可以通过下面描述的rf签名方法来验证/加权这些位置。在一些实施例中，可以使用尺度不变特征变换(sift)来标识特征。实施例可以使用购物车102中具有变化的区域来查询离线训练的模型。例如，一些实施例可以在服务120处实现基于各种产品图像而训练的一个或多个深度神经网络(dnn)模型以识别产品。在进行识别时，从下面描述的rf方法推断的产品类别和上面描述的车位置可以用于过滤、限制和/或细化空间。

备选地或附加地，无线电波可以提供购物车中特定产品和/或产品类别的签名及其位置。特别地，rf收发器110可以发射定向在购物车102中的产品处的无线电波使用。收发器110可以检测无线电波的反射以确定无线电波是否被吸收、反射以及关于被定向在购物车102中的产品处的无线电波的吸收和反射的特性。该检测到的信息可以与服务120中存储的用于产品的rf模型进行比较，以尝试标识特定产品和/或产品的分类。

因此，实施例可以使用电磁签名以有助于标识产品。在该方法中，rf发射电路可以生成具有限定的功率幅度的电磁波。该波可以通过使用装载有一个或多个电容器的感应线圈和/或利用天线来生成。此外，包括装载有一个或多个电容器的感应线圈和/或天线的接收电路可以被用来接收所发射的波。在一些实施例中，包含用于发射和接收的单独的无线电装置的收发器可以包括用于发射和接收但不同时发射和接收的多个天线。当发射波到达接收天线时，波的功率幅度可能小于发射该波的位置处和时间点的功率幅度。这可能是由于发射波以特定频率反射出不同的几何形状和表面。通过查看在频带上在接收无线电装置处接收的功率与在发射无线电装置处发射的功率的功率比，可以创建相对于频率的电磁签名。基于物体的几何形状和物体存在的材料类型，可以反射、吸收和/或再辐射波的部分。

在零售环境中，可以沿着购物车102的篮子区域的顶部放置多个天线。这些天线可以用于连续地发射波和接收波。商店中的产品可以具有不同的几何形状并且可以由各种材料组成；当波撞击到一个或多个物体上时，可以在频带上创建独特的电磁签名。利用这些签名，可以执行模式识别以标识产品的各种特性。该标识可以像识别物体的分类一样简单(例如苏打水罐，因为大多数苏打水罐可以在几何形状上相似)，以及像识别菠萝(其具有更独特的形状)一样复杂。在应用模式识别之后，可以利用机器学习以关于签名的特征来训练系统。

补充的(并且有时是重叠的)信息片段可以显著提高识别精确度和计算速度。例如，一方面，基于rf的方法可能仅能够标识产品类别，而基于计算机视觉的方法可以用于基于其视觉差异来区分类别内的实例。另一方面，基于视觉的方法对于分割不同的产品是计算效率低的，并且不能够检测对摄像机隐藏的产品，但是基于rf的方法可以帮助定位购物车中的产品并且标识不同类别。在产品彼此重叠的情况下，基于rf的方法是稳健的。类似地，取决于位置精度，车位置也可以帮助标识产品类别或产品(尽管购物者也可以在购物车102中添加或移除商店104中的通常不在其购物车附近或远离其购物车的位置处供应的产品)。重量信息可以提供关于是否添加或移除新产品的附加信息，并且因此可以用于触发视觉分析或rf频谱分析等。

集合模型可以使用各种信息片段，例如上述那些信息片段中的一个或多个，对其加权并且输出关于购物车内容的不同级别的细节。这样的细节可以包括：是否在购物车102中添加或移除了产品、该产品存在于购物车102中的何处、被添加到购物车或从购物车中移除的某物属于什么产品的类别、哪个特定产品被添加到购物车102或从购物车102移除等。

以下讨论现在涉及可以被执行的多个方法和方法动作。虽然可以按特定顺序来讨论方法动作或方法动作在流程图中被图示为按特定顺序发生，但是不要求特定排序，除非因为一个动作取决于执行该动作之前完成的另一动作而特别说明或要求。

现在参考图2，图示了方法200。方法200包括用于标识实体商店购物环境中的产品的动作。方法200包括使用第一检测方法来标识给定的产品可能属于给定的产品组(动作202)。例如，实施例可以笼统地限定产品的分类。例如，实施例可以限定落入重量范围内的产品的分类。备选地或附加地，实施例可以限定具有特定形状的产品的分类。备选地或附加地，实施例可以限定具有特定rf签名的产品的分类。备选地或附加地，实施例可以限定具有特定包装的产品的分类。诸如此类。

方法200还包括使用一个或多个其他检测方法来确定产品可能是来自给定的产品组的特定产品(动作204)。特别地，一旦标识产品的分类，实施例就可以基于其他特性来标识特定产品。例如，第一检测方法可以与重量相关联。第二检测方法可以是计算机视觉，其可以从所标识的组中标识产品的形状。注意，虽然这里示出了两种检测方法，但是应当理解，可以一起使用几种不同的检测方法。在一些实施例中，检测方法可以被链接为一种检测方法接在另一种检测方法之后被应用以筛出产品。备选地，实施例可以一起使用不同的方法来创建统计模型，其中各种检测方法作为输入以用于创建给定产品是特定产品的概率。

可以实践方法200，其中第一检测方法或第二检测方法包括rf签名检测。这可以用于标识产品密度、rf吸收、rf反射、几何形状(形状和大小)、物体被放入车中的速度(例如，如果产品快速进入车中，则该产品可能不是腌渍菜或鸡蛋，注意，备选地或附加地，可以使用计算机视觉来检测此产品)、产品在购物车中的何处等。

可以实践方法200，其中一个或多个第二方法对第一方法进行细化。例如，第一方法可以确定一般大小，并且第二方法可以确定特定大小。备选地或附加地，第一方法可以确定包装的一般类型，并且第二方法可以确定包装的特定类型。

可以实践方法200，其中检测方法中的一种检测方法包括计算机视觉，并且其中计算机视觉标识车中的一个位置，要对该位置变焦以标识产品。

可以实践方法200，其中第一检测方法或第二检测方法中的至少一个包括以下中的至少一种：购物车的计算机视觉、重量、rf签名检测或物理位置。

可以实践方法200，其中第一检测方法或第二检测方法中的至少一个包括确定产品已经被添加到车中。

可以实践方法200，其中第一检测方法或第二检测方法中的至少一个包括确定产品已经从车中移除。

此外，该方法可以由计算机系统来实践，该计算机系统包括一个或多个处理器和诸如计算机存储器的计算机可读介质。特别地，计算机存储器可以存储计算机可执行指令，该计算机可执行指令在由一个或多个处理器执行时使得执行各种功能，诸如实施例中记载的动作。

如下面更详细地讨论的，本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机。本发明范围内的实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理计算机可读介质和其他计算机可读介质。这样的计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用的介质。存储计算机可执行指令的计算机可读介质是物理存储介质。承载计算机可执行指令的计算机可读介质是传输介质。因此，通过示例而非限制的方式，本发明的实施例可以包括至少两种明显不同的类型的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。

物理计算机可读存储介质包括ram、rom、eeprom、cd-rom或其他光盘存储装置(例如cd、dvd等)、磁盘存储装置或其他磁性存储设备，或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码手段并且可以由通用或专用计算机访问的任何其他介质。

“网络”被限定为在计算机系统和/或模块和/或其他电子设备之间实现电子数据的传送的一个或多个数据链路。当在网络或另一通信连接(硬连线、无线或硬连线或无线的组合)上向计算机传送或提供信息时，该计算机正确地将连接视为传输介质。传输介质可以包括网络和/或数据链路，该网络和/或数据链路可以用于以计算机可执行指令或数据结构的形式执行期望的程序代码手段，并且可以由通用或专用计算机访问。上述的组合也被包括在计算机可读介质的范围内。

此外，一旦到达各种计算机系统组件时，以计算机可执行指令或数据结构形式的程序代码手段就可以自动地从传输计算机可读介质被传送到物理计算机可读存储介质(反之亦然)。例如，在网络或数据链路上接收的计算机可执行指令或数据结构可以被缓冲在网络接口模块(例如，“nic”)内的ram中，并且然后最终被传送到计算机系统ram和/或计算机系统中的较不易失的计算机可读物理存储介质。因此，计算机可读物理存储介质可以被包括在也(或甚至主要)利用传输介质的计算机系统组件中。

计算机可执行指令包括例如使得通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令和数据。计算机可执行指令可以是例如二进制的中间格式指令(诸如汇编语言)、或甚至是源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应当理解，所附权利要求中限定的主题不一定限于上述所描述的特征或动作。而是，所描述的特征和动作被公开为实现权利要求的示例形式。

本领域技术人员将理解，本发明可以在具有许多类型的计算机系统配置的网络计算环境中实践，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程的消费者电子器件、网络pc、小型计算机、大型计算机、移动电话、pda、寻呼机、路由器、交换机等。本发明还可以在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备中。

备选地或附加地，本文中所描述的功能可以至少部分地由一个或多个硬件逻辑组件执行。例如而非限制，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(fpga)、程序专用集成电路(asic)、程序专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑器件(cpld)等。

在不脱离本发明的精神或特性的情况下，本发明可以以其他特定形式体现。所描述的实施例在所有方面都将被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述来指示。在权利要求的等同的含义和范围内的所有变化都将被包含在权利要求的范围内。