用于对物品定位、识别和计数的系统和方法与流程

本公开是要求2016年3月29日提交的美国专利申请号62/314,785“systemandmethodforlocating,identifyingandcountingproductsonshelves”和2016年11月29日提交的美国专利申请号62/427,509“systemandmethodforlocating,identifyingandcountingitems”的优先权利益的非临时专利申请的部分。

本公开总体上涉及一种能够准确地监控零售或仓库产品库存而不需要初始货架图的多摄像头传感器套件。在某些实施例中，多摄像头传感器套件可以安装在自主机器人上，并且包括板载处理以提供接近实时的产品跟踪。

背景

零售店或仓库可以有常常被出售、移除、添加或重新定位的成千个不同的产品。即使使用频繁补进存货计划，被假定为有库存的产品也可能无库存，降低了销售和消费者满意度。销售点数据可用于粗略估计产品可获得性，但无助于识别错放、被盗或损坏的产品，所有这些都可能降低产品可获得性。然而，手动监控产品库存和跟踪产品位置是昂贵和耗时的。

一种用于跟踪产品库存的解决方案依赖于货架图(显示具体产品在货架或展示台上应该如何放置以及放置在哪里的列表或图表)与机器视觉技术的结合。给定货架图，机器视觉可以用来帮助货架空间依从性。例如，大量的固定位置摄像头可以在整个商店中用于监控过道，其中货架空间中的大空隙是对照货架图或货架标签可检查的，且如果必要，可以被标记为“无库存”。可选地，可以使用较少数量的可移动摄像头来扫描商店过道。即使使用这样的系统，通常也需要人工干预来构建初始货架图，该货架图包括与可以包括产品标识、放置和计数的边界框相关的详细信息。还可能需要大量人工干预来更新货架图以及搜索错放的产品库存。

概述

一种用于产品或其他库存监控的低成本、准确且可扩展的摄像头系统可以包括可移动基座。由可移动基座支撑的多个摄像头可定向到货架或其他用于容纳产品或库存的系统。处理模块连接到多个摄像头，并且能够从摄像头得到的图像构建产品或库存位置的可更新图。

在一些实施例中，所描述的用于库存监控的摄像头系统可用于检测货架标签；可选地，将货架标签与深度图进行比较；限定产品边界框；将边界框与货架标签相关联以构建训练数据集；以及使用训练数据集来训练产品分类器。

在其他实施例中，用于构建产品库的系统可以包括被操作来提供物品的图像的图像捕获单元。该系统还包括货架标签检测器(其可以是高分辨率可变焦摄像头)和可选地包括深度图创建单元(其可以通过激光扫描、飞行时间范围感测或立体成像来提供)，可选地将检测到的货架标签与深度图进行比较、限定产品边界框以及将边界框与货架标签相关联以构建训练数据集或学习图像描述符的处理模块。图像捕获单元和处理模块都可以安装在自主机器人上。

因为它代表货架上的真实情形，所以例如本文公开的库存图可以被称为“真实图(realogram)”以区别于传统的“货架图”，该“真实图”采用显示特定零售产品和标牌应该如何放置在货架或展示台上以及放置在哪里的3d模型、卡通、图表或列表的形式。真实图可以用连接到处理模块的数据存储模块在本地存储。通信模块可以被连接到处理模块，以将真实图数据传输到远程位置(包括商店服务器或其他支持的摄像头系统)并且另外接收包括货架图的库存信息以帮助真实图构建。除了真实图映射之外，该系统还可用于检测无库存产品、估计耗尽的产品、估计在堆叠的堆中包括的产品的数量、估计产品高度、长度和宽度、构建产品的3d模型、确定产品的位置和定向、确定一个或更多个产品是否处于需要纠正行动例如面向或分区操作的无序货架展示中、估计产品例如农产品的新鲜度、估计产品的质量(包括包装完整性)、定位产品(包括在家庭位置、二级位置、顶端库存、底端库存处和在后房中)、检测错放的产品事件(也被称为插塞)、识别错放的产品、估计或计算产品正面(facing)的数量、比较产品正面的数量与货架图、定位标签、确定标签的序列、检测标签类型、读取标签内容(包括产品名称、条形码、upc代码和标价)、检测遗漏的标签、比较标签位置与货架图、比较产品位置与货架图、确定产品的到期日、确定产品(包括农产品)的新鲜度、测量货架高度、货架深度、货架宽度和截面宽度、识别标牌、检测宣传材料(包括展示台、标牌和影片)并测量它们的上架和下架时间、检测并识别季节性和促销产品和展示台(例如产品岛)和影片、捕获单独产品和产品组以及固定物例如整个过道、货架段、在过道上的特定产品和产品展示台和岛的图像、捕获环境的360度和球面视图以在允许虚拟穿行的虚拟游览应用中被可视化、捕获将在增强现实或虚拟现实中观看的环境的3d图像、捕获包括环境光水平的环境条件、捕获关于环境的信息(包括测量与残疾和安全标准的空间依从性以及确定灯泡是否关闭)、向远程监视器提供空间的实时视频馈送、提供特定位置的按需图像和视频(包括现场或事先安排的布景)并构建产品图像的库。

在一个实施例中，可移动基座可以是手动推动的或可引导的手推车。可选地，可移动基座可以是遥控机器人，或者在优选实施例中是能够引导自己穿过商店或仓库的自主机器人。根据商店或仓库的大小，可以使用多个自主机器人。可以定期检查过道以识别无库存或创建真实图，具有高产品移动(highproductmovement)的过道被更经常地检查。

在另一实施例中，库存监控方法包括以下步骤：允许自主机器人沿着排列有能够容纳库存或产品的货架的过道移动，自主机器人充当多个摄像头的可移动基座。多个摄像头定向到沿着过道排列的货架上的库存，其中至少部分地从这些摄像头得到的数据被用于使用包含在自主机器人中的处理模块来构建库存的真实图或全景图像。由处理模块创建的真实图数据或全景图像可以使用通信模块传送到远程位置，并且经由通信模块接收的库存信息可以用于帮助真实图构建。

在又一个实施例中，库存监控方法包括以下步骤：允许自主机器人沿着容纳库存的沿着过道排列的货架移动，其中自主机器人充当多个摄像头的可移动基座。自主机器人可以在前向或后向方向上移动时保持与容纳库存的沿着过道排列的货架实质上恒定或严格控制的距离。使用定向到沿着过道排列的货架上的库存的多个摄像头，可以构建沿着容纳库存的沿着过道排列的货架放置的库存的真实图的至少一部分。通常，真实图是用在本地设置的数据存储器和包含在自主机器人中的处理模块来创建和更新的。为了确保对沿着过道排列的货架的完全或接近完全的摄像头覆盖，如果沿着过道排列的货架的一部分的数据捕获是不完整的，则自主机器人可以暂停、倒转或标记以进行进一步的多摄像头检查。

附图简述

图1是安装在可移动基座上以跟踪在过道货架或其他合适的目标中的产品变化的摄像头系统的图示；

图2是示出两个自主机器人检查过道中的相对货架的卡通片；

图3是连接到库存摄像头的各种系统和电子模块的图示；

图4是在操作的一个实施例中的步骤的图示；

图5a和5b分别是能够充当摄像头系统的移动基座的自主机器人的在侧视图和横截面中的示例；以及

图6是更详细地示出如何可在不需要初始货架图的情况下创建对于真实图的产品空间的流程图600；以及

图7是示出用于管理所公开的系统的方面的额外过程细节的流程图700。

详细描述

图1是安装在可移动基座110(带有驱动轮114)上以跟踪在过道货架或其他目标102中的产品变化而不需要初始货架图的库存监控摄像头系统100的图示。

可移动基座110可以是具有能够在整个建筑物中独立地导航和移动的导航和对象感测套件130的自主机器人。自主机器人具有通过垂直延伸的摄像头支架140附接到可移动基座110的多个摄像头140。灯150被定位成将光定向到目标102。对象感测套件包括前向(133)、侧部(134和135)、顶部(132)和/或后部(未示出)图像和深度传感器，以帮助对象检测、定位和导航。额外的传感器例如激光测距单元136和138(以及相应的激光扫描光束137和139)也形成了传感器套件的一部分，其对于准确的距离确定是有用的。在某些实施例中，图像传感器可以是深度传感器，其从立体图像推断深度，投射允许对图像中的对象距离的粗略确定的红外网状覆盖，或者根据从目标反射的光的飞行时间推断深度。在其他实施例中，可以使用简单的摄像头和各种图像处理算法来识别对象位置和定位。对于选定的应用，超声波传感器、雷达系统、磁力计等可用于辅助导航。在还有其他实施例中，能够检测电磁、光或其他位置信标的传感器可能对自主机器人的精确定位是有用的。

如在图1中看到的，示出了可用于构建可更新真实图的各种代表性摄像头类型。如前面所提到的，真实图表可以使用摄像头得到的图像来产生产品或库存位置的可更新图。一般，一个或更多个货架单元(例如目标102)将由不同的一组摄像头类型成像，这些摄像头类型包括覆盖小于整个目标货架单元的限定视场的向下(142和144)或向上(143和148)固定焦距摄像头；可变焦距摄像头，其使它的焦距适应于距所成像的目标的距离；宽视场摄像头145，其提供比固定焦距摄像头更大的摄影覆盖；以及窄视场、可变焦摄远镜头146，其捕获条形码、产品识别号和货架标签。可选地，可以使用高分辨率、倾斜可控、高度可调的摄像头来识别货架标签。这些摄像头140得到的图像可以与图像中被识别的产品和所确定的位置拼接在一起。

为了简化图像处理并提供准确的结果，在检查过程期间，多个摄像头通常被定位在离货架一段设定距离处。货架可以用位于摄像头上或附近的led或其他可定向的灯150照亮。多个摄像头可以在垂直、水平或其他合适的方向上线性地安装在摄像头支架上。在一些实施例中，为了降低成本，多个摄像头固定地安装在摄像头支架上。这样的摄像头可以被布置成相对于摄像头支架和货架指向上、向下或齐平。这有利地允许减少来自具有高反射表面的产品的眩光，因为指向稍微不同的方向的多个摄像头可以产生有很少眩光或没有眩光的至少一个图像。

电子控制单元120包含管理机器人响应的自主机器人感测和导航控制模块124。机器人位置定位可以利用外部标记和基准，或者仅仅依赖于由机器人安装的传感器提供的定位信息。用于位置确定的传感器包括先前提到的成像、光学、超声声纳、雷达、激光雷达、飞行时间、结构光或使用包括但不限于三角测量、视觉流、视觉测距法和车轮测距法的技术来测量在机器人与环境之间的距离或由移动基座行进的递增距离的其他工具。

电子控制单元120还使用摄像头控制和数据处理模块122来提供图像处理。自主机器人感测和导航控制模块124管理机器人响应，且通信模块126管理数据输入和输出。摄像头控制和数据处理模块122可以包括连接到处理模块125的单独的数据存储模块123(例如固态硬盘驱动器)。通信模块126连接到处理模块125以将真实图数据或全景图像传输到远程位置，包括商店服务器或其他支持的摄像头系统，并且另外接收库存信息以帮助真实图构建。在某些实施例中，在自主机器人内主要存储真实图数据并处理图像。有利地，这降低了数据传输要求，并且即使本地或云服务器是不可用时也允许操作。

图2是示出类似于关于图1所讨论的两个自主机器人230和232检查在过道中的相对的货架202的卡通200。如所示，每个机器人沿着过道的长度遵循路径205，多个摄像头捕获货架202的图像。

在一些实施例中，机器人230和232支持至少一个测距传感器来以小于5cm的准确度并以在大约5cm和1mm之间的典型准确度范围测量在多个摄像头与货架和货架上的产品之间的距离。如将认识到的，lidar或其他具有类似准确度的距离感测仪器也可以用在选定的应用中。使用绝对位置传感器、到货架的相对距离测量、到已知地标的三角测量、传统的同时定位和测绘(slam)方法或者依赖于位于蓝图或先前构建的图中的已知位置处的信标，机器人230和232可以沿着大致平行于货架202的路径移动。当机器人移动时，垂直定位的摄像头被同步以同时捕获货架202的图像。在某些实施例中，货架和产品的深度图是通过使用图像深度传感器和/或激光测距仪器测量在货架单元的长度上的从货架摄像头到货架和产品的距离来创建的。深度图被配准到由货架摄像头捕获的图像上，以便可以在3d中估计在目标上的每个像素的位置。使用可用信息，连续图像可以拼接在一起，以创建跨越整个货架单元的全景图像。连续图像可以首先在所有摄像头当中垂直地拼接，且然后在机器人230和232沿着过道移动时与每组新的连续垂直图像水平和递增地拼接。

图3是由具有机器人导航和感测310的自主机器人支持的各种系统和电子模块300的图示。借助于机器人导航和感测模块310，库存摄像头340移动到期望的位置。灯350指向产品库存和库存摄像头控制，且图像重建312拍摄一系列库存照片(和可选的深度测量)，这些照片可以拼接在一起以帮助形成或更新真实图。全景图像、真实图数据或其他库存相关信息由库存数据和本地更新模块314处理，该模块可以通过通信系统316发送或接收相关信息。数据可以传递到商店本地的服务器，或者通过合适的互联网或联网设备传输到远程服务器或云可访问的数据站点。

库存摄像头340可以包括一个或更多个可移动摄像头、变焦摄像头、可聚焦摄像头、宽视场摄像头、红外摄像头、紫外摄像头或其他专用摄像头，以帮助产品识别或图像构建。例如，宽视场摄像头可用于创建图像组织模板，来自具有窄视场的较高分辨率摄像头的数据被映射或配准到该模板中。作为另一个例子，位于大致在货架边缘的高度处的摄像头支架上的倾斜可控的高分辨率摄像头可用于读取货架上附着的条形码，识别号码或标签。在某些实施例中，传统的rgbcmos或ccd传感器可以单独地或与光谱滤波器组合地使用，光谱滤波器可以包括窄带、宽带或偏振滤波器。实施例还可以包括能够检测红外、紫外或其他波长以允许高光谱图像处理的传感器。这可以允许例如监控和跟踪对人不可见的标记、标签或导向物，或者使用不可见光谱中的闪光，其不引起健康风险的不适同时减少能量消耗和运动模糊。

灯可以连同传感器一起或者与传感器分开地安装，并且可以包括单色或近单色光源，例如激光器、发光二极管(led)或有机发光二极管(oled)。宽带光源可以由变化波长的多个led(包括红外或紫外led)、卤素灯或其他合适的传统光源提供。可以包括窄带、宽带或偏振滤波器和遮光板、透镜、反射镜、反射表面、漫射器、聚光器或其他光学器件的各种光谱滤波器可以提供用于区域照明的宽光束或用于提高的局部照明强度的紧密聚焦光束。

根据一些实施例，摄像头340和灯350都可以被可移动地安装。例如，铰接的、轨道、电磁活塞或其它合适的致动机构用于以编程方式旋转、升高、压下、振荡或横向或垂直地重新定位摄像头或灯。

在还有其他实施例中，一个或更多个摄像头可以以利用自主机器人的卷帘快门效果和行进方向的方式来安装。以利用卷帘快门的“光栅化”延迟的方式对准摄像头可以减少当机器人在其路径上行进时可能出现的伪像(伸长/缩短)。

库存数据314可以包括但不限于能够存储关于多个产品的数据的库存数据库，每个产品与产品类型、产品尺寸、产品3d模型、产品图像和当前产品价格、货架位置、货架库存计数和正面数量相关联。可以存储在不同时间捕获和创建的真实图，并使用数据分析来提高对产品可获得性的估计。在某些实施例中，可以增加或减少真实图创建的频率。

通信系统316可以包括到有线或无线连接子系统的连接，用于与诸如服务器、台式计算机、膝上型计算机、平板电脑或智能电话的设备交互。可以在各种外部数据源——包括无线网络、个人局域网、蜂窝网络、互联网或云介导数据源——之间接收、生成或传输数据和控制信号。此外，本地数据源(例如硬盘驱动器、固态驱动器、闪存或任何其他合适的存储器，包括动态存储器，例如sram或dram)可以允许用户指定的偏好或协议的本地数据存储。在一个特定实施例中，可以提供多个通信系统。例如，可以使用直接wi-fi连接(802.11b/g/n)以及单独的4g蜂窝连接。

远程服务器318可以包括但不限于服务器、台式计算机、膝上型计算机、平板电脑或智能电话。还可在云计算环境中实现远程服务器实施例。云计算可被定义为用于实现对可配置计算资源(例如网络、服务器、存储、应用和服务)的共享池的普遍存在的、方便的按需网络访问的模型，可配置计算资源可经由虚拟化迅速地被供应并以最小管理努力或服务提供商交互而被释放，并然后被相应地缩放。云模块可由各种特征(例如按需自助式服务、广阔的网络访问、资源池、快速弹性、可计量的服务等)、服务模型(例如软件即服务(“saas”)、平台即服务(“paas”)、基础设施即服务(“iaas”))和部署模型(例如私有云、社区云、公共云、混合云等)组成。

图4是在操作的一个实施例中的真实图或全景更新步骤的图示。如在流程图400中看到的，机器人移动到所识别的位置，并沿着过道路径以预定距离继续前进(步骤410)。如果路径被人或对象阻挡，机器人可以等待直到路径畅通无阻为止，开始移动并减速，在它接近障碍物时等待，沿着路径移动直到需要在重新获取路径之前绕对象转向为止，或者简单地选择替代过道。

在步骤412中，多个图像被捕获并拼接在一起以限定图像全景。可选地，在某些实施例中，全景或宽视场摄像头可以捕获单个大图像。这些图像连同由激光测距系统、红外深度传感器或能够以分米或更小标度区分深度的类似系统创建的可选的深度信息一起用于创建全景图或真实图(步骤414)。该信息被传递到云或远程服务器(步骤416)，以利用从货架标签、条形码和产品识别数据库获得的数据来创建、改变或更新全景图和/或真实图，以识别产品。真实图使用全景图像和数据来被创建，并可由例如商店经理、库存员工或消费者助理代表使用来定位产品和标签放置、估计产品计数、计算产品正面的数量或甚至识别或定位丢失的产品。此外，在一些实施例中，从其他机器人、从更新的产品数据库或从其他商店接收的真实图或其他信息可用于更新或帮助创建后续的真实图(步骤418)。

图5a和5b分别是能够充当根据本公开的摄像头系统的移动基座的自主机器人500的示例的侧视图和横截面。机器人导航和感测单元包括顶部安装的传感器模块510，其具有多个前向、侧面、后部和顶部安装的摄像头。灯520的垂直排列的阵列位于垂直布置的一排摄像头530旁边，且都由包括控制电子器件、电源和对接互连的驱动基座540支撑。驱动轮560提供移动性，且脚轮550提高稳定性。

库存监控可以依赖于自主机器人摄像头系统图像的使用。通常，对多个图像进行处理、组合和分割，用于进一步分析。分割的图像可有助于限定产品边界框，该产品边界框推定地识别出产品正面。这个信息对开发产品库常常是必要的。分割的图像可以包括多个产品边界框，其通常范围从几十到数百个显示轮廓的或不同的图像区域。边界框可以围绕产品正面、产品组或在产品之间的间隙。在产品边界框内的产品可以手动地被识别，使用人群源或付费评论者图像识别系统来识别，在有或没有初始货架图的帮助的情况下被识别，或者使用本文讨论的各种图像分类器来自动被识别。在产品之间的间隙对识别货架间距、产品分离或遗漏/缺少的库存是有用的。

可以使用自主机器人单独地或与外部图像分类器系统结合来执行自动识别。在某些实施例中，产品边界框可以被限定为在货架上由同一产品的一个或更多个副本(正面)占据的水平空间，以及跨越在当前搁板和它上面的搁板之间的距离的垂直空间。在当前搁板是顶部搁板时，垂直空间是通常对应于到固定物的顶部的距离的数字。垂直空间可以可选地是如由深度传感器感测的产品的顶部。

在一些实施例中，自动帮助创建产品边界框和产品标识的图像分割可以依赖于图像模板的使用。通常，将每个图像模板与由安装在自主机器人上的摄像头系统捕获的图像进行比较。如果匹配是肯定的，则图像的匹配部分被用作那个产品的图像分割。

可以通过在标注的训练数据集上的训练分类器来改进分割，其中围绕产品手动地绘制边界框。可以用有监督或无监督的机器学习、深度学习或混合机器和深度学习技术——包括但不限于卷积神经网络——来执行训练。

一些方法包括通过仅匹配对应于产品标识符或者靠近被扫描的货架位置的产品对象的模板来减少必须被考虑的图像模板的数量。产品对象可以包括但不限于：

产品标识符

一组或更多组描述符

每组描述符的置信水平

一个或更多个货架位置度量估计

每个货架位置度量估计的置信水平

一个或更多个货架位置拓扑估计

每个货架位置拓扑估计的计数数字

产品的一个或更多个图像模板

产品的尺寸

产品对象可以被更新、手动或自动地被修改、被扩充或纠正，并被更改以匹配变化的产品规范。

一些方法进一步检测产品是否与外部发源的图像不同地被定向。如果不能找到模板匹配，但产品描述符确实找到了高可能性匹配，这指示与在移动基座系统外部发源的图像的产品定向不同的产品定向。如果已知外部发源的图像是产品的前视图，则该方法识别在货架上不正确地定向的产品。可以估计不正确地定向的产品的角度偏差，并计算在外部发源的图像的该组描述符和图像的分割部分之间的仿射变换。

对于模板匹配成功的情况，可以认为图像中的产品分割是准确的，并且将产品的真实尺寸与图像中的产品的表观尺寸进行比较，以提取在成像传感器和产品之间的距离估计。另外，产品在图像中的表观位置与距离估计结合来使在成像传感器和产品之间的三维位置和定向的计算成为可能。

一些方法从货架图中提取每个产品的拓扑货架位置。这些方法进一步扩大了通过分割而识别的产品对象的范围，并将它重新定义为包含：

一个产品标识符

一组或更多组描述符

每组描述符的置信水平

一个或更多个货架位置度量估计

每个货架位置度量估计的置信水平

一个或更多个货架位置拓扑估计

每个货架位置拓扑估计的计数数字

产品的一个或更多个图像模板

产品的尺寸

来自货架图的一个或更多个拓扑货架位置

在其他实施例中，rfid标签、无线信标、定位器或跟踪器可以单独或组合地被使用，以帮助限定产品边界框。例如，在一些实施例中，自主机器人可以另外配备有一个或更多个rfid读取器。在一个实施例中，执行配备有rfid标签的产品的库存计数可以如下继续进行：

每个产品的标签的总数由库存管理软件传递给安装在自主机器人上或与自主机器人相关联的rfid阅读器；

当自主机器人是静止的或移动时，rfid读取器收集rfid标签；

如果rfid阅读器没有收集给定产品的所有标签；以及

如果自主机器人正在移动，则自主机器人停止以试图收集剩余的标签，或者

如果自主机器人停止，在预定的搜索路径中移动自主机器人，以试图收集剩余的标签。

使用适当的改变，可以使用蓝牙、近场通信或其他传统无线系统来代替rfid系统。

在一些实施例中，基于数字、字母、一维或二维条形码或类似的基于图像的货架或产品标签的视觉图像可以单独地或与各种图像特征组合来使用，以分割图像并帮助限定产品边界框。可以分析和分割每个货架图像，以检测货架上的单独价格标签或产品标签。可选地或者另外，每个图像可用于检测单独产品和产品包装的识别标识。

分割可以使用的包括但不限于下列项的技术：

-边缘检测；

-使用深度估计技术进行的深度估计，深度估计技术包括但不限于：

立体摄像头

来自运动的结构

来自焦点的结构

使用飞行时间的深度摄像头

使用三角测量的深度摄像头

平面或3d激光/激光雷达扫描仪

颜色分割；

产品特征，包括但不限于产品形状、颜色、文本和长宽比；

使用机器学习技术(例如卷积神经网络和深度学习)而识别和学习的产品形状；

基于位置启发法的单独产品图像与标识符的关联。启发法可以将标识符定位在产品图像下方或另一个近侧位置上。

可以通过将标签的规划位置与标签的实测位置相关联以及将每个正面组的正面的数量与在连续标签之间的实测距离除以对应于左标签的产品的宽度相关联来从货架图通知启发法。这些相关性可以例如通过使用图形理论方法被优化，以在正面组和标签之间生产最大似然对应。

也可以通过使在货架上的最左边的标签与最左边的自相似正面组映射、在同一货架上的最右边的标签与最右边的标签正面组映射并向内工作直到每个正面组都有关联的标签为止来通知关联。

此外，关联可以由从训练数据集在手动标注的关联上训练的分类器并使用与上面所述的启发法类似的启发法来通知。一些方法还包括通过比较标识符的位置和放置有标识符的货架的开始或结束的位置来推断货架上的每个标识符的位置。可选地，方法可以基于通过比较产品的位置和放置有产品的货架的开始或结束的位置来推断货架上的每个产品的位置。

在一些方法中，标识符的货架位置和/或产品位置以度量术语(即离特定货架的开始或结束的实测距离)表示。在其他方法中，标识符的货架位置和/或产品位置被拓扑地表示，例如作为从特定货架的开始或结束和从货架的底部到顶部或者从顶部到底部的标识符序列。例如，特定标识符可以是从第四个货架开始的第三个。

如果产品库被创建或变得可用，该库可以被搜索以找到具有大量相似特征的产品对象，以帮助开发产品边界框。对于每个潜在的产品对象匹配，可以将库中的特征位置的几何一致性与货架图像中的特征进行比较。一些方法还包括为了提高的搜索性能和/或降低的存储需求而为库中的描述符组编索引。编索引方法包括但不限于：散列技术、树表示和词袋(bag-of-words)编码。可选地，来自产品库中的货架图信息或产品位置信息可用于将必须搜索的产品的数量减少到仅包含在所成像的货架内的那些产品。在还有其它变形中，可以通过对位于每个所识别的产品附近的价格标签或产品标签进行分割和解码并将它与产品对象标识符进行比较来验证所识别的产品。

图6是流程图600，其更详细地示出可如何从由自主机器人所支持的传感器和摄像头系统捕获的信息创建例如先前讨论的产品边界框的一个示例。转向图6，在第一步骤610中，在单独的货架图像中或者在拼接的全景图中检测货架标签。分类算法例如卷积神经网络或其他深度学习方法、模板匹配或haar级联可以用来帮助检测每个货架标签。分析每个货架标签以获得一个或更多个产品标识符。分析可以包括但不限于光学字符识别、条形码扫描、qr码扫描、ar码扫描或全息码扫描。产品标识符可以是upc代码、产品名称或字母、数字或其他符号的编码集合。如果多于一个标识符是可用的，则可以选择优选的标识符，例如upc代码。在某些实施例中，可以使用嵌在产品包装或货架标签上的红外或紫外可检测的产品标识符以及任何其他合适的标签、标记或可检测的识别标识，例如在产品包装上的可见upc代码或序列号。

在可选的步骤612中，货架标签的图像位置被配准或与深度图比较，以恢复它在空间中的3d位置。可以通过使用一个或更多个深度传感器或者用于构建一般具有亚毫米到亚厘米分辨率的深度图的任何其他合适的方法来创建深度图，所述深度传感器从立体图像推断深度，投射允许粗略确定图像中的对象距离的红外网状覆盖，根据扫描激光或led的从目标反射的飞行时间推断深度。

在步骤614中，边界框被限定为包围同一产品的一个或更多个正面的周界或者在货架上的任何空间，包括但不限于在产品之间的间隙。可以使用训练分类器、深度学习、图像分割或任何其他合适的技术或技术的组合来手动地限定或自动限定边界框。可以参考按高度分组的标签创建边界框，其中在相邻标签之间的水平距离用于限定单正面产品的边界框的宽度。对于多正面产品，边界框宽度被细分为宽度与产品宽度相等的分段。

边界框的高度可以从货架高度的检测中得到。可以通过分析深度图以识别对应于在货架的底部与在它下方堆放的产品之间的距离的水平凹入来检测货架高度。这些水平凹入对应于货架边缘并测量货架高度。

可选地，可以根据以下标准按水平跨度(被限定为在组的第一个和最后一个标签之间的水平距离)过滤标签组：

如果标签组的水平跨度与当前标签组跨度重叠，则标签组通过过滤器。

如果标签组的水平跨度远离当前标签组跨度不大于表示隔区宽度(baywidth)的数字，则标签组通过过滤器。一般来说，隔区宽度是在整个商店里使用的标准三或四英尺宽货架。

按高度对过滤后的标签组排序，并选择在当前标签组之后的下一个最高的标签组。

可选地，货架高度也可以由在货架的手动地标注的颜色和深度图像(如果可得到)上训练的深度学习分类器来检测。

一旦确定了在选定标签组和当前标签组之间的高度差，就可以完全限定边界框的高度。

对于垂直堆叠的产品，边界框的高度被细分为高度与产品的高度相等的分段。

在某些实施例中，可以通过估计每种方法的置信度量并将它们的结果相加来概率性地组合用于确定边界框的先前方法。

接下来，在步骤616中，基于标签位置启发法，每个边界框一致地与标识符相关联。标识符可以被选择为源自左货架标签或右货架标签。可以通过在整个货架部分或过道上的优化来进一步改良边界框和标识符的关联。具有标识符的边界框可以被配准到货架的简单或全景拼接图像，并且为包含在边界框中的图像的部分提取图像描述符。用于生成图像描述符的方法包括但不限于：图像模板、梯度直方图、颜色直方图、标度不变特征变换、二进制鲁棒独立基本特征、最大稳定极值区域、二进制鲁棒不变可缩放关键点、快速视网膜关键点、kaze特征及其变形。

提取产品描述符的可选方案是使用边界框作为所标记的类别，并在边界框中包含的图像上训练分类器。分类器可以包括基于深度结构学习、分层学习、深度机器学习或与卷积、前馈、递归或其它合适的神经网络相关联的其它合适的深度学习算法的分类器。基于深度学习的分类器可以基于所标注的训练数据来自动学习图像描述符。例如，基于深度学习的图像描述符可以是分层的，对应于深度卷积神经网络中的多个层。卷积层网络的最后一层输出在指定图像类别之一中的产品的置信值。图像描述符生成器部分和分类部分被集成在卷积神经网络中，并且这两部分使用训练集来一起被训练。

可选地或者另外，使用基于深度学习的图像描述符和传统图像描述符的实施例可以在混合系统中组合。

在步骤618中，图像描述符可以被分类并用标识符标记。分类算法可以包括但不限于支持向量机。这个过程对与同一标识符相关联的边界框的每个图像重复，而不管该图像是否在不同时间在同一商店中捕获或在不同商店中被捕获。迟早，这允许自动构建产品库(即“产品的库”)，而不需要初始货架图或特定产品数据库的存储。

对于那些利用基于深度学习的图像描述符的实施例，神经网络分类器可以是同一经训练的卷积神经网络的一部分。从卷积神经网络的不同层提取的自动学习的特征可以在更大的产品识别系统中被使用。这些特征可以与其他分类器或与混合系统中的传统图像描述符结合来使用。

图7是示出用于管理产品库的一个实施例的额外过程细节的流程图700。产品库可以存储在例如本文所述的单个自主机器人中，分布在两个或更多个自主机器人之间，或者全部或部分地存储在本地、远程或云服务器中。在一个实施例中，步骤710需要从与标识符相关联的每个产品图像中提取一组描述符。可以开发一组或更多组描述符，每组描述符的置信水平被设置；记录每组描述符生成时的日期；做出一个或更多个货架位置度量估计；估计每个货架位置度量的置信水平；估计一个或更多个货架位置拓扑；或者估计每个货架位置拓扑的计数数字。在其他实施例中，产品的一个或更多个图像模板或产品的尺寸可用于确定产品对象范围。

在步骤714中，每个标识符和产品描述符组如下被存储在产品对象的数据库或库中：

如果标识符与库中的现有标识符不匹配，则创建包含标识符、该组产品描述符、该组产品描述符的条目置信水平和日期的新对象。条目置信水平是独一无二的。

如果产品的标识符与库中的现有标识符匹配，为描述新的和现有的描述符组从同一对象中提取的可能性的每个现有描述符组计算分数。

如果最高可能性分数超过肯定匹配的启发式值：将新的描述符组与最高可能性特征集组合；并且相对于对象中的其他描述符组增加该组描述符的置信水平；并将日期附加到现有描述符组的日期。

如果最高可能性分数没有超过肯定匹配的启发式值：将描述符组添加到对象；将置信度设置为条目水平；并添加日期。

对于那些利用基于深度学习的图像识别的实施例，使用输出置信水平的卷积神经网络来将输入图像分类为属于产品类别之一。然后，这个置信水平被用于以与上面相同的方式将图像描述符存储在库中。

在步骤716中，可以为了提高的搜索性能和/或降低的存储要求而使用库内的描述符组。编索引方法包括但不限于：散列技术、树表示和词袋编码。

在步骤718中，可选地，可以修整产品库以减少错误和数据库大小。描述符组和度量或拓扑货架位置的修整可以如下出现：

描述符组：删除置信水平低于启发式值的所有组以及它们的置信水平和日期条目，除非它们源自在移动基础系统外部发源的图像。

度量货架位置：删除置信水平低于启发式值的所有度量位置——除非它们的条目日期是记录中的最后一个日期——连同它们的置信水平和日期条目。

拓扑货架位置：删除计数数字低于启发式值的所有拓扑位置——除非它们的条目日期是记录中的最后一个日期——连同它们的计数数字和日期条目。

可选地，修整可以涉及：

iv)描述符组：删除除了具有最高置信水平的组之外的所有组，以及它们的置信水平和日期条目，除非它们源自在移动基础系统外部发源的图像。

v)度量货架位置：删除所有度量位置连同它们的置信水平和日期条目，除了最新日期以外，如果它的相关置信水平高于启发式值。否则，保留来自最后两个或更多日期的数据，直到找到高于启发式值的置信水平为止。

vi)拓扑货架位置：删除所有拓扑位置连同它们的计数器数量和日期条目，除了最新日期以外，如果它的相关计数器数量高于启发式值。否则，保留来自最后两个或更多日期的数据，直到找到高于启发式值的计数数字为止。

在一些实施例中，修改产品库可以利用外部图像数据源来帮助产品识别。这些图像可以从一个或更多个下面的源获取：

携带产品的零售商，其中图像对应于产品标识符

产品的制造商，在将产品标识符与制造商的名称和图像匹配之后

产品的第三方摄影

在线数据库、图像搜索引擎或者来自产品列表的在线零售商的数据或者其他互联网数据库。优选地使用对应于产品标识符的制造商名称进行搜索。在一些方法中，这种搜索是自动执行的，并且在没有人为干预的情况下插入一个或更多个图像。

一个或更多个在外部得到的图像可以包括产品的至少一个前视图，以及可选地额外视图，例如对应于同一标识符的产品的背面、侧面、顶部和底部或者不同包装外观。如果产品与外部发源的图像不同地被定向，产品描述符可以尝试找到高可能性匹配。在一些实施例中，可以通过计算在外部发源的图像的描述符组和可用产品图像之间的仿射变换来确定在可能的产品和不同地定向的产品之间的角度偏差。

对于模板匹配成功并且图像中的产品分割准确的情况，可以将产品的真实尺寸与图像中的产品的表观尺寸进行比较，以提取在成像传感器和产品之间的距离估计。另外，产品在图像中的表观位置与距离估计相结合来使在成像传感器和产品之间的三维位置和定向的计算成为可能。

在基于深度学习的可选实施例中，产品分割可以由卷积神经网络执行，该卷积神经网络将像素分类为属于产品内部和产品背景。从该分割推断产品尺寸。

受益于在前述描述和相关附图中呈现的教导的本领域中的技术人员将会想到本发明的许多修改和其它实施例。因此，应当理解，本发明不限于所公开的特定实施例，并且修改和实施例被规定为被包括在所附权利要求的范围内。还应当理解，本发明的其他实施例可以在缺乏本文没有特别公开的元件/步骤的情况下被实践。