一种智能补货系统及方法与流程

本发明涉及光学及电子技术，特别涉及一种智能补货系统及方法。

背景技术

人随着互联网电商及物流行业的发展，传统线下零售行业受到了前所未有的冲击，普遍萎靡不振。经研究发现，导致传统线下零售行业萎靡的主要原因包括：一、经营成本日益攀升；二、消费者的用户体验糟糕；三、同行恶性竞争等。其中，人工成本、维护成本占据了传统线下零售行业经营成本的主要部分。面对日益飙升的人工成本及维护成本，市面上逐渐出现一些自助售卖机、“无人超市”等新模式的零售产业。这些新模式的零售产业一般以云计算、物联网、移动支付、大数据等技术作为依托，采用无人值守的销售模式，以最大限度地降低人工成本、维护成本以及提升消费者的用户体验。

现有技术方案中的“无人超市”虽然能够基本实现消费者的自助购物功能，但也带来了一系列的新挑战。比如，售空商品的补给，购物区域内的卫生等问题，仍需工作人员定期干预、解决。

技术实现要素：

本发明的目的是为了解决现有技术中的“无人超市”无法对售空商品及时补给的问题，提出一种智能补货系统及方法。

本发明的智能补货系统，包括，智能货架，包括传感器，用于获取商品图像信息和/或商品重量信息；货仓，用于储存备用商品；后台服务器，接收所述商品图像信息和或商品重量信息，获取商品的基本信息，并判断商品是否缺货及生成取货信号；补货机器人，接收所述取货信号，提取缺货商品的基本信息，制定补货方案，以将所述备用商品从所述货仓输送至所述智能货架上。

在优选的实施方式中，所述商品图像包括所述商品的深度图像、轮廓图像以及彩色图像中的一种或多种；所述缺货商品的基本信息包括：类别、数量、重量、对应的货架位置、货仓存放位置中的一种或多种。

在优选的实施方式中，所述补货方案包括：重构所述智能货架、所述货仓的二维空间图像或者三维空间图像；以及，根据所述二维空间图像或者所述三维空间图像，制定从所述货仓至所述智能货架的补货路线。

在优选的实施方式中，所述补货机器人包括：感知模块，用于获取智能货架、货仓的环境信息以及备用商品的基本信息；机械臂，用于抓取或放开备用商品；无线通讯模块，用于发射或接收信号；信息处理模块，与所述感知模块、所述机械臂、所述无线通讯模块电连接，用于接收、处理所述感知模块的信息以及所述无线通讯模块的信号，重建所述智能货架、所述货仓所在环境的二维或三维图像，制定补货方案，以及操控所述机械臂实现补货功能。

在优选的实施方式中，所述补货机器人还包括，保洁模块，用于清理商品、货架、通道的尘埃、污垢；所述保洁模块又包括，吸尘装置以及地板清洁装置。

在优选的实施方式中，所述智能货架还用于获取货架和/或通道的图像信息，并将所述图像信息发送至所述后台服务器中，所述后台服务器根据所述图像信息判断所述商品、货架和/或通道是否需要执行保洁操作，以生成保洁信号发送给所述补货机器人；所述补货机器人接收所述保洁信号并制定保洁方案，以完成所述商品、货架和/或通道的保洁。

在优选的实施方式中，所述感知模块包括深度相机、rgb相机、激光雷达传感器、超声波传感器中的任意一种或多种组合。

在优选的实施方式中，所述感知模块包括深度相机、rgb相机，所述信息处理模块通过所述深度相机、rgb相机获取的环境图像及slam技术，实现所述智能货架、所述货仓的二维或三维图像重建及避障功能；或者，所述感知模块包括激光传感器，所述信息处理模块通过所述激光传感器以及slam技术，实现所述智能货架、所述货仓的二维或三维图像重建及避障功能。

本发明还提出一种智能补货方法，包括步骤：智能货架连续或间歇获取商品的图像信息、重量信息，发送至后台服务器中；后台服务器根据所述商品的图像信息、重量信息判断商品是否缺货，以生成取货信号发送给智能补货机器人；智能补货机器人获取所述取货信号，提取缺货商品对应的货架位置信息以及缺货商品所在货仓的位置信息，制定补货方案，以完成缺货商品的补给。

在优选的实施方式中，本发明的智能补货方法还包括智能保洁步骤，所述智能保洁步骤又包括：所述智能货架连续或间歇地获取商品、货架和/或通道的图像信息，并将所述图像信息发送至所述后台服务器中；所述后台服务器根据所述图像信息判断所述商品、货架和/或通道是否需要执行保洁操作，以生成保洁信号发送给所述补货机器人；所述补货机器人接收所述保洁信号并制定保洁方案，以完成所述商品、货架和/或通道的保洁。

与现有技术相比，本发明的有益效果有：

本发明的智能补货系统及方法，针对无人值守的购物方案，能够及时智能地补充售空商品，不仅能够节省“无人超市”的人力成本、管理成本，还能够提高用户在“无人超市”中的购物体验。

进一步地，本发明的智能补货系统及方法还兼具保洁功能及保洁步骤，在及时智能补货的同时还能够对购物区域的地面、商品、货架进行保洁，进一步节省“无人超市”的人力成本、管理成本，并进一步提高用户的购物体验。

附图说明

图1是本发明一个实施例的智能补货系统结构示意图；

图2是本发明一个实施例的智能补货机器人结构示意图；

图3是本发明另一个实施例的智能补货机器人结构示意图；

图4是本发明一个实施例中补货或保洁路线规划示意图；

图5是本发明一个实施例中智能补货方法的流程图；

图6是本发明一个实施例中保洁步骤的子步骤流程图。

具体实施方式

下面结合具体实施方式并对照附图对本发明做进一步详细说明。其中相同的附图标记表示相同的部件，除非另外特别说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

图1是根据本发明实施例的一种智能补货系统。该实施例中，智能补货系统100包括：智能货架101、后台服务器102、补货机器人103、货仓104等。

其中，智能货架101除了用于承载货物的货架外，还包括深度相机、rgb相机或重力传感器(图中未示出)等传感器，用于实时获取货架上商品的基本信息。需要理解的是，商品的基本信息包括商品类别、单价、数量、重量、对应货架的位置以及货仓存放的位置等信息中的任意一种或多种组合。一种实施方式中，智能货架101通过深度相机、rgb相机获取货架上商品的图像(包括深度图像、轮廓图像以及彩色图像等)，并通过有线或无线通讯设备传输至后台服务器102中；后台服务器102通过相关图像特征提取算法，处理所述商品图像，提取特征信息，并与预存的商品特征信息进行对比分析，最终确定商品的基本信息。在一些其他的实施方式中，智能货架101还可以通过重力传感器分析货架上商品重量的变化，确定商品的基本信息。具体地，比如可以将智能货架划分了多个小区域，每个小区域放置一种商品，并且在每个小区域下方设置一个或多个重力传感器，以实时监测每一个小区域的商品重量变化，最终确定商品的基本信息。

进一步地，在一些实施例中，后台服务器102通过处理、分析智能货架101所获取的商品图像和/或重量数据，判断商品是否需要补货，并自动生成相关取货信号。在其他的一些等效实施例中，后台处理器102可以通过云端存储、大数据等技术，统计已售出的商品种类信息、数量信息，判断智能货架剩余商品的数量，确定是否需要补货等。

其中，后台服务器102包括存储器、处理器、无线通讯设备、供电设备、接口等(图中未示出)，用于数据的接收/处理、信号的接收/发射以及补货机器人的操控等。一种实施方式中，智能货架101上商品的全部信息数据、仓库商品的全部信息数据、相关图像特征提取/处理算法、逻辑运算算法以及相关调用指令等都永久或暂时性地保存在存储器中；处理器通过所述相关图像特征提取/处理算法、逻辑运算算法对智能货架所采集的商品图像信息/重量信息进行预处理，并将处理的结果与预设的临界值进行对比、分析，从而判断智能货架的商品是否需要补货；针对需要补货的货架/商品，处理器通过无线通讯设备向补货机器人发射取货信号。可以理解的是，从所述取货信号中，补货机器人可以提取到的信息包括但不仅限于：缺货商品的类别、单价、对应的货架编号、货仓存储位置、需要补给的数量等信息中的任意一种或多种组合。

其中，补货机器人103在接收到后台处服务器的取货信号后，根据需要补货的商品信息(种类、数量等信息)，确定其对应的货架位置信息以及货仓存储位置信息，并制定补货路线。一种实施方式中，补货机器人103通过深度相机及slam(同步定位及地图创建)技术，对购物区域的二维或三维空间进行实时的重建，以制定最合适的补货路线。具体地，补货机器人103的结构示意图及工作过程，详细见下文实施例。

其中，货仓104用于储备商品，以便补货机器人及时对缺货商品进行补给。应当理解的是，货仓104还应当为补货机器人103提供停放位置及充电设备，以便补货机器人103在不执行补货任务时，能够自助停靠及自助充电等。

图2是根据本发明实施例的一种智能补货机器人结构示意图。该实施例中，补货机器人200包括信息处理模块210、车体220、感知模块230、无线通讯模块240、机械臂250，车体220上放置有用于补货的商品290。补货机器人200的无线通讯模块240接收到后台服务器所发出的取货信号后，启动或唤醒待机状态的补货机器人，并将取货信息反馈至信息处理模块210；信息处理模块210通过感知模块240获取货仓、购物区域的环境信息、商品信息，或者信息处理模块210还能够规划补货路线；进一步地，信息处理模块210通过相关程序、操控指令，操控车体220运动及机械臂290的工作，以便补货机器人将缺货商品从货仓输送至智能货架对应的位置上。

其中，信息处理模块210包括主板、处理器、存储器等软硬设备(图中未示出)，通过相关接口与车体、感知模块、无线通讯模块、机械臂等设备电连接，用于接收/处理信息数据，以及控制各个模块的运作。具体地，所述信息处理模块可以通过一种或多种逻辑运算、相关图像特征提取、处理算法等程序完成信息数据的处理，补货路线的规划，以及生成相关控制指令，统筹各个模块的正常运作。可以理解的是，所述逻辑运算、相关图像特征提取、处理算法等程序都永久或短暂性的保存在所述存储器中。在其他等效实施方式中，信息处理模块210的工作也可以直接由后台服务器102来完成；即后台服务器102直接通过相关逻辑运算、相关图像特征提取、处理算法等程序处理感知模块230所获取的信息数据，完成补货路线的规划，以及通过无线通讯模块240及相关控制指令来实现对智能补货机器人的控制。

其中，车体220包括，电源设备、电机设备、车轮设备等，用于承载及运输商品290。一种实施方式中，信息处理模块210通过相关程序、操控指令，完成对车体220的控制；具体比如，控制车体220的运动轨迹或控制车体220的运行速度等。

其中，感知模块230，可以是深度相机、rgb相机、激光雷达传感器、超声波传感器等设备中的任意一种或多种组合，用于辅助补货机器人感知所处的环境状况以及获取货仓商品的基本信息等。需要理解的是，基于所述感知模块230，补货机器人可以实现商品的识别、障碍物的避让、地图/环境的实时重建等功能。具体地，一种实施方式中，补货机器人通过深度相机、rgb相机(深度相机、rgb相机集成于感知模块中)获取多张环境图像(包括购物区域、货仓等的环境图像)，并传输至信息处理模块210中；信息处理模块210结合相关图像处理算法及slam技术，实现所述环境二维或三维空间的实时重建。在其他实施方式中，补货机器人也可以基于感知模块230的激光雷达传感器及slam技术，实现环境二维或三维空间的实时重建。此外，针对补货机器人的障碍物避让功能，一种实施方式中，补货机器人通过超声波传感器，持续或间歇向空间发射/接收超声波信号，并借助信息处理模块210计算所述发射超声波与所述反射超声波的波长差值或时间差值，确定障碍物的方位，以便购物机器人提前避让。针对补货机器人对货仓商品的识别功能，一种实施方式中，补货机器人可以通过深度相机、rgb相机获取货仓商品的图像，并传输至信息处理模块210；信息处理模块210通过图像特征提取算法、比对算法，对比所采集的商品图像与预存商品的图像，确定所述商品的基本信息以及判断所述商品是否为缺货商品。

其中，无线通讯模块240包括，射频发射/接收设备、采集串口设备、单片机、接口设备等，用于接收后台服务器所发射的取货信号，并传输至信号处理模块中，以便信号处理模块操控补货机器人。具体地，一种实施方式中，无线通讯模块优选窄带低功耗的jtt-433-udlpm201模块。选用该无线通讯模块的好处是，一方面其具有很强的抗干扰能力外；另一方面，其还具有灵敏度高、体积小、透明出射、功耗低、传输距离远等特点。

其中，机械臂250包括，电机、驱动电路、方向舵机等，用于抓取物品，并将物品转移到车体上。具体地，一种实施方式中，机械臂包括两部分：躯干部分和支爪部分；其中，躯干部分可以根据相关操控指令，完成伸缩、旋转等功能；相似地，支爪部分可以根据相关操控指令完成抓取/放开等功能。在一些其他等效实施方式中，机械臂还包括传送带，该传送带可以代替支爪部分，通过传送带直接将缺货商品传输至车体上或者将缺货商品从车体上传输至智能货架上。

考虑到无人值守的购物区域，还存在卫生问题，因此对智能补货机器人做了一定的改进。图3是根据本发明另一个实施例的智能补货机器人结构示意图，该补货机器人还具有保洁功能。该实施例中，图3所示的智能补货机器人300与图2所示的智能补货机器人200基本类似，区别在于，还包括保洁模块，用于清理商品、货架、通道的尘埃、污垢，具体如图3所示，保洁模块又包括吸尘装置251以及地板清洁装置260。其中，吸尘装置251的吸尘口设置在机械臂250的支爪端，具体位置不做限定，随着躯干部分的伸缩、旋转，可以灵活清洁货架、商品不同位置上的尘埃；其中，底板清洁装置260设置在车体220的下方，随着智能补货机器人300的运动轨迹，可以对购物区域的地面进行区域性保洁。

具体地，本发明兼具保洁功能的智能补货系统，在一种实施方式中，智能货架101通过深度相机、rgb相机获取商品、货架、通道全部或者部分图像，并传输至后台服务器102中；后台服务器102通过相关图像处理算法，比对所述全部或部分图像与预存的商品、货架、通道图像，判断商品、货架、通道上是否有尘埃、污渍；当所述商品、货架、通道存在尘埃、污渍时，后台服务器102通过无线设备向智能补货机器人300发出保洁指令。在其他的一些等效实施方式中，可以在智能货架101、通道上设置微电脑激光尘粉仪等监测设备，以监测货架、商品、通道的粉尘浓度；当所述粉尘浓度超过预设的临界值时，后台服务器102通过无线设备向智能补货机器人300发出保洁指令。

在一些其他实施例中，无人值守的购物区域设置了人体红外感应装置，当所述人体红外感应装置监测到购物区域没有消费者时，后台服务器102定期或不定期向智能补货机器人300发出保洁指令，以使智能补货机器人300对购物区域、货架、商品进行整体或局部保洁。

图4是根据本发明实施例的一种补货或保洁路线规划示意图。该实施例中，智能补货系统包括购物区域401以及货仓402；其中购物区域401包括至少一个智能货架，并且可以以任意方式排列或分布。为了便于理解，假设购物区域包括9个智能货架(智能货架a-智能货架i)，并且该9个智能货架以一定方式有规律地分布在购物区域内。一种实施方式中，智能货架连续或间接获取商品的图像、重量信息，并传输至后台服务器中；后台服务器通过处理、分析智能货架所获取的商品图像或者重量数据，判断货架上的商品是否缺货；针对缺货的商品，后台服务器及时生成取货信号，并通过无线通讯设备发送给智能补货机器人。智能补货机器人通过无线通讯模块接收所述取货信号，并根据所述取货信号提取缺货商品的基本信息，制定补货路线。具体地，假设所述缺货商品摆放的货架摆放于智能货架h上，其对应的备货商品位于货仓l位置上，则智能补货机器人根据感知模块以及slam技术，重建购物区域的二维或三维空间，规划至少一条补货路线，并根据补货路线的里程、障碍物的位置等因素，选择最短或最佳的补货路线。在其他的一些实施方式中，购物区域的二维或三维空间事先预存与智能补货机器人的存储器中，当补货机器人接收到后台服务器发射的取货信号后，直接根据缺货商品摆放货架位置以及备货商品的存储位置规划最佳或最短的补货路线。

相似地，当智能货架/激光尘粉仪监测到商品、货架、通道的尘埃、污垢超过预设临界值时，后台服务器向兼具保洁功能的智能补货机器人发送保洁信息；该智能补货机器人根据需要保洁商品、货架、通道的位置信息制定保洁方案，具体与上述制定补货路线方案类似，此处不作重复赘述。

图5是根据本发明实施例的一种智能补货系统工作方法流程图。该智能补货系统的工作方法流程具体包括：

步骤s501，智能货架连续或间歇获取商品的图像信息和/或重量信息等商品信息，并通过有线/无线设备传输至后台服务器中。

步骤s502，后台服务器根据所述商品的图像信息和/或重量信息判断商品是否缺货，以及是否需要执行补货操作；当所述商品未缺货时，返回步骤s501；反正，执行步骤s503。

步骤s503，后台服务器生成取货信号，并通过无线通讯设备发送给智能补货机器人。需要理解的是，所述取货信号所加载的信息包括缺货商品的类别信息、数量信息、对应货架的摆放位置信息以及备用商品的货仓存放位置信息等。

步骤s504，智能补货机器人通过无线通讯模块获取所述取货信号，并提取缺货商品所在货架的位置信息、缺货商品所在货仓的位置信息等其他缺货商品的基本信息，制定补货的方案。需要理解的是，所述补货的方案，包括补货商品的数量、补货路线、补货时间等。

步骤s505，智能补货机器人完成补货路线规划后，执行补货操作，并在完成缺货商品补给操作后返回货仓相关的停靠位置。具体地，所述补货操作包括：在货仓相关位置找到缺货商品；抓取合适数量的缺货商品；以及根据预先规划的补货路线将缺货商品输送至货架相应的位置上。

对于兼具保洁功能的智能补货系统，在本发明的另一个实施例中，其工作过程中还包括保洁步骤，如图6所示，其保洁步骤又具体包括：

步骤s601，智能货架/激光尘粉仪实时获取商品、货架、通道的图像信息或尘埃浓度信息，并通过有线/无线通讯设备发送至后台服务器中。

步骤s601，后台服务器根据所述图像信息、尘埃浓度信息，判断商品、货架、通道是否需要执行保洁操作；当所述商品、货架、通道的尘埃/污垢信息超过预设的临界值时，执行步骤s603；反之，返回步骤s601。

步骤s603，后台服务器生成保洁信号，并通过无线通讯设备发送给具有保洁功能的智能补货机器人。需要理解的是，所述保洁信号所加载的信息包括但不仅限于需要保洁商品、货架、通道的位置信息等。

步骤s604，兼具保洁功能的智能补货机器人通过无线通讯模块获取所述保洁信号，并提需要保洁商品、货架、通道的位置信息，制定保洁的方案。需要理解的是，所述保洁的方案，包括保洁路线、保洁时间等。

步骤s605，兼具保洁功能的智能补货机器人完成保洁路线规划后，执行保洁操作，并在完成保洁操作后返回货仓相关的停靠位置。具体地，所述保洁操作包括但不仅限于，对商品、货架、通道尘埃、污渍的清理，以及对通道纸屑、泥土、细沙的清理等。

在一些实施例中，对于兼具保洁功能的补货机器人，智能补货与智能保洁可以同时进行，比如在补货过程中，智能补货机器人同时对地面实施清洁；又比如在后台服务器综合对补货需求以及保洁需求进行综合处理，并制定一体化的补货以及保洁路径，在智能补货机器人路线行驶过程中同时完全对需要保洁区域的清洁以及补货工作。

区别于现有技术，本发明的有益效果是：搭建智能补货系统以及设计智能补货机器人，以解决现有无人值守购物方案中仍需要人工辅助补货的技术问题；此外，针对无人值守购物区域、商品、货架的保洁问题，设计兼备补货以及保洁功能于一体的智能补货机器人。本发明兼具保洁功能的智能补货系统及智能补货机器人能有效的解决现有无人值守购物方案中的补货及保洁问题，可以进一步地降低无人值守购物方案的人工成本及管理成本。

需要理解的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不密切的单元引入，但这并不代表本实施例中不存在其它的单元。

另外，本发明实施例中所含盖的功能模块，可以根据需要，通过现有技术中的一种或多种编程语言实现。对于公知的编程原理和软件构成，下文虽然不作详细阐述，但应属于本发明技术方案的一部分。

另外,除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/模块拆分为更多步骤/模块，也可将两个或多个步骤/模块或者步骤/模块的部分操作组合成新的步骤/模块，以实现本发明的目的。

上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cdrom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。