一种商品重放检测方法及其装置、电子设备与流程

本发明涉及无人商店技术领域，特别是涉及一种商品重放检测方法及其装置、电子设备。

背景技术：

无人商店，是指无需售货员在商店内进行销售和管理的商店，无人商店由于采用了射频识别技术、人脸识别技术、移动支付技术等高科技技术，可以保证商店内商品的正常销售。无人商店以其方便性、无人监守性，快捷性得到了用户的青睐，目前无人商店正以较快的速度遍布全国各大城市，并且将有规模越来越大的趋势。无人商店的面积也有逐渐增大的趋势，将有可能对普通商店造成竞争上的冲击。

发明人在实现本发明的过程中，发现传统技术至少存在以下问题：用户购买商品并在结账时，往往会临时退掉该商品的购买。退掉后，用户往往会随意乱放该商品，由于无人商店缺乏管理员看管，导致无人商店的商品容易出现错放、乱放等现象。

技术实现要素：

本发明实施例一个目的旨在提供一种商品重放检测方法及其装置、电子设备，其能够检测用户重放的商品是否属于货物摆放区域内的原定商品。

为解决上述技术问题，本发明实施例提供以下技术方案：

在第一方面，本发明实施例提供一种商品重放检测方法，应用于无人商店，所述无人商店包括若干货架，每个所述货架皆设有货物摆放区域，每个所述货物摆放区域的顶部四角皆设有摄像头，每个所述摄像头皆用于拍摄位于所述货物摆放区域内的商品，并且，每个所述货物摆放区域的底板皆设置有称重传感器，所述称重传感器用于检测放置于所述货物摆放区域内的商品总重量；

所述方法包括：

在检测到第一商品重新放置货物摆放区域时，获取放置在所述货物摆放区域内的原定商品的商品信息，所述原定商品的商品信息包括商品变形指数与商品重量；

根据所述原定商品的商品变形指数与商品重量，检测所述第一商品是否属于所述原定商品的种类。

可选地，所述根据所述原定商品的商品变形指数与商品重量，检测所述第一商品是否属于所述原定商品的种类，包括：

判断所述原定商品的商品变形指数是否大于预设变形阈值；

若大于，根据图像分析算法，检测所述第一商品是否匹配预设商品图像模板，根据检测结果，判断所述第一商品是否属于所述原定商品的种类；

若小于，获取重放所述第一商品到所述货物摆放区域前的第一商品总重量与重放所述第一商品到所述货物摆放区域后的第二商品总重量，根据所述原定商品的商品重量、所述第一商品总重量及所述第二商品总重量，判断所述第一商品是否属于所述原定商品的种类。

可选地，所述根据检测结果，判断所述第一商品是否属于所述原定商品的种类，包括：

若所述第一商品匹配预设商品图像模板，所述第一商品属于所述原定商品的种类；

若所述第一商品未匹配预设商品图像模板，所述第一商品不属于所述原定商品的种类。

可选地，所述根据所述原定商品的商品重量、所述第一商品总重量及所述第二商品总重量，判断所述第一商品是否属于所述原定商品的种类，包括：

求取所述第一商品总重量减去所述第二商品总重量之差值的绝对值；

判断所述绝对值是否为所述原定商品的商品重量的倍数；

若是，所述第一商品属于所述原定商品的种类；

若否，所述第一商品不属于所述原定商品的种类。

可选地，所述方法还包括：

若所述第一商品不属于所述原定商品的种类，提示用户放置错误。

在第二方面，本发明实施例提供一种商品重放检测装置，应用于无人商店，所述无人商店包括若干货架，每个所述货架皆设有货物摆放区域，每个所述货物摆放区域的顶部四角皆设有摄像头，每个所述摄像头皆用于拍摄位于所述货物摆放区域内的商品，并且，每个所述货物摆放区域的底板皆设置有称重传感器，所述称重传感器用于检测放置于所述货物摆放区域内的商品总重量；

所述装置包括：

获取模块，用于在检测到第一商品重新放置货物摆放区域时，获取放置在所述货物摆放区域内的原定商品的商品信息，所述原定商品的商品信息包括商品变形指数与商品重量；

检测模块，用于根据所述原定商品的商品变形指数与商品重量，检测所述第一商品是否属于所述原定商品的种类。

可选地，所述检测模块包括：

第一判断单元，用于判断所述原定商品的商品变形指数是否大于预设变形阈值；

第一检测单元，用于若大于，根据图像分析算法，检测所述第一商品是否匹配预设商品图像模板，根据检测结果，判断所述第一商品是否属于所述原定商品的种类；

第二检测单元，用于若小于，获取重放所述第一商品到所述货物摆放区域前的第一商品总重量与重放所述第一商品到所述货物摆放区域后的第二商品总重量，根据所述原定商品的商品重量、所述第一商品总重量及所述第二商品总重量，判断所述第一商品是否属于所述原定商品的种类。

可选地，所述第一检测单元具体用于：

若所述第一商品匹配预设商品图像模板，所述第一商品属于所述原定商品的种类；

若所述第一商品未匹配预设商品图像模板，所述第一商品不属于所述原定商品的种类。

可选地，所述第二检测单元具体用于：

求取所述第一商品总重量减去所述第二商品总重量之差值的绝对值；

判断所述绝对值是否为所述原定商品的商品重量的倍数；

若是，所述第一商品属于所述原定商品的种类；

若否，所述第一商品不属于所述原定商品的种类。

在第三方面，本发明实施例提供一种电子设备，应用于无人商店，所述无人商店包括若干货架，每个所述货架皆设有货物摆放区域，每个所述货物摆放区域的顶部四角皆设有摄像头，每个所述摄像头皆用于拍摄位于所述货物摆放区域内的商品，并且，每个所述货物摆放区域的底板皆设置有称重传感器，所述称重传感器用于检测放置于所述货物摆放区域内的商品总重量；

所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够用于执行任一项所述的商品重放检测方法。

在本发明各个实施例提供的商品重放检测方法及其装置、电子设备中，无人商店包括若干货架，每个货架皆设有货物摆放区域，每个货物摆放区域的顶部四角皆设有摄像头，每个摄像头皆用于拍摄位于货物摆放区域内的商品，并且，每个货物摆放区域的底板皆设置有称重传感器，称重传感器用于检测放置于货物摆放区域内的商品总重量。电子设备在检测到第一商品重新放置货物摆放区域时，获取放置在货物摆放区域内的原定商品的商品信息，原定商品的商品信息包括商品变形指数与商品重量，根据原定商品的商品变形指数与商品重量，检测第一商品是否属于原定商品的种类。因此，其能够检测用户重放的商品是否属于货物摆放区域内的原定商品，从而在后续操作上指示用户正确重放商品作好准备。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供一种无人商店的结构示意图；

图2是本发明实施例提供的一种无人商店的结构框图；

图3是本发明实施例提供一种商品重放检测装置的结构示意图；

图4是图3中检测模块的结构示意图；

图5是本发明实施例提供一种商品重放检测方法的流程示意图；

图6是本发明实施例提供一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1是本发明实施例提供一种无人商店的结构示意图。如图1所示，该无人商店100设有结账区域10和商品区，商品区用于摆放商品，结账区域10用于对商品进行结算，该结账区域10设有第一出口11和第二出口12，当第一出口11开启时，结账区域10和商品区连通，用户可以从商品区进入该结账区域10，当第二出口12开启时，用户可以从结账区域10步行至无人商店100的外界环境，离开无人商店。

可选地，该结账区域10为“z”形状，该第一出口11和第二出口12分别设置在该“z”形状的结账区域。

该无人商店100还设有入口，该入口用于使用户进入该无人商店100，并且该入口只允许用户进入。

请一并参阅图1和图2，该无人商店100还包括传感器20、第一摄像头30、射频读写设备40以及处理器50。

其中，传感器20、第一摄像头30以及射频读写设备40分别连接处理器50。

传感器20具体用于检测第一出口11的预设区域内是否存在用户的感应信号，当该预设区域内存在用户时，即触发该感应信号产生。该预设区域具体是商品区内接近第一出口11的区域，用户只有通过该区域才能进入结账区域10。因此，当检测到预设区域内存在用户的感应信号时，即表示有用户想离开无人商店，并且其当前状态是待进入结账区域10。

第一摄像头30包含多个，并且设置在无人商店100内，其具体设置在结账区域10内、第一出口11处、第二出口12处、无人商店100的进口处以及商品区等等。该第一摄像头30用于采集用户图像，并且将采集到的用户图像发送至处理器50。

在一些实施例中，第一摄像头30可以对同一用户进行运动轨迹追踪。例如，当无人商店100的进口处拍摄到用户a进入无人商店后，根据用户a在无人商店100内的活动区域，由该区域对应的第一摄像头30拍摄用户a的图像，一直到用户a离开该无人商店100，才结束对用户a的图像采集，获取用户a在无人商店内活动时的全部图像后，可以根据图像采集的先后顺序分析用户a的运动轨迹，从而可以根据该运动轨迹准确识别用户a，以及分析用户a所购买的商品的类别等。

射频读写设备40用于识别结账区域内是否存在商品，并且还用于读取用户所购买的商品的信息，该信息包括商品价格、商品品名、商品类别等等。该射频读写设备40将读取到的商品信息发送至处理器50。该射频读写设备40具体可以是rfid读写器。

处理器50用于接收传感器20、第一摄像头30以及射频读写设备40发送的相关信息，并且对这些相关信息进行处理。本实施例中的处理器50具体用于处理自动结账的问题。

具体地，当传感器20检测到第一出口11的预设区域内存在用户的感应信号后，将该感应信号发送至处理器50，此时，处理器50控制第一摄像头30采集该结账区域10内的第一区域图像，第一摄像头30将采集到的第一区域图像发送至处理器50。处理器50用于根据该第一区域图像，判断结账区域10内是否有人；如果没有人，控制第一出口11的门开启，以及控制第一摄像头30采集所述结账区域10的第二区域图像，并且获取所述第二区域图像，从而根据所述第二区域图像，判断所述结账区域10内是否只有一位用户；如果结账区域10内只有一位用户，并且通过射频读写设备40检测到结账区域10内存在商品时，则控制第一出口11的门关闭，以及获取所述用户的面部特征，并且根据所述面部特征获取所述用户的账号，以及通过所述射频读写设备40获取所述用户选购的商品信息以及其对应的价格；根据所述价格从所述用户的账号中扣除相应的金额，并且控制所述第二出口12的门开启。在这里，只有在结账区域10内只有一位用户并且存在商品时，才执行相应的结账操作，而且在结账时通过人脸识别来识别当前用户，从而能够准确的识别用户，以保证结账更准确。

进一步的，无人商店100包括若干货架，每个货架皆设有货物摆放区域，每个货物摆放区域的顶部四角皆设有第二摄像头，每个第二摄像头皆用于拍摄位于货物摆放区域内的商品，并且，每个货物摆放区域的底板皆设置有称重传感器，称重传感器用于检测放置于货物摆放区域内的商品总重量。

一般的，如前所述，用户在购买商品时，往往会临时推掉该商品的购买。退掉后，用户往往会随意乱放该商品，由于无人商店缺乏管理员看管，导致无人商店的商品容易出现错放、乱放等现象。

基于此，电子设备在检测到第一商品重新放置货物摆放区域时，获取放置在货物摆放区域内的原定商品的商品信息，原定商品的商品信息包括商品变形指数与商品重量。

第一商品为用户向货架的货物摆放区域重新放置的商品，此处的“第一商品”中“第一”是为了区别下文涉及的“原定商品”，不对“第一商品”构成其它限制，其数量可以为一个，亦可以为多个。可以理解的是：“第一商品”可以为“原定商品”，亦即，用户首次从货物摆放区域取走“原定商品”，第二次时，用户将“原定商品”重新放回货物摆放区域，此时，“第一商品”为“原定商品”。“第一商品”亦可以不是“原定商品”，亦即，用户首次从货物摆放区域取走“原定商品”，第二次时，用户将“非原定商品”重新放回货物摆放区域，此时，“第一商品”不为“原定商品”。

原定商品为无人商店管理者根据业务需求，在特定货物摆放区域摆放特定的商品，例如，在薯片摆放区域摆放薯片，在矿泉水摆放区域摆放矿泉水。

商品变形指数为商品外观包装在外力作用下变形的程度，不同商品，其商品变形指数亦不同。各个商品的商品变形指数由商家按照统一标准制定，在本实施例中，商品变形指数的取值范围为0至10，例如，对于薯片，其外观包装在正常使用下容易变形，薯片的商品变形指数为10。对于香烟，其外观包装在正常使用下比较不太容易变形，香烟的商品变形指数为4。对于铁罐装饮料，其外观包装在正常使用下是不会变形的，铁罐装饮料的商品变形指数为0。对于塑料瓶装饮料，其外观包装在正常使用下是比较不会容易变形的，塑料瓶装饮料的商品变形指数为3。

商品重量为外观包装完整下，商品的重量。一般而言，不同商品的商品重量不同，通过区分商品重量，亦可以区分出商品的种类。

商品数据库预存有每个货架上每个货物摆放区域内的原定商品的商品信息。当用户重新将第一商品放置货物摆放区域时，各个第二摄像头拍摄此时的图像，并将图像发送至电子设备，触发电子设备从商品数据库中遍历出该货物摆放区域内的原定商品的商品信息。于是，电子设备根据原定商品的商品变形指数与商品重量，检测第一商品是否属于所述原定商品的种类。

举例而言，电子设备判断原定商品的商品变形指数是否大于预设变形阈值；若大于，根据图像分析算法，检测第一商品是否匹配预设商品图像模板，根据检测结果，判断第一商品是否属于原定商品的种类。若第一商品匹配预设商品图像模板，第一商品属于原定商品的种类；若第一商品未匹配预设商品图像模板，第一商品不属于原定商品的种类。

预设商品图像模板由无人商店管理者预先对原定商品进行图像训练，预存了多种与原定商品匹配的商品图像模板。

由于原定商品的商品变形指数大于预设变形阈值，原定商品的外观包装是不会容易变形的，电子设备通过图像分析算法便可以快速、准确地检测“第一商品”是否属于“原定商品”的种类。

再举例而言，若原定商品的商品变形指数小于预设变形阈值，电子设备获取重放第一商品到货物摆放区域前的第一商品总重量与重放第一商品到货物摆放区域后的第二商品总重量，根据原定商品的商品重量、第一商品总重量及第二商品总重量，判断第一商品是否属于原定商品的种类。例如，电子设备求取第一商品总重量减去第二商品总重量之差值的绝对值，判断绝对值是否为原定商品的商品重量的倍数；若是，第一商品属于原定商品的种类；若否，第一商品不属于原定商品的种类。

由于原定商品的商品变形指数小于预设变形阈值，原定商品的外观包装是容易变形的，如果电子设备采用图像分析算法来分析“第一商品”，一方面，其分析的结果不够准确，另一方面，分析过程比较复杂，实时性比较差。基于此，电子设备可以采用重量计算方法，以判断第一商品是否属于原定商品的种类。

一般的，用户首次可能从货物摆放区域同时取出多个原定商品，例如，用户首次从薯片摆放区域取出3包薯片。但是，用户退回商品时，第二次可能退回2包薯片或1包薯片。因此，为了采用重量计算方法能够更加准确判断第一商品是否属于原定商品的种类，电子设备判断绝对值是否为原定商品的商品重量的倍数，若是，第一商品属于原定商品的种类；若否，第一商品不属于原定商品的种类。

在一些实施例中，若第一商品不属于原定商品的种类，电子设备提示用户放置错误，以便用户重新放置“第一商品”。

作为本发明实施例的另一方面，本发明实施例提供一种商品重放检测装置。本发明实施例的商品重放检测装置可以作为其中一个软件功能单元，商品重放检测装置包括若干指令，该若干指令存储于存储器内，处理器可以访问该存储器，调用指令进行执行，以完成下述商品重放检测方法。

请参阅图3，商品重放检测装置300包括：获取模块31、检测模块32及提示模块33。

获取模块31用于在检测到第一商品重新放置货物摆放区域时，获取放置在所述货物摆放区域内的原定商品的商品信息，所述原定商品的商品信息包括商品变形指数与商品重量；

检测模块32用于根据所述原定商品的商品变形指数与商品重量，检测所述第一商品是否属于所述原定商品的种类。

提示模块33用于若所述第一商品不属于所述原定商品的种类，提示用户放置错误。

因此，其能够检测用户重放的商品是否属于货物摆放区域内的原定商品，从而在后续操作上指示用户正确重放商品作好准备。

在一些实施例中，请参阅图4，检测模块32包括：第一判断单元321、第一检测单元322及第二检测单元323。

第一判断单元321用于判断所述原定商品的商品变形指数是否大于预设变形阈值；

第一检测单元322用于若大于，根据图像分析算法，检测所述第一商品是否匹配预设商品图像模板，根据检测结果，判断所述第一商品是否属于所述原定商品的种类；

第二检测单元323用于若小于，获取重放所述第一商品到所述货物摆放区域前的第一商品总重量与重放所述第一商品到所述货物摆放区域后的第二商品总重量，根据所述原定商品的商品重量、所述第一商品总重量及所述第二商品总重量，判断所述第一商品是否属于所述原定商品的种类。

在一些实施例中，第一检测单元322具体用于：若所述第一商品匹配预设商品图像模板，所述第一商品属于所述原定商品的种类；若所述第一商品未匹配预设商品图像模板，所述第一商品不属于所述原定商品的种类。

在一些实施例中，第二检测单元323具体用于：求取所述第一商品总重量减去所述第二商品总重量之差值的绝对值；判断所述绝对值是否为所述原定商品的商品重量的倍数；若是，所述第一商品属于所述原定商品的种类；若否，所述第一商品不属于所述原定商品的种类。

需要说明的是，上述商品重放检测装置可执行本发明实施例所提供的商品重放检测方法，具备执行方法相应的功能模块和有益效果。未在商品重放检测装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的商品重放检测方法。

作为本发明实施例的另一方面，本发明实施例提供一种商品重放检测方法。请参阅图5，商品重放检测方法500包括：

s51、在检测到第一商品重新放置货物摆放区域时，获取放置在货物摆放区域内的原定商品的商品信息，原定商品的商品信息包括商品变形指数与商品重量；

s52、根据原定商品的商品变形指数与商品重量，检测第一商品是否属于原定商品的种类；

s53、若第一商品不属于原定商品的种类，提示用户放置错误。

因此，其能够检测用户重放的商品是否属于货物摆放区域内的原定商品，从而在后续操作上指示用户正确重放商品作好准备。

在一些实施例中，s52包括：判断所述原定商品的商品变形指数是否大于预设变形阈值；若大于，根据图像分析算法，检测所述第一商品是否匹配预设商品图像模板，根据检测结果，判断所述第一商品是否属于所述原定商品的种类；若小于，获取重放所述第一商品到所述货物摆放区域前的第一商品总重量与重放所述第一商品到所述货物摆放区域后的第二商品总重量，根据所述原定商品的商品重量、所述第一商品总重量及所述第二商品总重量，判断所述第一商品是否属于所述原定商品的种类。

在一些实施例中，s52具体包括：若所述第一商品匹配预设商品图像模板，所述第一商品属于所述原定商品的种类；若所述第一商品未匹配预设商品图像模板，所述第一商品不属于所述原定商品的种类。

在一些实施例中，s52具体包括：求取所述第一商品总重量减去所述第二商品总重量之差值的绝对值；判断所述绝对值是否为所述原定商品的商品重量的倍数；若是，所述第一商品属于所述原定商品的种类；若否，所述第一商品不属于所述原定商品的种类。

需要说明的是，在上述各个实施例中，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本公开实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。

作为本发明实施例的另一方面，本发明实施例提供一种电子设备。请参阅图6，该电子设备600包括：一个或多个处理器61以及存储器62。其中，图6中以一个处理器61为例。

处理器61和存储器62可以通过总线或者其他方式连接，图6中以通过总线连接为例。

存储器62作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的商品重放检测方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的非易失性软件程序、指令以及模块，从而执行上述各个实施例的商品重放检测方法，或者上述各个实施例的商品重放检测装置的各种功能应用以及数据处理。

存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器62中，当被所述一个或者多个处理器61执行时，执行上述任意方法实施例中的商品重放检测生成方法，例如，从而执行上述各个实施例的商品重放检测方法，或者上述各个实施例的商品重放检测装置的各种功能应用以及数据处理。

本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使电子设备执行如上任一项所述的商品重放检测方法。

本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行任一项所述的商品重放检测方法。

以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。