本发明涉及一种零售业管理系统的解决方案，具体地说，涉及一种货品监控系统及监控方法。
背景技术：
传统零售业的购物方式，每一家超市货便利店需要有专门的销售人员和收款人员，人力成本较高。随着电子支付技术、身份识别技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。在无人超市项目中，急需解决的一个基本问题就是用户选购货品的判断和记录问题，具体地说，服务器需要准确判断每一个用户在无人超市中的每一次购物行为，确定每一个用户从超市中带走或消费的所有货品的种类、数量及单价，以便为用户实现结算。
现有技术中，有人采用rfid技术感知用户选购的货品，这种方式需要在每一个货品上设置rfid标签，在门禁处设置rfid阅读器，当用户走出门禁时就可以记录其消费内容。这一方案的不足之处在于，首先，硬件成本较高，每一rfid标签的价格大约在0.5-1元左右，标签会提升每一种商品的成本，降低超市的竞争力，对于成本为5元的货品来说，加装rfid标签会提升其成本的10-20%；其次，货品感知存在被屏蔽、被去除的可能性，从而出现用户蒙蔽rfid阅读器的现象，导致货品丢失；再次，该方案中只有在超市门禁处才能实现结算，如果有用户在离店前将可食用的货品吃掉，将包装留在超市里，rfid阅读器也无法感知和确定用户的真实消费金额。也就是说，这一方案高度依靠用户的自律性和道德水平，而不是用技术手段加以约束，这样的无人超市在经营过程中的风险较大。
技术实现要素：
本发明的目的在于，提供一种货品监控系统及监控方法，可有效解决现有技术中存在的货品识别精准度差、误差较大、货品易丢失、经营风险大的技术问题。
为实现上述目的，本发明提供一种货品监控系统，包括封闭空间，其内设有货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；第一货品感知系统，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及第二货品感知系统，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。
为实现上述目的，本发明还提供一种货品监控方法，包括如下步骤：架板设置步骤，在封闭空间内设置货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；第一货品感知步骤，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及第二货品感知步骤，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。
本发明的有益效果在于，提供一种货品监控系统及监控方法，应用于无人超市，采用架板重量监测技术实时感知每一架板的重量变化，结合货架前方区域的影像监测技术判断被取走或被放回货品的种类及数量；利用人体实时定位技术判断取走或放回货品的用户身份，从而记录每一用户在无人超市中取走货品的种类及数量，在购物过程完成后为其结算。本发明用技术手段解决了用户错拿错放的技术问题，即使用户将货品错放在其他架板上，也可以准确有效地记载用户的购物信息，确保用户结算信息与实际购物情况始终相符。
本发明中货品无需增加硬件成本，系统感知灵敏，误差极小，可准确判断每一用户每次取走或放回货品的购物行为，可准确记录每一用户在无人超市购买货品的种类及数量，可以有效杜绝偷盗现象。此外，本发明需要的用户操作较少，只需入门前扫码及确认支付即可，进入方便，结算快捷，用户体验良好。相对于传统零售行业，使用本发明的无人超市，运营过程中完全依靠计算机监管，无需人工干预，可以有效降低人力成本。
附图说明
图1为本发明实施例所述的无人超市俯视图；
图2为本发明实施例所述的托盘及架板的结构示意图；
图3为本发明实施例所述货架的整体结构示意图；
图4为本发明实施例所述用户身份识别系统的结构框图；
图5为本发明实施例所述目标物定位系统的结构框图；
图6为本发明实施例所述第一货品感知系统的结构框图；
图7为本发明实施例所述第二货品感知系统的结构框图；
图8为本发明实施例所述第二摄像头与所述货架的位置关系示意图；
图9为本发明实施例所述购物用户判断系统的结构框图；
图10为本发明实施例所述购物数据库系统的结构框图；
图11为本发明实施例所述纠错系统的结构框图；
图12为本发明实施例所述结算系统的结构框图；
图13为本发明实施例中一种货品监控方法的流程图；
图14为本发明实施例中第一货品感知步骤的流程图；
图15为本发明实施例中取放状态判断步骤的流程图；
图16为本发明实施例中购物信息记录步骤的流程图；
图17为本发明实施例中第二货品感知步骤的流程图；
图18为本发明实施例中货品种类判断步骤的流程图；
图19为本发明实施例中另一种货品监控方法的流程图。
图中部件标号如下：
1封闭空间，2货架，3支架，4托盘，5架板，6重量感应装置，7数据处理设备；
100用户身份识别系统，101门禁装置，102身份识别装置；
1021扫码装置，1022身份获取单元，103用户入口，104用户出口；
200目标物定位系统，201三维影像采集装置，202目标物坐标获取单元；
300第一货品感知系统，301货品数据库生成单元，302重量值采集单元，303取放状态判断单元，304货品数据库更新单元；305货品种类推断单元；
3011初始化单元，3012信息录入单元，3013感应值初始化单元；
3031重量差值计算单元，3032重量差值判断单元，3033架板信息记录单元；3034货品种类判断单元，3035货品数量计算单元；
400第二货品感知系统，401样本采集单元，402模型训练单元，403实时图片采集单元，404货品种类获取单元，405第一摄像头，406第二摄像头；407被放货品确认单元；408取走货品确认单元；
4021样本分类单元，4022分组模型训练单元，4023交叉验证单元；
40221特征提取单元，40222候选区域生成单元，40223候选区域映射单元，40224分类器生成单元；40231测试样本输入单元，40232准确率计算单元；
4041组别标识获取单元，4042标识可信度计算单元；
40411第二特征提取单元，40412第二候选区域生成单元，40413第二候选区域映射单元，40414组别获取单元；
500购物用户判断系统，501货品信息存储单元，502架板坐标存储单元，503架板与用户匹配判断单元，504货品与用户匹配判断单元；
600购物数据库系统，601购物数据库生成单元，602购物数据库更新单元；
700纠错系统，701货品错放判断单元；
800结算系统，801总金额计算单元，802支付单元。
具体实施方式
以下参考说明书附图完整介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，其保护范围并非仅限于文中提到的实施例。在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的部件以相似数字标号表示。
当某些部件被描述为“在”另一部件“上”时，所述部件可以直接置于所述另一部件上；也可以存在一中间部件，所述部件置于所述中间部件上，且所述中间部件置于另一部件上。当一个部件被描述为“安装至”或“连接至”另一部件时，二者可以理解为直接“安装”或“连接”，或者一个部件通过一中间部件间接“安装至”或“连接至”另一个部件。
如图1~3所示，本实施例提供一种用于无人超市的无人售货系统，包括一封闭空间1，其内设有多个货架2，每一货架2包括支架3及可拆卸式安装在支架3上的多个托盘4，多个托盘4在不同高度彼此平行或者在同一高度彼此平齐。每一托盘4上设有多个并列设置的架板5，每一架板5上放置有至少一种货品。本实施例架板5上放置的货品需要便于用户取走或放回，因此，以架板1朝向用户的一端作为架板1的前端。
每一架板1与托盘2之间都设置有一个重量感应装置6，优选重量传感器，其一端的下表面连接至托盘4，其另一端的上表面连接至架板5，每一个重量感应装置6实时获取其上方的架板5及被放置在架板5上表面的物品的重量值，且及时感知所述重量值的变化。
本实施例还包括数据处理设备7，如服务器或计算机等，数据处理设备7内部设有多个数据处理软件，具有多个功能模块，可以通过数据线连接至多个硬件，以软硬件结合方式实现多种功能。
如图4所示，本实施例还包括用户身份识别系统100，用以识别每一用户的身份信息。本实施例所述封闭空间1设有出入口，优选一个用户入口103，一个用户出口104。如图1、4所示，封闭空间1的每一出入口处都设置有门禁装置101，优选一自动闸机。用户身份识别系统100设有身份识别装置102，包括扫码装置1021以及身份获取单元1022，用以获取用户的身份信息。扫码装置1021设置于用户入口103处的门禁装置101的内部或外部，用以扫描身份识别码，优选一二维码；身份获取单元1022为数据处理设备7中的一个功能模块，可以根据所述身份识别码获取用户的身份信息。用户出口104处的门禁装置101无需设置身份识别装置102。
如图5所示，本实施例还包括目标物定位系统200，用以获取每一目标物在封闭空间1的实时位置，所述目标物为用户及其延伸部的全部或局部，目标物定位系统200包括三维影像采集装置201以及设于数据处理设备7内的目标物坐标获取单元202。目标物定位系统200可以实时获取每一用户的手部坐标集，从而确定取走或放回货品的用户身份。
三维影像采集装置201包括至少一影像传感器，用以实时采集至少一帧三维影像，影像传感器平均分布于封闭空间1顶部，其镜头朝向下方，镜头中轴线可以与水平面垂直也可以有一定的倾角，影像传感器的视野范围覆盖封闭空间1的全部底面，从用户扫码进入封闭空间1开始，从用户入口103处开始跟踪每一用户的实时位置。用户在无人超市内行动或购物时，始终处于影像传感器的监视之下，数据处理设备7利用计算机算法可以实时获取用户整体的实时位置坐标及手部实时位置坐标。
本实施例还包括货品监控系统，用以实时监控每一种货品的取放状态，所述取放状态包括货品静置状态、被取走状态及被放回状态；进一步地，当任一种类货品被取走或被放回时，获取被取走或被放回的货品的种类及数量。
所述货品监控系统包括第一货品感知系统300，其为一种基于重量监测的货品感知系统，如图6所示，其包括货品数据库生成单元301、重量值采集单元302、取放状态判断单元303以及货品数据库更新单元304。上述四个单元为数据处理设备7中的功能模块，可以监控每一架板的实时重量感应值，判断被取走或被放回的货品的种类及数量。
货品数据库生成单元301用以生成一货品数据库；货品数据库包括每一货品的货品信息及用以放置货品的每一架板的重量感应值，所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号与货架编号，还包括货品的编号货品名、型号、净含量及单价等。在无人超市布置过程中，优选地，在每一架板5上摆放种类相同、重量相同的多个货品之后，货品信息被录入至数据处理设备7，并存储于货品数据库中。以某品牌饮料为示例，某一架板上摆放有8瓶某品牌饮料，架板的重量为100克，每瓶饮料重量为200克，在初始化后货品数据库中该架板的感应重量值为1700克，该品牌饮料对应的产品名称（某凉茶）、净含量（195ml）、产地（广东）、单价（5元）、单品重量值（200克）、货架编号（1）、架板编号（1-12）、商品编号（025）等信息也被存储在所述货品数据库内。
重量值采集单元302通过数据线分别连接至每一架板5内的重量感应装置6，用以实时采集每一架板5的实时重量感应值，优选地，采集时间间隔为0.1-0.2秒。所述实时重量感应值为重量传感器的感应值，在货品被摆放至架板5之后，代表该架板及该架板上货品的总重量值；在货品被摆放至架板5之前，每一架板的重量感应值代表该架板的重量。当有货品被取走或被放回至架板5时，实时重量感应值会发生变化。
为了减小误差，在架板5上正式摆放货品之前，需要先进行校准处理，用多种不同重量的标准砝码计算重量传感器的感应值x与架板上方放置物品的实际重量值y之间的对应关系。例如，先将架板空置，获取重量感应装置6（重量传感器）的感应值x0，此时架板上货品重量y0=0克；再用重量值为500克、1000克的标准砝码分别放置在架板上，获取重量感应装置6（重量传感器）的感应值x1、x2，对应的架板上货品重量y1=500克，y2=1000克。利用公式y（货品重量值）=k*x（传感器值）+b，计算并存储三组参数k、b的数值，选择其中偏差较小的参数组。在后续的实时监控过程中，重量感应装置6（重量传感器）每次实时采集到的传感器值，结合参数k、b的数值，即可以计算出每一架板上既有货品的总重量。
取放状态判断单元303用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走；若变大，判定有物品被放置于该架板上；若完全不变，说明该架板上的货品完全没有变化，重量值采集单元302重新进行实时采集。取放状态判断单元303包括重量差值计算单元3031、重量差值判断单元3032以及架板信息记录单元3033。
重量差值计算单元3031计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值。例如，前述示例中，若放置前述某品牌饮料的架板重量发生变化，变为1300克或1900克，分别记录重量差值为-400克或200克。
重量差值判断单元3032将至少一架板的重量差值与0对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置，此时不能确定该物品是否为用户之前从货架上取走的货品，也可能是用户的随身物品。例如，前述示例中，重量差值为-400克，即可认定有货品被取走；重量差值为200克，即可以认定有物品被放置在货架上。
当一架板的重量差值大于0或小于0时，架板信息记录单元3033记录该架板的架板编号以及该架板的重量差值。例如，若前述示例中的重量差值-400克，已知该架板重量减少，记录该架板的编号（1-12）。若前述示例中的重量差值200克，已知该架板初始状态下的重量感应值为1700克，此时被放置在该架板上的物品必然不是原货架上的商品，因此很可能是原属于其他架板上的商品或者是用户自带的物品，如雨伞、手机等，此时可选择地生成一个报警信号，提醒管理人员或用户，必要时，可以将该架板的架板编号显示在某一显示器上，以便管理人员或用户及时处理。
取放状态判断单元303还包括货品种类判断单元3034及货品数量计算单元3035。当一架板的重量差值小于0时，货品种类判断单元3034根据该架板编号及该架板对应的货品信息判断被取走货品的种类。例如，已知该架板的编号（1-12），如果每一架板上只放置一种货品，可以判断该货品种类为某凉茶，也可以对应找出其他货品信息，如单品重量值（200克）、净含量（195ml）、产地（广东）、单价（5元）等。如果该架板被放置多种货品，只能根据重量差值初步判断出被取走货品可能的种类及数量。
当一架板的重量差值小于0时，如果每一架板上只放置一种货品，货品数量计算单元3035计算该架板的重量差值的绝对值与该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被取走货品的数量。例如，前述示例中的重量差值-400克，其绝对值为400克，与单品重量值（200克）的比值为2，因此该比值即为被取走货品的数量。由于同种类的多个货品之间也可能存在较小的重量差值，直接计算之后的比值不一定为整数，可能为趋近于某个整数，因此需要利用四舍五入法对该比值进行取整处理，从而可以判断出被取走货品的种类及数量。如果该架板被放置多种货品，根据重量差值及多种货品的重量值初步判断货品的种类及数量。在理想状态下，如果用户素质较高，每一次放回货品时都能将该货品正确放回至该货品原属货架。当一架板的重量差值大于0时，货品种类判断单元3034根据该架板编号及该架板对应的货品信息判断被放回货品的种类。货品数量计算单元3035计算该架板的重量差值的绝对值与该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被放回货品的数量。
货品数据库更新单元304用以存储所述实时重量感应值至所述货品数据库，形成新的重量感应值，以更新所述货品数据库中每一架板的重量感应值，以待下次调用和判断。
第一货品感知系统300的有益效果在于，提供一种基于重量监测的货品感知方案，可以实时监测货架上货品的实时重量感应值，实时感知每一架板的重量变化，由货架上所有架板的重量变化推断出有哪一种货品被取走或被放回，可以判断被取走或被放回货品的种类和数量。第一货品感知系统300的不足之处在于，对于用户自身素质要求较高，每一用户需要放回某货品时，必须将货品放回其原属位置，一旦出现错放现象，货品监控系统就会出错，无法准确判断被取走或被放回的货品种类及数量，从而导致用户的购物记录与实际购物情况不符，严重影响用户结算。
所述货品监控系统还包括第二货品感知系统400，其为一种基于影像监测的货品感知系统。如图7所示，第二货品感知系统400包括样本采集单元401、模型训练单元402、实时图片采集单元403以及货品种类获取单元404，上述四个单元为数据处理设备7中的功能模块，可以监控货架前方区域的实时影像，判断被取走或被放回的货品的种类及数量。
如图7所示，第二货品感知系统400还包括第一摄像头405及第二摄像头406，第一摄像头405连接至样本采集单元401，用以拍摄每一货品多个角度多个距离的图片。第二摄像头406连接至实时图片采集单元403，用以拍摄一货架前方空间的实时图片。优选地，第二摄像头406的数量为两个或四个，如图9所示，设置于货架1的外部，每一第二摄像头406对应货架1的一个角落处；货架1的多个架板5的前端形成一个货架平面，第二摄像头406的视野范围覆盖货架前方空间，所述货架前方空间是指货架前方对应货架平面的空间区域，所述货架前方的空间区域一般是指货架前方30~50厘米的区域范围，每一个第二摄像头406的镜头朝向所述货架平面的中心区域。
如图8所示，优选地，第二摄像头406的镜头的中轴线与水平面夹角为30-60度；和/或，第二摄像头406的镜头与货架1上端或下端的距离为0.8-1.2米；和/或，第二摄像头406的镜头与货架1一侧边的距离为0.8-1.2米，确保第二摄像头406的视野范围可以完全覆盖货架前方空间，当货品被从货架1上被取下或者被放置在货架1上时，取下过程或放置过程的影像被第二摄像头406拍摄到。
如图7所示，样本采集单元401用以采集至少一组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识代表该组图片样本对应的货品的种类。优选地，第一摄像头405对货架1上每种货品需要拍摄不同角度不同距离的3000~5000张照片，并传送至数据处理设备7的样本采集单元401。这些照片中，有些是独立拍摄货品的照片，有些是有背景的货品照片，有些是货品被某人拿在手中的照片，有些是多个同类产品叠放在一起的照片。由于本实施例涉及的无人超市中所销售的货品为标准货品，同一种类货品的外观六面图都是相同或相近似的，因此在同一种类货品中只要选择一个或几个产品，对其进行多次拍照处理即可完成该类货品训练样本的采样。模型训练单元402用以根据多组图片样本中的每一样本图片及每一样本图片的组别标识训练卷积神经网络（cnn）模型，获取货品识别模型。卷积神经网络（convolutionalneuralnetwork，简称cnn）是一种前馈神经网络，对于大型图像处理有出色表现。卷积神经网络包括卷积层（convolutionallayer）和池化层（poolinglayer）。优选地，本实施例中的卷积神经网络模型是目前运算量最小、响应速度最快的fasterrcnn网络模型，该模型的最快响应速度只要0.2秒左右，可以在极短的时间准确识别出图片的物品的种类。如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型，在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证的过程，可以获得更加精确的模型。
模型训练单元402包括样本分类单元4021、分组模型训练单元4022以及交叉验证单元4023。样本分类单元4021将多组所述图片样本随机分成两类，分别为训练样本和测试样本；分组模型训练单元4022将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；交叉验证单元4023用以根据多组测试样本的每一图片及每一组测试样本的组别标识对所述分组模型进行验证，计算模型准确率；当所述分组模型的准确率小于预设阈值（如90%）时，返回所述样本分类单元；当所述分组模型的准确率大于或等于所述预设阈值（如90%）时，所述分组模型为货品识别模型。如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型，在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证单元。
如果模型训练的样本够多，样本的清晰度比较高，直接训练一次，就可以利用fasterrcnn网络模型训练出一个分组模型，该分组模型可以有效判断图片中显示的货品的种类。在其他实施例中，模型训练单元402可以只包括分组模型训练单元4022，将样本采集单元401采集的多组图片样本的全部或部分作为训练样本，将每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型，所述分组模型即为货品识别模型。
分组模型训练单元4022包括特征提取单元40221、候选区域生成单元40222、候选区域映射单元40223以及分类器生成单元40224。特征提取单元40221将每一训练样本的图片输入卷积神经网络，进行特征提取，获取特征图像（featuremap），该特征图像对应训练图片中显示全部或部分货品的区域；候选区域生成单元40222将每一训练样本的图片输入候选区域网络（rpn），生成多个候选区域（regionproposals）；候选区域映射单元40223把每一训练样本的图片候选区域映射到卷积神经网络最后一层卷积层的特征图像上；分类器生成单元40224收集多个训练样本的图片特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络（classfier网络），生成分类器。在该分类器网络中，将对应同一货品的所有训练样本图片的特征图像与该货品的组别标识形成对应关系，该组别标识即为该组图片样本对应的货品的种类。
交叉验证单元4023包括测试样本输入单元40231，准确率计算单元40232，测试样本输入单元40231将多个测试样本的每一图片输入至所述分组模型，获取多个测试样本的测试组别标识；准确率计算单元40232将多个测试样本的测试组别标识与所述测试样本的组别标识对比，计算相同标识的数量与所述测试样本的数量的比值，该比值即为所述初级数据模型的准确率。优选地，将预设阈值设置为90%，当分组模型的准确率小于90%时，样本分类单元4021将样本重新分组、重新训练；当所述分组模型的准确率大于或等于90%时，可以认为所述分组模型即为货品识别模型。
实时图片采集单元403用以连续采集货架前方空间的至少一实时图片，当有用户从货架的某一架板上取走货品时，或者，当有用户放置货品或物品至货架的某一架板时，第二摄像头406可以拍摄到货品在货架前的图片，该图片中包括此货品的全部或一部分，显示该货品的形状、图案及色彩。优选地，第二摄像头的拍摄速度为每秒30帧，快速获取该货品的多张实时图片，传送至实时图片采集单元403。
在连续获取的多帧图片中，每一帧图片中货品与货架边缘处的距离都是不同的，数据处理设备7可以计算所述距离的变化判断货品与货架距离变化，如果所述距离变大，可以认为货品被从货架上取走，如果所述距离变小，可以认为货品被放置在货架上。
假设用户手持货品在货架前方停留1秒钟，两个第二摄像头406以每秒30帧的速度拍摄照片，两个第二摄像头406可以在1秒钟内获取不同角度的60张实时图片，每一图片的显示内容可以包括用户的手部及货品的局部。第二摄像头406可以为长时间持续运行的设备，也可以在货架板上设置一个感应开关，连接至第二摄像头406，平时为断电状态，当有用户行进至货架附近时，感应开关连通，第二摄像头406通电启动；当用户离开时，第二摄像头406断电关闭。
货品种类获取单元404用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。货品种类获取单元404包括组别标识获取单元4041以及标识可信度计算单元4042。
组别标识获取单元4041将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识，作为可能性结论。组别标识获取单元4041包括第二特征提取单元40411、第二候选区域生成单元40412、第二候选区域映射单元40413以及第二组别获取单元40414。第二特征提取单元40411将一实时图片输入卷积神经网络，进行特征提取，获取特征图像；第二候选区域生成单元40412将所述实时图片输入候选区域网络，生成多个候选区域；第二候选区域映射单元40413把所述实时图片的候选区域映射到卷积神经网络最后一层的特征图像上；组别获取单元40414收集多个图片的特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，获取该实时图片所对应的组别标识。实时图片采集单元403在某一时段采集到的多张实时图片，在预处理后输入至所述货品识别模型，例如，1秒钟内采集到60张图片，就可以获取60个组别标识。
标识可信度计算单元4042计算所述可能性结论中所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。对比上述的60个组别标识，如果与60个组别标识相应的60个货品种类中，出现货品a的次数为36，出现货品b的次数为18，出现货品c的次数为6，则三者的可信度分别为60%、30%及10%，可以认定所述实时图片上所显示的货品的种类为可信度最高的货品a。如果样本采集单元401采集的图片样本中包括多个同类货品叠放在一起的照片，货品种类获取单元404还可以进一步判断货品的数量。
第二货品感知系统400可以实时监测货架前方空间的影像，利用机器学习中的卷积算法推断出货品的种类及数量，并选择可信度最高的结果作为最后结论，由于本实施例采用的是目前运算量最小、响应速度最快的fasterrcnn网络模型，可以在0.2秒内做出判断及反馈，即使出现货品错放的现象也不会影响判断结果。
如图9所示，本实施例还包括购物用户判断系统500，其为数据处理设备7中的功能模块，当任一种类货品被取走或被放回时，根据所述用户的身份信息及所述用户的实时位置获取取走或放回货品的用户身份。购物用户判断系统500包括货品信息存储单元501、架板坐标存储单元502、架板与用户匹配判断单元503以及货品与用户匹配判断单元504。
第一货品感知系统300中的货品数据库生成单元301及货品数据库更新单元304生成或更新的货品数据库皆存储于货品信息存储单元501中。
目标物定位系统200在所述封闭空间内建立三维坐标系，由于货架1及架板5的位置确定，因此建立坐标系后即可获取各个货架1及各个架板5的坐标，货架坐标集及架板坐标集存储于架板坐标存储单元502中，设置架板上方的用以放置货品的架板空间的高度，即可获取所述架板空间的坐标集。
目标物坐标获取单元202可以获取每一用户手部的实时坐标集，当一架板5上方的架板空间的坐标集与一用户手部坐标集有交集时，架板与用户匹配判断单元503判定该架板5与该用户匹配，可以认为该用户将手部伸入至该架板5上方的架板空间，用户的行为可能是取走货品或者放回货品。当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，货品与用户匹配判断单元504判定该货品与该用户匹配，该货品在这一时刻被该用户从该架板上取走或放置到该架板上，从而确定该用户的身份。
如图10所示，本实施例还包括购物信息记录单元600，其为数据处理设备7中的功能模块，根据每一用户的身份信息生成至少一购物数据库，用以记录每一用户取走至少一货品的种类及数量。购物信息记录单元600包括购物数据库生成单元601以及购物数据库更新单元602。
当一用户的身份被用户身份识别系统100识别时，购物数据库生成单元601根据所述用户的身份信息在数据处理设备7中生成该用户的购物数据库，初始状态下的购物数据库无任何购物信息。
购物数据库更新单元602根据被取走货品的种类及数量以及取走货品的用户的身份信息生成一组购物信息，并存储至该用户的购物数据库，该购物信息中包括此刻被取走货品的种类及数量，以及该货品的货品信息，如货品名、型号、净含量及单价，等等。用户在封闭空间1内多次取走货品之后，其购物数据库内包括多组购物信息，由于用户随身携带的移动通信终端与数据处理设备7以无线通信方式连接并进行数据交换，因此，购物数据库中的购物信息也可以显示在用户的移动通信终端的app界面上。
当任一货品与一用户匹配时，如果某一架板5的实时重量感应值减小，说明有货品从该架板上被取走，货品种类判断单元3034根据所述货品数据库内存储的货品信息及重量差值小于0的架板编号判断被取走货品的种类及数量，购物数据库更新单元602根据取货用户的身份、被取走货品的种类及数量生成购物信息，存储至该用户的购物数据库中。
当任一货品与一用户匹配时，如果某一架板5的实时重量感应值增大，说明有货品被放回该架板上，货品种类判断单元3034根据所述货品数据库内存储的货品信息及重量差值大于0的架板编号判断被放回货品的种类及数量。购物数据库更新单元602根据放回货品用户的身份、被取走货品的种类及数量生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。
第一货品感知系统300、第二货品感知系统400、购物用户判断系统500以及购物信息记录单元600可以互相配合工作，当有物品被放回货架时，利用重量监测技术和影像监测技术两次判断被放回物品的种类及数量，判断是否出现错放现象，所述错放现象是指被放回货品与被放回货架上原有货品不一致的现象。如果出现错放现象，记录被错放架板的架板编号，当被错放架板上有货品被取走时，进一步判断被取走货品的种类及数量。
如图11所示，本实施例还包括纠错系统700，包括第一货品感知系统300、第二货品感知系统400、购物用户判断系统500以及购物信息记录单元600中的一部分功能模块。
如图6、图11所示，第一货品感知系统300还包括货品种类推断单元305，当出现错放现象时，根据放回货品用户的购物数据库及架板重量差值推断被放回货品可能的种类及数量。如图7、图11所示，第二货品感知系统400还包括被放货品确认单元407以及取走货品确认单元408，当出现错放现象时，被放货品确认单元407确认被错放货品的种类及数量；当被错放架板上有货品被取走时，取走货品确认单元408确认被错放架板上被取走货品的种类及数量。
当取放状态判断单元303判断出一架板的重量差值大于0时，且架板与用户匹配判断单元503判定该架板5与一用户匹配，可以确定有货品被该用户放回至该架板。
当货品被一用户放回至一架板时，货品种类推断单元305判断该用户的购物数据库中至少一种已购货品的重量值总和与该架板的重量差值是否相等。若是，推断出被放回货品的种类及数量的r种可能性结论；若否，推断出放置于该架板上的物品为该用户的随身物品，将该架板的重量差值记录为随身物品的重量值s。由于用户购物数据库中的货品种类和数量都比较少，数据处理设备7很快会计算出被放回货品可能的种类及数量。例如，若该架板的重量差值为200克，且已购货品中有两个100克的货品a及四个50克的货品b，可以初步判断被放回该架板的物品可能是2个货品a，或者1个货品a及2个货品b，或者4个货品b。若该架板的重量差值为50克，但该用户已购货品的重量都在100克以上，可以推断该物品并非货架上原有货品，而是该用户的随身物品，记录其架板编号及其重量值s=50克，将其存储至货品信息存储单元501中的货品数据库。
当货品被一用户放回至一架板时，货品种类获取单元404根据所述货架前方空间的实时图片及一货品识别模型获取被放回货品的种类及数量的t种可能性结论，并记录每种可能性结论的可信度。
被放货品确认单元407对比货品种类获取单元404获取被放回货品的种类及数量的t种可能性结论与货品种类推断单元305推断出的被放回货品的种类及数量的r种可能性结论，若所述t种可能性结论与所述r种可能性结论中有至少一可能性结论相同，一组或多组相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被放回货品的种类及数量。例如，货品种类推断单元305有三种可能性结论，分别为2个货品a，或者1个货品a及2个货品b，或者4个货品b；同时，货品种类获取单元404有两种可能性结论，分别为2个货品a，或者1个货品a及2个货品ｃ；两组结果中只有一个可能性结论是相同的，即2个货品a，从而可以确认被放回货品的种类为货品a，其数量为2个。如果对比后有两组以上的可能性结论是相同的，选择其中可信度最大的可能性结论作为最终结论。
纠错系统700还包括货品错放判断单元701，当物品被一用户放回至一架板时，货品错放判断单元701对比所述被放回货品的种类与货品数据库中该架板对应的货品种类，若被放回货品中仅有一种货品，且与该架板对应的货品种类相同，说明用户放回位置正确，无错放现象。若被放回货品中有至少一种货品与该架板对应的货品种类不同，货品错放判断单元701记录该架板为错放架板，记录被错放货品的货品信息及该架板编号，可以将其存储至货品信息存储单元501中的货品数据库。
当货品被从一错放架板取走时，货品种类推断单元305根据该架板编号、该架板对应的货品信息、被错放货品的货品信息以及该架板的重量差值推断被取走货品的种类及数量的u种可能性结论。例如，若该错放架板的重量差值为-100克，且该架板上原有货品c的单品重量为50克，但是被用户误放了其他架板上的2个货品a，其单品重量为100克，那么此时货品种类推断单元305有两种可能性结论，分别为2个货品c或者一个货品a。
当货品被从一错放架板取走时，货品种类获取单元404根据所述货架前方空间的实时图片及一货品识别模型获取被取走货品的种类及数量的v种可能性结论，并记录每种可能性结论的可信度。
取走货品确认单元408对比货品种类获取单元404获取被取走货品的种类及数量的v种可能性结论与货品种类推断单元305推断出的被取走货品的种类及数量的u种可能性结论，若所述v种可能性结论及所述u种可能性结论中有至少一可能性结论相同，相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被取走货品的种类及数量。
例如，货品种类推断单元305有两种可能性结论，分别为2个货品c或者1个货品a；同时，货品种类获取单元404有三种可能性结论，分别为2个货品b或者1个货品a，或者4个货品d；两组结果中只有一个可能性结论是相同的，即1个货品a，从而可以确认从误放货架上被取走货品的种类为货品a，其数量为1个。如果对比后有两组以上的可能性结论是相同的，在这些可能性结论中选择可信度最大的可能性结论作为最终结论。
每次确定被取走的货品的种类及数量之后，购物数据库更新单元602将生成的购物信息写入取走货品用户的购物数据库；每次确定被放回的货品的种类及数量之后生成相应的归还信息，购物数据库更新单元602从放回货品用户的购物数据库中删除与所述归还信息相应的购物信息，使得购物数据库中的货品的种类及数量与用户购买的货品的种类及数量一致。
如图12所示，本实施例还包括结算系统800，其为数据处理设备7中的功能模块，用以根据所述用户的购物数据库中所有货品的种类及数量结算费用。用户购物过程结束后，可以自行从出入口的门禁装置处离开封闭空间1。当目标物定位系统200的影像传感器2011无法获取该用户的实时三维影像时，可以认定该用户购物结束，结算系统800为该用户结算费用。
结算系统800包括总金额计算单元801及支付单元802。当所述用户离开所述封闭空间时，总金额计算单元801根据所述用户的购物数据库中全部货品的种类及数量计算总金额，由于每一种类货品的单价作为货品信息预存在数据处理设备7中，因此多种货品单价与数量的乘积的总和的金额即为该用户需要支付的总金额。进一步地，在其他实施例中，用户可以享受到货品折扣或使用优惠券、抵用券等，用户需要支付的总金额为多种货品单价与数量的乘积的总和的金额内减去优惠券和/或抵用券金额和/或折扣金额。支付单元802为结算系统800自带的支付软件或第三方支付软件，可以从所述用户的银行账户或电子账户上扣款，扣除的款项金额与该用户需要支付的总金额相同。
基于前文所述的货品监控系统，本实施例还提供一种货品监控方法，如图13所示，包括如下步骤s1）~s3）。步骤s1）架板设置步骤，在封闭空间内设置货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置，以获取每一架板的重量感应值；步骤s2）第一货品感知步骤，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及步骤s3）第二货品感知步骤，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。步骤s1）之后，步骤s2）与步骤s3）同时执行，且互不干涉。
如图14所示，步骤s2）第一货品感知步骤包括如下步骤s201）~s208）。步骤s201）货品数据库生成步骤，用以生成一货品数据库；所述货品数据库包括每一货品的货品信息及用以放置货品的每一架板的重量感应值，所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号。步骤s202）重量值采集步骤，用以实时采集每一架板的实时重量感应值，所述重量感应值为该架板及该架板上货品的实时重量值。在步骤s202）重量值采集步骤中，采集实时重量感应值的时间间隔为0.1-0.5秒。步骤s203）取放状态判断步骤，用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走；若变大，判定有物品被放置于该架板上。若完全不变，说明该架板上的货品完全没有变化，返回步骤s202）重量值采集步骤，重新进行实时采集。
如图15所示，步骤s203）取放状态判断步骤包括如下步骤：步骤s2031）重量差值计算步骤，用以计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值。例如，前述示例中，若放置前述某品牌饮料的架板重量发生变化，变为1300克或1900克，分别记录重量差值为-400克或200克。步骤s2032）重量差值判断步骤，用以将至少一架板的重量差值与0对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置，此时不能确定该物品是否为用户之前从货架上取走的货品，也可以是用户的随身物品。例如，前述示例中，重量差值为-400克，即可以认定有货品被取走；重量差值为200克，即可以认定有物品被放置在货架上。步骤s2033）信息记录步骤，当每次有架板上的重量感应值发生变化时，该架板的重量差值大于0或小于0，用以记录该架板的架板编号以及该架板的重量差值，例如，若前述示例中的重量差值为-400克，已知该架板重量减少，记录该架板的编号（1-12）。若前述示例中的重量差值为200克，已知该架板初始状态下的重量感应值为1700克，此时被放置在该架板上的物品必然不是原货架上的商品，因此很可能是原属于其他架板上的商品或者是用户自带的物品，如雨伞、手机等，此时可选择地生成一个报警信号，提醒管理人员或用户。
如图15所示，若一架板上有货品被取走，s203）取放状态判断步骤还可以包括：s2034）货品种类判断步骤，当一架板的重量差值小于0时，用以根据该架板编号及该架板对应的货品信息判断被取走货品的种类，例如，已知该架板的编号（1-12），由于每一架板上只放置一种货品，因此可以判断该货品种类为（某凉茶），也可以对应找出其他货品信息，如单一货品重量值（200克）、净含量（195ml）、产地（广东）、价格（5元）等。s2035）货品数量计算步骤，用以计算一架板的重量差值该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被取走货品的数量。例如，前述示例中的重量差值-400克，其绝对值为400克，与单一货品重量值（200克）的比值为2，因此该比值即为被取走货品的数量。由于货品之间可能会存在重量差值，并非所有货品都是绝对标准件，同种类的多个货品之间也存在一定的重量差值，因此，计算之后的比值不一定为整数，因此需要利用四舍五入法对该比值进行取整处理，从而可以判断出被取走货品的种类及数量。
步骤s204）货品数据库更新步骤，用以存储所述实时重量感应值至所述货品数据库，形成新的重量感应值，以更新所述货品数据库中每一架板的重量感应值，返回s202）重量值采集步骤。上述步骤s202）~s203）在每次判断完成后，新的实时重量感应值重新存储至货品数据库，以替换原重量感应值，以待下一次的判断。
如图14所示，步骤s2）第一货品感知步骤还可以包括如下步骤：s205）用户身份识别步骤，用以识别每一用户的身份信息；s206）用户定位步骤，用以获取每一用户在所述封闭空间的实时位置；s207）购物用户判断步骤，当任一货品被取走或被放回时，用以根据用户的身份信息及其实时位置判断取走或放回货品的用户身份；s208）购物信息记录步骤，根据每一用户的身份信息生成购物数据库，用以记录每一用户取走的货品的种类及数量。
如图16所示，s208）购物信息记录步骤包括如下步骤：s2081）购物数据库生成步骤，当一用户的身份被识别时，用以根据所述用户的身份信息生成该用户的购物数据库；以及s2082）购物数据库更新步骤，当货品被取走时，根据被取走货品的种类及数量以及取走货品的用户的身份信息生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，根据被放回货品的种类及数量以及放回货品的用户的身份信息生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。在数据处理设备中，每一用户都有一个对应的购物数据库，当一种货品被一用户取走时，该货品的货品信息及被取走的数量作为购物信息被写入该用户的购物数据库中，以便购物结束之后的用户结算。当一种货品被一用户归还时，该货品的货品信息及被归还的数量生成归还信息，从该用户的购物数据库中将与归还信息对应的购物信息删除。
在前述示例中，当用户取走两瓶饮料后，货品数据库中架板（1-12）对应的实时重量值已经被更新为1300克，用户的购物数据库中存储两瓶饮料（某凉茶）的货品信息及数量。如果之后数据采集单元102采集架板（1-12）的实时重量感应值为1500克，架板（1-12）的重量差值为200克，执行s203）取放状态判断步骤，判断有物品被放置在该架板上，执行s204）数据库更新步骤，将货品数据库中架板（1-12）对应的实时重量值更新为1500克。执行s207）购物用户判断步骤，判断放置物品的用户的身份；执行s208）购物信息记录步骤，如果该用户的购物数据库中，只有一种200克的商品，可以判断被放回的物品为用户之前取走的一瓶饮料（某凉茶），将用户的购物数据库中该饮料（某凉茶）的数量由2减少为1。类似地，如果架板（1-12）的重量差值为400克，将用户的购物数据库中该饮料（某凉茶）的数量由1减少为0，或者，将用户的购物数据库中该饮料（某凉茶）的购物记录，如商品信息及数量，全部删除。
如图17所示，步骤s3）第二货品感知步骤具体包括如下步骤：步骤s301）样本采集步骤，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类。步骤s302）模型训练步骤，用以根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取货品识别模型。步骤s303）实时图片采集步骤，用以连续采集货架前方空间的至少一实时图片，每一实时图片包括一货品影像的一部分或全部。步骤s304）货品种类获取步骤，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类。
如图18所示，s304）货品种类判断步骤包括如下步骤：s3041）组别标识获取步骤，用以将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识；s3042）标识可信度评估步骤，用以计算每一种组别标识的数量与全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类即为所述实时图片上显示的货品的种类。如果样本采集单元401采集的图片样本中包括多个同类货品叠放在一起的照片，货品种类获取单元404还可以进一步判断货品的数量。
如图19所示，基于前文所述的货品监控系统，本实施例还提供另外一种货品监控方法，包括上述步骤s1）~s3），在步骤s2）及步骤s3）执行过程中，还包括如下步骤s4）~s12）。
步骤s4）购物用户判断步骤，购物用户判断单元200判断取走或放回货品的用户的身份。
步骤s5）购物数据库更新步骤，当货品被取走时，购物数据库更新单元602根据被取走货品的种类及数量以及取走货品的用户的身份生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，购物数据库更新单元602根据被放回货品的种类及数量以及放回货品的用户的身份生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。
步骤s6）货品种类第一推断步骤，当货品被一用户放回至一架板时，取放状态判断单元303判断出此刻有货品被放置在架板上，重量差值计算单元3031获取此刻的该架板的重量差值，购物用户判断单元200判断取走或放回货品的用户的身份，查找该用户的购物数据库，货品种类推断单元305判断该用户的购物数据库中至少一种已购货品的重量值总和与该架板的重量差值是否相等，若是，推断出被放回货品的种类及数量的r种可能性结论。
步骤s7）货品种类第一获取步骤，当货品被一用户放回至一架板时，货品种类获取单元404用以根据所述货架前方空间的实时图片及一货品识别模型获取被放回货品的种类及数量的t种可能性结论，并记录每种可能性结论的可信度。步骤s7）与步骤s6）同时发生，且互不干涉。
步骤s8）被放货品确认步骤，被放货品确认单元407对比所述货品种类第一获取步骤获取被放回货品的种类及数量的t种可能性结论与所述货品种类第一推断步骤推断出的被放回货品的种类及数量的r种可能性结论，若二者中有至少一可能性结论相同，相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被放回货品的种类及数量。
步骤s9）货品错放判断步骤，当物品被一用户放回至一架板时，货品错放判断单元701对比所述被放回货品的种类与该架板对应的货品种类，若被放回货品中有至少一种货品与该架板对应的货品种类不同，判断出现货品错放现象，记录该架板为错放架板，记录被错放货品的货品信息及该架板编号。
步骤s10）货品种类第二推断步骤，当一错放架板的重量差值小于0时，货品种类推断单元305根据该架板编号、该架板对应的货品信息、被错放货品的货品信息以及该架板的重量差值推断被取走货品的种类及数量的u种可能性结论。
步骤s11）货品种类第二获取步骤，当货品被从一错放架板取走时，货品种类获取单元404根据所述货架前方空间的实时图片及一货品识别模型获取被取走货品的种类及数量的v种可能性结论，并记录每种可能性结论的可信度。
步骤s12）取走货品确认步骤，取走货品确认单元408对比所述货品第二种类获取步骤获取被取走货品的种类及数量的v种可能性结论与所述货品第二种类推断单元推断出的被取走货品的种类及数量的u种可能性结论，若二者中有至少一可能性结论相同，至少一相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被取走货品的种类及数量。
本实施例的有益效果在于，提供一种货品监控系统及一种货品监控方法，应用于无人超市，采用架板重量监测技术实时感知每一架板的重量变化，结合货架前方区域的影像监测技术判断被取走或被放回货品的种类及数量；利用人体实时定位技术判断取走或放回货品的用户身份，从而记录每一用户在无人超市中取走货品的种类及数量，在购物过程完成后为其结算。本发明用技术手段解决了用户错拿错放的技术问题，即使用户将货品错放在其他架板上，也可以准确有效地记载用户的购物信息，确保用户结算信息与实际购物情况始终相符。
本发明的有益效果在于，本发明中货品无需增加硬件成本，系统感知灵敏，误差极小，可准确判断每一用户每次取走或放回货品的购物行为，可准确记录每一用户在无人超市购买货品的种类及数量，可以有效杜绝偷盗现象。此外，本发明需要的用户操作较少，只需入门前扫码及确认支付即可，进入方便，结算快捷，用户体验良好。相对于传统零售行业，使用本发明的无人超市，运营过程中完全依靠计算机监管，无需人工干预，可以有效降低人力成本。
以上所述仅是本发明的优选实施方式，使本领域的技术人员更清楚地理解如何实践本发明，这些实施方案并不是限制本发明的范围。对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。