售货机风险控制方法、装置和控制系统与流程

本公开涉及人工智能技术领域，特别是一种售货机风险控制方法、装置和控制系统。

背景技术：

随着零售业高速发展，越来越多的互联网企业开始探索新的零售模式，无人售货机是线上零售业务向线下市场的有效扩展与延伸。基于视频图像的无人售货机相对于基于纯重力、rfid(radiofrequencyidentification，射频识别)的无人售货机，由于其具备更广阔的选品空间，更优质的用户体验，引起越来越多的关注。

由于无人售货机主要销售食品与日常生活必需品，如何有效防止无人售货机商品被偷盗，防止将有害身体健康的商品放入无人售货机仍然是需要解决的问题。

技术实现要素：

本公开的一个目的在于提高售货机风险控制的准确性。

根据本公开的一些实施例的一个方面，提出一种售货机风险控制方法，包括：将来自售货机的误识别图像加入训练数据集；基于训练数据集更新图像模型和货物特征信息；将更新后的图像模型和货物特征信息发送给售货机。

在一些实施例中，将来自售货机的误识别图像加入训练数据集包括：将来自单个售货机的误识别图像加入针对提供误识别图像的售货机的训练数据集；基于训练数据集更新图像模型和货物特征信息包括：生成针对提供误识别图像的售货机的个性化的图像模型和货物特征信息；将更新后的图像模型和货物特征信息发送给售货机包括：将个性化的图像模型和货物特征信息发送给提供误识别图像的售货机。

在一些实施例中，售货机风险控制方法还包括：接收来自售货机的高风险图像，其中，售货机在确定用户进行风险操作时，上报图像采集装置采集的图像作为高风险图像；提取由于图像误识别引发上报的情况下的高风险图像，作为误识别图像。

在一些实施例中，提取由于图像误识别引发上报的情况下的高风险图像作为误识别图像包括：根据高风险图像审核用户是否执行违规操作；若用户未执行违规操作，则确定高风险图像为误识别图像。

在一些实施例中，售货机风险控制方法还包括：若确定用户执行违规操作，且违规操作次数达到预定门限，则修改用户权限为限制用户。

在一些实施例中，售货机风险控制方法还包括：根据图像采集人员模仿顾客购物流程的操作获取初始训练数据集；基于初始训练数据集获取初始的图像模型和货物特征信息；将初始的图像模型和货物特征信息发送给售货机，以便售货机基于初始的图像模型和货物特征信息进行图像分析并提供误识别图像。

在一些实施例中，售货机风险控制方法还包括：售货机在开门状态下：若确定采集的图像异常，则缓存各个图像采集设备采集的图像作为高风险图像并上报，其中，售货机包括2路以上图像采集设备。

在一些实施例中，图像异常包括以下一项或多项：根据图像分析确定一个或多个图像采集设备被遮挡；根据图像分析确定售货机内出现了异常物体；用户对商品做出异常操作，异常操作包括破坏货物外包装、向货物内部加入物质、从货物中取物质或用户持货物离开摄像头探测区域后又返回中的一项或多项；或，货物的尺寸、颜色或透明度发生改变。

在一些实施例中，售货机风险控制方法还包括：基于摄像头采集的图像确定货物变化情况；基于重力探测确定货物变化情况；在基于图像和基于重力探测确定的货物变化情况不一致的情况下，执行缓存各个摄像头采集的图像作为高风险图像的操作。

通过这样的方法，能够获取售货机的误识别图像，并基于误识别图像更新图像模型和货物特征信息，从而及时提高售货机的图像识别能力，提高售货机风险控制的准确性。

根据本公开的另一些实施例的一个方面，提出一种售货机风险控制装置，包括：训练集更新单元，被配置为将来自售货机的误识别图像加入训练数据集；模型和特征更新单元，被配置为基于训练数据集更新图像模型和货物特征信息；下发单元，被配置为将更新后的图像模型和货物特征信息发送给售货机。

在一些实施例中，训练集更新单元被配置为：将来自单个售货机的误识别图像加入针对提供误识别图像的售货机的训练数据集；模型和特征更新单元被配置为：生成针对提供误识别图像的售货机的个性化的图像模型和货物特征信息；下发单元被配置为：将个性化的图像模型和货物特征信息发送给提供误识别图像的售货机。

在一些实施例中，售货机风险控制装置还包括：图像接收单元，被配置为接收来自售货机的高风险图像，其中，售货机在确定用户进行风险操作时，上报图像采集装置采集的图像作为高风险图像；误识别图像提取单元，被配置为提取由于图像误识别引发上报的情况下的高风险图像，作为误识别图像。

在一些实施例中，误识别图像提取单元被配置为：根据高风险图像审核用户是否执行违规操作；若用户未执行违规操作，则确定高风险图像为误识别图像。

在一些实施例中，售货机风险控制装置还包括：用户权限修改单元，被配置为若确定用户执行违规操作，且违规操作次数达到预定门限，则修改用户权限为限制用户。

在一些实施例中，训练集更新单元还被配置为根据图像采集人员模仿顾客购物流程的操作获取初始训练数据集；模型和特征更新单元还被配置为基于初始训练数据集获取初始的图像模型和货物特征信息；下发单元还被配置为将初始的图像模型和货物特征信息发送给售货机，以便售货机基于初始的图像模型和货物特征信息进行图像分析并提供误识别图像。

根据本公开的又一些实施例的一个方面，提出一种售货机风险控制装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行上文中任意一种售货机风险控制方法。

这样的售货机风险控制装置能够获取售货机的误识别图像，并基于误识别图像更新图像模型和货物特征信息，从而及时提高售货机的图像识别能力，提高售货机风险控制的准确性。

根据本公开的再一些实施例的一个方面，提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上文中任意一种售货机风险控制方法的步骤。

通过执行这样的计算机可读存储介质上的指令，能够获取售货机的误识别图像，并基于误识别图像更新图像模型和货物特征信息，从而及时提高售货机的图像识别能力，提高售货机风险控制的准确性。

另外，根据本公开的一些实施例的一个方面，提出一种售货机控制系统，包括：上文中任意一种售货机风险控制装置；和，售货机，被配置为在开门状态下，若确定采集的图像异常，则缓存各个图像采集设备采集的图像作为高风险图像并上报售货机风险控制装置，其中，售货机包括2路以上图像采集设备；根据来自售货机风险控制装置的更新的图像模型和货物特征信息更新图像分析算法。

在一些实施例中，图像异常包括以下一项或多项：根据图像分析确定一个或多个图像采集设备被遮挡；根据图像分析确定售货机内出现了异常物体；用户对商品做出异常操作，异常操作包括破坏货物外包装、向货物内部加入物质、从货物中取物质或用户持货物离开摄像头探测区域后又返回中的一项或多项；或，货物的尺寸、颜色或透明度发生改变。

在一些实施例中，售货机还被配置为：基于摄像头采集的图像确定货物变化情况；基于重力探测确定货物变化情况；在基于图像和基于重力探测确定的货物变化情况不一致的情况下，执行缓存各个摄像头采集的图像作为高风险图像的操作。

这样的售货机控制系统中，售货机能够及时发现异常情况并上传图像，售货机风险控制装置能够基于误识别图像更新图像模型和货物特征信息，从而及时提高售货机的图像识别能力，提高售货机风险控制的准确性。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1为本公开的售货机风险控制方法的一些实施例的流程图。

图2为本公开的售货机风险控制方法的另一些实施例的流程图。

图3为本公开的售货机风险控制方法的又一些实施例的流程图。

图4为本公开的售货机风险控制装置的一些实施例的示意图。

图5为本公开的售货机风险控制装置的另一些实施例的示意图。

图6为本公开的售货机风险控制系统的一些实施例的示意图。

图7为本公开的售货机风险控制系统的另一些实施例的示意图。

具体实施方式

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

发明人发现，售货机中的图像算法部分使用了如深度学习框架的目标检测与目标识别算法，这类算法需要大量的场景图像进行模型的训练。一般情况下，可通过人为模拟顾客购买商品的行为进行前期的图像采集，利用这些数据进行模型训练。然而模型训练时，需要从海量的图像中找到难以被检测到商品的图像、容易将背景检测为商品的图像、包含无法识别商品的图像、容易被误识别为其他商品的图像训练模型，以提升模型的准确率。这样的图像获取操作繁琐且耗费大量人力。

图像算法在通过测试机采集的图像进行训练后，能够达到一定的检测与识别准确率，然而如何进一步提升图像算法的准确率成为了技术瓶颈，一方面，算法自身设计已基本达到最优难以突破，另一方面，对于测试机人工采集的图像算法已得到充分训练，从而导致图像算法的准确率有限，泛化性不高。

本公开的售货机风险控制方法的一些实施例的流程图如图1所示。

在步骤101中，将来自售货机的误识别图像加入训练数据集。在一些实施例中，误识别图像可以是在售货机售货过程中实时触发的识别困难、出现遮挡、怀疑有异常的图像，由售货机实时反馈，并通过甄别确定是由于误识别造成反馈的图像。

在步骤102中，基于训练数据集更新图像模型和货物特征信息。在一些实施例中，可以利用更新后的训练数据集，基于形成初始的更新图像模型和货物特征信息的算法，如深度挖掘算法，得到更新后的图像模型和货物特征信息。

在步骤103中，将更新后的图像模型和货物特征信息发送给售货机。

通过这样的方法，能够获取售货机的误识别图像，并基于误识别图像更新图像模型和货物特征信息，从而提高售货机的图像识别能力，提高售货机风险控制的准确性。

在一些实施例中，由于每个售货机所处的环境条件不同，或承载的货物不同，则需要的图像模型和货物特征也会有所区别。可以在统一的训练数据集的基础上，针对各个售货机对其训练数据集分别更新，将来自单个售货机的误识别图像加入针对提供误识别图像的售货机的个性化的训练数据集，生成针对提供误识别图像的售货机的个性化的图像模型和货物特征信息，并将个性化的图像模型和货物特征信息发送给提供误识别图像的售货机。在售货机使用过程中，其个性化的训练数据集不断更新，从而实现图像模型和货物特征信息的不断更新，一方面避免了普适性的图像模型和货物特征信息数据量过大为售货机的图像识别运算带来负担，另一方面也能有针对性的提高每个售货机的图像识别准确度。

本公开的售货机风险控制方法的另一些实施例的流程图如图2所示。

在步骤201中，接收来自售货机的高风险图像。在一些实施例中，高风险图像可以为售货机售货过程中实时触发的识别困难、出现遮挡、怀疑有异常的图像，由售货机实时反馈，并通过甄别确定是由于误识别造成反馈的图像。

在一些实施例中，售货机可以在以下一种或多种情况下提供高风险图像：根据图像分析确定一个或多个图像采集设备被遮挡；根据图像分析确定售货机内出现了异常物体；用户对商品做出异常操作，异常操作包括破坏货物外包装、向货物内部加入物质、从货物中取物质或用户持货物离开摄像头探测区域后又返回中的一项或多项；或，货物的尺寸、颜色或透明度发生改变。

在一些实施例中，售货机还可以在基于图像和基于重力探测确定的货物变化情况不一致的情况下，提供各个摄像头采集的图像作为高风险图像。

在一些实施例中，售货机可以对采集的高风险图像进行截取、筛选操作，减少需要上传的图像帧数，从而降低数据传输负担。

在步骤202中，根据高风险图像审核用户是否执行违规操作。在一些实施例中，可以采用人工判读的方式确定用户是否执行违规操作。在确定用户未执行违规操作的情况下，确定售货机出现图像误识别，执行步骤203。

在步骤203中，确定售货机提供的该高风险图像为误识别图像。

在步骤204中，将来自售货机的误识别图像加入训练数据集。

在步骤205中，基于训练数据集更新图像模型和货物特征信息。

在步骤206中，将更新后的图像模型和货物特征信息发送给售货机。

通过这样的方法，能够实时获取售货机提供的高风险图像，并从中确认由误识别触发售货机提供的图像，一方面能够实现售货机图像识别功能的及时更新，提高其图像识别能力，另一方面也能够避免将用户异常行为触发售货机提供的图像误认为误识别图像导致忽略用户的异常行为，降低售货机发生漏告警的风险，提高售货机的安全性。

在一些实施例中，在上述步骤202中确定用户执行了违规操作的情况下，如图2所示，可以执行步骤207。

在步骤207中，确定执行违规操作的用户违规操作次数是否达到预定门限。在一些实施例中，可以利用用户触发售货机开门时使用的账号来识别用户，并读取用户的历史违规操作记录。若用户违规操作次数达到了预定门限，则执行步骤208；若未达到预定门限，则执行步骤209。

在步骤208中，修改用户权限为限制用户。在一些实施例中，可以设置不同权限的用户等级，随着违规操作次数的增加，逐渐减少用户权限，如从向用户开放全部售货机，到只允许在部分售货机购物，进而到不允许用户使用任何售货机等。

在步骤209中，增加记录的用户违规操作次数。在一些实施例中，可以根据用户违规操纵的种类确定增加的次数值，如较严重的增加的次数值多，较轻微的增加的次数值少等。

通过这样的方法，能够提高售货机异常发现的效率，利用售货机提供的利用用户信用体系确定是否向用户提供服务，进一步提高了安全性。

本公开的售货机风险控制方法的又一些实施例的流程图如图3所示。

在步骤301中，在售货机正常运行之前，由工作人员模仿顾客的购物流程，采集工作人员操作的图像，获取初始训练数据集。

在步骤302中，基于初始训练数据集获取初始的图像模型和货物特征信息。

在步骤303中，将初始的图像模型和货物特征信息发送给售货机。

在一些实施例中，由于售货机众多，可以基于标准的使用环境生成统一的图像模型和货物特征信息提供给各个售货机，从而减少初始训练数据集收集的数据量。

在另一些实施例中，考虑到各个售货机使用环境复杂多变、承载的货物类别不尽相同的问题，可以将售货机分类，针对每类售货机进行初始训练集采集，并生成针对该类售货机的初始的图像模型和货物特征信息，提高图像识别的自适应能力和准确度。

在步骤304中，售货机基于图像识别算法确定采集的图像是否异常，在确定异常的情况下，执行步骤305。在一些实施例中，售货机包括2路以上图像采集设备，可以采集异常和非异常的图像且都缓存，还可以缓存存在异常图像的时刻的未异常的图像，从而保证缓存的高风险图像的质量。在一些实施例中，可以采用5路摄像头，分别位于左、右、上、下侧探测货架，以及由货架内向外探测正前方。

在一些实施例中，当确定用户对货物做出异常操作时，或图像识别和重力探测的结果不匹配时，可以先缓存图像，当售货机关门(即当前购物过程结束)时反馈，从而降低图像上传的频率，降低数据传输和处理的负担。

在步骤305中，售货机上报高风险图像。

在步骤306中，在确定高风险图像为误识别图像的情况下，更新图像模型和货物特征信息。

在步骤307中，将更新后的图像模型和货物特征信息发送给售货机，进而继续执行步骤304，等待由售货机上报的高风险图像。

相关技术中，需要消耗大量的人力成本与时间成本对售货机背景、承载的货物进行图像采集训练，算法模型迭代缓慢，缺乏在线反馈机制，优化提升效果有限。当新部署一台无人售货机或上新商品时，其所搭载的目标检测与识别模型不能及时适应，检测与识别的准确度均会有一定的下降。若每部署一台售货机或上新商品前都在新背景下重新进行训练图片采集，将会消耗大量的人力与物力成本。

通过上述实施例中的方法，能够通过有效的在线自反馈机制进行在线的难例挖掘，寻找不容易被准确识别的图像并回传，使售货机实现模型的自我迭代与优化，从而快速适应部署新环境、新商品的图像识别需求，节省大量训练图像的图像采集成本，同时图像识别准确度的提升也会进一步提高用户体验、减少货物损失。

本公开的售货机风险控制装置的一些实施例的示意图如图4所示。训练集更新单元401能够将来自售货机的误识别图像加入训练数据集。在一些实施例中，误识别图像可以是在售货机售货过程中实时触发的识别困难、出现遮挡、怀疑有异常的图像，由售货机实时反馈，并通过甄别确定是由于误识别造成反馈的图像。

模型和特征更新单元402能够基于训练数据集更新图像模型和货物特征信息。在一些实施例中，可以利用更新后的训练数据集，基于形成初始的更新图像模型和货物特征信息的算法，如深度挖掘算法，得到更新后的图像模型和货物特征信息。

下发单元403能够将更新后的图像模型和货物特征信息发送给售货机。

这样的售货机风险控制装置能够获取售货机的误识别图像，并基于误识别图像更新图像模型和货物特征信息，从而及时提高售货机的图像识别能力，提高售货机风险控制的准确性。

在一些实施例中，由于每个售货机所处的环境条件不同，或承载的货物不同，则需要的图像模型和货物特征也会有所区别。训练集更新单元401能够在统一的训练数据集的基础上，针对各个售货机对其训练数据集分别更新，将来自单个售货机的误识别图像加入针对提供误识别图像的售货机的训练数据集；模型和特征更新单元402能够生成针对提供误识别图像的售货机的个性化图像模型和货物特征信息；下发单元403能够将售货机的个性化图像模型和货物特征信息发送给提供误识别图像的售货机。

这样的售货机风险控制装置一方面避免了普适性的图像模型和货物特征信息数据量过大为售货机的图像识别运算带来负担，另一方面也能有针对性的提高每个售货机的图像识别准确度。

在一些实施例中，如图4所示，售货机风险控制装置还可以包括图像接收单元404和误识别图像提取单元405。图像接收单元404能够接收来自售货机的高风险图像。在一些实施例中，高风险图像可以为售货机售货过程中实时触发的识别困难、出现遮挡、怀疑有异常的图像，由售货机实时反馈，并通过甄别确定是由于误识别造成反馈的图像。

误识别图像提取单元405能够根据高风险图像审核用户是否执行违规操作。在一些实施例中，可以采用人工判读的方式确定用户是否执行违规操作。在确定用户未执行违规操作的情况下，确定售货机出现图像误识别，激活训练集更新单元401。

这样的售货机风险控制装置能够实时获取售货机提供的高风险图像，并从中确认由误识别触发售货机提供的图像，一方面能够实现售货机图像识别功能的及时更新，提高其图像识别能力，另一方面也能够避免将用户异常行为触发售货机提供的图像误认为误识别图像导致忽略用户的异常行为，降低售货机发生漏告警的风险，提高售货机的安全性。

在一些实施例中，如图4所示，售货机风险控制装置还可以包括用户权限修改单元406，能够在误识别图像提取单元405确定用户执行违规操作的情况下，确定执行违规操作的用户违规操作次数是否达到预定门限。若用户违规操作次数达到了预定门限，则修改用户权限为限制用户；若未达到预定门限，则增加记录的用户违规操作次数。

这样的售货机风险控制装置能够提高售货机异常发现的效率，利用售货机提供的利用用户信用体系确定是否向用户提供服务，进一步提高了安全性。

本公开售货机风险控制装置的一些实施例的结构示意图如图5所示。售货机风险控制装置包括存储器501和处理器502。其中：存储器501可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中售货机风险控制方法的对应实施例中的指令。处理器502耦接至存储器501，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器502用于执行存储器中存储的指令，能够提高售货机的图像识别能力，提高售货机风险控制的准确性。

本公开的一些实施例提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一些实施例中的物品识别方法。

本公开的售货机风险控制系统的一些实施例的示意图如图6所示。售货机风险控制装置61可以为上文中提到的任意一种售货机风险控制装置。售货机风险控制系统还包括售货机621～62n，n为正整数。售货机能够在开门状态下，若确定采集的图像异常，则缓存各个图像采集设备采集的图像作为高风险图像并上报售货机风险控制装置；根据来自售货机风险控制装置的更新的图像模型和货物特征信息更新图像分析算法。

这样的售货机控制系统中，售货机能够及时发现异常情况并上传图像，售货机风险控制装置能够基于误识别图像更新图像模型和货物特征信息，从而及时提高售货机的图像识别能力，提高售货机风险控制的准确性。

在一些实施例中，售货机可以在用户的触发下开门，如用户可以通过扫描售货机二维码，或通过其他方式告知售货机自身的身份以触发售货机开门。售货机利用图像分析算法确定图像是否异常。若确定图像异常，则缓存各个图像采集设备采集的图像作为高风险图像。

在一些实施例中，售货机包括2路以上图像采集设备，可以采集异常和非异常的图像且都缓存，还可以缓存存在异常图像的时刻的未异常的图像，从而保证缓存的高风险图像的质量。在一些实施例中，可以采用5路摄像头，分别位于左、右、上、下侧探测货架，以及由货架内向外探测正前方。

在一些实施例中，图像异常可以是一个或多个图像采集设备(如摄像头)被遮挡。若确定采集的图像异常，则将高风险图像上报售货机风险控制装置。

在一些实施例中，图像异常包括以下一项或多项：根据图像分析确定一个或多个图像采集设备被遮挡；根据图像分析确定售货机内出现了异常物体；用户对商品做出异常操作，异常操作包括破坏货物外包装、向货物内部加入物质、从货物中取物质或用户持货物离开摄像头探测区域后又返回中的一项或多项；或，货物的尺寸、颜色或透明度发生改变。

在一些实施例中，售货机还能够基于摄像头采集的图像确定货物变化情况，并基于重力探测确定货物变化情况，在基于图像和基于重力探测确定的货物变化情况不一致的情况下，执行缓存各个摄像头采集的图像作为高风险图像的操作。

这样的售货机控制系统中，售货机能够通过图像是否异常，以及图像与重力探测的变化情况判读结果是否一致这两种途径判断是否触发缓存高风险图像并上报，降低了事件漏提取的概率，提高了售货机贩卖货物的安全性；同时，也无需持续存储图像，降低了对售货机存储空间的要求。

在一些实施例中，如图7所示，首先通过测试机采集的图像训练初始模型，聚类货物初始特征db(database，数据库)。然后利用风险控制机制，回传异常图像，并进行筛选，将误识别图像作为难例样本。然后挖掘到的难例加入训练数据集中，重新训练模型。同时利用风控回传的数据更新货物db，使得db更加逼近于真实的数据场景，得到新的模型和特征db。最后将迭代的模型和特征db部署至售货机。整个流程实现了闭环反馈，能够有效提升算法准确率与泛化性，快速修复铺设新场景、上新货物的识别率低问题，利用新的识别模型提取售卖货物的特征db，快速适应新场景与新货物，进而提升无人贩卖机的用户体验，并降低货损成本。上述流程形成了闭环反馈，实现了算法与特征db的周期性更新，迭代系统因此形成了闭环反馈，图像算法分类器判别假阳性样本的能力得到有效加强，同时泛化能力也得到了充分提高，完成了算法模型和特征db的快速迭代更新，其准确率得到了持续的提升。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。