一种智能货柜货物识别方法和装置与流程

本申请涉及人工智能技术领域，特别涉及一种智能货柜货物识别方法和装置。

背景技术：

随着人工智能技术的发展，各行各业智能化也悄然兴起。智能货柜就是这样人工智能技术下的产物。智能货柜是一种在没有人工干预的环境中，满足客户需求，提供货物，并收取货币的一种产品。由于安装方便，不限制时间和地点，也无需专门的售货员，得到越来越多的商家的青睐。

但目前的智能货柜通常将货物与客户用透明材质隔离，客户只能通过货柜外的按键来选择货物，靠货柜内部机械传送，将货物投放到取货槽中。这种通过按键识别货物的速度比较慢，客户体验也不佳。

技术实现要素：

本申请提供了一种智能货柜货物识别方法，可以根据重量变化情况和图像监控分析情况自动、快速地识别货物，避免现有技术人工机械的操作。具体方案为：

一种智能货柜货物识别方法，包括：

获取所述智能货柜中货物重量发生变化时的待识别货物实际总重量值；

获取识别时间段内所有被识别出的货物标识号和对应的采集时间点，所述货物标识号是对采集到的货物图像进行图像识别中确定的，所述识别时间段是根据所述智能货柜中货物重量发生变化时的时间点设置的；

根据所有被识别出的货物标识号确定对应的标准货物的种类和数量，并选择不同种类和数量的标准货物进行组合，得到各组合标准货物总重量值；

根据所述待识别货物实际总重量值、各组合标准货物总重量值以及各组合对应的采集时间点计算各组合的识别置信度，将最大的识别置信度对应组合的标准货物作为识别出的货物。

进一步地，所述根据待识别货物实际总重量值、各标准货物组合总重量值以及各组合对应的采集时间点计算各组合的识别置信度的方法包括：

根据所述待识别货物实际总重量值和各组合标准货物总重量值计算得到各组合的重量置信度，所述重量置信度表示根据重量匹配程度判断对待识别货物识别的可信度；

根据所述智能货柜中货物重量发生变化时的时间点和各组合对应的采集时间点计算得到各组合的时间置信度，所述时间置信度表示根据采集时间匹配程度判断对待识别货物识别的可信度；

根据各组合中标准货物的种类量和事先设置的种类权值得到各组合种类置信度，所述种类置信度表示根据种类值判断对待识别货物识别的可信度；

根据各组合中标准货物的数量和事先设置的数量权值得到各组合数量置信度，所述数量置信度表示根据数量值判断对待识别货物识别的可信度；

根据所述重量置信度、时间置信度、种类置信度和数量置信度计算得到各组合的识别置信度。

进一步地，所述根据待识别货物实际总重量值和各组合标准货物总重量值计算得到各组合的重量置信度的方法包括：

针对一个组合，计算所述待识别货物实际总重量值和该组合的标准货物总重量之间的重量差值的绝对值；

根据事先设置的最大重量误差值和所述重量差值的绝对值得到重量误匹配率；

根据所述重量误匹配率得到重量置信度。

进一步地，所述根据智能货柜中货物重量发生变化的时间点和各组合对应采集时间点计算得到各组合的时间置信度的方法包括：

针对一个组合，计算所述智能货柜中货物重量发生变化时的时间点和该组合对应的采集时间点之间的时间差值绝对值的总和；

根据事先设置的最大时间误差值和所述时间差值绝对值的总和计算得到时间误匹配率；

根据所述时间误匹配率得到时间置信度。

进一步地，所述获取识别时间段内所有被识别出的货物标识号和对应的采集时间点时，该方法进一步包括：

获取待识别货物对应的运动方向标识，所述运动方向标识为离开时表示待识别货物从智能货柜中取出，运动方向表示为进入时表示待识别货物放入智能货柜中；所述待识别货物对应的运动方向标识是在对采集到的货物图像进行图像识别中确定的。

进一步地，

当所述智能货柜中货物重量发生的变化是减少，所述被识别出的货物标识号是运动方向标识为离开所对应的货物标识号；

当所述智能货柜中货物重量发生的变化是增加，所述被识别出的货物标识号是运动方向标识为进入所对应的货物标识号。

进一步地，所述识别时间段是根据智能货柜中货物重量发生变化时的时间点设置的方法包括：

根据所述智能货柜最近前两次货物重量发生变化时间点和事先设置的冗余时间段确定所述识别时间段的起始点，将当前时间点作为所述识别时间段的结束点，将所述起始点和结束点之间的时间段作为识别时间段。

本申请实施例还提供一种智能货柜货物识别装置，该装置包括：

重量获取单元，用于获取所述智能货柜中货物重量发生变化时的待识别货物实际总重量值；

图像信息获取单元，用于获取识别时间段内所有被识别出的货物标识号和对应的采集时间点，所述货物标识号是对采集到的货物图像进行图像识别中确定的，所述识别时间段是根据所述智能货柜中货物重量发生变化时的时间点设置的；

组合单元，用于根据所有被识别出的货物标识号确定对应的标准货物的种类和数量，并选择不同种类和数量的标准货物进行组合，得到各组合标准货物总重量值；

识别单元，用于根据所述待识别货物实际总重量值、各标准货物组合总重量值以及各组合对应的采集时间点计算各组合的识别置信度，将最大的识别置信度对应组合的标准货物作为识别出的货物。

进一步地，所述识别单元包括：

重量置信度计算子单元，用于根据所述待识别货物实际总重量值和各组合标准货物总重量值计算得到各组合的重量置信度，所述重量置信度表示根据重量匹配程度判断对待识别货物识别的可信度；

时间置信度计算子单元，用于根据所述智能货柜中货物重量发生变化时的时间点和各组合对应的采集时间点计算得到各组合的时间置信度，所述时间置信度表示根据采集时间匹配程度判断对待识别货物识别的可信度；

种类置信度计算子单元，用于根据各组合中标准货物的种类量和事先设置的种类权值得到各组合种类置信度，所述种类置信度表示根据种类值判断对待识别货物识别的可信度；

数量置信度计算子单元，用于根据各组合中标准货物的数量和事先设置的数量权值得到各组合数量置信度，所述数量置信度表示根据数量值判断对待识别货物识别的可信度；

识别置信度，用于根据所述重量置信度、时间置信度、种类置信度和数量置信度计算得到各组合的识别置信度。

进一步地，

所述图像信息获取单元进一步用于，获取待识别货物对应的运动方向标识，所述运动方向标识为离开时表示待识别货物从智能货柜中取出，运动方向表示为进入时表示待识别货物放入智能货柜中；所述待识别货物对应的运动方向标识是在对采集到的货物图像进行图像识别中确定的。

由上述技术方案可见，本申请智能货柜无需用户通过按键选择货物，货柜也无需靠内部机械传送货物。用户选择货物时，智能货柜可以获取重量变化情况和图像分析情况，从而自动、快速地识别出货物。

附图说明

图1是本申请实施例使用的智能货柜示意图。

图2是本申请方法实施例一的流程图。

图3是本申请方法实施例二的流程图。

图4是本申请装置实施例一的结构示意图。

图5是本申请装置实施例一中识别单元404内部结构示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。

本申请实施例提出一种根据货物重量变化和图像监控分析得到的数据实现智能货柜对货物识别的方案。图1是本申请实施例使用的智能货柜的示意图。如图1所示，该智能货柜包括若干货物承载层，每一层都配备有可以检测重量变化的部件，比如电子秤。一旦检测到重量发生变化，立即将变化情况上报给智能货柜的控制部件。智能货柜还配备有若干图像采集装置，比如摄像头。一旦检测到货物离开或进入货柜，立即将对采集到的图像进行识别或分析的情况上报给智能货柜控制部件。控制部件是智能货柜核心部件，至少包括处理器，处理器可以根据货物重量变化情况和图像分析情况对货物进行识别。当然，图1仅仅是一个智能货柜的范例，本申请下述实施例并不局限于图1所示的智能货柜，只要能够检测重量变化和对采集到的图像进行分析即可。

图2是本方法实施例一的流程图。如图2所示，该方法包括：

步骤201：获取智能货柜中货物重量发生变化时的待识别货物实际总重量值。

如前所述，智能货柜配备有检测重量变化的部件，比如电子秤，一旦检测到重量发生变化，智能货柜的控制部件就可以获取重量变化情况。这里所述的重量变化情况实际上是用户从智能货柜中取出货物或者放回货物发生的重量变化。实际应用中，不管是取出还是放回，相当于用户将货物放进购物筐或者从购物筐中放回货架上，正是本申请实施例针对的待识别货物。对待识别货物进行识别就是为了后续能够准确结算，达到无人销售货物的目的。

步骤202：获取识别时间段内所有被识别出的货物标识号和对应的采集时间点，所述货物标识号是在对采集到的货物图像进行图像识别中确定的，所述识别时间段是根据智能货柜中货物重量发生变化时的时间点设置的。

由于本申请实施例的智能货柜配备了图像采集装置，比如摄像头。当用户从智能货柜取出或放回货物造成货物重量发生变化时，将被摄像头采集到货物取出或放回的图像。采集到的图像中包含了待识别货物的画面，根据现有的图像识别算法可以从图像中分析出相应的货物。为了计算方便，事先为智能货柜中不同货物设置不同的货物标识号，当分析出图像中是哪种货物时，就可以确定相应的货物标识号，于是向智能货柜处理器上报货物标识号和图像采集时的采集时间点。

实际应用中，由于接收重量发生变化情况的时间和在图像识别后接收到货物识别号的时间可能存在一定的时间差，以至于确定发生重量变化和图像分析出的货物可能并不对应，因此本实施例根据货物重量发生变化时的时间点设置了一个识别时间段，将该识别段内所有被识别出的货物标识号和对应的采集时间点都发送给处理器，以尽量保证接收到货物标识号中包括带识别货物所对应的货物标识号，以此尽量避免时间差造成的误差。

步骤203：根据所有被识别出的货物标识号确定对应的标准货物的种类和数量，并选择不同种类和数量的标准货物进行组合，得到各标准货物组合总重量值。

实际应用中，在识别时间段内可能有多个不同种类和数量的货物标识号，而这些货物标识号其中既包含了待识别货物对应的货物标识号，也可能包括其他不需要本次识别的货物标识号，比如已经识别过的货物。为了对待识别货物进行可靠识别，本步骤先将这些货物标识号进行组合，每一种组合都是待识别货物的一种可能性。再计算得到各组合对应的标准货物总重量值，然后利用后续步骤对每一个组合分别进行匹配。

另外，智能货柜中的货物通常是具有一定标准重量的货物。但实际的货物未必和标准重量相同，通常有一定的误差。为了计算的统一性，这里将货物标识号对应货物的标准重量作为计算基础，也就是计算各组合中标准货物总重量值。

步骤204：根据所述待识别货物实际总重量值、各组合标准货物总重量值以及各组合对应的采集时间点计算各组合的识别置信度，将最大的识别置信度对应组合的标准货物作为识别出的货物。

本实施例中，步骤203已经得到各种不同的组合，但只有其中一种组合才是真正的待识别货物对应的组合。本步骤计算出各组合的置信度，并认为置信度最大的组合中的标准货物作为识别结果，这种识别结果相对于其他组合方式是最为可靠的。

应用本实施例方案，由于用户无需通过按键选择货物，货柜也无需靠内部机械传送货物，用户选择货物时，智能货柜中检测重量变化的部件将变化情况实时上报给处理器，图像采集部件将图像分析出的情况实时上报给处理器，处理器根据这些情况自动、快速地识别出用户取出或放回的货物，即识别出待识别货物。这样，不但可以快速识别出货物，利于后续快速准确结算，而且用户可以在智能货柜中自由选择货物，体验更佳。

为了更好地说明本申请方案，下面利用方法实施例二进行详细描述。图3是本方法实施例二的流程图。如图3所示，该方法包括：

步骤301：获取所述智能货柜中货物重量发生变化时的待识别货物实际总重量值。

本步骤与实施例一中的步骤201相同。

步骤302：获取识别时间段内所有被识别出的货物标识号、待识别货物对应的运动方向标识以及对应的采集时间点，所述货物标识号和待识别货物对应的运动方向标识是在对采集到的货物图像进行图像识别中确定的，所述识别时间段是根据智能货柜中货物重量发生变化时的时间点设置的。

本步骤不但获取了货物标识号和采集时间点，还可以进一步获取待识别货物对应的运动方向标识。这是由于当发生重量变化时，不但可以从采集到的图像中分析出是哪种货物造成了重量发生变化，还可以从连续的图像中分析出货物的运动方向。运动方向标识为“离开”表示待识别货物从智能货柜中取出，运动方向表示为“进入”表示待识别货物放入智能货柜中。

本实施例设置运动方向标识，是用来区分待识别货物实际总重量值是由于取出货物产生的，还是放回货物产生的。之所以要区分运动方向，是因为不管是取出还是放回货物，图像采集装置都会采集到相应的图像，仅仅依靠图像中分析出来的货物标识号不能确定该货物是取出还是放回。如果无区别地将货物放回过程中采集到的图像参与后续对取出货物情况的识别，或者将货物取出过程中采集到的图像参与后续对放回货物情况的识别，则可能产生错误的识别结果。因此，本申请在另一优选实施例中可以进一步根据重量变化情况来选择货物识别号，只有选择出来的货物识别号才参与后续的识别过程。比如：如果智能货柜中货物重量发生的变化是减少，则获取被识别出的货物标识号是运动方向标识为离开所对应的货物标识号。如果所述智能货柜中货物重量发生的变化是增加，则获取被识别出的货物标识号是运动方向标识为进入所对应的货物标识号。

另外，如上所述，由于实际应用中发生重量变化时上报时间点和图像采集装置上报的时间点不同步，为了尽可能减少错误，本实施例可以扩大识别时间段，具体的设置时间段方法为：根据智能货柜最近前两次货物重量发生变化时间点和事先设置的冗余时间段确定所述识别时间段的起始点，将当前时间点作为所述识别时间段的结束点，将所述起始点和结束点之间的时间段作为识别时间段。比如：前两次发生重量变化的时间点分别为t1和t2，当前时间点为t3，冗余时间段为30秒，那么识别时间段的起始点为t1-30，识别时间段的结束点为t3，识别时间段为[t1-30，t3]。也就是说，如果智能货柜中货物重量减少了，就接收[t1-30，t3]这个时间段内所有运动方向标识为离开的货物标识号以及对应的采集时间点。如果智能货柜中货物重量增加了，就接收[t1-30，t3]这个时间段内所有运动方向标识为进入的货物标识号以及对应的采集时间点。

比如，以智能货柜中货物重量减少为例，在该识别时间段内从采集到的图像中确定如表一的信息：

表一

那么，可以从表一获取的是(t2-20，id2，离开)、(t1，id2，离开)、(t2，id3，离开)、(t3，id3，离开)这几对数据，作为后续识别的基础。当然，如何设置识别时间段由应用本实施例方案的用户自行确认，只要包括待识别货物即可，并不限于上述方法。

步骤303：根据所有被识别出的货物标识号获取对应的标准货物的种类和数量，并选择不同种类和数量的标准货物进行组合，得到各组合标准货物总重量值。

以上述表一为例，假设步骤302获取的是(t2-20，id2，离开)、(t1，id2，离开)、(t2，id3，离开)、(t3，id3，离开)这几对数据，则将2个id2和2个id3对应的标准货物进行组合，如(id2)、(id2，id2)、(id3)、(id3，id3)、(id2，id3)、(id2，id2，id3)、(id3，id3，id2)、(id2，id2，id3，id3)等几种组合方式，然后得到的各组合标准货物总重量值。假设id2对应标准货物的重量为50克，id3对应标准货物的重量为100克，那么，上述这几种组合对应的标准货物总重量值分别为50克、100克、100克、200克、150克、200克、250克、300克等等。

步骤304：根据所述待识别货物实际总重量值和各组合标准货物总重量值计算得到各组合的重量置信度，所述重量置信度表示根据重量匹配程度判断对待识别货物识别的可信度。

实际应用中，计算重量置信度可以具体采用如下方法：针对一个组合，先计算待识别货物实际总重量值和该组合的标准货物总重量之间的重量差值的绝对值；根据事先设置的最大重量误差值和所述重量差值的绝对值得到重量误匹配率；根据所述重量误匹配率得到重量置信度。

假设待识别货物实际总重量值为w，某个组合的标准货物总重量为wc，最大重量误差值为wmax，那么：重量差值的绝对值为|w-wc|，重量误匹配率为该组合的重量置信度rw可以如公式1所示：

从公式1可知，假设待识别货物实际总重量值为w，某个组合的标准货物总重量为wc，从w和wc的匹配程度rw可知要将该组合中标准货物作为识别结果的可信度。rw值越大，将该组合中标准货物作为识别结果的可信度越高，反之越低。

步骤305：根据智能货柜中货物重量发生变化时的时间点和各组合对应的采集时间点计算得到各组合的时间置信度，所述时间置信度表示根据采集时间匹配程度判断对待识别货物识别的可信度。

实际应用中，计算时间置信度可以采用如下方法：针对一个组合，计算智能货柜中货物重量发生变化时的时间点和该组合对应的采集时间点之间的时间差值绝对值的总和；根据事先设置的最大时间误差值和所述时间差值绝对值的总和计算得到时间误匹配率；根据所述时间误匹配率得到时间置信度。

假设货物重量发生变化时的时间点为tw，某个组合中对应的采集时间点为ti，时间差值绝对值的总和为∑|tw-ti|，时间误匹配率为该组合的时间置信度rt可用如下公式2表示：

从公式2可知，假设货物重量发生变化时的时间点为tw，某个组合中对应的采集时间点为ti，从tw和ti的匹配程度rt可知要将该组合中标准货物作为识别结果的可信度。rt值越大，说明货物重量发生变化时正好对应了该组合采集时间点，因此将该组合中标准货物作为识别结果的可信度越高，反之越低。也就是说，假如某个时间点货物重量发生了变化，在该时间点也应该同时采集到相应的图像，虽然两者存在时间差，但是通常认为离该时间点越近采集到的图像中含待识别货物的可能性越高，反之越低。

步骤306：根据各组合中标准货物的种类量和事先设置的种类权值得到各组合种类置信度，所述种类置信度表示根据种类值判断对待识别货物识别的可信度。

实际应用中，假设kc为某个组合中标准货物的种类量，即该组合中包括标准货物种类的个数，αk表示权值，该组合的种类置信度可用如下公式3表示：

rk＝1-(kc-1)×αk公式3

根据经验可知，假设组合中标准货物的种类个数越接近1，则可信度越高，反之越低。

步骤307：根据各组合中标准货物的数量和事先设置的数量权值得到数量置信度，所述数量置信度表示根据数量值判断对待识别货物识别的可信度。

实际应用中，假设nc为某个组合中标准货物的数量，即该组合中包括标准货物的个数，αn表示权值，种类置信度可用如下公式3表示：

rn＝1-(nc-1)×αn公式4

根据经验可知，假设组合中标准货物的种类个数越接近1，则可信度越高，反之越低。

步骤308：根据所述重量置信度、时间置信度、种类置信度和数量置信度计算得到各组合的识别置信度。

实际应用中，本步骤各组合识别置信度r可以用如下公式5表示：

r＝rw×rt×rk×rn公式5

根据经验可知，假设组合中标准货物的数量越接近1，则可信度越高，反之越低。

本申请实施例二在计算总的识别置信度时，不但考虑重量和时间，还根据经验考虑了待识别货物的种类和数量，认为多数用户以此取出或放回一件货物。实际应用中，也可以不考虑这两种因素，即可以省略步骤306和步骤307。

步骤309：将最大的识别置信度对应组合的标准货物作为识别出的货物。

本申请实施例中，在计算某个组合的置信度时，可以利用步骤304～步骤308计算得到，按照该方法同样得到可以各组合的置信度，然后将置信度最大的组合作为识别结果。

应用本实施例方案，由于在货物重量发生变化时，可以根据图像采集到的图像确定货物和采集时间点，将各种可能的货物组合从多个维度与实际货物情况或者经验情况进行匹配，估计计算出一个最大可能性的组合，将该组合中的货物作为货物识别的结果。

上述各实施例是智能货柜处理器执行的，因此本申请实施例还提供一种智能货柜货物识别装置。如图4所示，该装置包括：重量获取单元401、图像信息获取单元402、组合单元403和识别单元404。其中，

重量获取单元401，用于获取所述智能货柜中货物重量发生变化时的待识别货物实际总重量值；

图像信息获取单元402，用于获取识别时间段内所有被识别出的货物标识号和对应的采集时间点，所述货物标识号是对采集到的货物图像进行图像识别中确定的，所述识别时间段是根据所述智能货柜中货物重量发生变化时的时间点设置的；

组合单元403，用于根据所有被识别出的货物标识号确定对应的标准货物的种类和数量，并选择不同种类和数量的标准货物进行组合，得到各组合标准货物总重量值；

识别单元404，用于根据所述待识别货物实际总重量值、各标准货物组合总重量值以及各组合对应的采集时间点计算各组合的识别置信度，将最大的识别置信度对应组合的标准货物作为识别出的货物。

图5是识别单元404内部结构示意图，如图5所示，该识别单元404包括：

重量置信度计算子单元4041，用于根据所述待识别货物实际总重量值和各组合标准货物总重量值计算得到各组合的重量置信度，所述重量置信度表示根据重量匹配程度判断对待识别货物识别的可信度；

时间置信度计算子单元4042，用于根据所述智能货柜中货物重量发生变化时的时间点和各组合对应的采集时间点计算得到各组合的时间置信度，所述时间置信度表示根据采集时间匹配程度判断对待识别货物识别的可信度；

种类置信度计算子单元4043，用于根据各组合中标准货物的种类量和事先设置的种类权值得到各组合种类置信度，所述种类置信度表示根据种类值判断对待识别货物识别的可信度；

数量置信度计算子单元4044，用于根据各组合中标准货物的数量和事先设置的数量权值得到各组合数量置信度，所述数量置信度表示根据数量值判断对待识别货物识别的可信度；

识别置信度4045，用于根据所述重量置信度、时间置信度、种类置信度和数量置信度计算得到各组合的识别置信度。

其中，重量置信度计算子单元4041具体计算的方式可以参考方法实施例二步骤304的公式1，时间置信度计算子单元4042具体计算的方式可以参考方法实施例二步骤305的公式2，种类置信度计算子单元4043具体计算的方式可以参考方法实施例二步骤306的公式3，数量置信度计算子单元4044具体计算的方式可以参考方法实施例二步骤307的公式4。识别置信度4045具体计算的方式可以参考方法实施例二步骤308的公式5。

另外，实际应用中，图像信息获取单元402可以进一步用于，获取待识别货物对应的运动方向标识，运动方向标识为离开时表示待识别货物从智能货柜中取出，运动方向表示为进入时表示待识别货物放入智能货柜中；所述待识别货物对应的运动方向标识是根据图像识别算法从采集到的货物图像中识别出的。也就是说，当所述智能货柜中货物重量发生的变化是减少，所述被识别出的货物标识号是运动方向标识为离开所对应的货物标识号；当所述智能货柜中货物重量发生的变化是增加，所述被识别出的货物标识号是运动方向标识为进入所对应的货物标识号。

本申请还提供一种计算机可读介质，可以为rom、ram、eprom等等，用于存储指令，即：将上述方法实施例相关的指令保存在智能货柜的计算机可读存储介质中，所述在由处理器执行时使得所述处理器可执行上述任何一种智能货柜货物识别方法中的步骤。

本申请还提供一种智能货柜，包括检测重量变化的部件、图像采集装置，该智能货柜还包括计算机可读介质和处理器，使得该处理器执行该可读介质存储的指令时，可实现上述各方法实施例的步骤。

应用本申请实施例方案，智能货柜无需用户通过按键选择货物，货柜也无需靠内部机械传送货物。用户选择货物时，智能货柜中检测重量变化的部件将变化情况实时上报给处理器，图像采集部件将图像分析出的情况实时上报给处理器，处理器根据这些情况利用上述各实施例方案快速识别出用户取出或放回的货物，即识别出待识别货物。由于是依靠智能货柜的处理器执行，与现有的机械运作方式相比，不但可以快速识别出货物，利于后续快速准确结算，而且可以在智能货柜中自由选择货物，用户体验更佳。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。