智能鉴别购物车内商品信息的算法的制作方法

本发明属于智能购物车技术领域，具体涉及一种智能鉴别购物车内商品信息的算法。

背景技术：

从九十年代初至今短短十几年时间，人们已经逐步习惯了到超市购物。夯筑的超市、便利店和大卖场(以下简称超市)在以全国每个城市市中心为基点辐射到整个城区和各个社区。超市作为一种新型业态，正日益侵占着以往街头小店、在货商店以及个体经营的中型店等传统业态的地位。其功能日趋多样化、全面化，以至于有人惊呼：很多东西非要到超市才能买到。

去超市购物本来是为了方便快捷，但随着到超市购物的消费者越来越多。原本快捷的购物方式却因为要长时间排队等待付账，越来越遭到顾客的抱怨。因此，一些超市和商场已经采用了自助收银系统，但因无防损监控设计，导致货物盗窃、损失，因此被迫放弃使用。至此，市场还没有一种技术能完美地解决超市因结算收银慢而排长龙的现象。

技术实现要素：

本发明的目的是提供一种智能鉴别购物车内商品信息的算法，以解决现有超市结算系统效率低的问题。

本发明采用以下技术方案：智能鉴别购物车内商品信息的算法，按照以下步骤实施：

步骤一、读取待选购商品的条码信息并获得对应的商品预存信息，商品预存信息包括待选购商品的标准重量m₀；

步骤二、连续检测并得到购物车内商品总重m_n+1，将商品总重m_n+1与前次选购行为完成后获取的商品总重m_n进行对比，得到商品总重量的变化值m_Δ，通过变化值m_Δ可以判断出对待选购商品执行的动作信息，动作信息即为：向购物车内放入待选购商品、从购物车内取出待选购商品、或未进行任何操作；

步骤三、将变化值的绝对值|m_Δ|与标准重量m₀进行对比：

如果|m_Δ|与m₀相符，则认为获得的商品预存信息与待选购商品一致，且判断的动作信息正确；

如果|m_Δ|与m₀不符，则认为获得的商品预存信息与待选购商品不一致，和/或判断的动作信息错误。

进一步的，购物车上设置有用于实时连续的检测购物车内商品总重的重量传感器，重量传感器在采集商品总重前，首先要判别购物车的运动状态，再采用对应的算法来计算实际的商品总重。

进一步的，重量传感器采集商品总重的具体算法为：

1)当购物车静止时，重量传感器采集到的数值即为实际的商品总重；

2)当购物车平稳运动时，将重量传感器采集的n个重量数据的平均值作为实际的商品总重；

3)当购物车剧烈运动时，重量传感器采集的数值不可作为商品实际总重；

4)当购物车由运动状态转为静止时，且重量传感器采集到连续六个以st开头的相同数值时，则将数值作为实际的商品总重。

进一步的，m₀的范围区间值为m_min～m_max，如果|m_Δ|位于m₀的范围区间值m_min～m_max内，则判断|m_Δ|与m₀相符；如果|m_Δ|位于m₀的范围区间值m_min～m_max之外，则判断|m_Δ|与m₀不符。

进一步的，在|m_Δ|与m₀相符的条件下，对于判定为向购物车内放入的待选购商品，将其预存信息保存至购物清单；对于判定为从购物车内取出的待选购商品，提示将待选购商品的预存信息从购物清单中删除。

进一步的，在|m_Δ|与m₀不符的条件下，提示出错，并自动将购物车锁住。

进一步的，根据步骤二中检测到的购物车内商品总重量的变化值，判断出已经从购物车内取出了待选购商品，但是在检测到变化值的同时或之后的设定时间内，并未获取到待选购商品的条码信息，则锁定购物车，并提示要对待选购商品进行扫码，同时从购物请单中将其删除，在获得条码信息后或者将待选购商品放回购物车后，购物车解锁。

进一步的，根据步骤二中检测到的购物车内商品总重量的变化值，判断出已经向购物车内放入了待选购商品，但是在检测到变化值之前，并未获取到待选购商品的条码信息，则锁定购物车并提示取出待选购商品，在取出商品后购物车解锁。

进一步的，在购物车内商品总重量保持不变的前提下，读取到待选购商品的条码信息，并获得对应的标准重量，于是在设定的等待时间内禁止读取条码信息；当检测到购物车内商品总重量增加的变化值与标准重量相符时，则判断是向购物车内放入了待选购商品，并将待选购商品的预存信息保存到购物清单中。

进一步的，在获取了待选购商品的条码信息后开始对购物车进行视频录制，并跟踪分析商品轨迹；当根据购物车内商品总重量的变化值，判断出已经向购物车内放入了待选购商品后，则停止视频录制；或者在预先设定的跟踪时间结束时停止录制。本发明的有益效果是：当顾客自己在购物过程中将商品放入购物车后，系统算法自动鉴别，将正确的商品计入购物清单，顾客购物结束即可直接付账，从而大大节约了消费者排队等候付账的时间，也为了给超市增加更多的客流量；同时减少收银员，降低超市经营成本，增加收益渠道。

【附图说明】

图1为本发明实施例中用户扫码操作后的算法鉴定流程图。

【具体实施方式】

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

本发明提供了一种智能鉴别购物车内商品信息的算法，该购物车上需要配备有用于实时监测购物车中商品中总的重量传感器、用于读取待选购商品条码信息的一维码扫描器、用于采集商品视频图像的摄像头、和储存有全部商品预存信息的计算机，该计算机监听多路数据，经过综合分析后，可以准确鉴别出获得的商品预存信息是否与待选购商品一致，对商品的动作信息是否判断正确。例如，放入购物车的商品是否有错漏、夹带等情况，并可以提示用户重新扫码并向后台管理人员预警。

一、本发明智能鉴别购物车内商品信息的算法具体按照以下步骤实施：

步骤一、读取待选购商品的条码信息并获得对应的商品预存信息，所述商品预存信息包括所述待选购商品的名称、标准重量m₀、商品图片、商品规格和折扣信息等等，标准重量m₀的范围区间值为m_min～m_max。

步骤二、购物车上设置有用于实时连续的检测购物车内商品总重的重量传感器，在购物车处于解锁状态下，重量传感器实时连续的检测购物车内商品总重。

通过重量传感器连续检测并得到购物车内商品总重m_n+1，将商品总重m_n+1与前次选购行为完成后获取的商品总重m_n进行对比，得到商品总重量的变化值m_Δ，当>0，则可以判断出向购物车内放入了待选购商品；当<0，则可以判断出从购物车内取出了待选购商品；当＝0，则可以判断出对待选购商品未进行操作。

步骤三、将所述变化值的绝对值|m_Δ|与标准重量m₀进行对比，其中，绝对值|m_Δ|即为待选购商品的实际重量：

3.1)如果|m_Δ|位于所述m₀的范围区间值m_min～m_max内，则判断|m_Δ|与m₀相符，即商品鉴别结果为：获得的商品预存信息与待选购商品一致，且判断的动作信息正确；

然后，对于判定为向购物车内放入的待选购商品，将其预存信息保存至购物清单；对于判定为从购物车内取出的待选购商品，提示将所述待选购商品的预存信息从购物清单中删除。

3.2)如果|m_Δ|位于所述m₀的范围区间值m_min～m_max之外，则判断|m_Δ|与m₀不符，即商品鉴别结果为：获得的商品预存信息与待选购商品不一致，和/或判断的动作信息错误；然后提示出错，并自动将购物车锁住。

二、本发明的智能鉴别购物车内商品信息的算法中，采集商品重量的过程是按照40ms的频率去实时连续的读取重量传感器的数据。但是当购物车运动或处于不水平的地面时，读取的重量数据会与待选购商品的实际重量不符，因此不能作为待选购商品的鉴别依据。所以重量传感器在采集商品总重前，首先要判别购物车的运动状态，然后再根据购物车的不同的状态，采用对应的算法，就可以准确的输出商品实际重量。具体方法如下：

2.1)在采集商品重量信息前，首先判别购物车的状态是静止、平稳运动、剧烈运动、或由运动转为静止的状态：

在购物车上安装有三轴加速度传感器，购物车会实时收取三轴的加速度。在车辆静止时，设x、y、z三轴的静止加速度分别为ax、ay和az。在车辆运动时，三轴实时加速度与静止加速度的差值为ax_Δ、ay_Δ和az_Δ。当差值ax_Δ、ay_Δ和az_Δ位于指定的范围内时，则认为车辆静止；否则，车辆变为运动状态。

2.2)经过试验发现，不同状态下的购物车，重量传感器采集数据的方法都不同，具体如下：

1)当购物车静止时，重量传感器采集到的数值均是以st开头的，即可以将采集到的竖直作为实际的商品总重；

2)当购物车平稳运动时，将重量传感器采集n个重量数据的平均值作为实际的商品总重；

3)当购物车剧烈运动时，重量传感器采集的数值不可作为商品实际总重；

4)当购物车由运动状态转为静止时，且重量传感器采集到连续六个以st开头的相同数值时，则重量传感器读取的重量数值稳定且准确，可以将所述数值作为实际的商品总重。具体方法为：当获取到重量传感器的上报数据后，先存储到运动数据队列中。若该数据以“st”开头，再把该数据存储到静止数据队列；若不是，清空静止数据队列。当静止数据队列的长度达到6，并且数据全部相等，则可输出商品的实际重量，同时清空运动队列；否则，等运动队列数据达到一定量后，求它们的平均值，即商品的实际总重。

三、在购物车上还安装有摄像头，在获取了待选购商品的条码信息后，便开始对购物车的使用状态进行视频录制，录制完毕后跟踪器开始智能检测商品条码区域并标记，通过跟踪标记的条码区域来分析商品的运动轨迹，以此判断用户是否正确放入该扫码的商品，杜绝商品错放、商品夹带的情况发生。当监测到异常行为后，还会将跟踪视频传至后台报警系统。

其中，视频录制的停止时间按照以下任意一种方法控制：第一种，当根据购物车内商品总重量的变化值，判断出已经向购物车内放入了待选购商品后，或者已经从购物车中取出了待选购商品后，则可以停止视频录制；第二种，预先设定一件商品的跟踪时间，在预先设定的跟踪时间结束时停止视频录制。

四、几种常见情况的处理方法如下：

a、当根据检测到的购物车内商品总重量的变化值，判断出已经从购物车内取出了待选购商品，但是在检测到变化值的同时或，但是在商品总重量发生变化之后的设定时间内，通常为10秒，一直未获取到待选购商品的条码信息，说明用户在取出待选购商品的同时或取出之后，未对待选购商品进行扫码。

处理方法是：自动锁定购物车，提示要对待选购商品进行扫码，并且要从购物请单中将待选购商品删除；当获得待选购商品的条码信息后或者将待选购商品放回购物车后，购物车自动解锁。

b、当根据检测到的购物车内商品总重量的变化值，判断出已经向购物车内放入了待选购商品，但是在商品总重量发生变化之前，并未获取到待选购商品的条码信息，说明用户在放入待选购商品前，并未对待选购商品进行扫码。

处理方法是：锁定购物车，并提示取出待选购商品，在取出商品后购物车解锁。

c、当检测到购物车内商品总重量一直未发生变化，但是却又获取了待选购商品的条码信息，以及其标准重量等预存信息，说明此时用户准备将该待选购商品放入购物车内。

处理方法是：在设定的等待时间内禁止读取其他待选购产品的条码信息；当检测到购物车内商品总重量的变化值与标准重量相符时，则将待选购商品的预存信息直接保存到购物清单中。

d、当根据检测到的购物车内商品总重量的变化值，判断出已经向购物车内放入了待选购商品，但跟踪算法经过分析商品的运动轨迹得出扫码的商品并未放入购物车，说明用户替换了商品。

处理方法是：锁定购物车，并提示取出待选购商品，在取出商品后购物车解锁。

e、用户不能扫码的情形：1)在购物车锁定时不能扫码；2)获取到商品条码信息后，等待商品放入的设定时间内不能扫码。当算法判定允许用户扫码时，获取到条码信息后，会先查询购物车中是否取出了商品。

购物车自动锁定的情形：1)当正在检测购物车内是否有替换商品时；2)放入待选购商品之前未扫码；3)取出待选购商品后未扫码。

实施例：

如图1的算法鉴定流程图所示：

当用户对商品进行扫码后，立即检测购物车内商品总重量的变化值，检测商品总重量是否会有减小：

1.1)如果购物车内商品总重量变小，则将此刻检测到的变化值m_Δ与该件商品放入时的标准重量m₀进行对比。如果变化值m_Δ的在m₀的范围区间值m_min～m_max内，即可认为用于将该商品取出，则可以将该商品删除；否则，锁车并提示用户重新扫码该件刚取出的商品。

1.2)如果购物车内商品总重量不变，当购物车处于能够扫码的状态时，即可请求服务器获取商品信息，并开启视频跟踪商品运动轨迹，进入商品等待放入倒计时。因为在购物车不允许重复扫码、且购物车在锁车时不允许扫码，所以在上述提到的购物车处于能够扫码的状态时，说明已经扫码的商品即将放入购物车内。在上述商品等待时间内，当检测到的购物车内商品总重量增加时，然后开始鉴别购物车内商品的信息，并综合商品跟踪算法的结果来鉴别商品。若鉴别成功，将商品加入购物清单，若未加入成功则锁车，当用户清除错误操作后，购物车才能解锁。

现有的图像跟踪算法在智能购物车目标跟踪实验中，由于目标形状尺度和姿态的变化，导致目标很难被跟踪，同时购物的种类非常丰富，很难有固定的特征进行提取，准确跟踪目标概率很低。而本发明的智能鉴别购物车内商品信息的算法对光照变化，遮挡，非刚性形变，运动模糊，背景杂乱和旋转等视频均能跟踪良好，使购物车目标跟踪的成功率达到99％，同时目标跟踪算法的运行速度比常规的深度学习算法快了多个数量级，可以做到嵌入式的实时目标跟踪。