超市购物车监控系统及其监控方法
【专利摘要】一种超市购物车监控系统及其监控方法，包括安装于购物车把手之间的控制器、扫码器、置于车筐底部的称重传感器和位于车筐上端监控筐口的摄像头，扫码器位于控制器下侧，与购物车筐口相对，扫码器、称重传感器和摄像头分别与控制器通讯连接，顾客的完整购物过程分为六个状态，在每个状态不同程度地利用称重传感器实时反馈的重量变化信息、监控装置采集的每帧图像信息、扫码器获取的商品信息，结合多个图像分析算法实现智能购物车系统在购物过程中的防偷盗功能。通过对检测出的运动目标图像或肤色检测图像进行灰度图像统计特征分析或模式识别，实现监控区域内空手或手持商品的检测，及时提醒并纠正顾客的违规操作。
【专利说明】
超市购物车监控系统及其监控方法
技术领域
[0001]本发明涉及一种超市购物车监控系统及其监控方法，尤其涉及一种基于图像分析和重力传感结合的超市购物系统及其监控方法。
【背景技术】
[0002]虽然如今网购很方便，但是超市购物依然是人们重要的购物途径和生活方式，特别在一二线城市或者节假日，排队付款的现象突出，这使得原本快捷的购物方式由于排队等候结账的时间长，落后的购物体验降低了顾客的消费欲望，却增加了超市的运营成本。因此，研究开发集自助扫码结账和实时监控偷盗行为于一体的智能购物系统，具有广阔的市场前景和重大的商业价值。
[0003]国内外已有很多类似的研究，沃尔玛先在零售业研发了RFID技术，并研发了基于RFID的智能购物车并在部分沃尔玛超市试用，随后大连理工大学、上海交通大学等研究了基于RFID的购物智能终端，该研究使用了 RFID标签取代多维条形码，该标签不仅包含了商品各项信息，而且有很好的防伪技术、加密技术和信息控制，然而RFID标签目前还无法长时间取代普通的二维码，故现如今只有沃尔玛极个别超市在推广应用。另外还有中南大学、信息科学与工程学院、电子科技大学等研究了基于嵌入式系统的智能购物车，该方案结合普通的条形码和嵌入式操作系统的智能终端，实现了室内导航、条码扫描、管理购物列表、生成付款码等功能，但该方案没有涉及到购物车的防盗功能，因此也无法广泛使用。但东北林业大学的刘兵等人根据电子商品防盗系统即EAS系统对购物车商品进行防盗，利用每个商品的软标签，在商品结算后才可以用EAS系统对软标签进行解码，从而实现防盗，这与RFID标签类似，需要对每个商品都做不同的软标签，工作量较大，不能广泛使用。目前超市有的防盗措施基本都是在出超市门的电子闸门上，包括专利CN20 1520043 135.6和专利CN201510559549.9该方法逻辑判断过于简单，且不能检测购物过程中的偷换商品操作。
【发明内容】
[0004]本发明的目的在于:提供一种超市购物车监控系统及其监控方法，利用购物过程中采集到的商品条码数据、购物筐内重量变化数据和购物车中心区域内的图像分析数据，实现购物车防偷盗的功能。
[0005]为了达到以上目的，本发明提供的一种超市购物车监控系统，包括安装于购物车把手之间的控制器、扫码器、置于车筐底部的称重传感器和位于车筐上端监控筐口的摄像头，扫码器位于控制器下侧，与购物车筐口相对，扫码器、称重传感器和摄像头分别与控制器通讯连接。
[0006]本发明的优选方案是:摄像的分辨率谓40-50(800*600)万像素，帧频不低于25帧/秒。
[0007]优选地，称重传感器的测量范围为0-100公斤，全量程称重精度为±1克。
[0008]优选地，扫码器通过USB接口与控制器相连。
[0009]—种基超市购物车监控系统的监控方法，包括如下步骤，
51、启动控制器，扫码器、称重传感器和摄像头开始采集数据信息；
当称重传感器计重不变时，则顾客没有将商品放进购物筐里或者空手操作，若商品已扫码，控制器会提示扫码成功，进入步骤S4，检测是否有违规操作;若商品未扫码，摄像头采集购物筐内的图像信息传递至控制器进行图像判断，判断空手还是手持物体;若手持物体则进入步骤S2，若空手则忽略此次动作；
当称重传感器计重增加时，表示商品未扫码或者扫码未成功直接放入了购物筐里，则会提示拿出重新扫码，进入步骤S6，检测拿出的商品是否为刚才放入的商品；
当称重传感器计重计重减小时，表示已经完成一次购买过程，则会提示退货请扫码，并进入步骤S3，检测是否有不符合退货的违规操作；
52、该步骤是在确定了手中有物品后；
若称重传感器计重不变，则说明商品未进入购物筐，控制器提示扫码，当扫码成功后进入步骤S4;
若称重传感器计重计重减小，则说明顾客存在偷换商品的违规操作，控制器会提示违规操作走人工通道；
若称重传感器计重增加，则说明顾客在未扫码的情况下又放入了新商品，控制器会提示新商品请拿出，进入步骤S6，检测拿出的商品是否符合，以免偷换商品；
53、当步骤SI中检测到计重减小信号，此时手已经在摄像头检测的区域内，根据检测到的运动目标质心所在位置进行判断；
当质心在购物筐中心区域外，则认为顾客已经将商品拿出且未扫码，而不能确定顾客拿出的是哪一个商品，故会提示违规操作，请走人工通道；
当质心在购物筐中心区域内，会采集计重器的实时重量变化信息;如果计重不变，说明在正常退货过程，需要再扫码，故此时由反馈的扫码信号确定是否退货成功;若未扫码则控制器会提示退货请扫码;若已扫码则会进行重量匹配，判断拿出的商品是否符合扫码的商品；若符合则会提示请拿出并进入步骤S5，检测拿出过程中的违规操作;若不符合，则认为顾客拿出的商品不正确，提示请走人工通道;如果计重增加，则进行重量匹配，若匹配不符合，则认为顾客放入了其他商品，控制器提示请走人工通道;若匹配符合，则进行图像判断，以防顾客放入同重量的商品；如果计重减小，则认为同时拿出两件商品退货，控制器会提醒顾客；
54、当步骤SI提示扫码成功后，摄像头会检测运动目标的质心位置，若检测到质心在购物筐中心区域外，则认为顾客在退货，故会提示其重新扫码，完成退货过程；
由计重器反馈的实时重量变化信息分成三种情况;计重不变时，只需判断质心的位置；
计重减小时;则认为顾客未扫码就拿出商品，提醒顾客违规操作，需走人工通道；
计重增加时，商品已经放入购物车，此时进行重量匹配。如果符合，图像判断顾客的手是否持有物品，若手持物品，则认为手中拿有两个等重量但不等价格的物体，扫码的商品可能会和放入的商品不同，故会认为是违规操作并提示走人工通道;若空手，则认为购买成功，会提示可继续购物，并回到步骤SI。如果不符合，则会提醒拿出新商品，进入步骤S6，检测拿出过程中是否有违规操作；
55、该步骤是退货过程中重量匹配后，检测拿出商品时是否有违规操作； 当计重增加或计重减小都认为是违规操作；
当计重不变时，根据前一帧与当前帧的差分二值图像，若白色像素面积小于很小的阈值以内就说明商品已退出监控区域，退货结束，返回到步骤Si，继续购物；
S6、该步骤是在购买过程中检测出重量不匹配，提示拿出商品时检测拿出的商品是否与放入的商品相同；
当计重增加时，认为未拿出商品还继续放入新商品是非常规购物操作，会提醒顾客；当计重减小时，根据前一帧与当前帧的差分二值图像，若白色像素面积小于很小的阈值以内就说明商品已退出监控区域，将正确的商品拿出后会步骤SI，继续购物。
[0010]优选地，图像判断是通过先对彩色原图进行灰度转换后，再对其进行运动检测并确定运动目标质心，当质心在购物筐监控中心区域内后，对彩色原图进行肤色检测，将运动检测结果和肤色检测结果求和得到完整运动目标图像，接着将完整运动目标结果与肤色结果相减得到去肤色运动目标;然后计算出去肤色运动图像中像素值为255的像素点个数作为去肤色面积，并算出肤色质心以下完整运动目标的信息熵，如果连续多帧检测的去肤色面积大于阈值A或者肤色质心以下运动区域的信息熵大于阈值B，可认为是手持物体在购物筐中，反之认为是空手，需对背景进行更新。
[0011 ]本发明有益效果为:将顾客的完整购物过程分为六个状态，在每个状态不同程度地利用称重传感器实时反馈的重量变化信息、监控装置采集的每帧图像信息、扫码器获取的商品信息，结合多个图像分析算法实现智能购物车系统在购物过程中的防偷盗功能;通过对检测出的运动目标图像或肤色检测图像进行灰度图像统计特征分析或模式识别，实现监控区域内空手或手持商品的检测，及时提醒并纠正顾客的违规操作，实现对顾客违规购物行为的判断，并且在防盗止损的同时，实现付款免排队，降低人工成本，提高购物体验。
【附图说明】
[0012]图1为本发明的模块结构示意图。
[0013]图2为本发明方法步骤一的流程图。
[0014]图3为本发明方法步骤二的流程图。
[0015]图4为本发明方法步骤三的流程图。
[0016]图5为本发明方法步骤四的流程图。
[0017]图6为本发明方法步骤五的流程图。
[0018]图7为本发明方法步骤六的流程图。
【具体实施方式】
[0019]实施例一
本实施例提供的一种超市购物车监控系统，如图1所示包括安装于购物车把手之间的控制器、扫码器、置于车筐底部的称重传感器和位于车筐上端监控筐口的摄像头，扫码器位于控制器下侧，与购物车筐口相对，扫码器、称重传感器和摄像头分别与控制器通讯连接。
[0020]摄像的分辨率谓40-50(800*600)万像素，帧频不低于25帧/秒。
[0021]称重传感器的测量范围为0-100公斤，全量程称重精度为±I克。
[0022]扫码器通过USB接口与控制器相连。
[0023]—种基超市购物车监控系统的监控方法，包括如下步骤，
51、启动控制器，扫码器、称重传感器和摄像头开始采集数据信息;如图2所示，
当称重传感器计重不变时，则顾客没有将商品放进购物筐里或者空手操作，若商品已扫码，控制器会提示扫码成功，进入步骤S4，检测是否有违规操作;若商品未扫码，摄像头采集购物筐内的图像信息传递至控制器进行图像判断，判断空手还是手持物体;若手持物体则进入步骤S2，若空手则忽略此次动作；
当称重传感器计重增加时，表示商品未扫码或者扫码未成功直接放入了购物筐里，则会提示拿出重新扫码，进入步骤S6，检测拿出的商品是否为刚才放入的商品；
当称重传感器计重计重减小时，表示已经完成一次购买过程，则会提示退货请扫码，并进入步骤S3，检测是否有不符合退货的违规操作；
52、该步骤是在确定了手中有物品后;如图3所不，
若称重传感器计重不变，则说明商品未进入购物筐，控制器提示扫码，当扫码成功后进入步骤S4;
若称重传感器计重计重减小，则说明顾客存在偷换商品的违规操作，控制器会提示违规操作走人工通道；
若称重传感器计重增加，则说明顾客在未扫码的情况下又放入了新商品，控制器会提示新商品请拿出，进入步骤S6，检测拿出的商品是否符合，以免偷换商品；
53、如图4所示，当步骤SI中检测到计重减小信号，此时手已经在摄像头检测的区域内，根据检测到的运动目标质心所在位置进行判断；
当质心在购物筐中心区域外，则认为顾客已经将商品拿出且未扫码，而不能确定顾客拿出的是哪一个商品，故会提示违规操作，请走人工通道；
当质心在购物筐中心区域内，会采集计重器的实时重量变化信息;如果计重不变，说明在正常退货过程，需要再扫码，故此时由反馈的扫码信号确定是否退货成功;若未扫码则控制器会提示退货请扫码;若已扫码则会进行重量匹配，判断拿出的商品是否符合扫码的商品；若符合则会提示请拿出并进入步骤S5，检测拿出过程中的违规操作;若不符合，则认为顾客拿出的商品不正确，提示请走人工通道;如果计重增加，则进行重量匹配，若匹配不符合，则认为顾客放入了其他商品，控制器提示请走人工通道;若匹配符合，则进行图像判断，以防顾客放入同重量的商品；如果计重减小，则认为同时拿出两件商品退货，控制器会提醒顾客；
54、如图5所示，当步骤SI提示扫码成功后，摄像头会检测运动目标的质心位置，若检测到质心在购物筐中心区域外，则认为顾客在退货，故会提示其重新扫码，完成退货过程；
由计重器反馈的实时重量变化信息分成三种情况;计重不变时，只需判断质心的位置；
计重减小时;则认为顾客未扫码就拿出商品，提醒顾客违规操作，需走人工通道；
计重增加时，商品已经放入购物车，此时进行重量匹配。如果符合，图像判断顾客的手是否持有物品，若手持物品，则认为手中拿有两个等重量但不等价格的物体，扫码的商品可能会和放入的商品不同，故会认为是违规操作并提示走人工通道;若空手，则认为购买成功，会提示可继续购物，并回到步骤SI。如果不符合，则会提醒拿出新商品，进入步骤S6，检测拿出过程中是否有违规操作；
55、如图6所示，该步骤是退货过程中重量匹配后，检测拿出商品时是否有违规操作； 当计重增加或计重减小都认为是违规操作；
当计重不变时，根据前一帧与当前帧的差分二值图像，若白色像素面积小于很小的阈值以内就说明商品已退出监控区域，退货结束，返回到步骤Si，继续购物；
S6、如图7所示，该步骤是在购买过程中检测出重量不匹配，提示拿出商品时检测拿出的商品是否与放入的商品相同；
当计重增加时，认为未拿出商品还继续放入新商品是非常规购物操作，会提醒顾客；当计重减小时，根据前一帧与当前帧的差分二值图像，若白色像素面积小于很小的阈值以内就说明商品已退出监控区域，将正确的商品拿出后会步骤SI，继续购物。
[0024]图像判断是通过先对彩色原图进行灰度转换后，再对其进行运动检测并确定运动目标质心，当质心在购物筐监控中心区域内后，对彩色原图进行肤色检测，将运动检测结果和肤色检测结果求和得到完整运动目标图像，接着将完整运动目标结果与肤色结果相减得到去肤色运动目标;然后计算出去肤色运动图像中像素值为255的像素点个数作为去肤色面积，并算出肤色质心以下完整运动目标的信息熵，如果连续多帧检测的去肤色面积大于阈值A或者肤色质心以下运动区域的信息熵大于阈值B，可认为是手持物体在购物筐中，反之认为是空手，需对背景进行更新。
[0025]除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。
【主权项】
1.一种超市购物车监控系统，其特征在于，包括安装于购物车把手之间的控制器、扫码器、置于车筐底部的称重传感器和位于车筐上端监控筐口的摄像头，所述扫码器位于所述控制器下侧，与购物车筐口相对，所述扫码器、所述称重传感器和所述摄像头分别与所述控制器通讯连接。2.根据权利要求1所述的一种超市购物车监控系统，其特征在于，所述摄像的分辨率谓40-50(800*600)万像素，帧频不低于25帧/秒。3.根据权利要求1所述的一种超市购物车监控系统，其特征在于，所述称重传感器的测量范围为0-100公斤，全量程称重精度为± I克。4.根据权利要求1所述的一种超市购物车监控系统，其特征在于，所述扫码器通过USB接口与控制器相连。5.一种基于权利要求1-4超市购物车监控系统的监控方法，其特征在于，包括如下步骤， 51、启动控制器，扫码器、称重传感器和摄像头开始采集数据信息； 当称重传感器计重不变时，则顾客没有将商品放进购物筐里或者空手操作，若商品已扫码，控制器会提示扫码成功，进入步骤S4，检测是否有违规操作;若商品未扫码，摄像头采集购物筐内的图像信息传递至控制器进行图像判断，判断空手还是手持物体;若手持物体则进入步骤S2，若空手则忽略此次动作； 当称重传感器计重增加时，表示商品未扫码或者扫码未成功直接放入了购物筐里，则会提示拿出重新扫码，进入步骤S6，检测拿出的商品是否为刚才放入的商品； 当称重传感器计重计重减小时，表示已经完成一次购买过程，则会提示退货请扫码，并进入步骤S3，检测是否有不符合退货的违规操作； 52、该步骤是在确定了手中有物品后； 若称重传感器计重不变，则说明商品未进入购物筐，控制器提示扫码，当扫码成功后进入步骤S4; 若称重传感器计重计重减小，则说明顾客存在偷换商品的违规操作，控制器会提示违规操作走人工通道； 若称重传感器计重增加，则说明顾客在未扫码的情况下又放入了新商品，控制器会提示新商品请拿出，进入步骤S6，检测拿出的商品是否符合，以免偷换商品； 53、当步骤SI中检测到计重减小信号，此时手已经在摄像头检测的区域内，根据检测到的运动目标质心所在位置进行判断； 当质心在购物筐中心区域外，则认为顾客已经将商品拿出且未扫码，而不能确定顾客拿出的是哪一个商品，故会提示违规操作，请走人工通道； 当质心在购物筐中心区域内，会采集计重器的实时重量变化信息；如果计重不变，说明在正常退货过程，需要再扫码，故此时由反馈的扫码信号确定是否退货成功;若未扫码则控制器会提示退货请扫码;若已扫码则会进行重量匹配，判断拿出的商品是否符合扫码的商品；若符合则会提示请拿出并进入步骤S5，检测拿出过程中的违规操作;若不符合，则认为顾客拿出的商品不正确，提示请走人工通道;如果计重增加，则进行重量匹配，若匹配不符合，则认为顾客放入了其他商品，控制器提示请走人工通道;若匹配符合，则进行图像判断，以防顾客放入同重量的商品；如果计重减小，则认为同时拿出两件商品退货，控制器会提醒顾客； 54、当步骤SI提示扫码成功后，摄像头会检测运动目标的质心位置，若检测到质心在购物筐中心区域外，则认为顾客在退货，故会提示其重新扫码，完成退货过程； 由计重器反馈的实时重量变化信息分成三种情况;计重不变时，只需判断质心的位置； 计重减小时;则认为顾客未扫码就拿出商品，提醒顾客违规操作，需走人工通道； 计重增加时，商品已经放入购物车，此时进行重量匹配;如果符合，图像判断顾客的手是否持有物品，若手持物品，则认为手中拿有两个等重量但不等价格的物体，扫码的商品可能会和放入的商品不同，故会认为是违规操作并提示走人工通道;若空手，则认为购买成功，会提示可继续购物，并回到步骤SI;如果不符合，则会提醒拿出新商品，进入步骤S6，检测拿出过程中是否有违规操作； 55、该步骤是退货过程中重量匹配后，检测拿出商品时是否有违规操作； 当计重增加或计重减小都认为是违规操作； 当计重不变时，根据前一帧与当前帧的差分二值图像，若白色像素面积小于很小的阈值以内就说明商品已退出监控区域，退货结束，返回到步骤Si，继续购物； 56、该步骤是在购买过程中检测出重量不匹配，提示拿出商品时检测拿出的商品是否与放入的商品相同； 当计重增加时，认为未拿出商品还继续放入新商品是非常规购物操作，会提醒顾客； 当计重减小时，根据前一帧与当前帧的差分二值图像，若白色像素面积小于很小的阈值以内就说明商品已退出监控区域，将正确的商品拿出后会步骤SI，继续购物。6.根据权利要求5所述的一种超市购物车监控系统的监控方法，其特征在于，所述图像判断是通过先对彩色原图进行灰度转换后，再对其进行运动检测并确定运动目标质心，当质心在购物筐监控中心区域内后，对彩色原图进行肤色检测，将运动检测结果和肤色检测结果求和得到完整运动目标图像，接着将完整运动目标结果与肤色结果相减得到去肤色运动目标;然后计算出去肤色运动图像中像素值为255的像素点个数作为去肤色面积，并算出肤色质心以下完整运动目标的信息熵，如果连续多帧检测的去肤色面积大于阈值A或者肤色质心以下运动区域的信息熵大于阈值B，可认为是手持物体在购物筐中，反之认为是空手，需对背景进行更新。
【文档编号】H04N7/18GK105915857SQ201610414195
【公开日】2016年8月31日
【申请日】2016年6月13日
【发明人】徐步兵, 韩静, 张瑞琪, 王琴, 郭恩来
【申请人】南京亿猫信息技术有限公司