超市购物车手部识别方法及其识别系统与流程

本发明涉及一种图像识别方法，具体来讲是一种超市购物车手部识别方法。

背景技术：

超市智能购物车的一个主要功能就是能够识别顾客的手以及其手上是否拿有货物，现有的肤色检测方法主要是以人脸为主的检测方法，为了了保证人脸部分尽可能多的被包含在测光区域中，必须增加人脸框的大小，这样或多或少的在人脸测光区域中包含了背景和头发的数据，由于背景的亮度信息在不同场景和光照条件下变化较大，并且加之头发和眼睛颜色的影响，导致基于人脸为主的测光非常的不稳定，极大的影响了测光的效果。

技术实现要素：

本发明所要解决的技术问题是，提供一种识别准确率高、简单方便的超市购物车手部识别方法。

本发明解决以上技术问题的技术方案：

一种超市购物车手部识别方法，按照如下步骤进行：

（1）判断手的位置，以购物车开口为基准面H1，监控基准面上方是否存在目标，如有则保存图片；

（2）图像处理，通过建立肤色模型对第一步获得的图像进行处理；

（3）判断持物状态，将第二步获得的图像进行二次判断。

本发明进一步限定的技术方案为：

进一步的，第（1）步中包括如下分步骤：

（1.1）将深度图与H1面对比，高于H1面的部分为前景，当前景的面积大于一定阈值，则认为监控区域有运动；

（1.2）统计前景运动与监控区域各边的交点个数，将交点个数最大的边认为时运动物体进入的方向；

（1.3）做一个将所有前景包含在内的前景的外接矩形；

（1.4）取外接矩形的内切圆中离步骤2中得到的进入边界最远的圆；

（1.5）将彩色图像中圆所在部分的图像抠出，该图像即手或商品所在位置。

进一步的，第（2）步中包括如下分步骤：(2.1) 按照公式1计算图像I在RGB三通道的均值，；

(2.2)根据(2.1)计算出的均值，按照公式2 计算出图像I的协方差矩阵，；

公式2中的计算公式如下：；

(2.3)根据（2.1）、（2.2）计算得到的均值和协方差矩阵计算出投影矩阵Pro，Pro=*。

进一步的，第（3）步中包括如下分步骤：

(3.1) 采集以肤色为主的图像集，要求除肤色区域外，其它区域灰度值为0。

(3.2) 利用(3.1)中图像集，并依据第（2）步中的方法计算得出图像集肤色区域的均值，协方差矩阵以及投影矩阵，并根据投影矩阵确定肤色区域的投影范围；

(3.3) 输入一张具有肤色区域的图像，利用（3.2）中求得的均值与协方差矩阵计算该图像每个像素点对应的投影矩阵，若该投影矩阵在（3.2）中所计算的投影矩阵范围内，则认为该像素点为肤色，否则为非肤色。

进一步的，还包括手持商品判断步骤，具体为：

（4.1）将模块二中提供的切割过后有效运动图像进行第一判断，若图像为空即切割后图像没有运动部分，那么直接判定为空手；

（4.2）若第一判断中图像不为空，对切割后肤色二值图像进行第二判断，若图像为空，即运动切割图像中不存在肤色部分，那么直接判定为手持物品；

（4.3）若第二判断中图像不为空，计算运动灰度图像的最大轮廓面积与面积阈值b进行第二判断；

（4.4）如果最大轮廓面积大于面积阈值b，那么进行肤色置位；

（4.5）如果最大轮廓面积小于面积阈值，那么将彩色图像转换到HSV颜色空间，提取S通道。

进一步的，阈值a和c是根据实际使用环境进行适应性调整，图像越清晰阈值a越大；在分辨率为320*240的图像中面积阈值b等于50；在肤色检测完整前提下，纯手的信息熵为零。

进一步的，在光照充足实验室条件下我们给予一个经验值a=1.4,c=6.5。

进一步的，第（4.4）中包括分步骤为（4.4.1）对置位后灰度图像计算信息熵；

（4.4.2）对信息熵进行第四判断，如果信息熵大于阈值a，那么判断为携带商品，否则判断为空手；

第（4.5）中包括分步骤为（4.5.1）计算该通道信息熵，进行第五判断，如果信息熵大于阈值c，那么判断为携带商品，否则判断为空手。

进一步的，还包括判断用户购物和退货过程中是否违规操作；在购买过程中，从监控视野内有运动开始，对与基准面H1交集面积为零的每一帧进行是否手持商品的判断，并保存下来，每当出现交集面积从零变换到非零的交界，便对保存的手持商品判断结果清零，当交集面积变换到零时，重新开始对交集面积为零的每一帧进行是否手持商品的判断并保存，反复进行这些操作直到监控视野内无运动，将最后保存下来的数据进行统计，若手持商品的比率大于一定阈值，则可判定该退出过程中手持商品退出，为违规操作；在退货过程中，从监控视野内有运动开始，对与基准面H1交集面积为零的每一帧进行手持商品判断并保存判断结果，第一次出现交集面积为非零时，就对保存的数据累计计算手持商品的比率，若大于一定阈值，则可判定为手持商品进入，则为违规操作，然后将结果清零直到下一次退货过程重新开始。

一种基于超市购物车手部识别方法的识别系统，包括：

手部分割计算模块，根据手部运动趋势，判断并获得手部可能持有商品的图片；

肤色计算模块，对手不可能持有商品的图片做肤色分割处理；

手持商品判断模块，判断手部是否真的持有商品；

统计模块，通过对手持商品判断模块结果的统计判断用户是否违规操作。

本发明通过运动检测、肤色检测以及手和商品的判断这几个步骤来最终精确得到手部是否持有商品的判断；该方法不会对用户产生额外的负担和要求，整个判断过程全自动进行，非常简单方便。

附图说明

图1是第（1）步的流程示意图；

图2是第（2）步的流程示意图；

图3是判断用户购物过程中是否违规操作；

图4是判断用户退货过程中是否违规操作。

具体实施方式

实施例1

一种基于超市购物车手部识别方法的识别系统，包括：

手部分割计算模块，根据手部运动趋势，判断并获得手部可能持有商品的图片；

肤色计算模块，对手不可能持有商品的图片做肤色分割处理；

手持商品判断模块，判断手部是否真的持有商品；

统计模块，通过对手持商品判断模块结果的统计判断用户是否违规操作。

一种超市购物车手部识别方法，按照如下步骤进行：

（1）判断手的位置，以购物车开口为基准面H1，监控基准面上方是否存在目标，如有则保存图片；

第（1）步中包括如下分步骤：（1.1）将深度图与H1面对比，高于H1面的部分为前景，当前景的面积大于一定阈值，则认为监控区域有运动；

（1.2）统计前景运动与监控区域各边的交点个数，将交点个数最大的边认为时运动物体进入的方向；

（1.3）做一个将所有前景包含在内的前景的外接矩形；

（1.4）取外接矩形的内切圆中离步骤2中得到的进入边界最远的圆；

（1.5）将彩色图像中圆所在部分的图像抠出，该图像即手或商品所在位置。

（2）图像处理，通过建立肤色模型对第一步获得的图像进行处理；

第（2）步中包括如下分步骤：(2.1) 按照公式1计算图像I在RGB三通道的均值， ；

(2.2)根据(2.1)计算出的均值，按照公式2 计算出图像I的协方差矩阵，；

公式2中的计算公式如下：；

(2.3)根据（2.1）、（2.2）计算得到的均值和协方差矩阵计算出投影矩阵Pro，Pro=*。

（3）判断持物状态，将第二步获得的图像进行二次判断。

第（3）步中包括如下分步骤：

(3.1) 采集以肤色为主的图像集，要求除肤色区域外，其它区域灰度值为0。

(3.2) 利用(3.1)中图像集，并依据第（2）步中的方法计算得出图像集肤色区域的均值，协方差矩阵以及投影矩阵，并根据投影矩阵确定肤色区域的投影范围；

(3.3) 输入一张具有肤色区域的图像，利用（3.2）中求得的均值与协方差矩阵计算该图像每个像素点对应的投影矩阵，若该投影矩阵在（3.2）中所计算的投影矩阵范围内，则认为该像素点为肤色，否则为非肤色。

（4）手持商品判断步骤，具体为：

（4.1）将模块二中提供的切割过后有效运动图像进行第一判断，若图像为空即切割后图像没有运动部分，那么直接判定为空手；

（4.2）若第一判断中图像不为空，对切割后肤色二值图像进行第二判断，若图像为空，即运动切割图像中不存在肤色部分，那么直接判定为手持物品；

（4.3）若第二判断中图像不为空，计算运动灰度图像的最大轮廓面积与面积阈值b进行第二判断；

（4.4）如果最大轮廓面积大于面积阈值b，那么进行肤色置位；

第（4.4）中包括分步骤为（4.4.1）对置位后灰度图像计算信息熵；

（4.4.2）对信息熵进行第四判断，如果信息熵大于阈值a，那么判断为携带商品，否则判断为空手；

第（4.5）中包括分步骤为（4.5.1）计算该通道信息熵，进行第五判断，如果信息熵大于阈值c，那么判断为携带商品，否则判断为空手。

（4.5）如果最大轮廓面积小于面积阈值，那么将彩色图像转换到HSV颜色空间，提取S通道。

其中阈值a和c是根据实际使用环境进行适应性调整，图像越清晰阈值a越大；在分辨率为320*240的图像中面积阈值b等于50；在肤色检测完整前提下，纯手的信息熵为零。在光照充足实验室条件下我们给予一个经验值a=1.4,c=6.5。

（5）判断用户购物和退货过程中是否违规操作；在购买过程中，从监控视野内有运动开始，对与基准面H1交集面积为零的每一帧进行是否手持商品的判断，并保存下来，每当出现交集面积从零变换到非零的交界，便对保存的手持商品判断结果清零，当交集面积变换到零时，重新开始对交集面积为零的每一帧进行是否手持商品的判断并保存，反复进行这些操作直到监控视野内无运动，将最后保存下来的数据进行统计，若手持商品的比率大于一定阈值，则可判定该退出过程中手持商品退出，为违规操作；在退货过程中，从监控视野内有运动开始，对与基准面H1交集面积为零的每一帧进行手持商品判断并保存判断结果，第一次出现交集面积为非零时，就对保存的数据累计计算手持商品的比率，若大于一定阈值，则可判定为手持商品进入，则为违规操作，然后将结果清零直到下一次退货过程重新开始。

本发明通过运动检测、肤色检测以及手和商品的判断这几个步骤来最终精确得到手部是否持有商品的判断；该方法不会对用户产生额外的负担和要求，整个判断过程全自动进行，非常简单方便。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。