交互行为检测方法、装置、系统、设备和存储介质与流程
本发明涉及检测技术领域，具体涉及一种交互行为检测方法、装置、系统、设备和存储介质。
背景技术：
在商品种类爆发式增长、各种商品目不暇接的今天，为了促进商品的销售、提升竞争优势，商品生产者或销售者往往需要进行消费者(购物者)行为分析，即通过获取消费者对商品的关注度及购买行为，分析其消费习惯、喜好的过程。消费者行为分析能够帮助商品生产者发现商品的优劣势，进行针对性的改进；能够帮助商品销售者识别更受欢迎的商品，改进销售策略；还能为消费者提供个性化的促销、推荐，提高购买效率。可见，消费者行为分析对于改进商品生产与零售商的服务质量、改善消费者购物体验、提高购买效率有着非常重要的意义。
针对线上购物的消费者行为分析已经趋于完善，借助于大数据分析，对促进交易起到非常强大的作用。然而，线上交易往往只占人们日常购物行为的一小部分，商场、超市、门店等线下购物其实占据着更加广阔的市场。但相对于线上交易，线下交易无法直接获取消费者对商品的交互行为，因此进行消费者行为分析十分困难。线下的商品大多是陈列在竖直放置的货架上供消费者选购，线下消费者行为分析中，对消费者与商品的交互行为进行自动化检测处理是难以解决的问题。
最原始的线下消费者行为分析往往是依赖人工观察的方式，即店员跟踪观察消费者的购物过程并记录下来，后续再集中分析。这种方式不但人工成本高，而且调查数据容易受观察者主观因素影响，同时观察行为本身会给消费者带来不舒服的购物体验。因此，有必要改进现有的线下消费者与商品的交互行为检测方法，以期能够对消费者与货架上商品的交互行为进行自动检测。
技术实现要素：
针对现有技术中的缺陷，本发明提供一种交互行为检测方法、装置、系统、设备和存储介质，其能够对消费者与货架上商品的交互行为进行自动检测。
依据本发明的第一方面，提供一种交互行为检测方法，用于对移动目标与货架上商品交互行为进行检测，所述交互行为检测方法包括：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图获得移动目标的三维坐标信息；根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。
在某些实施例中，所述根据过滤后的深度图获得移动目标的三维坐标信息包括：对过滤后的深度图进行连通域分割，每一连通域对应一移动目标；根据连通域的三维坐标信息得到对应的移动目标的三维坐标信息。
在某些实施例中，所述深度图通过深度摄像装置获得；所述预先标定的货架单元格三维坐标信息通过以下步骤获得：对照商品陈列在货架平面上划分出不同商品对应的区域，每个所述区域对应一个货架单元格；根据货架平面上的点到深度摄像装置坐标系的转换关系获得各个货架单元格的三维坐标信息。
在某些实施例中，所述货架平面上的点到深度摄像装置坐标系的转换关系通过以下步骤获得：在货架上选取若干标定点；获取各个标定点在深度摄像装置坐标系下的三维坐标；根据各个标定点在深度摄像装置坐标系下的三维坐标获得从深度摄像装置坐标系到货架坐标系的转换关系；根据所述转换关系反变换得到货架平面上的点到深度摄像装置坐标系的转换关系；
所述货架平面的图像通过以下步骤获得：获取货架正面的图像；根据所述若干标定点在深度摄像装置坐标系下的三维坐标以及在所述图像的坐标系下的二维坐标获得透视变换矩阵；根据所述透视变换矩阵对所述图像进行透视校正得到货架平面的图像。
依据本发明的第二方面，提供一种交互行为检测装置，用于对移动目标与货架上商品交互行为进行检测，所述交互行为检测装置包括：图像获取模块，用于获取移动目标与货架上商品交互的深度图；像素过滤模块，用于过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；坐标获取模块，用于根据过滤后的深度图获得移动目标的三维坐标信息；商品确定模块，用于根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。
依据本发明的第三方面，提供一种交互行为检测方法，用于对移动目标与货架上商品交互行为进行检测，所述交互行为检测方法包括：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图判断移动目标是否触碰货架上商品，当移动目标触碰货架上商品时执行以下步骤：根据过滤后的深度图获得移动目标的三维坐标信息；根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品；根据所述移动目标触碰的商品执行第一指令。
可选地，所述根据过滤后的深度图判断移动目标是否触碰货架上商品包括：判断过滤后的深度图中是否存在像素点；如果过滤后的深度图中存在像素点，则判定移动目标触碰货架上商品；如果过滤后的深度图中不存在像素点，则判定移动目标未触碰货架上商品。
可选地，所述执行第一指令包括但不仅限于：播放与被触碰商品相关的音频和/或视频。
依据本发明的第四方面，提供一种交互行为检测装置，用于对移动目标与货架上商品交互行为进行检测，所述交互行为检测装置包括：图像获取模块，用于获取移动目标与货架上商品交互的深度图；像素过滤模块，用于过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；触碰判断模块，用于根据过滤后的深度图判断移动目标是否触碰货架上商品；坐标获取模块，用于根据过滤后的深度图获得移动目标的三维坐标信息；商品确定模块，用于根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品；指令执行模块，用于当移动目标触碰货架上商品时，根据所述移动目标触碰的商品执行第一指令。
依据本发明的第五方面，提供一种交互行为检测系统，包括深度摄像装置和第一计算处理装置，所述深度摄像装置用于：拍摄移动目标与货架上商品交互的深度图；所述第一计算处理装置用于：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图获得移动目标的三维坐标信息；根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。
进一步地，所述交互检测系统还包括标定点标记工具，用于获取货架上标定点在相机坐标下的三维坐标。
可选地，所述交互检测系统还包括普通摄像装置，用于获取货架正面的图像。
可选地，所述第一计算处理装置还用于获得预先标定的货架单元格三维坐标信息。
可选地，所述交互检测系统还包括第二计算处理装置，用于获得预先标定的货架单元格三维坐标信息。
可选地，所述深度摄像装置还用于获取与所述深度图相配准的rgb图像。依据本发明的第六方面，提供一种交互行为检测系统，包括深度摄像装置和计算处理装置，所述深度摄像装置用于：拍摄移动目标与货架上商品交互的深度图；所述计算处理装置用于：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图判断移动目标是否触碰货架上商品；当移动目标触碰货架上商品时，根据过滤后的深度图获得移动目标的三维坐标信息，根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品，根据所述移动目标触碰的商品执行第一指令。
可选地，还包括广告展示屏，用于根据所述第一指令播放与被触碰商品相关的音频和/或视频。
依据本发明的第七方面，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述交互行为检测方法的步骤。
依据本发明的第八方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述交互行为检测方法的步骤。
本发明的有益效果体现在：
本发明提供一种交互行为检测方法、装置、系统、设备和存储介质，由于所述交互行为检测方法包括：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图获得移动目标的三维坐标信息；根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品，因而能够对消费者与货架上商品的交互行为进行自动检测，不仅可靠性高，而且能够区分同一层货层摆放的不同商品。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1-1为本发明的交互行为检测系统的示意图；
图1-2为本发明的交互行为检测系统的又一示意图；
图1-3为本发明的经过非检测区域过滤后的深度图的示意图；
图2为本发明的一个实施例的交互行为检测系统进行部署的示意图；
图3-1为本发明的交互行为检测方法的示意图；
图3-2为本发明的预先标定的货架单元格三维坐标信息的步骤的示意图；
图4-1为本发明的在货架上选取标定点的示意图；
图4-2为本发明的对货架的图像进行透视矫正后的示意图；
图4-3为本发明的划分货架单元格的示意图；
图5为本发明的双目视图的示意图；
图6为本发明的检测区域的示意图；
图7为本发明的从rgbd相机中获取的一帧rgb图像和深度图的示意图；
图8为本发明的过滤深度图中检测区域以外的像素点的示意图；
图9为本发明的进入帧手中无商品、离开帧手中有商品的示意图；
图10为本发明的将交互行为关联到特定的人的示意图；
图11为本发明的交互行为检测装置的示意图；
图12-1为本发明的交互行为检测方法的示意图；
图12-2为本发明的根据过滤后的深度图判断移动目标是否触碰货架上商品的步骤的示意图；
图12-3为本发明的交互行为检测装置的示意图；
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
在线下场所往往通过在货架上摆放商品以实现展示商品，而在线下场所中，移动目标与商品触碰时，可以体现出移动目标对商品感兴趣。其中，移动目标可以是可能与货架上商品交互的目标，例如，移动目标可以是消费者，也可以是受消费者控制的机器人，还可以是商家等。
鉴于此，本发明提供一种交互行为检测系统，通过搭建的包括深度摄像装置和计算处理装置的交互行为检测系统，可以确定移动目标所触碰的商品。以下结合附图对本说明书实施例进行示例说明。
在一个实施例中，如图1-1所示，提供一种交互行为检测系统，用于对移动目标与货架上商品交互行为进行检测。所述交互行为检测系统包括深度摄像装置和第一计算处理装置。
图1-1、图1-2示出移动目标与货架上商品交互的场景。其中货架竖直放置正对移动目标，货架的每一层外边缘处于同一平面上，该平面即为货架平面。可见，货架平面是每层货架外边缘所在的三维平面。红外双目深度相机作为悬挂安装在货架正上方，其水平方向上位置大致与货架平面对齐，可以略向货架平面外侧，即靠近移动目标一侧偏移，但不能向货架平面内侧偏移。深度相机的光轴朝下，角度可以向货架外侧略微偏斜，需确保货架平面和移动目标都在视场范围内。计算处理装置通过数据线缆，例如网线或usb线缆等，与深度摄像装置相连，可以布置在货架场景以外的地方进行数据的获取、处理、输出。
深度摄像装置是能够获取场景深度图像的数字图像采集设备，其可以是深度相机，还可以是深度摄像头。其中，深度图像(depthmap)是存储有场景内物体三维信息的数字图像，其中每个像素值表示场景内物体表面点到相机成像平面的距离。利用深度摄像装置的内部参数，可以将深度图像素点转换为三维坐标。作为一种理解，深度图像实质上等价于场景的三维点云。
作为优选的实施方式，选用基于红外双目立体视觉的深度相机系统(以下简称红外双目深度相机)。进一步地，优选带有rgb相机的深度相机，即rgbd相机。红外双目深度相机是一种利用双目立体视觉算法构建场景深度图的三维重建视觉系统。由于采用红外相机作为图像传感器，加上衍射光学器件的红外光纹理投射，红外双目深度相机能够排除外部光照条件及物体表面纹理的影响，即使在弱纹理、暗光等复杂多变的环境下也能实现高精度的三维环境深度感知，具体可参见公布号为cn107917701a，名称为“基于主动式双目立体视觉的测量方法及rgbd相机系统”的中国专利。
红外双目深度相机悬挂安装在货架上方，光轴朝下，其视场范围包含货架及货架所对应的通道区域。利用红外双目深度相机可以获取视场范围内的深度图。深度图是一种特殊的图像，其每个像素值是场景中物体表面的点到图像传感器平面的距离。通过线性变换，深度图可以转换为三维点云，因此，深度图是对场景内物体三维特征的描述。
在一个实施例中，可以选用司眸
其中，rgbd相机配置成：拍摄移动目标与货架上商品交互的深度图。
通用计算机配置成：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图获得移动目标的三维坐标信息；根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。其中，所述检测区域为货架平面外侧，平行于货架平面，并且与货架平面有一定距离，并且有一定的厚度和边界的人为设置的虚拟三维区域。所述检测区域可以尽可能靠近货架平面，同时确保：移动目标(比如人手)从货架外部向内触碰货架商品时，必定穿过检测区域；无触碰行为时，检测区域中不存在任何移动目标。所述检测区域的边界可以将货架所有单元格包含在内。
作为优选的实施方式，所述交互检测系统还包括普通摄像装置，用于获取货架正面的图像。
货架单元格为货架平面上不同商品对应的二维区域，如图1-2所示。货架单元格的划分，可以用普通摄像装置，该普通摄像装置可以是临时的便携相机，比如手机摄像头，采集1张货架正面的rgb图像。在该图像上标记出货架平面的4个标定点的位置，根据4个标定点的对应关系计算出透视变换矩阵，可以对图像进行透视矫正，同时获取图像二维点到货架平面二维点的映射关系。其中，“标定点的对应关系”为标定点图像二维坐标与相机三维坐标的对应关系，可以预先用红外点光源获取标定点的三维坐标。
在矫正后的图像上对照商品陈列划分出不同商品对应的二维区域作为货架单元格。可以将图像上划分出的单元格区域转换到深度相机的三维坐标系下，由此，实质上，每个货架单元格对应于三维空间中的一个判断区域。
触碰是指移动目标从货架外部向内触碰货架商品时，靠近货架的状态，其描述的是一帧图像的瞬时状态。为了判断当前帧是否有移动目标进入预先标定的检测区域，首先需要将深度图上处于检测区域以外的像素点过滤。
给定深度相机内部参数：焦距f、主点坐标(uc,vc)，对于深度图上任意一个像素点，其像素值为该点的深度值z，也就是其三维坐标中的z坐标，假设其图像坐标为(u,v)，则其三维xy坐标为：
根据上述公式，可以把深度图上所有像素点转化为三维坐标点，而检测区域本身是一个三维区域，因此通过判断三维坐标点与三维区域的包含关系即可将深度图上处于检测区域以外的像素点过滤。
如图1-3所示，如果经过非检测区域过滤后的深度图(以下简称过滤后深度图)中还存在深度值有效的像素点，则说明有移动目标进入了检测区域，即存在货架触碰行为。此时对过滤后深度图进行连通域分割，所得的每个连通域就是检测区域中的一个物体，例如，图1-3右图中存在两个连通域。对于检测区域中任意一个连通域，假设集合p＝{p1,p2,…,pn}代表该连通域中所有像素点对应的三维坐标，其中pn＝(xn,yn,zn)，则取该连通域的质心pc作为其整体的三维坐标：
由于每个货架单元格对应于三维空间中的一个判断区域，因此通过查找坐标pc在哪个货架单元格的判断区域中，可以确定此次触碰的具体商品类别。
在一个实施例中，rgbd相机在获取深度图(depthmap，即“rgbd”中的d)的同时，还能获取与深度图相配准的rgb图像。也就是说，深度图上每个像素点不但有三维坐标信息，还有真实的物体rgb彩色信息。
利用深度学习对交互行为关键帧的rgb图像进行分析，能够识别出触碰货架的移动目标是否是人手，人手中是否有商品，人手中商品的种类。以此可以将交互行为细分为：触碰、拿取、放回、换货等类别，进行更加细致的消费者行为分析，如表1所示。
表1交互行为细分
由此，rgbd相机还可以配置成根据rgb图像或者深度图判断移动目标的交互行为。
利用rgb图像的帧间差异，可以判断检测区域中移动目标是否发生移动。显然人手在检测区域中从移动到静止的过程，反映其触碰了货架上某件商品。所以，利用rgb信息可以在上述跟踪过程中加入触碰过程这一关键帧的判断，用于分析消费者在选购商品过程中对哪些商品产生过兴趣。
进一步地，rgbd相机还可以配置成根据rgb图像或者深度图获取特定移动目标的交互行为。
使用深度学习从关键帧的rgb图像或者深度图中检测人体的头、肩膀、胳膊、手臂等关键点信息并将它们关联起来，通过分析交互行为发生的位置与人体关键点的距离，可以将交互行为与特定的人进行关联，以此分析一个消费者在整个购物过程中的交互行为。
进一步地，所述交互检测系统还包括标定点标记工具，用于获取货架上标定点在相机坐标下的三维坐标。作为优选的方式，所述标定点标记工具可以是红外点光源，例如红外灯珠。
进一步地，所述第一计算处理装置还用于获得预先标定的货架单元格三维坐标信息。
作为其他的实施方式，如图1-1所示，所述交互检测系统还包括第二计算处理装置，用于获得预先标定的货架单元格三维坐标信息。
在一个实施例中，如图3-1所示，提供一种交互行为检测方法，用于对移动目标与货架上商品交互行为进行检测，该交互行为检测方法包括：
s100、获取移动目标与货架上商品交互的深度图。所述深度图可以从深度摄像装置获得。
s200、过滤所述深度图上处于预先标定的检测区域以外的像素点。其中，所述检测区域位于所述移动目标与所述货架之间。
s300、根据过滤后的深度图获得移动目标的三维坐标信息。具体可以包括：s310、对过滤后的深度图进行连通域分割，每一连通域对应一移动目标；s320根据连通域的三维坐标信息得到对应的移动目标的三维坐标信息。
s400、根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。
如图3-2所示，所述预先标定的货架单元格三维坐标信息通过以下步骤获得：s410、对照商品陈列在货架平面上划分出不同商品对应的区域，每个所述区域对应一个货架单元格；s420、根据货架平面上的点到深度摄像装置坐标系的转换关系获得各个货架单元格的三维坐标信息。
其中，所述货架平面上的点到深度摄像装置坐标系的转换关系可以通过以下步骤获得：
s421、在货架上选取若干标定点。标定点的数量可以是4个或4个以上，例如4个、5个、6个、7个、8个等，具体数量可以根据实际需要确定。其中，标定点位于同一平面上。在一个具体实施方式中，标定点可以位于货架平面，即货架外侧正对消费者的平面，如图4-1所示，在货架上选取4个标定点，分别标记为0、1、2、3。
s422、获取各个标定点在深度摄像装置坐标系下的三维坐标。获取标定点三维坐标的具体方法为：将红外点光源紧贴标定点所在位置，打开红外双目深度相机，通过标定程序获取深度相机的双目相机参数和双目图像。其中双目相机参数指的是深度相机的内部参数：焦距f、主点坐标(uc,vc)和基线距b，相机内部参数可以预先由深度相机生产厂商给定或者通过双目立体标定获得。红外双目深度相机的双目传感器由于滤光片的作用只能接收到红外波段的光线，因此，关闭其衍射光学器件后，其双目视图中就只能看到贴在标定点上的红外点光源，如图5所示。
获取红外点光源的双目图像后，可以通过斑点检测算法提取点光源在双目左右视图上的图像坐标，分别记为(ul,vl)和(ur,vr)，由双目矫正原理可知，vl≈vr，d＝ul-ur为视差。假设所求点光源的三维坐标为(x,y,z)，则根据三角测量法可得：
点光源的三维坐标即为标定点的三维坐标。
s423、根据各个标定点在深度摄像装置坐标系下的三维坐标获得从深度摄像装置坐标系到货架坐标系的转换关系。
s424、根据所述转换关系反变换得到货架平面上的点到深度摄像装置坐标系的转换关系。
其中，所述货架平面的图像可以通过以下步骤获得：s401、获取货架正面的图像；s402、根据所述若干标定点在深度摄像装置坐标系下的三维坐标以及在所述图像的坐标系下的二维坐标获得透视变换矩阵；s403、根据所述透视变换矩阵对所述图像进行透视校正得到货架平面的图像。
为此，首先拍摄货架正面图像，在货架平面上选取4个标定点，并在货架正面图像上标记出其二维坐标，如图4-1所示。
使用红外灯珠作为红外点光源。由于rgbd相机可以准确地计算红外点光源的三维坐标，将红外点光源紧贴货架标定点，可以获取货架标定点的三维坐标。通过该方法逐一采集4个货架标定点的三维坐标，如表2所示：
表2货架标定点坐标
根据4个货架标定点计算出从深度相机坐标系到货架坐标系的转换关系：旋转矩阵r和平移向量t。
t＝[377.9083-1328.0752-24.4315]t
r和t描述的就是货架与深度相机的相对位置关系。然后根据货架标定点的三维坐标和在图像上的二维图像坐标计算出透视变换矩阵t，
同时对货架正面的图像进行透视矫正，矫正后的图像如图4-2所示。透视矫正后的货架正面图像就相当于货架平面，该图像上任意一个像素点都可以通过r和t反变换到深度相机坐标系下的世界坐标。在透视矫正后的货架正面图像上根据不同商品的摆放位置，划分出货架单元格，如图4-3所示。
输出的货架单元格划分参数如表3所示，其所描述的是每个货架单元格在货架平面上的位置和大小，可以通过r和t反变换为深度相机坐标系下的三维区域。
表3货架单元格划分参数
最后，设定检测区域的厚度为30毫米，检测区域与货架平面的距离为10毫米，如图6所示。
图7所示是从rgbd相机中获取的一帧rgb图像(左)和深度图(右)。
过滤深度图中检测区域以外的像素点，如图8所示。可以看到过滤后深度图中只留下了检测区域中的人手，通过连通域分割提取手部区域，计算所得的三维世界坐标为：(18.29,-786.45,1576.77)。对照货架单元格的三维区域可知，当前帧手部触碰的是上表3中序号为9的单元格。
在一个实施例中，根据rgb图像或者深度图判断移动目标的交互行为。示例性地，根据一次完整的交互过程检测到的关键帧有：进入(单元格8)→触碰(单元格8)→触碰(单元格9)→离开(单元格9)。利用深度学习对进入帧和离开帧交互发生区域的rgb图像进行分类，结果是：进入帧手中无商品、离开帧手中有商品，如图9所示。显然，此次交互中消费者对8号单元格和9号单元格都产生过购物兴趣，但最终拿取的是9号单元格对应的商品。
在一个实施例中，根据rgb图像或者深度图获取特定移动目标的交互行为。具体地，使用深度学习从关键帧的rgb图像或者深度图中检测人体的头、肩膀、胳膊、手臂等关键点信息并将它们关联起来，通过分析交互行为发生的位置与人体关键点的距离，可以将交互行为关联到特定的人，如图10所示，以此分析该消费者在整个购物过程中的交互行为。
在一个实施例中，如图11所示，提供一种交互行为检测装置，用于对移动目标与货架上商品交互行为进行检测。所述交互行为检测装置包括：图像获取模块100、像素过滤模块200、坐标获取模块300和商品确定模块400。
其中，图像获取模块100用于获取移动目标与货架上商品交互的深度图；像素过滤模块200，用于过滤所述深度图上处于预先标定的检测区域以外的像素点；坐标获取模块300，用于根据过滤后的深度图获得移动目标的三维坐标信息；商品确定模块400，用于根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。
在一个实施例中，如图12-1所示，提供一种交互行为检测方法，用于对移动目标与货架上商品交互行为进行检测，所述交互行为检测方法包括：
s100、获取移动目标与货架上商品交互的深度图；
s200、过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；
s300、根据过滤后的深度图判断移动目标是否触碰货架上商品。如图12-2所示，具体可以包括：s310’、判断过滤后的深度图中是否存在像素点；s320’、如果过滤后的深度图中存在像素点，则判定移动目标触碰货架上商品；s330’、如果过滤后的深度图中不存在像素点，则判定移动目标未触碰货架上商品。当移动目标触碰货架上商品时执行以下步骤：
s300、根据过滤后的深度图获得移动目标的三维坐标信息；
s400、根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品；
s500、根据所述移动目标触碰的商品执行第一指令。其中，所述执行第一指令可以包括：播放与被触碰商品相关的音频和/或视频。
在一个实施例中，如图12-3所示，提供一种交互行为检测装置，用于对移动目标与货架上商品交互行为进行检测。所述交互行为检测装置包括：图像获取模块100、像素过滤模块200、触碰判断模块300’、坐标获取模块300、商品确定模块400和指令执行模块500。
其中，图像获取模块100用于获取移动目标与货架上商品交互的深度图；像素过滤模块200，用于过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；触碰判断模块300’，用于根据过滤后的深度图判断移动目标是否触碰货架上商品；坐标获取模块300，用于根据过滤后的深度图获得移动目标的三维坐标信息；商品确定模块400，用于根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品；指令执行模块500，用于当移动目标触碰货架上商品时，根据所述移动目标触碰的商品执行第一指令。
在一个实施例中，提供一种交互行为检测系统，包括深度摄像装置和计算处理装置。
所述深度摄像装置用于：拍摄移动目标与货架上商品交互的深度图；
所述计算处理装置用于：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图判断移动目标是否触碰货架上商品；当移动目标触碰货架上商品时，根据过滤后的深度图获得移动目标的三维坐标信息，根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品，根据所述移动目标触碰的商品执行第一指令。
进一步地，所述交互行为检测系统还可以包括广告展示屏，所述计算处理装置与一块广告展示屏相连接。当检测到消费者对货架的触碰后，实时播放与被触碰商品相关的广告音频和/或视频、促销信息等，使消费者能够更好地了解产品，提高商品销售概率。
在一个实施例中，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时可以实现以下步骤：s100、获取移动目标与货架上商品交互的深度图。所述深度图可以从深度摄像装置获得。s200、过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间。其中，作为优选的实施方式，所述检测区域可以位于所述移动目标与所述货架之间。s300、根据过滤后的深度图获得移动目标的三维坐标信息。具体可以包括：s310、对过滤后的深度图进行连通域分割，每一连通域对应一移动目标；s320根据连通域的三维坐标信息得到对应的移动目标的三维坐标信息。s400、根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。其中，所述预先标定的货架单元格三维坐标信息通过以下步骤获得：s410、对照商品陈列在货架平面上划分出不同商品对应的区域，每个所述区域对应一个货架单元格；s420、根据货架平面上的点到深度摄像装置坐标系的转换关系获得各个货架单元格的三维坐标信息。其中，所述货架平面上的点到深度摄像装置坐标系的转换关系可以通过以下步骤获得：s421、在货架上选取若干标定点。s422、获取各个标定点在深度摄像装置坐标系下的三维坐标。s423、根据各个标定点在深度摄像装置坐标系下的三维坐标获得从深度摄像装置坐标系到货架坐标系的转换关系。s424、根据所述转换关系反变换得到货架平面上的点到深度摄像装置坐标系的转换关系。其中，所述货架平面的图像可以通过以下步骤获得：s401、获取货架正面的图像；s402、根据所述若干标定点在深度摄像装置坐标系下的三维坐标以及在所述图像的坐标系下的二维坐标获得透视变换矩阵；s403、根据所述透视变换矩阵对所述图像进行透视校正得到货架平面的图像。
在一个实施例中，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时可以实现以下步骤：
s100、获取移动目标与货架上商品交互的深度图；s200、过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；s300’、根据过滤后的深度图判断移动目标是否触碰货架上商品，具体可以包括：s310’、判断过滤后的深度图中是否存在像素点；s320’、如果过滤后的深度图中存在像素点，则判定移动目标触碰货架上商品；s330’、如果过滤后的深度图中不存在像素点，则判定移动目标未触碰货架上商品。当移动目标触碰货架上商品时执行以下步骤：s300、根据过滤后的深度图获得移动目标的三维坐标信息；s400、根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品；s500、根据所述移动目标触碰的商品执行第一指令。其中，所述执行第一指令可以包括：播放与被触碰商品相关的音频和/或视频。
在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时可以实现以下步骤：s100、获取移动目标与货架上商品交互的深度图。所述深度图可以从深度摄像装置获得。s200、过滤所述深度图上处于预先标定的检测区域以外的像素点。所述检测区域可以为货架平面外侧，平行于货架平面，并且与货架平面有一定距离，并且有一定的厚度和边界的人为设置的虚拟三维区域。所述检测区域可以尽可能靠近货架平面，同时确保：移动目标(比如人手)从货架外部向内触碰货架商品时，必定穿过检测区域；无触碰行为时，检测区域中不存在任何移动目标。所述检测区域的边界可以将货架所有单元格包含在内。其中，作为优选的实施方式，所述检测区域可以位于所述移动目标与所述货架之间。s300、根据过滤后的深度图获得移动目标的三维坐标信息。具体可以包括：s310、对过滤后的深度图进行连通域分割，每一连通域对应一移动目标；s320根据连通域的三维坐标信息得到对应的移动目标的三维坐标信息。
s400、根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。其中，所述预先标定的货架单元格三维坐标信息通过以下步骤获得：s410、对照商品陈列在货架平面上划分出不同商品对应的区域，每个所述区域对应一个货架单元格；s420、根据货架平面上的点到深度摄像装置坐标系的转换关系获得各个货架单元格的三维坐标信息。其中，所述货架平面上的点到深度摄像装置坐标系的转换关系可以通过以下步骤获得：s421、在货架上选取若干标定点。s422、获取各个标定点在深度摄像装置坐标系下的三维坐标。s423、根据各个标定点在深度摄像装置坐标系下的三维坐标获得从深度摄像装置坐标系到货架坐标系的转换关系。s424、根据所述转换关系反变换得到货架平面上的点到深度摄像装置坐标系的转换关系。其中，所述货架平面的图像可以通过以下步骤获得：s401、获取货架正面的图像；s402、根据所述若干标定点在深度摄像装置坐标系下的三维坐标以及在所述图像的坐标系下的二维坐标获得透视变换矩阵；s403、根据所述透视变换矩阵对所述图像进行透视校正得到货架平面的图像。
在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时可以实现以下步骤：s100、获取移动目标与货架上商品交互的深度图；s200、过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；s300’、根据过滤后的深度图判断移动目标是否触碰货架上商品。具体可以包括：s310’、判断过滤后的深度图中是否存在像素点；s320’、如果过滤后的深度图中存在像素点，则判定移动目标触碰货架上商品；s330’、如果过滤后的深度图中不存在像素点，则判定移动目标未触碰货架上商品。当移动目标触碰货架上商品时执行以下步骤：s300、根据过滤后的深度图获得移动目标的三维坐标信息；s400、根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品；s500、根据所述移动目标触碰的商品执行第一指令。其中，所述执行第一指令可以包括：播放与被触碰商品相关的音频和/或视频。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
- 还没有人留言评论。精彩留言会获得点赞！