货架取物侦测系统及方法与流程

本发明有关于一种侦测系统及方法，特别是一种按照影像深度和变化追踪判断置货架上的货品是否被取用的货架取物侦测系统及方法。

背景技术：

随着大数据分析的技术及应用愈趋热门，消费者行为与商品热销程度的关连分析利用大数据的研究方法亦越来越受到重视，商品曝光程度、周边商品、甚至是陈列位置均可能影响商品的销售，故如何搜集商品受消费者关注程度的量化数据，并提供商家进行货架存取次数与商品热销程度关连的有效分析是为一种有高度需求的技术。

在先前技术中，需透过人工盘点再作事后统计方式才能取得商品销售信息，然而此种作法耗工且耗时极其不符合经济效益，而在近代的技术中，则若干方式可透过无线射频技术等方式附加电子卷标于商品上，并根据电子卷标来判断商品离开货架与否，或是再配合一维条形码与pos(pointofsale)机等等设备进行整体的仓储物流管理，然而，此种技术中，无线射频电子卷标需部署于每个商品上，这个设置过程亦耗费人工且电力因素造成的讯号问题可能造成电子卷标无法被正确侦测与接收，另外，使用pos(pointofsale)机进行仓储物流管理所取得之信息则仅能得知商品销售程度，并未考虑商品的受关注程度，例如消费者可能先将商品拿起观看或丢入推车，但最终仍因某些因素没有进行购买，这些信息对于销售亦有极大帮助。

由此可见，上述先前技术仍存在若干思考不周之处，亟需进行改良。

技术实现要素：

本发明提出一种货架取物侦测系统及方法，是根据场景中的深度感测以计算外部货品在置货架边的感测范围被拿取或归位的次数，且可进一步分析置货架被存取的热区以作为后续物流管理及销售的参考。

本发明的系统包含一深度感测装置，设置于外部置货架的相对上方且以包含部分外部置货架与外部置货架外侧部分环境的范围为感测范围的感测装置，该深度感测装置主要是透过影像摄录方式进行感测。

本发明更包含一侦测子系统，该侦测子系统是与该深度感测装置链接并接收来自该深度感测装置所侦测感测范围内的感测影像，该侦测子系统可将感测影像按照深度分离出前景与背景，并利用于判断是否有外部对象进入或离开感测范围以及外部对象在感测范围内的影像变化，其中，该侦测子系统更包含一影像取像模块，用以接收来自该深度感测装置所侦测感测范围内包含色彩或深度的感测影像，以及一前后景分离模块，用以将该影像取像模块接收的感测影像依据深度以分离出前景以及背景，该侦测子系统更包含一对象侦测模块，在感测范围内追踪并判断是否有一或多个外部对象进入或离开感测范围的前景。

本发明更有一分析子系统，用以图量化深度以透过边缘侦测算法在感测范围内划分出多个虚拟边界，该分析子系统是追踪且纪录外部对象在感测范围内的各该虚拟边界的进出位置、进出深度、进出次数以及进出前后的影像变化以判断外部置货架上的货物进出的相关信息。

其中，该分析子系统细分更包含一场景分析模块，用以根据该深度感测装置所侦测感测范围内的感测影像来解析外部置货架的部署情形，并再根据外部置货架的部署情形透过一种边缘侦测算法以在感测范围内距外部置货架的取物侧外的一定距离处以规划出多个虚拟边界，各该虚拟边界即可被简单理解为用以判断是否取物行为的边界线。

该分析子系统更包含一对象追踪模块，用以追踪外部对象(即消费者或是推车等对象)在感测范围内的移动并赋予外部对象各自的标识符(给予标识符之目标可包含外部货品等)。

该分析子系统透过一越线取物分析模块以前述各该虚拟边界为基准，判断外部对象与外部置货架间的相互关系以及是否越过各该虚拟边界并据以记录外部置货架上的各种外部货品是否被消费者存取，以及记录外部货品被存取的次数。

该分析子系统包含一数据分析模块，该数据分析模块依据该越线取物分析模块得出货品是否被存取及被存取的次数等信息作为材料分析，其目的在找出外部置货架被存取的区间以及被存取最频繁的热区等，即可大略推估在外部置货架的部署上，是否有哪些区间或货架受关注的价值较高。

该分析子系统更包含一对象相似度比对模块，用以依该越线取物分析模块判断外部对象进出各该虚拟边界前后所显示影像之间的变化，并解析其相似度以判断被取或放回的货品的种类，以提升辨识准确率。

而本发明的货架取物侦测系统具有一数据库子系统，用以储存该分析子系统所追踪前述的外部对象以及外部货品在感测范围内的各该虚拟边界进出的位置、深度、次数以及进出前后的影像变化所产生的相关信息，更详细来说，该数据库子系统储存外部货品在感测范围内的各该虚拟边界进出的取物次数、归物次数、取物区间、归物区间，或是外部对象进入各该虚拟边界的次数、外部对象离开各该虚拟边界的次数、外部对象停留在感测范围内的关注时间等。

而本发明的货架取物侦测系统及方法，即是应用于量贩卖场、零售店、书店、精品店等案场，利用深度感测装置取得场景的俯视场景深度信息，实时侦测置货架被存取的确切位置或阶层，并藉由深度、色彩、形状、纹理或区域性特征等多种图像特征组合判断消费者是否有取物行为并记录商品受关注时间，且可藉由预先设定或透过影像辨识方式得知消费者拿取的物品的品项，或更可将相关信息推播至货架附近的电子显示器，让消费者可获得产品成分、使用等相关讯息，抑或是可以推荐周边/关联/相似产品给消费者的系统及其使用方法。

附图说明

图1为本发明的货架取物侦测系统架构实施图；

图2为本发明的货架部署影像实施例示意图；

图3为本发明的货架取物侦测方法步骤流程图；

图4本发明的背景深度影像示意图；

图5本发明的货架部署前感测线的规划示意图；

图6本发明的追踪并付予标识符示意图；

图7本发明的物件相似度比对示意图；

图8本发明的置货架存取热门区域的分布示意图。

附图标记说明

100商品置货架

200深度感测器

300侦测子系统

310影像取像模块

320前后景分离模块

330对象侦测模块

400分析子系统

410场景分析模块

420对象追踪模块

430越线取物分析模块

440数据分析模块

450对象相似度比对模块

500数据库子系统

510越线次数数据

520取物次数数据

530取物位置数据

540货架区间数据

550关注时间数据

s301～s308步骤流程

具体实施方式

以下将以实施例结合图式对本发明进行进一步说明，首先请参照图1，是为本发明的系统架构实施图，各子系统以及外部组件将分述如下：

商品置货架100，用以陈列商品用，商品置货架其取物端的动静是为深度感测器侦测的主要标的。

深度感测器200，用以自上方获取彩色影像或场景深度等信息，其可设置于货架上方或采吸顶方式安装于案场的天花板。

侦测子系统300，其是用于根据深度感测器200截取的影像，以透过影像深度在感测范围内建立前景背景的差异，并据此对在前景活动的对象进行侦测。

分析子系统400，是用于将侦测子系统300侦测的影像进行场景分析、前景物件追踪、取物分析判断或置货架存取热区分析等运算。

数据库子系统500，是用于较长时间储存前述分析子系统400得来的侦测及运算数据数据，当数据达定量时即可开始提供分析子系统进行热区分析等运算。

总的来说，本发明的深度感测器200安装于商品置货架100上方或是当商品置货架100上方无支架固定时可采用吸顶式安装于案场的天花板上，深度感测器200是采俯视角度向下拍摄画面，深度感测器200则连结至后端的侦测子系统300，侦测子系统300透过影像取像模块310从深度感测器200取得彩色影像与场景深度信息且将深度信息转换为深度影像，并交由前后景分离模块320区分前景影像与背景影像，再由对象侦测模块330对前景影像进行对象侦测以取得各对象信息。

分析子系统400将对侦测子系统300取得的相关信息进一步处理，在系统启动时，场景分析模块410会先透过深度影像信息自动分析置货架部署的场景，且利用深度图量化(quantization)方式、边缘侦测算法等估计出置货架与背景环境的走道间的区隔线，以多个虚拟边界规划出感测线以及感测区，将可计算出如图2所示的货架部署影像，而其中灰色区域是规划为感测区，而图中虚线就是感测线。

当完成场景部署分析后，对象追踪模块420将对对象侦测模块330侦测出的外部对象进行轨迹追踪与标识符标注，而越线取物分析模块430则是持续对被追踪的外部对象运行碰触点侦测，当一外部对象的端点碰触跨越线进入置货架区域时立即记录当时的对象影像与形状，并将该存取点运算转换至真实世界的立体坐标，然后将越线次数数据510与取物位置数据530记录写入数据库子系统500中，当该外部对象端点离开置货架区域时，越线取物分析模块430会实时再截取外部对象的影像与形状，再将该对象进入或离开货架区域时的影像传输至对象相似度比对模块450。

承上，对象相似度比对模块450透过多种影像特征作为条件计算外部对象进入或离开置货架区域时的影像差异，所述影像差异包含对象深度影像面积差异比例、对象彩色影像分布直方图差异与bov(bag-of-visual-words)方式抽取的区域性特征点分布直方图差异等等，而透过不同权重值进行各特征差异值加总计算平均差异值，并由越线取物分析模块430根据平均差异值判断外部对象(多数时候即为使用者)是否有取物行为，若有，则更新数据库子系统500中的取物次数数据520，此种相似度比对方式可有效避免因商品颜色与肤色差异小、商品形状或尺寸不同所造成的取物侦测准确度下降，而当取物行为确实发生时，若消费者取出外部货品的影像尚处于感测区域内时，系统将会持续追踪该外部货品，若发现消费者将拿取的外部货品放回置货架时，越线取物分析模块430亦纪录此笔返还行为，并将取物及返还间的商品受关注时间数据550存入数据库子系统500。

而数据分析模块440会定时计算数据库子系统500中的数据量，当数据量达一定程度时数据分析模块440会以统计方式主动分析越线次数数据510、取物次数数据520、取物位置数据530与关注时间数据550等信息，将这些数据用于计算货架热门存取区域，或是透过分群算法自动估算货架字段数与阶层数，数据分析模块440并将货架区间数据540储存到数据库子系统500中。

另外，更可以各流程步骤方式说明本发明的运作机制，即本发明的方法步骤流程图可如图3所示，详细说明如下：

另可一齐参阅图1本发明系统架构图，步骤s301是为前后景分离侦测，是于商品置货架100上方架设一深度感测器200以俯视角度向下拍摄，完成后通过影像取像模块310取得场景俯视感测影像，再透过前后景分离模块320建立如图4所示的背景深度影像。

再来则为步骤s302确认是否完成场景部署侦测，其是将背景深度影像输入场景分析模块410，若无，进入步骤s303进行场景部署分析，则利用边缘侦测算法计算出货架与走道的区隔线，并通过深度影像的深度值判断各区块分别为置货架或走道，再由置货架取物端前缘向走道延伸一段距离作为感测区域，并于感测区域中点绘制出如图5示意图中的感测线。

而完成步骤s302货架部署场景分析后，进行步骤s304前景对象侦测追踪，此步骤是由对象侦测模块330于感测区域内对深度影像前景进行对象侦测，并将侦测到的外部对象交由对象追踪模块420进行追踪并付予标识符，如图6所示。

接着是步骤s305对象越线或取物判断，越线取物分析模块430持续对追踪中的对象进行感测线碰触侦测，当对象边缘端点碰触感测线进入货架区域时，越线取物分析模块430进行存取次数与真实世界立体坐标记录并截取和保存外部对象穿越感测线进入置货架部署区域时的彩色与深度影像。当外部对象边缘端点离开置货架区域与感测线时，越线取物分析模块430再次截取外部对象的彩色与深度影像(此时若有取物外部对象与外部货品的影像应结合为一体，若无，外部对象的影像虽可能稍有手势的变化亦应使差异在一范围内)，并将该影像与外部对象进入货架区时的彩色与深度影像输入至对象相似度比对模块450以进行相似度计算，在于判断消费者是否取物或是提取何种货品，如图7所示，对象相似度比对模块450对输入的彩色影像建立色彩分布直方图、抽区域性特征点及采用bov(bag-of-visual-words)方式建立特征点分布直方图并计算外部对象进入或离开货架区域的深度影像大小与形状相似度，色彩分布与区域性特征点分布采用巴氏(bhattacharyya)距离计算直方图差异值，深度影像大小差异值则利用将外部对象影像二值化后计算面积差异比例，形状差异值则计算进入或离开的深度影像重叠区域比例以求得，对象相似度比对模块450再依据权重将前述各特征求得的差异值进行加总，算出平均差异值。

若有越线取物行为，则进入步骤s306纪录存取行为与位置，越线取物分析模块430根据对象相似度比对模块450输出的平均差异值判断用户是否有取物行为，若平均差异值确高于一先前设定的临界值则判断为消费者有取物行为并将其信息写入数据库子系统500，若取物后，消费者持续处于感测区中，则系统将持续以标识符追踪该消费者，若侦测到消费者将所取的物品返还置货架，则亦记录该返还行为并记录商品的关注时间数据550(自取物到返还的时间)。

若无越线或取物行为，则回到步骤s301前后景分离侦测，其是为数据分析模块440截取数据库子系统500内的数据并判断其数量是否高于一临界值，若高于临界值(数据数量已足够)则将越线次数数据510、取物次数数据520、取物位置数据530与关注时间数据550等信息提取，再利用前述各项数据采取阶层式分群法以计算置货架应具有的字段数与阶层数，并应用前述各项数据以统计各字段和阶层的存取次数计算置货架存取热门区域的分布，即如图8所示。

而随着长时间的感测与分析，数据亦随着增加，故接着为步骤s307判断数据是否足够，若足够，即进入步骤s308置货架热区分析及更新，此步骤为数据分析模块440将可持续依据累积数据的变动再次进行分析以更新置货架热区信息，或提供量化数据有效地给与案场的商家进行置货架存取次数与商品热销程度关连等分析，接着，系统可选择性地再次自步骤s301开始再次执行流程，而若数据不足，系统会回到步骤s301前后景分离侦测以重复流程。

综上所述，可知本发明确为一种应用于多种案场，可自动取得货物被存取次数以及置货架的热门区块的销售及物流辅助系统及其应用方法，本发明在技术思想上实属创新，也具备先前技术不及的多种功效，已充分符合新颖性及进步性的法定发明专利要件，爰依法提出专利申请，恳请贵局核准本件发明专利申请案以励发明，至感德便。