一种确定视频图像中被测对象间位置关系的方法及装置的制造方法_4

文档序号:9547925阅读:来源:国知局
平面的投影,则代表这些像素只是遮挡了 TouchCounting Wall的区域,但这些像素对 应的位置并没有被触摸到,也即b没有触碰货架。
[0194] 计算EFGH区域对应的floor坐标系的z值,即可得到触摸区域在真实物理世界的 高度。
[0195] 最终,根据各个像素的计算可以得到统计结果,并将统计结果以不同颜色、形状等 进行显示,如图10所示,具体实施时,可以根据统计结果的多少显示不同的深浅颜色,例 如,将货架上5个被触摸部分标示为红色。进一步的,在具体实施时,还可以根据监测结果 统计出哪些物品比较受欢迎等等。
[0196] 3、Pass Counting Door
[0197] 图11示出了本申请实施例中Pass Counting Door的场景示意图,如图所示,可以 在超市两个货架之间预先设定一个Pass Counting Door区域,其形状可以类似于日常的 门,利用该Pass Counting Door区域统计进入/走出这个虚拟的门的人数。
[0198] 和Step Counting Mat类似,可以通过人员检测和跟踪技术,得到场景中人员位置 和Pass Counting Door区域的位置关系,进而执行统计操作。
[0199] 首先,将人抽象为一个质点,计算其在floor坐标系XoY平面的投影。
[0200] 图12示出了本申请实施例中Pass Counting Door在floor坐标系XoY平面的投 影示意图,如图所示,线段AB为pass counting door在floor坐标系XoY平面投影。
[0201] 由AB决定的直线将平面划分为两部分,假设这条直线方程为:
[0202] Ax+By+C = 0,
[0203] 在A,B分别做与直线AB垂直的直线LI、L2,假设LI, L2方程分别是:
[0204] A^+BiY+Ci= 0,
[0205] A2x+B2y+C2= 0,
[0206] 当人从Pass Counting Door区域通过时,例如:捕捉到a在Pass CountingDoor 区域从a(xl,yl)到a'(x2,y2)的过程,会同时满足以下条件:
[0207] AXi+By^C < 0 (1)
[0208] Ax2+By2+C > 0 (2)
[0209] (A^i+Biyi+Ci) * (A2x1+B2y1+C2) < 0 (3)
[0210] (A1x2+B1y2+C 1) * (A2x2+B2y2+C2) < 0 (4)
[0211] 在具体实施中,根据a、a'发生的时间顺序可以确定人是从哪个方向穿过门,以此 为依据实现人数统计。
[0212] 当从设定的Pass Counting Door区域旁边经过时,例如:从b (x3, y3)到b'(x4, y4),则会有:
[0213] (A1x3+B1y3+C 1) * (A2x3+B2y3+C2) > 0 :
[0214] (A1x4+B1y4+C 1) * (A2X4+B2y4+C2) > 0 ;
[0215] 此时 Pass Counting Door 不计数。
[0216] 在具体实施时,任何人与Pass Counting Door区域的位置关系,都可以从以上几 种情况组合得到。
[0217] 4、People Counting Queue
[0218] 图13示出了本申请实施例中People Counting Queue的场景示意图,如图所示, 假设在超市收银台前有a、b、c、d这4个人在排队,本申请实施例可以根据人员检测和跟踪 技术拟合一条空间直线,用来描述视频中人员队列的关系。
[0219] 在具体实施时,可以统计出每个队列有多少人,还可以进一步根据每个队列的人 数估算排队的等待时间、或者监测是否有人插队等。
[0220] 5>People Counting Desk
[0221] 本申请实施例还可以预先设定关注的桌面区域为People Counting Desk区域,使 用与Step Counting Mat类似算法,可以计算侵入People Counting Desk区域的像素。根 据人员检测和跟踪技术以及骨骼关节点检测技术,可以判断出侵入People Counting Desk 区域的像素是否属于人,属于人身体的哪个部分,形成统计结果。
[0222] 例如:在会议室开会时,如果设置监测区域为座位,则可以检测每个位子是否有 人;如果设置监测区域为会议桌,则可以检测出每个人是伏案工作、还是远离会议室(如: 靠在椅背上)。
[0223] 在具体实施中,监测区域(hotspot)的形状还可以是更加复杂的形式,例如是空 间不规则曲面、或封闭曲面构成的空间,也即,还可能存在其他场景,例如:将一个悬浮在空 中的球体作为监测区域(或称hotspot),当人的手伸进去就产生警报等等。相应的,判断人 和监测区域的位置关系可能就需要根据实际的场景去选择相应的判断方式,本申请实施例 以上述五种场景为例进行了说明,但应当理解,其他的判断方式也在本申请的保护范围之 内。
[0224] 基于同一发明构思,本申请实施例中还提供了一种视频监测装置,由于这些设备 解决问题的原理与一种视频监测方法相似,因此这些设备的实施可以参见方法的实施,重 复之处不再赘述。
[0225] 图14示出了本申请实施例中确定视频图像中被测对象间位置关系的装置的结构 示意图,如图所示,所述确定视频图像中被测对象间位置关系的装置可以包括:
[0226] 检测模块1401,用于检测视频图像中的第一被测对象和第二被测对象;
[0227] 第一确定模块1402,用于确定所述第一被测对象和所述第二被测对象在所述视频 图像中的坐标;
[0228] 转换模块1403,用于将所述第一被测对象和所述第二被测对象在所述视频图像中 的二维坐标转换为物理世界中的三维坐标;
[0229] 第二确定模块1404,用于根据所述第一被测对象和所述第二被测对象的三维坐 标,确定所述第一被测对象和所述第二被测对象之间的位置关系。
[0230] 实施中,所述转换模块可以具体用于根据所述image坐标系与所述camera坐标系 的转换关系、以及所述camera坐标系与所述floor坐标系的转换关系,将所述image坐标 系的坐标转换为所述floor坐标系的坐标;
[0231] 其中,所述image坐标系为预先建立的以所述视频图像的顶点为原点、以与所述 顶点相邻的两边为坐标轴的坐标系;所述camera坐标系为预先建立的以camera所在位置 为原点、与所述视频画面水平方向平行的方向为X轴、与所述视频画面坚直方向平行的方 向为y轴、光轴方向为Z轴的坐标系;所述floor坐标系为预先建立的以物理地面为XoY平 面、以所述camera坐标系原点到地面所在平面XoY的投影为原点的坐标系。
[0232] 实施中,所述转换模块具体可以包括:
[0233] 像素位置确定单元,用于确定所述image坐标系的像素位置,所述像素位置= (Ximage? Υ imaged ?
[0234] 深度确定单元,用于根据所述像素位置确定所述像素位置的深度值cbpth_ value ;
[0235] 第一转换单元,用于根据以下转换公式确定所述image坐标系与所述camera坐标 系的转换关系:
[0236] xCamera= camera_param. xzFactor*(x iniage/camera_param. resolution_ X_0. 5)*depth_value ;
[0237] ycamera= camera_param. yzFactor* (0· 5_y image/camera_param. resolution- Y)*depth_value ;
[0238] Zcanera= depth_value ;
[0239] 其中,Xcamera 为所述 camera 坐标系中 x、y、z 轴的坐标值,camera_ param. resolution_X、camera_param. resolution_Y分别为所述视频画面水平方向、垂直方 向的像素数,camera_param. xzFactor、camera_param. yzFactor 分另Ij为修正因子。
[0240] 实施中,所述转换模块具体可以包括:
[0241] 矩阵确定单元,用于确定至少包括camera坐标系中三点坐标的第一矩阵,以及至 少包括floor坐标系中三点坐标的第二矩阵;所述camera坐标系中点的坐标与所述floor 坐标系中点的坐标为物理世界中同一点在camera坐标系和floor坐标系下的表示;
[0242] 矩阵处理单元,用于将所述第一矩阵和所述第二矩阵分别减去各自矩阵内坐标的 平均值,得到S矩阵和D矩阵;对所述S矩阵与所述D矩阵的转置的乘积做奇异值分解,得 到 S*Dt= u*w*v S
[0243] 第二转换单元,用于根据以下转换公式确定所述camera坐标系与所述floor坐 标系的转换关系:R = v*C*ut;
. R、T分别为 camera坐标系到floor坐标系的旋转矩阵。
[0244] 实施中,所述检测模块可以具体用于在视频图像中检测人和预先选定的监测区 域;所述第一确定模块可以具体用于确定所述人和所述监测区域在所述视频图像中的坐 标;所述转换模块可以具体用于将所述人和所述监测区域在所述视频图像中的二维坐标转 换为物理世界中的三维坐标;所述第二确定模块可以具体用于根据所述人与所述监测区域 的三维坐标,确定所述人与所述监测区域之间的位置关系。
[0245] 实施中,所述第二确定模块具体可以包括:
[0246] 第一投影单元,用于将所述人的坐标投影到所述floor坐标系的XoY平面;
[0247] 计算单元,用于计算以所述人的投影位置为起点的射线与所述监测区域的交点个 数;
[0248] 第一监测单元,用于根据所述交点个数确定所述人是否在所述监测区域内。
[0249] 实施中,所述第二确定模块具体可以包括:
[0250] 第二投影单元,用于将所述人和所述监测区域的坐标均投影到所述floor坐标系 的XoY平面;
[0251] 第二监测单元,用于若所述人的投影与所述监测区域的投影有交集,确定所述监 测区域被所述人触摸。
[0252] 实施中,所述第二确定模块具体可以包括:
[0253] 第三投影单元,用于将所述人和所述监测区域的坐标均投影到所述floor坐标系 的XoY平面;其中,所述监测区域的投影线段所在直线为Ax+By+C = 0 ;
[0254] 直线确定单元,用于确定位于所述监测区域的投影线段两端且与所述投影线段垂 直的两条直线 Aj+Bj+Q = 0 和 A 2x+B2y+C2= 0 ;
[0255] 第三监测单元,用于若所述人的投影坐标变化为]
且 同时满足以下条件时,则确定所述人穿过所述监测区域=AxJByfC < 0 ;Ax2+By2+C > 0 ; (A^i+BiYi+Ci) * (A2x1+B2y1+C2) < 0 ;
[0256] (A1XdB1YjC1)*(A 2x2+B2y2+C2) < 0。
[0257] 实施中,所述第一被测对象和/或所述第二被测对象为多个,所述第二确定模块 具体可以包括:
[0258] 曲线拟合单元,用于根据所述多个第一被测对象和/或所述第二被测对象的三维 坐标,拟合出将所述多个第一被测对象和/或所述第二被测对象连接起来的空间曲线;
[0259] 第四监测单元,用于根据所述空间曲线确定所述多个第一被测对象和/或所述第 二被测对象的队列关系。
[0260] 为了描述的方便,以上所述装置的各部分以功能分为各种模块或单元分别描述。 当然,在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
[0261] 本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序 产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产 品的形式。
[0262] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一 流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算 机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理 器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生 用于实现在
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1