流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能 的装置。
[0263] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。
[0264] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图 一个方框或多个方框中指定的功能的步骤。
[0265] 尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造 性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优 选实施例以及落入本申请范围的所有变更和修改。
【主权项】
1. 一种确定视频图像中被测对象间位置关系的方法，其特征在于，包括如下步骤： 检测视频图像中的第一被测对象和第二被测对象； 确定所述第一被测对象和所述第二被测对象在视频图像中的坐标； 将所述第一被测对象和所述第二被测对象在所述视频图像中的二维坐标转换为物理 世界中的三维坐标； 根据所述第一被测对象和所述第二被测对象的三维坐标，确定所述第一被测对象和所 述第二被测对象之间的位置关系。2. 如权利要求1所述的方法，其特征在于，所述将所述视频图像中的二维坐标转换为 物理世界中的三维坐标，具体为： 根据所述视频图像image坐标系与所述摄像头camera坐标系的转换关系、以及所述camera坐标系与所述地面floor坐标系的转换关系，将所述image坐标系的坐标转换为所 述floor坐标系的坐标； 其中，所述image坐标系为预先建立的以所述视频图像的顶点为原点、以与所述顶点 相邻的两边为坐标轴的坐标系；所述camera坐标系为预先建立的以camera所在位置为原 点、与所述视频画面水平方向平行的方向为X轴、与所述视频画面坚直方向平行的方向为y 轴、光轴方向为z轴的坐标系；所述floor坐标系为预先建立的以物理地面为ΧοΥ平面、以 所述camera坐标系原点到地面所在平面ΧοΥ的投影为原点的坐标系。3. 如权利要求2所述的方法，其特征在于，所述image坐标系转换为所述camera坐标 系，具体为： 确定所述image坐标系的像素位置，所述像素位置=(xinage，yinage); 根据所述像素位置确定所述像素位置的深度值d印th_value; 根据以下转换公式确定所述image坐标系与所述camera坐标系的转换关系： xcamera=camera_param.xzFactor*(xiniage/camera_param.resolution_X-〇. 5)*depth_value； ycamera=camera-param·yzFactor* (0· 5_yimage/camera-param·resolution-Y) ^depth-value； Zc繼ra=d印th_value; 其中，ycamera、分别为所述camera坐标系中x、y、z轴的坐标值，camera_param.resolution_X、camera_param.resolution_Y分别为所述视频画面水平方向、垂直方 向的像素数，camera_param.xzFactor、camera_param.yzFactor分另lj为修正因子。4. 如权利要求2所述的方法，其特征在于，所述camera坐标系转换为所述floor坐标 系，具体为： 确定至少包括camera坐标系中三点坐标的第一矩阵，以及至少包括floor坐标系中三 点坐标的第二矩阵；所述camera坐标系中点的坐标与所述floor坐标系中点的坐标为物理 世界中同一点在camera坐标系和floor坐标系下的表示； 将所述第一矩阵和所述第二矩阵分别减去各自矩阵内坐标的平均值，得到S矩阵和D矩阵； 对所述S矩阵与所述D矩阵的转置的乘积做奇异值分解，得到S*Dt=u*w*vN 根据以下转换公式确定所述camera坐标系与所述floor坐标系的转换关系： R=v^C^uS，R、T分别为camera坐标系到floor坐标系的旋转 矩阵。5. 如权利要求1所述的方法，其特征在于，所述第一被测对象为人，所述第二被测对象 为在所述视频图像中预先选定的监测区域。6. 如权利要求5所述的方法，其特征在于，所述根据所述第一被测对象和所述第二 被测对象的三维坐标，确定所述第一被测对象与所述第二被测对象之间的位置关系，具体 为： 将所述人的坐标投影到所述floor坐标系的ΧοΥ平面； 计算以所述人的投影位置为起点的射线与所述监测区域的交点个数； 根据所述交点个数确定所述人是否在所述监测区域内。7. 如权利要求5所述的方法，其特征在于，所述根据所述第一被测对象和所述第二被 测对象的三维坐标，确定所述第一被测对象与所述第二被测对象的位置关系，具体为： 将所述人和所述监测区域的坐标均投影到所述floor坐标系的ΧοΥ平面； 若所述人的投影与所述监测区域的投影有交集，则确定所述监测区域被所述人触摸。8. 如权利要求5所述的方法，其特征在于，所述根据所述第一被测对象和所述第二被 测对象的三维坐标，确定所述第一被测对象与所述第二被测对象的位置关系，具体为： 将所述人和所述监测区域的坐标均投影到所述floor坐标系的ΧοΥ平面；其中，所述监 测区域的投影线段所在直线为Ax+By+C= 0 ; 确定位于所述监测区域的投影线段两端且与所述投影线段垂直的两条直线AiX+B^+Ci=0 和A2x+B2y+C2= 0 ; 若所述人的投影坐标变化为y2-yi),且同时满足以下条件时，则确定 所述人穿过所述监测区域： Axi+Byi+C< 0 ； Ax2+By2+C> 0 ； (A^i+BiYi+Ci) * (A2x1+B2y1+C2) < 0 ； < 0。9. 如权利要求1所述的方法，其特征在于，所述第一被测对象和/或所述第二被测对象 为多个，所述根据所述第一被测对象和所述第二被测对象的三维坐标，确定所述第一被测 对象和所述第二被测对象之间的位置关系，具体为： 根据所述多个第一被测对象和/或所述第二被测对象的三维坐标，拟合出将所述多个 第一被测对象和/或所述第二被测对象连接起来的空间曲线； 根据所述空间曲线确定所述多个第一被测对象和/或所述第二被测对象的队列关系。10. -种确定视频图像中被测对象间位置关系的装置，其特征在于，包括： 检测模块，用于检测视频图像中的第一被测对象和第二被测对象； 第一确定模块，用于确定所述第一被测对象和所述第二被测对象在视频图像中的坐 标； 转换模块，用于将所述第一被测对象和所述第二被测对象在所述视频图像中的二维坐 标转换为物理世界中的三维坐标； 第二确定模块，用于根据所述第一被测对象和所述第二被测对象的三维坐标，确定所 述第一被测对象和所述第二被测对象之间的位置关系。11. 如权利要求10所述的装置，其特征在于，所述转换模块具体用于根据所述image坐 标系与所述camera坐标系的转换关系、以及所述camera坐标系与所述floor坐标系的转 换关系，将所述image坐标系的坐标转换为所述floor坐标系的坐标； 其中，所述image坐标系为预先建立的以所述视频图像的顶点为原点、以与所述顶点 相邻的两边为坐标轴的坐标系；所述camera坐标系为预先建立的以camera所在位置为原 点、与所述视频画面水平方向平行的方向为X轴、与所述视频画面坚直方向平行的方向为y 轴、光轴方向为z轴的坐标系；所述floor坐标系为预先建立的以物理地面为ΧοΥ平面、以 所述camera坐标系原点到地面所在平面ΧοΥ的投影为原点的坐标系。12. 如权利要求11所述的装置，其特征在于，所述转换模块具体包括： 像素位置确定单元，用于确定所述image坐标系的像素位置,所述像素位置=(ximage, y imaged ? 深度确定单元，用于根据所述像素位置确定所述像素位置的深度值cbpth_valUe; 第一转换单元，用于根据以下转换公式确定所述image坐标系与所述camera坐标系的 转换关系： xcamera=camera_param.xzFactor*(xiniage/camera_param.resolution_X-〇. 5)*depth_value； Ycamera=camera_param.yzFactor* (0. 5-yimage/camera_param.resolution_Y) *depth_value； zc繼ra=d印th_value; 其中，ycamera、分别为所述camera坐标系中x、y、z轴的坐标值，camera_param.resolution_X、camera_param.resolution_Y分别为所述视频画面水平方向、垂直方 向的像素数，camera_param.xzFactor、camera_param.yzFactor分另lj为修正因子。13. 如权利要求11所述的装置，其特征在于，所述转换模块具体包括： 矩阵确定单元，用于确定至少包括camera坐标系中三点坐标的第一矩阵，以及至少包 括floor坐标系中三点坐标的第二矩阵；所述camera坐标系中点的坐标与所述floor坐标 系中点的坐标为物理世界中同一点在camera坐标系和floor坐标系下的表示； 矩阵处理单元，用于将所述第一矩阵和所述第二矩阵分别减去各自矩阵内坐标的平均 值，得到S矩阵和D矩阵；对所述S矩阵与所述D矩阵的转置的乘积做奇异值分解，得到S*Dt =U氺W氺V、 第二转换单元，用于根据以下转换公式确定所述camera坐标系与所述floor坐标系的 转换关系：R= 'r=S-R*D;其中：坐标系到floor坐标系的旋转矩阵。14.如权利要求10所述的装置，其特征在于，所述检测模块具体用于在视频图像中检 测人和预先选定的监测区域；所述第一确定模块具体用于确定所述人和所述监测区域在所 述视频图像中的坐标；所述转换模块具体用于将所述人和所述监测区域在所述视频图像中 的二维坐标转换为物理世界中的三维坐标；所述第二确定模块具体用于根据所述人与所述 监测区域的三维坐标，确定所述人与所述监测区域之间的位置关系。15.如权利要求14所述的装置，其特征在于，所述第二确定模块具体包括： 第一投影单元，用于将所述人的坐标投影到所述floor坐标系的ΧοΥ平面； 计算单元，用于计算以所述人的投影位置为起点的射线与所述监测区域的交点个数； 第一监测单元，用于根据所述交点个数确定所述人是否在所述监测区域内。16.如权利要求14所述的装置，其特征在于，所述第二确定模块具体包括： 第二投影单元，用于将所述人和所述监测区域的坐标均投影到所述floor坐标系的ΧοΥ平面； 第二监测单元，用于若所述人的投影与所述监测区域的投影有交集，确定所述监测区 域被所述人触摸。17.如权利要求14所述的装置，其特征在于，所述第二确定模块具体包括： 第三投影单元，当将所述人和所述监测区域的坐标均投影到所述floor坐标系的ΧοΥ平面；其中，所述监测区域的投影线段所在直线为Ax+By+C= 0 ; 直线确定单元，用于确定位于所述监测区域的投影线段两端且与所述投影线段垂直的 两条直线Ap+Bj+Cf0和A2x+B2y+C2= 0 ; 第三监测单元，用于若所述人的投影坐标变化为.H.P2二（χ,2-χρyr·%.),且同 时满足以下条件时，则确定所述人穿过所述监测区域lAXi+BydC<0 ;Ax2+By2+C>0 ; (A^i+BiYi+Ci) * (A2x1+B2y1+C2) < 0 ； < 0。18.如权利要求10所述的装置，其特征在于，所述第一被测对象和/或所述第二被测对 象为多个，所述第二确定模块具体包括： 曲线拟合单元，用于根据所述多个第一被测对象和/或所述第二被测对象的三维坐 标，拟合出将所述多个第一被测对象和/或所述第二被测对象连接起来的空间曲线； 第四监测单元，用于根据所述空间曲线确定所述多个第一被测对象和/或所述第二被 测对象的队列关系。
【专利摘要】本申请提供了一种确定视频图像中被测对象间位置关系的方法及装置，包括：检测视频图像中的第一被测对象和第二被测对象；确定所述第一被测对象和所述第二被测对象在视频图像中的坐标；将所述第一被测对象和所述第二被测对象在所述视频图像中的二维坐标转换为物理世界中的三维坐标；根据所述第一被测对象和所述第二被测对象的三维坐标，确定所述第一被测对象和所述第二被测对象之间的位置关系。由于本申请实施例中将被测对象的坐标由视频图像转换至物理世界，相比现有技术新增加了一维坐标，相当于将视频画面中的被测对象还原到了真实的物理世界，这种情况下进行监测的准确度和精度更高，避免了现有技术中经常出现误判问题。
【IPC分类】G06T7/00, G06T7/60
【公开号】CN105303549
【申请号】CN201510367613
【发明人】赵昕, 程士庆, 张永杰, 王超
【申请人】北京格灵深瞳信息技术有限公司
【公开日】2016年2月3日
【申请日】2015年6月29日