一种基于多深度相机的空间人员定位装置及方法与流程

文档序号：16813014发布日期：2019-02-10 13:55阅读：412来源：国知局

本发明涉及空间人员定位技术领域，具体为一种基于多深度相机的空间人员定位装置及方法。

背景技术：

空间人员定位是指在真实环境中实现人体位置定位。已有的空间人员的定位可以分为两类：基于视觉的定位和基于非视觉的定位。基于非视觉的定位方法大多采用无线通讯、基站定位、惯性传感器，红外激光等，定位精度高，但通常涉及复杂的设备或系统，且通常需要在人身上安装信号收发装置。而基于视觉的定位方法多使用单目或者双目相机来获取场景信息。其中，单目视觉仅能获取空间中的二维影像，在目标的精确定位上存在较大难度，且影像质量受外界环境影响较大；而双目立体视觉能够通过相应的算法实现深度信息的提取，但需要结合双相机进行特征信息的联合匹配，算法相对复杂，稳定性较差，难以确保复杂场景应用的实时性。

技术实现要素：

针对背景技术中存在的问题，本发明提供了一种基于多深度相机的空间人员定位装置及方法，能够实时获取目标人员的位置和姿态信息，不仅成本低，装置简单，测量范围大，而且具有较好的系统稳定性。

为实现上述目的，本发明提供如下技术方案：一种基于多深度相机的空间人员定位装置，该定位装置的深度影像获取和处理由5个深度相机组成，即分别为中间深度相机、前方深度相机、左侧深度相机、后方深度相机以及右侧深度相机；其中所述中间深度相机安装在上方垂直向下拍摄，另外四个深度相机分别安装在该中间深度相机的四周，且均与水平方向有一固定的夹角θ，各个深度相机的参数相同，该参数包括测量精度、距离分辨率、影像分辨率、水平视场角、垂直视场角和相机焦距。

本发明还提供了一种基于多深度相机的空间人员定位方法，该方法使用如权利要求1中所述的基于多深度相机的空间人员定位装置，该方法具体包括的步骤如下：

步骤2.1：分别获取所述5台深度相机在同一时刻采集的灰度影像和深度影像；

步骤2.2：对所述每个深度相机采集的灰度影像进行畸变校正，通过matlab软件计算相机的畸变系数和内参数；

步骤2.3：对每个深度相机进行温度补偿校正，最终计算获得准确的3d深度影像数据；

步骤2.4：对所述每个深度相机采集的深度影像进行三维滤波增强，消除深度影像中的噪点，提高拍摄的应用场景的深度影像质量；

步骤2.5：对所述每个深度相机采集的深度影像进行动态阈值分割，获取人体目标区域，即腰部以上的头肩区域；

步骤2.6：根据所获得的人体目标区域提取头肩区域垂直方向深度直方图(histogramsoforienteddepth，hod)特征，和头部区域空间密度(spatialdensityofhead，sdh)特征dhead为：

其中，vrec为人头部所在的三维空间体积；vhead为头部的体积，可近似为球体体积，表示为：

其中，ti(x,y)为深度影像数据二值化后的结果，为有效的目标点，hz为深度影像中头部区域；

步骤2.7：根据步骤2.6，提取人体目标区域测试样本的hod特征和sdh特征，并进行特征训练，来获取决策函数，进而区分不同类别目标的特征向量；

步骤2.8：根据所述决策函数判断各个3d深度影像中是否为人体目标，如果判断为否，则进入步骤2.13，如果判断为是，则进入步骤2.9；

步骤2.9：根据所获得的人体目标的头部区域的2d影像和3d深度影像，判断该区域是否满足头部凸面方形相似度(convexityandsquaresimilarityofhead，cssh)特征；如果不满足，则进入步骤2.13，如果满足则进入步骤2.10；

cssh特征scs为；

scs＝k1*scon+k2*ssqu

其中，k1,k2为权重系数，scon为头部凸面相似度，ssqu为头部方形相似度。并设定tk∈[0,1]为判断阈值。当scs≥tk，当前区域满足cssh特征；反之，则不满足；

头部凸面相似度scon为：

其中，n(n为偶数)为头部区域圆弧凸面的边缘上选取的凸点的个数；n为满足凸面上任意一条圆弧曲线从它的一端到另外一端的过程中满足斜率变化规律的点的个数。

头部方形相似度ssqu为：

其中，hi(x,y)为头部区域所在的外接平面矩形区域，m为行数，n为列数，如3d影像数据为有效点，值为1，否则值为0；chead为矩形区域周长；

步骤2.10：根据步骤2.9的判断结果确定人体目标，计算头部区域的中心点为人体目标定位点，从而获得2d影像中的人体目标定位点；

步骤2.11：根据2d人体目标定位点和该点的3d影像数据计算实际空间中的人员位置，即x轴坐标x，y轴坐标y和人体高度h，并统一变换到世界坐标系，包括：

2.11a：以中间深度相机1.1所在位置为场景原点，其相机坐标系为场景对应的世界坐标系，获取的人员位置不需坐标变换；

2.11b：将前方深度相机1.2计算得到的人员位置相机坐标乘对应的旋转矩阵加上对应的平移矩阵，获取前方深度相机1.2得到的人员位置变换后的世界坐标；

2.11c：将后方深度相机1.3计算得到的人员位置相机坐标乘对应的旋转矩阵加上对应的平移矩阵，获取后方深度相机1.3得到的人员位置变换后的世界坐标；

2.11d：将左侧深度相机1.4计算得到的人员位置相机坐标乘对应的旋转矩阵加上对应的平移矩阵，获取左侧深度相机1.4得到的人员位置变换后的世界坐标；

2.11e：将右侧深度相机1.5计算得到的人员位置相机坐标乘对应的旋转矩阵加上对应的平移矩阵，获取右侧深度相机1.5得到的人员位置变换后的世界坐标；

步骤2.12：根据步骤2.11计算得到的人员位置坐标，对获得的多组定位数据进行加权数据融合，内容包括：

2.12a：如果仅有一个深度相机可以得到确定的人体头部区域，则直接计算获得人体目标的人员位置坐标(x,y,h)；

2.12b：如果两台深度相机可以得到确定的人体头部区域，则输出人员位置坐标为：

x＝cx1x1+cx2x2

y＝cy1y1+cy2y2

h＝ch1h1+ch2h2

2.12c：如果三台深度相机可以得到确定的人体头部区域，则输出人员位置坐标为：

x＝cx1x1+cx2x2+cx3x3

y＝cy1y1+cy2y2+cy3y3

h＝ch1h1+ch2h2+ch3h3

步骤2.13：未检测到人体目标，输出人员位置坐标为(0,0,0)。

与现有技术相比，本发明的有益效果是：本发明基于多深度相机的空间人员定位装置及方法采用多个深度相机来对空间的人员进行检测定位，扩大了测量范围；利用3d深度影像直接获取人员的距离信息，克服了现有的空间人员定位技术设备复杂，受环境影响大，不能实时提供准确有效的人员位置信息等缺陷；多个智能深度相机协同工作，对定位信息进行了数据融合处理，使整个系统运行更加稳定，定位数据更加可靠，鲁棒性更强。

附图说明

图1是一种基于多深度相机的空间人员定位装置空间场景图；

图2是一种基于多深度相机的空间人员定位装置结构布局平面图；

图3是一种基于多深度相机的空间人员定位方法流程图；

图4是本发明中人体头部区域空间分布示意图；

图5是本发明中人体头部区域圆弧凸面示意图；

图6是本发明中人体头部区域外接平面矩形示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，一种基于多深度相机的空间人员定位装置，该定位装置的深度影像获取和处理由5个深度相机组成，分别为中间深度相机1.1、前方深度相机1.3、左侧深度相机1.3、后方深度相机1.4、右侧深度相机1.5；其中中间深度相机安装在上方垂直向下拍摄，另外四个深度相机分别安装在中间深度相机的四周，且与水平方向有一固定的夹角，各个深度相机的参数相同，该参数包括测量精度、距离分辨率、影像分辨率、水平视场角、垂直视场角和相机焦距；

如图3所示，一种基于多深度相机的空间人员定位方法，使用上述的基于多深度相机的空间人员定位装置，具体步骤如下：