结合深度视频分析的WiFi目标定位方法与流程
本发明属于计算机视觉和无线网络室内定位技术领域，特别是涉及一种结合深度视频分析的wifi目标定位方法。
背景技术：
随着移动设备(如手机、平板电脑、可穿戴设备等)种类和数量的激增以及无线网络技术的快速发展，基于位置识别的服务(locationbasedservices，lbs)和应用在日常生活工作及科学研究中起到了越来越重要的作用。艾瑞咨询分析中国位置签到服务市场发现2016年位置签到服务用户规模达到5.2亿人，并且还在以每年11％的速度增长。现在的人员密集型场合如大学校园、机场、博物馆、住宅区、大型商场等为方便人们无时无刻的上网需求都已经覆盖了wifi热点。正由于wifi基础设施的覆盖较广，使得基于wifi的定位成了自然的选择和研究的热点。
目前，wifi目标定位的方法主要分为两类：(1)三边测量定位。该类方法很大程度上依赖于确知的ap位置信息及准确的信号传输损耗模型，然而，现实生活中，由于环境复杂多变，影响信号传输的因素很多，建立一个准确的、符合实际情况的损耗模型存在着很大的困难。(2)位置指纹定位。目前实现算法可以分为两类：基本位置指纹定位算法和最大似然估计算法。其中基本指纹定位算法又分为很多小类。由于采用的算法不同，该类方法的定位精度往往差别较大。
李桢，黄劲松[基于rssi抗差滤波的wifi定位[j].武汉大学学报信息科学版，2016，41(3):361-366.]通过对rssi信号进行抗差卡尔曼滤波来估计信号强度，达到了信号平滑的目的，为wifi定位精度提供了保障，提高了定位精度。但缺点是只是静态的在一定程度上提高了单点定位精度，仍无法满足更高的定位需求。中国发明专利第2013100770115号中公开了一种wifi定位方法，在该方法中，ap通过广播的ssid里携带的oid、三维位置和标准信号强度信息来告诉终端ap的位置；终端通过对ssid解码得到三维位置、标准信号强度，结合测量到的该ap的rssi来确定与该ap的距离；通过ssid和信号强度来确定wifi目标终端位置。虽然该方法可以通过解码得到ap的位置，但是确定ap和终端之间距离还是通过rssi值计算所得。而且由于同一设备同一短时间段获取的rssi值具有较大的波动，因此在没有对rssi值进行预处理的前提下直接用于计算距离存在着较大的误差。
技术实现要素：
为了解决上述问题，本发明的目的在于提供一种结合深度视频分析的wifi目标定位方法。
为了达到上述目的，本发明提供的结合深度视频分析的wifi目标定位方法包括按顺序进行的下列步骤：
1)构建结合深度视频分析的wifi目标定位系统，该系统包括kinect深度摄像头、多个wifi探针和计算机；其中kinect深度摄像头和多个wifi探针均设置在待检测场景的边缘；计算机利用数据线与kinect深度摄像头和wifi探针相连接；
2)利用kinect深度摄像头获取待检测场景中作为视频运动目标的人体深度图像，再把人体简化为一个质点，用一个骨骼点来代替，并记录下骨骼点在待检测场景中的运动轨迹，进而获得人体运动轨迹点集合；
3)利用wifi探针获取待检测场景中人体携带的移动终端设备mac码地址和相应的rssi信号值，然后对上述rssi信号值进行优选，之后计算rssi信号值差值，然后建立rssi信号值差值位置对应关系表，定位时利用获得的rssi信号值差值通过查表方式即可找到移动终端设备的位置，进而获得移动终端设备运动轨迹点集合；
4)利用卡尔曼滤波算法平滑上述人体运动轨迹点集合和移动终端设备运动轨迹点集合，再分别将集合中的点连接而形成轨迹曲线；
5)使用费雷歇距离来度量人体运动轨迹曲线和移动终端设备运动轨迹曲线的相似系数，并计算出轨迹映射成轨迹图像后两个轨迹图像之间的相关系数；综合二者的结果，输出人体运动轨迹和移动终端设备运动轨迹的匹配结果。
在步骤2)中，所述的利用kinect深度摄像头获取待检测场景中作为视频运动目标的人体深度图像，再把人体简化为一个质点，用一个骨骼点来代替，并记录下骨骼点在待检测场景中的运动轨迹，进而获得人体运动轨迹点集合的具体步骤如下：
采用kinect深度摄像头采集待检测场景中的人体深度图像，该人体深度图像中每个像素由2个字节，共16位组成，其中高13位代表kinect深度摄像头到人体之间的距离，低3位表示人体索引编号，如果低3位全部为0，则表示不是人体，然后传送给计算机，计算机通过遍历判断每一个像素的人体索引编号就可以判断出该像素是否属于同一人体，最后所有具有相同人体索引编号的像素即是一个人体；
将人体当作一个质点，描述质点的运动轨迹即代表人体的运动轨迹，在这里选用人体脊椎中点表示人体的空间位置，从而得到kinect深度摄像头下摄像机坐标系中人体的三维坐标位置
由于摄像机坐标系并不是真实世界中的坐标，在这里还需要转换到实际场景中的坐标才有意义；世界坐标用
其中：
在不考虑人体的身高因素时，也无需考虑垂直方向上的坐标，仅仅使用三维坐标系下的x和z坐标即可实现定位，即将三维空间转化到二维平面，用
最后将得到的二维平面坐标按采样时间记录下来，作为人体运动轨迹点集合，记作pi＝{pi(t0),pi(t1),…}。
在步骤3)中，所述的利用wifi探针获取待检测场景中人体携带的移动终端设备mac码地址和相应的rssi信号值，然后对上述rssi信号值进行优选，之后计算rssi信号值差值，然后建立rssi信号值差值位置对应关系表，定位时利用获得的rssi信号值差值通过查表方式即可找到移动终端设备的位置，进而获得移动终端设备运动轨迹点集合的具体步骤如下：
将待检测场景用网格法划分成多个小方格，对每一小方格进行标号，并将方格对应的位置记作loca(xi,yi)；
将移动终端设备分别放置在每个位置loca(xi,yi)处，利用多个wifi探针探测该移动终端设备mac码及其对应的rssi信号值和时间戳，然后传送给计算机，由计算机进行后续的处理；
对同一短时间段内得到的同一mac码的多个rssi信号值进行优选，方法是：设每一wifi探针采集到的同一时间段内同一移动终端设备的所有rssi信号值为：rssi1,rssi2,…,rssin；
概率分布函数的公式如式(2)所示：
其中：
μ表示rssi信号值的均值；σ2表示rssi信号值的方差；n表示rssi信号值的个数；x表示wifi探针采集到同一时间段内同一移动终端设备的多个rssi信号值；
将所有rssi信号值rssi1,rssi2,…,rssin带入上述概率分布函数f(x)中，计算出f(x)；当0.5≤f(x)≤1时，保留该rssi信号值，否则删除，以对所有rssi信号值进行筛选；将筛选后保留下的m个rssi信号值设为rssi1,rssi2,…,rssim；
计算上述筛选后的rssi信号值rssi1,rssi2,…,rssim的均值，用rssiaver表示：
将上述均值rssiaver作为该rssi信号值的优选值；
多个wifi探针在该位置处获得的rssi信号值的优选值分别表示为：rssiaver1，rssiaver2，rssiaver3，……；
将上述rssi信号值的优选值rssiaver1，rssiaver2，rssiaver3，……两两做差，并用drssi表示相减的结果：
最后共得到多个该位置处的rssi信号值差值drssi1,drssi2,…,drssim；
将上述rssi信号值差值drssi1,drssi2,…,drssim和位置loca(xi,yi)建立一个对应关系表；
在定位时，只需根据按上述方法获得的rssi信号值差值通过查表即可反推出移动终端设备所在的位置；
对获得的rssi信号值差值和对应关系表中的rssi信号值差值使用最近邻算法进行运算而得到最相似的一组rssi信号值差值drssi1,drssi2,drssi3,.....，具体步骤是：
3.1、分别计算每一个wifi探针探测到的一组rssi信号值差值与对应关系表中所有组的rssi信号值差值的曼哈顿距离，公式如下：
其中：x,y表示两个n维向量，维数由rssi信号值差值的个数决定；
3.2、将每一个wifi探针探测到的一组rssi信号值差值定义为查询点，然后根据上述曼哈顿距离利用最近邻算法查找出离查询点最近的数据对象，即rssi信号值差值在对应关系表中的位置，并记录下该位置的坐标loca(xi,yi)；
3.3、重复步骤3.1到3.2，得到不同时刻同一移动终端设备不同位置的多个坐标，这些坐标的集合即为该移动终端设备运动轨迹点集合；
在步骤4)中，所述的利用卡尔曼滤波算法平滑上述人体运动轨迹点集合和移动终端设备运动轨迹点集合，再分别将集合中的点连接而形成轨迹曲线的具体步骤如下：
4.2、卡尔曼滤波：
由于集合中的每一个点都是由x轴坐标和z轴坐标构成，因此分别对x轴坐标和z轴坐标进行修正，设要进行卡尔曼滤波的集合为x，对应k时刻的点为x(k)，具体的步骤为：
4.1.1、预估计
4.1.2、计算预估计协方差矩阵：
其中：q(k)＝u(k)×u(k)t，u(k)为k时刻动态噪声；
4.1.3、计算卡尔曼增益矩阵：
其中：r(k)＝n(k)×n(k)t，n(k)为k时刻观测噪声，h(k)为k时刻观测矩阵；
4.1.4、用观测值和预测值更新估计值：
4.1.5、计算更新后估计协方差矩阵：
4.1.6、令
通过以上处理即可完成对人体运动轨迹点集合或移动终端设备运动轨迹点集合的x,z坐标的平滑；
(4.2)将平滑后的同一人体和移动终端设备不同时刻的运动轨迹点集合中的点连接成直线，由此形成人体运动轨迹曲线和移动终端设备运动轨迹曲线。
在步骤5)中，所述的使用费雷歇距离来度量人体运动轨迹曲线和移动终端设备运动轨迹曲线的相似系数，并计算出轨迹映射成轨迹图像后两个轨迹图像之间的相关系数；综合二者的结果，输出人体运动轨迹和移动终端设备运动轨迹的匹配结果的具体步骤如下：
5.4、进行距离度量
使用弗雷歇距离进行距离度量，公式如下:
5.1.1、设定t为采样间隔，该时刻人体运动轨迹曲线a上的采样点为
5.1.2、计算上述两采样点间的欧式距离:
5.1.3、计算该采样点下的最大距离
5.1.4、更换采样间隔t的数值，重复步骤5.1.1至5.1.3，获取多个最大距离，利用式(7)所示的弗雷歇距离公式计算并选择一个最小的最大距离的值即为这两条曲线的相似系数，弗雷歇距离就是使该最大距离最小化的采样方式下的值；
5.1.5、以人体为主键，对所有移动终端设备移动轨迹曲线与人体运动轨迹曲线进行以上操作，得到多个相似系数，并将度量结果从大到小排序；
5.5、进行图像度量
从图像角度，使用全局图像进行相似性度量，通过比较两个轨迹图像之间的相关程度，完成轨迹的匹配；
5.2.1、将相同人体和相同移动终端设备在不同时刻的多个坐标点集合分别连成线段，线的颜色用黑色表示，背景使用白色表示，由此得到二值图；
5.2.2、将上述二值图使用相关系数法进行相似性度量：
其中：h1表示wifi探针探测到的一组rssi信号值差值；
h2表示对应关系表中每一位置对应的rssi信号值差值；
n等于每组rssi信号值差值的个数；
5.2.3、以人体为主键，对所有移动终端设备移动轨迹图像与人体运动轨迹图像进行相关系数度量，并将度量的结果从大到小排序；
5.6、进行综合度量
综合上述距离度量和图像度量的结果，考虑到距离度量相比图像度量的可靠性较高，因此分别将距离度量和图像度量的结果乘以0.6和0.4的权重，再次排序，排名第一的轨迹图像即认为是相应人体所携带的移动终端设备的轨迹图像，由此完成视频运动目标与其所携带移动终端设备的mac码匹配。
本发明提供的结合深度视频分析的wifi目标定位方法是将深度摄像头应用在wifi定位领域，通过对深度摄像头和wifi探针所探测到的多个目标的移动轨迹进行动态分析，确定待检测场景中目标与mac地址的对应关系，进而得到每个wifi目标的实际位置坐标。定位过程中并非直接使用rssi信号值计算静态距离，而是利用了深度摄像头的位置探测功能，因而可以减小定位误差。
附图说明
图1为本发明提供的结合深度视频分析的wifi目标定位方法流程图。
图2为本发明提供的结合深度视频分析的wifi目标定位系统构成示意图。
图3为采用kinect深度摄像头采集的待检测场景中的人体深度图像。
图4为获取人体骨骼点信息的人体深度图像。
具体实施方式
下面结合附图和具体实施例对本发明提供的结合深度视频分析的wifi目标定位方法进行详细说明。
如图1所示，本发明提供的结合深度视频分析的wifi目标定位方法包括按顺序进行的下列步骤：
1)构建如图2所示的结合深度视频分析的wifi目标定位系统，该系统包括kinect深度摄像头1、多个wifi探针2和计算机3；其中kinect深度摄像头1和多个wifi探针2均设置在待检测场景的边缘；计算机3利用数据线与kinect深度摄像头1和wifi探针2相连接；
2)利用kinect深度摄像头1获取待检测场景中作为视频运动目标的人体深度图像，再把人体简化为一个质点，用一个骨骼点来代替，并记录下骨骼点在待检测场景中的运动轨迹，进而获得人体运动轨迹点集合；
具体步骤如下：采用kinect深度摄像头1采集待检测场景中的人体深度图像，如图3所示，该人体深度图像中每个像素由2个字节，共16位组成。其中高13位代表kinect深度摄像头1到人体之间的距离，低3位表示人体索引编号，如果低3位全部为0，则表示不是人体，然后传送给计算机3，计算机3通过遍历判断每一个像素的人体索引编号就可以判断出该像素是否属于同一人体，最后所有具有相同人体索引编号的像素即是一个人体。由于当描述人体运动轨迹的时候，人体的姿态和动作就不再是研究重点，那么可以将人体当作一个质点，描述质点的运动轨迹即代表人体的运动轨迹。而且在获取人体目标的同时也可以获取到人体的骨骼点信息，如图4所示。在这里选用人体脊椎中点表示人体的空间位置，从而得到kinect深度摄像头1下摄像机坐标系中人体的三维坐标位置
由于摄像机坐标系并不是真实世界中的坐标，在这里还需要转换到实际场景中的坐标才有意义。世界坐标用
其中：
因为骨骼点在世界坐标系下是用三维坐标表示的。通常情况下可以认为人体是在地面上活动的，且移动终端设备也由人所携带，那么移动终端设备也是在地面这个二维平面上移动。为了便于理解、计算简便和减少匹配误差，在不考虑人体的身高因素时，也无需考虑垂直方向上的坐标，仅仅使用三维坐标系下的x和z坐标即可实现定位。即将三维空间转化到二维平面，用
最后将得到的二维平面坐标按采样时间记录下来，作为人体运动轨迹点集合，记作pi＝{pi(t0),pi(t1),...}。
3)利用wifi探针2获取待检测场景中人体携带的移动终端设备mac码地址和相应的rssi信号值，然后对上述rssi信号值进行优选，之后计算rssi信号值差值，然后建立rssi信号值差值位置对应关系表，定位时利用获得的rssi信号值差值通过查表方式即可找到移动终端设备的位置，进而获得移动终端设备运动轨迹点集合；
具体步骤如下：
将待检测场景用网格法划分成多个小方格，对每一小方格进行标号，并将方格对应的位置记作loca(xi,yi)；
将移动终端设备分别放置在每个位置loca(xi,yi)处，利用多个wifi探针2探测该移动终端设备mac码及其对应的rssi信号值和时间戳，获取到的信息如表1所示，然后传送给计算机3，由计算机3进行后续的处理。
由于wifi探针2在采集移动终端设备的rssi信号时，一般会在一个较短的时间段内获得同一个移动终端设备返回的多个rssi信号值。一般情况下在较短时间内移动终端设备的mac码和位置不会改变。为了提高定位的准确性，需对同一短时间段内得到的同一mac码的多个rssi信号值进行优选。
优选方法是：设每一wifi探针2采集到的同一时间段内同一移动终端设备的所有rssi信号值为：rssi1,rssi2,…,rssin；
概率分布函数的公式如式(2)所示：
其中：
μ表示rssi信号值的均值；σ2表示rssi信号值的方差；n表示rssi信号值的个数；x表示wifi探针2采集到同一时间段内同一移动终端设备的多个rssi信号值。
将所有rssi信号值rssi1,rssi2,…,rssin带入上述概率分布函数f(x)中，计算出f(x)。当0.5≤f(x)≤1时，即该rssi信号值呈正相关，保留该rssi信号值，否则删除，以对所有rssi信号值进行筛选。将筛选后保留下的m个rssi信号值设为rssi1,rssi2,…,rssim。
计算上述筛选后的rssi信号值rssi1,rssi2,…,rssim的均值，用rssiaver表示：
将上述均值rssiaver作为该rssi信号值的优选值。
多个wifi探针2在该位置处获得的rssi信号值的优选值分别表示为：rssiaver1，rssiaver2，rssiaver3，……。
由于不同品牌、型号的移动终端设备的网卡性能不尽相同，因此仅使用rssi信号值进行定位将会引入因移动终端设备功率不同而导致的误差，由式(4)所示的rssi信号值差值可知：
其中γsf∈表示同层测试的路径损耗指数值，faf表示附加衰减因子，di表示wifi探针2与移动终端设备之间的距离，rssi信号值差值表示功率衰减，由此可见，在同一时间内该功率衰减主要是由距离不同而造成的。因此利用rssi信号值差值可以消除由于移动终端设备不同而引入的误差。
将上述rssi信号值的优选值rssiaver1，rssiaver2，rssiaver3，……两两做差，并用drssi表示相减的结果：
最后共得到多个该位置处的rssi信号值差值drssi1,drssi2,…,drssim。
将上述rssi信号值差值drssi1,drssi2,…,drssim和位置loca(xi,yi)建立一个对应关系表。
在定位时，只需根据按上述方法获得的rssi信号值差值通过查表即可反推出移动终端设备所在的位置。
但查表时，可能在对应关系表中找不到完全一样的rssi信号值差值，而且wifi探针2探测到的rssi信号值差值中的每一个rssi信号值差值drssi和对应关系表中某一个位置处的rssi信号值差值中的每一个rssi信号值差值drssi的相似度也不尽相同，故需要对获得的rssi信号值差值和对应关系表中的rssi信号值差值使用最近邻算法进行运算而得到最相似的一组rssi信号值差值drssi1,drssi2,drssi3,.....。具体步骤是：
3.1、分别计算每一个wifi探针2探测到的一组rssi信号值差值与对应关系表中所有组的rssi信号值差值的曼哈顿距离，公式如下：
其中：x,y表示两个n维向量，维数由rssi信号值差值的个数决定。
3.2、将每一个wifi探针2探测到的一组rssi信号值差值定义为查询点，然后根据上述曼哈顿距离利用最近邻算法查找出离查询点最近的数据对象，即rssi信号值差值在对应关系表中的位置，并记录下该位置的坐标loca(xi,yi)；
3.3、重复步骤3.1到3.2，得到不同时刻同一移动终端设备不同位置的多个坐标，这些坐标的集合即为该移动终端设备运动轨迹点集合；
4)利用卡尔曼滤波算法平滑上述人体运动轨迹点集合和移动终端设备运动轨迹点集合，再分别将集合中的点连接而形成轨迹曲线；
由步骤2)和3)可得人体运动轨迹点集合和移动终端设备运动轨迹点集合。由于上述获取的运动轨迹可能存在噪声，因此需要对运动轨迹点集合进行滤波，具体步骤如下：
4.3、卡尔曼滤波：
由于集合中的每一个点都是由x轴坐标和z轴坐标构成，因此分别对x轴坐标和z轴坐标进行修正，设要进行卡尔曼滤波的集合为x，对应k时刻的点为x(k)，具体的步骤为：
4.1.1、预估计
4.1.2、计算预估计协方差矩阵：
其中：q(k)＝u(k)×u(k)t，u(k)为k时刻动态噪声；
4.1.3、计算卡尔曼增益矩阵：
其中：r(k)＝n(k)×n(k)t，n(k)为k时刻观测噪声，h(k)为k时刻观测矩阵；
4.1.4、用观测值和预测值更新估计值：
4.1.5、计算更新后估计协方差矩阵：
4.1.6、令
通过以上处理即可完成对人体运动轨迹点集合或移动终端设备运动轨迹点集合的x,z坐标的平滑。
(4.2)将平滑后的同一人体和移动终端设备不同时刻的运动轨迹点集合中的点连接成直线，由此形成人体运动轨迹曲线和移动终端设备运动轨迹曲线。
5)使用费雷歇距离来度量人体运动轨迹曲线和移动终端设备运动轨迹曲线的相似系数，并计算出轨迹映射成轨迹图像后两个轨迹图像之间的相关系数；综合二者的结果，输出人体运动轨迹和移动终端设备运动轨迹的匹配结果。
具体步骤如下：
5.7、进行距离度量
本发明使用弗雷歇距离进行距离度量，公式如下:
5.1.1、设定t为采样间隔，该时刻人体运动轨迹曲线a上的采样点为
5.1.2、计算上述两采样点间的欧式距离:
5.1.3、计算该采样点下的最大距离
5.1.4、更换采样间隔t的数值，重复步骤5.1.1至5.1.3，获取多个最大距离，利用式(7)所示的弗雷歇距离公式计算并选择一个最小的最大距离的值即为这两条曲线的相似系数，弗雷歇距离就是使该最大距离最小化的采样方式下的值。
5.1.5、以人体为主键，对所有移动终端设备移动轨迹曲线与人体运动轨迹曲线进行以上操作，得到多个相似系数，并将度量结果从大到小排序。
5.8、进行图像度量
从图像角度，使用全局图像进行相似性度量，通过比较两个轨迹图像之间的相关程度，完成轨迹的匹配。
5.2.1、将相同人体和相同移动终端设备在不同时刻的多个坐标点集合分别连成线段，线的颜色用黑色表示，背景使用白色表示，由此得到二值图；
5.2.2、将上述二值图使用相关系数法进行相似性度量：
其中：h1表示wifi探针2探测到的一组rssi信号值差值；
h2表示对应关系表中每一位置对应的rssi信号值差值；
n等于每组rssi信号值差值的个数；
5.2.3、以人体为主键，对所有移动终端设备移动轨迹图像与人体运动轨迹图像进行相关系数度量，并将度量的结果从大到小排序；
5.9、进行综合度量
综合上述距离度量和图像度量的结果，考虑到距离度量相比图像度量的可靠性较高，因此分别将距离度量和图像度量的结果乘以0.6和0.4的权重，再次排序，排名第一的轨迹图像即认为是相应人体所携带的移动终端设备的轨迹图像，由此完成视频运动目标与其所携带移动终端设备的mac码匹配。
通过上面的步骤，已经实现了mac码与视频运动目标的匹配。根据匹配的曲线可以得到短时间内任意时刻人体的坐标和移动终端设备坐标的对应关系。尽管通过rssi信号值优选、rssi信号值差值处理等方法能够在一定程度上提高wifi目标定位的准确性，但wifi定位的精度还远远达不到kinect深度摄像头下拍摄的人体的位置精度(可达毫米级)。而因为移动终端设备一段时间内整体的动态移动轨迹是可信的，且已经实现了人体运动轨迹和移动终端设备运动轨迹的匹配，那么可使用同一时刻通过kinect深度摄像头获取到的人体坐标代替移动终端设备的坐标来实现wifi目标定位。实验证明，本发明方法切实有效，且精度高。
表1
- 还没有人留言评论。精彩留言会获得点赞！