一种基于梯度融合的多模态深度学习室内定位方法

本发明属于室内定位，具体涉及一种基于梯度融合的多模态深度学习室内定位方法。

背景技术：

1、基于指纹的室内定位因为提供高性价比、敏捷的定位服务而受到了研究和业界的广泛关注。基于指纹的定位分为离线阶段和在线阶段。在离线阶段，采集各参考点(reference point,rp)在各接入点(access point,ap)的无线信号特征作为指纹，建立数据库，并训练定位模型。在在线阶段，利用在测试点收集的测量值来匹配指纹以估计位置。

2、通常，有许多信号特征被用作指纹，包括到达时间(toa)、到达角度(aoa)、接收信号强度(received signal strength,rss)和信道状态信息(channel state information,csi)。其中，rss很容易被包括手机在内的现成设备收集，故被广泛用作位置指纹。然而，rss是一个粗粒度值，会受到室内环境丰富的多径和动态性的影响，这可能会大大降低定位性能。随着支持ieee 802.11n的新一代wifi网卡(wifi network interface card,nic)的出现，通过采用正交频分复用(ofdm)和多输入多输出(mimo)技术，可以提取出信道状态信息(csi)。而csi是物理层的细粒度值，可以提供更为丰富的多径信息。然而，csi比rss更易受到动态环境的影响。rss和csi代表了不同的模态，并提供了互补的信息，如果使用得当，可以提高位置精度。

3、现有的wifi室内定位系统大多只考虑wifi信号的单一类型特征，这并没有充分利用wifi信号的特点。综上所述，使用多模态数据可以提高复杂室内环境中的定位精度。

4、文献“l.peterson,“k-nearest neighbor,”scholarpedia,vol.4,no.2,p.1883,2009,doi:10.4249/scholarpedia.1883”中的knn(deterministic k-nearest neighbor,knn)算法是机器学习领域中最为常见的有监督分类算法之一。它通过计算测试点的测量值和指纹库中各个指纹的欧式距离，采用最小距离对应的点作为输出结果。文献“h.chen,y.zhang,w.li,x.tao,and p.zhang,“confi:convolutional neural networks basedindoor wi-fi localization using channel state information,”ieee access,vol.5,pp.18066-18074,2017,doi:10.1109/access.2017.2749516.”提出将csi数据送入卷积神经网络，对坐标进行回归拟合。但这两种方法难以挖掘不同模态数据的深层潜在特征，无法充分利用不同模态数据提供的互补信息。基于上述原因，此类方法在复杂的室内定位环境中难以实现准确的定位。

技术实现思路

1、本发明深度挖掘了不同模态、不同粒度数据之间的定位信息，提供了一种基于梯度融合的多模态深度学习定位方法。该方法先提取不同模态数据的特征向量，在学习特征到现实坐标映射关系的同时，通过误差函数反过来影响特征向量的形成。由于不同模态网络中过拟合和泛化的速度不同，多模态融合网络往往容易过度拟合。发明中采用了梯度融合的手段，根据各模态的过拟合和泛化程度计算最佳融合状态，进而改善了多模态融合网络的过拟合现象。

2、本发明所采用的技术方案为：

3、一种基于梯度融合的多模态深度学习室内定位方法，包括以下步骤：

4、s1、在需要定位的环境中固定好csi发射机的位置并将环境划分为等大小的n个格点，格点坐标即标签，表示为：

5、y＝{yk|k＝1,2,…,n}

6、s2、制作离线指纹库：

7、s21、用移动设备在各格点处多次采样，记录下rss数据，记第i个参考点处采集到的r条数据表示为：

8、

9、其中表示在第i个参考点处采集到的第m条rss样本值；定义每条rss数据中包含的接入点数为a，则每条rss样本值表示为：

10、

11、所有rss样本表示为：

12、

13、s22、用接收机在各格点处收集来自发射机的csi数据包，定义发射天线数为nt，接收天线数为nr，子载波数为k，每条csi样本维度为nt×nr×k；在每个格点处采集c条csi数据，则所有csi样本表示为：

14、

15、其中表示在第i个格点处的第k条csi样本值；

16、s23、将s21和s22中得到的各格点的rss值和csi值及其格点坐标存储下来作为指纹库；

17、s3、构建定位模型并进行离线训练，如图1所示，所述定位模型包括两个cnn特征提取网络、融合的定位网络和两个单模态的定位网络，其中特征提取网络提取的特征分别送入两个单模态的定位网络，特征提取网络提取的特征拼接后送入融合的定位网络，具体的离线训练过程为：

18、s31、将每个格点上的数据分别划分为训练集和测试集；

19、s32、分别用两个cnn特征提取网络对csi和rss数据进行特征提取，记各自输出维度为14的特征向量za,zb；

20、s33、将za,zb两个特征向量进行拼接，将融合后的特征送入三层全连接融合的定位网络中对坐标进行回归拟合，损失函数记为用均方根误差进行度量；定位误差用欧式距离进行度量，记为e1；定义归一化后的预测坐标为实际坐标为逆归一化后的预测坐标为(x′,y′)，实际坐标为(x,y)，则：

21、

22、

23、其中b为一个批次中的训练样本数量；

24、s34、将两个特征向量za,zb分别送入单模态的定位网络中对坐标进行回归拟合，与融合的定位网络相同，损失函数记为和用均方根误差进行度量；定位误差用欧式距离进行度量，记为e2和e3；

25、s35、设定整个网络架构的初始化参数为记录n轮训练后单模态的定位网络和融合的定位网络的过拟合和泛化情况，根据过拟合和泛化情况比率(overfitting togeneralization ratio,ogr)计算各定位损失函数的权值，记为ω1,ω2和ω3；

26、定义从第n个epoch开始以初始化参数训练，该轮训练的损失平均值记为测试的损失平均值记为训练n轮后的训练损失平均值记为测试的损失平均值记为定义：

27、

28、δon,n＝on+n-on

29、

30、

31、

32、由上式可知，ogr越小，模型的过拟合程度越低。然而对于欠拟合模型，其ogr也可以达到较小的水平。为了避免这一问题，上式的思想被应用到深度学习的优化过程中，使得每个梯度步骤在测试损失上都尽可能少地增加泛化误差，进而最小化过拟合程度。于是最小化ogr的问题可以转化为最小化ogr2的问题：

33、

34、其中一个步长的参数更新中梯度估计为

35、假设为一系列梯度估计，并给定约束∑kωk＝1：

36、

37、则最优权值ωk为：

38、

39、其中

40、在混合多个估计量时，方差被o2取代，权重与单个成反比。因此在实际使用时，可以用o2代替方差，代替

41、定义gi和oi表示第i个模态的δgn,n和δon,n，则各模态的定位损失函数的权值计算如下：

42、

43、其中：

44、

45、其中k表示模态数；

46、s36、用同样的初始化参数对网络进行训练，令通过对加权的方式调整不同模态的特征向量的提取进程，使其具有更好的泛化性；

47、s37、用欧式距离衡量定位误差，取多模态融合网络的拟合坐标作为最终的定位结果；

48、s38、保存训练好的模型；

49、s4、将获取的数据送入训练好的模型获得定位结果。

50、本发明的有益效果为，本发明面向室内定位中最常见的csi和rss数据，深度挖掘了两种模态数据的特征向量，充分利用了两者的互补信息，并通过单模态梯度融合的方法对特征向量的提取效果进行调整。本发明充分利用了不同模态数据的信息，克服了多模态常见的过拟合问题，是一种能在复杂室内环境中精确定位的方法。