一种基于双向循环卷积神经网络的可见光定位跟踪方法

1.本发明涉及可见光定位跟踪的技术领域，更具体地，涉及一种基于双向循环卷积神经网络的可见光定位跟踪方法。


背景技术：

2.近年来，许多研究者在室内定位方面提出了较多的技术方案，其中，主流的室内无线定位技术包括wi-fi、蓝牙、红外线、超宽带、超声波、可见光、射频技术、zigbee等技术，其中，超宽带技术虽然在定位精度方面远胜于其他定位技术，但是部署成本较高，与其相比，可见光定位技术在部署难度与定位精度方面均适中，更具备发展潜力。
3.特别是随着发光二极管照明技术的快速发展，基于可见光的室内定位技术受到了越来越多的人关注。另外，由于深度学习的发展，基于可见光的室内定位方法结合深度学习方式，可以极大地提高无线定位性能。如现有技术中公开了一种结合可见光通信定位和惯导定位的定位方法，首先获取室内地图数据及用户设备的室内可见光通信定位数据，然后获取用户设备的室内惯导定位数据，结合室内可见光通信定位数据、室内惯导定位数据和室内地图数据，对用户设备所在的室内位置进行组合定位，其中，可见光通信定位数据和室内惯导定位数据是经过扩展卡尔曼滤波和经过神经网络深度学习处理的、用于进行组合定位的定位数据，提高了惯性传感器定位连续长时间室内定位的精度。但在实际定位过程中，无论是基于传统的信号传播模型还是基于指纹的可见光定位方法，都是根据独立位置点处的观测信息去得到目标定位信息，没有考虑观测数据集合的时间相关性。此外，目前神经网络深度学习大多使用二维卷积或者一维全连接网络的方式来对目标观测信息的相关特征进行提取，一维以及二维的神经网络结构都无法有效提取观测信息本身的空间纹理特征信息，同时由于缺乏对时间特征信息的提取，导致目标的定位性能受限，定位精度不高。


技术实现要素：

4.为解决现有可见光定位跟踪方法无法有效提取观测信息本身的空间纹理特征信息，且由于缺乏对时间特征信息的提取，导致定位精度差的问题，本发明提出一种基于双向循环卷积神经网络的可见光定位跟踪方法，该方法定位精度高，定位性能强。
5.为了达到上述技术效果，本发明的技术方案如下：
6.一种基于双向循环卷积神经网络的可见光定位跟踪方法，所述方法包括以下步骤：
7.s1.为目标终端配备若干个光电二极管，令目标终端在室内做随机运动，利用光电二极管在每一时刻接收可见光信号，得到连续时刻下的观测数据，并记录连续时刻下目标终端的位置坐标标签；
8.s2.构建双向循环卷积神经网络模型，双向循环卷积神经网络模型包括正向循环记忆模块与反向循环记忆模块；
9.s3.将观测数据与位置坐标标签别进行预处理并记录预处理过程，将预处理后的
观测数据与位置坐标标签作为训练集，输入双向循环卷积神经网络，并训练网络模型参数集合，得到训练好的双向循环卷积神经网络模型；
10.s4.以s1所述的方式，实时获取连续时刻下的观测数据并进行预处理，然后将预处理后的观测数据输入至训练好的双向循环神经网络模型；
11.s5.正向循环记忆模块与反向循环记忆模块分别提取连续时刻下观测数据中的时空纹理特征信息并输出；
12.s6.融合正向循环记忆模块与反向循环记忆模块提取的时空纹理特征信息，作为当前时刻双向循环神经网络模型输出的目标终端定位估计；
13.s7.设置连续输入时刻次数最大值为t，重复执行t次s5～s6，得到t次连续时刻下的目标终端定位估计，对其进行与s3记录的预处理过程相反的操作，得到目标终端对应的连续时刻的位置估计；
14.优选地，在步骤s1中，设为目标终端配备了n个光电二极管(photo diode,pd)，以m个发光二极管(light emitting diodes,led)作为信标传输可见光，n个光电二极管感知可见光接收信号强度(received signal strength,rss)，设目标终端在t时刻的三维位置坐标参数为表示实数空间下的三维空间，与第m个led发射器和第n个光电二极管pd相关的t时刻接收到的可见光接收强度值为t表示采样的时刻，且观测数据是目标终端在位置处获取的。令
[0015][0016]
此时，m和n分别表示可见光rss矩阵的行和列，vec[]表示堆叠为向量形式，设a
(t)
∈rm×n＝mat[z
(t)
]表示t时刻接收到的可见光rss数据z
(t)
的矩阵形式，mat[]表示堆叠为矩阵形式。令目标终端在室内做随机运动，设连续时刻下的可见光rss观测数据表征为集合和位置坐标标签为和位置坐标标签为为rss观测数据的向量形式，其中，t表示连续观测时刻次序，t表示目标运动的最大连续时间刻度。
[0017]
优选地，在步骤s2中，正向循环记忆模块用于挖掘过去时空特征，反向循环记忆模块用于挖掘未来时空特征，正向循环记忆模块与反向循环记忆模块的内部结构及网络参数均相同，二者均包括记忆细胞、隐藏态细胞和三个门结构分支，即遗忘门分支、记忆门分支及输出门分支。其中，遗忘门分支由全连接层组成；记忆门分支由若干个3d卷积层和全连接层组成，3d卷积层在前，全连接层在后，所有3d卷积层依次连接，随后全连接层再依次连接；所述输出门分支由全连接层组成；
[0018]
优选地，步骤s3所述的对观测数据与位置坐标标签分别进行的预处理为归一化处理；步骤s3所述的将预处理后的观测数据与位置坐标标签作为训练集，观测数据在双向循环卷积神经网络模型的具体内部处理流程如下所示；
[0019]
1).初始化记忆细胞与隐藏态细胞，并获取遗忘门分支、记忆门分支及输出门分支的输入信息；
[0020]
根据连续时刻的可见光rss观测数据的集合(向量形式为)，t表示连续观测时刻次序，t表示目标运动的最大连续时间刻度。设表
示正向循环记忆模块与反向循环记忆模块的模块序次，设第个模块中第t时刻的记忆细胞和隐藏态细胞分别为和第个模块中的记忆细胞和隐藏态细胞集合为和初始化正向循环记忆模块中的和为0，反向循环记忆模块的和为0。
[0021]
正向与反向循环卷积记忆模块具备相同的内部结构，设在t时刻下，第个模块中遗忘门分支的输入信息为记忆门分支输入为输出门分支的输入为具体为：
[0022][0023][0024][0025][0026][0027][0028]
其中，mat[]表示所有元素堆叠的矩阵形式，vec[]表示所有元素堆叠的向量形式。特别说明的是，在第个模块的记忆门分支中，首先将h
(1，t-1)
(第2个模块的是h
(2，t+1)
)和z
(t)
拼接成一个维度为2mn的向量，然后将该向量按照顺序堆叠为维度为的矩阵，进而得到记忆门分支的输入数据正向循环记忆模块中的所有分支的输入信息均来源于(t-1)时刻隐藏态信息h
(1，t-1)
和观测数据a
(t)
，反向循环记忆模块当中的输入信息均源于(t+1)时刻的隐藏态细胞信息h
(1，t+1)
和观测数据a
(t)
(向量形式为z
(t)
)。
[0029]
2).遗忘门分支处理数据
[0030]
设第个模块中的遗忘门权重参数为遗忘门分支的偏置向量为sigmoid函数表示非线性激活函数，即第个模块中t时刻的遗忘门输出为具体处理公式如下
[0031][0032]
其中，设表示第个模块中遗忘门权重参数的向量形式，vectorize[]表示将矩阵中的元素逐个堆叠为向量形式。
[0033]
3).记忆门分支处理数据
[0034]
设第个模块中t时刻的记忆门分支的输出为设不同模块的记忆门中均包含jg个3d卷积层和m
l
个全连接层，输入数据首先经过3d卷积层，然后再经过全连接层处理得到记忆门输出，即最后一层全连接层的输出即为记忆门输出。
[0035]
在3d卷积层当中，每个3d卷积层里面包含y
(γ)
个卷积核，γ表示3d卷积层的层序次，γ＝1，2，
…
，jg，y
(0)
＝1。设第个模块下记忆门分支中第γ层3d卷积层中的第ι个卷积核为其中ι＝1，2，
…
，y
(γ)
表示第γ层3d卷积层中卷积核的序
次，mg、ng、kg和h
(γ)
分别表示卷积核的行、列、高和通道数，h
(γ)
＝y
(γ-1)
。设第个模块下记忆门分支中第γ层3d卷积层中第ι个卷积核的输出特征图为
[0036][0037]
其中，表示第个模块下记忆门分支中第γ层3d卷积层输出的特征图集合。当γ＝0时，*表示卷积过程，ρ表示非线性激活函数，且对于给定的输入x，非线性激活函数输出
[0038]
在全连接层当中，设为第个模块下记忆门分支中第τ层全连接层输出，且τ表示全连接层的序次，τ＝1，2，
…
，ml，ml为最后一层全连接层，k
(τ)
表示第τ层全连接层的神经元个数，当τ＝0时，层的神经元个数，当τ＝0时，vectorize[]表示将矩阵中的元素堆叠为向量形式。设和分别为第个模块下记忆门分支中第τ层全连接层的权重矩阵和偏置向量，即第τ层全连接层的输出为：
[0039][0040]
即当τ＝m
l
时，最后一层全连接的输出为第个模块中t时刻的记忆门输出为
[0041]
令表示第个模块下记忆门分支中所有3d卷积层的卷积算子参数集合，且设第个模块下记忆门分支中全连接层的所有权重参数的集合为其中
[0042]
记忆门分支的函数可归纳为一般形式：
[0043][0044]
其中表示非线性映射函数。
[0045]
4).输出门分支处理数据
[0046]
设第个模块在t时刻的输出门输出为输出门的权重参数为输出门的偏置向量为t时刻输出门的输出为
[0047][0048]
其中，设表示输出门权重参数的向量形式，
[0049]
5).更新记忆细胞和隐藏态细胞信息利用上一时刻的记忆细胞信息即可以更新并获得当前时刻的记忆细胞和隐藏态细胞信息；
[0050]
循环记忆模块中的遗忘门分支输出对记忆细胞中存储的时空特征信息进行选择性保留和删除，记忆门分支提取的当前时刻输入数据的时空纹理特征信息为并存储于记忆细胞中，具体处理公式为：
[0051][0052][0053]
其中，
⊙
表示哈达玛积，即向量元素对位相乘，正向循环记忆模块中的遗忘门分支针对过去时刻的时空信息进行选择性遗忘，反向循环记忆模块中的遗忘门分支针对未来时刻的时空记忆信息进行选择性遗忘；
[0054]
通过输出门提取的信息和记忆细胞中储存的信息，更新隐藏态细胞信息，更新公式为：
[0055][0056]
6).融合正向与反向循环卷积记忆模块的时空纹理信息得到目标位置估计
[0057]
设t时刻的目标三维位置估计为设表示两个模块的信息融合，设最后层网络输出权重参数为最后输出层的偏置向量为即t时刻目标位置估计由下式可得
[0058][0059]
其中，设表示最后输出层权重参数的向量形式，wh＝vectorize[wh]。双向循环卷积网络整体函数的形式为：
[0060][0061]
其中表示双向循环卷积网络模型的内部网络权重参数集合，另外q＝2qw+2qg+8m2n2+16mn+6。表示正向循环卷积记忆模块与反向循环卷积记忆模块的隐藏态信息与记忆细胞信息的集合。双向循环卷积网络模型取决于参数β的设定，一旦参数β确定已知，输入对应连续时刻的观测数据即相应得到连续时刻的目标位置估计
[0062]
优选地，针对双向循环神经网络模型的内部网络权重参数β进行随机生成，随机生成空间设定为(0,1)；
[0063]
使用ns组已知目标位置信息的观测数据来训练网络权重参数β，设定双向循环神经网络模型的损失函数为估计值与实际值的均方根误差，最优参数估计如下
[0064][0065]
其中，表示最优网络权重参数集合估计，利用梯度下降法迭代训练双向循环卷积神经网络模型，在损失函数收敛时，停止迭代更新，最终得到最优网络参数估计。
[0066]
优选地，在训练双向循环卷积神经网络模型的过程中，每次输入一组已知目标位置信息的观测数据在每次迭代更新过程中，利用t个时刻的观测数据a
(t)
以及目标的位置坐标标签更新网络参数β，即：
[0067]
β
[η+1]
＝β
[η]
+λ
[η]d[η]
[0068]
其中，η表示迭代序次，λ
[η]
表示学习率，λ
[η]
＞0，表示为当β＝β
[η]
时的梯度下降方向；
[0069][0070]
其中表示输入连续t个时刻观测数据下的损失函数，随着网络参数不断迭代更新，损失函数不断下降并收敛，损失函数无法继续减小时，停止网络迭代更新，最终得到训练好的双向循环卷积神经网络模型以及对应网络参数β。
[0071]
根据前面所有模块的介绍，双向循环卷积网络利用两个循环卷积记忆模块分别提取数据，两个模块为正向与反向循环记忆模块，其中正向循环记忆模块提取过去时刻的时空特征信息，反向循环记忆模块提取未来时刻的时空特征信息。
[0072]
优选地，在步骤s5中，根据训练好的双向循环卷积神经网络模型以及对应网络参数β，实时获取的观测数据(向量形式为)在双向循环卷积网络中的处理过程如下；
[0073]
1).初始化记忆细胞与隐藏态细胞，获取三个门结构分支的输入信息；
[0074]
初始化正向循环记忆模块中的和为0，反向循环记忆模块的和为0。
[0075]
正向循环记忆模块下的不同分支的输入信息均融合了过去时刻的隐藏态信息与当前时刻的观测数据信息，遗忘门分支的输入为记忆门分支的输入为输出门分支的输入为
[0076]
反向循环记忆模块下的不同分支的输入信息均融合了未来时刻的隐藏态信息与当前时刻的观测数据信息，遗忘门分支的输入为记忆门分支的输入为输出门分支的输入为
[0077]
2).获取第个模块中t时刻遗忘门分支输出记忆门分支输出和输出门分支输出分别为
[0078][0079][0080][0081]
3).更新第个模块中t时刻的记忆细胞和隐藏态细胞存储的时空纹理信息
[0082][0083][0084][0085]
在步骤s6中，设融合了正向与反向循环卷积模块提取的时空纹理信息为
根据两个模块的时空特征融合信息，可获取t时刻目标位置估计为：
[0086][0087]
其中，表示t时刻的三维目标位置估计，双向循环卷积神经网络模型最后输出层的网络权重参数和偏置向量分别为和
[0088]
在步骤s7中，对t次连续时刻下的目标定位估计进行与s3记录的预处理过程相反的操作为反归一化操作，经过反归一化的位置估计即为最终定位结果。
[0089]
本发明提出一种基于双向循环卷积神经网络的可见光定位跟踪方法，利用多个pd形成的pd接收阵列，在连续时刻下接收到的可见光信号，得到连续时刻下的观测数据并记录连续时刻下目标终端的位置坐标标签，对双向循环卷积神经网络模型进行训练，向训练好的双向循环卷积神经网络模型输入在线观测数据信息即可获取对应的目标终端位置定位估计。
[0090]
与现有技术相比，本发明技术方案的有益效果如下：
[0091]
(1)利用多个可见光与多个接收pd形成的可见光信号矩阵具备独特的空间纹理特征信息，且该纹理信息与目标终端位置有强相关性，可通过提取空间纹理提高定位跟踪性能；
[0092]
(2)本发明算法在提取观测数据的空间纹理特征时，采用了3d卷积网络来提取空间稳定聚类特征信息，以对抗动态环境变化带来的影响，使得定位算法更加稳定；
[0093]
(3)双向循环卷积神经网络模型能够挖掘并融合观测数据中的时间和空间特征信息，在定位估计过程中，不仅考虑当前观测信息，还根据连续时刻的观测数据信息，设计双向循环卷积神经网络，提取并融合观测数据在过去时刻和未来时刻的时空纹理特征信息，提高定位精度。
附图说明
[0094]
图1表示本发明实施例1中提出基于双向循环卷积神经网络的可见光定位跟踪方法的流程示意图；
[0095]
图2表示本发明实施例1中提出的基于双向循环卷积神经网络的可见光定位跟踪方法应用的环境场景示意图；
[0096]
图3表示本发明实施例1中提出的单个时刻采集的可见光观测数据图；
[0097]
图4表示本发明实施例1中提出的在连续时刻下采集的可见光观测数据集合；
[0098]
图5表示本发明实施例1中提出的循环卷积记忆模块示意图；
[0099]
图6表示本发明实施例1中提出的遗忘门分支结构图；
[0100]
图7表示本发明实施例1中提出的记忆门分支结构图；
[0101]
图8表示本发明实施例1中提出的输出门分支结构图；
[0102]
图9表示本发明实施例1中提出的更新记忆细胞与隐藏态细胞的过程图；
[0103]
图10表示本发明实施例1中提出的生成目标终端定位估计的过程图；
[0104]
图11表示本发明实施例1中提出的双向循环卷积神经网络的框架结构图；
[0105]
图12表示本发明实施例3中提出的目标终端在运动状态转移参数为0.8时的部分
运动轨迹示意图；
[0106]
图13表示本发明实施例3中提出的基于双向循环卷积神经网络的可见光定位跟踪方法在连续时刻下的应用情况图；
[0107]
图14表示本发明实施例3中提出的目标终端的随机运动模型示意图；
[0108]
图15表示本发明实施例3中提出的应用本发明方法与传统神经网络定位技术的定位精度对比示意图；
[0109]
图16表示本发明实施例3中提出的在不同目标终端运动状态参数情况下的定位跟踪性能示意图。
具体实施方式
[0110]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0111]
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
[0112]
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
[0113]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0114]
附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；
[0115]
实施例1
[0116]
本实施例提出一种基于双向循环卷积神经网络的可见光定位跟踪方法，该方法的流程图如图1所示，参见图1，所述方法包括以下步骤：
[0117]
s1.为目标终端配备若干个光电二极管，令目标终端在室内做随机运动，利用光电二极管在每一时刻接收可见光信号，得到连续时刻下的观测数据，并记录连续时刻下目标终端的位置坐标标签；
[0118]
在本实施例中，如图2所示，考虑一个多收多发的可见光定位(visible light-based position,vlp)系统，其中，有m＝81个led和一个用户设备(user device,ud)装置，ud装置为目标终端，目标终端配备了m＝g个pd，并分别放置在ud上的固定位置，除了中心pd接收器方向垂直向上之外，其余pd与中心pd形成π/4夹角，并分布在半径为0.05m的圆形阵列上，以m个led发射器作为信标传输可见光，n个pd感知可见光接收强度值rss。设t时刻时目标终端的位置参数为与第m个led发射器和第n个pd相关的t时刻接收到的可见光接收强度值为t表示采样时刻序次，且观测数据是目标终端在位置获取的。令
[0119][0120]
设表示t时刻接收到的可见光rss数据z
(t)
的矩阵形式。此时，m＝81和n＝9分别表示可见光rss矩阵的行和列，令目标终端在室内做随机运动，设最大连续时间t＝10。设连续时刻下的观测数据表征为集合和位置坐标标签为
[0121]
单个时刻采集的可见光信号矩阵观测数据图可参见图3，可观察到独特的纹理结构特征，且该纹理特征与位置标签具备强相关性，图4是连续时刻下的可见光rss观测数据图，由图可见，不同时刻下的rss数据有着类似的纹理结构，并且纹理特征信息呈现一定规
律变动，这种纹理变动规律与目标终端的运动过程有关，即具备时间相关性。针对观测数据的独特纹理特征信息，可设计相应网络模型提取时空纹理特征信息。
[0122]
s2.构建双向循环卷积神经网络模型，双向循环卷积神经网络模型包括正向循环记忆模块与反向循环记忆模块；
[0123]
循环卷积记忆网络的内部构造如图5所示，基于图5的结构，双向循环卷积模块的结构图如图11所示，由两个循环卷积记忆模块组成。其中，正向循环记忆模块与反向循环记忆模块的内部结构及网络参数均相同，二者均包括12个时刻下的记忆细胞和隐藏态细胞以及三个门结构分支：遗忘门分支、记忆门分支及输出门分支，记忆门分支由两个3d卷积层与三个全连接层依次连接组成。图5中不同的箭头表示数据流动处理的方向，即输入t时刻的rss观测数据、正向循环卷积记忆模块中输入(t-1)时刻的记忆细胞和隐藏态细胞，反向循环卷积记忆模块中输入(t+1)时刻的记忆细胞和隐藏态细胞，经过网络处理即可得到t时刻的记忆细胞和隐藏态细胞输出。
[0124]
记忆细胞负责储存时空纹理特征信息，隐藏态细胞是循环卷积模块的网络输出，记忆细胞与隐藏态细胞会和观测数据一同进入神经网络当中，每处理一个时刻的观测数据就会更新一次记忆细胞与隐藏态细胞存储的信息；
[0125]
遗忘门对记忆细胞中存储的时空特征信息进行选择性保留和删除，记忆门分支提取当前时刻输入数据的时空纹理特征信息，并存储于记忆细胞中，输出门通过处理当前时刻的输入数据和记忆细胞中储存的信息，更新隐藏态细胞信息。
[0126]
s3.将观测数据与位置坐标标签分别进行预处理并记录预处理过程，将预处理后的观测数据与位置坐标标签作为训练集，输入双向循环卷积神经网络，并训练网络模型参数集合，得到训练好的双向循环卷积神经网络模型；
[0127]
将预处理后的观测数据与位置坐标标签作为训练集，输入双向循环卷积神经网络的具体内部处理流程如下；
[0128]
1).初始化记忆细胞与隐藏态细胞，并获取遗忘门分支、记忆门分支及输出门分支的输入信息；
[0129]
根据连续时刻的可见光rss观测数据的集合(向量形式为)，第个模块中第t时刻的记忆细胞和隐藏态细胞分别为和第个模块中的记忆细胞和隐藏态细胞集合为和初始化正向循环记忆模块中的和为0，反向循环记忆模块的和为0。
[0130]
在t时刻下，第个模块遗忘门分支、记忆门分支及输出门分支的具体输入信息分别为
[0131][0132][0133][0134]
[0135][0136][0137]
特别说明地是，在第个模块的记忆门分支中，首先将h
(1，t-1)
(第2个模块的是h
(2，t+1)
)和z
(t)
拼接成一个维度为1458的向量，然后将该向量按照顺序堆叠为维度为9
×9×
18的矩阵，进而得到记忆门分支的输入数据正向循环记忆模块中的所有分支的输入信息均来源于(t-1)时刻隐藏态信息h
(1，t-1)
和观测数据a
(t)
，反向循环记忆模块当中的输入信息均源于(t+1)时刻的隐藏态细胞信息h
(1，t+1)
和观测数据a
(t)
(向量形式为z
(t)
)。
[0138]
2).遗忘门分支处理数据
[0139]
具体的遗忘门分支结构如图6所示，上一时刻的隐藏态信息和当前时刻的观测数据经过拼接融合后，再经过一层全连接层。
[0140]
设第个模块中的遗忘门权重参数为遗忘门分支的偏置向量为sigmoid函数表示非线性激活函数，即第个模块中时刻的遗忘门输出为
[0141][0142]
其中，设表示第个模块中遗忘门权重参数的向量形式，m＝81，n＝9，vectorize[]表示将矩阵中的元素逐个堆叠为向量形式。
[0143]
3).记忆门分支处理数据
[0144]
记忆门分支在循环卷积记忆模块中的结构如图7所示，由两个3d卷积层和三个全连接层依次连接组成，且3d卷积层在前，全连接层在后。设第个模块中时刻的记忆门分支的输出为设不同模块的记忆门中均包含jg＝2个3d卷积层和m
l
＝3个全连接层，输入数据首先经过3d卷积层，然后再经过全连接层处理得到记忆门输出，即最后一层全连接层的输出即为记忆门的输出。
[0145]
在3d卷积层当中，每个3d卷积层里面包含10个卷积核，即y
(1)
＝10y
(2)
＝10，γ表示3d卷积层的层序次，y
(0)
＝1。设第个模块下记忆门分支中第γ层3d卷积层中的第ι个卷积核为其中ι＝1，2，
…
，y
(γ)
表示第γ层3d卷积层中卷积核的序次，mg＝3、ng＝3、kg＝3和h
(γ)
＝10分别表示卷积核的行、列、高和通道数，h
(γ)
＝y
(γ-1)
，设第个模块下记忆门分支中第γ层3d卷积层中第ι个卷积核的输出特征图为
[0146][0147]
其中，表示第个模块下记忆门分支中第γ层3d卷积层输出的特征图集合，当γ＝0时，*表示卷积过程，ρ表示非线性激活函数，且对于给定的输入x，非线性激活函数输出
[0148]
在全连接层当中，设为第个模块下记忆门分支中第τ层全连接层输出，且τ表示全连接层的序次，k
(τ)
表示第τ层全连接层的神经元个数，
当τ＝0时，k
(0)
＝14580，vectorize[]表示将矩阵中的元素堆叠为向量形式。设第个模块下记忆门分支中第τ层全连接层的权重矩阵和偏置向量分别为和即第τ层全连接层的输出为：
[0149][0150]
即当τ＝3时，最后一层全连接的输出为第个模块中t时刻的记忆门输出为
[0151]
令表示第个模块下记忆门分支中所有3d卷积层的卷积算子参数集合，且设为第个模块下记忆门分支中全连接层的所有权重参数集合，其中qw＝∑
τ＝1∶3k(τ)
(k
(τ-1)
+1)。
[0152]
记忆门分支的函数可归纳为一般形式：
[0153][0154]
其中表示非线性映射函数。
[0155]
4).输出门分支处理数据
[0156]
输出门结构的示意图如图8所示，与遗忘门的结构类似，上一时刻的隐藏态信息和当前时刻的观测数据经过拼接融合后，再经过一层全连接层。设第个模块在t时刻的输出门输出为输出门的权重参数为输出门的偏置向量为t时刻输出门的输出为
[0157][0158]
其中，设表示第个模块中输出门权重参数的向量形式。
[0159]
5).更新记忆细胞和隐藏态细胞信息
[0160]
结合上文获取的三个门结构分支的输出，利用上一时刻的记忆细胞信息即可以更新并获得当前时刻的记忆细胞和隐藏态细胞信息，具体可见图9。
[0161]
循环记忆模块中的遗忘门分支输出对记忆细胞中存储的时空特征信息进行选择性保留和删除，记忆门分支提取的当前时刻输入数据的时空纹理特征信息为并存储于记忆细胞中，具体更新公式为：
[0162][0163][0164]
其中，
⊙
表示对位相乘，正向循环记忆模块中的遗忘门分支针对过去时刻的时空信息进行选择性遗忘，反向循环记忆模块中的遗忘门分支针对未来时刻的时空记忆信息进行选择性遗忘；
[0165]
通过输出门提取的信息和记忆细胞中储存的信息更新隐藏态细胞信息更新公式为：
[0166][0167]
6).融合正向与反向循环卷积记忆模块的时空纹理信息得到目标位置估计
[0168]
最后输出层的结构图如图10所示，通过融合两个模块提取的时空纹理特征信息，在经过单层全连接层，从而得到目标定位估计结果。
[0169]
设设t时刻的目标三维位置估计为设最后层网络输出权重参数为最后输出层的偏置向量为即t时刻目标位置估计由下式可得
[0170][0171]
双向循环卷积网络整体函数的形式为：
[0172][0173]
其中表示双向循环卷积网络模型的内部网络权重参数集合，维度为q＝2qw+2qg+8m2n2+16mn+6。设为正向循环卷积记忆模块和反向循环卷积记忆模块输入的隐藏态信息与记忆细胞信息集合。双向循环卷积网络模型取决于参数β的设定，一旦参数β确定已知，输入对应连续时刻的观测数据即相应得到连续时刻的目标位置估计最大观测时刻t＝10。
[0174]
针对双向循环神经网络模型的内部网络权重参数β进行随机生成，随机生成空间设定为(0,1)；
[0175]
使用ns＝10000组已知目标位置信息的观测数据来训练网络权重参数β，设定双向循环神经网络模型的损失函数为估计值与实际值的均方根误差，t＝10，最优参数估计如下
[0176][0177]
其中，表示最优网络权重参数集合估计，利用梯度下降法迭代训练双向循环卷积神经网络模型，在损失函数收敛时，停止迭代更新，最终得到最优网络参数估计。
[0178]
在训练双向循环卷积神经网络模型的过程中，每次输入一组已知目标位置信息的观测数据在每次迭代更新过程中，利用10个时刻的观测数据a
(t)
以及目标的位置坐标标签更新网络参数β，即：
[0179]
β
[η+1]
＝β
[η]
+λ
[η]d[η]
其中，η表示迭代序次，λ
[η]
表示学习率，λ
[η]
＞0，表示为当β＝β
[η]
时的梯度下降方向，i表示迭代次数；
[0180][0181]
其中表示输入连续10个时刻观测数据下的损失函数，t＝10，随着网络参数不断迭代更新，损失函数不断下降并收敛，损失函数无法继
续减小时，停止网络迭代更新，最终得到训练好的双向循环卷积神经网络模型以及对应网络参数β，步骤s1～s3对应离线训练阶段，此时离线训练阶段结束。
[0182]
根据前面所有模块的介绍，双向循环卷积网络利用两个循环卷积记忆模块分别提取数据，两个模块为正向与反向循环记忆模块，其中正向循环记忆模块提取过去时刻的时空特征信息，反向循环记忆模块提取未来时刻的时空特征信息。
[0183]
双向循环卷积网络的具体内部结构如图11所示，正向与反向循环记忆模块中的参数设置相同。其中，遗忘门分支的“全连接层(729，sigmoid)”表示单个全连接层，神经元节点为729个，激活函数为sigmoid。记忆门分支的“全连接层(900，relu)”表示单个全连接层，神经元节点为900个，激活函数为relu；“3d卷积层(3
×3×
3，10，relu)”表示单个卷积层，卷积核的行、列和高均为3，卷积核个数为10个，激活函数为relu，即输出门分支的“全连接层(729，sigmoid)”表示单个全连接层，神经元节点为729个，激活函数为sigmoid。正向与反向循环卷积记忆模块提取的时空纹理信息将会通过融合，并输出目标位置估计，“全连接层(3，relu)”表示单个全连接层，神经元节点为3，激活函数为relu。
[0184]
图13表示连续时刻观测数据输入时的处理过程，图13中b1和b2分别为正向循环记忆模块和反向循环记忆模块，具体内部结构如图11所示。
[0185]
s4.以s1所述的方式，实时获取连续时刻下的观测数据并进行预处理，然后将预处理后的观测数据输入至训练好的双向循环神经网络模型；在此步骤中，基于图2所示的系统，以可见光为媒介仅获取连续时刻下的观测数据，如图4所示；
[0186]
s5.正向循环记忆模块与反向循环记忆模块分别提取连续时刻下观测数据中的时空纹理特征信息并输出；
[0187]
根据训练好的双向循环卷积神经网络模型以及对应网络参数β，实时获取的观测数据(向量形式为)在双向循环卷积网络中的处理过程如下；
[0188]
1).初始化记忆细胞与隐藏态细胞，获取三个门结构分支的输入信息；
[0189]
初始化正向循环记忆模块中的h
(1，0)
和c
(1，0)
为0，以及反向循环记忆模块中的h
(2，11)
、c
(2，11)
为0。
[0190]
正向循环记忆模块下的不同分支的输入信息均融合了过去时刻的隐藏态信息与当前时刻的观测数据信息，遗忘门分支的输入为记忆门分支的输入为输出门分支的输入为
[0191]
反向循环记忆模块下的不同分支的输入信息均融合了未来时刻的隐藏态信息与当前时刻的观测数据信息，遗忘门分支的输入为记忆门分支的输入为输出门分支的输入为
[0192]
2).获取第个模块中t时刻遗忘门分支输出记忆门分支输出和输出门分支输出分别为
[0193][0194]
[0195][0196]
3).更新第个模块中t时刻的记忆细胞和隐藏态细胞存储的时空纹理信息
[0197][0198][0199][0200]
s6.融合正向循环记忆模块与反向循环记忆模块提取的时空纹理特征信息，作为当前时刻双向循环神经网络模型输出的目标终端定位估计；
[0201]
设融合正向与反向循环卷积模块提取的时空纹理信息为t时刻目标位置估计表示为：
[0202][0203]
其中，表示t时刻的三维目标位置估计，双向循环卷积神经网络模型最后输出层的网络权重参数和偏置向量分别为和
[0204]
s7.设置连续输入时刻次数最大值为t＝10，重复执行t次s5～s6，得到10次连续时刻下的目标终端定位估计，对其进行与s3记录的预处理过程相反的操作，得到目标终端对应的连续时刻的位置估计。
[0205]
实施例2
[0206]
在步骤s3中的观测数据与位置坐标标签是经步骤s1得到的，对观测数据与位置坐标标签分别进行的预处理为归一化处理。无论是为了建模还是为了计算，首先基本度量单位要统一，神经网络是以样本在事件中的统计几率来分别进行训练(概率计算)和预测的，且sigmoid函数的取值是0到1之间的，所以要对样本进行归一化处理，而记录归一化方式，以用于后续网络输出的反归一化处理。
[0207]
在步骤s7中，对10次连续时刻下的目标终端定位估计进行与步骤s3记录的预处理过程相反的操作为反归一化操作。
[0208]
实施例3
[0209]
在本实施例中，目标终端在房间内随机运动，随机运动的模型示意图如图14所示，其中每个时刻运动轨迹转移方式如下：
[0210][0211]
其中和分别表示t时刻与(t-1)时刻的定位目标终端位置，表示匀速运动速度参数，||v||2＝0.5表示目标终端运动速度。表示随机运动参数，表示s的协方差矩阵。为了表述简洁，假定vs＝vsi3，其中i3表示3
×
3的单位矩阵，表征运动目标的机动性程度，设vs＝0.5。参数表示目标终端的运动状态转移系数。极端情况下，当ψ＝0表示目标终端在做完全随机运动，和ψ＝1时，表示目标终端在做匀速直线运动。图12表示ψ＝0.8时定位目标终端在房间内随机运动的示意图，本实施例为验证本技术所提出的基于双向循环卷积神经网络的可见光定位方法的有效性，根据实施例1中提出的图2中的可见光传播系统，如为特别声明，系统按照下面表1进行
相关参数设定，其中双向循环卷积记忆网络内部结构设定参照图11所示，以下将仿真验证本发明方法在无线传感器网络定位中的定位性能。
[0212]
表1
[0213][0214][0215]
基于图11所述的双向循环卷积记忆网络详细设计，同时以图13当中b1和b2分别表示正向与反向循环记忆模块，具体内部结构如图11所示。图13展示连续时刻下本定位方法的运作方式，图15给出了应用本发明方法与传统神经网络定位技术在不同信噪比下的定位精度对比示意图，基线gcnn-based vlp源于文献《b.zhou,a.liu and v.lau,"robust visible light-based positioning under unknown user device orientation angle,"2018 12th international conference on signal processing and communication systems(icspcs),2018,pp.1-5,doi:10.1109/icspcs.2018.8631727.》，基线mlp-based vlp源于文献《a.b.adege,h.-p.lin,g.b.tarekegn,and s.-s.jeng"applying deep neural network(dnn)for robust indoor localization in multi-buildingenvironment."applied sciences,8.7(2018):1062.》，基线cnn-based vlp源于《h.chen,y.zhang,w.li,x.tao,and p.zhang.confi:convolutional neural networks based indoor wi-fi localization using channel stateinformation.ieee access,5
(2017):18066-18074.》，基线m-rcnn-based vlp源于文献《k.he,x.zhang,s.ren and j.sun,"deep residual learning for image recognition,"2016ieee conference on computer vision and patternrecognition(cvpr),2016,pp.770-778.》。由图15可见，在不同信噪的条件下，本发明技术的定位精度远优于其他定位技术，原因在于本发明网络利用3d卷积网络提取观测信息的稳定空间纹理特征信息，同时利用双向循环神经网络提取连续时刻下的时间相关性特征，融合时空特征进行目标终端定位跟踪，从而提高定位性能。另外，当信噪比为20db时，本发明技术的定位精度达到1厘米。图16表示在不同目标终端运动状态参数情况下的本技术所提方法的定位跟踪性能，当系数ψ逐渐增大时，定位精度逐渐升高，当ψ＝1时，表明目标终端在做匀速直线运动，此时本发明方法的定位精度为0.007米。
[0216]
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。