基于单个LED灯的可见光室内通信定位方法及系统与流程

本发明涉及一种室内定位技术，尤其是一种基于单个LED灯的可见光室内定位和服务系统。

背景技术：

近年来，建筑物的层数和面积都日渐庞大，随着室内环境复杂度的不断增加，出现了大量室内定位技术。如WIFI、RFID、UWB、iBeacon、ZigBee、红外线室内定位技术等。而在日常生活中，LED灯不仅可以作为照明光源，还可以进行高速通信。由于可见光通信具有低成本、高安全性、高速率、环保节能、无需频谱认证等优点，在很大程度上，能够缓解无线频谱资源紧张的问题。随着LED灯的普及，可见光通信技术也在各类领域有着广阔的发展前景。同样也出现了大量利用可见光通信进行室内定位的技术。

在可见光室内定位(VLP)技术方面，现有的VLP技术，需要定位场景内包含至少三个 LED灯，才能进行室内定位。另外，目前的可见光定位技术主要融合了RSS、AOA或摄像机等方式。但是基于RSS和AOA的可见光定位方案，通常都会在测量上出现估计误差，定位精度不高。但在实际生活中，很多地方并没有覆盖到多个LED灯，如长走廊，小房间等LED灯稀疏的场景下，相邻LED灯之间距离较远，接收器(光传感器或智能手机摄像机)大多数时间内，仅仅可以感测1-2个LED灯。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供一种利用包含频率信息的LED 灯、相机及IMU对智能手机用户进行定位的基于单个LED灯的可见光室内通信定位方法及系统，本发明在在LED通信模块中，对LED灯进行高效的调制和编码，本发明使用RLL和Raptor 编码来提高通信效率，LED灯加载其自身的半径、ID、现实坐标等信息，本发明将这些信息设定相应的频率闪烁，从而进行数据传输。其次，在智能手机模块中，使用摄像机对着LED 灯拍摄视频流，并同时记录智能手机的IMU测量数据。最后，将视频流各帧的LED灯图像截取出来，并对LED灯进行解码和解调，提取图像中的LED灯形状，收集LED灯的半径和现实坐标等一系列信息。IMU数据，LED灯数据共同为可见光定位技术提供很好的约束和优化条件，从而实现精确的室内定位。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于单个LED灯的可见光室内通信定位方法，针对周围环境中LED灯稀疏的情况，本发明讨论了基于单个LED灯的可见光室内定位技术。在单个LED灯的应用场景下，本发明利用智能手机的惯性测量单元(IMU)和摄像机进行可见光室内定位。IMU测量智能手机的运动数据，摄像机拍摄视频，IMU和摄像机在多项研究工作中都被使用过，且现在市面上的智能手机都集成了这些传感器件，用户仅需一部智能手机，就可以进行对自身位置信息进行确定。通过IMU和摄像机收集的数据，还可以弥补在定位过程中单个LED灯信息的不足。通过获取各类关于LED灯和智能手机的信息，可以利用计算机视觉中的射影几何原理，提供智能手机的定位约束条件和位置相关信息。

可见光通信技术将需要发送的信息进行高效的编码调制，再通过LED灯发射出相应的频率，将信息传输至接收端。接收端对接受到的信息进行解码和解调，便可以完成通信。其中，行程限制编码(RLL)编码和Raptor码都具有高可靠性，可以保证可见光通信的完整性和高效性。RLL编码是线路编码技术，用于通过带宽限制的通信信道发送数据，一般由四个参数定义：(m,n,d,k)。m、n表示代码速率，而另外两个指定连续的0之间的最小d和最大k个零。作为喷泉码，Raptor编码计算复杂度低、开销低、效率高，可以从一组给定的源符号中产生一串无限的编码符号序列，理想情况下，只需获得大小和源符号相同或稍大的任意编码符号子集，便可恢复出源符号，提供可靠的通信。具体包括以下步骤：

步骤1，通过可见光通信技术将需要发送的信息进行编码调制，通过LED灯进行数据传输。

步骤2，通过智能手机的摄像机对着LED灯拍摄视频流，并同时记录智能手机的IMU测量数据，IMU测量智能手机在各个方向的加速度(ax,ay,az)和旋转角度信息(α,β,γ)，以此计算出智能手机的运动方向和位移(tx,ty,tz)。

步骤3，将视频流各帧的LED灯图像截取出来，并对LED灯传输数据进行解码和解调，提取图像中的LED灯形状，收集LED灯在世界坐标系下的位置(Xo,Yo,Zo)、半径Ro。

步骤4，

将视频流按时隙划分成单个的图像帧，对于每两个相邻的图像Ii和Ii+1，计算单应性矩阵：

其中，Hi,i+1为单应性矩阵，K为智能手机摄像机的内参矩阵，ni是第i个相机坐标系下的灯平面的法线向量,zi是拍摄第i张图像时相机中心到灯平面的距离，Ri,i+1表示相机的旋转矩阵，ti,i+1表示相机的位移参数。

椭圆的一般方程为：

ax²+bxy+cy²+dx+ey+f＝0

对于多视图几何体，通过投影到图像上的椭圆形状导出Ii和Ii+1之间的单应矩阵Hi,i+1，其中每个图像上的椭圆都由圆锥系数矩阵Ci表示出来：

其中，[ai,bi,ci,di,ei,fi]表示第i幅图像上的投影椭圆一般方程的系数。

在单应矩阵Hi,i+1的条件下，Ci转换为建立优化模型：

其中，z1,z2,…zn表示拍摄第1,2,...,n张图像时，相机中心到灯平面的距离，n表示视频帧的总数，通过优化模型对智能相机旋转矩阵Ri,i+1进行校准。

首先利用IMU对手机的运行状态进行了测量，可以得出Ri,i+1和ti,i+1，

其中旋转矩阵Ri,i+1是由(α,β,γ)计算得出，

但实际IMU在测量时，α,β角度比较准确，γ角度误差较大。因此需要使用优化模型。

在每两张图像之间的单应性矩阵Hi,i+1中，包含已知的IMU测量的(α,β,γ)；默认α, β可以直接代入优化模型，其中Ci和Ci+1由图像中椭圆形状得出，也代入到优化模型中。最终得出的就是满足优化模型的γ’的值。γ’的值有多个解，但γ’应该满足在原始的γ角度的误差范围内等条件。

可以简单的理解为，在优化模型中，仅知道γ角度的大概位置，但是精确的γ角度未知，通过解得优化后的γ’角，再代入Ri,i+1,得出最终的旋转矩阵。

步骤5，根据校准后的摄像机参数计算摄像机的内参矩阵和外参矩阵：

内参矩阵Μ1为：

其中，f为相机的焦距，dX，dY表示图像中的每一个像素在X轴与Y轴方向上的物理尺寸，(u0,v0)表示图像坐标系的原点。

根据智能手机的运动方向和位移(tx,ty,tz)计算外参矩阵Μ2：

在外参矩阵中，0^T＝(0,0,0)^T，R是智能手机的旋转矩阵，t为三维的平移变量，包含智能手机在移动中的位移数据，

步骤6，通过拍摄视频流获取多张LED灯的图像，通过三角形相似定律对LED灯到相机中心的距离Zc进行求解：

Zc＝B×f/d

其中，d为两张图像中LED灯中心点位置的长度，B为摄像机拍摄两张图像时的实际间隔，B通过IMU中加速度传感器数据计算得出，或利用LED灯的半径Ro与图像中获取的椭圆形短轴进行对比，获得比率参数s，再将d按照相同的比率参数s进行B的计算。

步骤7，根据摄像机的内参矩阵和外参矩阵得出摄像机的投影矩阵，对空间中任意的图像点Pw(Xw，Yw，Zw)，通过投影矩阵以及LED灯到相机中心的距离Zc求出其图像点pi的位置(μ,ν)

其中，Zc为LED灯到相机中心的距离，

步骤6，当已知图像点pi的位置(μ,ν)时，利用相机的内参矩阵M1将图像坐标系下的图像点pi点转化到摄像机坐标系下图像点Pc，再通过外参矩阵M2将图像点Pc转换成世界坐标系下的图像点P'w，然后加上LED灯在世界坐标系下的具体坐标(Xo,Yo,Zo)，得出智能手机的坐标Pw。

当已知图像点pi的位置(μ,ν)时，利用相机的内参矩阵M1将图像坐标系下的图像点pi点转化到摄像机坐标系下图像点Pc，再通过外参矩阵M2将图像点Pc转换成世界坐标系下的图像点P'w

Pw＝P'w+(Xo,Yo,Zo)

步骤7，根据智能手机的坐标Pw，通过LED灯传输关于此智能手机的坐标Pw相关的服务数据信息，智能手机的摄像机对着LED灯拍摄视频流，并对LED灯传输数据进行解码和解调，得到相关的服务数据信息。

优选的：使用RLL编码和Raptor码对LED灯进行编码和调制。

优选的：智能手机拍摄的视频为每秒30帧或者60帧。

一种采用基于LED灯的可见光室内通信定位方法的系统，包括LED通讯模块、电源模块、智能手机模块，所述电源模块为LED通讯模块供电，所述LED通讯模块包括编码调制模块、控制模块和LED灯，所述控制模块根据编码调制模块对LED灯进行调控，所述智能手机模块包括摄像头、解码解调模块、IMU模块、定位模块。基于位置的服务模块，所述摄像头、解码解调模块、定位模块依次连接，且所述摄像头、IMU模块、基于位置的服务模块均与定位模块连接。

优选的：所述基于位置的服务模块包括定位导航模块、信息服务模块、跟踪识别模块、安全检查模块。

本发明相比现有技术，具有以下有益效果：

本发明可以适用于室内只包含单个LED灯的情况，适用范围较广。使用智能手机摄像机以及IMU模块，无需使用其他光传感器，也不需要在LED灯上加装另外的物理模块。通过摄像头识别LED灯的频率，准确性较高，相比较于其他非可见光定位技术，也无需引入多余的设备。本发明中使用的单应性矩阵作为约束和优化条件，可以较好的提高定位精度，基于这样的定位精度，本发明提供基于位置的服务，用户可以在商场、景点等多种情况下，对自身进行定位，导航，查询等操作。

附图说明

图1为本发明的系统设计框架图。

图2为本发明的系统部署图。

图3为本发明的可见光定位示意图。

图4为本发明的基于位置的服务示意图。

图5为本发明的单个LED灯场景示意图。

其中：1.圆形的LED灯，2.智能手机，3.仅含单个LED灯的房间，4.对LED灯进行编码操作，5.手持智能手机的用户。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于单个LED灯的可见光室内通信定位方法，如图1-5所示，同时使用了可见光通信技术以及计算机视觉技术，在周围环境中仅存在单个LED灯时，对智能手机用户进行室内定位。使用RLL编码和Raptor码对天花板上的LED灯进行编码和调制，其中，LED灯的频率闪烁中包含了该灯在世界坐标系下的具体位置(Xo,Yo,Zo)、半径Ro、编号等信息。LED灯的频率闪烁效果肉眼并不可见，所以不会对人们生活产生影响。而相机在捕获图像时使用卷帘快门的拍摄方式，当CMOS成像器使用短曝光时间捕获快速调制的LED时，会出现带状效应，不同的LED频率或占空比会改变图像中亮带和暗带的宽度，当相机拍摄LED之后，可以根据相应的带状效应进行解码解调操作，达到识别的作用。

当天花板上的圆形LED灯进行编码调制等布置之后，本发明利用智能手机的IMU收集手机运动状态数据，同时利用相机拍摄LED灯的视频。

IMU测量智能手机在各个方向的加速度(ax,ay,az)和旋转角度信息(α,β,γ)，以此计算出智能手机的运动方向和位移(tx,ty,tz)。在实际操作的过程中，首先要保证智能手机拍摄视频流和收集IMU数据的同时性，其次，需要将提取的数据和视频流各帧进行时间和各数量单位的统一。

本发明使用的是圆形的LED灯，故投影到视频帧图像上的是经过变化的椭圆形状，还包括椭圆中的一些特征点信息。在这样的情况下，需要获取智能手机的相机焦距和每一个像素的物理尺寸，并对所有IMU数据进行收集和预处理，可以了解智能手机运动过程中的俯仰角α，滚动角β和航向角γ的角度值，以及智能手机的相对位置变化数据。在理想情况下，通过这些数据可以得出智能手机相机的内外参数矩阵。一般来说，同一种智能手机的内部参数矩阵Μ1不会变化，而智能手机相机的外部参数矩阵Μ2则会随着智能手机的移动或旋转角度进行改变。

在计算机视觉技术方面，通过阅读相关的文献，获取了以下摄像机透视投影模型的基础知识，如图像坐标系、摄像机坐标系与世界坐标系的相互转化关系，并了解了针孔成像模型 (线性摄像机模型)中介绍的摄像机的内外参数。其中，摄像机的内参矩阵Μ1负责将相机坐标系转换为像素坐标系：

其中，f为相机的焦距。dX、dY，他们表示图像中的每一个像素在X轴与Y轴方向上的物理尺寸，(u0,v0)表示图像坐标系的原点，定义在相机的光轴与图像平面的交点，一般在图像的中心位置。而外参矩阵，是由摄像机在移动旋转过程中产生的，一直在不断变化。外参矩阵一般表示为：

在外参矩阵中，0＝(0,0,0)^T，R是智能手机的旋转矩阵，是一个大小为3×3的正交单位矩阵，t为三维的平移变量，包含智能手机在三个方向移动中的位移数据。获得了相机的内外参数矩阵，就可以得出摄像机的投影矩阵。此时，对空间中任意的点Pw，都可以通过投影矩阵转换的方式，求出其图像点pi的位置(μ,ν)。

同样，当已知图像点pi(μ,ν)时，可以利用相机的内参矩阵Μ1将图像坐标系下的pi点转化到摄像机坐标系下Pc，再通过外参矩阵Μ2将Pc转换成世界坐标系下的P'w，最后，还需要加上LED灯在世界坐标系下的具体坐标(Xo,Yo,Zo)，才能得出智能手机的坐标Pw。但在转换的过程中，需要获得LED灯到相机中心的距离，即Zc。

因此本发明通过拍摄视频流的方式获取多张LED灯的图像，模拟了双目视觉测距的方法，通过三角形相似定律对Zc进行求解。

Zc＝B×f/d

其中，d为两张图像之间的视差，即两张图像中LED灯中心点位置的长度，B为摄像机拍摄两张图像时的实际间隔，B可以通过IMU中加速度传感器数据计算得出，也可以利用LED 灯的半径Ro与图像中获取的椭圆形短轴进行对比，获得参数s，再将d按照相同的比率s进行B的计算。

最后将Zc应用到像素坐标系及世界坐标系的转换中，便可以得出智能手机在世界坐标系的位置。但是，在测量数据的过程中，由于磁体传感器容易受到周围环境的干扰，旋转角度中航向角的实际测量值与真实值差异较大，这会导致定位精度变低。因此我们继续采取以下的方法对智能手机的位置进行约束。

相机拍摄的包含LED灯的视频流被按时隙划分成单个的图像帧，对于每两个相邻的图像 Ii和Ii+1，根据计算机视觉的知识可以导出单应性矩阵，

其中ni是相机坐标为Ii的灯平面的法线向量,zi是从相机中心Ii到灯平面的距离。在分时隙提取图象帧的过程中，将对应的智能手机移动数据进行处理，可以得出每两帧图像之间，智能手机运动的内外参数矩阵Μ1、Μ2以及移动的距离(tx,ty,tz)。

对于多视图几何体，可以通过投影到图像上的椭圆形状导出Ii和Ii+1之间的单应矩阵 Hi,i+1。其中每个图像上的椭圆都可以由圆锥系数矩阵表示出来，

在单应矩阵Hi,i+1的条件下，Ci转换为这样的条件可以提供一个精确的约束，可以用于校准Ri,i+1和ti,i+1。由于三个旋转角度以及每一次的位移变化都存在误差，因此可能无法产生精确解，此时，本系统拟采取以下的方式解决问题，

利用优化的方式对各项数据进行求解，可以校准Ri,i+1和ti,i+1，对智能手机的移动状态进行约束，纠正智能手机IMU测量数据，降低各方向旋转角度的误差，提高LED灯定位精度，可以了解决磁体传感器易受干扰的问题，最终得出智能手机的位置。

在定位实现之后，本发明在基于位置的服务方面，将利用可靠性比较高的调制和编码技术，构建可见光通信网络，通过通信网络向智能手机提供与位置相关的信息服务.首先可以进行用户认证和授权，在提供位置服务的过程中，通过过滤向用户提供最感兴趣，最有效的信息，并允许用户保存个性化信息等。本发明可以在商场、景点、地下车库等地为用户提供定位、导航、查询、识别、及事件检查服务等等。

采用基于LED灯的可见光室内通信定位方法的系统，如图1所示，包括LED通讯模块、电源模块、智能手机模块，所述电源模块为LED通讯模块供电，所述LED通讯模块包括编码调制模块、控制模块和LED灯，所述控制模块根据编码调制模块对LED灯进行调控，所述智能手机模块包括摄像头、解码解调模块、IMU模块、定位模块。基于位置的服务模块，所述摄像头、解码解调模块、定位模块依次连接，且所述摄像头、IMU模块、基于位置的服务模块均与定位模块连接。所述基于位置的服务模块包括定位导航模块、信息服务模块、跟踪识别模块、安全检查模块，智能手机中摄像机和IMU获得的一系列材料可以为系统提供准确的定位，从而提供基于位置的服务。在LED通讯模块中，将LED灯设定为圆形，可见光通过编码调制，按照一定的频率闪烁，传输LED灯的自身信息，智能手机模块收集自身IMU数据，并用摄像头对着LED灯拍摄视频流，通过对视频流及各项数据的提取，可以精确定位智能手机的位置信息，并对智能手机用户提供基于位置的服务。

智能手机模块由摄像头和惯性测量单元IMU组成，焦距为f的摄像头用于对着LED灯拍摄视频流，并同时收集智能手机在拍摄视频流的过程中，自身移动状态数据，包括各方向旋转角度(α,β,γ)及各方向的加速度(ax,ay,az)，得出智能手机的内部参数矩阵Μ1和外部参数矩阵Μ2。利用摄像头获取短爆光后的LED灯图像，可以从LED灯的椭圆图像中识别 LED灯的特定频率、LED灯中心点坐标位置以及半径大小等数据。

如图2所示，LED灯采用了直径21厘米的圆形，布置在距地面3-4米的天花板上，额定电压12V，圆形LED灯由9个小LED灯组成，每个小LED灯0.2W，LED灯通信使用的编码(4) 方式为RLL编码和Raptor编码。智能手机为华为TRT-AL00A，相机焦距为35mm。用户拿起手机对着LED灯拍摄视频流，在拍摄视频流时，设定智能手机高度约为110-180cm。在系统实际部署时，LED灯和智能手机的型号还可以有多种选择。

首先将LED灯部署在天花板上，并对LED灯进行位置设定，如(0，0，0)。在室内场景较复杂的情况，需要对每一个LED灯赋予特定的准确坐标，再对LED灯进行编码调制，便于系统定位模块的管理。同样，还需要将智能手机摄像机的焦距，以及拍照的像素和实际距离比例提取出来，作为基本输入。其次，对着LED灯拍摄视频流，同时记录智能手机IMU测量数据。

如图3所示，将视频流按固定的时间间隔进行单帧提取，在本设计实现中，智能手机拍摄的视频为每秒30帧，取30帧或者60帧，即1-2s提取一张图像帧。将每一个时间间隔的 IMU数据和视频流中提取的帧进行匹配。匹配完成后，每两帧之间会产生特定的旋转矩阵R，以及相对位移向量t。对于每一帧图像，需要将每一帧图像的椭圆中心点进行提取，并获取每帧图像中椭圆的一般方程所需要的所有参数，构建每个椭圆的单应性矩阵。利用单应性矩阵，对智能手机IMU收集到的移动数据进行纠正，尤其是智能手机的旋转角度，这样的设计可以减少IMU数据漂移的误差。

如图4所示，基于位置的服务设计，主要包括定位导航、信息服务、追踪识别，安全检查等几个方面，可以根据用户们的需求进行添加功能。无论是在商场、旅游景点，还是地下车库，都覆盖着用于照明的LED灯，因此，本系统的应用范围非常广泛，且不需要额外的设备。在现实生活中，很容易出现图5中显示的单个LED灯场景，在这样的情况下，本系统可以较好的为智能手机用户提供基于位置的服务。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。