基于ITS-VLC的LED视觉检测与跟踪方法及其系统与流程

本发明涉及视觉检测与跟踪技术领域，具体涉及一种基于its-vlc的led视觉检测与跟踪方法及其系统。

背景技术

可见光通信(vlc)是一种利用可见光的无线通信方式，通过发光来传输数据。它可以通过发射光源来传输数据，并且能够通过光传感器接收它们。与传统的红外和无线通信相比，可见光通信具有发射功率高、无电磁干扰、无需申请频谱资源和信息的保密性等优点。

随着信息技术的发展，智能交通系统(its)已被引入控制交通拥堵和交通事故等交通问题的解决。its将先进的信息技术、数据通讯传输技术、电子传感技术、电子控制技术以及计算机处理技术等有效地集成运用于整个交通运输管理体系，而建立起的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合运输和管理系统。

基于its-vlc的led视觉检测与跟踪方法及其系统中车辆和led交通灯之间的通信使用led交通灯作为发射器、车载高速摄像机作为接收机。传统的在连续帧中使用边缘信息跟踪所检测到的发射机算法中，部分led被用于探测而部分led被用于检测，所以不是所有的led都可以用于连续的通信。

技术实现要素：

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于its-vlc的led视觉检测与跟踪方法及其系统，该方法实现简单、便利，通过led交通灯和车载高速摄像机实现车辆与交通系统连续通信。

根据公开的实施例，本发明的第一方面公开了一种基于its-vlc的led视觉检测与跟踪方法，所述的方法包括下列步骤：

s1、led交通灯中发光二极管经过led驱动电路调制后同步随机发出一定频率的光；

s2、车载高速摄像机以两倍于发射光频率的速率拍摄道路图像，捕获含有led交通灯的图像，利用图像处理技术确定led交通灯候选区将其从原图像中分割出来，在分割后的区域内判断并检测led交通灯；

s3、利用在连续帧的上一帧已检测出的led交通灯边缘信息，在当前帧中搜索上一帧中的分割出的led交通灯候选区域，检测候选区内是否含有led交通灯，检测出下一帧中的led交通灯；

s4、如果基于边缘信息的方法不能检测出led交通灯，则利用光流法跟踪，重新再原始图像中搜索找到新的候选区，直到led交通灯被基于边缘信息的方法检测到。

进一步地，所述的步骤s2过程如下：

s21、接收机捕捉道路图像,获取含有发射机的图像信息,并收集图像中的所有像素数据，通过逐帧差法计算连续帧差异生成差分图像；

s22、用合适的阈值处理二值化图像，进行膨胀、腐蚀的形态学运算，选择与所得到的白色区域大小相当的矩形作为发射机候选区；

s23、通过在差分图像中的相应候选区域中搜索差异密度dden和平均强度lavg判断候选区对象是否为发射机，按以下公式计算dden和lavg：

dpix和tpix分别代表像素灰度差值值大于20的像素和候选区的总像素个数，lavg表示候选区中像素的平均差异度，lpix表示候选区内每个像素的灰度值，在满足以下条件时，候选区被确认为发射机：

dden×larg>threshold

式中threshold是预先设定的判断阈值。

进一步地，所述的步骤s4中光流法跟踪过程如下：

使用高斯低通滤波器对当前帧的上一帧进行预处理，其中当前帧的上一帧称为基帧，在每个像素点处用方向导数计算出变形矩阵d，如下：

dxx代表x方向上的二阶导数,dxy代表d偏x偏y导数，dyy代表y方向上的二阶导数，dyx代表d偏x偏y导数，计算变形矩阵d的特征值，并进行非最大值抑制，假设局部最小值存在于5×5邻域icut内，在不存在发射机的情况下，利用优先权的特征值选择特征点的n个最佳值，该特征点选择使用的图像区域ifea如下：

ifea＝icut-(itra+ioffset)

其中itra是前一帧检测到发射机区域,ioffset是新建立的区域，选择上一帧的特征点后，在当前帧中获得相应的特征点集。

根据公开的实施例，本发明的第二方面公开了一种基于its-vlc的led视觉检测与跟踪系统，所述的系统包括：作为发射机的led交通灯、作为接收机的车载高速摄像机；

其中，所述的led交通灯包括若干发光二极管以及用于驱动发光二极管的led驱动电路，发光二极管经过led驱动电路调制后同步随机发出一定频率的光；

所述的车载高速摄像机包括依次连接的镜头、传感器、a/d转换器、dsp，镜头以两倍于发光频率的速率拍摄道路图像，传感器捕获含有led交通灯的图像，读入视频数据后，通过a/d转换器将图像的模拟信号转换成数字信号，dsp再对数字信号进行加工处理，使用图像处理技术，检测出发射机。

进一步地，所述的发光二极管经过led驱动电路调制后同步随机发出500hz频率的光，所述的镜头以1000hz频率的速率拍摄道路图像。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明提出了一种新的高速摄像机探测和跟踪发射机的有效方法。在传统的视觉检测与跟踪中，一部分led中的发光二极管被用于检测与跟踪，另一部分部分用于通信，所以不是所有的发光二极管都可以用于连续的通信，在本发明提出的基于its-vlc的led视觉检测与跟踪方法中所有发光二极管都可用于连续通信，提高了数据速率。

(2)本发明使用了光流法，在基于边缘信息的检测算法失效时追踪发射机能够快速有效的锁定发射机，克服了基于边缘信息的检测不能再发光二极管随机发光时无法检测与跟踪的困难，扩大了its-vlc系统的适用范围。

附图说明

图1是本发明公开的基于its-vlc的led视觉检测与跟踪系统的示意图；

图2是本发明实现视觉检测与跟踪的算法流程示意图；

图3(a)是现有技术中led部分用于检测部分用于跟踪时的发射序列示意图；

图3(b)是本发明实现的发射序列示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，一种基于its-vlc的led视觉检测与跟踪系统。包括：作为发射机的led交通灯、作为接收机的车载高速摄像机。led交通灯包括若干发光二极管、led驱动电路。经过led驱动电路调制，发光二极管同步随机发出500hz的光。车载高速摄像机包括依次连接的镜头、传感器、a/d转换器、dsp。在接收机一端，车载高速摄像机以1000fps拍摄道路图像，从而传感器捕获含有led交通灯的图像，读入视频数据后，通过a/d转换器将图像的模拟信号转换成数字信号，dsp再对数字信号进行加工处理，使用图像处理技术，检测出发射机。

如图2所示，车载高速摄像机拍摄道路视频，每帧视频可看为一幅rgb图像，将rgb转换为灰度图像，求出连续帧的差分图像，进而利用合适的阈值转换为二值图像，再经过膨胀、腐蚀等形态学运算对图像预处理，利用图像处理技术确定led交通灯候选区并将其从原图像中分割出来，在分割后的候选区域内判断并检测led交通灯。如果基于边缘信息的方法不能检测出led交通灯，则利用光流法跟踪，重新再原始图像中搜索找到新的候选区，直到led交通灯被基于边缘信息的方法检测到。

所述的再分割后的候选区被判断并检测led交通灯具体为：在差分图像中的相应候选区域中搜索差异密度dden和平均强度lavg判断候选区对象是否为发射机，按以下公式计算dden和lavg：

dpix和tpix分别代表了有差异的像素(像素灰度差值值大于20)和候选区的总像素个数，lavg表示候选区中像素的平均差异度，lpix表示候选区内每个像素的灰度值，在满足以下条件时，候选区被确认为发射机：

dden×lavg>threshold

式中threshold是预先设定的合适的阈值。

所述的光流法跟踪具体为：使用高斯低通滤波器对当前帧的上一帧(称为基帧)进行预处理，在每个像素点处用方向导数计算出变形矩阵d。

dxx代表x方向上的二阶导数,dxy代表d偏x偏y导数，同理，dyy代表y方向上的二阶导数，dyx代表d偏x偏y导数,计算变形矩阵d的特征值并进行非最大值抑制，假设局部最小值存在于5×5邻域内icut，在不存在发射机的情况下，利用优先权的特征值选择特征点的n个最佳值，该特征点选择使用的图像区域ifea如下：

ifea＝icut-(itra+ioffset)

其中itra是前一帧检测到发射机区域,ioffset是新建立的区域，选择上一帧的特征点后，在当前帧中获得相应的特征点集。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包括在本发明的保护范围之内。