本发明属于显著目标检测和目标识别技术领域，具体涉及一种双目立体红外显著目标检测方法及系统。
背景技术：
视觉做为人感知和认识世界的途径之一，正逐渐的引起大家的关注。伴随的科技的发展，人类已经不能仅仅满足只依靠人眼来感受表面的社会，更希望视觉通过人眼观察到的事务来深层次的挖掘现实生活中的信息。后期随着计算机技术的发展，快速运算的能力正逐步改变人类的生活，运用计算机处理视觉图像也慢慢的发展起来，进而形成了一门新的领域—计算机视觉。计算机视觉的主要功能在于通过计算机感知二维图像空间并扩展到三维空间中，获得图像的二维乃至三维空间信息，取代人眼来更深层次的认识世界。处理计算机视觉所需要的知识覆盖各个学科，如统计学、心理学、信号与系统、深度挖掘等。美国作为科技强国对计算机视觉的研究起源于20世纪50年代。到了20世纪60年代左右，美国麻省理工的roberts教授将外界世界定义为“三维积木世界”。通过计算机提取出相机拍摄的二维世界的视觉图，通过后期的程序处理还原计算机视觉的三维信息，因此正式的将二维图像信息推广到三维处理，这表示这立体视觉技术的产生。
而对于显著目标检测而言，目的在于突出显示视觉中图像上的显著区域的目标或对象，如何提高显著性检测算法的性能是近些年来广泛关注的基本问题。显著性检测在计算机视觉领域和图像处理任务中有着广泛的应用，如图像/视频压缩和分割，内容感知和图像大小调整包括图像拼接等领域。显著信息的提取也被利用在高级的视觉领域，比如对象的检测，人脸的识别，大量的显著性检测算法被用来捕获不同的显著性线索。大多数传统的显着性模型主要使用中心环绕滤波器或图像统计来识别复杂的场景(局部复杂性/对比度)或在其外观(稀有/不可能)中罕见的显著区域。shannon的自我信息方法，主要是利用了图像像素概率负对数，用来测控局部显著目标信息的不可能概率，进而用来作为一个自上而下的显著性模型。
技术实现要素：
本发明提出一种双目立体红外显著目标检测方法及系统，在现有的基于lark显著检测的基础上，加入图像的局部特征构建局部区域协方差，同时引入图像区域的亮度信息以及空间信息，将局部显著检测扩充至全局显著检测，最终得到满意的显著图。同时为了实现能够便携式携带，本发明提出一种基于dsp+fpga的硬件实时性处理平台，该处理平台实现了红外显著目标的提取，显著目标测距以及最终显著目标彩色化输出等功能，同时也能满足最终处理的实时性。
为了解决上述技术问题，本发明提供一种双目立体红外显著目标检测方法，步骤如下：
步骤1，用同一组变换矩阵对双目摄像机采集的红外图像序列进行极线校正；
步骤2，使用局部特征协方差矩阵作为特征值进行显著性检测，计算方法如公式(1)如式，
其中，s(rk)为像素点k的显著值，ds(rk,ri)是红外图像中不同的区域rk与区域ri之间的空间距离权值，σs为空间权值调节系数；b(rk,ri)为区域rk和区域ri的亮度关系，且
其中，λm是像素点l处的特征协方差矩阵cl和像素点i处的特征协方差矩阵ci的广义特征值，其计算方法如式(2)所示，
λmclxm-clxm＝0,m＝1,2…d(2)
其中，xm为广义的特征向量，d表示特征向量的特征数，像素点i处的特征协方差矩阵ci的计算方法如公式(3)所示，
其中，hk表示像素点i处的特征矩阵；ui表示特征向量的均值；n表示选取窗口内像素的总个数；像素点i处的特征矩阵hk如公式(4)所示，
hk＝[i(x,y),ive(x,y),ile(x,y),k(x,y),x,y](4)
其中,i(x,y)是图像的像素灰度值；ive(x,y)和ile(x,y)是图像的竖直梯度和水平梯度值；k(x,y)是红外图像的lark核值；x和y表示红外图像中像素点的横坐标和纵坐标；
步骤3，提取红外图像的显著目标之后，用连通域标定出显著目标的边界，并二值化；选取显著目标的中心点位置，利用左右两路图像显著目标中心点像素的视差，根据三角测距法，测得最终距离。
本发明还提出一种双目立体红外显著目标检测方法，包括两个红外相机、变压电源、dsp处理器、fpga、vga显示器；红外相机作为双目相机用于采集两幅红外图像，将红外图像输出到fpga中；fpga接收红外相机采集到的红外图像，并将红外图像发送给dsp；同时接收dsp处理后的图像结果，并送vga显示器显示；dsp对双目红外图像进行处理获取红外图像中显著目标的位置信息和距离信息，并将图像传送给fpga。
进一步，dsp对双目红外图像进行处理的方法为：
步骤1，用同一组变换矩阵对双目摄像机采集的红外图像序列进行极线校正；
步骤2，使用局部特征协方差矩阵作为特征值进行显著性检测，计算方法如公式(1)如式，
其中，s(rk)为像素点k的显著值，ds(rk,ri)是红外图像中不同的区域rk与区域ri之间的空间距离权值，σs为空间权值调节系数；b(rk,ri)为区域rk和区域ri的亮度关系，且
其中，λm是像素点l处的特征协方差矩阵cl和像素点i处的特征协方差矩阵ci的广义特征值，其计算方法如式(2)所示，
λmclxm-clxm＝0,m＝1,2…d(2)
其中，xm为广义的特征向量，d表示特征向量的特征数，像素点i处的特征协方差矩阵ci的计算方法如公式(3)所示，
其中，hk表示像素点i处的特征矩阵；ui表示特征向量的均值；n表示选取窗口内像素的总个数；像素点i处的特征矩阵hk如公式(4)所示，
hk＝[i(x,y),ive(x,y),ile(x,y),k(x,y),x,y](4)
其中,i(x,y)是图像的像素灰度值；ive(x,y)和ile(x,y)是图像的竖直梯度和水平梯度值；k(x,y)是红外图像的lark核值；x和y表示红外图像中像素点的横坐标和纵坐标；
步骤3，提取红外图像的显著目标之后，用连通域标定出显著目标的边界，并二值化；选取显著目标的中心点位置，利用左右两路图像显著目标中心点像素的视差，根据三角测距法，测得最终距离。。
本发明与现有技术相比，其显著优点在于：(1)本发明针对红外显著目标结构不明显，红外背景复杂等特点，能够有效的确定红外显著目标的位置，同时提取出显著目标的轮廓特征信息。(2)本发明基于dsp6678+fpga硬件双目平台，通过dsp6678中八核计算的合理分配以及fpga对图像的预处理，能够缩短系统的计算时间，实现最终的实时性处理。(3)系统设计简便，稳定性高，能够实现便携式携带。同时引入了显著目标测距等功能，使得最终的系统更加的实用化。
附图说明
图1是本发明方法流程图。
图2是本发明系统组成示意图。
图3是本发明的双目红外极线校正结果示意图。
图4是本发明的显著目标检测示意图。
图5是本发明中dsp多核任务分配示意图。
具体实施方式
容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明双目立体红外显著目标检测方法及系统的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。
结合附图，本发明提出的红外显著目标提取及其硬件化实现具体流程如下：
1、双目红外显著目标提取方法
步骤一：对采集到的双目红外图像进行极线校正计算
双目立体夜视系统采集到的左右两幅红外图像，在水平方向上存在一定的视差，利用其视差，可以对显著目标进行测距等一系列操作。而对双目立体系统，两个镜头在竖直方向上存在一定的误差，因而选用极限校正来消除误差，提高检测的精度。传统的极线校正主要是对双目相机采集到的图像，在测量其变化矩阵后，进行极线校正。但该计算过程对于实时性处理，增加了硬件平台的计算复杂度。本发明采用的双目立体系统实时性检测，对算法的计算时间有严格的要求。高精度、低运算的算法更适合实时性硬件平台，因此本发明选用了单一变换矩阵的极线校正方法。
根据相机采集到的两幅左右两路红外图像为il和ir，可以计算出极线变换矩阵为l1和r1，具体变换为：
其中，xl1为左路相机经过极线校正后的结果图；xr1为右路相机经过极线校正后的结果图；运算符号*代表图像在变换矩阵的作用下通过旋转平移得到了最后的校正图；l1和r1表示左右两路相机的变换矩阵，具体求解为：
其中，fl和fr分别为左右路相机的焦距；wl，hl和wr，hr为左右路相机的成像图像的宽和高。由于相机分辨率不变，因此l1和r1的大小由当前相机的焦距决定。
采集不同的双路图像，它们之间的极线校正矩阵也是不同，因而需要计算不同图像对的极线校正矩阵，增加系统复杂度。单一极线校正方法基于不同的采集图像对，在相机焦距一定的情况下，可以用同一组变换矩阵进行校正。
当采集的一对图像对为
在相机焦距稳定不变时，可以利用同一变换矩阵来满足该双目相机采集的所有图像对。为了缩减计算量，将双目立体采集的两幅红外图像，以左路红外图像为基准图像，对右路图像进行极线校正，缩减两幅图像在竖直方向上的误差，具体变换公式为：
其中，l和r表示在采集当前左右两路图像il和ir时左右两路相机的变换矩阵，计算方法如式(2)、(3)；xl和xr为极限校正后的双路红外图像。
步骤二：检测红外图像的显著目标
本发明利用了一个基于区域特征协方差信息的全局对比度显著性检测方法。该方法运用局部特征协方差矩阵作为特征值进行显著性检测，同时引入区域亮度信息，增加显著目标和背景信息之间对比度和引入空间加权信息，将局部显著性检测扩展到全局显著性检测，获得最终的显著图。
2.1计算局部特征协方差
图像梯度的变化可以有效的表明局部区域的同质化程度。通常，图像中背景区域部分一般较为平坦，梯度变化不明显，因此背景部分的同质化程度较高，显著效果不明显；而显著目标部分的结构信息比较明显，梯度变化大，因而显著目标区域的同质化程度低，显著目标明显。对于红外图像而言，由于其红外图像的结构信息不明显，更侧重于亮度信息来区分显著区域和背景区域。而对于利用lark作特征值而言，lark的主要特征信息是图像的梯度信息，而图像的梯度信息对于红外图像而言，检测的效果不是很明显，因此需要引入其他的特征信息来加强红外图像的显著性检测。
传统的图像特征主要包括图像的梯度信息，图像的形态学腐蚀和形态学膨胀以及信息熵等。图像中每个像素点均可以用一个特征矩阵来描述该点的特征信息，该特征矩阵由若干该点的特征向量构成。对于一个大小为m×n的图像区域r而言，每个像素均可以用一个d维的特征矩阵来描述该点处的特征信息。本发明主要利用每个像素点的五个特征向量信息来构造一个特征矩阵表示图像在每个像素点的特征信息：
hk＝[i(x,y),ive(x,y),ile(x,y),k(x,y),x,y](9)
其中,i(x,y)是图像的像素灰度值，是图像显著性检测中的基本特征元素；ive(x,y)和ile(x,y)是图像的竖直梯度和水平梯度值，表示图像的结构特征信息；k(x,y)是图像的lark核值，表示图像局部结构信息变化及其差异；x和y表示图像中像素点的横坐标和纵坐标，代表该像素点的位置信息。
根据每个像素点的多特征矩阵，后期引入协方差矩阵来实现上述特征的综合。
对于每个像素点求取其特征协方差，通过选取其周边m×m大小的像素窗口，由此可以得到窗口中心位置i的协方差矩阵，即中心像素点的协方差矩阵。对于像素点i处的特征协方差矩阵可以表示为：
其中，ci表示该点处的特征协方差矩阵；hk表示该处的特征矩阵；ui表示特征向量的均值；n表示选取窗口内像素的总个数。
特征协方差矩阵ci是一个对称矩阵，其特点在于，矩阵对角线上的元素代表每个特征之间的方差大小，而非对角线上的元素则代表各个特征之间的相关性。本文采用最近邻域法来计算图像中两个像素点之间的特征距离即两个协方差矩阵之间的相似度可以通过如下公式来测量：
其中，λm是cl和ci的广义特征值，其计算方式如下所示：
λmclxm-clxm＝0,m＝1,2…d(12)
其中，xm为广义的特征向量，d表示特征向量的特征数。
2.2添加亮度区域信息
对于一幅红外图像而言，人眼的视觉效应可能对图像中亮度对比度非常大的区域更加感兴趣。除了利用红外图像中的特征对比度来检测显著性，亮度关系也在显著性检测方面发挥着重大的作用，并且也被用来作为显著性检测的一个判断性因素。对于人眼视觉而言，相邻的区域之间的高亮度对比度比低亮度对比度更容易吸引视觉的注意。在计算像素特征协方差的同时，引入亮度关系的计算来增强最终的显著处理结果，两个区域rk和ri的亮度关系为：
sum(rk)为rk区域像素亮度值总和。
2.3添加空间加权区域对比度
为了能够更好地引入空间信息对显著性检测结果的影响，将局部显著性检测扩展到全局显著性检测，本发明引入了空间权值。空间权值的引入增强了区域和区域之间的空间影响效果，使得相邻区域之间的显著比重增强，而距离较远区域之间的显著比重减弱，考虑了全局变量对最终显著结果的影响。
本发明定义了最终图像的显著性为：
其中，ds(rk,ri)表示的是区域rk和ri之间的空间距离权值，σs控制空间权值强度，σs越大，空间权值的影响越小，导致较远区域的对比度对当前区域的显著值做出更大的贡献；b(ri)为亮度区域信息，亮度区域对比度越明显，则b(ri)的贡献越大；
本发明定义两个区域之间的距离为两个区域重心的欧式距离，在最后的显著性检测中，σs2＝0.4，像素的坐标统一归一化到[0,1]区间中。
步骤三对检测到的显著目标进行测距
红外图像的显著目标提取之后，本发明采用连通域标定将显著目标的边界给标定出来。本发明选取的目标像素为两幅显著目标图之间各显著目标连通域的中心点。由于两幅图像通过极线校正之后，显著目标处于同一水平位置，因而显著目标之间的距离只有水平方向像素的视差。本发明测得水平方向视差的大小为d，在此之前知道两个相机的x轴方向的焦距为fx＝2390.42,基线距离大小为b＝43.4cm，带入三角测距公示：
根据视差之间的计算，可以得到显著目标之间相对应的距离大小。根据不同距离区间，选取不同的色彩条来表示其距离大小，同时在原图上标记出显著目标的位置信息。2.系统平台搭建
为了达成双目立体夜视的显著目标提取，本发明搭建了一套双目立体夜视硬件系统，系统的组成只要包括两个红外相机分辨率为640×512、变压电源、dsptmsc6678处理器、fpga(spartan6芯片)、vga显示输出(显示屏分辨率为768×576)等部件组成。双目立体夜视硬件实现的功能为两幅红外相机采集双目红外图像，对两幅红外图像进行校正之后，将图像进行显著目标提取，并且在原红外图像上标记出显著目标的位置信息，并根据两幅红外图像的视差，测量出显著目标的位置信息，最终通过显示屏进行输出。
步骤1相机和fpga之间通信
红外相机和fpga之间通过pal接口进行连接。pal制接口主要利用了adi公司生产的adv7180解码芯片进行图像的输入。该芯片支持3通道同时输入，单通道动态切换输出，可自动识别并解调ntsc、pal、secam制式的模拟复合视频信号，经过ad转换和解码后输出行同步信号hs、场同步信号vs、场标志信号field以及符合itu-rbt.656标准的8位ycbcr4:2:2格式的图像信号
步骤2fpga和dsp之间通信
dsp6678和fpga之间通过srio端口建立数据传输通信链接的流程如下：首先将dsp端的srio口进行初始化处理，配置srio口的参数，同时设置srio端口的设备id地址以及最终数据的传输速率。初始化成功后，fpga向dsp发送数据后，再发送一个doorbell包，dsp在接收到doorbell包后触发核间中断，并读取fpga发送的数据，建立通信连接。
图像传输具体工作流程如下：
(1)fpga从自身的ddr3中将图像读取出来，然后通过swrite数据包发送给dsp，在fpga发送完一幅完整图像后，发送doorbell包给dsp，等待dsp返回给fpga一个doorbell的应答包，在接受到应答包之后，进入相应的传输延时，进而再发另外一幅图像。
(2)dsp在接受fpga传输过来的swrite包之后，通过内部的dma将数据存储到目的核的内存区域位置。在dsp收到fpga的doorbell包后，程序中doorbell值由1变为0，跳出程序自循环状态，开始执行程序相对应的算法处理模块。当八核处理完成后，核7会将dsp的最终结果通过swrite包的形式传输给fpga。
(3)fpga在接受完dsp的swrite包后，将数据存储到对应的ddr3中，后期通过vga显示将图像显示出来。
步骤3dsp核间处理通信
在本发明中，双目立体是两幅红外图像，在处理显著目标提取，使用并行处理来提高计算时间，同时双目立体中图像的极线校正需要计算两幅图像的全局信息，无法对图像分别处理，最终采用并行连接下的流水型处理模式实现双目立体夜视显著目标提取。
核0的任务主要是和fpga之间建立通信链接，同时从fpga中接收两幅红外图像，并将两幅红外图像进行极线校正后传送给下一核，核1、核2和核3、核4分别执行其中一幅红外图像的显著目标提取，核5执行两幅红外图像之间的测距，核6执行红外图像之间的彩色化显示，核7负责dsp和fpga通信，并将处理好的图像传输给fpga。dsp6678之间的八核通信使用了message通信方式。message通信方式的优势在于单一核在执行message的通信，既可以接收上一核的队列消息也可往下一核发送队列消息。只需要知道核与核之间的队列地址，可以实现dsptms320c6678中八核之间的任意间通信。另外，messageq_alloc()在核内存中创建了动态内存空间，可以任意的控制消息队列的长度，因此message通信方式对于超大数据处理和传输有着显著的优势
本发明经反复试验验证，取得了满意的应用效果，能够获得理想的成像效果，可广泛应用于军事探测、生物医学，无人车自动驾驶等方面，具有很好的应用前景。