基于dsp+fpga的移动平台下运动目标检测装置制造方法
【专利摘要】本实用新型公开了一种基于DSP+FPGA的移动平台下运动目标检测装置。该装置包括呈三明治结构的电源接口混合板、FPGA预处理板和DSP图像处理板，图像传感器接入FPGA预处理板，FPGA预处理板和DSP图像处理板分别通过视频接口接入显示器，且分别通过网络接口接入网关。方法如下：FPGA预处理板获取图像传感器采集的图像数据，对其进行角点检测等预处理后输入DSP图像处理板；DSP图像处理板以摄像机光心为中心建立坐标系，将移动平台下运动目标检测转换成静止平台下场景全局运动与运动目标独立运动；通过FEE快速极线估计确定FEE稠密隶属度，最终完成运动目标检测并将结果发送至显示器。本实用新型装置可以在移动平台下实现运动目标的检测，具有精度高、稳定性强的优点。
【专利说明】基于DSP+FPGA的移动平台下运动目标检测装直
一、【技术领域】
[0001]本实用新型属于数字图像处理与模式识别领域，特别是一种基于DSP+FPGA的移动平台下运动目标检测装置。
二、【背景技术】
[0002]自动运动目标检测技术是目标搜索与跟踪系统中的关键技术，为后续航迹关联、目标识别等技术提供了初步的信息。在传统的运动目标检测系统中，摄像机通常是静止的，并广泛应用于视频监控、交通检测等系统中，然而在车载手持等移动平台下，三维场景会产生视差的问题，此时就需要对场景视差进行有效的估计。
[0003]传统方法一般是利用运动平台下图像间的对极几何关系，如平面单应矩阵、基础矩阵以及三焦点张量等，以此来补偿或估计摄像机的运动。其中，单应矩阵利用同一平面上匹配点对之间的映射关系，特别适用于场景视差几乎可以忽略无人机航拍等情况；基础矩阵利用图像匹配点对间的射极几何关系来检测运动目标；三焦点张量利用的多视点图像由两视图增加到三视图，代表图像之间不以场景结构为转移的内在射影几何关系的数学量也由基本矩阵变成了三焦点张量，但计算更为复杂。
[0004]但是以上传统方法需要几何信息已知的参照标定物，基于主动视觉的标定方法需要利用精准的云台等硬件平台随时提供摄像机的方位信息，对硬件要求极高，不适用于便携式摄像机场合；基于自标定的方法如基本矩阵、三视角张量，虽然对标定场景和标定仪器要求不高，但往往工作量大、鲁棒性差、精确度不高。
三、实用新型内容
[0005]本实用新型的目的在于提供一种精度高、稳定性强的基于DSP+FPGA的移动平台下运动目标检测装置，解决在车载手持等移动平台下，三维场景会产生视差的问题，对运动目标进行实时闻效的检测。
[0006]实现本实用新型目的的技术解决方案为，一种基于DSP+FPGA的移动平台下运动目标检测装置，包括电源接口混合板、FPGA预处理板、DSP图像处理板、网关、显示器、图像传感器和电源，其中电源接口混合板上设有模式选择开关，FPGA预处理板上设有第一视频接口和第一网络接口，DSP图像处理板上设有第二视频接口和第二网络接口 ；
[0007]所述电源接口混合板、FPGA预处理板、DSP图像处理板通过板级接插件相连且呈三明治结构，图像传感器的信号输出端通过第一视频接口与FPGA预处理板的视频输入端连接，FPGA预处理板的视频输出端通过第一视频接口接入显示器，FPGA预处理板的网络信号输出端通过第一网络接口接入网关；DSP图像处理板的视频输出端通过第二视频接口接入显示器，DSP图像处理板的网络信号输出端通过第二网络接口接入网关；电源分别接入电源接口混合板、图像传感器、网关和显示器的电源输入端；
[0008]电源给装置上电后，图像传感器将采集到的图像数据通过第一视频接口输入FPGA预处理板，FPGA预处理板对采集到的图像数据进行模数转换以及数字图像预处理，并将预处理后的图像数据通过第一视频接口输出至显示器，同时将预处理后的图像数据通过板级接插件输入至DSP图像处理板，DSP图像处理板对输入的图像数据进行处理，并将处理结果通过第二视频接口输出至显示器。
[0009]本实用新型与现有技术相比，其显著优点是:(I)装置可以安装在移动平台下，无需高精度云台、陀螺仪等笨重的设备实现运动目标检测；(2)系统依据快速极线估计(FastEstimation Estimate, FEE)法,补偿相机运动引起的整体运动,在保证准确性与鲁棒性的前提下，大大提升了处理速度，解决了场景运动估计工作量大的问题；(3)系统能实时检测运动目标，且稳定性强，帧频为25pf/s。
四、【专利附图】
【附图说明】
[0010]图1是本实用新型基于DSP+FPGA的移动平台下运动目标检测装置的结构示意图。
[0011]图2是本实用新型基于DSP+FPGA的移动平台下运动目标检测装置的检测方法流程图。
[0012]图3是本实用新型基于DSP+FPGA的移动平台下运动目标检测装置的三维空间点绕光心旋转示意图。
[0013]图4是本实用新型基于DSP+FPGA的移动平台下运动目标检测装置的单目标检测结果图，其中(a)为第k巾贞图像，(b)为第k+1巾贞图像，(c)为Harris角点匹配的结果，(d)为FEE的残差，(e)为FEE残差图，(f)为FEE运动目标检测结果。
[0014]图5是本实用新型基于DSP+FPGA的移动平台下运动目标检测装置的多目标检测结果图，其中(a)为第k巾贞图像，(b)为第k+1巾贞图像，(c)为Harris角点匹配的结果，(d)为FEE的残差，(e)为FEE残差图，(f)为FEE运动目标检测结果。
[0015]图6是本实用新型基于DSP+FPGA的移动平台下运动目标检测装置的FEE线性估计法的处理时间对比图。
[0016]图7是本实用新型基于DSP+FPGA的移动平台下运动目标检测装置的FEE RANSAC估计法处理时间对比图。
五、【具体实施方式】
[0017]下面结合附图及具体实施例对本实用新型作出进一步详细说明。
[0018]本实用新型基于DSP+FPGA的移动平台下运动目标检测主要是利用FPGA强大的并行能力与多核DSP强大的数据处理能力进行图像处理，基于射极几何的原理，从特征点速度场的角度，重新建立相应的数学模型，根据场景的运动特征，最终快速估计极线，实现运动目标的检测，实验结果证明该方法的有效性，硬件平台支持通信协议丰富，具有可重复利用性，尤其适用于研发、测试等场合。
[0019]结合图1，本实用新型基于DSP+FPGA的移动平台下运动目标检测装置，包括电源接口混合板1、FPGA预处理板2、DSP图像处理板3、网关4、显示器5、图像传感器6和电源7，其中电源接口混合板I上设有模式选择开关8，FPGA预处理板2上设有第一视频接口 21和第一网络接口 22，DSP图像处理板3上设有第二视频接口 31和第二网络接口 32 ;所述电源接口混合板UFPGA预处理板2、DSP图像处理板3通过板级接插件9相连且呈三明治结构，图像传感器6的信号输出端通过第一视频接口 21与FPGA预处理板2的视频输入端连接，FPGA预处理板2的视频输出端通过第一视频接口 21接入显示器5，FPGA预处理板2的网络信号输出端通过第一网络接口 22接入网关4 ;DSP图像处理板3的视频输出端通过第二视频接口 31接入显示器5，DSP图像处理板3的网络信号输出端通过第二网络接口 32接入网关4 ;电源7分别接入电源接口混合板1、图像传感器6、网关4和显示器5的电源输入端;
[0020]电源7给装置上电后，图像传感器6将采集到的图像数据通过第一视频接口 21输A FPGA预处理板2，FPGA预处理板2对采集到的图像数据进行模数转换以及数字图像预处理，并将预处理后的图像数据通过第一视频接口 21输出至显示器5，同时将预处理后的图像数据通过板级接插件9输入至DSP图像处理板3，DSP图像处理板3对输入的图像数据进行处理，并将处理结果通过第二视频接口 31输出至显示器5。
[0021]所述FPGA预处理板2的核心FPGA芯片采用Xilinx的XC5VFX30T，是Xilinx公司生产的V系列的XC5VFX30T，是采用第二代ASMBL? (高级硅片组合模块)列式架构的高性能FPGA，包含多种硬IP系统级模块，包括强大的36Kb Block RAM/FIFO、第二代25X 18DSPSlice、带有内置数控阻抗的SelectIO?技术、ChipSync?源同步接口模块、系统监视器功能、带有集成DCM (数字时钟管理器)和锁相环(PLL)时钟发生器的增强型时钟管理模块以及高级配置选项，并具有高级串行连接功能。所述DSP图像处理板3的核心DSP芯片采用TI的TMS320C6678，是采用8个1.25GHz DSP内核构建而成，并在单个器件上完美集成了320GMAC与160GFL0P定点及浮点性能，从而使用户不仅能整合多个DSP以缩小板级空间并降低成本，同时还能减少整体的功耗要求。所述电源接口混合板I上设置有SMA接口 10，实现数据的串行差分高速率传输，传输速率达3Gb/s，最终满足板间的大数据量实时传输。
[0022]本文针对单目移动摄像机下运动目标的检测问题，研究并提出了一种基于场景的全局运动的方法，即以摄像机光心为中心,建立坐标系,其中摄像机在此坐标系下永远静止，只有场景和运动目标在运动，将原来移动平台下运动目标检测的问题转换成静止平台下场景全局运动与运动目标独立运动的问题，结合KLT点跟踪法来快速估计FEE (FastEstimation Estimate)模型，从而无需三维重建便可有效地解决单目移动摄像机下运动目标检测的问题。
[0023]结合图2，本实用新型基于DSP+FPGA的移动平台下运动目标检测装置的运动目标检测方法，包括以下步骤:
[0024]步骤I，电源7给装置上电后，电源接口混合板I将转换后的电源通过板级接插件9依次接入FPGA预处理板2和DSP图像处理板3。
[0025]步骤2，通过模式选择开关8选择视频输入模式、以及FPGA预处理板2和DSP图像处理板3的通信接口模式；所述视频输入模式包括PAL制、LVDS数据等，所述通信接口模式包括 SR10、UDP、LVDS 等。
[0026]步骤3，图像传感器6采集原始图像数据并输出至FPGA预处理板2，FPGA预处理板2对原始图像数据进行A/D转换和时序恢复，获得大小为HeightXWidth的图像并记为fk(x，y)，其中Height、Width均为正整数，x为行号且0≤x ≤ Height-1, y为列号且
0≤y ≤Width-1, k 为帧号且 k = 1，2，3，…。
[0027]步骤4，FPGA预处理板2对时序恢复后的图像fk (x, y)进行Harris角点检测，并将角点检测结果以hk(x，y)表示，进行数据协议封装，以如下矩阵W的形式发送给DSP图像处理板3:
[0028]
【权利要求】
1.一种基于DSP+FPGA的移动平台下运动目标检测装置，其特征在于，包括电源接口混合板(1)、FPGA预处理板(2)、DSP图像处理板(3)、网关(4)、显示器(5)、图像传感器(6)和电源(7)，其中电源接口混合板(I)上设有模式选择开关(8)，FPGA预处理板(2)上设有第一视频接口(21)和第一网络接口(22)，DSP图像处理板(3)上设有第二视频接口(31)和第二网络接口(32)； 所述电源接口混合板(I)、FPGA预处理板(2 )、DSP图像处理板(3 )通过板级接插件(9 )相连且呈三明治结构，图像传感器(6)的信号输出端通过第一视频接口(21)与FPGA预处理板(2)的视频输入端连接，FPGA预处理板(2)的视频输出端通过第一视频接口(21)接入显示器(5)，FPGA预处理板(2)的网络信号输出端通过第一网络接口(22)接入网关(4);DSP图像处理板(3)的视频输出端通过第二视频接口(31)接入显示器(5)，DSP图像处理板(3)的网络信号输出端通过第二网络接口(32)接入网关(4);电源(7)分别接入电源接口混合板(I)、图像传感器(6)、网关(4)和显示器(5)的电源输入端； 电源(7)给装置上电后，图像传感器(6)将采集到的图像数据通过第一视频接口(21)输入FPGA预处理板(2)，FPGA预处理板(2)对采集到的图像数据进行模数转换以及数字图像预处理，并将预处理后的图像数据通过第一视频接口(21)输出至显示器(5)，同时将预处理后的图像数据通过板级接插件(9)输入至DSP图像处理板(3)，DSP图像处理板(3)对输入的图像数据进行处理，并将处理结果通过第二视频接口(31)输出至显示器(5)。
2.根据权利要求1所述的基于DSP+FPGA的移动平台下运动目标检测装置，其特征在于，所述FPGA预处理板(2)的FPGA芯片采用Xilinx的XC5VFX30T，DSP图像处理板(3)的DSP 芯片采用 TI 的 TMS320C6678。
3.根据权利要求1所述的基于DSP+FPGA的移动平台下运动目标检测装置，其特征在于，所述电源接口混合板(I)上设置有SMA接口( 10 )。
【文档编号】G06T7/20GK203397395SQ201320435166
【公开日】2014年1月15日 申请日期:2013年7月19日 优先权日:2013年7月19日
【发明者】陈海欣, 顾国华, 尹章芹, 杨陈晨, 钱惟贤, 陈钱, 徐富元, 任侃, 路东明, 汪鹏程 申请人:南京理工大学