专利名称：一种基于fpga的目标观瞄点实时定位装置和方法
技术领域：
本发明涉及视觉测量领域中的实时定位技术，尤其涉及一种基于现场可编程门阵列(FPGA)的目标观瞄点实时定位装置和方法。
背景技术：
计算机视觉是一门采用图像传感器，如:电荷耦合元件(CXD)摄像机，获得客观世界的图像信息，并由计算机对图像进行分析与处理从而获知所需信息的新兴技术。视觉测量技术是计算机视觉的工程应用，在国民经济、科学研究以及国防建设等领域有着越来越广泛的应用，它具有非接触、精度高、动态响应快、自动化程度高等优点，是解决光点实时定位的有效途径，光点定位是视觉测量技术的一种典型应用。所述目标观瞄是指目标的观测与瞄准，在目标跟踪仿真实验中，经常采用激光光点实时定位并跟踪空间成像平面上的目标，若通过空间平面上的真实光点获知原投影图像中目标所在位置，就可以将获得的位置与实际设定的目标位置比较从而评价定位准确度，可应用于射击手射击模拟训练、武器瞄准装置的研究等。在视觉测量系统中，视觉传感器起着至关重要的作用，传统视觉传感器基于个人计算机(Personal Computer, PC)架构，即由一台或多台摄像机、采集卡和PC组成,还包括其它辅助测量的装置，如激光器、光栅投射器等。所述视觉传感器的工作原理是:摄像机完成图像的捕获，采集卡完成图像采集和传输，最终由PC机完成图像处理并发出执行响应。传统的视觉测量系统的优势体现在其通用性和可扩充性上，但是，由于这种系统的组成结构复杂，且视觉传感器需多个辅助装置，整体结构庞大，因此系统的开发工作较繁琐，且成本高、功耗大，也受工作环境的限制、移动性能较差，因此不利于维护、控制和使用。此外，图像的处理基于PC机，不仅处理速度缓慢、智能化程度低，且实时性差、精度不高。传统的视觉测量系统采用单`目视觉处理技术，单目视觉是指仅利用一台摄像机拍摄单张相片进行分析与处理，因此具有结构简单、现场安装、调试容易等优点，同时可避免双目视觉中匹配难的问题。然而，对于单目视觉技术，目前并没有空间成像平面上的光点在原投影图像上的定位研究。此外，目前应用较为广泛的激光测距也仅限于空间物理坐标的测量，从实时性、自动化程度方面考虑，不适用于光点的实时定位。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于FPGA的目标观瞄点实时定位装置和方法，可克服现有视觉测量系统体积庞大、功耗大，且实时性差、不利于使用和维护的缺点。为达到上述目的，本发明的技术方案是这样实现的:本发明提供了一种基于现场可编程门阵列FPGA的目标观瞄点实时定位装置，该装置包括:光学镜头、图像采集模块、处理器模块和存储模块；其中，所述光学镜头，用于对图像的原始光信号进行校正并映射成像到所述图像采集模块上；所述图像采集模块，用于将所述经校正的图像的光信号转换成图像的数字信号，并传输给所述处理器模块；所述处理器模块设置于FPGA芯片上，用于将从图像采集模块接收的图像的数字信号缓存到存储模块中；之后从存储模块中读取所述数字信号，并进行光斑中心坐标快速提取运算；所述存储模块，用于缓存所述图像的数字信号。进一步地，该装置还包括:通信模块和上位机界面模块；其中，所述通信模块，用于将所述处理器模块提取的光斑中心坐标输出给所述上位机界面模块；所述上位机界面模块设置于个人计算机上，用于光斑中心坐标的显示，还用于图像的显示以及目标观瞄点运动轨迹的绘制。其中，所述处理器模块，还用于通过所述通信模块将所述光斑中心坐标的提取结果输出给所述上位机界面模块。优选的，所述处理器模块包括:处理模块和控制模块；其中，所述处理模块，用于将从图像采集模块接收的图像的数字信号缓存到存储模块中；之后从存储模块中读取数字信号，并进行光斑中心坐标快速提取运算，通过通信模块将所述光斑中心坐标的提取结果输出给所述上位机界面模块；所述控制模块，用于控制所述图像采集模块、存储模块、处理模块和通信模块执行相应操作。 其中，所述控制模块通过硬件描述语言VHDL或Verilog编写状态机实现。上述方案中，所述图像采集模块设置于互补金属氧化物半导体CMOS、或电荷耦合元件CXD图像传感器芯片上。其中，所述光学镜头的光轴垂直于所述图像采集模块的图像传感器阵列面，且所述光轴与图像传感器阵列面的几何中心同心。上述方案中，所述存储模块为同步动态随机存取存储器SDRAM或快速闪存flash。上述方案中，所述处理器模块为主频在IOOMHz及IOOMHz以上的FPGA芯片。其中，所述通信模块采用以太网高速通信接口。本发明还提供了一种基于现场可编程门阵列FPGA的目标观瞄点实时定位方法，该方法包括:将图像的原始光信号进行校正并映射成像；将所述经校正的图像的光信号转换成图像的数字信号，并进行缓存；读取所述数字信号，并进行光斑中心坐标快速提取运算。进一步地，该方法还包括:将所述已提取的光斑中心坐标输出并显示，显示图像并进行目标观瞄点运动轨迹的绘制。其中，所述光斑中心坐标快速提取运算方法包括:目标观瞄点区域预测、光斑中心点提取以及光点定位。 其中，所述目标观瞄点区域预测，为:采用卡尔曼滤波器预测目标观瞄点的位置。其中，所述光斑中心点提取，为:采用基于Hessian矩阵的光斑中心坐标精确提取方法，达到亚像素精度。
其中，所述光点定位过程采用光点定位模型，即:摄像机像平面上点到原仿真图像上对应点的关系模型。本发明提供的基于FPGA的目标观瞄点实时定位装置和方法，将图像的原始光信号进行校正并映射成像；将所述经校正的图像的光信号转换成图像的数字信号，并进行缓存；读取所述数字信号，并进行光斑中心坐标快速提取运算。所述光斑中心坐标快速提取运算由本发明设置于FPGA芯片上的处理器模块实现，相对现有的PC机对图像处理，本发明不需等所有数据都采集完成后再进行数据的处理，而是基于FPGA采用串行方式处理图像数据，实时性强。此外，本发明的光斑中心坐标快速提取方法结合卡尔曼滤波器和Hessian矩阵，计算精度更高。此外，本发明图像数据处理过程由FPGA芯片实现，可见本发明的装置相对现有视觉测量系统中处理图像数据的PC来说，体积大大减小，而且便于使用和维护，FPGA芯片相对PC的功耗也大大减小。另外,本发明所述图像采集模块对应的电路板尺寸很小，如:
4.6cmXX4.6cm，相比传统相机而言，体积也大大减少，从而提高本发明所述装置的集成度，同样较小了体积。
图1为本发明所述基于FPGA的目标观瞄点实时定位装置结构示意图；图2为本发明所述控制模块对其他模块的控制状态示意图；图3为本发明 所述基于FPGA的目标观瞄点实时定位装置一实施例的结构示意图；图4为本发明实施例所述处理模块的处理流程示意图；图5为本发明实施例所述卡尔曼滤波器状态一步预测FPGA实现方法示意图；图6为本发明实施例所述Hessian矩阵求目标观瞄点亚像素中心点的方法流程示意图；图7为本发明实施例所述高斯滤波器FPGA实现方法示意图；图8 (a)为本发明实施例所述数字仿真图像到显示器的成像变换关系；图8 (b)为本发明实施例所述空间平面到摄像机像平面的成像变换关系。
具体实施例方式X随着以计算机技术、通信技术和软件技术为核心的信息技术的迅速发展，嵌入式系统得到了广泛应用。嵌入式系统具有专用性、小体积、低功耗、低成本、高性能等优点。嵌入式系统与视觉测量系统的结合可以弥补视觉测量系统的缺点，因此，嵌入式视觉测量系统是一种发展趋势。本发明的基本思想是:基于嵌入式FPGA的视觉测量技术，利用光学镜头与图像传感器完成图像采集，使用FPGA芯片处理图像、进行光点定位，并传输光点定位结果，并使用上位机软件显示测量结果，从而改善了目标观瞄点的定位实时性，且大大减小了定位装置的体积，可降低功耗、便于维护和使用。下面结合附图及具体实施例对本发明作进一步详细说明。图1为本发明所述基于FPGA的目标观瞄点实时定位装置结构示意图，如图1所示，该装置包括:光学镜头、图像采集模块、处理器模块、存储模块，还包括通信模块和上位机界面模块。实际应用过程中，可将所述光学镜头、图像采集模块、处理器模块、存储模块以及通信模块设置于一个小型外壳内，上位机界面模块可安装在PC上,构成一种基于FPGA的目标观瞄点实时定位装置。所述光学镜头，用于对图像的原始光信号进行校正并映射成像到所述图像采集模块上；所述光学镜头的光轴与所述图像采集模块的图像传感器阵列面之间是垂直的位置关系，且光轴与图像传感器阵列面的几何中心同心，这个位置关系是为了保证光信号成像在图像传感器阵列面上而确保图像清晰。所述垂直关系和同心关系可通过机械结构实现。所述图像采集模块，用于将所述经校正的图像的光信号转换成图像的数字信号，并传输给所述处理器模块；所述处理器模块设置于FPGA芯片上，包括处理模块，所述处理模块，用于将从图像采集模块接收的图像的数字信号缓存到存储模块中；之后从存储模块中读取数字信号，并进行光斑中心坐标快速提取运算，通过通信模块将所述光斑中心坐标的提取结果传输给所述上位机界面模块；所述存储模块，用于缓存所述图像的数字信号；所述通信模块，用于将所述处理器模块提取的光斑中心坐标传输给上位机界面模块；所述上位机界面模块，用于光斑中心坐标的显示，还可用于图像的显示以及目标观瞄点运动轨迹的绘制，实现人机交互。优选的，所述处·理器模块还包括:控制模块，用于控制所述图像采集模块、存储模块、处理模块和通信模块执行相应操作，可通过硬件描述语言VHDL或Verilog编写状态机来实现各个模块间的协调工作，如图2所示。图3为本发明所述基于FPGA的目标观瞄点实时定位装置一实施例的结构示意图，具体的，所述图像采集模块，是使用以互补金属氧化物半导体(CMOS)或CXD图像传感器为核心直接设计出来的，设置于CMOS或CXD图像传感器芯片上。图像采集模块包括:两个数字电源(3.3V和1.8V)和一个模拟电源(3.3V)、用于存储控制字的EEPR0M、CM0S图像传感器芯片MLX75412和用于提供时钟的有源晶振。图像采集模块是由FPGA编写时序驱动的，准确的时序是图像采集模块工作的前提，FPGA芯片，即处理器模块通过I2C总线接口，即SCL和SDA两根数据线控制CMOS图像传感器芯片。这里，所述图像采集模块电路板的尺寸大小为4.6cmX X4.6cm，相比传统相机而言，体积大大减少，从而可提高整个装置的集成度。所述存储模块，通过存储速度快且存储量较大的同步动态随机存取存储器(SDRAM)或快速闪存(flash)实现，可以有效地起到图像缓存作用，避免处理速度过慢而造成数据丢失。图像采集模块的帧频较高时,两帧之间的时间间隔t较小时，在t时间内，FPGA芯片不能完成一帧数据的处理，所以需要缓存图像，图像大小为1024X512，采集模块最高帧频为60fps，为了匹配存储容量和存储速度，选择IS42S83200G，存储容量为256Mb，最高存储速度为200MHz。所述处理器模块，采用主频可以达到IOOMHz及IOOMHz以上的FPGA芯片，可以是Xilinx公司的FPGA产品或Altera公司的FPGA产品。FPGA为Xilinx公司Virtex-4系列的XC4VSX35芯片，封装形式为ff668。主要的指标为:逻辑门数相当于300万门，可编程逻辑单元为34560个，内置存储块600K字节，192个XtremeDSP模块，最高支持500MHz，实际可用IO数为448个。内部核心应用1.2V的电源，辅助电压应用2.5V的电源，外部IO应用3.3V的电源。所述Virtex-4芯片主要由可配置逻辑模块(Configurable Logic Block,CLB)、输入输出接口模块(Input/Output Block, IOB)、BlockRAM、乘法器、数字时钟管理器(Digital Clock Manager, DCM)和 XtremeDSP 模块组成。其中，所述CLB，用于实现FPGA芯片的大部分逻辑功能；所述Ι0Β，用于提供封装管脚与内部逻辑之间的接口 ；所述BlockRAM，用于实现FPGA芯片内部数据的随机存取；所述DCM，用于FPGA芯片内部的时钟控制和管理，利用DCM模块能够轻松的对时钟进行管理，从而对输出的CMOS驱动时序进行微调，XtremeDSP是乘法器、累加器等处理模块，最高时钟高达500MHz，特别适合信号处理。图3中所述虚线框中的I2C控制器、总控制器和SDRAM控制器共同组成所述控制模块，所述总控制器用于控制所述I2C控制器和所述SDRAM控制器执行相应操作，所述实线框中的先入先出队列(FIFO)模块、卡尔曼滤波器、Hessian矩阵求取模块和光点定位模块共同组成所述处理模块。此外，所述FIFO缓存同样起到缓存数据的作用，防止帧频过高。所述处理模块，是 图像处理的核心部分，主要完成光斑中心坐标快速提取，主要包括目标观瞄点区域预测、光斑中心点提取和光点定位；具体的，所述处理模块执行的运算方法为:采用卡尔曼滤波实时预测光斑在图像中的初始位置，从而得到一个较小的光斑区域，在此区域内再对光斑中心坐标精确提取，提取方法通过计算光斑图像灰度函数的Hessian矩阵判断得到光斑中心的像素级坐标，经泰勒展开式求得光斑中心亚像素级坐标。具体实施步骤为:(I)给定第一帧图像中光斑的精确位置，作为卡尔曼滤波器的初始状态，并设定预估计阵；(2)依据光斑位置预测的卡尔曼滤波器模型计算基本方程，得到下一帧光斑位置的预测值；(3)在以预测位置为中心，略大于光斑大小的区域内，基于Hessian矩阵的提取方法提取光斑中心亚像素坐标；(4)更新卡尔曼滤波器的参数，返回步骤(2)。所述处理模块的目标观瞄点区域预测采用卡尔曼滤波器，预测目标观瞄点的位置，达到实时跟踪目标观瞄点的目的。卡尔曼滤波是解决状态最优估计的一种常用算法，以递推算法简单、数据存储量小、实时性好等优点被广泛应用于目标轨迹预测。目标观瞄点卡尔曼滤波器模型，在摄像机图像采集过程中，相邻两帧间的时间间隔较短，且光点跟随运动目标变化比较平稳，因此可认为，光点在相邻两帧的时间间隔内做匀速直线运动。考虑到实际情况中速度在有随机扰动的情况下会发生轻微变化，通常假定这个随机扰动是零均值的高斯白噪声Wk。令状态向量为Xk = [xk，yk，X' k，y' k]T,其中，xk、yk分别表示光斑中心在图像平面U轴、V轴上的坐标分量；X' k、y' k分别表示光斑中心在U轴、V轴上的运动速度。由牛顿运动定律有
权利要求
1.一种基于现场可编程门阵列FPGA的目标观瞄点实时定位装置，其特征在于，该装置包括:光学镜头、图像采集模块、处理器模块和存储模块；其中， 所述光学镜头，用于对图像的原始光信号进行校正并映射成像到所述图像采集模块上； 所述图像采集模块，用于将所述经校正的图像的光信号转换成图像的数字信号，并传输给所述处理器模块； 所述处理器模块设置于FPGA芯片上，用于将从图像采集模块接收的图像的数字信号缓存到存储模块中；之后从存储模块中读取所述数字信号，并进行光斑中心坐标快速提取运算； 所述存储模块，用于缓存所述图像的数字信号。
2.根据权利要求1所述的装置，其特征在于，该装置还包括:通信模块和上位机界面模块;其中， 所述通信模块，用于将所述处理器模块提取的光斑中心坐标输出给所述上位机界面模块； 所述上位机界面模块设置于个人计算机上，用于光斑中心坐标的显示，还用于图像的显示以及目标观瞄点运动轨迹的绘制。
3.根据权利要求2所述的装置，其特征在于，所述处理器模块，还用于通过所述通信模块将所述光斑中心坐标的提取结果输出给所述上位机界面模块。
4.根据权利要求3 所述的装置，其特征在于，所述处理器模块包括:处理模块和控制模块;其中， 所述处理模块，用于将从图像采集模块接收的图像的数字信号缓存到存储模块中；之后从存储模块中读取数字信号，并进行光斑中心坐标快速提取运算，通过通信模块将所述光斑中心坐标的提取结果输出给所述上位机界面模块； 所述控制模块，用于控制所述图像采集模块、存储模块、处理模块和通信模块执行相应操作。
5.根据权利要求4所述的装置，其特征在于，所述控制模块通过硬件描述语言VHDL或Verilog编写状态机实现。
6.根据权利要求1-5中任一项所述的装置，其特征在于，所述图像采集模块设置于互补金属氧化物半导体CMOS、或电荷耦合元件CXD图像传感器芯片上。
7.根据权利要求6所述的装置，其特征在于，所述光学镜头的光轴垂直于所述图像采集模块的图像传感器阵列面，且所述光轴与图像传感器阵列面的几何中心同心。
8.根据权利要求1-5中任一项所述的装置，其特征在于，所述存储模块为同步动态随机存取存储器SDRAM或快速闪存flash。
9.根据权利要求1-5中任一项所述的装置，其特征在于，所述处理器模块为主频在IOOMHz及IOOMHz以上的FPGA芯片。
10.根据权利要求2-5中任一项所述的装置，其特征在于，所述通信模块采用以太网高速通信接口。
11.一种基于现场可编程门阵列FPGA的目标观瞄点实时定位方法，其特征在于，该方法包括:将图像的原始光信号进行校正并映射成像；将所述经校正的图像的光信号转换成图像的数字信号，并进行缓存；读取所述数字信号，并进行光斑中心坐标快速提取运算。
12.根据权利要求11所述的方法，其特征在于，该方法还包括:将所述已提取的光斑中心坐标输出并显示，显示图像并进行目标观瞄点运动轨迹的绘制。
13.根据权利要求11或12所述的方法，其特征在于，所述光斑中心坐标快速提取运算方法包括:目标观瞄点区域预测、光斑中心点提取以及光点定位。
14.根据权利要求13所述的方法，其特征在于，所述目标观瞄点区域预测，为:采用卡尔曼滤波器预测目标观瞄点的位置。
15.根据权利要求13所述的方法，其特征在于，所述光斑中心点提取，为:采用基于Hessian矩阵的光斑中心坐标精确提取方法，达到亚像素精度。
16.根据权利要求13所述的方法，其特征在于，所述光点定位过程采用光点定位模型，即:摄像机像平面上 点到原仿真图像上对应点的关系模型。
全文摘要
本发明公开了一种基于FPGA的目标观瞄点实时定位装置，包括用于对图像的原始光信号进行校正并映射成像到所述图像采集模块上的光学镜头、用于将所述经校正的图像的光信号转换成图像的数字信号，并传输给所述处理器模块的图像采集模块、用于将从图像采集模块接收的图像的数字信号缓存到存储模块中；之后从存储模块中读取所述数字信号，并进行光斑中心坐标快速提取运算的设置于FPGA芯片上处理器模块，以及用于缓存所述图像的数字信号的存储模块。本发明还同时公开了一种基于FPGA的目标观瞄点实时定位方法，本发明可克服现有视觉测量系统体积庞大、功耗大，且实时性差、不利于使用和维护的缺点。
文档编号G06T7/00GK103247054SQ20131018496
公开日2013年8月14日 申请日期2013年5月17日 优先权日2013年5月17日
发明者孙军华, 潘念, 刘震 申请人:北京航空航天大学