专利名称：一种运动目标特征高速视觉捕捉装置的制作方法
技术领域：
本发明涉及一种运动目标特征高速视觉捕捉装置，属于图像处理领域及机器视觉图像测量领域。
背景技术：
随着各国军事技术的飞速发展，出现了大量高速运动目标，如军用飞机、导弹等， 飞行速度达到3马赫以上，对国家安全存在巨大的威胁。高速运动目标同样存在于航空航天、交通安全、军事侦察、靶场测试、空中目标拦截、力学研究等领域。现阶段，需要一种能对高速运动目标的位置、位姿、运动状态进行捕捉、跟踪、测量的手段。基于机器视觉测试方法具有非接触、精度高、速度快、稳定性好等特点，是一种对运动目标进行测量的有效方法。随着CCD和CMOS传感器分辨率和速度上的提高，利用视觉手段对高速运动目标进行捕捉、跟踪和测量，成为一种有效的方法。然而，传感器性能的提高并未对基于视觉的高精度运动目标的实时测量带来巨大的推动，其原因在于，视觉传感器本身在采集速度上满足了要求，但还没有后续的实时处理系统与之相适应。现有的算法基于计算机。而计算机的接口远不能满足高速视觉传感器对传输速度的要求。尤其是，在基于多目视觉的高精度运动目标测量中，多台相机同时传输的庞大数据量使计算机无论在传输速度还是实时处理能力上都显得无能为力。因此，需要一种能够应用于高速运动目标特征定位的实现方式，在对目标进行高精度定位的同时，满足数据传输和实时处理的要求。 目前，国内外相关研究机构采用智能相机的结构实现基于硬件平台的特征提取，但在执行速度和定位精度上并不理想，无法满足对高速运动目标的实时测量。而国内对智能相机相关高速实现方式的研究尚处于起步阶段，尚缺乏针对高速运动目标实时测量装置的相关研制。
发明内容
本发明目的是为了解决高速视觉测量中的实时处理速度不高和数据量大、传输速度过低的问题，提供了一种运动目标特征高速视觉捕捉装置。本发明所述一种运动目标特征高速视觉捕捉装置，它包括FPGA、DSP处理器、ARM 微处理器、网络芯片、原始图像VGA接口模块、处理图像VGA接口模块、数字相机接口模块、 第一 FIFO数据缓存器和第二 FIFO数据缓存器，FIFO是英文First In First Out的缩写， 是一种先进先出的数据缓存器；FPGA是Field-Programmable Gate Array的缩写，即现场可编程门阵列；DSP是Digital Signal Processor的缩写，是一种独特的微处理器；ARM是 Advanced RISC Machines 的缩写，是微处理器；VGA是 Video Graphics Array 的缩写，即视频图形阵列。数字相机采集原始图像，并通过数字相机接口模块与FPGA的图像输入端相连， FPGA的原始图像显示输出端与原始图像VGA接口模块的输入端相连，FPGA的处理后图像显示输出端与处理图像VGA接口模块的输入端相连，FPGA的第一缓存输出端与第一 FIFO数据缓存器的输入端相连，第一 FIFO数据缓存器的输出端与DSP处理器的第一数据输入端相连，FPGA的第二缓存输出端与第二FIFO数据缓存器的输入端相连，第二FIFO数据缓存器的输出端与DSP处理器的第二数据输入端相连，DSP处理器的输入输出端与ARM微处理器的第一输入输出端相连，ARM微处理器的控制信号输出端与FPGA的控制信号输入端相连，ARM 微处理器的第二输入输出端与网络芯片的输入输出端相连，网络芯片的输出端与计算机相连。可以进一步包括多片SRAM、两片FLASH和片SDRAM，FPGA设置多个存储输入输出端，FPGA的每个存储输入输出端与一片SRAM的输入输出端相连；DSP处理器设置有两个存储输入输出端，DSP处理器的每个存储输入输出端与一个SRAM的输入输出端相连，DSP处理器的缓存输入端与FLASH的输出端相连；ARM微处理器的存储输入输出端与SDRAM的输入输出端相连，ARM微处理器的缓存输入端与FLASH的输出端相连。FPGA包括ARM通信控制接口模块、数字相机控制与数据传输模块、中值滤波模块、 基于背景图像差法的目标检测模块、目标区域扩张模块、基于核的区域跟踪模块、原始图像 VGA慢速设备接口模块、处理图像VGA慢速设备接口模块、FIFO片选与存储接口和DSP通信模块，ARM通信控制接口模块的控制信号输入端与ARM微处理器的控制信号输出端相连，ARM通信控制接口模块的控制信号输出端与数字相机控制与数据传输模块的控制信号输入端相连，数字相机控制与数据传输模块的图像输出端与FPGA的数据总线相连，数字相机控制与数据传输模块的原始图像采集输入输出端与数字相机接口模块的输入输出端相连，数字相机控制与数据传输模块的控制信号输出端与中值滤波模块的控制信号输入端相连，中值滤波模块的始能信号输出端与基于背景图像差法的目标检测模块的始能信号输入端相连，基于背景图像差法的目标检测模块的始能信号输出端与目标区域扩张模块的始能信号输入端相连，目标区域扩张模块的始能信号输出端与基于核的区域跟踪模块的始能信号输入端相连，基于核的区域跟踪模块的缓存信号输出端与FIFO片选与存储接口的缓存信号输入端相连，SRAM存储接口 A模块、SRAM存储接口 B模块、SRAM存储接口 C模块、SRAM存储接口 D模块、SRAM存储接口 E模块和SRAM存储接口 F模块均与FPGA片外的一片SRAM相连，SRAM存储接口 A模块挂接在数据总线上，中值滤波模块用于读取SRAM存储接口 A模块对应的SRAM中的数据作为该模块输入数据，中值滤波模块还用于将处理结果数据通过SRAM存储接口 B模块写入其对应的SRAM，基于背景图像差法的目标检测模块用于读取 SRAM存储接口 B模块对应的SRAM中的数据作为该模块输入数据，基于背景图像差法的目标检测模块还用于将处理结果数据通过SRAM存储接口 C模块写入其对应的SRAM，目标区域扩张模块用于读取SRAM存储接口 C模块对应的SRAM中的数据作为该模块输入数据，目标区域扩张模块还用于将处理结果数据通过SRAM存储接口 D模块写入其对应的SRAM，基于核的区域跟踪模块用于读取SRAM存储接口 D模块对应的SRAM中的数据作为该模块输入数据，基于核的区域跟踪模块还用于将处理结果数据通过SRAM存储接口 F模块写入其对应的 SRAM,处理图像VGA慢速设备接口模块用于从SRAM存储接口 F模块对应的SRAM中读取视频信号数据，处理图像VGA慢速设备接口模块的处理后图像显示输出端与处理图像VGA接口模块的输入端相连，基于核的区域跟踪模块的运算始能信号输出端与DSP通信模块的输入端相连，SRAM存储接口 E模块挂接在数据总线上，原始图像VGA慢速设备接口模块用于通过SRAM存储接口 E模块对应的SRAM中的原始图像信息，原始图像VGA慢速设备接口模块的原始图像显示输出端与原始图像VGA接口模块的输入端相连。本发明的优点将通常在计算机中运行的具有高密度运算的特征提取及其相关算法，在硬件结构中完成运算，只将运算密度较低的后续算法所需数据发送到计算机中处理， 使整个测量装置的处理速度提升5倍以上。通过上述方式，使测量装置在单位时间内的处理能力大幅提升，使之能与更高速的图像传感器的采集速度相匹配，使整个测量装置的灰度图像采集速度和处理能力达到 500fps(图像传感器分辨率为1280 X 10 )。
图1是本发明所述一种运动目标特征高速视觉捕捉装置的结构示意图；图2是FPGA的内框图；图3是处理数字相机采集的图像的框图；图4是采用本发明装置对图像处理的流程图。
具体实施例方式具体实施方式
一下面结合图1、图3和图4说明本实施方式，本实施方式所述一种运动目标特征高速视觉捕捉装置，它包括FPGA1、DSP处理器2、ARM微处理器3、网络芯片 4、原始图像VGA接口模块5、处理图像VGA接口模块6、数字相机接口模块7、第一 FIFO数据缓存器8和第二 FIFO数据缓存器9，数字相机采集原始图像，并通过数字相机接口模块7与FPGAl的图像输入端相连， FPGAl的原始图像显示输出端与原始图像VGA接口模块5的输入端相连，FPGAl的处理后图像显示输出端与处理图像VGA接口模块6的输入端相连，FPGAl的第一缓存输出端与第一 FIFO数据缓存器8的输入端相连，第一 FIFO数据缓存器8的输出端与DSP处理器2的第一数据输入端相连，FPGAl的第二缓存输出端与第二 FIFO数据缓存器9的输入端相连，第二 FIFO数据缓存器9的输出端与DSP处理器2的第二数据输入端相连，DSP处理器2的输入输出端与ARM微处理器3的第一输入输出端相连，ARM微处理器3的控制信号输出端与 FPGAl的控制信号输入端相连，ARM微处理器3的第二输入输出端与网络芯片4的输入输出端相连，网络芯片4的输出端与计算机相连。参见图3，本实施方式所述的一种运动目标特征高速视觉捕捉装置前向与高速的数字相机连接，后向与计算机连接。将通常在计算机中运行的具有高密度运算的特征提取及其相关算法，在硬件结构中完成运算，然后，将运动目标特征高速视觉捕捉装置获取的定位信息由计算机进行进一步计算，得到所需数据。
具体实施方式
二 本实施方式对实施方式一作进一步说明，它还包括多片SRAM、 两片 FLASH 禾口 1 片 SDRAM,
FPGAl设置多个存储输入输出端，FPGAl的每个存储输入输出端与一片SRAM的输入输出端相连；DSP处理器2设置有两个存储输入输出端，DSP处理器2的每个存储输入输出端与一个SRAM的输入输出端相连，DSP处理器2的缓存输入端与FLASH的输出端相连；ARM微处理器3的存储输入输出端与SDRAM的输入输出端相连，ARM微处理器3的缓存输入端与FLASH的输出端相连。使用FPGA+DSP+ARM的硬件结构，在FPGA内部设计并行算法快速完成图像中值滤波、基于背景图像差法的目标检测、目标区域扩张、基于核的区域跟踪等算法；利用DSP的浮点运算能力和数字信号处理资源，完成基于方向导数的角点检测方法；利用ARM微处理器3进行顶层控制和网络同步。数字相机利用高速CMOS传感器进行实时采集，通过内置模数转换器将模拟信号转化为数字像素数据，得到运动目标的灰度图像序列。数字相机与运动目标特征高速视觉捕捉装置直接连接，包括控制总线和数据总线。通过控制总线接收曝光时间、采集帧频、触发等设置。数据总线通过同步时钟进行数据传输。FPGAl负责对数字相机的控制和对图像的预处理，并利用其并行结构的特点，执行快速算法，对运动目标进行实时检测。FPGAl与数字相机接口 7连接，通过数字相机接口 7 接收数字相机的数据并对其进行控制；FPGAl与多片SRAM连接，对FPGAl内部不同算法的数据进行缓存；与双VGA接口(原始图像VGA接口模块5、处理图像VGA接口模块6)连接， 对数字相机发送的原始图像和经过FPGAl算法之后的处理结果图像进行实时的双屏显示； 通过双FIFO (第一 FIFO数据缓存器8和第二 FIFO数据缓存器9)与DSP处理器2连接，将图像处理算法的运行结果发送到DSP处理器2内进行进一步运算，其中双FIFO构成乒乓 FIFO,保证FPGAl对DSP处理器2的写数据不间断；FPGAl与ARM微处理器3连接，接受ARM 微处理器3对图像采集、图像处理算法的开始和终止控制。DSP处理器2运行图像处理算法，对FPGAl的图像处理结果进行进一步分析，得到运动目标的特征的精确定位。DSP处理器2与双FIFO连接，通过轮流读取两个FIFO来接受FPGAl中的数据；DSP处理器2与双SRAM连接，对处理的数据进行缓存；DSP处理器2与 FLASH连接，存储应用程序；DSP处理器2与ARM微处理器3连接，接收ARM微处理器3的起止信号的同时，通过DSP处理器2的HPI接口与ARM微处理器3进行数据传输，将特征精确定位的结果发送到ARM微处理器3，并接收ARM微处理器3的控制信号。ARM微处理器3在通过网络芯片4与计算机通信的同时，对整个运动目标特征高速视觉捕捉装置进行顶层控制。ARM微处理器3与FPGAl连接，对其进行起止控制；ARM微处理器3与DSP处理器2连接，对其进行起止控制的同时，通过DSP处理器2的HPI接口接收特征定位的数据；ARM微处理器3与SDRAM连接，作为Linux操作系统的数据缓存；ARM微处理器3与FLASH连接，存储系统与应用程序；ARM微处理器3与网络芯片4连接，通过嵌入 Linux操作系统中的TCP/IP协议把DSP处理器2的特征定位处理结果发送到计算机；网络芯片4通过以太网接口，与计算机连接。对高分辨率高速灰度图像数据的实时处理方法采用将原始灰度图像通过运动目标特征高速视觉捕捉装置的处理，转化为特征坐标的方式减少数据量，提高测量装置的处理能力。通过这种方式，将采集到的高分辨率灰度图像的庞大数据量转化为运动目标特征的精确坐标，使数据量减少90%以上。将通常在计算机中运行的具有高密度运算的特征提取及其相关算法，在硬件结构 中完成运算，只将运算密度较低的后续算法所需数据发送到计算机中处理，使整个测量装 置的处理速度提升5倍以上。通过上述两点，使測量装置在単位时间内的处理能力大幅提升，使之能与更高速 的图像传感器的采集速度相匹配，使整个测量装置的灰度图像采集速度和处理能力达到 500fps (图像传感器分辨率为1280 X 10 )。对图4所示的具体处理方法进行详细说明中值滤波采用3 X 3模板对从图像中的各个像素进行窗ロ采样，对模板中的9个数据进行排 序，用排序后的中值取代该像素原始值。基于背景图像差法的目标检测将图像分为背景和前景，对背景进行建模，将当前帧与背景模型进行逐像素的比 较。那些与背景模型符合的像素被标记为背景，不符合的像素被标记为前景。当背景发生 变化时，对背景模型更新，与模型不一致的区域标识为运动区域。标记的前景即为目标检测
^Pt ^lV o目标区域扩张将目标检测的结果区域范围进行50像素的区域扩张。对扩张后的区域设置最小 外接矩形，将该矩形区域设定为目标跟踪的跟踪区域。基于核的区域跟踪在目标区域扩张中获得目标区域，利用Mear^hift算法进行搜索。在目标区域计 算目标的原始模型{久},u = 1. . . m和初始帧中目标的匹配位置タ。，设定Mear^hift算法的精 度阈值￡，以及最大迭代次数N。其步骤为1、计算候选目标模型{丸(丸)}, U = 1. ..m和对应的Bhattacharyya系数
权利要求
1.一种运动目标特征高速视觉捕捉装置，其特征在于，它包括FPGA(I)、DSP处理器 O)、ARM微处理器(3)、网络芯片G)、原始图像VGA接口模块(5)、处理图像VGA接口模块 (6)、数字相机接口模块(7)、第一 FIFO数据缓存器(8)和第二 FIFO数据缓存器(9)，数字相机采集原始图像，并通过数字相机接口模块(7)与FPGA(I)的图像输入端相连， FPGA(I)的原始图像显示输出端与原始图像VGA接口模块(5)的输入端相连，FPGA(I)的处理后图像显示输出端与处理图像VGA接口模块(6)的输入端相连，FPGA(I)的第一缓存输出端与第一 FIFO数据缓存器(8)的输入端相连，第一 FIFO数据缓存器(8)的输出端与 DSP处理器O)的第一数据输入端相连，FPGA(I)的第二缓存输出端与第二 FIFO数据缓存器(9)的输入端相连，第二 FIFO数据缓存器(9)的输出端与DSP处理器O)的第二数据输入端相连，DSP处理器O)的输入输出端与ARM微处理器(3)的第一输入输出端相连，ARM 微处理器(3)的控制信号输出端与FPGA(I)的控制信号输入端相连，ARM微处理器(3)的第二输入输出端与网络芯片⑷的输入输出端相连，网络芯片⑷的输出端与计算机相连。
2.根据权利要求1所述一种运动目标特征高速视觉捕捉装置，其特征在于，它还包括多片SRAM、两片FLASH禾口 1片SDRAM,FPGA(I)设置多个存储输入输出端，FPGA(I)的每个存储输入输出端与一片SRAM的输入输出端相连；DSP处理器( 设置有两个存储输入输出端，DSP处理器( 的每个存储输入输出端与一个SRAM的输入输出端相连，DSP处理器O)的缓存输入端与FLASH的输出端相连；ARM微处理器(3)的存储输入输出端与SDRAM的输入输出端相连，ARM微处理器(3)的缓存输入端与FLASH的输出端相连。
3.根据权利要求2所述一种运动目标特征高速视觉捕捉装置，其特征在于，FPGA(I) 包括ARM通信控制接口模块(1-1)、数字相机控制与数据传输模块(1-2)、中值滤波模块 (1-3)、基于背景图像差法的目标检测模块(1-4)、目标区域扩张模块(1-5)、基于核的区域跟踪模块(1-6)、原始图像VGA慢速设备接口模块(1-7)、处理图像VGA慢速设备接口模块 (1-8)、FIFO片选与存储接口 (1-9)和DSP通信模块(1-10),ARM通信控制接口模块(1-1)的控制信号输入端与ARM微处理器(3)的控制信号输出端相连，ARM通信控制接口模块(1-1)的控制信号输出端与数字相机控制与数据传输模块(1-2)的控制信号输入端相连，数字相机控制与数据传输模块(1-2)的图像输出端与 FPGA⑴的数据总线相连，数字相机控制与数据传输模块(1-2)的原始图像采集输入输出端与数字相机接口模块(7)的输入输出端相连，数字相机控制与数据传输模块(1- 的控制信号输出端与中值滤波模块(1- 的控制信号输入端相连，中值滤波模块(1-3)的始能信号输出端与基于背景图像差法的目标检测模块(1-4)的始能信号输入端相连，基于背景图像差法的目标检测模块(1-4)的始能信号输出端与目标区域扩张模块(1- 的始能信号输入端相连，目标区域扩张模块(1-5)的始能信号输出端与基于核的区域跟踪模块(1-6) 的始能信号输入端相连，基于核的区域跟踪模块(1-6)的缓存信号输出端与FIFO片选与存储接口(1-9)的缓存信号输入端相连，SRAM存储接口 A模块、SRAM存储接口 B模块、SRAM存储接口 C模块、SRAM存储接口 D 模块、SRAM存储接口 E模块和SRAM存储接口 F模块均与FPGA⑴片外的一片SRAM相连，SRAM存储接口 A模块挂接在数据总线上，中值滤波模块(1-3)用于读取SRAM存储接口 A模块对应的SRAM中的数据作为该模块输入数据，中值滤波模块(1-3)还用于将处理结果数据通过SRAM存储接口 B模块写入其对应的SRAM，基于背景图像差法的目标检测模块 (1-4)用于读取SRAM存储接口 B模块对应的SRAM中的数据作为该模块输入数据，基于背景图像差法的目标检测模块(1-4)还用于将处理结果数据通过SRAM存储接口 C模块写入其对应的SRAM，目标区域扩张模块(1-5)用于读取SRAM存储接口 C模块对应的SRAM中的数据作为该模块输入数据，目标区域扩张模块(1-5)还用于将处理结果数据通过SRAM存储接口 D模块写入其对应的SRAM，基于核的区域跟踪模块(1-6)用于读取SRAM存储接口 D模块对应的SRAM中的数据作为该模块输入数据，基于核的区域跟踪模块(1-6)还用于将处理结果数据通过SRAM存储接口 F模块写入其对应的SRAM，处理图像VGA慢速设备接口模块 (1-8)用于从SRAM存储接口 F模块对应的SRAM中读取视频信号数据，处理图像VGA慢速设备接口模块(1-8)的处理后图像显示输出端与处理图像VGA接口模块(6)的输入端相连， 基于核的区域跟踪模块(1-6)的运算始能信号输出端与DSP通信模块(1-10)的输入端相连，SRAM存储接口 E模块挂接在数据总线上，原始图像VGA慢速设备接口模块(1_7)用于通过SRAM存储接口 E模块对应的SRAM中的原始图像信息，原始图像VGA慢速设备接口模块(1-7)的原始图像显示输出端与原始图像VGA接口模块(5)的输入端相连。
4.根据权利要求3所述一种运动目标特征高速视觉捕捉装置，其特征在于，还包括一套用于乒乓操作冗余设置的SRAM存储接口 A模块、SRAM存储接口 B模块、SRAM存储接口 C 模块和SRAM存储接口 D模块。
全文摘要
一种运动目标特征高速视觉捕捉装置，属于图像处理领域及机器视觉图像测量领域，本发明为解决高速视觉测量中的实时处理速度不高和数据量大、传输速度过低的问题。本发明包括FPGA、DSP处理器、ARM微处理器、网络芯片、原始图像VGA接口模块、处理图像VGA接口模块、数字相机接口模块、第一、二FIFO数据缓存器，数字相机采集原始图像给FPGA，FPGA接原始图像VGA接口模块和处理图像VGA接口模块，FPGA的缓存输出端分别与第一、二FIFO数据缓存器的输入端相连，并连接DSP处理器，DSP处理器与ARM微处理器相连，ARM微处理器与FPGA的控制信号输入端相连，ARM微处理器通过网络芯片与计算机相连。
文档编号H04N5/77GK102438118SQ201110390478
公开日2012年5月2日 申请日期2011年11月30日 优先权日2011年11月30日
发明者于潇宇, 叶东, 赵振庆, 郭玉波, 陈刚 申请人:哈尔滨工业大学