一种图像采集帧率自适应调整装置的制造方法
【专利摘要】本发明公开了一种图像采集帧率自适应调整装置，该装置包括相互通信的分光图像采集系统以及图像处理系统，其中分光图像采集系统主要包括第一传感器以及第二传感器，还包括用于将从镜头采集的携带图像信息的光束分成强度相同或相似的两束光束的分光元器件，第一传感器以及第二传感器(5)分别于第一FPGA处理器连接；图像处理系统包括用于与第一FPGA处理器通信的第二FPGA处理器，第二FPGA处理器通过SRIO芯片与多个并行DSP处理器连接；第二FPGA处理器还通过Intel板卡与外界交互式设备相连。按照本发明实现的图像采集帧率自适应调整装置，能够显著地提高图像采集处理的速度和能力，从而达到微秒级的超高速处理速度。
【专利说明】
一种图像采集帧率自适应调整装置
技术领域
[0001] 本发明属于数字图像采集与处理领域，更具体地，涉及一种图像采集帧率自适应 调整装置。
【背景技术】
[0002] 高速视觉系统在基础科学、军事应用、工业应用等领域具有越来越广泛的应用。随 着对视觉系统高帧率、高精度、实时性的要求越来越高，依靠现有的提高读写速度来提高帧 率的方法存在一系列缺陷：（1)图像采集系统帧率的提升总会存在提升上限，很难完全满足 超高速测量要求；（2)帧率的提升也意味着更大的数据计算量，这也会使系统更难达到实时 性要求；（3)对于在图像采集过程中，速度变化范围较大的运动物体，帧率的过高与过低都 会对测量与处理结果产生影响。
[0003] 其中在高速视觉系统中应用的较多的一种技术是分光跨帧技术，其是一种利用多 个光学成像单元按照特定时序要求采集多幅图片并将图片整合的技术。成像单元按照设定 时间序列依次曝光采集图片，采集到的图片之间具有特定的时序关系，通过数字图像处理 技术即可分析出相邻两张图片的运动特征关系。
[0004] 现有的图像采集系统一般都是基于一种开环控制的采集系统，即采集过程中采集 帧率固定，这对于速度实时变化的运动测量具有一定的局限性，即图像采集速度相对于物 体运动速度过快或者过慢都会对测量结果造成一定影响:测量速度相对于物体和运动速度 过快，会造成数据量过大且相邻图像对位移过小无法计算;测量速度相对于物体运动速度 过慢，同一物体可能运动出测量区域，导致无法计算运动速度。因此，需要提出一种手段来 解决上述问题。
【发明内容】
[0005] 针对现有技术的以上缺陷或改进需求，本发明提供了一种，其目的在于提供一种 图像采集帧率自适应调整装置及方法，由此解决帧间间隔实时可调、图像数据实时化处理 的特点的技术问题。
[0006] 为实现上述目的，按照本发明的一个方面，提供了一种图像采集帧率自适应调整 装置，其特征在于，该装置包括相互通信的分光图像采集系统以及图像处理系统；
[0007] 其中所述分光图像采集系统主要包括第一传感器以及第二传感器，还包括用于将 从镜头采集的携带图像信息的光束分成强度相同或相似的两束光束的分光元器件，所述第 一传感器以及第二传感器分别与第一 FPGA处理器连接；
[0008] 所述图像处理系统包括用于与所述第一 FPGA处理器通信的第二FPGA处理器，所述 第二FPGA处理器通过SRIO芯片与多个并行DSP处理器连接；所述第二FPGA处理器还通过 Intel板卡与外界交互式设备相连。
[0009] 进一步地，所述DSP处理器计算采样帧率的时间间隔之间的两张图像中的目标的 运动位移，获得所述目标当前运动速度，并且估算下一采样帧率的时刻内所述目标的运动 速度，从而根据所述运动速度计算所述下一采样帧率发送于所述第一 FPGA处理器，控制所 述两个传感器的按所述采样帧率分时曝光，由此实现所述图像采集帧率的自适应调整。
[0010] 进一步地，所述目标的下一采样帧率的运动速度的估计主要包括如下步骤:所述 目标的在该估计运动速度下，在未调整的所述采样帧率下的运动位移使得所述目标不移出 所述两个传感器的图像采集范围之外。
[0011] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有 益效果：
[0012] 提出了一种能够实现图像采集帧率自适应调整的整体系统，在这个系统中，采用 设计好的计算处理框架来实现数据的处理，从而能够显著地提高图像采集处理的速度和能 力，从而达到微秒级的超高速处理速度。
【附图说明】
[0013] 图1是按照本发明实现的图像采集帧率自适应调整装置的架构图；
[0014] 图2是按照本发明实现的图像采集帧率自适应装置信号流与图像数据流；
[0015] 图3是按照本发明实现的图像采集帧率自适应装置的自适应调整控制环路；
[0016] 图4是按照本发明实现的可扩展分布式处理器架构。
[0017] 在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：
[0018] 1-滤光片，2-半透半反镜，3-反射镜，4-传感器1，5-传感器2
【具体实施方式】
[0019] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要 彼此之间未构成冲突就可以相互组合。
[0020] 为了实现采集系统曝光时间的实时控制，需要对采集到的图片数据进行实时处 理，然后根据计算得到的当前速度计算出下一时刻曝光时间间隔。基于图片实时处理结果 对图片的实时采集进行控制就是本发明的主要解决的问题。
[0021] 图像处理速度的实时性就要求图像处理速度低于相邻两帧图片采集时间间隔，单 纯使用PC(Personal Computer)的图像处理系统已经很难满足上述需求。而FPGA(Field Programmable Gate Array)的并行处理能力与流水线技术能够显著提高图像处理的速度。 因此，使用FPGA作为嵌入式图像处理器能够很好地满足图像高速处理的要求。
[0022]基于FPGA的图像处理是一种结合软件与硬件的应用，开发难度较大，且FPGA对串 行化程度较高的算法及其运算效率并没有显著提高。而采用基于多核架构的DSP作为系统 协处理器，可以很好协调设计难度与处理速度的关系，并减小由于复杂算法对FPGA逻辑资 源的浪费。
[0023] 处理器之间采用基于SRKKSerial RapidIO)协议的分布式处理器架构进行通信。 更具体地，采用高性能FPGA作为系统主处理器，两个多核DSP作为系统协处理器，采用SRIO 数据交换芯片作为连接各个处理器包括FPGA及DSP的数据中心。基于分布式处理器架构的 处理系统设计具有很好的处理器扩展能力，例如在DSP处理器的并行处理上经过简单的扩 展即可实现数据的高速处理能力
[0024]如图1所示，外界光束通过镜头的聚焦和滤光片1的滤波，投射到半透半反镜2上， 半透半反镜2的透过率与反射率之比为50:50，此时，一束光分为光束A和光束B两束能量相 同的光束。光束A直接聚焦到传感器1上，光束B投射到过一个全反射镜3生成光束C，光束C被 聚焦到传感器2上，在光路设计中要保证投射到两个传感器1和2上的光束所经过的光路等 长，因此在本装置中需要设计一个可多自由度微调的光学调整平台，调节误差要小于0.1像 素误差。
[0025]图像处理系统产生初始触发信号，并将初始触发信号通过高速传输接口发送到图 像采集系统，图像采集系统控制两个传感器分时曝光，两个传感器开始分时进行图像采集， 两传感器之间初始采集时间间隔为A tl。采集到的具有△ t时间间隔的两幅图像数据依次 送到采集系统控制器FPGAl JPGAl控制器对图像完成滤波和镜像矫正等预处理操作，两组 图像数据通过高速低延迟传输协议Camera-1 ink协议发送到高速图像处理系统，Camera-1 ink协议采用Ful 1模式进行传输，最高传输速度达到7.8Gbps。
[0026]高速图像处理系统接收到图像数据，并对图像数据进行预处理和处理操作，其中 预处理算法等并行性较高且复杂度相对较低的算法主要由FPGA2完成，运动速度计算和速 度预测算法等复杂度较高的算法由两个DSP处理器完成。FPGA2同时负责图像数据的分配功 能，将图像数据分配成两组并行数据，然后将两组数据分别传输到两个并行多核DSP，FPGA 与DSP之间基于SRIO的高速通信连接，可实现最高20Gbps的传输速率。在本实施方式中，复 杂度较低的算法类别指的是高斯滤波、二值化等实现简单、运算量大、实时性高的处理算 法，而复杂度较高的算法类别指的是光流法、递归算法等。
[0027] DSP处理器根据数字图像分析技术，可以算出At时间间隔中两张图片的运动位 移，从而获得物体当前运动速度，并根据速度预测算法估算出下一时刻物体运动速度，从而 根据速度计算出下一时刻两个传感器较合适的采集时间间隔A t2。然后将△ t2传输到图像 采集板卡控制传感器第二次分时曝光，按照此种方式，不断完成图像的分时采集、传输、实 时处理和采集间隔调整功能。具体地，在上述的图像处理实施方式中，主要通过以下的方式 来完成:高速图像处理装置对获得的图像数据实时处理，获得此时被测物体速度V 1，并通过 卡尔曼预测算法根据此时速度预测下一时刻物体运动速度V ' 2，根据预测结果，物体在该估 计运动速度运动下，在未调整的采样帧率下的运动位移使得物体不移出所述两个传感器的 图像采集范围之外，在一些实施例中，通常通过限定该物体可能发生的位移距离A s阈值来 获取调整帧率，即&决定下一时刻采集系统两幅图片之间的时间间隔At2,例如，在 V, 流场测量领域，流场粒子在相邻两帧图片中的位移不能超出1/4查询窗口；在运动追踪领 域，被测物体在相邻两帧图片中不能超出视野范围。然后高速图像处理系统控制， 分光与图像采集系统中的FPGA1，由其产生触发信号触发传感器分时采集，即At2通过查表 法将调节参数通过cameralink传送至FPGAl产生对应的两路相隔△ t2的触发信号控制相机 曝光，下一时刻的传感器按照计算出的时间间隔进行曝光。按照以上采集图像帧率的自适 应调整方式，实现整个图像系统帧率实时调整从而实现每一帧图像的采集由此完成。
[0028]如图2所示，是按照本发明实现的系统控制信号流与图像数据流的流向图，其中 FPGA硬件的处理部分主要包括图像采集模块以及图像预处理与采集控制模块，而两个部分 的DSP主要实现图像处理模块的功能。
[0029] 如图3所示，是按照本发明实现的整体的自适应调整控制环路的控制环路的控制 流向示意图，为了保证系统的实时性，每次采集的图像数据在图像处理系统中所消耗的时 间要小于两次采集的时间间隔，并在该时间内完成触发信号的生成与传输，以此保证系统 帧间间隔的实时可调。因此，基于图像的高速采集与处理技术，在保证实时采集与处理的基 础上实现帧间间隔实时调整是本发明的阐述重点之一。
[0030] 为了保证系统触发的精确性，在图像采集装置中设计了高精度延时模块，采用高 精度延时芯片DS1100L完成时间间隔脉冲信号的高精度控制，最高控制精度可达4ns。
[0031] 如图4,本发明采用基于SRIO交换芯片的分布式处理器架构，因为具体采用的SRIO 交换芯片为80HCPS1848，支持48路SRIO通道，所以，只需要添加相应的扩展计算板卡到相应 的SRIO接口上就可以提升整个系统的计算能力，因此，本发明可支持后期系统计算能力的 扩充。
[0032] 在高速视觉系统应用中，图像数据的实时存储对于保存原始数据具有很重要的意 义，但由于图像数据量较大，因此一般采取的存储策略是适当丢弃部分数据。在本发明中， 在超高速图像处理系统上采用了基于FPGA的并行SATA(Serial ΑΤΑ) 口设计方案，可最多支 持10通道的SATA接口并行操作，对于SATA-II协议，单通道最高读写速率可到3Gbps，系统最 高存储速率可达30Gbps。
[0033] 本发明中，为了实现人机交互功能，在系统中设计了一款Intel板卡进行人机交 互，Intel板卡与图像处理系统的主处理器FPGA2通过千兆以太网进行数据通信，完成操作 者对系统的指令控制，同时Intel板卡配有一块电容显示屏，可以将处理后的结果数据实时 显示在处理器上。
[0034]本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以 限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
【主权项】
1. 一种图像采集帧率自适应调整装置，其特征在于，该装置包括相互通信的分光图像 采集系统以及图像处理系统； 其中所述分光图像采集系统主要包括第一传感器(4)以及第二传感器(5)，还包括用于 将从镜头采集的携带图像信息的光束分成强度相同或相似的两束光束的分光元器件，所述 第一传感器(4)以及第二传感器(5)分别于第一 FPGA处理器连接； 所述图像处理系统包括用于与所述第一 FPGA处理器通信的第二FPGA处理器，所述第二 FPGA处理器通过SRIO芯片与多个并行DSP处理器连接;所述第二FPGA处理器还通过Intel板 卡与外界交互式设备相连。2. 如权利要求1所述的图像采集帧率自适应调整装置，其特征在于，所述DSP处理器计 算采样帧率的时间间隔之间的两张图像中的目标的运动位移，获得所述目标当前运动速 度，并且估算下一采样帧率的时刻内所述目标的运动速度，从而根据所述运动速度计算所 述下一采样帧率发送于所述第一 FPGA处理器，控制所述两个传感器(4,5)的按所述采样帧 率分时曝光，由此实现所述图像采集帧率的自适应调整。3. 如权利要求2所述的图像采集帧率自适应调整装置，其特征在于，所述目标的下一采 样帧率的运动速度的估计主要包括如下步骤:所述目标的在该估计运动速度下，在未调整 的所述采样帧率下的运动位移使得所述目标不移出所述两个传感器(4,5)的图像采集范围 之外。
【文档编号】H04N5/235GK105915813SQ201610308842
【公开日】2016年8月31日
【申请日】2016年5月11日
【发明人】杨华, 冯佳乐, 欧阳振兴
【申请人】华中科技大学