一种基于FPGA和ARM结构的无线图像采集传输平台的制作方法

文档序号:15595153发布日期:2018-10-02 19:25阅读:281来源:国知局

本发明属于图像处理技术领域,涉及一种基于fpga和arm结构的无线图像采集传输平台。



背景技术:

目前,现有的数字图像采集传输方案功能往往比较单一,主要面向于一些常见应用的,如面向视频网络传输的网络摄像头模组方案、面向视频采样的usb摄像头方案。针对视频的无线传输需求,目前常见的主要有利用路由芯片方案进行wifi无线传输的方案。除此之外也有诸如面向行车记录仪等实际应用开发的专用芯片解决方案。这些方案普遍的问题是,由于方案都是针对某个特殊应用背景设计,因此缺乏通用性,特别是无法同时对多路摄像头同时进行数据采集及传输。而图像处理器本身的运算能力有限应对复杂应用很难找到实时性好的方案。



技术实现要素:

本发明的目的在于提供一种基于fpga和arm结构的无线图像采集传输平台,本发明的有益效果是高集成度的方案,特别适用于高复杂度,高效率的图像采集处理传输的应用场景。

本发明所采用的技术方案是:

1.采用多路图像采集接口的硬件架构;

常见的isp芯片多为单通道或双通道处理,多通道处理芯片首先需要提供大量i/o接口资源。本发明利用fpga灵活可配置的i/o资源,按需配置接口功能和数量,且可以适合不同种类的cmos芯片。

2.利用fpga的并行处理能力进行多路同步视频信号采样的方法。

多路视频数据,由于不同源,各自产生多个中断信号会给传统的图像处理器带来很大压力。利用fpga产生各个图像采集装置的工作时钟和控制信号,使多路图像采集装置同步工作,并利用fpga内部的存储资源对多路采集数据进行缓冲处理和数据合并,这样大大减轻了图像处理器的工作压力,使其相应多通道数据成为可能。

3.基于fpga的数字图像信息进行实时高速并行预处理及图像压缩的方法,多路视频数据的采集必然会对图像的传输和处理带来较大压力,利用fpga丰富的资源可以对数字图像进行预处理及图像压缩,从而减少数据传输量。具体来说首先,可以通过图像关联算法找出质量较高的图像予以保留,剔除关联度较小的图像;而后可以对图像进行数据压缩从而大大减小每帧图像的数据大小,通过以上两种方式减小需要传输的数据量,是视频数据的实时传输和处理成为可能。

4.fpga对多传感器信息进行数据融合的方法。

当前许多图像处理算法中大量利用了传感器信息进行辅助,本发明中利用fpga的逻辑资源提供了惯性传感器、霍尔传感器、温湿度传感器等多种传感器接口。并利用fpga本身的特点进行同步逻辑设计,使传感器数据和视频图像在时间上进行同步匹配和数据融合,为后续图像处理提供更多有用信息,提高图像处理的质量。

5.arm芯片为主体,以fpga为协处理器的复杂图像处理算法硬件实现方法;以arm处理器为主体进行图像处理算法的主体流程控制,利用fpga的逻辑资源构造协处理器对关键运算进行硬件加速,协助arm处理器高效完成如图像特征点提取,图像融合等复杂图像处理算法。

本发明借助特有的硬件结构可以完成多路摄像头同步图像采集、图像预处理和图像压缩、相关数据融合、图像特征点提取及无线高速传输等功能。与目前常见的一些视频无线采集传输方案相比,本发明提出的这种平台结构是一种多功能,高集成度的方案,特别适用于高复杂度,高效率的图像采集处理传输的应用场景。

附图说明

图1fpga与图像采集模组接口;

图2多路图像数据合并示意图;

图3图像数据压缩示意图;

图4数据融合模块及数据帧格式示意图。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

如图1所示,fpga与典型cmos图像传感器之间的接口信号定义如下:

(1)fpga提供工作时钟给cmos图像传感器

(2)图像传感器向fpga返回像素数据

(3)图像传感器向fpga返回行同步及场同步信号

(4)fpga向图像传感器提供复位信号。

由于各个图像处理器的工作时钟均由fpga提供,时钟同源,再通过fpga控制各个图像传感器的复位时序,可以做到多个图像传感器的基本同步。

参照图2,多个图像传感器采集到的数据经过同步处理后可以同时并行写入一个大位宽的fifo中。这就避免了以往多个图像传感器数据频繁中断处理器的现象。由于各路传感器数据已经经过同步,数据可以有效合并为一路,在高速读走处理,对于后续处理单元,多个数据源已经经过合并,减小了后续处理单元在数据调度上的压力。

参照图3,合并后的图像数据以帧为单位,进行图像压缩,经过硬件的离散余弦变换单元和哈夫曼编码单元后,将图像格式转为jpeg格式,从而大大减少数据量。

参照图4,图像数据,及传感器数据等多种类型的数据进入组帧模块进行组帧,帧结构如图所示。有个一精确到毫秒级的实践标记将会插入在每个数据帧的帧头后,用于表征每个数据在时间轴上的位置,这将有助于后续处理算法对图像信号的处理效果。

图像处理算法通常步骤参数繁多,利用处理进行图像处理具有很大的灵活性,目前常见的一些方案中长采用高性能dsp处理器的方案,单纯arm处理器在进行图像处理时运算能力通常欠缺。利用fpga作为协处理器,完成诸如通用矩阵运算,和一些专用算法,将大大提高算法处理效率,是的arm处理器进行复杂图像处理成为可能。

本发明的优点还在于:

1.提出了利用fpga与多路图像采集单元进行接口的硬件架构。

2.提出了利用fpga的并行处理能力进行多路同步视频信号采样的方法。

3.提出了利用fpga资源对数字图像信息进行实时高速并行预处理及图像压缩的方法。

4.提出了利用fpga对多传感器信息进行数据融合的方法。

5.提出了以arm芯片为主体,以fpga为协处理器的复杂图像处理算法硬件实现方法。

以上所述仅是对本发明的较佳实施方式而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施方式所做的任何简单修改,等同变化与修饰,均属于本发明技术方案的范围内。



技术特征:

技术总结
本发明公开了一种基于FPGA和ARM结构的无线图像采集传输平台,采用多路图像采集接口的硬件架构;利用FPGA的并行处理能力进行多路同步视频信号采样;基于FPGA的数字图像信息进行实时高速并行预处理及图像压缩;FPGA对多传感器信息进行数据融合;ARM芯片为主体,以FPGA为协处理器的复杂图像处理算法;以ARM处理器为主体进行图像处理算法的主体流程控制,利用FPGA的逻辑资源构造协处理器对关键运算进行硬件加速,协助ARM处理器高效完成如图像特征点提取,图像融合复杂图像处理算法。本发明的有益效果是高集成度的方案,特别适用于高复杂度,高效率的图像采集处理传输的应用场景。

技术研发人员:薛文;桂林卿;余海;何睿清;李俊;姚军;孔文宣
受保护的技术使用者:南京齿贝犀科技有限公司
技术研发日:2018.05.08
技术公布日:2018.10.02
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1