一种蜂窝相机前端数据加速系统的制作方法

本发明涉及图像采集技术领域，更具体的是涉及一种蜂窝相机前端数据加速系统。

背景技术：

传统的相机一般以单目、双目、或三目的形式存在，但是它们的应用场景较为单一，不能全方位对现场进行拍摄，并且一般受限于处理器的外设资源、带宽、主频等，所以传统的相机无法满足复杂场景的应用。

目前市场上出现了多目相机，多目相机已应用于多个领域，例如无人机飞行控制、虚拟现实、动作捕捉、机器人及无人驾驶等，多目相机包括多个摄像头模组以及与每个摄像头模组一一对应连接的电路板，每个电路板用于将系统发出的图像采集指令传输至对应的摄像头模组，摄像头模组根据接收到的图像采集指令进行图像采集，当摄像头模组采集到图像后，多个摄像头模组同时将采集到的图像传向后端计算单元，这时，由于所有摄像头模组共用一个数据采集通道，数据采集通道采用串行的方式，使得图像一一通过，但一旦信息量较大时，容易导致数据采集通道拥挤，处理效率较低。

技术实现要素：

本发明的目的在于：为了解决现有的摄像头模组共用一个数据采集通道，一旦信息量较大，容易导致数据采集通道拥挤，处理效率低的问题，本发明提供一种蜂窝相机前端数据加速系统。

本发明为了实现上述目的具体采用以下技术方案：

一种蜂窝相机前端数据加速系统，包括由多个相机组成的蜂窝相机、基于可编程逻辑器件fpga的加速平台和光纤模块，所述加速平台包括多个前端数据采集通道、一个组帧单元和一个高速接口协议单元，所述多个前端数据采集通道与多个相机一一对应连接，用于接收相机所采集到的图像数据，并将各自接收到的图像数据传递到组帧单元，所述组帧单元接收各前端数据采集通道的图像数据，并按照预设的数据通信协议对图像数据进行数据帧组合得到组合帧，所述高速接口协议单元用于驱动光纤模块将组合帧传递到后端计算单元。

进一步的，所述多个前端数据采集通道并行运行，提供图像数据带宽和吞吐量。

进一步的，所述前端数据采集通道包括图像采集单元和fifo单元，所述图像采集单元用于将相机的图像数据实时存储于fifo单元，fifo单元采用“先进先出”工作机制将图像数据传输到组帧单元。

进一步的，所述图像采集单元和fifo单元均连接有fifo控制单元，fifo控制单元实时监测各前端数据采集通道的fifo单元的状态，实时进行图像资源调度，所述图像资源调度为图像数据切换，通过fifo控制单元与图像采集单元间的本地同步总线localbus实现。

进一步的，所述加速平台还包括作为调度核心的控制单元，所述控制单元用以控制组帧单元和高速接口协议单元，完成运行管理以及数据流向控制。

进一步的，所述组帧单元得到组合帧后，对组合帧进行crc校验，再通过高速接口协议单元驱动光纤模块将校验后的组合帧传递到后端计算单元。

进一步的，所述crc校验为crc16或crc32。

进一步的，所述高速接口协议单元为lvds总线、gtx总线、srio总线或千万兆网中的一种。

进一步的，所述可编程逻辑器件fpga构建加速平台采用verilog硬件描述语言实现，通过编译生成二进制比特流文件，将二进制比特流文件固化到固件存储器，硬件上电后可编辑逻辑器件fpga通过固件存储器自动完成二进制比特流的加载。

进一步的，所述组成蜂窝相机的多个相机的参数配置相互独立，不同相机的景深配置可以不同，也可以相同。

本发明的有益效果如下：

1、本发明为组成蜂窝相机的每一相机配置有对应的前端数据采集通道，通过每一前端数据采集通道平行计算节约图像数据的处理时间，提高处理效率，并且本发明的多个相机间的配置相互独立，可以对不同相机配置不同景深，则可获得多个景深信息，获得更多场景。

2、本发明提供有光纤模块，通过光纤模块可以根据应用需要对加速系统自由进行扩展。

3、本发明在组帧单元对组合帧进行crc校验，能够确保图像数据的正确性。

附图说明

图1是本发明具体实施方式的系统结构示意图。

图2是本发明具体实施方式的一种七目蜂窝相机示意图。

图3是本发明具体实施方式的一种超多目蜂窝相机示意图。

图4是本发明具体实施方式的组帧单元协议组帧示意图。

具体实施方式

为了本技术领域的人员更好的理解本发明，下面结合附图和以下实施例对本发明作进一步详细描述。

实施例1

如图1所示，本实施例提供一种蜂窝相机前端数据加速系统，包括由多个相机组成的蜂窝相机、基于可编程逻辑器件fpga的加速平台和光纤模块，所构建的蜂窝相机结构有多种，可以是如图2所述的七目蜂窝相机，也可以是如图3所示的超多目蜂窝相机，其中每一相机的参数配置相互独立，可以根据应用进行配置，不同相机可以是相同的景深配置，也可以是不同的景深配置；

所述加速平台包括多个前端数据采集通道、一个组帧单元、一个高速接口协议单元和控制单元，所述控制单元用以控制组帧单元和高速接口协议单元，完成运行管理以及数据流向控制，所述多个前端数据采集通道与多个相机一一对应连接，用于接收相机所采集到的图像数据，并将各自接收到的图像数据传递到组帧单元，并且多个前端数据采集通道并行运行，提供图像数据带宽和吞吐量，前端数据采集通道的个数与可编程逻辑器件fpga的资源成正比；所述前端数据采集通道包括图像采集单元和fifo单元，所述图像采集单元用于将相机的图像数据实时存储于fifo单元，fifo单元采用“先进先出”工作机制将图像数据传输到组帧单元；

本实施例采用的是基于负载均衡的fifo结构，和本领域传统的fifo结构有区别，基于负载均衡的fifo结构可以根据fifo的状态，实时监控以及调整，保证最大限度使用fifo资源和数据带宽。图像采集单元和fifo单元均与fifo控制单元相连，fifo控制单元通过实时监测各通道的fifo单元的状态，例如读/写个数、是否空、是否满、是否异常等状态，来实时进行图像资源调度。图像数据切换是通过fifo控制单元和图像采集单元间的本地同步总线localbus实现的，localbus包括读/写控制线、片选线、64位地址线、128位数据线，因采用fpga内部的搭建的总线，抗干扰能力极强，而且数据带宽很大，可以满足负载均衡调度的资源需求，保证fifo的最大使用；

所述组帧单元接收各前端数据采集通道的图像数据，在控制单元的调度下，实时从各fifo单元中获得图像数据，并按照预设的数据通信协议对图像数据进行数据帧组合得到组合帧，然后对组合帧进行crc校验，此处的crc校验为crc16或crc32，再通过高速接口协议单元驱动光纤模块将校验后的组合帧传递到后端计算单元，通过crc校验可以确保图像数据的正确性；使用数据帧组合可以更好地组织蜂窝相机的图像数据，将其实现为一个整体的数据帧，便于传输，而传统的方式均是针对不同的相机进行单独传输的，这样的方式实现方式简单，但占用数据带宽，且要采用分时复用，信道利用率较低，不适合大数据应用场合。因此，本实施例对不同景深相机的图像数据进行数据帧组合再传输，能够最大利用信道带宽；

本实施例中，所述高速接口协议单元为lvds总线、gtx总线、srio总线或千万兆网中的一种；可编程逻辑器件fpga构建加速平台采用verilog硬件描述语言实现，通过编译生成二进制比特流文件，将二进制比特流文件固化到固件存储器，硬件上电后可编辑逻辑器件fpga通过固件存储器自动完成二进制比特流的加载。

本实施例为组成蜂窝相机的每一相机配置有对应的前端数据采集通道，通过每一前端数据采集通道平行计算节约图像数据的处理时间，提高处理效率，并且本发明的多个相机间的配置相互独立，可以对不同相机配置不同景深，则可获得多个景深信息，获得更多场景。

本实施例构成的蜂窝相机能够同时拍摄获取不同的景深场景的实时图像，如图2和图3所示，本实施例的蜂窝相机的摄像头的布局与传统多目相机布局不同，本实施例采用基于正六边形结构布局相机，将相机设于正六边形的几何中心，能够在同一个类平面获得相同图像的不同景深场景图像，为图像合成提供不同角度的景深图像，同时基于正六边形的架构设计，蜂窝相机具有极佳的美学效果，并且还可以将此架构推广到正多边形，如正五边形等，结合球体结构，超多目蜂窝相机布局结构可以是球形结构，而非平面结构，将立体结构布局的蜂窝相机应用与街拍获取街道3d或4d或更高维图像时，可以得到更多场景的图像信息，进而为三维重建或四维重建提供技术支持。近年来越来越多的产品朝着精密化和智能化发展，随着产品加工制造技术的不断革新，必然会导致集成化和自动化，因此多维机器视觉发展是必然趋势，而本实施例正好提供了一种获取不同景深的图像的极佳的方式或方法。

以上所述，仅为本发明的较佳实施例，并不用以限制本发明，本发明的专利保护范围以权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。