基于FPGA的无人机图像采集系统及无人机的制作方法

本实用新型涉及图像采集领域，特别是涉及一种基于FPGA的无人机图像采集系统及无人机。

背景技术：

随着科技的发展，无人机类飞行设备开始进入人们的视野，逐渐深入人们的生活。无人机飞行器的应用范围越来越广，例如，在航拍、灾害控制以及测量监控等领域都有着广泛应用。与此同时，对无人机的智能飞行拍摄功能也提出了更高的要求。

目前，现有的无人机图像采集系统的性能较低；例如，传统的无人机图像采集系统受限于存储介质、存储接口以及板卡面积，从而图像存储容量有限。

技术实现要素：

为了克服现有技术的缺陷，本实用新型解决的技术问题是提供一种基于FPGA的无人机图像采集系统及无人机，用以提高无人机图像采集系统的性能。

为解决上述技术问题，本实用新型中的一种基于FPGA的无人机图像采集系统，所述系统包括摄像头、FPGA和存储装置；所述FPGA包括接口电路和图像压缩单元；

所述摄像头采集的原始图像数据传输给所述接口电路，所述接口电路解析所述原始图像数据得到数字信号图像数据，并将所述数字信号图像数据传输给所述图像压缩单元，所述图像压缩单元将所述数字信号图像数据压缩成标准类型数字图像数据，并将所述标准类型数字图像数据写入到所述存储装置中。

为解决上述技术问题，本实用新型中的一种无人机，包括上述的基于FPGA的无人机图像采集系统。

本实用新型有益效果如下：本实用新型的无人机图像采集系统及无人机有效提高现有无人机图像采集系统的性能。

附图说明

图1是本实用新型实施例中一种基于FPGA的无人机图像采集系统的结构示意图；

图2是本实用新型实施例中FPGA内部功能模块示意图；

图3是本实用新型实施例中FPGA芯片内部Camera link接口电路内部功能模块示意图；

图4是本实用新型实施例中FPGA芯片内部gige vision接口电路内部功能模块示意图；

图5是本实用新型实施例中FPGA芯片内部JPEG2000电路模块内部功能模块示意图；

图6是本实用新型实施例中FPGA芯片内部SATA接口电路内部功能模块示意图。

具体实施方式

为了提高无人机图像采集系统的性能，本实用新型提供了一种基于FPGA的无人机图像采集系统及无人机，以下结合附图以及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本实用新型，并不限定本实用新型。

为解决上述技术问题，本实用新型提供一种基于FPGA的无人机图像采集系统，如图1所示，所述系统包括摄像头、FPGA和存储装置；所述FPGA包括接口电路和图像压缩单元；

所述摄像头采集的原始图像数据传输给所述接口电路，所述接口电路解析所述原始图像数据得到数字信号图像数据，并将所述数字信号图像数据传输给所述图像压缩单元，所述图像压缩单元将所述数字信号图像数据压缩成标准类型数字图像数据，并将所述标准类型数字图像数据写入到所述存储装置中。

进一步说，所述系统还包括上位机；

所述图像压缩单元读取所述存储装置中的所述标准格式数字图像，并将读取的所述标准格式数字图像输入给上位机。

其中，所述存储装置包括固态硬盘；所述图像压缩单元通过SATA接口电路分别与所述上位机和所述固态硬盘连接。

本实用新型的无人机图像采集系统有效提高现有无人机图像采集系统的性能。本实用新型在FPGA芯片上实现Camera link接口、gige vision接口、SATA接口以及JPEG2000压缩，在FPGA上实现了专用芯片才能实现的上述功能；综合运用接口技术、图像压缩技术以及存储技术，实现了无人机的图像采集功能。该技术实现的无人机图像采集功能完全符合无人机图像采集国际通用标准，系统先进，功能完善，可拓展性强，在包括海洋信息采集、军事侦察等各种无人机应用领域具有广泛的应用价值。

如图2所示，所述接口电路包括Camera link接口电路和Gige vision接口电路；所述摄像头与所述Camera link接口电路连接或者与所述Gige vision接口电路连接。

如图3所示，所述Camera link接口电路包括IBUFDS接口、IODELAY元件、ISERDES元件和CameraLink_MDL电路模块；若所述摄像头与所述Cameralink接口电路连接，所述摄像头采集的原始图像数据经所述IBUFDS接口转换得到单端信号，所述IBUFDS接口将所述单端信号传输给所述IODELAY元件，所述IODELAY元件将所述单端信号延时预设时间后传输给所述ISERDES元件，所述ISERDES元件将所述单端信号做串并转换后传输给所述CameraLink_MDL电路模块，所述CameraLink_MDL电路模块按照Camera Link协议解析并行的单端信号得到数字信号图像数据；

也就是说，Camera link接口电路由FPGA芯片的IBUFDS接口、IODELAY元件、ISERDES元件以及CameraLink_MDL电路模块组成。IBUFDS接口作为Camera link协议的物理层实现，将传输数据的差分信号转换为单端信号，传输给IODELAY元件。IODELAY元件将接收数据做延时后传输给ISERDES元件。ISERDES元件将接收到的数据做串行-并行处理后传输给CameraLink_MDL电路模块。CameraLink_MDL电路模块将接收到的数据按照Camera Link协议解析，成为裸图像数据(数字信号图像数据)，传输给JPEG2000模块。

如图4所示，所述Gige vision接口电路包括Tranceiver元件、协议处理模块和GigeVision_MDL电路模块；所述协议处理模块包括PCS_PMA IP核、MACIP核、IP电路模块和UDP电路模块；若所述摄像头与所述Gige vision接口电路连接，所述摄像头采集的原始图像数据经所述Gige vision接口电路转换得到并行的单端信号，所述Gige vision接口电路将所述单端信号传输给所述协议处理模块，在所述协议处理模块中，所述PCS_PAM IP核、所述MAC IP核、所述IP电路模块和所述UDP电路模块分别将所述单端信号的PCS和PMA协议层、MAC协议层、IP协议层和UDP协议层剥离，得到剥离协议的单端信号；所述UDP电路模块将剥离协议的单端信号传输给所述GigeVision_MDL电路模块，所述GigeVision_MDL电路模块按照Gige vision协议解析剥离协议的单端信号得到数字信号图像数据。

具体说，Gige vision接口电路由PHY模块、FPGA芯片的Tranceiver元件、PCS_PMA IP核、MAC IP核、IP电路模块、UDP电路模块以及GigeVision_MDL电路模块组成。PHY模块将gige vision协议物理层的以太网电平转换成FPGA可以接收的lvpecl电平信号，传输给FPGA芯片的Tranceiver元件。Tranceiver元件将接收数据的串行差分信号转换成并行的单端信号，传输给PCS_PAM IP核。PCS_PMA IP核剥离输入数据的PCS和PMA协议层，将其余数据输出给MAC IP核处理。MAC IP核对输入数据做MAC层校验，校验通过后剥离MAC协议，其余数据输出给IP电路模块处理；如果本帧MAC层校验未通过，则舍弃本帧数据。IP电路模块对接收的数据进行IP协议分析，如果属于本地地址且校验通过，剥离IP协议，剩余数据传输给UDP电路模块处理，其它情况则舍弃本帧数据。UDP电路模块按照UDP协议校验接收的数据，如果校验通过，则剥离UDP协议传，剩余数据输出给GigeVision_MDL电路模块处理，其它情况则舍弃本帧数据。GigeVision_MDL电路模块按照gige vision协议解析接收的数据，成为裸图像数据，传输给JPEG2000电路模块。

如图5所示，所述图像压缩单元包括JPEG2000电路模块。JPEG2000电路模块可以采用内置JPEG2000压缩算法实现，也可以通过如下电路结构实现。

其中，所述JPEG2000电路模块包括预处理电路模块、DWT电路模块、量化电路模块和EBCOT电路模块；

所述预处理电路模块接收所述接口电路输入的所述数字信号图像数据，并将所述数字信号图像数据传输给所述DWT电路模块，所述DWT电路模块将所述数字信号图像数据进行小波变换后得到小波系数，并将所述小波系数传输给所述量化电路模块，所述量化电路模块将所述小波系数进行量化，并将量化后的小波系数传输给所述EBCOT电路模块，所述EBCOT电路模块将量化后的小波系数压缩成标准格式数字图像数据，并将所述标准类型数字图像数据写入到所述存储装置中。

也就是说，JPEG2000电路模块由FPGA芯片的预处理电路模块、DWT电路模块、量化电路模块、EBCOT电路模块组成。预处理电路模块接收Camera link接口电路或者gige vision接口电路输出的数据，对接收到的裸图像源数据进行划分，分成tile大小，之后进行DC位移和分量变换处理。DWT电路模块即小波变换模块，把图像分解为空间频域子带，具有能量更为集中，更好的压缩性能，而且可以很好的消除分块现象。量化电路模块将小波系数进行量化处理，之后按码块大小储存量化后的小波系数，采用动态内存控制体制(DMC)，降低小波系数缓存量。EBCOT电路模块包括Tier_1子模块以及Tier_2子模块。Tier_1子模块对输入的子带小波系数进行底层嵌入式块编，并输出算术编码比特流和块编码的统计信息给Tier_2子模块。Tier_2子模块进行层生成及块信息编码，最终输出JPEG2000码流。

详细说，JPEG2000电路模块接收Camera link接口电路或者gige vision接口电路输出的数据，对接收到的裸图像源数据按照JPEG2000算法进行处理，最终输出JPEG2000码流。FPGA芯片内部JPEG2000电路模块内部功能模块示意图如图5所示。由于原始图像数据较大，通过预处理模块可以大大降低数据对系统存储空间的要求。本文采用的预处理有：分片和电平平移，通过分片将原始图像分割成tile(512×512)大小的区块，每个分片进行独立压缩；电平平移使得图像数据关于零对称，有利于编码处理。采用离散小波变换对图像进行处理，得到图像的小波系数分为LL、LH、HL、HH 4个子带。通过级联，进行多级小波变换。小波系数中，高频数据分量表示图像中局部区域如图像的边缘，低频分量表示图像中的低频信息如图像的背景信息。可见通过小波变换，即使比特率不高的情况下，也能保留图像中较多的细节信息。图像通过小波变换时可进行不同级数的编解码处理，进而得到具有不同空间分辨率的图像信息。为实现较好压缩效果，需要对小波变换进行多层次分解，本实用新型采用Mallat分解。每次分解是对上一层的低频分量(LL)继续做Mallat分解。一般来讲，多数设备是串行工作方式，图像数据普遍采用逐行的扫描方式，因此，在本文设计的数据压缩系统中，图像数据以逐行扫描方式输入DWT变换模块，小波变换采用9/7有损压缩，分解结构采用5层Mallat分解。人的视觉可分辨的图像是有一定范围的，因此通过适当量化减小数据精度实现对压缩。设计的量化步长决定了压缩效果的好坏。对图像量化操作是有损压缩，会产生一定的量化误差。量化后的图像数据都是由符号和幅值表示，量化后的系数再进行下一步的编码处理。在JPEG2000系统中，将量化后的子带划分成小的码块，码块间相互独立。以码块为单元，进行嵌入式编码。嵌入式编码的基本思想是通过计算适当的码流截断点，将压缩生成的码流划分成若干子集，每一子集表示对源图像的一个压缩。嵌入式码流可在任意一处被截断，得到具有不同码率或质量的重构图像。在本设计中，模块采用了并行处理的方式来提高处理能力，EBCOT模块编码分为Tier1和Tier2两个子模块。Tier1子模块主要完成以下功能：首先，小波系数暂存于小波系数存储器中，对小波系数进行比特平面编码和过程扫描编码，经过处理的比特信息进行基于上下文的二进制算术编码。Tier2子模块主要完成以下功能：首先完成编码块的失真率计算，然后据此进行码流截断控制，之后进行码流组织，不同子带方向上的码流合并输出JPEG2000压缩码流(标准格式数字图像数据)。

如图6所示，所述SATA接口电路包括Tranceiver元件、SATA_MDL电路模块和NAND_FLASH_MDL电路模块；

在所述图像压缩单元将所述标准类型数字图像数据写入到所述固态硬盘中时，所述NAND_FLASH_MDL电路模块接收所述图像压缩单元输出的所述标准类型数字图像数据，按照固态硬盘的地址以及时序控制向所述SATA_MDL电路模块写入所述标准类型数字图像数据，所述SATA_MDL电路模块将所述标准类型数字图像数据封装成SATA协议的标准类型数字图像数据，并传输给所述Tranceiver元件，所述Tranceiver元件将所述SATA协议的标准类型数字图像数据传输给固态硬盘中存储；

在所述图像压缩单元将读取的所述标准格式数字图像输入给上位机时，所述Tranceiver元件将从固态硬盘读取的SATA协议的标准类型数字图像数据传输给所述SATA_MDL电路模块，所述SATA_MDL电路模块输入的SATA协议的标准类型数字图像数据按照SATA协议解析后，得到所述标准类型数字图像数据，并传输给所述NAND_FLASH_MDL电路模块，所述NAND_FLASH_MDL电路模块将所述标准类型数字图像数据传输给网络接口电路。

也就是说，SATA接口电路由FPGA芯片的Tranceiver元件、SATA_MDL电路模块以及NAND_FLASH_MDL电路模块组成。在向固态硬盘写入数据时，NAND_FLASH_MDL电路模块接收JPEG2000模块输出的数据，按照固态硬盘的地址以及时序控制向SATA_MDL电路模块写入数据。SATA_MDL电路模块将接收到的数据封装成SATA协议传输给Tranceiver元件。Tranceiver元件实现SATA的物理层，将数据传输给固态硬盘。在从固态硬盘读取数据时，Tranceiver元件将从固态硬盘读取的数据传输给SATA_MDL电路模块。SATA_MDL电路模块将接收到的数据按照SATA协议解析，解析后的裸数据传输给NAND_FLASH_MDL电路模块。NAND_FLASH_MDL电路模块将接收的数据传输给千兆网接口电路。

所述网络接口电路包括PHY模块、Tranceiver元件和协议处理模块；所述协议处理模块包括PCS_PMA IP核、MAC IP核、IP电路模块和UDP电路模块；

所述UDP电路模块接收所述图像压缩单元读取的所述标准格式数字图像后，将所述标准格式数字图像打包成UDP数据后传输给所述IP电路模块，所述IP电路模块将输入的UDP数据打包成IP数据后传输给所述MAC IP核，所述MAC IP核将输入的IP数据打包成MAC数据后传输给所述PCS_PMA IP核，所述PCS_PMA IP核将输入的MAC数据打包成PCS_PMA数据后传输给所述Tranceiver元件，所述Tranceiver元件将输入的PCS_PMA数据转换成串行差分信号后传输给所述PHY模块，所述PHY模块将输入的差分信号转换为以太网电平传输给所述上位机。

也就是说，千兆网接口由PHY模块、FPGA芯片的Tranceiver元件、PCS_PMAIP核、MAC IP核、IP电路模块以及UDP电路模块组成。在无人机回到地面时，千兆网接口在接收到上位机的图像回放指令后，SATA接口电路从固态硬盘中读取数据，传输到千兆网接口电路。千兆网接口将数据首先输入UDP电路模块，打包成UDP数据传输给IP电路模块。IP电路模块将接收的数据打包成IP数据传输给MAC IP核。MAC IP核将接收的数据打包成MAC层数据，传输给PCS_PMA IP核。PCS_PMA核将接收的数据打包成PCS_PMA层数据，传输给Tranceiver元件。Tranceiver元件作为千兆网协议的物理层实现，将接收到的并行数据转换成串行差分信号，传输给PHY模块。PHY模块将Tranceriver元件传输信号的电平由lvpecl电平转换为千兆网的以太网电平，连接到上位机。

本实用新型的图像采集系统硬件主要由1片FPGA芯片、一个工业摄像头和一个固态硬盘组成。其中，工业摄像头主要完成光学图像到二进制数据的光电转换功能；FPGA芯片主要完成采集数据的解析、压缩、存储控制以及回放功能；固态硬盘主要完成采集数据的存储功能；PHY模块：主要完成千兆网数据的电平转换功能。

工业摄像头可以通过Camera link接口或者gige vision接口与FPGA芯片连接，向FPGA芯片输出图像采集数据。采集到的图像数据经过FPGA芯片内部的JPEG2000电路模块进行压缩，成为标准的JPEG2000类型数据。FPGA芯片与固态硬盘之间通过SATA接口连接。FPGA芯片内部压缩后的JPEG2000图像数据通过SATA接口写入固态硬盘，在固态硬盘上存储。FPGA芯片上还实现了一个千兆网接口，在无人机回到地面时，FPGA芯片通过千兆网接口向上位机输出存储在固态硬盘的图像数据，最终实现图像采集功能。

为解决上述技术问题，本实用新型还提供一种无人机，所述无人机包括如上所述的基于FPGA的无人机图像采集系统。

尽管为示例目的，以上已经公开了本实用新型的优选实施例，但本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本实用新型的范围应当不限于上述实施例。