一种嵌入式高空间高光谱分辨率视频采集系统的制作方法
【技术领域】
[0001] 本发明设及视频图像处理领域，特别设及一种在嵌入式平台下并行化实现双边滤 波算法，得到高空间分辨率和高光谱分辨率的视频采集系统。
【背景技术】
[0002] 传统光谱仪的光谱采集技术主要利用光线的散射，衍射与滤光片的光谱域带通特 性将单束光线在空间中变为单光谱光线进行采集，当光线在光谱维度上分开后，使用光传 感器就能够对不同谱段的光线光强进行独立的测量，进而能够采集得到光线的光谱信息。 但是光谱仪光学结构复杂，实现困难，价格昂贵，体积庞大，不便移动，应用受限。
[0003] 普通RGB相机是基于红绿蓝=色波段对场景采集，能够获取高空间分辨率的视频 流受传感器灵敏度、成像原理、曝光时间、有限感光波段等因素的限制，彩色相机得到的图 像和视频帖丢失了绝大部分的光谱信息，得到的图像或是视频帖细节不能很好呈现。利用 类似光谱仪原理的高灵敏度灰度相机得到的灰度图像能具有很宽光波段的光谱信息，但是 其空间分辨率有限。如果把同一场景下高空间分辨率的RGB图像和高光谱分辨率的灰度图 像通过算法融合，得到的图像具有高空间分辨率的像素值和高光谱分辨率的光谱响应值。 目前采用的算法多为双边滤波算法，其实现过程也多为x86计算机的CPU或是可并行计算 的GPU完成。但由于使用x86计算机作为处理核屯、，不方便移动，功耗也大，使其应用受限。
【发明内容】
[0004] 本发明的目的是针对上述系统对计算机的依赖和实时性要求，提供了一种可移动 的嵌入式平台下实现的高空间高光谱分辨率的视频采集系统。本系统能完成高空间高光谱 分辨率视频采集、处理、分析、显示的全过程，不依赖于外部计算机，能做到设备的小型化和 一体化，便于携带使用。
[0005] 本发明采用的技术方案为：
[0006] -种嵌入式高空间高光谱分辨率的视频采集系统，包括分别与视频采集卡连接 的RGB和灰度两路相机、嵌入式多核处理器、存储器、电源模块、显示设备和远程主机，其 中，视频采集卡、嵌入式多核处理器、存储器和电源模块集成在一块电路板上，所述视频采 集卡将采集的两路视频送至存储器，处理器对视频解码分离出RGB图像信号和灰度图像信 号并进行同步对齐校正；对校正后具有高光谱分辨率的稀疏像素点，先通过主成分分析方 法降低像素点的光谱信息维度简化计算量；然后在处理器上多线程并行化执行双边滤波的 光谱传播算法，得到视频帖所有像素点的光谱信息；再通过主成分分析方法反变换恢复高 分辨率的光谱信息；将数据存储到存储器中，通过显示设备显示采集处理分析过程；最后 将存储器中的光谱数据通过网络传输到远程主机。
[0007] 进一步地，在RGB和灰度两路相机的前端设有分光装置，分光装置将场景光线分 为相同的两束：一束通过稀疏掩膜板采样再经过棱镜色散使光波展开，由灰度相机采集， 得到光谱分辨率较高的灰度视频，另一束通过RGB相机直接采集得到空间分辨率较高的 RGB视频。
[0008] 所述双边滤波的光谱传播算法计算得到所有像素点在波长为400-1000nm间的高 分辨率光谱信息。
[0009] 优选地，所述嵌入式多核处理器采用的是NVDIA公司的tegraKl处理器，该处理器 忍片内置ARMv7架构的32位4核屯、C0RTEX-A15CPU和Kepler结构的192个CUDA核屯、GPU， 处理器CPU作为控制核屯、，负责外围设备控制及与GPU的通信，处理器GPU上的CUDA核屯、 负责双边滤波的光谱传播算法的并行化实现。
[0010] 优选地，所述存储器包括内存、闪存和数据存储器，其中，闪存采用16GByte Flash,数据存储器采用64GByte的SD卡，同时闪存和数据存储器通过100/1000M的高速W 太网网卡将数据传送至远程主机。
[0011] 进一步地，所述电路板上还集成有音频输入/输出接口、USB接口、HDMI接口、 miniPCIE接口、硬盘接口或者W上接口的组合。
[0012] 本发明W嵌入式ARM处理器为核屯、，控制前端的RGB与灰度的两路视频采集装置， 利用多核屯、处理器能多线程并行化实现双边滤波的光谱传播算法，将得到的高空间高光谱 分辨率的视频帖数据保存至存储器并将分析结果展现在显示设备上。具有W下优点：
[0013] (1)本发明采用RGB与灰度两路相机的混合式视频采集系统，可W看作是x86计算 机上类似系统的全功能移植，可W在x86计算机上开发测试和功能实现后，再整体移植到 嵌入式平台下，明显减少开发周期和成本。
[0014] (2)本发明基于双边滤波的光谱传播算法来实现视频帖中所有像素点的光谱响应 值，所选嵌入式处理器具有多核屯、特点，能多线程并行化现实双边滤波的光谱传播算法，加 速算法执行速度，在保证光谱数据准确性的同时又提高系统的实时处理能力，满足实时性 需要。
[0015] (3)本发明的系统集成在一块电路板上，将视频的采集，处理，分析和显示等多过 程一体化实现，不需要依赖于外部计算机，能做到设备的小型化和一体化，降低功耗，便于 携带，增强实用性，利于推广使用。
【附图说明】
[0016] 图1为嵌入式高空间高光谱分辨率视频系统结构示意图；
[0017] 图2为获取高空间高光谱分辨率视频系统处理流程图。
【具体实施方式】
[0018] 本发明的核屯、思想是：将前端RGB和灰度两路相机采集的视频帖送至处理器，经 过同步对齐校正后得到的RGB视频帖，其上面的一些均匀间隔的稀疏像素点既具有RGB像 素值又具有多通道光谱响应值，设计一种基于双边滤波的融合算法，将RGB视频帖中稀疏 像素点的光谱信息，通过双边滤波的处理将光谱信息传递至所有像素点。
[0019] 如图1所示的嵌入式高空间高光谱分辨率的视频系统，W多核处理器为核屯、， 与处理器忍片电连的有FLA甜忍片、RAM忍片、音频输入/输出接口、RS232UART接口、 nimiPCIe接口、SATA硬盘接口、HDMI接口和SD卡接口，一路USB3. 0和3路USB2. 0。
[0020] 上述FLA甜忍片为单忍片，采用eMMC4. 51协议，具体选用的是SanDisk公司 SDIN8DE4-16G-Q，容量为 16GByte;
[0021] 上述RAM忍片由Hynix公司的册TC4G63AFR-畑A的4颗忍片构成，总容量为 2GB}rte，主频可达 933MHz。
[0022] 本系统中的数据存储介质除了上述的16GByteFLA甜外，还需要通过SDMMC接口 外接SD卡来动态扩展存储容量，本系统实际选用的是带宽达48Mb/s容量为64GByte的 SanDisk公司的SD卡。同时，本系统也支持2. 5时或3. 5时的SATA格式硬盘，能扩展更大 的存储容量，但是需要注意的是，该系统不支持SATA硬盘的热插拔，需要系统断电，连接， 重启，才能正常使用。
[0023] 本系统中的网络接口有多种可选，一路RTL8111GSRealtek的lOO/lOOOBase-T自 适应有线化hernet网卡和一路usb2. 0的无线网卡模块，均能作为网络传输接口中将本视 频系统中原始视频数据和经处理得到的光谱信息数据高速传输到远端主机，W备后期建立 光谱数据库。
[0024] 本系统中的一路具备OTG功能的microUSB通过microUSB to host的HUB集线器 扩展为多路USB2. Ohost接口，W方便连接USbslave设备如键盘，鼠标，无线网络模块等。 [00巧]本系统下的两路相机为化intGr巧公司Grasshoppers系列工业相机，彩色相机为 GS3-U3-41S4C-C，灰度相机为GS3-U3-41S4M-C其性能参数为采用Sony的icx808 CCD传感 器，最大分辨率为2016巧016,4. IMP,帖率可达18巧S等，两个相机用视频采集卡与处理器 通过miniPCIe接口相连。
[0026] 本系统中的RS232UART接口可用于与Linux主机相连接，用作系统启动时的信息 输出接口，用于调试。在重新烧写bootloader,kernel,根文件系统时可将系统标准输出和 标准错误输出重定向至UART接口，便于调试和观察，是系统开发阶段必不可少的接口。其 常见参数设置为：115200波特率，Sbit数据位，无奇偶检验，Ibit停止位，无流控。Linux 主机和本系统中都需设置，且参数设置保持一致。
[0027] 本系统通过HDMI1. 4协议与支持HDMI1. 4的显示设备直接相连，用作系统的标 准输出接口。
[0028] 本系统选用选用的嵌入式处理器为TegraKl,其在嵌入式处理器中性能出众，特别 是GPU性能特别出众，同时也与NVDIA GPU共享CUDA架构，利于CUDA下双边滤波光谱传播 算法的跨平台移植。
[0029] TegraKl的特性简单介绍如下：
[0030] 32位对称4核屯、的ARMv7架构C0RTEX-A15,主频可达2. 3細Z,同时也有64位 ARMvS架构的双核丹佛值enver)CPU核屯、，最高主频可达2. 5GHz的版本可供选择，本系统中 选用32位4核屯、版本。
[0031]GPU采用NVIDIAKepler高性能计算架构，共有192个CUDA核屯、，处理性能到达 326G化0P。
[0032]支持CUDA6. 0,与NVDIA显卡共享相同的CUDA(Compu