可重构大视场无缝拼接成像系统的制作方法

本发明涉及光电成像技术领域，具体涉及一种能够将多片面阵传感器进行任意可重构组装以及大面阵无缝拼接的成像装置。

背景技术：

大面阵相机以其高分辨率和宽视场，使得对地观测、测绘等工作可以获得大量的信息，节省大量拍摄时间。因此单片大面阵相机或多片面阵拼接结构的相机成为各国争相发展的主要观测相机。分析国内外遥感相机发现，大多相机都在追求增加传感器分辨率，然而受目前制造工艺的限制，大面阵图像传感器加工技术难度大、良品率低，即使现有的30K*5K像元分辨率的超大面阵CMOS图像传感器仍不能满足人们对高分辨率和大视场的需求。而多片面阵拼接的方法恰好可以很好的解决上述问题，多片面阵拼接突破了大面阵传感器制造工艺的限制，在现有传感器分辨率基础上，通过面阵拼接获得了更大视场和超高分辨率。

然而不同的应用所需求的拼接结构必定存在差异，而且所需求的分辨率和幅宽也不尽相同。

技术实现要素：

本发明为解决现有多片面阵图像传感器拼接结构无法实现一致，导致拼接效果差且无法满足应用要求等问题，提供一种可重构大视场无缝拼接成像系统。

可重构大视场无缝拼接成像系统，所述拼接成像系统包括s个成像模块；每个成像模块实现完整成像；所述每个成像模块包括焦面单元、成像控制单元、压缩单元、存储单元和数传单元；

所述焦面单元包括M0*N0个面阵图像传感器，所述面阵图像传感器通过光电感应将目标光信号转换为电信号；所述成像控制单元对焦面单元的M0*N0个面阵传感器驱动成像，所述成像控制单元接收面阵图像传感器输出的图像，并将接收的图像数据整合转换后分配至压缩单元；所述压缩对接收的图像数据实时压缩，压缩后的图像数据输出至成像控制单元，所述成像控制单元对图像数据加入帧流水号、通道编号及时间戳编码后传送至存储单元；所述存储单元接收到数传指令后将带有帧流水号、通道编号和时间戳编码的图像数据经由交换机导入主控计算机，所述主控计算机进行同时刻图像解码拼接，组成一幅无缝拼接高分辨率大面阵图像。

本发明的有益效果：本发明所述的无缝拼接成像系统能够实现多片面阵传感器图像无缝拼接，而且拼接方式可自由组合的可重构大视场无缝拼接成像系统。

本发明所述的成像系统以功能独立的成像模块为单元，根据不同的应用需求可灵活增加或减少成像模块的数量，拼接方式可重构，而且各成像模块图像可完成大视场无缝拼接。

附图说明

图1为本发明所述的可重构大视场无缝拼接成像系统的结构框图；

图2为本发明所述的可重构大视场无缝拼接成像系统中成像模块结构框图；

图3为本发明所述的可重构大视场无缝拼接成像系统中焦面单元传感器布局示意图；

图4为本发明所述的可重构大视场无缝拼接成像系统中成像控制单元的内部功能模块结构框图；

图5为本发明所述的可重构大视场无缝拼接成像系统中以2x2方式重构的四个成像模块大视场拼接成像效果图。

具体实施方式

具体实施方式一、结合图1至图5说明本实施方式，重构大视场无缝拼接成像系统，包括s个成像模块，每个成像模块图像数据输出接口采用千兆网，通信接口采用UART；s的取值主要根据成像要求决定，因为各个成像模块功能独立且完全一致，因此可任意重构组合，

每个成像模块包括焦面单元、成像控制单元、压缩单元、存储单元和数传单元。所述焦面单元包括M0*N0个面阵图像传感器，通过光电感应将目标光信号转换为电信号。成像控制单元对焦面单元的M0*N0个面阵传感器驱动成像，并接收传感器输出图像后将数据整合转换，加入帧流水号、通道编号及时间戳编码信息后分配至实时压缩单元，压缩后图像传送至存储单元。存储于存储单元的带有帧流水号、通道编号和时间戳编码的图像数据通过千兆网经由交换机导入主控计算机进行同时刻图像解码拼接，组成一幅无缝拼接高分辨率大面阵图像。

本实施方式中还包括缓存单元，所述缓存单元用于实现成像控制单元与压缩单元、存储单元以及数传单元进行数据交换时的数据缓存。

本实施方式所述的焦面单元由按照无缝拼接要求布局的M0*N0个面阵图像传感器组成，每个焦面单元的多片传感器分布于同一平面，按照所选用光学系统的焦深范围确定其共面性要求。其中面阵图像传感器可以为CMOS或CCD图像传感器。

设定图像传感器像元尺寸为a，列向和行向分辨率分别为m和n，假设图像拼接搭接像元数为k，可得到满足无缝拼接要求的相邻两片传感器的列向和行向分布间隔分别为：

x＝2*(m-k)*a

y＝2*(n-k)*a

焦面单元的图像传感器个数根据目标像元分辨率TSD和成像幅宽w1*w2计算得到，计算公式为：

$M0\≥\frac{w1-k*TSD}{TSD*s*(m-k)}$

$N0\≥\frac{w2-k*TSD}{TSD*s*(n-k)}$

本实施方式所述的焦面单元采用四个OV14810CMOS图像传感器，分辨率及帧频为4416*3312@15fps，采用像素位深为8bit，输出像素格式为串行差分MIPI，像元尺寸1.4um。

焦面单元传感器布局如图2所示，采用搭接像元为30，则焦面单元在列向和行向相邻两片传感器距离分别为12.28mm和9.19mm，目标分辨率为0.3m时成像幅宽可达到5.29km*3.97km。传感器驱动时序和高速串行差分图像接收均由成像控制单元的可编程逻辑器件完成。

本实施方式所述的成像控制单元以可编程逻辑器件为核心，所述的可编程逻辑器件包括驱动时序模块、通信模块、LVDS数据接收模块、图像格式转换模块、辅助数据整合模块、缓存控制器以及存储控制器和网络控制器。

串口通过接口芯片MAX3232与可编程逻辑器件内部的通信模块通信，所述通信模块一方面接收控制指令，指令解析后得到成像参数，另一方面发送编码后相机状态信息。驱动时序模块依据解码后的成像参数在同步脉冲触发下生成传感器驱动时序，完成各个传感器在同一时刻曝光成像。

数据转换包括LVDS数据接收模块和图像格式转换模块，图像传感器输出的图像数据通过高速串行差分信号传输到可编程逻辑器件，LVDS数据接收模块按照传感器采用的MIPI图像编码算法解码串行图像为并行图像数据，经过图像格式转换模块将其转换为1080P图像格式分配至压缩单元。

辅助数据整合模块判断每帧图像的帧起始，在每帧图像的第一行图像数据前增加一行图像辅助数据，包括帧流水号、通道编号和时间戳编码数据，帧流水号在下帧图像自动加1，通道编号用于标示拍摄图像所处的位置，时间戳在接收到同步触发脉冲后由本地时钟自动计数，精确到毫秒。缓存控制器用于实现对DDR2等缓存的存取控制，存储控制器用于实现对存储单元高速存储卡的读写控制，网络控制器用于实现对千兆以太网驱动控制。

本实施方式所述的压缩单元采用H.264视频压缩，每片压缩芯片可实现6路每秒30帧的1080P视频实时压缩。四片传感器图像数据共需要三片压缩芯片，但考虑到设计易扩展性每片传感器对应一片压缩芯片。同样，存储卡亦采用四片128GB容量的闪存，每片可存储10倍压缩的4416*3312@15fps图像约100分钟。由于现有常规图像传感器分辨率一般高于1080P，因此首先经过成像控制单元进行格式转换，然后以压缩芯片可接收的格式和速率分配至各个压缩芯片。压缩芯片采用DM8168，缓存采用Micron MT47H128M16DDR2SDRAM。缓存单元采用4片DDR2，

本实施方式所述的存储单元包含两片以上容量128GB的FLASH高速存储卡，压缩单元输出压缩数据至可编程逻辑器件，可编程逻辑器件控制图像数据缓存到缓存控制器，再通过存储控制器经由数据总线输出至FLASH高速存储卡。以常见的分辨率为4096*3072，帧频25fps，像素位宽为8bit的CMOS图像传感器为例，采用20倍帧间视频压缩后，其输出带宽为120Mbps，目前FLASH闪存卡的有效写入存储带宽一般不低于30MB/s，因此一片高速闪存能够将一片传感器输出的图像数据进行长时间存储记录。因为所选用存储卡体积极为细小，因此考虑到设计易扩展闪存卡数量可以与成像模块传感器数量相对应。带有帧流水号、通道编号和时间戳编码的图像数据由主控计算机进行同时刻图像解码拼接，便于事后回放判读和处理。目前设计中128GB存储容量可记录4096*3072@25fps图像140分钟，实现了长时间图像存储记录，而且设计采用卡槽设计，便于插拔替换。存储卡选用威刚128G容量TF卡。

本实施方式所述的数传单元采用千兆以太网接口。存储在FLASH高速存储卡的压缩数据在接收到数传指令后输出至数传单元，数据在DDR2缓存最终通过千兆网口发送给交换机，所有成像模块数据经过交换机导入主控计算机进行同时刻图像解码拼接，组成一幅无缝拼接高分辨率大面阵图像。DDR2SDRAM采用Micron MT47H128M16。

结合图5说明本实施方式，以四个成像模块2x2重构举例说明。调整成像模块的安装角度使得相邻两个成像模块内同一位置的两个图像传感器成像场景恰好错开一个图像传感器感光区域，则同向四个图像传感器的图像恰好交错无缝拼接，以2x2方式重构的四个成像模块大视场拼接成像效果图如图5所示。

本实施方式所述的成像模块的数量以及焦面传感器数量均可以根据实际需求扩展，成像模块组装方式可重构。