一种基于阵列相机系统的仿视网膜非均匀成像方法

1.本发明涉及计算成像技术、阵列相机和人工智能技术领域，尤其涉及一种基于阵列相机系统的仿视网膜非均匀成像方法。


背景技术：

2.探测感知技术通过光电成像等探测手段实现对各类目标的识别跟踪，是电子信息最前沿、最尖端、最先进技术的汇集地，是信息化作战能力的制高点，然而，传统光电探测感知系统以单相机平台为主，其成像分辨率和视场间存在相互矛盾关系，系统性能受到限制。
3.因此，如何提升探测感知系统的成像分辨率和有效视场是探测感知领域亟待解决的问题。


技术实现要素：

4.有鉴于此，本发明提供了一种基于阵列相机系统的仿视网膜非均匀成像方法，以解决现有技术中成像分辨率和视场间存在相互矛盾关系，系统性能受到限制的问题。
5.本发明提供了一种基于阵列相机系统的仿视网膜非均匀成像方法，包括：
6.s1基于阵列相机系统中相机的binning读出功能对所述阵列相机系统中相机相应子视场进行低分辨率成像；
7.s2基于所述相机的全采样读出功能对所述阵列相机系统中相机相应子视场进行高分辨率成像；
8.s3基于图像融合超分辨算法，使用残余密集网络从高分辨图像序列中获取细节信息，对相邻相机子视场的重叠区域进行超分辨率成像；
9.s4基于动态检测模式、细节识别模式和细节增强模式，实现全视场的仿视网膜非均匀成像；
10.所述步骤s4具体包括：
11.s41所述动态检测模式通过阵列相机系统在所述全视场进行所述低分辨率成像，并进行动态检测以寻找roi区，实现大范围动态搜索；
12.s42所述细节识别模式通过所述阵列相机系统对所述全视场中所述roi区进行高分辨率成像，并进行目标识别跟踪，实现目标精细感知；
13.s43所述细节增强模式通过对所述roi区进行超分辨率成像，并进行目标识别跟踪，实现目标的超精细感知。
14.进一步地，s42包括：
15.基于深度卷积神经网络的小目标识别算法对全视场图像进行小目标识别；
16.将所有所述小目标所在子视场对应的所述相机开启所述细节识别模式，对多个所述小目标同时进行高分辨成像与跟踪；
17.当多个所述小目标跨越多个所述子视场时，利用所述相机间的子视场重叠区域对多个所述小目标轨迹进行相似度评估，使得多个所述小目标跟踪时相机间的顺利衔接，实
现对小目标的精细感知。
18.进一步地，s4中所述仿视网膜非均匀成像是基于阵列相机系统实现的。
19.进一步地，所述阵列相机系统，包括：
20.类视网膜曲面状分离排布的阵列相机、智能标校系统以及控制与处理系统，
21.所述类视网膜曲面状分离排布的阵列相机采用类视网膜曲面状分离排布形式排列，以降低大视场角下的部分像差，所述阵列相机内的各相机对待探测场景的部分视场进行成像，相邻相机间有较大视场重叠；
22.所述智能标校系统，用于对放置在可三轴转动的云台上的所述阵列相机进行高精度的位姿标校；
23.所述控制与处理系统，用于对各云台位姿进行高精度调整，使得各相机子视场精确对齐，控制所述阵列相机，并对所述阵列相机获取的图像数据进行处理与计算。
24.进一步地，所述智能标校系统：
25.采用二维平面标靶进行标定，获得线性标定模型，并通过标靶中多角点检测，线性求解每个相机对应的单应性变换矩阵的初始值；
26.将所述线性标定模型转化为非线性标定模型，通过非线性优化方法求解相机镜头的畸变系数；
27.对所述初始值和所述畸变系数进行非线性智能优化，使用蝙蝠算法，在所述初始值附近的邻域形成初始种群进行启发式的迭代搜索，获得目标函数，并采用优化搜索方法优化所述目标函数，求解所述单应性变换矩阵的最优解，以达到减小误差均值的目的。
28.进一步地，所述阵列相机系统还包括地面智能监控系统和空对地智能观测系统。本发明与现有技术相比存在的有益效果是：
29.1.本发明通过多图像融合超分辨率重建算法使用深层网络从高分辨图像序列中获取更多的细节信息，通过充分利用多幅图像的有效信息，提升了重建图像质量；
30.2.本发明实现了仿视网膜非均匀成像方法，大大减小阵列相机数据获取量，在系统采样前端实现低数据冗余的压缩采样，大幅提高系统的信息获取效率；
31.3.通过基于深度卷积神经网络的小目标识别跟踪算法，进行目标特征的提取，解决模型训练不稳定问题，加快识别速度；
32.4、采用多目标识别跟踪算法，对视场内的多个目标进行识别跟踪，实现对人眼功能的超越。
附图说明
33.为了更清楚地说明本发明中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
34.图1是本发明提供的一种基于阵列相机系统的仿视网膜非均匀成像方法的流程图；
35.图2为本发明提供的一种基于人眼视网膜视觉机制的阵列相机系统的结构示意图；
36.图3为本发明提出的阵列相机系统所采用的类视网膜曲面状分离排布形式示意图；
37.图4为本发明提出的阵列相机系统中相邻相机视场重叠示意图；
38.图5为本发明提供的仿人眼注意力机制智能感知方法流程图；
39.图6为本发明提供的地面智能监控系统的结构示意图；
40.图7为本发明提供的空对地智能观测系统的结构示意图。
具体实施方式
41.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
42.下面将结合附图详细说明根据本发明的一种基于阵列相机系统的仿视网膜非均匀成像方法。
43.图1是本发明提供的一种基于阵列相机系统的仿视网膜非均匀成像方法的流程图。如图1所示，该仿视网膜非均匀成像方法包括：
44.s1基于阵列相机系统中相机的binning读出功能对阵列相机系统中相机相应子视场进行低分辨率成像；
45.s2基于相机的全采样读出功能对阵列相机系统中相机相应子视场进行高分辨率成像；
46.s3基于图像融合超分辨算法，使用残余密集网络从高分辨图像序列中获取细节信息，对相邻相机子视场的重叠区域进行超分辨率成像；
47.s4基于动态检测模式、细节识别模式和细节增强模式，实现全视场的仿视网膜非均匀成像；
48.步骤s4具体包括：
49.s41动态检测模式通过阵列相机系统在全视场进行低分辨率成像，并进行动态检测以寻找roi区，实现大范围动态搜索；
50.图2为本发明提供的一种基于人眼视网膜视觉机制的阵列相机系统的结构示意图；
51.如图2所示，双向箭头表示数据互联，其中，类视网膜曲面状分离排布的阵列相机1智能标校系统2和控制与处理系统3。
52.阵列相机系统，包括：
53.类视网膜曲面状分离排布的阵列相机、智能标校系统和控制与处理系统。
54.类视网膜曲面状分离排布的阵列相机采用类视网膜曲面状分离排布形式排列，以降低大视场角下的部分像差，阵列相机内的各相机对待探测场景的部分视场进行成像；
55.目的在于实现超分辨成像、提高系统智能标校的准确性、确保目标识别跟踪过程中相机间的顺利衔接；
56.图3为本发明提出的阵列相机系统所采用的类视网膜曲面状分离排布形式示意图。
57.图4为本发明提出的阵列相机系统中相邻相机视场重叠示意图。
58.智能标校系统，用于对放置在可三轴转动的云台上的阵列相机进行高精度的位姿标校。
59.智能标校系统的实现方式如下：
60.智能标校系统：
61.采用二维平面标靶进行标定获得线性标定模型，并通过标靶中多角点检测，线性求解每个相机对应的单应性变换矩阵的初始值；
62.将线性标定模型转化为非线性标定模型，通过非线性优化方法求解相机镜头的畸变系数；
63.对初始值和畸变系数进行非线性智能优化，使用蝙蝠算法，在初始值附近的邻域形成初始种群进行启发式的迭代搜索，获得目标函数，并采用优化搜索方法优化目标函数，求解单应性变换矩阵的最优解，以达到减小误差均值的目的。
64.控制与处理系统，用于对各云台位姿进行高精度调整，使得各相机子视场精确对齐，控制阵列相机，并对阵列相机获取的图像数据进行处理与计算。
65.s42细节识别模式通过阵列相机系统对全视场中roi区进行高分辨率成像，并进行目标识别跟踪，实现目标精细感知。
66.基于深度卷积神经网络的小目标识别算法对全视场图像进行小目标识别；
67.将所有小目标所在子视场对应的相机开启细节识别模式，对多个小目标同时进行高分辨成像与跟踪；
68.当多个小目标跨越多个子视场时，利用相机间的子视场重叠区域对多个小目标轨迹进行相似度评估，使得多个小目标跟踪时相机间的顺利衔接，实现对小目标的精细感知。
69.基于深度卷积神经网络的小目标识别跟踪算法，构建由一系列残差块组成的深度残差网络进行目标特征的提取，获得多种分辨率特征图，然后采用区域推荐网络的锚点机制，添加相对坐标预测，解决模型训练不稳定问题，加快识别速度。同时引入特征金字塔结构，使网络可以进行多尺度预测，避免细小目标的漏检问题。此外，本发明还可将超分辨图像输入进深度网络中，作为一种数据增强方式可以为目标识别提供更多细节信息，进一步提升识别结果的准确度。之后结合目标识别结果标记，使用深度学习网络提取目标外观特征实现目标跟踪。
70.基于细节信息，当有多个小目标时，采用多目标识别跟踪算法，结合深度学习网络提取小目标外观特征，对视场内多个小目标进行识别跟踪，以便识别目标精细信息。
71.当小目标识别跟踪算法检测到当前帧的多个目标以及它们的坐标和边界框范围后，本发明使用卡尔曼滤波器对下一帧目标的位置进行估计和预测，然后通过匈牙利算法计算检测边界框与预测边界框的相似度，并进行匹配得到最佳匹配对结果与跟踪轨迹。由于相机间有较大重叠区域，根据跟踪轨迹可较容易地实现相机间的顺利衔接。
72.s43细节增强模式通过对roi区进行超分辨率成像，并进行目标识别跟踪，实现目标的超精细感知。
73.图5为本发明提供的仿人眼注意力机制智能感知方法流程图。
74.基于上述阵列相机系统的发明构思，本发明提出了一种仿人眼注意力机制，其模仿人眼注意力机制，可对动态目标进行快速识别，并使高分辨中央区域始终跟随目标，同时
可结合超分辨算法超越人眼功能，实现对目标的超精细感知。
75.阵列相机系统还包括地面智能监控系统和空对地智能观测系统。
76.图6为本发明提供的地面智能监控系统的结构示意图。
77.针对阵列相机系统，本发明研制了地面智能监控系统，如图6所示，包括：阵列相机监控子系统4、智能感知子系统5、探测数据服务子系统6；
78.阵列相机监控子系统4采用类视网膜曲面状分离排布形式，且使用带有binning读出功能和全采样读出功能的相机，可实现大视场非均匀成像。智能感知子系统5经过以太网与阵列相机监控子系统4进行数据互联，可控制阵列相机并处理图像数据，完成阵列相机的智能标校，实现阵列相机的智能感知与多目标识别跟踪。探测数据服务子系统6用于结构化探测数据和处理数据，形成数据关联的数据库，并作为历史或离线数据保存下来。
79.图7为本发明提供的空对地智能观测系统的结构示意图。
80.基于上述阵列相机系统，本发明还研制了空对地智能观测系统，如图7所示，包括：机载阵列相机子系统7、地面站设备8、便携式阵列相机智能感知子系统9；其中，
81.机载阵列相机子系统7挂载在无人机或卫星平台上，阵列相机采用类视网膜曲面状分离排布形式，且使用带有binning读出功能和全采样读出功能的相机，可实现大视场非均匀成像。地面站设备8通过数传和图传与机载阵列相机子系统7通信，并通过以太网与便携式阵列相机智能感知子系统9互联。便携式智能感知子系统9中智能算法的部署加速主要由fpga(field programmable gate array，现场可编程门阵列)为核心板的图像处理模块实现，子系统可控制阵列相机并处理图像数据，完成阵列相机的智能标校，实现阵列相机的智能感知与多目标识别跟踪，处理后的结果通过态势感知与显示软件进行渲染显示。
82.传统方法，目标场景信息稀疏、非均匀的分布方式不匹配，造成了感知系统软硬件资源配置的极大浪费。而人眼视网膜视觉经过长时间进化，可以更合理地分配成像资源。人眼视网膜光学信息获取端的特点是视网膜呈曲面状可有效避免场曲及其他部分像差，视网膜上视锥细胞呈非均匀分布，可实现中央区域高分辨而周边区域低分辨的非均匀成像。图像信息处理端的特点是人眼注意力机制使人眼高分辨中央区域始终跟随目标或在多个目标间迅速切换，可较好地实现系统资源的优化配置。本发明提出的非均匀成像方式、人眼注意力机制等几个方面仿生人眼视网膜，且进一步发挥数字光电成像系统的优势，实现对人眼感知功能的超越，进而大幅提高系统的信息获取效率。
83.上述方案与现有阵列相机均匀成像的方式相比，非均匀成像方法可将系统的信息获取效率提升为5倍；智能标校的综合误差优于 0.1-0.3像元；小目标识别跟踪算法对弱小目标极限探测距离提升至单相机4倍以上，小目标平均检测率不低于95％。
84.本发明通过通过多图像融合超分辨率重建算法使用深层网络从高分辨图像序列中获取更多的细节信息，通过充分利用多幅图像的有效信息，提升了重建图像质量；本发明实现了仿视网膜非均匀成像方法，大大减小阵列相机数据获取量，在系统采样前端实现低数据冗余的压缩采样，大幅提高系统的信息获取效率；通过基于深度卷积神经网络的小目标识别跟踪算法，进行目标特征的提取，解决模型训练不稳定问题，加快识别速度，采用多目标识别跟踪算法，对视场内的多个目标进行识别跟踪，实现对人眼功能的超越。
85.上述所有可选技术方案，可以采用任意结合形成本技术的可选实施例，在此不再一一赘述。
86.本领域的普通技术人员应当理解：对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。