一种任意转换局部视角的大视野三维立体成像设备和方法与流程

本发明涉及数字图像处理，具体涉及一种任意转换局部视角的大视野三维立体成像设备和方法。

背景技术：

1、大视野范围内的多视角成像是许多应用场景的需求，但是硬件设备受体积、可布局空间、成本、相机性能等诸多因素的限制，无法实现室外大场景的全局任意视角随时转换，很大程度影响工作效率和效果。

2、深度学习在计算机视觉应用中表现出很好的性能，相比于经典方法取得了显著的效果。近年来神经辐射场技术在三维视场重建中获得了广泛关注。但是其主要应用于小场景、较大范围视角布局，而且在少视角条件下效果不尽人意，所需的迭代过程所需计算量大且速度极慢，从而很难在实际应用场景在线使用。本专利在采集适配场景基础上，利用神经辐射场存储适配特定场景特征信息，充分利用多分辨相机阵列的大视野和高分辨信息；利用部分哈希特征表共享的策略提高神经辐射场的训练效果和特征通用性；进而借鉴神经辐射基础场的任意转换视角功能获取基础图像，通过训练卷积神经网络辅助图像的实时信息更新，最终高效实现任意转换局部视角的大视野三维立体成像。

3、针对这个问题，就需要一种任意转换局部视角的大视野三维立体成像设备和方法。

技术实现思路

1、本发明的目的在于解决上述现有技术中存在的难题，提供一种任意转换局部视角的大视野三维立体成像设备和方法。本发明提出了一种基于有限数量相机阵列数据采集，通过多个采集视角图像和多个视场区域图像综合计算方法合成虚拟视角实现任意视角转化的系统方法。仅利用实际易布局的离散视角和有限视场区域分布式布局的方法，提取应用场景图像的多层次细节和语义特征，以神经辐射场方式定义特有的特征库和视场转换网络解构模型的方式，最后高效实现任意视角转换后的图像。并且在视角转换过程中可以随机切换关注区域的虚拟视角图像，无需硬件成像设备的移动或镜头转动等机械运动。

2、本发明是通过以下技术方案实现的：

3、本发明提供一种任意转换局部视角的大视野三维立体成像设备，具体包括由多个相机组成的大视野相机阵列，其中，监控视野内的目标视场的区域至少被一个相机视场覆盖，其中相机按照不同的采集视角进行布置；在多个相机之间所覆盖视场可有交集或完全无重叠。

4、对多个相机进行信号采集的信号采集模块和控制模块；

5、对图像信号进行处理的图像处理模块，具体实现相机阵列所采集图像信号的配准、拼接、虚拟视角重建和转换、以及图像显示；

6、数据和图像存储模块，具体保存历史数据和图像、相机参数、特定场景预训练模型、网格化神经辐射场参数和视角变换网络模型参数。

7、进一步，本发明提供一种任意转换局部视角的大视野三维立体成像方法，具体按以下步骤执行：

8、s1:将大视野相机阵列模块采集的图像记为gk(ωk)，其视角用vk＝(ok,dk)表示，ok和dk分别表示该视角下的射线起点和终点的坐标集合，记此采集图像对应的视场区域为ωk；

9、记相机阵列中的相机总数为k；记某一感兴趣区视场为ωx，与此视场相关相机的集合为k∈λ(ωx)，得到ωx≤ωk,k∈λ(ωx)；

10、s2:对大视野相机阵列模块采集的图像基于神经辐射场的模型和特征预训练；

11、s2.1:确定目标应用场景和视场所需立体视角范围，据此布局离散视角范围，构建大视野相机阵列，此相机阵列通过多个相机覆盖所需成像视场；

12、s2.2:在目标应用场景使用大视野相机预先采集一系列的图像，总计n次采集,每一次采集定义为一个三维场景；

13、s2.3:对每次数据采集用n索引训练一个神经辐射场[1]，记为φ(n),训练过程中的低级特征的哈希查找表共享，高级特征的哈希查找表[2]和神经辐射场的多层感知机网络mlp的参数进行独立进行训练；

14、s2.4:通过安装好的相机阵列进行采集数据在所需立体视角范围内，通过随机选择视角的方式，构建网络训练数据集：

15、首先对一随机选择视角vi，对于所有n，获得s2.3中所得神经辐射场φ(n)的该视角下局部视场图像其中为一个视角渲染算子；再根据ωx，确定对应的k∈λ(ωx)，从采集的数据中提取出

16、以k∈λ(ωx)，和作为输入信息组，以gn(ωx,vi)作为输出图片，形成一条训练可用数据；

17、以k∈λ(ωx)，和gn±δ(ωx,vi)、δ为一小量，作为输入信息组，以gn(ωx,vi)作为输出图片，形成一条训练可用数据；最后改变的ωx、n获得不同数据，进行存储。

18、s2.5:在以上不同随机视角下存储的数据综合构成训练数据集，利用这些数据训练卷积神经网络，训练得到新视角图像估计网络ψθ；

19、s2.6:选取某一φ(n)作为初值，用固定位置后采集的数据微调训练得到基础神经辐射场φbase；

20、s2.7:给定任一感兴趣局部视角v*＝(o*,d*)，选择感兴趣视场ωx；计算φbase在该视角下的对视场ωx的渲染结果

21、以和当前采集的场景实时数据作为网络ψθ的输入，输出最终视角v*下的图像gv*(ωx)。

22、s2.8:按照需要把相邻视场对应的图像进行拼接和合成；

23、s2.9:把当前采集的场景实时数据加入离散化视角图像数据库，参与训练更新神经辐射场。

24、s3:基于基础神经辐射场模型任意视角渲染结果的视角变换数据训练卷积神经网络模型；

25、s4:根据实时多视角数据和已训练的卷积神经网络计算局部任意视角图像。

26、与现有技术相比，本发明的有益效果包括：

27、1、通过多个采集视角图像和多个视场区域图像综合计算方法合成虚拟视角实现任意视角转化的系统方法。仅利用实际易布局的离散视角和有限视场区域分布式布局的方法，提取应用场景图像的多层次细节和语义特征，以神经辐射场方式定义特有的特征库和视场转换网络解构模型的方式，最后高效实现任意视角转换后的图像。并且在视角转换过程中可以随机切换关注区域的虚拟视角图像，无需硬件成像设备的移动或镜头转动等机械运动。

技术特征：

1.一种任意转换局部视角的大视野三维立体成像设备，其特征在于，包括

2.根据权利要求1所述的一种任意转换局部视角的大视野三维立体成像设备，其特征在于，在多个相机之间所覆盖视场可有交集或完全无重叠。

3.一种任意转换局部视角的大视野三维立体成像方法，其特征在于，具体按以下步骤执行：

4.根据权利要求3所述的一种任意转换局部视角的大视野三维立体成像方法，其特征在于，在步骤s2中，具体按以下步骤执行：

5.根据权利要求4所述的一种任意转换局部视角的大视野三维立体成像方法，其特征在于，在步骤s2.4中，在所需立体视角范围内，通过随机选择视角的方式，构建网络训练数据集：

6.根据权利要求4所述的一种任意转换局部视角的大视野三维立体成像方法，其特征在于，在步骤s2.7中，具体按以下步骤执行：

技术总结
本发明涉及数字图像处理技术领域，公开了一种任意转换局部视角的大视野三维立体成像设备和方法。包括由多个相机组成的大视野相机阵列，其中相机按照不同的采集视角进行布置；对多个相机进行信号采集的信号采集模块和控制模块；对图像信号进行处理的图像处理模块，具体实现相机阵列所采集图像信号的配准、拼接、虚拟视角重建和转换、以及图像显示；数据和图像存储模块，具体保存历史数据和图像、相机参数、特定场景预训练模型、网格化神经辐射场参数和视角变换网络模型参数。本发明高效实现任意视角转换后的图像。并且在视角转换过程中可以随机切换关注区域的虚拟视角图像，无需硬件成像设备的移动或镜头转动等机械运动。

技术研发人员：王嵚,赵瑞峰
受保护的技术使用者：北京观曜科技有限公司
技术研发日：
技术公布日：2024/1/15