一种基于神经辐射场的燃气厂站三维重建方法及装置与流程

1.本发明属于三维重建技术领域，具体涉及一种基于神经辐射场的燃气厂站三维重建方法及装置。


背景技术：

2.燃气厂站真实环境有效重建是无人值守系统平稳运行的基础之一。具体而言，这一技术可提供厂站范围内的高保真地图，为实地/远程/自动化巡检、筛查、定位、导航等任务提供准确而充分的先验知识。一般情况下，燃气行业从业者习惯于获取摄制二维图像，该过程十分简单。然而，捕获并展示一个三维场景则是十分繁琐的。
3.目前，在实际运营中，燃气厂站已有诸多在计算机中进行三维展示与部署的典型方案，现有手段按照技术路线可分为如下三种：一是计算机辅助设计(cad)，多用几何形态清晰、数学表达明确的基础模块构建三维对象，主要用于展示厂站的建设概念、设计思想以及整体架构轮廓，但无法描绘出厂站实景；二是传统视图合成技术，以多个摄像机视点拍摄同一物体，并将拍摄结果合成为该物体的三维表示。这一技术失真度较高，且仅能处理背景纯净的较小物体，但无法处理大面积区域的全景；三是实景描绘技术，需专人依靠专业软件对厂站进行实地描绘，对于专业技能的要求较高，且耗费巨大的时间、经济和人力成本。
4.为了解决燃气厂站的三维场景高保真重建这一技术难题，本发明提出了一种基于神经辐射场的燃气厂站三维重建技术。本发明所提供的神经辐射场模型可输出由观察点观察到的二维图像，无需实地实景观察，当变换、累计足够的视点时即可直接模拟出人类对场景的三维观察过程。


技术实现要素：

5.为了解决现有技术中存在的上述问题，本发明提供一种基于神经辐射场的燃气厂站三维重建方法及装置。
6.为了实现上述目的，本发明采用以下技术方案。
7.第一方面，本发明提供一种基于神经辐射场的燃气厂站三维重建方法，包括以下步骤：
8.获取由成像设备采集的多视点下燃气厂站的二维图像，以及被观察点的空间坐标和视角，视角为视点o与被观察点s的连线os的方向角；
9.构建以被观察点的空间坐标和视角为输入、以用颜色值和透明度表示的二维成像结果为输出的神经辐射场模型，并利用多视点下的二维图像对所述模型进行训练；
10.将被观察点的空间坐标和视角输入训练好的模型，得到视点对应的二维成像结果，基于多个视点对应的二维成像结果进行燃气厂站三维重建。
11.进一步地，所述被观察点的空间坐标是在以任一视点o为原点的三维直角坐标系下的坐标，表示为三元组(x,y,z)，视角为连线os与y轴的夹角和连线os在平面xoz内的投影与x轴的夹角θ，表示为二元组
12.更进一步地，所述二维成像结果的成像平面为过o点且垂直于连线os的平面ψ。
13.更进一步地，所述模型为从五元组到四元组(r,g,b,α)的映射，r、g、b、α分别表示红、绿、蓝的颜色值和透明度。
14.更进一步地，所述模型的输入为被观测点和以所述被观测点为中心的3*3*3立方体的8个顶点的五元组
15.更进一步地，所述神经辐射场模型的输入端包括两个分支：第一分支为包含n个卷积核的一维卷积模块，用于将9组转化为深度特征空间的5*n型矩阵；第二分支为自注意力机制计算模块，用于获得5个变量x、y、z、之间的潜在关系，同样输出一个5*n型矩阵；两个分支的输出端将两个5*n型矩阵首尾相接合并为一个5*2n型矩阵后，再经多层感知机输出四元组(r,g,b,α)。
16.第二方面，本发明提供一种基于神经辐射场的燃气厂站三维重建装置，包括：
17.图像获取模块，用于获取由成像设备采集的多视点下燃气厂站的二维图像，以及被观察点的空间坐标和视角，视角为视点o与被观察点s的连线os的方向角；
18.模型构建模块，用于构建以被观察点的空间坐标和视角为输入、以用颜色值和透明度表示的二维成像结果为输出的神经辐射场模型，并利用多视点下的二维图像对所述模型进行训练；
19.三维重建模块，用于将被观察点的空间坐标和视角输入训练好的模型，得到视点对应的二维成像结果，基于多个视点对应的二维成像结果进行燃气厂站三维重建。
20.进一步地，所述被观察点的空间坐标是在以任一视点o为原点的三维直角坐标系下的坐标，表示为三元组(x,y,z)，视角为连线os与y轴的夹角和连线os在平面xoz内的投影与x轴的夹角θ，表示为二元组
21.更进一步地，所述二维成像结果的成像平面为过o点且垂直于连线os的平面ψ。
22.更进一步地，所述模型为从五元组到四元组(r,g,b,α)的映射，r、g、b、α分别表示红、绿、蓝的颜色值和透明度。
23.更进一步地，所述模型的输入为被观测点和以所述被观测点为中心的3*3*3立方体的8个顶点的五元组
24.更进一步地，所述神经辐射场模型的输入端包括两个分支：第一分支为包含n个卷积核的一维卷积模块，用于将9组转化为深度特征空间的5*n型矩阵；第二分支为自注意力机制计算模块，用于获得5个变量x、y、z、θ之间的潜在关系，同样输出一个5*n型矩阵；两个分支的输出端将两个5*n型矩阵首尾相接合并为一个5*2n型矩阵后，再经多层感知机输出四元组(r,g,b,α)。
25.与现有技术相比，本发明具有以下有益效果。
26.本发明通过获取由成像设备采集的多视点下燃气厂站的二维图像，以及被观察点的空间坐标和视角，构建以被观察点的空间坐标和视角为输入、以用颜色值和透明度表示的二维成像结果为输出的神经辐射场模型，并利用所述二维图像对所述模型进行训练，将被观察点的空间坐标和视角输入训练好的模型，得到视点对应的二维成像结果，基于多个
视点对应的二维成像结果进行燃气厂站三维重建，实现了燃气厂站的三维重建。本发明通过构建神经辐射场模型，可基于多个视点的二维图像实现燃气厂站三维重建。本发明获得的二维图像可重复多次使用，无需实地实景观察。本发明所述方法不仅适应于燃气厂站的三维重建，还可用于其它场景的三维重建。
附图说明
27.图1为本发明实施例一种基于神经辐射场的燃气厂站三维重建方法的流程图。
28.图2为三维直角坐标系及视角的示意图。
29.图3为成像平面的示意图。
30.图4为神经辐射场模型结构示意图。
31.图5为本发明实施例一种基于神经辐射场的燃气厂站三维重建装置的方框图。
具体实施方式
32.为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.图1为本发明实施例一种基于神经辐射场的燃气厂站三维重建方法的流程图，包括以下步骤：
34.步骤101，获取由成像设备采集的多视点下燃气厂站的二维图像，以及被观察点s的空间坐标和视角，视角为视点o与被观察点s的连线os的方向角；
35.步骤102，构建以被观察点的空间坐标和视角为输入、以用颜色值和透明度表示的二维成像结果为输出的神经辐射场模型，并利用多视点下的二维图像对所述模型进行训练；
36.步骤103，将被观察点的空间坐标和视角输入训练好的模型，得到视点对应的二维成像结果，基于多个视点对应的二维成像结果进行燃气厂站三维重建。
37.本实施例提出一种基于神经辐射场的燃气厂站三维重建方法。所述方法需要的硬件设备包括图像处理装置和具有视角计量功能的成像设备。图像处理装置用于实现图像数据处理任务，一般采用带有图形处理器的计算机。成像设备用于拍摄不同视点的燃气厂站的二维图像，可采用成本较低的加装光学视角检测仪的单镜反光相机，也可直接采用成本较高的全视角测量仪。
38.本实施例中，步骤101主要用于获取多视点下燃气厂站的二维图像。本实施例的三维重建是基于多个不同视点下拍摄的燃气厂站的二维图像实现的，因此，首先需要获得这些二维图像。当然，还需要获得每个视点下的视角和被观察点的空间坐标。所述视角实际上就是成像设备光轴的方向，或者视点o与被观察点s的连线os的方向角。如图2所示。
39.本实施例中，步骤102主要用于构建并训练神经辐射场模型。神经辐射场是一种简单而有效的技术，通过优化底层连续体辐射场，通过(非卷积)神经网络参数化，来合成复杂场景的逼真新视图。本实施例的神经辐射场模型的输入为被观察点s的空间坐标和视角，输出为二维成像结果，可用像素点的红绿蓝三个通道的颜色值和透明度表示。可利用步骤101
获得的不同视点下的二维图像构建训练数据集对模型进行训练确定模型参数。训练数据集中的输出端真值(即标签值)从二维图像中获得，输入端的视角可从成像设备的位姿信息中直接获取，输入端的空间坐标不能直接获得，可采用运动结构恢复算法(sfm)和多视角立体构型算法(mvs)计算获得。下面给出一种具体的计算方法。
40.对于同一被测物于两个不同位置pos1和pos2拍摄成像，两个位置的成像设备内参矩阵可直接读取，分别记为k1、k2。对于两个成像结果(即两幅图像)中的具有相同成像内容的像素进行标定，标定后经由现已开源的直接线性变换迭代算法，得到两幅图像的配对关系基础矩阵f，由下式得到本征矩阵e：
41.e＝k1fk242.对e进行奇异值分解后得到转换矩阵r和偏置向量t。由此可得到由图像中的像素坐标(t
x
,ty,tz)到真实空间坐标(x,y,z)的转换：
43.(x,y,z)
t
＝r
t
(t
x
,ty,tz)
t-r
t
t
44.式中，上标“t”表示求转置。
45.本实施例中，步骤103主要用于利用训练好的模型实现燃气厂站三维重建。模型训练好以后，只要输入一个视点被观察点的空间坐标和视角，模型输出即为所述视点对应的二维成像结果。基于多个视点对应的二维成像结果进行燃气厂站三维重建，就可以得到燃气厂站的三维图像。本实施例的三维重建方法，不需要实时现场拍摄燃气厂站的图像，也就是说已拍摄的图像可以重复多次使用。当实际场景发生变化时，可通过拍摄新的场景图像重新进行模型训练更新模型参数，使重建的三维图像适用场景的变化。
46.作为一可选实施例，所述被观察点的空间坐标是在以任一视点o为原点的三维直角坐标系下的坐标，表示为三元组(x,y,z)，视角为连线os与y轴的夹角和连线os在平面xoz内的投影与x轴的夹角θ，表示为二元组
47.本实施例给出了空间坐标系的建立方法和视角的具体定义。本实施例的空间坐标为三维直角坐标系，如图2所示，3个坐标轴分别为x轴、y轴、z轴，坐标原点为任一个视点。坐标原点也可以选任一空间点，本实施例选任一个视点为坐标原点，可使所述视点的坐标为0，可简化与所述视点坐标有关的计算。被观察点的空间坐标可表示为三元组(x,y,z)。由于是三维空间，因此视角用两个角度组成的二元组表示，其中为连线os与y轴的夹角，θ为连线os在平面xoz内的投影与x轴的夹角。视角也可以用其它两个角度的组合表示，比如常用的俯仰角和方位角。
48.作为一可选实施例，所述二维成像结果的成像平面为过o点且垂直于连线os的平面ψ。
49.本实施例对成像平面进行了限定。在视点为o时，成像平面是过o点且垂直于o点与被观察点s连线os的平面ψ，也就是以os为法线的平面ψ，如图3所示。
50.作为一可选实施例，所述模型为从五元组到四元组(r,g,b,α)的映射，r、g、b、α分别表示红、绿、蓝的颜色值和透明度。
51.本实施例对神经辐射场模型的输入输出变量的表示方法。所述模型的输入变量可表示为五元组输出可表示为四元组(r,g,b,α)，其中r、g、b、α分别表示红、绿、蓝的颜色值和透明度。所述模型可以看作是从五元组绿、蓝的颜色值和透明度。所述模型可以看作是从五元组到四元组(r,g,b,α)
的映射。
52.作为一可选实施例，所述模型的输入为被观测点和以所述被观测点为中心的3*3*3立方体的8个顶点的五元组
53.本实施例将所述模型输入的点由一个扩展为9个。如图4所示，输入的黑色立方体表示被观测点，其它8个立方体位于以该观测点为中心的3*3*3立方体的8个顶点上。这样处理的理由在于，单一被观测点的尺度极为细微，计算所得值易受到辐射场中的光学测量误差影响，因此，本实施例采用的神经网络额外选取了被观测点临近的8个点，共计9个被观测点，也就是将9个五元组作为输入，以此削减误差带来的影响。
54.作为一可选实施例，所述神经辐射场模型的输入端包括两个分支：第一分支为包含n个卷积核的一维卷积模块，用于将9组转化为深度特征空间的5*n型矩阵；第二分支为自注意力机制计算模块，用于获得5个变量x、y、z、θ之间的潜在关系，同样输出一个5*n型矩阵；两个分支的输出端将两个5*n型矩阵首尾相接合并为一个5*2n型矩阵后，再经多层感知机输出四元组(r,g,b,α)。
55.本实施例给出了神经辐射场模型的一种网络结构。所述模型的网络结构如图4所示，在输入端引出了两个分支：第一个分支为包含n个卷积核的一维卷积模块，所述一维卷积为已经公开发表并开源使用的工具，其用途为采用单向扫描的卷积计算方式，将9组转化为深度特征空间的5*n型矩阵；另一个分支为自注意力机制计算模块，该模块为已经公开发表并开源使用的工具，其用途为挖掘出x、y、z、θ这5个变量之间的潜在关系，也得到一个新的5*n型矩阵。此后，将两个5*n型矩阵首尾连接，合并为一个5*2n型矩阵，该矩阵经过多层感知机后(全连接层)直接回归一组(r,g,b,α)。为了便于图像处理单元进行并行计算，n设置为2的幂，如64＝26。
56.图5为本发明实施例一种基于神经辐射场的燃气厂站三维重建装置的组成示意图，所述装置包括：
57.图像获取模块11，用于获取由成像设备采集的多视点下燃气厂站的二维图像，以及被观察点的空间坐标和视角，视角为视点o与被观察点s的连线os的方向角；
58.模型构建模块12，用于构建以被观察点的空间坐标和视角为输入、以用颜色值和透明度表示的二维成像结果为输出的神经辐射场模型，并利用多视点下的二维图像对所述模型进行训练；
59.三维重建模块13，用于将被观察点的空间坐标和视角输入训练好的模型，得到视点对应的二维成像结果，基于多个视点对应的二维成像结果进行燃气厂站三维重建。
60.本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。
61.作为一可选实施例，所述被观察点的空间坐标是在以任一视点o为原点的三维直角坐标系下的坐标，表示为三元组(x,y,z)，视角为连线os与y轴的夹角和连线os在平面xoz内的投影与x轴的夹角θ，表示为二元组
62.作为一可选实施例，所述二维成像结果的成像平面为过o点且垂直于连线os的平面ψ。
63.作为一可选实施例，所述模型为从五元组到四元组(r,g,b,α)的映射，r、g、b、α分别表示红、绿、蓝的颜色值和透明度。
64.作为一可选实施例，所述模型的输入为被观测点和以所述被观测点为中心的3*3*3立方体的8个顶点的五元组
65.作为一可选实施例，所述神经辐射场模型的输入端包括两个分支：第一分支为包含n个卷积核的一维卷积模块，用于将9组转化为深度特征空间的5*n型矩阵；第二分支为自注意力机制计算模块，用于获得5个变量x、y、z、θ之间的潜在关系，同样输出一个5*n型矩阵；两个分支的输出端将两个5*n型矩阵首尾相接合并为一个5*2n型矩阵后，再经多层感知机输出四元组(r,g,b,α)。
66.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。