立体图像的三维重构与可视化方法及设备与流程

1.本发明实施例涉及目标成像技术领域，尤其涉及一种立体图像的三维重构与可视化方法及设备。


背景技术：

2.水下环境的声纳图像存在分辨率低，噪声干扰严重，多径现象，旁瓣干扰以及存在多普勒效应等问题。由声纳接收阵列采集到的声纳原始数据生成的原始声纳点云数据，存在噪点多、反射杂波多、图像体验感差等缺点。此外，在测海底地形地貌时，采用传统的波束形成方法，多帧之间的关系不明确，所以无法对多帧数据进行拼接，得到的地形地貌成像结果较为粗糙，无法满足高精度的测绘要求。因此，开发一种立体图像的三维重构与可视化方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。


技术实现要素：

3.针对现有技术存在的上述问题，本发明实施例提供了一种立体图像的三维重构与可视化方法及设备。
4.第一方面，本发明的实施例提供了一种立体图像的三维重构与可视化方法，包括：针对立体图像空间域和像素范围域进行单帧去噪，对去噪后的图像进行聚类分割，得到分类后图像；对分类后图像进行插值拟合，得到目标物平滑图像，获取每帧目标物平滑图像的绝对坐标及点的强度信息；根据绝对坐标对多帧目标物平滑图像进行配准拼接，得到第一图像，根据点的强度信息对第一图像进行三维可视化色彩渲染，完成立体图像的三维重构及可视化。
5.在上述方法实施例内容的基础上，本发明实施例中提供的立体图像的三维重构与可视化方法，所述针对立体图像空间域和像素范围域进行单帧滤波去噪，包括：其中，bf为i立体图像的p点经过双边滤波后输出的图像信息；p为当前点；为p的多维空间；i为立体图像；为i的p点；q为邻域中一点；为q的多维空间；s为p的邻域集；是否在p的领域集内；为取范数；分别为空间域权重和像素域
权重；为i的p点；为i的q点。
6.在上述方法实施例内容的基础上，本发明实施例中提供的立体图像的三维重构与可视化方法，所述对去噪后的图像进行聚类分割，得到分类后图像，包括：定位空间中第一点，获取离第一点为预设距离的第一若干点，判断第一若干点到第一点的距离，将距离小于距离阈值的点及第一点作为第一点集；在第一点集中定位第二点，获取离第二点为预设距离的第二若干点，判断第二若干点到第二点的距离，将距离小于距离阈值的点及第二点加入第一点集，如此反复直至无新点加入第一点集中，则对去噪后的图像完成聚类分割。
7.在上述方法实施例内容的基础上，本发明实施例中提供的立体图像的三维重构与可视化方法，所述根据绝对坐标对多帧目标物平滑图像进行配准拼接，得到第一图像，包括：获取前一帧目标物平滑图像和后一帧目标物平滑图像的重叠区，将所述重叠区分为第一数据集和第二数据集，采用反向投影法分别获取第一数据集的第一控制点集和第二数据集的第二控制点集，对第一控制点集和第二控制点集进行迭代配准，得到第一控制点集的第一变换矩阵和第二控制点集的第二变换矩阵，采用第一变换矩阵对前一帧图像进行变换，采用第二变换矩阵对后一帧图像进行变换，实现对前一帧目标物平滑图像和后一帧目标物平滑图像的配准拼接，得到第一图像。
8.在上述方法实施例内容的基础上，本发明实施例中提供的立体图像的三维重构与可视化方法，所述根据点的强度信息对第一图像进行三维可视化色彩渲染，包括：对第一图像进行曲面重构，构建三维表面的三角面区片，对三角面区片采用基于强度的红绿蓝色彩渲染或基于法向和曲率的色彩渲染进行着色。
9.在上述方法实施例内容的基础上，本发明实施例中提供的立体图像的三维重构与可视化方法，所述构建三维表面的三角面区片，包括：将三维点通过法线投影到一平面；对投影得到的图像进行平面区域内的三角化，根据将平面内的三维点进行拓扑连接，得到三角网格曲面模型。
10.在上述方法实施例内容的基础上，本发明实施例中提供的立体图像的三维重构与可视化方法，所述对投影得到的图像进行平面区域内的三角化，根据将平面内的三维点进行拓扑连接，得到三角网格曲面模型，包括：选取一样本三角片作为初始曲面，不断扩张初始曲面边界，根据投影图像的连接关系确定各原始三维点间的拓扑连接，形成完整的三角网格曲面，所述完整的三角网格曲面即为三角网格曲面模型。
11.第二方面，本发明的实施例提供了一种立体图像的三维重构与可视化装置，包括：第一主模块，用于针对立体图像空间域和像素范围域进行单帧去噪，对去噪后的图像进行聚类分割，得到分类后图像；第二主模块，用于对分类后图像进行插值拟合，得到目标物平滑图像，获取每帧目标物平滑图像的绝对坐标及点的强度信息；第三主模块，用于根据绝对坐标对多帧目标物平滑图像进行配准拼接，得到第一图像，根据点的强度信息对第一图像进行三维可视化色彩渲染，完成立体图像的三维重构及可视化。
12.第三方面，本发明的实施例提供了一种电子设备，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方
面的各种实现方式中任一种实现方式所提供的立体图像的三维重构与可视化方法。
13.第四方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种实现方式中任一种实现方式所提供的立体图像的三维重构与可视化方法。
14.本发明实施例提供的立体图像的三维重构与可视化方法及设备，通过对去噪后的图像进行聚类分割，对分类后图像进行插值拟合，得到目标物平滑图像，根据每帧目标物平滑图像的绝对坐标对多帧目标物平滑图像进行配准拼接后进行三维可视化色彩渲染，可以去除噪点和杂波，实现对多帧数据进行精确的配准拼接，提高了声纳图像的可视化水平及实时渲染效率。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明实施例提供的立体图像的三维重构与可视化方法流程图；图2为本发明实施例提供的立体图像的三维重构与可视化装置结构示意图；图3为本发明实施例提供的电子设备的实体结构示意图；图4为本发明实施例提供的三维图像平滑效果示意图；图5为本发明实施例提供的清江湖底多帧配准拼接效果示意图；图6为本发明实施例提供的构建三角网格曲面模型效果示意图；图7为本发明实施例提供的三维网格曲面拼接后的图像色彩渲染效果示意图。
具体实施方式
17.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
18.提出了一种立体图像的三维重构与可视化方法，通过去噪滤波，图像聚类分割，目标提取，三维重建 ，配准拼接，三维可视化渲染等流程，对声纳采集到的原始图像数据进行处理，去除噪点、杂波等干扰，并对图像进行配准拼接、曲面重建，得到与真实水下环境目标物体形状、地形地貌类似的目标图像，增强了声纳图像的可视化与真实性。基于这种思想，本发明实施例提供了一种立体图像的三维重构与可视化方法，参见图1，该方法包括：针对立体图像空间域和像素范围域进行单帧去噪，对去噪后的图像进行聚类分割，得到分类后图像；对分类后图像进行插值拟合，得到目标物平滑图像，获取每帧目标物平滑图像的绝对
坐标及点的强度信息；根据绝对坐标对多帧目标物平滑图像进行配准拼接，得到第一图像，根据点的强度信息对第一图像进行三维可视化色彩渲染，完成立体图像的三维重构及可视化。需要说明的是，点的强度信息是指像素点的色彩强度信息。
19.基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的立体图像的三维重构与可视化方法，所述针对立体图像空间域和像素范围域进行单帧滤波去噪，包括：
ꢀꢀ
（1）其中，bf为i立体图像的p点经过双边滤波后输出的图像信息；p为当前点；为p的多维空间；i为立体图像；为i的p点；q为邻域中一点；为q的多维空间；s为p的邻域集；是否在p的领域集内；为取范数；分别为空间域权重和像素域权重；为i的p点；为i的q点。
20.具体地，滤波去噪是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。具有简单、非迭代、局部的特点，可以较好地进行边缘保存。针对图像的空间域（spatial domain）和像素范围域（range domain），所以在设计的时候就会有两个权重，具体公式如（1）式所示。
21.基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的立体图像的三维重构与可视化方法，所述对去噪后的图像进行聚类分割，得到分类后图像，包括：定位空间中第一点，获取离第一点为预设距离的第一若干点，判断第一若干点到第一点的距离，将距离小于距离阈值的点及第一点作为第一点集；在第一点集中定位第二点，获取离第二点为预设距离的第二若干点，判断第二若干点到第二点的距离，将距离小于距离阈值的点及第二点加入第一点集，如此反复直至无新点加入第一点集中，则对去噪后的图像完成聚类分割。
22.具体地，场景中有多个目标，需要进行目标识别，分离出不同的目标，以便于之后在渲染的时候用不同色彩渲染不同的目标，聚类分割具体的实现方法如下：1）找到空间中某点p10，有kdtree（k维树）找到离他最近的n个点，判断这n个点到p的距离；将距离小于距离阈值r的点p12,p13,p14....放在类q里（即第一点集）；在q\p10里找到一点p12,重复1）的步骤；在q\p10,p12找到一点，重复1）的步骤，找到p22,p23,p24....全部放进类q里；当类q再也不能有新点加入了，则完成搜索了，也即对去噪后的图像完成聚类分割。对分类后图像进行插值拟合，得到目标物平滑图像，具体包括：三维重建拟合，插值的目的是平滑三维图像，补充空点，为了之后对表面重建形成三角面区片，渲染着色，得到完整的目标物体，有更好的显示。测量产生的误差会造成不规则数据，如果直接拿来曲面重建的话，会使得重建的
曲面不光滑或者有漏洞，可以采用对数据重采样来解决这样问题。可以用最小二乘法进行曲面拟合，平滑曲面，对图像进行插值，补充空点。使用最小二乘法进行三维图像平滑的效果可以参见图4，图4中灰色部分即为平滑后的图像，可以看到平滑效果较好。
23.基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的立体图像的三维重构与可视化方法，所述根据绝对坐标对多帧目标物平滑图像进行配准拼接，得到第一图像，包括：获取前一帧目标物平滑图像和后一帧目标物平滑图像的重叠区，将所述重叠区分为第一数据集和第二数据集，采用反向投影法分别获取第一数据集的第一控制点集和第二数据集的第二控制点集，对第一控制点集和第二控制点集进行迭代配准，得到第一控制点集的第一变换矩阵和第二控制点集的第二变换矩阵，采用第一变换矩阵对前一帧图像进行变换，采用第二变换矩阵对后一帧图像进行变换，实现对前一帧目标物平滑图像和后一帧目标物平滑图像的配准拼接，得到第一图像。
24.具体地，通过gps传感器，陀螺仪等得到声纳的位置坐标和方位角度，与图像数据进行融合，可以得到每帧图像的绝对坐标信息和强度。由于在测试过程中有船的摇晃，测量误差等影响，需要在对单帧数据进行完插值，拟合后进行多帧图像的配准，从而在连续多帧的显示中得到真实的好的效果。通过传感器得到声纳的位置和角度信息，可以进行图像的粗略配准，然后通过反向投影算法进行精确配准，生成新的图像。清江湖底采用多帧配准拼接的效果可以参见图5，可以清晰地看出地形起伏。中间区域为探测不到的区域，超出量程范围。对得到的数据进行测量，实际位置边缘为60
‑
65米，中间区域为90
‑
95米，拼接结果和实际地形地貌相符合。
25.基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的立体图像的三维重构与可视化方法，所述根据点的强度信息对第一图像进行三维可视化色彩渲染，包括：对第一图像进行曲面重构，构建三维表面的三角面区片，对三角面区片采用基于强度的红绿蓝色彩渲染或基于法向和曲率的色彩渲染进行着色。
26.基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的立体图像的三维重构与可视化方法，所述构建三维表面的三角面区片，包括：将三维点通过法线投影到一平面；对投影得到的图像进行平面区域内的三角化，根据将平面内的三维点进行拓扑连接，得到三角网格曲面模型。
27.基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的立体图像的三维重构与可视化方法，所述对投影得到的图像进行平面区域内的三角化，根据将平面内的三维点进行拓扑连接，得到三角网格曲面模型，包括：选取一样本三角片作为初始曲面，不断扩张初始曲面边界，根据投影图像的连接关系确定各原始三维点间的拓扑连接，形成完整的三角网格曲面，所述完整的三角网格曲面即为三角网格曲面模型。
28.具体地，构建的三角网格曲面模型可以参见图6，系统采用红绿蓝颜色对经过三维网格曲面拼接后的图像根据距离声纳的方向进行红绿蓝颜色渲染，同一距离切片的颜色一样，得到如图7所示的效果。
29.本发明实施例提供的立体图像的三维重构与可视化方法，通过对去噪后的图像进行聚类分割，对分类后图像进行插值拟合，得到目标物平滑图像，根据每帧目标物平滑图像的绝对坐标对多帧目标物平滑图像进行配准拼接后进行三维可视化色彩渲染，可以去除噪点和杂波，实现对多帧数据进行精确的配准拼接，提高了声纳图像的可视化水平及实时渲
染效率。
30.本发明实施例提供的立体图像的三维重构与可视化方法，通过双边滤波法，有效地去除了噪点和杂波；根据gps以及姿态仪信息，计算出船移动距离以及方位，结合改进的icp配准算法对多帧数据进行配准拼接，精度可以达到地形绘制要求。在保证精度的情况下实现实时渲染出湖底地形地貌。可实现实时一秒钟两帧数据，回放每秒钟10帧；引入三角面区片，移动立方体算法，将图像数据转换为网格的索引和顶点数据，用opengl分别进行图像、网格、曲面渲染；提高了声纳图像的可视化，使用户获得更良好的体验；通过cuda gpu算法，将opengl的部分功能用gpu实现加速，提升了实时渲染效率。
31.本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种立体图像的三维重构与可视化装置，该装置用于执行上述方法实施例中的立体图像的三维重构与可视化方法。参见图2，该装置包括：第一主模块，用于针对立体图像空间域和像素范围域进行单帧去噪，对去噪后的图像进行聚类分割，得到分类后图像；第二主模块，用于对分类后图像进行插值拟合，得到目标物平滑图像，获取每帧目标物平滑图像的绝对坐标及点的强度信息；第三主模块，用于根据绝对坐标对多帧目标物平滑图像进行配准拼接，得到第一图像，根据点的强度信息对第一图像进行三维可视化色彩渲染，完成立体图像的三维重构及可视化。
32.本发明实施例提供的立体图像的三维重构与可视化装置，采用图2中的若干模块，通过对去噪后的图像进行聚类分割，对分类后图像进行插值拟合，得到目标物平滑图像，根据每帧目标物平滑图像的绝对坐标对多帧目标物平滑图像进行配准拼接后进行三维可视化色彩渲染，可以去除噪点和杂波，实现对多帧数据进行精确的配准拼接，提高了声纳图像的可视化水平及实时渲染效率。
33.需要说明的是，本发明提供的装置实施例中的装置，除了可以用于实现上述方法实施例中的方法外，还可以用于实现本发明提供的其他方法实施例中的方法，区别仅仅在于设置相应的功能模块，其原理与本发明提供的上述装置实施例的原理基本相同，只要本领域技术人员在上述装置实施例的基础上，参考其他方法实施例中的具体技术方案，通过组合技术特征获得相应的技术手段，以及由这些技术手段构成的技术方案，在保证技术方案具备实用性的前提下，就可以对上述装置实施例中的装置进行改进，从而得到相应的装置类实施例，用于实现其他方法类实施例中的方法。例如：基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的立体图像的三维重构与可视化装置，还包括：第一子模块，用于实现所述针对立体图像空间域和像素范围域进行单帧滤波去噪，包括：
其中，bf为i立体图像的p点经过双边滤波后输出的图像信息；p为当前点；为p的多维空间；i为立体图像；为i的p点；q为邻域中一点；为q的多维空间；s为p的邻域集；是否在p的领域集内；为取范数；分别为空间域权重和像素域权重；为i的p点；为i的q点。
34.基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的立体图像的三维重构与可视化装置，还包括：第二子模块，用于实现所述对去噪后的图像进行聚类分割，得到分类后图像，包括：定位空间中第一点，获取离第一点为预设距离的第一若干点，判断第一若干点到第一点的距离，将距离小于距离阈值的点及第一点作为第一点集；在第一点集中定位第二点，获取离第二点为预设距离的第二若干点，判断第二若干点到第二点的距离，将距离小于距离阈值的点及第二点加入第一点集，如此反复直至无新点加入第一点集中，则对去噪后的图像完成聚类分割。
35.基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的立体图像的三维重构与可视化装置，还包括：第三子模块，用于实现所述根据绝对坐标对多帧目标物平滑图像进行配准拼接，得到第一图像，包括：获取前一帧目标物平滑图像和后一帧目标物平滑图像的重叠区，将所述重叠区分为第一数据集和第二数据集，采用反向投影法分别获取第一数据集的第一控制点集和第二数据集的第二控制点集，对第一控制点集和第二控制点集进行迭代配准，得到第一控制点集的第一变换矩阵和第二控制点集的第二变换矩阵，采用第一变换矩阵对前一帧图像进行变换，采用第二变换矩阵对后一帧图像进行变换，实现对前一帧目标物平滑图像和后一帧目标物平滑图像的配准拼接，得到第一图像。
36.基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的立体图像的三维重构与可视化装置，还包括：第四子模块，用于实现所述根据点的强度信息对第一图像进行三维可视化色彩渲染，包括：对第一图像进行曲面重构，构建三维表面的三角面区片，对三角面区片采用基于强度的红绿蓝色彩渲染或基于法向和曲率的色彩渲染进行着色。
37.基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的立体图像的三维重构与可视化装置，还包括：第五子模块，用于实现所述构建三维表面的三角面区片，包括：将三维点通过法线投影到一平面；对投影得到的图像进行平面区域内的三角化，根据将平面内的三维点进行拓扑连接，得到三角网格曲面模型。
38.基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的立
体图像的三维重构与可视化装置，还包括：第六子模块，用于实现所述对投影得到的图像进行平面区域内的三角化，根据将平面内的三维点进行拓扑连接，得到三角网格曲面模型，包括：选取一样本三角片作为初始曲面，不断扩张初始曲面边界，根据投影图像的连接关系确定各原始三维点间的拓扑连接，形成完整的三角网格曲面，所述完整的三角网格曲面即为三角网格曲面模型。
39.本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图3所示，该电子设备包括：至少一个处理器(processor)、通信接口(communications interface)、至少一个存储器(memory)和通信总线，其中，至少一个处理器，通信接口，至少一个存储器通过通信总线完成相互间的通信。至少一个处理器可以调用至少一个存储器中的逻辑指令，以执行前述各个方法实施例提供的方法的全部或部分步骤。
40.此外，上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read
‑
only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
41.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
42.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
43.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
44.在本专利中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括
……
"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
45.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。