专利名称：一种相控阵三维声纳图像离线处理系统和方法
技术领域：
本发明属于相控阵三维声纳技术领域，具体涉及一种相控阵三维声纳图像离线处 理系统和方法。
背景技术：
海洋科技是海洋产业的第一生产力，也是海洋军事的第一战斗力。海洋高新技术 被公认为是世界新科技革命的主要领域之一，它的前沿性、独占性、带动性和综合性决定了 它具有科技的战略制高点性质。随着海洋开发的日益深入，用于水下勘探的相关技术越来 越受到人们重视。作为水下探测的一个重要分支，水下声纳成像技术在水下探测领域诸多 场合发挥着不可替代的作用，侧扫声纳、多波束测深声纳、测深侧扫声纳、合成孔径声纳等 声纳技术不断涌现。相控阵三维声学摄像声纳作为三维图像声纳，能够获得距离、水平、垂 直三维空间的目标信息，与目前通用的图像声纳相比具有图像清晰、可视性好等特点。为了 适应各种水下潜器的水下作业需要，必须同时获得距离、角度和深度三维信息的分辨能力。 但由于技术难度较大，世界上只有少数国家开展了水下三维成像系统的研究工作，国际上 比较先进的是挪威的Echoscope三维成像声纳系列。因此，研究相控阵三维声纳图像处理 系统具有重要的工程实用价值和理论指导意义。
发明内容
本发明提供了一种相控阵三维声纳图像离线处理系统和方法，结构谨严、高精度、 图像清晰、交互方便、可扩展性强，有效地实现了三维声纳图像的离线处理功能。一种相控阵三维声纳图像离线处理系统，包括(1)三维声纳图像数据读取模块，包括GPS坐标信息读取模块、姿态信息读取模 块、以及声纳点数据读取和解析模块，用于以帧为单位从硬盘读取GPS坐标、姿态信息和声 纳点数据，对声纳点数据进行解析，并将球面坐标转换为世界坐标系中的X，1，ζ三维坐标；(2)单帧多层重建模块，包括网格搜索子模块和三角面片连接子模块；所述的网格搜索子模块，用于确定三维声纳点所在的扫描波束和层数信息以及反 射强度信息，并将每个扫描波束上的声纳点按照层数顺序进行排序，然后按照预设边长大 小的网格搜索相邻声纳点；所述的预设的边长大小由重建精度确定，重建精度越高，预设的 边长越小；所述的三角面片连接子模块，用于将搜索到的声纳点依次连接成三角面片，便于 后续插值处理；(3)精确配准模块，包括重叠区域判断子模块、两两配准子模块和拟牛顿最优化子 模块；所述的重叠区域判断子模块，用于将单帧重建的图片两两配对组合，并获取每个 配对组合中两帧图片的边界坐标信息，从而判断两帧图片之间是否有重叠部分，并对有重 叠区域的配对组合进行光栅化插值，记录重叠区域内的声纳点的个数，以判断重叠区域的大小；所述的两两配准子模块，用于对每个配对组合中两帧图片重叠区域内的声纳点进 行最近邻点迭代处理，并对处于重叠区域边界的声纳点进行消除后处理，将每个配对组合 中两帧图片进行配准，得到表征所述的两帧图片之间的旋转或平移关系的配准矩阵；所述的拟牛顿最优化子模块，用于将所有的配准矩阵进行拟牛顿最优化处理，得 到各帧图片相对于第一桢图片的全局最优配准矩阵，并作用于各帧图片(即根据所述的全 局最优配准矩阵对各帧图片进行旋转或平移)，将各帧图片坐标配准到第一帧图片的坐标 系下；(4)拼接融合模块，包括分辨率设置子模块、光栅化采样子模块、高频成分去除子 模块、两帧融合子模块，以及再重建与可视化子模块；所述的分辨率设置子模块，用于设置分辨率，可以根据低精度快速显示和高精度 精细显示的不同要求分别设置不同级别的分辨率；所述的光栅化采样子模块，用于根据所设分辨率沿X，y，ζ三个方向依次对声纳点 进行光栅化网格采样处理，得到各个采样点的位置、方向和权重信息；所述的高频成分去除子模块，用于对同一帧中，方向相反，且在同一条光栅网格边 上的两点删除其一，消除高频成分；所述的两帧融合子模块，用于对分属于不同的两帧，但方向相同，并且位于所述的 光栅化网格大小确定的距离范围内的两声纳点进行融合；所述的再重建与可视化子模块，用于对融合完后的所有声纳点进行三角面片的重 建，使多帧重建为一个整体，并进行三维可视化显示。一种相控阵三维声纳图像离线处理方法，包括(1)三维声纳图像数据读取步骤以帧为单位从硬盘读取GPS坐标、姿态信息和声 纳点数据，对声纳点数据进行解析，并将球面坐标转换为世界坐标系中的X，1，Z三维坐标；(2)单帧多层重建步骤根据由步骤(1)读取的三维声纳图像数据，确定三维声纳 点所在的扫描波束、层数以及反射强度信息，并将每个扫描波束上的声纳点按照层数顺序 进行排序，然后按照预设边长大小的网格搜索相邻声纳点，再将搜索到的声纳点依次连接 成三角面片进行单帧多层重建；所述的预设的边长大小由重建精度确定，重建精度越高，预 设的边长越小；(3)精确配准步骤(3. 1)重叠区域判断步骤将单帧多层重建的图片两两配对组合，并保证组合不 重复；获取每个配对组合中两帧图片的边界坐标信息，进而判断两帧图片之间是否有重叠 部分，并对有重叠区域的配对组合进行光栅化插值，记录重叠区域内的声纳点的个数，以判 断重叠区域的大小；(3. 2)两两配准子步骤对每个配对组合中两帧图片重叠区域内的声纳点进行最 近邻点迭代处理，并对处于重叠区域边界的声纳点进行消除后处理，将每个配对组合中两 帧图片进行配准，得到表征所述的两帧图片之间的旋转或平移关系的配准矩阵；(3. 3)拟牛顿最优化子步骤将所有的配准矩阵进行拟牛顿最优化处理，得到各 帧图片相对于第一桢图片的全局最优配准矩阵，并作用于各帧图片(即根据所述的全局 最优配准矩阵对各帧图片进行旋转或平移)，将各帧图片坐标配准到第一帧图片的坐标系下；(4)拼接融合可视化步骤通过拼接将步骤(3)中配准后的各帧图像融合到全局 图像中，包括(4. 1)设置分辨率，可以根据低精度快速显示和高精度精细显示的不同要求分别 设置不同级别的分辨率；(4. 2)光栅化采样根据所设分辨率沿X，y，ζ三个方向依次对声纳点进行光栅化 网格采样处理，得到各个采样点的位置、方向和权重信息；(4.3)去除高频成分对同一帧中，方向相反，且在同一条光栅网格边上的两点删 除其一，消除高频成分；(4.4)两帧融合对分属于不同的两帧，但方向相同，并且位于所述的光栅化网格 大小确定的距离范围内的两声纳点进行融合；(4. 5)再重建与可视化子模块，对融合完后的所有声纳点进行三角面片的重建，使 多帧重建为一个整体，并进行三维可视化显示。本发明中，所述的最近邻点迭代的过程如下a.对于在所述的重叠区域内一帧图片上的声纳点集合Y中的每个声纳点，计算它 在所述的重叠区域内另一帧图片上的声纳点集合X中的最近点；b.通过步骤a，得到两个声纳点集合Y和X之间相应的变换矩阵；c.根据步骤b中的变换矩阵，对声纳点集合Y进行旋转或平移；d.计算变换后两帧图片上所有相互对应的声纳点对之间的距离之和的值，如果该 值小于设定的阈值，则迭代结束；否则，回到步骤a重复上述的过程。相对于现有技术，本发明具有以下有益的技术效果本发明中图像配准采用最近邻近点迭代配合外围点消除法，并进行拟牛顿最优 化，提高了配准精度；本发明中图像拼接融合以及再重建采用多级分辨率，同时支持低精度 的快速显示和高精度的精细显示要求。
图1为本发明相控阵三维声纳图像离线处理系统的结构示意图。
具体实施例方式下面结合附图和实施例来详细说明本发明，但本发明并不仅限于此。如图1所示，一种相控阵三维声纳图像离线处理系统，包括(1)三维声纳图像数据读取模块100，包括GPS坐标信息读取模块101、姿态信息读 取模块102、以及声纳点数据读取和解析模块103，分别用于以帧为单位从硬盘读取GPS坐 标、姿态信息和声纳点数据，对声纳点数据进行解析，将球面坐标转换为世界坐标系中的X， y, ζ三维坐标。(2)单帧重建模块110，包括网格搜索子模块111和三角面片连接子112。网格搜索子模块111，用于确定三维声纳点所在的扫描波束和层数信息以及反射 强度信息，并将每个扫描波束上的声纳点按照层数顺序进行排序，然后按照预设边长大小 的网格搜索相邻声纳点；其中，预设的边长大小由重建精度确定，重建精度越高，预设的边长越小。三角面片连接子模块112，用于将搜索到的声纳点按依次连接成三角面片，便于后 续插值处理。(3)精确配准模块120，包括重叠区域判断子模块121、两两配准子模块122和拟牛 顿最优化子模块123 ；重叠区域判断子模块121，用于将单帧重建的图片两两配对组合，并获取每个配 对组合中两帧图片的边界坐标信息，从而判断两帧图片之间是否有重叠部分，并对有重叠 区域的配对组合进行光栅化插值，记录重叠区域内的声纳点的个数，以判断重叠区域的大两两配准子模块122，用于对每个配对组合中两帧图片重叠区域内的声纳点进行 最近邻点迭代处理，并对处于重叠区域边界的声纳点进行消除后处理，将每个配对组合中 两帧图片进行配准，得到表征所述的两帧图片之间的旋转或平移关系的配准矩阵；拟牛顿最优化子模块123，用于将所有的配准矩阵进行拟牛顿最优化处理，得到 各帧图片相对于第一桢图片的全局最优配准矩阵，并作用于各帧图片(即根据所述的全局 最优配准矩阵对各帧图片进行旋转或平移)，将各帧图片坐标配准到第一帧图片的坐标系 下；(4)拼接融合模块130，包括多级别分辨率设置子模块131、光栅化采样子模块 132、高频成分去除子模块133、两帧融合子模块134，以及再重建与可视化子模块135 ；多级别分辨率设置子模块131，用于设置分辨率，可以根据低精度快速显示和高精 度精细显示的不同要求分别设置不同级别的分辨率；光栅化采样子模块132，用于根据所设分辨率沿X，y, ζ三个方向依次对声纳点进 行光栅化网格采样处理，得到各个采样点的位置、方向和权重信息；高频成分去除子模块133，用于对同一帧中，方向相反，且在同一条光栅网格边上 的两点删除其一，消除高频成分；两帧融合子模块134，用于对分属于不同的两帧，但方向相同，并且位于所述的光 栅化网格大小确定的距离范围内的两声纳点进行融合；再重建与可视化子模块135，用于对融合完后的所有声纳点进行三角面片的重建， 使多帧重建为一个整体，并进行三维可视化显示。采用上述系统进行相控阵三维声纳图像离线处理方法，包括以下步骤(1)三维声纳图像数据读取步骤以帧为单位从硬盘读取GPS坐标、姿态信息和声 纳点数据，对声纳点数据进行解析，并将球面坐标转换为世界坐标系中的X，1，ζ三维坐标；(2)单帧多层重建步骤根据由步骤(1)读取的三维声纳图像数据，确定三维声纳 点所在的扫描波束、层数以及反射强度信息，并将每个扫描波束上的声纳点按照层数顺序 进行排序，然后按照预设边长大小的网格搜索相邻声纳点，再将搜索到的声纳点依次连接 成三角面片进行单帧多层重建；所述的预设的边长大小由重建精度确定，重建精度越高，预 设的边长越小；(3)精确配准步骤(3. 1)重叠区域判断步骤将单帧多层重建的图片两两配对组合，并保证组合不 重复；获取每个配对组合中两帧图片的边界坐标信息，进而判断两帧图片之间是否有重叠部分，并对有重叠区域的配对组合进行光栅化插值，记录重叠区域内的声纳点的个数，以判 断重叠区域的大小；(3. 2)两两配准子步骤对每个配对组合中两帧图片重叠区域内的声纳点进行最 近邻点迭代处理，并对处于重叠区域边界的声纳点进行消除后处理，将每个配对组合中两 帧图片进行配准，得到表征所述的两帧图片之间的旋转或平移关系的配准矩阵；(3. 3)拟牛顿最优化子步骤将所有的配准矩阵进行拟牛顿最优化处理，得到各 帧图片相对于第一桢图片的全局最优配准矩阵，并作用于各帧图片(即根据所述的全局 最优配准矩阵对各帧图片进行旋转或平移)，将各帧图片坐标配准到第一帧图片的坐标系 下；(4)拼接融合可视化步骤通过拼接将步骤(3)中配准后的各帧图像融合到全局 图像中，包括(4. 1)设置分辨率，可以根据低精度快速显示和高精度精细显示的不同要求分别 设置不同级别的分辨率；(4. 2)光栅化采样根据所设分辨率沿X，y，ζ三个方向依次对声纳点进行光栅化 网格采样处理，得到各个采样点的位置、方向和权重信息；(4.3)去除高频成分对同一帧中，方向相反，且在同一条光栅网格边上的两点删 除其一，消除高频成分；(4.4)两帧融合对分属于不同的两帧，但方向相同，并且位于所述的光栅化网格 大小确定的距离范围内的两声纳点进行融合；(4. 5)再重建与可视化子模块，对融合完后的所有声纳点进行三角面片的重建，使 多帧重建为一个整体，并进行三维可视化显示。本实施例中，最近邻点迭代的过程如下a.对于在所述的重叠区域内一帧图片上的声纳点集合Y中的每个声纳点，计算它 在所述的重叠区域内另一帧图片上的声纳点集合X中的最近点；b.通过步骤a，得到两个声纳点集合Y和X之间相应的变换矩阵；c.根据步骤b中的变换矩阵，对声纳点集合Y进行旋转或平移；d.计算变换后两帧图片上所有相互对应的声纳点对之间的距离之和的的值，如果 该值小于设定的阈值，则迭代结束；否则，回到步骤a重复上述的过程。
权利要求
1.一种相控阵三维声纳图像离线处理系统，其特征在于，包括(1)三维声纳图像数据读取模块，包括GPS坐标信息读取模块、姿态信息读取模块、以 及声纳点数据读取和解析模块，用于以帧为单位从硬盘读取GPS坐标、姿态信息和声纳点 数据，对声纳点数据进行解析，并将球面坐标转换为世界坐标系中的X，1，ζ三维坐标；(2)单帧多层重建模块，包括网格搜索子模块和三角面片连接子模块；所述的网格搜索子模块，用于确定三维声纳点所在的扫描波束和层数信息以及反射强 度信息，并将每个扫描波束上的声纳点按照层数顺序进行排序，然后按照预设边长大小的 网格搜索相邻声纳点；所述的三角面片连接子模块，用于将搜索到的声纳点依次连接成三角面片，便于后续 插值处理；(3)精确配准模块，包括重叠区域判断子模块、两两配准子模块和拟牛顿最优化子模块；所述的重叠区域判断子模块，用于将单帧重建的图片两两配对组合，并获取每个配 对组合中两帧图片的边界坐标信息，从而判断两帧图片之间是否有重叠部分，并对有重叠 区域的配对组合进行光栅化插值，记录重叠区域内的声纳点的个数，以判断重叠区域的大 小；所述的两两配准子模块，用于对每个配对组合中两帧图片重叠区域内的声纳点进行最 近邻点迭代处理，并对处于重叠区域边界的声纳点进行消除后处理，将每个配对组合中两 帧图片进行配准，得到表征所述的两帧图片之间的旋转或平移关系的配准矩阵；所述的拟牛顿最优化子模块，用于将所有的配准矩阵进行拟牛顿最优化处理，得到各 帧图片相对于第一桢图片的全局最优配准矩阵，并作用于各帧图片，将各帧图片坐标配准 到第一帧图片的坐标系下；(4)拼接融合模块，包括分辨率设置子模块、光栅化采样子模块、高频成分去除子模块、 两帧融合子模块，以及再重建与可视化子模块；所述的分辨率设置子模块，用于设置分辨率；所述的光栅化采样子模块，用于根据所设分辨率沿X，1，ζ三个方向依次对声纳点进行 光栅化网格采样处理，得到各个采样点的位置、方向和权重信息；所述的高频成分去除子模块，用于对同一帧中，方向相反，且在同一条光栅网格边上的 两点删除其一，消除高频成分；所述的两帧融合子模块，用于对分属于不同的两帧，但方向相同，并且位于所述的光栅 化网格大小确定的距离范围内的两声纳点进行融合；所述的再重建与可视化子模块，用于对融合完后的所有声纳点进行三角面片的重建， 使多帧重建为一个整体，并进行三维可视化显示。
2.如权利要求1所述的相控阵三维声纳图像离线处理系统，其特征在于，所述的分辨 率设置子模块根据低精度快速显示和高精度精细显示的不同要求分别设置不同级别的分 辨率。
3.如权利要求1所述的相控阵三维声纳图像离线处理系统，其特征在于，所述的最近 邻点迭代的过程如下a.对于在所述的重叠区域内一帧图片上的声纳点集合Y中的每个声纳点，计算它在所述的重叠区域内另一帧图片上的声纳点集合X中的最近点；b.通过步骤a，得到两个声纳点集合Y和X之间相应的变换矩阵；c.根据步骤b中的变换矩阵，对声纳点集合Y进行旋转或平移；d.计算变换后两帧图片上所有相互对应的声纳点对之间的距离之和的值，如果该值小 于设定的阈值，则迭代结束；否则，回到步骤a重复上述的过程。
4.一种相控阵三维声纳图像离线处理方法，其特征在于，包括(1)三维声纳图像数据读取步骤以帧为单位从硬盘读取GPS坐标、姿态信息和声纳点 数据，对声纳点数据进行解析，并将球面坐标转换为世界坐标系中的X，1，ζ三维坐标；(2)单帧多层重建步骤根据由步骤(1)读取的三维声纳图像数据，确定三维声纳点所 在的扫描波束、层数以及反射强度信息，并将每个扫描波束上的声纳点按照层数顺序进行 排序，然后按照预设边长大小的网格搜索相邻声纳点，再将搜索到的声纳点依次连接成三 角面片进行单帧多层重建；(3)精确配准步骤(3. 1)重叠区域判断步骤将单帧多层重建的图片两两配对组合，并保证组合不重复； 获取每个配对组合中两帧图片的边界坐标信息，进而判断两帧图片之间是否有重叠部分， 并对有重叠区域的配对组合进行光栅化插值，记录重叠区域内的声纳点的个数，以判断重 叠区域的大小；(3. 2)两两配准子步骤对每个配对组合中两帧图片重叠区域内的声纳点进行最近邻 点迭代处理，并对处于重叠区域边界的声纳点进行消除后处理，将每个配对组合中两帧图 片进行配准，得到表征所述的两帧图片之间的旋转或平移关系的配准矩阵；(3. 3)拟牛顿最优化子步骤将所有的配准矩阵进行拟牛顿最优化处理，得到各帧图 片相对于第一桢图片的全局最优配准矩阵，并作用于各帧图片，将各帧图片坐标配准到第 一帧图片的坐标系下；(4)拼接融合可视化步骤通过拼接将步骤(3)中配准后的各帧图像融合到全局图像 中，包括(4. 1)设置分辨率；(4. 2)光栅化采样根据所设分辨率沿X，y，ζ三个方向依次对声纳点进行光栅化网格 采样处理，得到各个采样点的位置、方向和权重信息；(4. 3)去除高频成分对同一帧中，方向相反，且在同一条光栅网格边上的两点删除其 一，消除高频成分；(4. 4)两帧融合对分属于不同的两帧，但方向相同，并且位于所述的光栅化网格大小 确定的距离范围内的两声纳点进行融合；(4. 5)再重建与可视化子模块，对融合完后的所有声纳点进行三角面片的重建，使多帧 重建为一个整体，并进行三维可视化显示。
5.如权利要求4所述的相控阵三维声纳图像离线处理方法，其特征在于，所述的设置 分辨率中，根据低精度快速显示和高精度精细显示的不同要求分别设置不同级别的分辨 率。
6.如权利要求4所述的相控阵三维声纳图像离线处理方法，其特征在于，所述的最近 邻点迭代的过程为a.对于在所述的重叠区域内一帧图片上的声纳点集合Y中的每个声纳点，计算它在所 述的重叠区域内另一帧图片上的声纳点集合X中的最近点；b.通过步骤a，得到两个声纳点集合Y和X之间相应的变换矩阵；c.根据步骤b中的变换矩阵，对声纳点集合Y进行旋转或平移；d.计算变换后两帧图片上所有相互对应的声纳点对之间的距离之和的值，如果该值小 于设定的阈值，则迭代结束；否则，回到步骤a重复上述的过程。
全文摘要
本发明公开了一种相控阵三维声纳图像离线处理系统和方法，系统包括三维声纳图像数据读取模块、单帧重建模块、精确配准模块，拼接融合模块；方法包括读取GPS、姿态信息以及原始声纳点数据并进行解析，将采集到的三维点阵数据连接成为三角面片，再将相邻两帧图像两两配准的结果，通过最优化处理得到全局配准信息；将配准后的数据进行重采样，再重建，以消除两帧之间的重叠部分并将单帧图像融合成一幅整体图像并进行三维可视化显示。该系统结构谨严、高精度、图像清晰、交互方便、可扩展性强，有效地实现了三维声纳图像的离线处理功能。
文档编号G06T17/05GK102074046SQ20101059506
公开日2011年5月25日 申请日期2010年12月17日 优先权日2010年12月17日
发明者史勇强, 李志华, 陈耀武 申请人:浙江大学