一种基于并行处理高效数据生成系统及方法与流程

文档序号:33386326发布日期:2023-03-08 08:23阅读:来源:国知局

技术特征:
1.一种基于并行处理高效数据生成系统,其特征在于,包括分块模块和多个并行处理模块,所述多个并行处理模块分别与所述分块模块连接;所述分块模块用于对激光原始点云数据进行分块得到多个激光原始点云数据子块,所述分块模块还用于对位置姿态数据进行分块得到多个位置姿态数据子块;所述分块模块将任一所述多个激光原始点云数据子块和与所述任一所述多个激光原始点云数据子块对应的位置姿态数据子块分发到任一所述多个并行处理模块;任一所述多个并行处理模块用于对接收到的任一所述多个激光原始点云数据子块和与所述任一所述多个激光原始点云数据子块对应的位置姿态数据子块进行处理,得到激光点云成果数据。2.根据权利要求1所述的一种基于并行处理高效数据生成系统,其特征在于,所述分块模块包括激光原始点云数据分块单元、位置姿态数据分块单元和分发单元,所述激光原始点云数据分块单元用于对所述激光原始电云数据进行分块,所述位置姿态数据分块单元用于对所述位置姿态数据进行分块,所述分发单元用于将任一所述多个激光原始点云数据子块和与所述任一所述多个激光原始点云数据子块对应的位置姿态数据子块分发到任一所述多个并行处理模块。3.根据权利要求1或2所述的一种基于并行处理高效数据生成系统,其特征在于,所述分块模块按时间间隔对所述激光原始点云数据和位置姿态数据进行分块,根据所述时间间隔生成所述多个激光原始点云数据子块和所述多个位置姿态数据子块。4.根据权利要求3所述的一种基于并行处理高效数据生成系统,其特征在于,每个所述并行处理模块与所述分块模块保持心跳连接,每个所述并行处理模块每隔时间t向所述分块模块发送空闲信息,报告自己是否处于空闲状态;所述分块模块接收到每个所述并行处理模块发送的空闲信息后,所述分块模块记录所述并行处理模块的编号和接收到该并行处理模块发送空闲信息的时间,所述分块模块对向其发送空闲信息的所述并行处理模块按接收到所述并行处理模块发送空闲信息的时间顺序排序。5.根据权利要求4所述的一种基于并行处理高效数据生成系统,其特征在于,任一所述多个并行处理模块包括gpu并行处理单元,所述gpu并行处理单元按时间顺序读取接收到的任一所述多个激光原始点云数据子块中的激光原始点云,每次读取m个激光原始点云,不足m个激光原始点云时,全部读取,对每一个激光原始点云,gpu并行处理单元根据时间匹配读取的每个激光点云和其对应的位置姿态数据,将每个读取的激光原始点云的角度距离转为绝对坐标;当所述并行处理模块接收到的激光原始点云数据子块中的所有激光原始点云的角度距离均转为绝对坐标后,所述并行处理模块将所述激光原始点云数据子块保存为开放点云格式las文件,记作块las。6.一种基于并行处理高效数据生成方法,其特征在于,包括如下步骤,s1、分块模块对激光原始点云数据进行分块得到多个激光原始点云数据子块,分块模块还对位置姿态数据进行分块得到多个位置姿态数据子块;所述分块模块将任一所述多个激光原始点云数据子块和与所述任一所述多个激光原始点云数据子块对应的位置姿态数据子块分发到任一并行处理模块;s2、任一并行处理模块对接收到的任一所述多个激光原始点云数据子块和与所述任一所述多个激光原始点云数据子块对应的位置姿态数据子块进行处理,得到激光点云成果数
据。7.根据权利要求6所述的一种基于并行处理高效数据生成方法,其特征在于,所述分块模块包括激光原始点云数据分块单元、位置姿态数据分块单元和分发单元,所述激光原始点云数据分块单元用于对所述激光原始电云数据进行分块,所述位置姿态数据分块单元用于对所述位置姿态数据进行分块,所述分发单元用于将任一所述多个激光原始点云数据子块和与所述任一所述多个激光原始点云数据子块对应的位置姿态数据子块分发到任一所述多个并行处理模块。8.根据权利要求6或7所述的一种基于并行处理高效数据生成方法,其特征在于,所述分块模块按时间间隔对所述激光原始点云数据和位置姿态数据进行分块,根据所述时间间隔生成所述多个激光原始点云数据子块和所述多个位置姿态数据子块。9.根据权利要求8所述的一种基于并行处理高效数据生成方法,其特征在于,每个所述并行处理模块与所述分块模块保持心跳连接,每个所述并行处理模块每隔时间t向所述分块模块发送空闲信息,报告自己是否处于空闲状态;所述分块模块接收到每个所述并行处理模块发送的空闲信息后,所述分块模块记录所述并行处理模块的编号和接收到该并行处理模块发送空闲信息的时间,所述分块模块对向其发送空闲信息的所述并行处理模块按接收到所述并行处理模块发送空闲信息的时间顺序排序。10.根据权利要求9所述一种基于并行处理高效数据生成方法,其特征在于,任一所述多个并行处理模块包括gpu并行处理单元,所述gpu并行处理单元按时间顺序读取接收到的任一所述多个激光原始点云数据子块中的激光原始点云,每次读取m个激光原始点云,不足m个激光原始点云时,全部读取,对每一个激光原始点云,gpu并行处理单元根据时间匹配读取的每个激光点云和其对应的位置姿态数据,将每个读取的激光原始点云的角度距离转为绝对坐标;当所述并行处理模块接收到的激光原始点云数据子块中的所有激光原始点云的角度距离均转为绝对坐标后,所述并行处理模块将所述激光原始点云数据子块保存为开放点云格式las文件,记作块las。

技术总结
一种基于并行处理高效数据生成系统,包括分块模块和多个并行处理模块,多个并行处理模块分别与分块模块连接;分块模块将任一所述多个激光原始点云数据子块和与任一所述多个激光原始点云数据子块对应的位置姿态数据子块分发到任一多个并行处理模块;任一多个并行处理模块用于对接收到的子块进行处理,得到激光点云成果数据。通过分别将原始激光点云数据和位置姿态数据进行分块,形成分块数据处理任务,根据监测的集群资源状态自动分发数据处理任务,形成分布式处理环境,在GPU内并行处理,实现分块数据的快速转化,最终将转化的分块点云数据融合,生成完整的激光点云成果数据。使用集群和GPU并行处理激光点云数据,大幅提高了激光点云数据处理效率。了激光点云数据处理效率。了激光点云数据处理效率。


技术研发人员:张婕 向煜 黄志 韩熙 李奎君 华媛媛 孟云豪 袁帅 朱勃 余腾飞 李兵 王翔 黄国洪 毛阆 向谭先
受保护的技术使用者:重庆数字城市科技有限公司
技术研发日:2022.11.15
技术公布日:2023/3/7
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1