点云数据处理方法、装置、电子设备及存储介质与流程

文档序号:31793465发布日期:2022-10-14 16:36阅读:来源:国知局

技术特征:
1.一种点云数据处理方法,其特征在于,所述方法包括:获取待补全的原始点云数据,所述原始点云数据包括多个初始点的三维坐标;对所述原始点云数据进行特征提取,得到多个第一点的特征表示,每个所述第一点的特征表示包括该第一点的三维坐标和点特征;根据各个第一点的三维坐标,从所述多个第一点中确定出每个第一点的第一数量的邻域点;对于每个所述第一点,根据该第一点的特征表示和该第一点的每个邻域点的特征表示,确定该第一点与该第一点的每个邻域点之间的关联性,并根据该第一点的各个邻域点对应的关联性,将该第一点的各个邻域点的特征表示进行融合,得到该第一点对应的融合特征;基于各个第一点对应的融合特征,得到多个第二点的第二特征表示;基于所述多个第二点的特征表示,生成补全后的目标点云数据。2.根据权利要求1所述的方法,其特征在于,每个所述第一点对应的融合特征是通过以下方式得到的:对于每个所述第一点,将该第一点的点特征和三维坐标拼接,得到该第一点的第一特征;对于每个第一点的每个邻域点,根据该第一点的第一特征和该邻域点的第一特征,确定该第一点与该邻域点之间的关联性;对于每个所述第一点,将该第一点的各个邻域点对应的关联性作为权重,对该第一点的各个邻域点的第一特征进行加权融合,得到该第一点对应的融合特征。3.根据权利要求2所述的方法,其特征在于,每个所述第一点与该第一点的邻域点之间的关联性、以及该第一点对应的融合特征,是采用基于通道注意力机制的至少一个第一注意力模块实现的;其中,在所述第一注意力模块有至少两个时,每个所述第一点对应的融合特征是通过以下方式得到的:对于每个第一点,将该第一点的第一特征作为查询向量,将该第一点的每个邻域点的第一特征分别作为键向量,通过每个所述第一注意力模块分别执行以下操作:对于该第一点的每个邻域点,基于该第一点的第一特征和该邻域点的第一特征,确定该第一点和该邻域点之间的第一注意力权重,将所述第一注意力权重作为所述关联性;采用该第一点的各个邻域点对应的第一注意力权重,对相应的各个邻域点的第一特征进行加权融合,得到该第一点对应的新特征;其中,每个所述第一点对应的融合特征包括该第一点对应于各所述第一注意力模块的新特征;所述基于各个第一点对应的融合特征,得到多个第二点的第二特征表示,包括:将每个所述第一点对应于每个所述第一注意力模块的新特征分别作为一个第二点的点特征,基于多个第二点的点特征,生成各个第二点的三维坐标,其中,每个第二点的特征表示包括该第二点的三维坐标和点特征。4.根据权利要求2或3所述的方法,其特征在于,还包括:对于每个第一点,根据该第一点的三维坐标,生成该第一点的空间坐标特征;
对于每个第一点的每个邻域点,所述根据该第一点的第一特征和该邻域点的第一特征,确定该第一点与该邻域点之间的关联性,包括:根据该第一点的第一特征、该邻域点的第一特征以及该邻域点的空间坐标特征,确定该第一点与该邻域点之间的关联性;对于每个第一点,所述将该第一点的各个邻域点对应的关联性作为权重,对该第一点的各个邻域点的第一特征进行加权融合,得到该第一点对应的融合特征,包括:对于该第一点的每个邻域点,基于该邻域点的第一特征和空间坐标特征进行特征提取,得到该邻域点的第二特征;采用该第一点的各个邻域点对应的权重,对该第一点的各个邻域点的第二特征进行加权融合,得到该第一点对应的融合特征。5.根据权利要求1所述的方法,其特征在于,所述基于所述多个第二点的特征表示,生成补全后的目标点云数据,包括:基于所述多个第二点的特征表示,通过进行至少一次上采样处理,得到多个目标点的点特征,并根据所述多个目标点的点特征,得到多个目标点的三维坐标,所述目标点云数据包括所述多个目标点的三维坐标。6.根据权利要求5所述的方法,其特征在于,所述多个目标点的三维坐标是通过以下方式得到的:基于所述多个初始点的三维坐标和各个第二点的三维坐标,确定初始的点云输入,所述初始的点云输入包括多个输入点的三维坐标;将所述初始的点云输入作为第一次上采样处理的点云输入,重复执行上采样处理直至达到设定次数,将最后一次上采样处理得到的多个输出点的三维坐标,确定为多个目标点的三维坐标;其中,所述上采样处理包括以下步骤:对于点云输入中的每个所述输入点,根据该输入点的三维坐标和各个第二点的三维坐标,确定该输入点和各个第二点之间的距离,根据所述距离从各个第二点中确定出该输入点的第二数量的邻域点;对于每个所述输入点,通过融合该输入点的各个邻域点的点特征,得到该输入点的点特征;基于各所述输入点的三维坐标和点特征,通过特征上采样得到多个输出点的点特征;基于所述多个输出点的点特征,得到各个输出点的三维坐标,并将各个输出点的三维坐标作为下一次上采样处理的点云输入。7.根据权利要求6所述的方法,其特征在于,对于每个所述输入点,所述通过融合该输入点的各个邻域点的点特征,得到该输入点的点特征,包括:根据该输入点与该输入点的每个邻域点之间的距离,确定该输入点的每个邻域点对应的权重,其中,每个邻域点对应的权重与该邻域点对应的距离成负相关;根据该输入点的各个邻域点对应的权重,对该输入点的各个邻域点的点特征进行加权融合,得到输入点的点特征。8.根据权利要求6所述的方法,其特征在于,对于每一次上采样处理,所述基于各所述输入点的三维坐标和点特征,通过特征上采样得到多个输出点的点特征,包括:
分别将每个输入点的点特征和三维坐标拼接,得到每个输入点的第三特征;根据各个输入点的三维坐标,从各个输入点中确定出每个输入点的第三数量的邻域点;对于每个输入点,根据该输入点的第三特征和该输入点的各邻域点的历史特征,通过特征上采样得到该输入点对应的至少两个输出点的点特征;其中,对于第一次上采样处理,每个邻域点的历史特征为该邻域点的第三特征,对于除第一次上采样处理之外的每次上采样处理,每个邻域点的历史特征为上一次上采样处理时该邻域点作为输出点时的点特征。9.根据权利要求8所述的方法,其特征在于,对于每个输入点,所述根据该输入点的第三特征和该输入点的各邻域点的历史特征,通过特征上采样得到该输入点对应的至少两个输出点的点特征,包括:通过至少两个第二注意力模块中的每个注意力模块分别执行以下操作:分别确定该输入点的第三特征和该输入点的每个邻域点的历史特征之间的第二注意力权重;采用该输入点的各个邻域点对应的第二注意力权重,对该输入点的各个邻域点的历史特征进行加权融合,得到该输入点对应的一个输出点的点特征。10.根据权利要求6所述的方法,其特征在于,所述基于所述多个输出点的点特征,得到各个输出点的三维坐标,包括:基于所述多个输出点的点特征进行特征提取,得到各个输出点的三维坐标偏移;基于所述各个输入点的三维坐标和各个输出点的三维坐标偏移,得到各个输出点的三维坐标。11.根据权利要求1至3以及5至9中任一项所述的方法,其特征在于,所述方法是通过调用训练好的点云补全网络实现的,所述点云补全网络是基于训练数据集对神经网络模型进行迭代训练得到的,所述训练数据集包括多个训练样本,每个所述训练样本包括一个点云数据对,每个所述点云数据对包括待补全的样本点云数据和对应的补全后的样本点云数据。12.一种点云数据处理装置,其特征在于,所述装置包括:待补全数据获取模块,用于获取待补全的原始点云数据,所述原始点云数据包括多个初始点的三维坐标;数据补全模块,用于通过执行数据补全操作,得到补全后的目标点云数据,所述数据补全操作包括以下步骤:对所述原始点云数据进行特征提取,得到多个第一点的特征表示,每个所述第一点的特征表示包括该第一点的三维坐标和点特征;根据各个第一点的三维坐标,从所述多个第一点中确定出每个第一点的第一数量的邻域点;对于每个所述第一点,根据该第一点的特征表示和该第一点的每个邻域点的特征表示,确定该第一点与该第一点的每个邻域点之间的关联性,并根据该第一点的各个邻域点对应的关联性,将该第一点的各个邻域点的特征表示进行融合,得到该第一点对应的融合特征,其中,所述关联性表征了该第一点与该第一点的邻域点之间的关联程度;
基于各个第一点的融合特征,得到多个第二点的第二特征表示;基于所述多个第二点的特征表示,生成补全后的目标点云数据。13.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器在执行所述计算机程序时实现权利要求1至11中任一项所述的方法。14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法。15.一种计算机程序产品,其特征在于,所述计算机产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法。

技术总结
本申请实施例提供了一种点云数据处理方法、装置、电子设备及存储介质,涉及人工智能、三维建模以及云技术等领域。该方法包括:对原始点云数据进行特征提取,得到多个第一点的特征表示,该特征表示包括三维坐标和点特征;对于每个第一点,根据各第一点的坐标从多个第一点中确定出该点的第一数量的邻域点,根据该点的特征表示和该点的每个邻域点的特征表示,确定该点与其每个邻域点之间的关联性,根据关联性,将该点的各个邻域点的特征表示进行融合,得到对应的融合特征,基于各个第一点对应的融合特征,得到多个第二点的第二特征表示;基于各个第二点的特征表示,生成目标点云数据。基于本申请实施例的该方法,能够有效提高点云数据的补全效果。据的补全效果。据的补全效果。


技术研发人员:周昊冉 曹赟 储文青 朱俊伟 邰颖 汪铖杰
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2022.07.13
技术公布日:2022/10/13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1