模型训练方法、点云数据风格化方法、装置、设备及介质与流程

1.本发明实施例涉及图像处理领域，尤其涉及一种模型训练方法、点云数据风格化方法、装置、设备及介质。


背景技术：

2.随着自动驾驶、城市仿真、三维打印和虚拟现实技术的发展，针对点云数据的编辑和应用越来越重要。其中，点云数据风格化是点云数据编辑的一个主要研究方向，其主要应用于对输入点云的坐标位置和/或反射强度、色彩属性进行风格改变，例如将夏季街景点云转换成冬季街景点云，点云数据风格化可应用到游戏制作、城市仿真、虚拟现实等领域中。
3.目前，点云风格化方法主要为neural style transfer for point clouds(nst)。其主要思路为，输入一个原始点云和目标点云，将目标点云的风格引导传递给原始点云上，从而完成点云风格化。具体的，nst得目标函数包括两部分指标：1)期望风格化点云在内容特征上跟原始点云一致，2)期望风格化点云在风格特征上跟目标点云一致，即提取出原始点云中的内容特征，以及目标点云中的风格特征，将内容特征与风格特征相结合，得到风格化后的点云数据。
4.在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：由于街景场景过于复杂，包括不同点云实体(例如树木、车辆、人体和建筑等)，每个实体的风格各异，难于产生很好的效果。


技术实现要素：

5.本发明实施例提供了一种模型训练方法、点云数据风格化方法、装置、设备及介质，以实现提高复杂街景场景的风格化效果。
6.第一方面，本发明实施例提供了一种点云风格化模型训练方法，包括：
7.获取原始点云数据，对原始点云数据进行语义解析，得到包含原始点云数据中各点的语义信息的样本点云数据；
8.获取样本点云数据对应的样本风格数据，基于样本点云数据和样本风格数据生成训练样本数据；
9.使用训练样本数据对预先构建的点云风格化模型进行训练，得到训练好的点云风格化模型。
10.第二方面，本发明实施例还提供了一种点云数据风格化方法，包括：
11.获取待风格化点云数据，对待风格化点云数据进行语义解析，得到包含待风格化原始点云数据中各点的语义信息的标记点云数据；
12.获取标记点云数据对应的风格点云数据，将标记点云数据以及风格点云数据输入至训练好的点云风格化模型中，获得点云风格化模型输出的目标点云数据，其中，训练好的点云风格化模型是使用本发明任意实施例所提供的点云风格化模型方法进行训练得到的；
13.根据目标点云数据生成待风格化点云数据对应的目标场景图片，并将目标场景图
片进行显示。
14.第三方面，本发明实施例还提供了一种点云风格化模型训练装置，包括：
15.样本数据获取模块，用于获取原始点云数据，对原始点云数据进行语义解析，得到包含原始点云数据中各点的语义信息的样本点云数据；
16.训练数据生成模块，用于获取样本点云数据对应的样本风格数据，基于样本点云数据和样本风格数据生成训练样本数据；
17.风格化模型训练模块，用于使用训练样本数据对预先构建的点云风格化模型进行训练，得到训练好的点云风格化模型。
18.第四方面，本发明实施例还提供了一种点云数据风格化装置，包括：
19.标记点云获取模块，用于获取待风格化点云数据，对待风格化点云数据进行语义解析，得到包含待风格化点云数据中各点的语义信息的标记点云数据；
20.目标点云获取模块，用于获取标记点云数据对应的风格点云数据，将标记点云数据以及风格点云数据输入至训练好的点云风格化模型中，获得点云风格化模型输出的目标点云数据，其中，训练好的点云风格化模型是使用本发明任意实施例所提供的点云风格化模型方法进行训练得到的；
21.目标场景显示模块，用于根据目标点云数据生成待风格化点云数据对应的目标场景图片，并将目标场景图片进行显示。
22.第五方面，本发明实施例还提供了一种计算机设备，设备包括：
23.一个或多个处理器；
24.存储装置，用于存储一个或多个程序；
25.当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的点云风格化模型训练方法；和/或，实现如本发明任意实施例所提供的点云数据风格化方法。
26.第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的点云风格化模型训练方法；和/或，实现如本发明任意实施例所提供的点云数据风格化方法。
27.本发明实施例通过获取原始点云数据，对原始点云数据进行语义解析，得到包含原始点云数据中各点的语义信息的样本点云数据；获取样本点云数据对应的样本风格数据，基于样本点云数据和样本风格数据生成训练样本数据；使用训练样本数据对预先构建的点云风格化模型进行训练，得到训练好的点云风格化模型，使得在对点云风格化模型进行训练时，模型能够对样本点云数据进行实例的切分及融合，进而使得训练出的风格化模型能够提高复杂街景场景的风格化效果。
附图说明
28.图1a是本发明实施例一所提供的一种点云风格化模型训练方法的流程图；
29.图1b是本发明实施例一所提供的一种点云风格化模型的结构示意图；
30.图1c是本发明实施例一所提供的又一种点云风格化模型的结构示意图；
31.图2是本发明实施例二所提供的一种点云数据风格化方法的流程图；
32.图3是本发明实施例三所提供的一种点云风格化模型训练装置的结构示意图；
33.图4是本发明实施例四所提供的一种点云数据风格化装置的结构示意图；
34.图5是本发明实施例五所提供的一种计算机设备的结构示意图。
具体实施方式
35.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
36.实施例一
37.图1a是本发明实施例一所提供的一种点云风格化模型训练方法的流程图。本实施例可适用于对点云风格化模型进行训练时的情形。该方法可以由点云风格化模型训练装置执行，该点云风格化模型训练装置可以采用软件和/或硬件的方式实现，例如，该点云风格化模型训练装置可配置于计算机设备中。如图1a所示，所述方法包括：
38.s110、获取原始点云数据，对原始点云数据进行语义解析，得到包含原始点云数据中各点的语义信息的样本点云数据。
39.在本实施例中，原始点云数据可以为风格化之前的点云数据。示例性的，原始点云数据可以为街景场景的点云数据。其中，原始点云数据的获取方式在此不做限定。可选的，可以通过从虚拟场景中抽取采样点获取原始点云数据，可以通过单一的激光雷达设备扫描场景获取原始点云数据，也可以通过激光雷达和相机扫描场景获取原始点云数据。
40.为了提高对复杂街景的点云数据的风格化效果，在本实施例中，可以从原始点云数据中提取出各实例的点云数据，针对每个实例，进行单独的风格化操作，然后将各实例风格化后的点云数据进行融合，得到风格化后的整体的点云数据。其中，从原始点云数据中提取出各实例的点云数据需要根据各点的语义信息进行提取，因此，需要在获取原始点云数据后对原始点云数据进行语义解析。
41.可选的，对原始点云数据进行语义解析可以为对点云中的点进行语义标识以及语义编号。其中，语义标识即标识出该点的实例类别(如标识该点属于树木、车辆、人体或地面等)，语义编号是标识出该点所属实例的实例编号(如标识该点属于第几个树木、第几个车辆、或第几个人体等)。在此基础上，考虑到街景点云作为原始点云数据时，其中包含有属于背景场景的点云(如地面，或者大面积建筑物)以及属于前景场景的点云(如行人、车辆、树木、路灯、红绿灯)，针对不同场景的点云，可以进行不同的标识。示例性的，背景场景仅进行语义标识即可，而前景物体需要进行语义标识以及语义编号。在本实施例中，原始点云数据的获取方式不同时，对原始点云数据进行语义解析的方式也不同。
42.当原始点云数据是从虚拟场景中抽取采样点获取时，可以直接从虚拟场景的数据中获取各点的语义信息。可以理解的是，虚机场景的构建过程是一个将不同语义实体进行组装的过程，因此虚拟场景已经包括了语义标识和语义编号。直接将虚拟场景的语义标识和语义编号赋值给采样点即可。
43.当原始点云数据是由单一激光雷达设备扫描场景获取时，原始点云数据中每个点的属性包括坐标(x，y，z)和反射强度。在这种情况下，可以先用点云场景解析方法(如2017 cvpr pointnet)对点云进行场景解析，获取每个点云点的语义标识，然后，用点云实例分割方法(如2019 cvpr r-pointnet)对前景点云进行语义编号，完成对原始点云数据的语义解
析。
44.当原始点云数据是由激光雷达和相机扫描场景获取时，原始点云数据中每个点云点属性包括坐标(x，y，z)、反射强度和颜色(r，g，b)。在这种情况下，可以对视频帧进行场景解析和实例分割，然后将图像像素的语义标识和语义编号标识传递给点云点。以全景相机为例，首先，对全景相机和激光雷达进行时间同步和空间标定，获取每个激光点在某幅全景帧下的投影点；其次，用现有图像场景解析方法(如2017 cvpr refinenet等)对每帧全景图进行场景解析；然后，用视频实例分割方法(如2019 arxiv video instance segmentation)进行实例分割，视频实例分割是对视频帧中的物体进行检测、分割和跟踪的方法，最终得到全景图上每个物体的语义标识和语义编号；最后，根据激光点和全景投影点的对应关系，获取每个激光点的语义标识和语义编号。如果是普通相机，会存在部分点云点没有对应的图像投影点，针对这些点云点，用最近邻算法将最近的、有图像投影点的点云点的语义标识和语义编号对其赋值即可。
45.s120、获取样本点云数据对应的样本风格数据，基于样本点云数据和样本风格数据生成训练样本数据。
46.在本实施例中，获取样本点云数据后，获取样本点云数据对应的样本风格数据，根据大量的样本点云数据以及样本点云数据对应的样本风格数据生成训练样本数据。其中，样本风格数据是与样本点云数据中各实例对应的，与风格化的目标风格一致的点云数据，为真实物体的一簇完整点云。
47.可选的，样本风格数据可以由用户从数据库中选取，点云风格化模型训练装置直接获取用户选择的样本风格数据即可。可选的，样本风格数据还可以根据样本点云数据中的语义信息，自动从数据库中筛选获取。一个实施例中，获取样本点云数据对应的样本风格数据，包括：根据样本点云数据各点的语义信息以及目标风格，获取样本点云数据对应的样本风格数据。具体的，样本点云数据中包含有多个实例的点云数据以及实例的语义标识，针对样本点云数据中的每个实例，根据该实例的语义标识，从数据库中获取标识与该实例的语义标识一致的，风格与目标风格一致的点云数据作为该实例对应的样本风格数据。
48.s130、使用训练样本数据对预先构建的点云风格化模型进行训练，得到训练好的点云风格化模型。
49.得到样本训练数据后，使用训练样本数据对预先构建的点云风格化模型进行训练，得到训练好的点云风格化模型。
50.在本实施例中，将点云数据进行切分，针对切分后的每个实例数据进行独立的风格化操作，然后将风格化后的各实例进行融合，完成对点云数据的风格化。相应的，需要在点云风格化模型中构建相应的数据切分模块、风格化模块以及数据融合模块。在本发明的一种实施方式中，预先构建的点云风格化模型包括：数据切分模块、风格化模块和数据融合模块；其中，数据切分模块，用于对样本点云数据进行数据切分，并输出至少两个样本实例数据；风格化模块，用于根据样本实例数据对应的样本风格数据将样本实例数据进行风格化，并输出样本实例数据对应的风格化数据；数据融合模块，用于将风格化模块输出的各样本实例数据对应的风格化数据进行融合，并输出目标融合数据。
51.图1b是本发明实施例一所提供的一种点云风格化模型的结构示意图。如图1b所示，点云风格化模型包括数据切分模块10、风格化模块20和数据融合模块30。其中，风格化
模块20可以为2019 arxiv neural style transfer for point clouds(nst)，数量可以为多个。数据切分模块10的输入为点云数据，输出为实例数据；每个风格化模块20的输入为数据切分模块10输出的某一实例数据以及该实例数据对应的风格数据，输出为该实例数据风格化后的风格化数据；数据融合模块30的输入为各风格化模块20输出的风格化数据，输出为目标融合数据。图1b中的点云风格化模型，通过数据切分模块对点云数据进行切分得到各实例的实例数据，风格化模块对各实例进行风格化处理，数据融合模块将各实例风格化处理后的风格化数据进行融合，提高了复杂街景场景的风格化效果。
52.图1c是本发明实施例一所提供的又一种点云风格化模型的结构示意图。图1c中示意性的示出了复杂场景的点云数据的风格化过程。如图1c所示，实线框表示数据层，虚线框表示网络层。点云风格化模型包括数据切分模块10、多个风格化模块20和数据融合模块30；风格化模块20包括nst网络210和第一特征提取层220；数据融合模块30包括数据合并层310和第二特征提取层320。其中，第一特征提取层和第二特征提取层可以基于多层感知机(mlp)构建。可选的，第一特征提取层可以为两层mlp网络，第二特征提取层可以为三层mlp网络。
53.以对街景点云数据进行风格化为例，街景点云数据(nx6)经过语义解析区分出背景点云和不同的实例点云，将语义解析后的街景点云数据通过用数据切分层(split)10将其区分为背景点云(nb
×
6)和实例点云(n1
×
6、n2
×
6、n3
×
6、
……
、nj
×
6)；然后，针对每个实例点云和背景点云，独立通过风格化模块20中的nst网络210和第一特征提取层220提取出特征数据；然后，将各实例点云和背景点云提取出的特征数据通过数据融合模块30中的数据合并层310进行数据合并，然后将合并后的数据导入第二特征提取层320，提取出最终的目标融合数据。上述过程中，第一特征提取层220可以为两层mlp网络mpl(1024，512)，可提取出512维的特征数据，第二特征提取层320可以为三层mlp网络mpl(256，64，16)可提取出16维的特征数据。
54.在上述方案的基础上，使用训练样本数据对对预先构建的点云风格化模型进行训练，得到训练好的点云风格化模型，包括：获取风格化模块输出的风格化数据，以及数据融合模块输出的目标融合数据；基于风格化数据和目标融合数据确定目标损失值，以目标损失值达到收敛条件为目标，对点云风格化模型进行训练，得到训练好的点云风格化模型。
55.在本实施例中，使用训练样本数据对点云风格化模型进行训练时，通过上述过程得到各实例数据的风格化数据以及将各实例的风格化数据融合后的目标融合数据，然后结合各样本实例数据、样本风格数据、风格化数据和目标融合数据计算目标损失值，当目标损失值满足收敛条件时，得到训练好的点云风格化模型。可选的，目标损失值满足收敛条件可以为相邻两次目标损失值之差小于设定阈值，或迭代次数达到设定的目标迭代次数。
56.在本发明的一种实施方式中，基于风格化数据和目标融合数据确定目标损失值，包括：根据风格化数据、风格化数据对应的样本实例数据以及风格化数据对应的样本风格数据确定局部风格化损失值；根据目标融合数据确定整体风格化损失值；根据局部风格化损失值以及整体风格化损失值，得到目标损失值。
57.考虑到将各实例进行风格化后得到的风格化数据的几何位置可能会发生错位，导致将各风格化数据进行融合后生成的目标融合数据中相邻的风格化点云之间可能存在交叠。在本实施例中将整体风格化损失值作为目标损失值的计算参数之一，避免融合后的点
云数据中向量风格化点云之间存在交叠。
58.可选的，可以将局部风格化损失值和整体风格化损失值均作为目标损失值，以局部风格化损失值和整体风格化损失值均达到收敛条件为目标，对点云风格化模型进行训练，得到训练好的点云风格化模型；也可以基于局部风格化损失值和整体风格化损失值计算目标损失值，以目标损失值达到收敛条件为目标，对点云风格化模型进行训练，得到训练好的点云风格化模型。示例性的，可以将局部风格化损失值和整体风格化损失值的和作为目标损失值，还可以根据实际需求为局部风格化损失值和整体风格化损失值设定不同的权值，对局部风格化损失值和整体风格化损失值进行加权求和，得到目标损失值。
59.示例性的，可以通过loss(p)＝λ∑
i∈{1,...,j}
loss
local
(p
i
,c
i
,s
i
)/j+(1-λ)loss
global
(p)计算目标损失值。其中，c
i
表示实例点云i，p
i
表示实例点云i对应的风格化点云，s
i
表示实例点云i对应的风格点云，loss(p)为目标损失值，loss
local
为局部风格化损失函数，期望每个实例点云在内容和风格上具有独立一致性，loss
global
为整体风格化损失函数，期望风格后的点云实体之间没有重叠问题，λ为权重，可根据实际需求设置，且λ∈[0，1]。为了保证局部风格化损失值和整体风格化损失值的可加性，将局部风格化损失值和整体风格化损失值进行了概率归一化。
[0060]
可选的，可以通过如下公式计算实例点云i的局部风格化损失值：
[0061]
loss
local
(p
i
,c
i
,s
i
)＝wloss
local_content
(p
i
,c
i
,s
i
)+(1-w)loss
local_style
(p
i
,c
i
,s
i
)
[0062]
其中，c
i
表示实例点云i，p
i
表示实例点云i对应的风格化点云，s
i
表示实例点云i对应的风格点云，loss
local
(p
i
,c
i
,s
i
)为实例点云i的局部风格化损失函数，loss
local_content
(p
i
,c
i
,s
i
)为实例点云i的局部内容损失函数，loss
local_style
(p
i
,c
i
,s
i
)为实例点云i的局部风格损失函数，w为权重，可根据实际需求设置，且w∈[0，1]。
[0063]
可以通过loss
local_content
(p
i
,c
i
,s
i
)＝exp(-∑
l
||f
l
(p
i
)-f
l
(c
i
)||2/β1)计算实例点云i的局部内容损失值，通过loss
local_style
(p
i
,c
i
,s
i
)＝exp(-∑
l
||g(f
l
(p
i
))-g(f
l
(c
i
))||2/β2)计算实例点云i的局部风格损失值。其中，g为格拉姆矩阵，β1、β2为内部参数，可根据经验设置。
[0064]
在本发明的一种实施方式中，根据目标融合数据确定整体风格化损失值，包括：根据目标融合数据，确定各样本实例数据对应的风格化点云簇的边缘数据；根据各风格化点云簇的边缘数据，确定相邻风格化点云簇的交叉区域数据，基于各交叉区域数据确定整体风格化损失值。可选的，可以基于各相邻风格化点云簇的交叉基础数据，计算得到相邻风格化点云簇的交叉损失值，将所有相邻风格化点云簇的交叉损失值之和作为整体风格化损失值。
[0065]
示例性的，可以通过loss
global
(p)＝∑
(i,j)
exp(-crossr(p
i
,p
j
)
2/3
/β3)计算整体风格化损失值，其中，crossr(p
i
,p
j
)表示目标融合数据中点云簇p
i
(即实例点云i对应的点云簇)和点云簇p
j
(即实例点云j对应的点云簇)的外界包围盒的交叉区域的体积，β3为内部参数，可根据经验设置。
[0066]
本发明实施例通过获取原始点云数据，对原始点云数据进行语义解析，得到包含原始点云数据中各点的语义信息的样本点云数据；获取样本点云数据对应的样本风格数据，基于样本点云数据和样本风格数据生成训练样本数据；使用训练样本数据对预先构建的点云风格化模型进行训练，得到训练好的点云风格化模型，使得在对点云风格化模型进
行训练时，模型能够对样本点云数据进行实例的切分及融合，进而使得训练出的风格化模型能够提高复杂街景场景的风格化效果。
[0067]
实施例二
[0068]
图2是本发明实施例二所提供的一种点云数据风格化方法的流程图。本实施例可适用于对点云数据进行风格化时的情形，尤其适用于对复杂街景的点云数据进行风格化时的情形。该方法可以由点云数据风格化装置执行，该点云数据风格化装置可以采用软件和/或硬件的方式实现，例如，该点云数据风格化装置可配置于计算机设备中。如图2所示，所述方法包括：
[0069]
s210、获取待风格化点云数据，对待风格化点云数据进行语义解析，得到包含待风格化点云数据中各点的语义信息的标记点云数据。
[0070]
在本实施例中，待风格化点云数据可以通过多种方式获取。示例性的，可以通过从虚拟场景中抽取采样点获取待风格化点云数据，可以通过单一的激光雷达设备扫描场景获取待风格化点云数据，也可以通过激光雷达和相机扫描场景获取待风格化点云数据。
[0071]
可选的，根据待风格化点云数据的获取方式确定对待风格化点云数据进行语义解析的方式。具体的，对待风格化点云数据进行语义解析的内容可参见上述实施例中对原始点云数据进行语义解析的内容，在此不再赘述。
[0072]
s220、获取标记点云数据对应的风格点云数据，将标记点云数据以及风格点云数据输入至训练好的点云风格化模型中，获得点云风格化模型输出的目标点云数据。
[0073]
在本实施例中，得到包含原始点云数据中各点的语义信息的标记点云数据后，根据标记点云数据中的语义信息获取与标记点云数据中各实例数据对应的风格点云数据，将标记点云数据以及风格点云数据输入至训练好的点云风格化模型中，获得点云风格化模型输出的目标点云数据。其中，训练好的点云风格化模型是使用本发明任意实施例所提供的点云风格化模型方法进行训练得到的。
[0074]
s230、根据目标点云数据生成待风格化点云数据对应的目标场景图片，并将目标场景图片进行显示。
[0075]
得到目标点云数据后，将目标点云数据生成风格化后的目标场景图片，将目标场景图片进行显示，即完成了对待风格化点云数据对应场景的风格化转换。
[0076]
本发明实施例通过获取待风格化点云数据，对待风格化点云数据进行语义解析，得到包含待风格化点云数据中各点的语义信息的标记点云数据；获取标记点云数据对应的风格点云数据，将标记点云数据以及风格点云数据输入至训练好的点云风格化模型中，获得点云风格化模型输出的目标点云数据，其中，训练好的点云风格化模型是使用本发明任意实施例所提供的点云风格化模型方法进行训练得到的；根据目标点云数据生成待风格化点云数据对应的目标场景图片，并将目标场景图片进行显示，使得点云风格化模型能够根据包含语义信息的标记点云数据将点云数据进行实例的切分及融合，提高了复杂街景场景的风格化效果。
[0077]
实施例三
[0078]
图3是本发明实施例三所提供的一种点云风格化模型训练装置的结构示意图。该点云风格化模型训练装置可以采用软件和/或硬件的方式实现，例如该点云风格化模型训练装置可以配置于计算机设备中。如图3所示，所述装置包括样本数据获取模块310、训练数
据生成模块320和风格化模型训练模块330，其中：
[0079]
样本数据获取模块310，用于获取原始点云数据，对原始点云数据进行语义解析，得到包含原始点云数据中各点的语义信息的样本点云数据；
[0080]
训练数据生成模块320，用于获取样本点云数据对应的样本风格数据，基于样本点云数据和样本风格数据生成训练样本数据；
[0081]
风格化模型训练模块330，用于使用训练样本数据对预先构建的点云风格化模型进行训练，得到训练好的点云风格化模型
[0082]
本发明实施例通过样本数据获取模块获取原始点云数据，对原始点云数据进行语义解析，得到包含原始点云数据中各点的语义信息的样本点云数据；训练数据生成模块获取样本点云数据对应的样本风格数据，基于样本点云数据和样本风格数据生成训练样本数据；风格化模型训练模块使用训练样本数据对预先构建的点云风格化模型进行训练，得到训练好的点云风格化模型，使得在对点云风格化模型进行训练时，模型能够对样本点云数据进行实例的切分及融合，进而使得训练出的风格化模型能够提高复杂街景场景的风格化效果。
[0083]
可选的，在上述方案的基础上，预先构建的点云风格化模型包括：数据切分模块、风格化模块和数据融合模块；其中，数据切分模块，用于对样本点云数据进行数据切分，并输出至少两个样本实例数据；风格化模块，用于根据样本实例数据对应的样本风格数据将实例数据进行风格化，并输出实例数据对应的风格化数据；数据融合模块，用于将风格化模块输出的各实例数据对应的风格化数据进行融合，并输出目标融合数据。
[0084]
可选的，在上述方案的基础上，风格化模型训练模块330包括：
[0085]
结果数据获取单元，用于获取风格化模块输出的风格化数据，以及数据融合模块输出的目标融合数据；
[0086]
风格化模型训练单元，用于基于风格化数据和目标融合数据确定目标损失值，以目标损失值达到收敛条件为目标，对点云风格化模型进行训练，得到训练好的点云风格化模型。
[0087]
可选的，在上述方案的基础上，风格化模型训练单元具体用于：
[0088]
根据风格化数据、风格化数据对应的样本实例数据以及风格化数据对应的样本风格数据确定局部风格化损失值；
[0089]
根据目标融合数据确定整体风格化损失值；
[0090]
根据局部风格化损失值以及整体风格化损失值，得到目标损失值。
[0091]
可选的，在上述方案的基础上，风格化模型训练单元具体用于：
[0092]
根据目标融合数据，确定各样本实例数据对应的风格化点云簇的边缘数据；
[0093]
根据各风格化点云簇的边缘数据，确定相邻风格化点云簇的交叉区域数据，基于各交叉区域数据确定整体风格化损失值。
[0094]
可选的，在上述方案的基础上，训练数据生成模块320具体用于：
[0095]
根据样本点云数据各点的语义信息以及目标风格，获取样本点云数据对应的样本风格数据。
[0096]
本发明实施例所提供的点云风格化模型训练装置可执行本发明任意实施例所提供的点云风格化模型训练方法，具备执行方法相应的功能模块和有益效果。
[0097]
实施例四
[0098]
图4是本发明实施例四所提供的一种点云数据风格化装置的结构示意图。该点云数据风格化装置可以采用软件和/或硬件的方式实现，例如该点云数据风格化装置可以配置于计算机设备中。如图4所示，所述装置包括标记点云获取模块410、目标点云获取模块420和目标场景显示模块430，其中：
[0099]
标记点云获取模块410，用于获取待风格化点云数据，对待风格化点云数据进行语义解析，得到包含待风格化点云数据中各点的语义信息的标记点云数据；
[0100]
目标点云获取模块420，用于获取标记点云数据对应的风格点云数据，将标记点云数据以及风格点云数据输入至训练好的点云风格化模型中，获得点云风格化模型输出的目标点云数据，其中，训练好的点云风格化模型是使用本发明任意实施例所提供的点云风格化模型方法进行训练得到的；
[0101]
目标场景显示模块430，用于根据目标点云数据生成待风格化点云数据对应的目标场景图片，并将目标场景图片进行显示。
[0102]
本发明实施例通过标记点云获取模块获取待风格化点云数据，对待风格化点云数据进行语义解析，得到包含待风格化点云数据中各点的语义信息的标记点云数据；目标点云获取模块获取标记点云数据对应的风格点云数据，将标记点云数据以及风格点云数据输入至训练好的点云风格化模型中，获得点云风格化模型输出的目标点云数据，其中，训练好的点云风格化模型是使用本发明任意实施例所提供的点云风格化模型方法进行训练得到的；目标场景显示模块根据目标点云数据生成待风格化点云数据对应的目标场景图片，并将目标场景图片进行显示，使得点云风格化模型能够根据包含语义信息的标记点云数据将点云数据进行实例的切分及融合，提高了复杂街景场景的风格化效果。
[0103]
本发明实施例所提供的点云数据风格化装置可执行本发明任意实施例所提供的点云数据风格化方法，具备执行方法相应的功能模块和有益效果。
[0104]
实施例五
[0105]
图5是本发明实施例五所提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备512的框图。图5显示的计算机设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0106]
如图5所示，计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于：一个或者多个处理器516，系统存储器528，连接不同系统组件(包括系统存储器528和处理器516)的总线518。
[0107]
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器516或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0108]
计算机设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0109]
系统存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存
取存储器(ram)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom，dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0110]
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
[0111]
计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该计算机设备512交互的设备通信，和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口522进行。并且，计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0112]
处理器516通过运行存储在系统存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的点云风格化模型训练方法，该方法包括：
[0113]
获取原始点云数据，对原始点云数据进行语义解析，得到包含原始点云数据中各点的语义信息的样本点云数据；
[0114]
获取样本点云数据对应的样本风格数据，基于样本点云数据和样本风格数据生成训练样本数据；
[0115]
使用训练样本数据对预先构建的点云风格化模型进行训练，得到训练好的点云风格化模型；
[0116]
和/或，实现本发明实施例所提供的点云数据风格化方法，该方法包括：
[0117]
获取待风格化点云数据，对待风格化点云数据进行语义解析，得到包含待风格化点云数据中各点的语义信息的标记点云数据；
[0118]
获取标记点云数据对应的引导点云数据，将标记点云数据以及引导点云数据输入至训练好的点云风格化模型中，获得点云风格化模型输出的目标点云数据，其中，训练好的点云风格化模型是使用本发明任意实施例所提供的点云风格化模型方法进行训练得到的；
[0119]
根据目标点云数据生成待风格化点云数据对应的目标场景图片，并将目标场景图片进行显示。
[0120]
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的点云风格化模型训练方法和/或点云数据风格化方法的技术方案。
[0121]
实施例六
[0122]
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的点云风格化模型训练方法，该方法包括：
[0123]
获取原始点云数据，对原始点云数据进行语义解析，得到包含原始点云数据中各点的语义信息的样本点云数据；
[0124]
获取样本点云数据对应的样本风格数据，基于样本点云数据和样本风格数据生成训练样本数据；
[0125]
使用训练样本数据对预先构建的点云风格化模型进行训练，得到训练好的点云风格化模型；
[0126]
和/或，实现本发明实施例所提供的点云数据风格化方法，该方法包括：
[0127]
获取待风格化点云数据，对待风格化点云数据进行语义解析，得到包含待风格化点云数据中各点的语义信息的标记点云数据；
[0128]
获取标记点云数据对应的引导点云数据，将标记点云数据以及引导点云数据输入至训练好的点云风格化模型中，获得点云风格化模型输出的目标点云数据，其中，训练好的点云风格化模型是使用本发明任意实施例所提供的点云风格化模型方法进行训练得到的；
[0129]
根据目标点云数据生成待风格化点云数据对应的目标场景图片，并将目标场景图片进行显示。
[0130]
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的点云风格化模型训练方法和/或点云数据风格化方法的相关操作。
[0131]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0132]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0133]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0134]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以
完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0135]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。