三维数据处理方法、装置、电子设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种三维数据处理方法、装置、电子设备及存储介质。


背景技术：

2.现在虚拟现实(vr)更多地是使用基于二维图像的切片操作来完成用户体验。在vr设备成像过程中，由于需要多方位对物体或者场景得各个角度进行数据采集，需要耗费大量人力和时间。并且在用户的动作发生改变时，数据库的实时切换需要搜索到该位置或者该焦点上所对应的所有二维图像数据，再通过计算机的处理，最终显示在用户的显示屏上。而在这个过程中，会受到数据库搜索时间和计算机处理的时间消耗，也会受到显示屏在显示时渲染出的图像的质量好坏的影响，这样会让用户感受到延迟差、画面质量感不强等现象，并且只能在固定的角度浏览，在沉浸体验和交互操作上存在大量限制，呈现更多的是“伪3d”效果。


技术实现要素：

3.本公开实施例提供一种三维数据处理方法、装置、电子设备及存储介质。本公开实施例的技术方案是这样实现的：
4.本公开实施例提供一种三维数据处理方法，应用于电子设备，包括：
5.获取点云模型的点云数据；
6.基于模糊卷积核进行卷积运算的神经网络根据所述点云数据对所述点云模型进行分割，得到分割区域；其中，所述模糊卷积核为：卷积权重沿卷积核径向分配的球形卷积核；
7.渲染所述分割区域，得到三维图像。
8.上述方案中，所述渲染所述分割区域，得到三维图像包括：
9.根据目标用户的视觉焦点信息和/或显示所述三维图像的电子设备的位置信息，确定视觉焦点区域和非视觉焦点区域；其中，所述非视觉焦点区域为所述焦点区域以外的区域；
10.对所述分割区域包含的所述视觉焦点区域进行渲染，得到所述三维图像。
11.上述方案中，所述方法还包括：
12.对所述分割区域内包含的非视觉焦点区域进行虚化，得到所述三维图像。
13.上述方案中，所述方法还包括：
14.根据所述目标用户的眼球运行信息和/或头部转动信息，确定所述视觉焦点信息。
15.上述方案中，所述神经网络至少包括：基于所述模糊卷积核进行卷积运算的至少一个卷积残差块。
16.本公开实施例还提供一种三维数据处理装置，包括：
17.获取单元，用于获取点云模型的点云数据；
18.分割单元，用于基于模糊卷积核进行卷积运算的神经网络根据所述点云数据对所述点云模型进行分割，得到分割区域；其中，所述模糊卷积核为：卷积权重沿卷积核径向分配的球形卷积核；
19.渲染单元，用于渲染所述分割区域，得到三维图像。
20.上述方案中，所述渲染单元，具体用于根据目标用户的视觉焦点信息和/或显示所述三维图像的电子设备的位置信息，确定视觉焦点区域和非视觉焦点区域；其中，所述非视觉焦点区域为所述焦点区域以外的区域；对所述分割区域包含的所述视觉焦点区域进行渲染，得到所述三维图像。
21.上述方案中，所述装置还包括：
22.虚化单元，用于对所述分割区域包含的所述视觉焦点区域进行渲染，得到所述三维图像。
23.上述方案中，所述装置还包括：
24.确定单元，用于根据所述目标用户的眼球运行信息和/或头部转动信息，确定所述视觉焦点信息。
25.上述方案中，所述神经网络至少包括：基于所述模糊卷积核进行卷积运算的至少一个卷积残差块。
26.本公开实施例还提供一种电子设备，所述设备至少包括：处理器和配置为存储可执行指令的存储介质，其中：处理器配置为执行存储的可执行指令，所述可执行指令配置为执行上述实施例提供的三维数据处理方法。
27.本公开实施例还提供一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时，实现本公开实施例提供的三维数据处理方法。
28.本公开实施例，第一、利用基于模糊卷积核进行卷积运算的神经网络进行点云模型的分割，而基于模糊卷积核的卷积运算是通过采用权重沿径向分布的球形卷积核，采用相似的参数计算目标点以及其邻域点的特征，使点云每个相邻点的卷积参数能以平滑一致的方式变化，提升了卷积的有效性，从而提升了点云分割的精度。第二、通过直接处理三维点云数据，减少了二维图像成像技术的复杂性，较少了二维全景图像受视角限制的问题。
附图说明
29.图1是本公开实施例提供的三维数据处理方法的流程示意图；
30.图2是本公开实施例提供的三维点云分割呈像原理示意图；
31.图3是本公开实施例提供的基于点云分割的vr设备呈像过程示意图；
32.图4是本公开实施例提供的vr技术中二维呈像原理示意图；
33.图5是本公开实施例提供的三维点云分割网络示意图；
34.图6是本公开实施例提供的原卷积核和加入了模糊机制的卷积核的示意图；
35.图7是本公开实施例提供的vr设备示意图；
36.图8是本公开实施例提供的三维数据处理装置的结构示意图；
37.图9是本公开实施例提供的电子设备的结构示意图。
具体实施方式
38.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
39.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
40.在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
41.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本发明。
42.下面说明本公开实施例提供的三维数据处理方法。参见图1，图1是本公开实施例提供的三维数据处理方法的流程示意图；在一些实施例中，该三维数据处理方法可应用于电子设备，所述电子设备包括但不限于移动终端、计算机等具有计算处理功能的电子设备。本公开实施例提供的三维数据处理方法包括：
43.步骤s110：获取点云模型的点云数据；
44.步骤s120：基于模糊卷积核进行卷积运算的神经网络根据所述点云数据对所述点云模型进行分割，得到分割区域；其中，所述模糊卷积核为：卷积权重沿卷积核径向分配的球形卷积核；
45.步骤s130：渲染所述分割区域，得到三维图像。
46.点云数据是指在一个三维坐标系统中的一组向量的集合。这些向量通常以x,y,z三维坐标的形式表示，用来代表一个物体的外表面形状。
47.点云数据除了具有几何位置信息以外，有的还有颜色信息、光照强度，类别标签、法向量、灰度值等信息。颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息赋予点云中对应的点。
48.根据点云数据，可以确定出实体对象在三维空间中的位置和体积等，从而得到点云模型，该点云模型为三维实体对象对应的立体模型，所述实体对象包括但不限于由多个物体组成的场景或单个物体。对点云模型进行分割，将点云模型中不同类别的点进行划分，形成多个分割区域，每个分割区域中的点的类别相同。例如，对一个包括人和路面的场景的点云模型进行分割，得到的分割区域为人对应的三维点云区域和路面对应的三维点云区域。又例如，对一个凳子的点云模型进行分割，那么得到凳面对应的三维点云区域和凳脚对应的三维点云区域。
49.在一实施例中，三维激光扫描仪等扫描装置测量物体表面，得到物体表面的大量的点的信息，并采用特定数据文件格式(例如pts等)输出物体对应的点云数据。
50.在一实施例中，所述球形卷积核为离散卷积核，模糊卷积核在对点云数据进行卷积运算时，对目标点和其邻域点可采用相似的参数计算特征，使每个相邻点使用的卷积参
数能以平滑一致的方式变化。
51.在一实施例中，渲染所述分割区域，得到三维图像，包括：将点云模型的分割区域与点云数据相融合，渲染得到能显示在显示屏上的三维图像。
52.本公开实施例，第一、通过直接对三维数据进行处理，减少了二维图像数据处理过程中数据搜索时间和计算机处理时间的消耗和二维全景图像成像在视角上的限制。第二、通过利用基于模糊卷积核进行卷积运算的神经网络进行点云模型的分割，模糊卷积核沿卷积核径向分配卷积权重，采用相似的参数计算目标点以及其邻域点的特征，使点云每个相邻点使用的卷积参数平滑变化，提升了卷积的有效性，从而提升了点云分割的精度。
53.在一些实施例中，所述渲染所述分割区域，得到三维图像包括：
54.根据目标用户的视觉焦点信息和/或显示所述三维图像的电子设备的位置信息，确定视觉焦点区域和非视觉焦点区域；其中，所述非视觉焦点区域为所述视觉焦点区域以外的区域；
55.对所述分割区域包含的所述视觉焦点区域进行渲染，得到所述三维图像。
56.其中，所述目标用户可为显示所述三维图像的电子设备的使用者或者观看者。根据所述目标用户的视觉焦点信息或显示所述三维图像的电子设备的位置信息，在点云模型中确定视觉焦点区域。
57.视觉焦点信息至少可指示用户视觉焦点的方位；视觉焦点区域为与用户视觉焦点方位对应的点云模型中的区域。
58.在所述视觉焦点区域形成第一遮罩区域，对第一遮罩区域内的分割区域保留其清晰度，并进行渲染得到三维图像。
59.本公开实施例，通过确定点云模型的视觉焦点区域为用户的感兴趣区域的至少之一，并对视觉焦点区域的分割区域进行渲染，得到三维图像，在满足需求的同时，也减少了对非视觉焦点区域不必要的处理，提升了数据的处理效率。
60.在一些实施例中，所述方法还包括：
61.对所述分割区域内包含的非视觉焦点区域进行虚化，得到所述三维图像。
62.在所述非视觉焦点区域形成第二遮罩区域，对第二遮罩区域内的分割区域进行虚化处理，得到对应的虚化图像。
63.在一实施例中，所述非视觉焦点区域的虚化处理，包括但不限于：降低所述非视觉焦点区域的清晰度或在所述非视觉焦点区域形成半透明的遮罩等。
64.本公开实施例，通过对用户的非视觉焦点区域的分割区域进行虚化处理，减少非视觉焦点区域对用户的视觉干扰，凸显了用户视觉焦点处的场景，使得到的三维图像更加贴合实际人眼的视觉效果，提升用户体验。
65.在一些实施例中，所述方法还包括：
66.根据所述目标用户的眼球运行信息和/或头部转动信息，确定所述视觉焦点信息。
67.在一实施例中，眼球运行信息指眼球的运动信息，包括但不限于瞳孔位置的变化信息，通过眼球运动信息可计算眼睛注视或者凝视的区域。目标用户的眼球运行信息可通过电子设备中的眼球追踪红外摄像头获取。
68.目标用户的头部转动信息指用户头部的运动信息，包括但不限于用户头部相对于初始状态转动的方向和角度等，目标用户的头部转动信息可由电子设备中的惯性传感器获
取。
69.在一些实施例中，所述神经网络至少包括：基于所述模糊卷积核进行卷积运算的至少一个卷积残差块。
70.在一实施例中，卷积残差块为残差网络中的一种残差块，本实施例中的卷积残差块的卷积基本单元从输入到输出依次包括：模糊卷积核、n*n的标准卷积核、激活函数和批标准化batch normalization(bn)。通过采用卷积残差块实现对输入对象的特征提取。卷积残差块具有主路径和跳转路径(shortcut路径)两条计算路径，输入对象分别通过主路径和跳转路径进行计算，再将各个路径的计算结果融合得到最终的输出，其中跳转路径仅经过一个卷积基本单元，由于跳转路径输出的数据部分的计算，使得卷积残差块能较大的保留点云的高维特征信息。
71.此处的n可为任意正整数，示例性的该n可为1或2等取值。
72.所述神经网络采用卷积残差块对点云进行下采样，计算点云的特征，得到对应的点云特征图。本实施例通过卷积残差块进行点云的特征计算，较大的保留了点云的高维特征信息，从而提升了点云分割的精度。
73.在一些实施例中，所述获取点云模型的点云数据，包括：
74.根据目标用户的视觉焦点信息和/或显示所述三维图像的电子设备的位置信息，确定视觉焦点区域和非视觉焦点区域；其中，所述非视觉焦点区域为所述视觉焦点区域以外的区域；
75.根据所述视觉焦点区域，确定所述视觉焦点区域对应的点云模型；
76.获取所述点云模型的点云数据。
77.在一实施例中，电子设备先根据用户的视觉焦点信息，确定用户视觉焦点区域，再根据所述视觉焦点区域的坐标信息，确定该视觉焦点区域对应的点云模型。
78.在一实施例中，所述方法还包括，对非视觉焦点区域的点云进行虚化。
79.具体的，先根据目标用户的视觉焦点区域的坐标与三维点云数据的坐标，获取视觉焦点区域的点云数据，确定视觉焦点区域对应的点云模型，再利用神经网络对视觉焦点区域的三维点云模型进行分割处理，得到分割区域，将该分割区域使用遮罩(mask)保存，并进行渲染，对视觉焦点区域以外的点云数据进行虚化处理。
80.本公开实施例通过只对用户视觉焦点区域，即用户感兴趣区域进行点云分割处理并渲染，在保证了浏览需求的同时，减轻了点云分割处理的计算负担。
81.以下结合上述实施例提供具体示例：
82.本示例提供了一种三维点云分割方法，应用于vr设备。所述vr设备包括：采集装置、传输装置、显示装置、存储处理单元和传感器。
83.所述方法包括：
84.s1：获取并存储三维点云数据。
85.具体的，实时获取三维点云数据，将通过采集装置采集到的三维点云数据通过传输装置传到存储介质，实现三维点云数据的存储。
86.s2：利用三维点云分割网络对采集的三维点云数据进行分割处理，得到分割后的点云模型。
87.根据获取的实时的用户的焦点信息和s2中获得的分割后的点云模型，确定用户焦
点处对应的分割后的点云模型，并将该焦点处的点云分割结果使用遮罩(mask)保存。
88.s3：遮罩(mask)对焦点处的分割后的点云模型做清晰化的保留，对非焦点处的三维点云模型使用python自动化的方式虚化。
89.s4：渲染三维点云的分割结果，显示在显示装置上。
90.如图2所示，在基于三维点云分割方法的vr设备中，包括了聚焦部位的清晰度保留和其他位置的虚化处理。其中，所述的聚焦部位的清晰度保留是通过该区域的遮罩实现的，遮罩将用户聚焦的部分进行保护；所述的其他位置的虚化处理是通过python自动虚化技术完成的，即除了聚焦部分的其他位置，可以以自动的方式进行三维点云的虚化。
91.在该vr设备中，用户停留在其中的某个角度，保留该角度所聚焦的三维物体部位的清晰度，而其他分割的位置都处理成虚化图，那么该角度所呈现的就是被三维点云分割出的一小块真实立体图，如果用户改变位置或者焦点发生了变化，在其他角度上仍然进行上述操作，这样完全脱离了二维图像切换的操作，可以拥有顺畅的沉浸式步行漫游体验和密集的浏览体验，真实复刻了现实空间自由移动的状态。
92.以下对本示例提供的采用本示例上述三维点云分割方法的vr设备，在动态和静态场景中的应用，进行具体描述：
93.本示例将基于三维点云分割方法的vr设备用于动态的场景中，所述的动态场景中包含了vr教室、机器人实展等真实场景。动态的场景中包括了在真实空间中存在的可移动变换的三维物体，该三维物体在空间中具有位置、颜色、姿势和光照等变换属性。在物体的移动过程中，三维点云模型数据随着原物体模型实时地改变，所述的改变是基于时间和空间小维度上范围内进行连续的改变，三维点云模型数据不会额外地消耗较大内存。用户使用vr设备注视某一个焦点时，点云分割后的该焦点区域所对应的遮罩在物体被注视的部分，该部分什么都不做，原封不动地渲染在vr设备中；其余区域所对应的遮罩同样覆盖在上面，该部分进行虚化处理(如图3所示)。
94.本示例将基于三维点云分割方法的vr设备用于静态的场景中，静态场景包含了4s汽车店的汽车模型展示、各大博物馆文物的实景展示等。静态的场景中，所述三维物体在空间中所获得的点云模型和原物体的模型是确定不变的。用户使用vr设备注视某一个焦点时的操作和在动态场景中的操作一致。
95.三维点云是最重要的三维数据表达方式之一，它负责获取感知，最大的优势就是可以实时被传感器测量出来，每个点对应一个测量点，包含了该点的三维坐标(x,y,z)和颜色信息(r,g,b)，能紧凑地表示一个物体的三维信息和大规模场景的三维信息。三维点云可以应用于目标检测、跟踪、识别和分割等图像领域。然而点云是不规则的、不均匀的、无序的，所包含的信息量巨大，这给目前的研究工作带来了巨大的挑战。
96.而现在虚拟现实(vr)更多地是使用基于二维图像的切片操作来完成用户体验的。如图4所示，在vr技术中，需要同时采集整个场景中的很多切片乃至所有切片，来模拟生成一个人眼视觉的切片数据库，这个数据库中的图像经过处理，就能在显示屏上，再复现出立体的场景。vr技术根据用户的瞬时变化姿态实时切换数据库中的切片，无论是用户的眼睛切换了焦点，还是在某个瞬间移动了位置，计算机都会通过算法筛选出做出这个动作的瞬间应该看到的对应的切片，并且经过快速加工，把该类切片呈现在眼前的显示屏上。
97.相对于二维图像，点云有其不可替代的优势-深度，也就是说三维点云直接提供了
三维空间的数据，而二维图像则需要通过透视几何来反推三维数据。如果能将三维点云技术加入到vr设备中，这样，该模式下的场景中能够提供足够的深度信息使人眼和大脑能够判别近景和远景，并且能够同时提供足够的聚焦变化，当用户使用vr设备(vr眼镜或者vr头显)时，更加具有“沉浸式”体验。
98.通过三维点云分割技术，实景信息中所包含的空间位置及其对应的色彩信息均被快速精准地获取，为用户呈现出一个虚拟却又真实的空间，这正是vr应用所需要的。而一般来说，在vr中，整个场景由百亿级或更多个带有三维坐标的点所构建而成，这些点各自具备rgb色彩值，那么该场景的点云很容易达到数十gb级别，如何快速高效地进行三维点云分割成为将点云运用于vr设备的重中之重。
99.在vr的大场景下使用三维点云分割，对三维点云分割的速度和精度都有很高要求。在现有的方法中，有的方法将点云转化成体素，再使用传统的二维方法，但是在体素的转化过程中十分消耗内存，且处理速度不能满足vr设备的实时性要求。近年来，随着深度学习在计算机图像和视觉领域的发展，很多学者提出了用于点云处理的深度学习算法，但还存在很多不足。点云的鼻祖网络point net没有点与点的交互，从小空间到大空间的场景中，随着点云数量的增加，由于每个点都学习了该点的特征，导致了性能的持续下降。于是有些方法从点云分割过程中的下采样进行优化，主要是为了减少点云的数量，包含了随机采样、最远迭代、点云密度采样等方法，都有各自的优缺点，并不能解决当前的问题。在后来的研究中，pointnet++使用了局部信息，性能持续上升，但是随着时间的增加，下采样中计算复杂度会变得高到难以接受。也有的方法从点云的切块上进行处理，但是点云的数量是不确定的，空间也是变换的，所以不能直接对点云进行切块处理。
100.当前所要解决的难题是在三维点云分割中如何进行有效的下采样和获得局部聚合的信息，获得重要信息的点云和该点点云的局部信息，从而实现三维点云的快速准确分割。准确的点云模型分割块会影响vr设备中用户的关注焦点，进而影响用户的体验。
101.基于此，本示例提供的三维点云分割方法还包括：构建用于三维点云分割的三维点云分割网络并对所述三维点云分割网络进行训练得到训练后的三维点云分割网络。所述三维点云分割网络的示意图，如图5所示。
102.具体的，所述三维点云分割网络选取了图卷积神经网络(graph convolution al network,gcn)作为基础网络，并采用常规的编码器-解码器结构。
103.1、编码器部分主要对点云进行下采样操作，用于去除冗余信息的点云，获得更加重要的点云。解码器部分是对编码部分获取到的点云特征图进行上采样操作，将点云特征图恢复到和原点云操作相同大小的点云，并实现每一部分的点云分割。
104.具体的，在编码器部分，下采样过程中包括：获取点云的局部聚合信息和得到不同层级的分辨率特征点云图。
105.在获取点云中点的局部聚合信息的过程中，使用范围搜索来获取指定半径内每个点的空间邻域。这里，将最大空间邻域连接数限制为m，如果范围搜索在邻域中返回m个点以上，则将应用随机采样。在所述的范围搜索过程中使用cuda编程，利用gpu的并行计算实现高效率地搜索。
106.在得到不同层级的分辨率特征点云图的过程中，采用最远点采样(farthest point sampling，fps)策略。与体素网格采样相比，fps的优点是可以将顶点和点的数量固
定在不同样本之间，方便标准批归一化。
107.下采样部分的卷积基本单元包含了一个1*1的卷积核、激活函数elu和批标准化(batch normalization，bn)，将模糊卷积核插入到卷积基本单元的最前面。该部分使用resnet残差块，能将高维的特征信息较大保留地传递到低层卷积层。其中，模糊卷积核为球形的离散卷积核，模糊卷积核沿径向分配权重，沿方向角方位采用相似的参数计算点的特征。所述的resnet残差块不使用恒等连接块，而使用卷积连接块，卷积连接块的卷积基本单元中能设置输入和输出的通道维度，方便数据在维度上的融合。且下采样部分的最后，使用最大池化完成最后的输出。
108.在传统的下采样过程中，一般的离散卷积核在学习过程中会受到边界的影响，这样所获取的点云与实际场景中的点云会有偏差，导致获取不了重要信息的点云。如图6所示，传统的离散卷积核(即原卷积核)沿着方位角和径向方向将球面区域划分成了不重叠的区域，其中，所述的方位角指的是从标准方向的北端起，顺时针方向到直线的水平角被称为方位角，它的取值范围是0
°
～360
°
；所述的径向指的是沿着球的半径所在的方向。但是，由于在三维点云模型中所获取到的点坐标是实数，因此许多点不可避免地会靠近边界，这种离散卷积核就会受到边界的影响。
109.基于此，本示例将模糊机制加入到传统的离散卷积核中，像素坐标在曼哈顿空间中定义的，卷积的学习过程不会受到边界的影响。原卷积核是传统的离散卷积核，传统离散卷积核的形状为球形，球形的离散卷积核以紧凑的方式划分局部邻域，同时保留了标准卷积核的平移不变性和不对称性的特征。原卷积核和加入了模糊机制后的卷积核均是离散卷积核。原卷积核和加入了模糊机制的卷积核沿方位角都有4个区域，原卷积核沿径向有一个分割，将原来的4个区域分割成了8个区域，并且会将不同的系数分配给不同的区域，这样会导致目标点i的邻域点s和t的权重相差较大。在加入了模糊机制后的卷积核中，目标点i的邻域点s和t，可以使用相似的参数来计算目标点i的特征，每个相邻点使用的卷积参数能够以平滑一致的方式变化，而模糊系数向量的稀疏性使得离散卷积核更有效，而不会显著影响其有效性。
110.2、在解码器部分，对下采样过程中最后一步得到的特征图进行线性插值方式的上采样操作，得到对应的第一图像，再第一图像和下采样过程中倒数第二步中得到的特征图进行融合操作，得到第二图像。融合方式采用通道融合方式，而不是简单地进行点云之间的相加操作。最后使用基本的卷积单元对第二图像进一步地提取特征，得到最后的输出。该解码器部分的每一次上采样操作都会使用下采样过程中得到的特征图，并且一一对应。
111.本示例还提供一种vr设备，包括：用于获取三维点云的数据的采集装置、用于点云数据的传输的传输装置、用于展示真实空间中的数据的显示装置、用于执行本示例提供的三维点云分割方法和存储数据的存储处理单元，以及用于获取用户的焦点信息的传感器。(如图7所示)
112.具体地，传感器可以包括一个或多个用于获取用户焦点类型的传感器，包含了惯性传感器和眼球追踪红外摄像头，主要用于获取用户所关注的焦点。其中，所述的惯性传感器包括了加速度传感器、陀螺仪和地磁传感器，用于捕捉头部运动，更多地获取转动数据。所述的眼球追踪红外摄像头用于获取用户眼球运动信息。惯性传感器和眼球追踪红外摄像头用于获取用户关注的焦点。
113.采集装置可以包括一个或多个三维激光扫描仪或其他获取点云数据的装置，三维激光扫描仪等设备用自动化的方式测量在物体表面的大量的点的信息，使用特定数据文件格式输出点云数据。
114.传输装置包括一个网络适配器(network interface controller，nic)，能通过基站与其他网络设备相连，实现与互联网进行通讯。所述传输装置用于通过一个或者多个网络接收数据和发送数据。其中，所述网络可包括通信供应商提供的无线网络。网络的来源包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
115.显示装置内含图形支持模块，主要负责实现引擎图形渲染的功能。同时，当引擎需要调用不同的图形库时，图形支持模块为上层开发提供统一的调用接口，保证上层可采用通用的开发模式。
116.存储处理单元包括一个或多个存储器和处理单元。存储器可用于存储应用软件的软件程序以及数据信息。具体的，本示例的存储处理单元用于存储执行本示例三维点云分割方法的三维点云分割处理程序、三维点云数据和三维点云分割后得到的模型数据等。存储器包括但不限于高速随机存储器，若存储器为远程存储器，存储器可以通过网络连接vr设备。
117.处理器通过运行存储在存储器内的软件程序以及数据信息，执行各种功能应用以及数据处理。即实现所述的方法。处理单元包含数学引擎和和计算机硬件。三维点云分割网络的训练由计算机硬件完成，计算机硬件包含了至少一块gpu。数学引擎用于渲染中大量的数据运算，本示例中将实现三维点云分割的运算在独立的模块中进行，能够保证数学运算快速的处理。
118.本示例上述提供的方法和设备有如下有益效果：
119.第一、三维点云具备真实空间坐标信息，可对任意位置进行量测，空间信息随着时间的变换而发生改变，并且能够存储不同时期同一空间位置的准确信息。本示例将三维点云分割方法应用于vr设备中，使用户可以在任意位置进行自由浏览场景，不会像二维全景照片那样受视角的限制，不用从一张图片的拍摄位置跳转到另一张照片的拍摄位置，不需要忍受位置切换所带来的眩晕感。并且vr的数据内容是直接采集于真实场景，具有极强的还原度，使得用户具有更强烈的“沉浸式”体验。
120.第二、本示例在三维点云分割技术过程中，提出了加入模糊机制的离散卷积核(模糊卷积核)，并在理论层面上对加入了模糊机制后的离散卷积核进行了推论。模糊机制中可以使用相似的参数来计算目标点i的特征，这样能让每个相邻点的卷积参数能够以平滑一致的方式变化。模糊系数向量的稀疏性可使离散卷积核更有效。本示例通过加入模糊机制的离散卷积核(模糊卷积核)应用于三维点云分割网络中和采用卷积残差块进行特征提取，使分割的点云准确率指标更高，而更高准确率的分割块会提高vr设备中用户的关注焦点，从而使得用户焦点处获取的三维点云分割模型更加完整，渲染出来的场景更加真实，使得场景具有更强的还原度。
121.下面继续说明本公开实施例提供的三维数据处理装置，在一些实施例中，三维数据处理装置可采用软件模块的方式实现。参见图8，图8是本公开实施例提供的三维数据处理装置的结构示意图，本公开实施例提供的三维数据处理装置800包括：
122.获取单元810，用于获取点云模型的点云数据；
123.分割单元820，用于基于模糊卷积核进行卷积运算的神经网络根据所述点云数据对所述点云模型进行分割，得到分割区域；其中，所述模糊卷积核为：卷积权重沿卷积核径向分配的球形卷积核；
124.渲染单元830，用于渲染所述分割区域，得到三维图像。
125.在一些实施例中，所述渲染单元，具体用于根据目标用户的视觉焦点信息和/或显示所述三维图像的电子设备的位置信息，确定视觉焦点区域和非视觉焦点区域；其中，所述非视觉焦点区域为所述焦点区域以外的区域；对所述分割区域包含的所述视觉焦点区域进行渲染，得到所述三维图像。
126.在一些实施例中，所述装置还包括：
127.虚化单元，用于对所述分割区域包含的所述视觉焦点区域进行渲染，得到所述三维图像。
128.在一些实施例中，所述装置还包括：
129.确定单元，用于根据所述目标用户的眼球运行信息和/或头部转动信息，确定所述视觉焦点信息。
130.在一些实施例中，所述神经网络至少包括：基于所述模糊卷积核进行卷积运算的至少一个卷积残差块。
131.本公开实施例还提供一种电子设备，所述设备至少包括：处理器和配置为存储可执行指令的存储介质，其中：
132.处理器配置为执行存储的可执行指令，所述可执行指令配置为执行本公开实施例提供的三维数据处理方法。
133.需要说明的是，图9为本公开实施例提供的一种电子设备结构示意图，如图9所示，该设备900至少包括：处理器910、通信接口920和存储器930，其中：
134.处理器910通常控制设备900的总体操作。
135.通信接口920可以使设备通过网络与其他设备通信。
136.存储器930配置为存储由处理器910可执行的指令和应用，还可以缓存待处理器910以及设备900中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。
137.需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述三维数据处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台服务器执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本公开实施例不限制于任何特定的硬件和软件结合。
138.对应地，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例提供的三维数据处理方法中的步骤。
139.这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术存储介质和设备实施例中未
披露的技术细节，请参照本技术方法实施例的描述而理解。
140.当然，本公开实施例中的装置还可有其他类似的协议交互实现案例，在不背离本技术精神及其实质的情况下，本领域的技术人员当可根据本公开实施例做出各种相应的改变和变形，但这些相应的改变和变形都应属于本技术方法所附的权利要求的保护范围。
141.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
142.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
143.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
144.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
145.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
146.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
147.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合
或通信连接，可以是电性的、机械的或其它形式的。
148.上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络模块上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。
149.以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。