一种3D点云处理方法、装置、设备和介质与流程

本技术涉及图像处理，尤其涉及一种3d点云处理方法、装置、设备和介质。

背景技术：

1、为了提高人体识别的精准度，并为实现人体的高精度扫描与重建提供可能，现有技术中提供了一种基于飞行时间测距法(time of flight，tof)技术的深度摄像头，其中飞行时间测距法是指通过给物体连续发送光脉冲，然后用传感器接收从物体返回的光脉冲，通过探测光脉冲的飞行(往返)时间来得到深度摄像头距物体的距离。

2、但是tof技术存在一些固有的问题，例如采集的人体的深度图中在人体边缘处会出现大量错误的深度值，表现为深度图中的3d点云中存在许多飞在空中的无效点即飞点，并且在深度图中还会存在一些杂块以及人体区域的稀疏点。由于深度图中存在飞点、稀疏点和杂块，从而导致采集的人体的3d点云的质量较差。

3、因此，如何去除深度图中的飞点、稀疏点和杂块，提高采集的3d点云的质量就成为亟待解决的技术问题。

技术实现思路

1、本技术提供了一种3d点云处理方法、装置、设备和介质，用以解决现有技术中采集的深度图中存在飞点、稀疏点和杂块，导致3d点云的质量较差的问题。

2、第一方面，本技术提供了一种3d点云处理方法，所述方法包括：

3、将标记图中边缘像素点的标记值记录为预设的第一标记值，根据深度图中除所述边缘像素点之外的内部像素点与相邻像素点的深度差值、以及预先保存的标记值与差值的函数关系，确定所述标记图对应所述内部像素点对应的第二标记值；

4、根据所述标记图中的第一像素点的标记值、预先保存的广度优先搜索算法，确定所述深度图中的连通域对应的像素点集合，根据所述连通域对应的像素点集合中的像素点数量以及预先保存的第一数量阈值，确定像素点数量不小于所述第一数量阈值的目标连通域对应的目标像素点集合；

5、将第一掩码图像中所述目标像素点集合中的第二像素点的掩码值设置为预设的第一掩码值，将除所述目标像素点集合中的第二像素点外的其他第二像素点的掩码值设置为预设的第二掩码值，根据所述第一掩码图像对所述深度图进行掩码处理，得到处理后的目标深度图。

6、进一步地，所述根据所述深度图中除所述边缘像素点之外的内部像素点与相邻像素点的深度差值、以及预先保存的标记值与差值的函数关系，确定所述标记图对应所述内部像素点对应的第二标记值包括：

7、针对所述内部像素点，确定所述内部像素点对应行的第一子标记值及对应列的第二子标记值，将确定的所述第一子标记值和所述第二子标记值的和值确定为第二标记值；

8、其中确定所述内部像素点对应的子标记值的过程包括：

9、若所述内部像素点的同一方位的两个相邻像素点中仅有一个目标相邻像素点的深度值为非零值、且所述内部像素点与所述目标相邻像素点的深度差值的绝对值不大于第一预设阈值，确定所述内部像素点的子标记值为预设的第三标记值与预设的初始标记值的和值；或

10、若所述内部像素点的同一方位的两个相邻像素点中的深度值均为非零值、且所述内部像素点分别与同一方位的两个相邻像素点的两个深度差值的绝对值的和值不大于第二预设阈值，确定所述内部像素点对应的子标记值为预设的第四标记值与所述初始标记值的和值；其中所述同一方位包括同一行和同一列。

11、进一步地，所述根据所述第一掩码图像对所述深度图进行掩码处理，得到处理后的目标深度图包括：

12、将所述第一掩码图像中像素点对应的掩码值与所述深度图中对应位置像素点的深度值相乘，确定乘积值为所述目标深度图中该像素点对应的目标深度值。

13、进一步地，所述将标记图中边缘像素点的标记值记录为预设的第一标记值之后，所述根据深度图中除所述边缘像素点之外的内部像素点与相邻像素点的深度差值的绝对值、以及预先保存的标记值与绝对值的函数关系，确定所述标记图对应所述内部像素点对应的第二标记值之前，所述方法还包括：

14、采集第一设定数量的第一深度图，根据所述第一设定数量的第一深度图中像素点的深度值，以及预先保存的时间性滤波算法，对所述第一设定数量的第一深度图进行滤波处理，得到所述深度图中第三像素点的深度值。

15、进一步地，所述方法还包括：

16、对所述深度图进行直方图统计，确定所述深度图中深度值位于预设深度值统计范围的第四像素点的第一目标数量；

17、根据所述预设深度值统计范围的第四像素点的第一目标数量、以及预先保存的第二数量阈值，确定第一目标数量小于所述第二数量阈值的目标深度值统计范围内的目标第四像素点，并将所述深度图中所述目标第四像素点对应的深度值更新为预设深度值。

18、进一步地，若所深度图中包含地面，所述方法还包括：

19、根据所述深度图进行直方图统计，确定所述深度图中对应的高度值位于预设高度值统计范围的第五像素点的第二目标数量；

20、根据所述预设高度值统计范围的第五像素点的第二目标数量、以及预先保存的第三数量阈值，确定第二目标数量小于所述第三数量阈值的目标高度值统计范围，并确定高度值小于所述目标预设高度值统计范围最小值的目标第五像素点；

21、将第二掩码图像中所述目标第五像素点的掩码值设置为所述第二掩码值，将除所述目标第五像素点外的其他第五像素点的掩码值设置为所述第一掩码值，根据所述第二掩码图像对所述深度图进行掩码处理，得到地面分割后的深度图。

22、第二方面，本技术提供了一种3d点云处理装置，所述装置包括：

23、确定模块，用于将标记图中边缘像素点的标记值记录为预设的第一标记值，根据深度图中除所述边缘像素点之外的内部像素点与相邻像素点的深度差值、以及预先保存的标记值与差值的函数关系，确定所述标记图对应所述内部像素点对应的第二标记值；根据所述标记图中的第一像素点的标记值、预先保存的广度优先搜索算法，确定所述深度图中的连通域对应的像素点集合，根据所述连通域对应的像素点集合中的像素点数量以及预先保存的第一数量阈值，确定像素点数量不小于所述第一数量阈值的目标连通域对应的目标像素点集合；

24、处理模块，用于将第一掩码图像中所述目标像素点集合中的第二像素点的掩码值设置为预设的第一掩码值，将除所述目标像素点集合中的第二像素点外的其他第二像素点的掩码值设置为预设的第二掩码值，根据所述第一掩码图像对所述深度图进行掩码处理，得到处理后的目标深度图。

25、进一步地，所述确定模块，具体用于针对所述内部像素点，确定所述内部像素点对应行的第一子标记值及对应列的第二子标记值，将确定的所述第一子标记值和所述第二子标记值的和值确定为第二标记值；其中确定所述内部像素点对应的子标记值的过程包括：若所述内部像素点的同一方位的两个相邻像素点中仅有一个目标相邻像素点的深度值为非零值、且所述内部像素点与所述目标相邻像素点的深度差值的绝对值不大于第一预设阈值，确定所述内部像素点的子标记值为预设的第三标记值与预设的初始标记值的和值；或若所述内部像素点的同一方位的两个相邻像素点中的深度值均为非零值、且所述内部像素点分别与同一方位的两个相邻像素点的两个深度差值的绝对值的和值不大于第二预设阈值，确定所述内部像素点对应的子标记值为预设的第四标记值与所述初始标记值的和值；其中所述同一方位包括同一行和同一列。

26、进一步地，所述处理模块，具体用于将所述第一掩码图像中像素点对应的掩码值与所述深度图中对应位置像素点的深度值相乘，确定乘积值为所述目标深度图中该像素点对应的目标深度值。

27、进一步地，所述确定模块，还用于所述将标记图中边缘像素点的标记值记录为预设的第一标记值之后，所述根据深度图中除所述边缘像素点之外的内部像素点与相邻像素点的深度差值的绝对值、以及预先保存的标记值与绝对值的函数关系，确定所述标记图对应所述内部像素点对应的第二标记值之前，采集第一设定数量的第一深度图，根据所述第一设定数量的第一深度图中像素点的深度值，以及预先保存的时间性滤波算法，对所述第一设定数量的第一深度图进行滤波处理，得到所述深度图中第三像素点的深度值。

28、进一步地，所述处理模块还用于对所述深度图进行直方图统计，确定所述深度图中深度值位于预设深度值统计范围的第四像素点的第一目标数量；根据所述预设深度值统计范围的第四像素点的第一目标数量、以及预先保存的第二数量阈值，确定第一目标数量小于所述第二数量阈值的目标深度值统计范围内的目标第四像素点，并将所述深度图中所述目标第四像素点对应的深度值更新为预设深度值。

29、进一步地，所述处理模块还用于根据所述深度图进行直方图统计，确定所述深度图中对应的高度值位于预设高度值统计范围的第五像素点的第二目标数量；根据所述预设高度值统计范围的第五像素点的第二目标数量、以及预先保存的第三数量阈值，确定第二目标数量小于所述第三数量阈值的目标高度值统计范围，并确定高度值小于所述目标预设高度值统计范围最小值的目标第五像素点；将第二掩码图像中所述目标第五像素点的掩码值设置为所述第二掩码值，将除所述目标第五像素点外的其他第五像素点的掩码值设置为所述第一掩码值，根据所述第二掩码图像对所述深度图进行掩码处理，得到地面分割后的深度图。

30、第三方面，本技术提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行存储器中存储的计算机程序时实现上述3d点云处理方法中任一所述方法的步骤。

31、第四方面，本技术提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述3d点云处理方法中任一所述方法的步骤。

32、本技术提供了一种3d点云处理方法、装置、设备和介质，由于该方法中将标记图中边缘像素点的标记值记录为预设的第一标记值，根据深度图中除所述边缘像素点之外的内部像素点与相邻像素点的深度差值、以及预先保存的标记值与差值的函数关系，确定所述标记图对应所述内部像素点对应的第二标记值；根据所述标记图中的第一像素点的标记值、预先保存的广度优先搜索算法，确定所述深度图中的连通域对应的像素点集合，根据所述连通域对应的像素点集合中的像素点数量以及预先保存的第一数量阈值，确定像素点数量不小于所述第一数量阈值的目标连通域对应的目标像素点集合；将第一掩码图像中所述目标像素点集合中的第二像素点的掩码值设置为预设的第一掩码值，将除所述目标像素点集合中的第二像素点外的其他第二像素点的掩码值设置为预设的第二掩码值，根据所述第一掩码图像对所述深度图进行掩码处理，得到处理后的目标深度图。由于本技术中根据标记图中的第一像素点的标记值、预先保存的广度优先搜索算法，确定深度图中的连通域对应的像素点集合，并确定像素点数量不小于第一数量阈值的目标连通域对应的目标像素点集合，将目标像素点集合中的第二像素点的掩码值设置为预设的第一掩码值，将其他的第二像素点的掩码值设置为预设的第二掩码值，从而确定出第一掩码图，根据第一掩码图对深度图进行掩码处理，从而去除了深度图中的飞点、稀疏点和杂块，提高了采集的3d点云的质量。