一种基于三维网格及神经网络的三维物体识别检测方法与流程

本发明涉及神经网络技术领域，具体是一种基于三维网格及神经网络的三维物体识别检测方法。

背景技术：

在数字化领域，经常需要将三维世界的内容映射到计算机中，并利用三维数字模型进行映射，这就是常说的“digitaltwins”（亦称“数字孪生”或“数字双胞胎”）。

将三维世界实体映射到三维数字空间中，其包含了比二维图像更加丰富的信息，因而对三维数字空间的物体进行识别和检测，有极大的实用价值。

同时，在复杂的及多元物体混合的场景中，如何有效的识别和检测出其包含的三维物体，亦具有极高的实用价值；

然而，目前在计算机图像识别领域，还是主要以二维图像识别为主；并且在三维数字空间中，如何有效的解决三维物体旋转不变性的问题，亦是比较麻烦的问题。

技术实现要素：

本发明的目的在于提供一种基于三维网格及神经网络的三维物体识别检测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于三维网格及神经网络的三维物体识别检测方法，包含以下步骤：

a、获取三维物体样本集；

b、更新三维物体样本集；

c、对样本进行包络体、网格化处理；

d、训练神经网络；

e、确定待检测三维物体及检测样本；

f、设置滑动步长；

g、设置置信度阈值；

h、确定待检测物体在三维数字空间中所包含的三维物体的类型及位置。

作为本发明的优选方案：所述步骤a具体是：对样本集中的所有三维模型进行聚合处理；根据聚合后的内容，对样本集中的三维物体创建标签。

作为本发明的优选方案：所述步骤b具体是：对先前样本集中的样本基于旋转不变性的目的，对样本进行扩展及更新。

作为本发明的优选方案：所述步骤c具体是：对更新后的三维样本集中的样本进行包络体及网格化的处理。

作为本发明的优选方案：所述步骤d具体是：将步骤c中通过包络体及网格化处理后，并且具有相同标签的样本，放入神经网络进行训练，神经网络的输入层神经元个数由网格化后的网格数量确定，输出神经元的个数为1个；使每个标签相同的三维物体样本对应一个神经网络，即步骤a中有多少个标签，就有多少个神经网络。

作为本发明的优选方案：所述步骤e具体是：确定复杂的待检测物体，并将其放入数字化环境中,在三维样本集中选择标签相同的三维物体从该待检测物体的包络体的坐标原点进行识别处理。

作为本发明的优选方案：所述步骤f具体是：对于相同标签的三维物体的样本，将其每个样本中包络体及网格化后的网格，放入带检测三维物体的包络体中，并在带检测物体的包络体中进行滑动，每滑动一步的距离，为在该三维网格中所在x、y、z坐标轴上的网格尺寸；并且每滑动一步，都将该三维网格进行数值化处理，将其放入到和该检测物体标签对应的神经网络中，进行相似性计算。

与现有技术相比，本发明的有益效果是：通过本发明可以有效的解决在三维数字空间中，对三维物体的识别和检测，即使三维数字空间中场景的复杂程度很高，亦可以利用此方法识别和检测出相应的三维物体。

附图说明

图1为对已有样本集中的某个样本进行神经网络的训练示意图。

图2为三维网格在待检测物体上进行滑动示意图。

图3为在待检测物体中检测及识别出的三维物体及其置信度示意图。

图4为基于三维网格及神经网络的三维物体识别与检测示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，实施例1：本发明实施例中，一种基于三维网格及神经网络的三维物体识别检测方法，如图4所示，图中的对已有样本集中的某个样本进行神经网络的训练即为图1示图。

具体包含以下步骤：

a、获取三维物体样本集；对样本集中的所有三维模型进行聚合处理；根据聚合后的内容，对样本集中的三维物体创建标签；

b、更新三维物体样本集。采用“一种基于三维网格与神经网络解决三维物体旋转不变性的方法”，对先前样本集中的样本基于旋转不变性的目的，对样本进行扩展及更新；

c、对样本进行包络体、网格化处理。采用“一种基于三维网格与神经网络的零件相似性处理方法”，对更新后的三维样本集中的样本进行包络体及网格化的处理;

d、训练神经网络。将步骤3中通过包络体及网格化处理后，并且具有相同标签的样本，放入神经网络进行训练，神经网络的输入层神经元个数由网格化后的网格数量确定，输出神经元的个数为1个（如图1所示）；使每个标签相同的三维物体样本对应一个神经网络，即步骤1中有多少个标签，就有多少个神经网络;

e、确定待检测三维物体及检测样本。确定复杂的待检测物体（由不止一个三维物体组成），并将其放入数字化环境中。在三维样本集中选择标签相同的三维物体从该待检测物体的包络体的坐标原点进行识别处理；

f、设置滑动步长；对于相同标签的三维物体的样本，将其每个样本中包络体及网格化后的网格，放入带检测三维物体的包络体中，并在带检测物体的包络体中进行滑动，每滑动一步的距离，为在该三维网格中所在x、y、z坐标轴上的网格尺寸（如图2所示）；并且每滑动一步，都将该三维网格进行数值化处理（采用“基于三维网格与神经网络的零件相似性处理方法”中的数值化处理方法），将其放入到和该检测物体标签对应的神经网络中，进行相似性计算;

g、设置置信度阈值。在对所有样本进行相似度（亦称置信度）计算时时，根据设置的合适的阈值，来确定是否将该位置的三维网格位置进行记录并保留，只有达到设置的某个置信度阈值后的三维网格，才在待检测物体的包络体中进行记录和保留;

h、确定待检测物体在三维数字空间中所包含的三维物体的类型及位置。

其中，“一种基于三维网格与神经网络解决三维物体旋转不变性的方法”具体包含以下步骤：

s1、创建样本集三维物体的标签；对样本集中的所有三维模型进行聚合处理；根据聚合后的内容，对样本集中的三维物体创建标签；

s2、创建某三维物体的样本集。利用聚合后的三维模型以及其标签，创建旋转不变需求所需要的样本数据；通过其在坐标轴（xyz轴）中分别进行旋转，为满足样本训练后，可以达到旋转不变性的目的，绕某个轴旋转的次数不少于n次（n≥3），旋转n次后，共得到n+1个样本（以旋转3次为例，分别得到三维物体在绕x轴旋转0°，90°，180°，270°的4个三维物体），在对每个坐标轴进行旋转后，都可以得到n+1个样本，而由于每个坐标轴旋转时都包含了初始样本，因此，可共计得到不少于n3+1（n=旋转次数；3：x、y、z三个坐标轴；1：初始样本）个训练样本；

s3、更新重构样本集中所有三维物体的标签；利用步骤2创建了旋转后的三维物体，并利用其扩展了样本集中的样本，由于扩展后的样本都是基于某个三维物体旋转而来，因此将先前样本集中的物体的标签，直接赋给通过旋转后得到三维物体，使所有三维物体都拥有标签。通过这种方法后，样本集中的标签种类没有增加，仅仅增加了样本集中的待训练样本;

s4、为样本集中所有的三维物体创建包络盒。依据“一种基于三维网格与神经网络的零件相似性处理方法”中描述的内容创建包络盒；

s5、对样本集中的物体进行三维网格的划分。依据“一种基于三维网格与神经网络的零件相似性处理方法”中描述的内容创建网格的划分；

s6、数值化处理及归一化；依据专利“一种三维网格与神经网络的零件相似性处理方法”中描述的内容进行数值化处理及归一化处理;

s7、放入神经网络中进行训练。依据步骤4中的网格数量构建神经网络的输入神经元个数，并且根据步骤1中的内容，确定神经网络中的输出神经元个数。将更新后的样本集中经过处理（网格化及标签化）的三维物体放入神经网络进行训练;

s8、利用训练后的神经网络识别三维物体。对待识别的三维物体创建包络空间化、三维网格化（其三维网格类型及网格数量与待训练样本的三维网格相同）、数值化、归一化处理后，将其放入神经网络，即可依据已训练得到的神经网络，较好的识别出该三维物体，而不易受到旋转后物体形态不同的影响；并最终确认该三维物体。

步骤s4、s5、s6中所述的“一种基于三维网格与神经网络的零件相似性处理方法”具体步骤如下：一、对待训练三维物体创建包络体；二、确定三维网格的网格类型及数量；四、对三维网格划分后的三维物体进行数值化处理；五、归一化三维网格后的数值；六、标签化当前三维物体；七、放入神经网络进行训练；八、利用训练后的神经网络识别三维物体。

实施例2：在实施例1的基础上，在三维网格在进行滑动的过程，势必会出现两个三维网格同时出现大于阈值，并且重叠的情况，因此通过iou的方式对其进行处理。即分别计算两个网格的交集与并集，并计算两者的比值（即iou）。

当该比值大于某个值，则选择置信度更大的网格，将另外一个网格抛弃；

当该比值小于某个值，则将两个重叠的网格都保留。

在对于样本集中所有物体在进行检测后，同样会出现两个三维网格同时大于阈值，并且重叠的情况，此时亦采用基于iou的方式，以判断重叠三维网格间两个网格的保留与抛弃状态。

在完成上述操作后，即可在待检测物体中，通过三维网格来标记检测及识别到的三维物体及位置。（如图3所示）。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。