一种基于三角网格简化模板的物体识别方法及装置与流程

本发明属于三维视觉技术领域，更具体地，涉及一种基于三角网格简化模板的物体识别方法及装置。

背景技术：

随着时代的发展，在物流、工业领域广泛存在自动分拣、上下料的需求，为满足这类需求，需要通过由视觉检测设备获取到的大量杂乱无序的物品点云中准确识别出单个物体的位置和姿态，为后续抓取任务提供信息。

目前进行单个物体位置和姿态识别的方法一般为：1.获取待识别物体的模板点云；2.使用此模板通过点云配准方法(如ppf、icp)从背景点云中识别出物体；3.输出被识别物体的位置和姿态。

上述方法用于点云配准的ppf、icp算法对模板点云和背景点云采取基于点对特征的逐点匹配的方法，由于模板点云一般是从视觉检测设备下直接获得，其点数多、数据量大，导致上述两种逐点匹配方法处理速度缓慢，制约其使用效率。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提出了一种基于三角网格简化模板的物体识别方法及装置，由此解决现有识别方法存在的处理速度缓慢、使用效率低下的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于三角网格简化模板的物体识别方法，包括：

获取包含待匹配物体的背景点云；

基于所述待匹配物体的三角网格简化模板，将所述三角网格简化模板与所述背景点云进行匹配，以获取所述待匹配物体在所述背景点云中的位置和姿态。

优选地，在将所述三角网格简化模板与所述背景点云进行匹配之前，所述方法还包括：

获取所述待匹配物体的模板点云，基于三角网格模型对所述模板点云进行简化处理，得到所述待匹配物体的三角网格简化模板。

优选地，所述基于三角网格模型对所述模板点云进行简化处理，得到所述待匹配物体的三角网格简化模板，包括：

构造所述模板点云的三角网格，并对所述三角网格进行简化处理得到目标三角网格；

提取所述目标三角网格的顶点，根据各所述顶点的邻接三角面得到各所述顶点的法线，组合各所述顶点和各所述顶点的法线得到所述待匹配物体的三角网格简化模板。

优选地，所述构造所述模板点云的三角网格，并对所述三角网格进行简化处理得到目标三角网格，包括：

对所述模板点云进行三角化处理，得到由三角网格重建的曲面模型；

对所述曲面模型进行表面重建，得到重建后的由三角网格组成的所述目标三角网格。

优选地，所述提取所述目标三角网格的顶点，根据各所述顶点的邻接三角面得到各所述顶点的法线，包括：

提取所述目标三角网格的顶点组成顶点集合，提取所述目标三角网格的三角面组成三角面集合；

对于所述三角面集合中的任意目标三角面，由构成所述目标三角面的三个顶点得到所述目标三角面的法向量，由此得到所述三角面集合中所有三角面的法向量；

对于所述顶点集合中的任意目标顶点，获取所述目标顶点的邻接面，由各所述邻接面的法向量得到所述目标顶点的法向量。

按照本发明的另一个方面，提供了一种基于三角网格简化模板的物体识别装置，包括：

第一获取单元，用于获取包含待匹配物体的背景点云；

识别单元，用于基于所述待匹配物体的三角网格简化模板，将所述三角网格简化模板与所述背景点云进行匹配，以获取所述待匹配物体在所述背景点云中的位置和姿态。

优选地，所述装置还包括：

第二获取单元，获取所述待匹配物体的模板点云；

模板简化单元，用于基于三角网格模型对所述模板点云进行简化处理，得到所述待匹配物体的三角网格简化模板。

优选地，所述模板简化单元，包括：

第一简化单元，用于构造所述模板点云的三角网格，并对所述三角网格进行简化处理得到目标三角网格；

模板简化子单元，用于提取所述目标三角网格的顶点，根据各所述顶点的邻接三角面得到各所述顶点的法线，组合各所述顶点和各所述顶点的法线得到所述待匹配物体的三角网格简化模板。

优选地，所述第一简化单元，包括：

第一处理单元，用于对所述模板点云进行三角化处理，得到由三角网格重建的曲面模型；

表面重建单元，用于对所述曲面模型进行表面重建，得到重建后的由三角网格组成的所述目标三角网格。

优选地，所述识别单元，包括：

提取单元，用于提取所述目标三角网格的顶点组成顶点集合，提取所述目标三角网格的三角面组成三角面集合；

面法向量获取单元，用于对于所述三角面集合中的任意目标三角面，由构成所述目标三角面的三个顶点得到所述目标三角面的法向量，由此得到所述三角面集合中所有三角面的法向量；

顶点法向量获取单元，用于对于所述顶点集合中的任意目标顶点，获取所述目标顶点的邻接面，由各所述邻接面的法向量得到所述目标顶点的法向量。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明所提供的基于三角网格简化模板的物体识别方法，一方面，由于采用了基于三角网格的简化，保留了原始模型的特征，能较好的适应ppf、icp这种基于模型和背景点对特征的匹配算法，保证了匹配的精度；另一方面，由于简化后的模型其数据量大大较少，克服了匹配算法在数据量大时处理速度缓慢的缺陷，提高了处理速度。

附图说明

图1是本发明实施例提供的一种基于三角网格简化模板的物体识别方法的流程示意图；

图2是本发明实施例提供的另一种基于三角网格简化模板的物体识别方法的流程示意图；

图3是本发明实施例提供的一种基于三角网格的模型点云简化效果图；

图4是本发明实施例提供的一种基于三角网格简化模板的物体识别装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明通过基于三角网格简化的方法简化点云，在减少点云数据量的同时又能保留点云模型特征，解决了匹配速度缓慢，效率低下的问题。

如图1所示是本发明实施例提供的一种基于三角网格简化模板的物体识别方法的流程示意图，在图1所示的方法中，包括以下步骤：

s1：获取包含待匹配物体的背景点云；

作为一种可选的实施方式，可以通过视觉检测设备获取包含待匹配物体的背景点云。

s2：基于待匹配物体的三角网格简化模板，将三角网格简化模板与背景点云进行匹配，以获取待匹配物体在背景点云中的位置和姿态。

如图2所示，在本发明实施例中，在将三角网格简化模板与背景点云进行匹配之前，该方法还包括获取三角网格简化模板的步骤：

获取待匹配物体的模板点云，基于三角网格模型对模板点云进行简化处理，得到待匹配物体的三角网格简化模板。

作为一种可选的实施方式，可以通过视觉检测设备获取待匹配物体的模板点云p。

作为一种可选的实施方式，可以通过以下方式实现：

构造模板点云的三角网格，并对三角网格进行简化处理得到目标三角网格；

提取所述目标三角网格的顶点，根据各所述顶点的邻接三角面得到各所述顶点的法线，组合各所述顶点和各所述顶点的法线得到所述待匹配物体的三角网格简化模板。

作为一种可选的实施方式，可以通过以下方式得到目标三角网格：

对模板点云进行三角化处理，得到由三角网格重建的曲面模型m；

对曲面模型进行表面重建，得到重建后的由三角网格组成的目标三角网格m1。

作为一种可选的实施方式，可以通过三角化算法对模板点云进行三角化处理，得到由三角网格重建的曲面模型，例如可以使用贪心投影三角化算法。

作为一种可选的实施方式，可以使用三角网格重建算法对曲面模型进行表面重建，得到重建后的由三角网格组成的目标三角网格，例如可以使用基于沃罗诺伊图(voronoidiagram)的三角网格重建算法。

作为一种可选的实施方式，提取目标三角网格的顶点，根据各顶点的邻接三角面得到各顶点的法线，可以通过以下方式实现：

提取目标三角网格的顶点组成顶点集合，提取目标三角网格的三角面组成三角面集合；

对于三角面集合中的任意目标三角面，由构成目标三角面的三个顶点得到目标三角面的法向量，由此得到三角面集合中所有三角面的法向量；

对于顶点集合中的任意目标顶点，获取目标顶点的邻接面，由各邻接面的法向量得到目标顶点的法向量。

具体地，提取目标三角网格的顶点集合vertices＝{v1，v2，...，vn}、三角面集合faces＝{f1，f2，...，fn}；

对faces中任意三角面fi，设其三个顶点为vi，vj，vk，计算fi的表面法线为nfi＝(vi-vj)×(vj-vk)，(×表示向量叉乘)，单位化nfi，在所有三角面上进行法线计算得到面法线集合nf＝{nf1，nf2，…，nfn}；

对vertices中任意顶点vi，设其邻接面集合为{fi，fj，...，fk}，则其邻接面法线集合为{nfi，nfj，...，nfk}，计算得到vi法线ni＝nfi+nfj+...+nfk，单位化ni，在所有顶点上进行法线计算得到顶点法线集合n＝{n1，n2，…，nn}；

由顶点集合vertices、顶点法线集合n得到简化后的三角网格简化模板s。

如图3所示为本发明实施例提供的一种基于三角网格的模型点云简化效果图，其中，左边为原始点云，右边为简化后点云。

作为一种可选的实施方式，可以使用ppf及icp等点云配准方法，将三角网格简化模板与背景点云进行匹配，以获取待匹配物体在背景点云中的位置和姿态。

如图4所示是本发明实施例提供的一种基于三角网格简化模板的物体识别装置的结构示意图，包括：

第一获取单元201，用于获取包含待匹配物体的背景点云；

识别单元202，用于基于待匹配物体的三角网格简化模板，将三角网格简化模板与背景点云进行匹配，以获取待匹配物体在背景点云中的位置和姿态。

其中，各单元的具体实施方式可以参考方法实施例的描述，本发明实施例将不再复述。

本发明通过基于模型三角网格的简化方法简化点云，既减少了点云数据量，又能保持点云模型特征；通过使用简化的模板点云和背景点云进行匹配，减少了匹配算法(ppf、icp)处理的数据量，在保证匹配精度的情况下提升匹配速度。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。