本发明涉及一种基于增强现实的产品质量信息传递方法，属于制造产品检测领域。
背景技术：
近年来，mbd(modelbaseddefinition)的概念和方法在制造业得到了广泛的关注与青睐。mbd通过直接在产品三维模型上标注尺寸、公差技术要求等信息，将三维模型作为产品设计、制造、检测等信息表示唯一的载体，可以有效避免传统产品设计制造过程中三维模型和二维图纸频繁切换所带来的数据不一致性、理解歧义和协同低效性等弊端，显著改进和支持数字化设计与制造的协同、并行和集成，其出现为面向制造现场的零件质量检测提供了有利的条件。
虽然现在的产品制造现场通过一些便捷式移动设备(桌面型、膝上型或者平板电脑)来可视化产品mbd模型上携带的产品质量信息(productmanufacturinginformation,简称pmi)，以此来指导加工、质检等工作。但是，这种可视化方式展示的产品质量信息要求操作人员将注意力沉浸到虚拟的环境中，精神负担较重，并且难以同时感受真实环境中零件的状况，导致加工、质检操作不够直观高效，并且这种方式需要操作人员将注意力在零件的物理模型和数字模型之间进行频繁切换，导致效率低下。因此，如何实时、准确的将零件数字模型携带的产品质量信息传递到零件制造现场，是提高产品检测效率与质量急需解决的问题。
增强现实(augmentedreality，简称ar)是对真实环境的增强，将计算机生成的虚拟信息实时、准确的叠加到真实场景当中。目前常用的跟踪注册技术有基于硬件的ar跟踪技术和基于视觉的ar跟踪技术。基于视觉的跟踪是利用视频当前帧的图像特征(点、线、面和边缘等)来估计当前摄像机位姿；基于硬件的跟踪技术是利用传感器设备测量摄像机的位姿，常用的有电磁跟踪技术、惯性跟踪技术等，电磁跟踪技术缺点跟踪范围有限，而且不适宜在制造现场这样的环境；惯性跟踪技术虽然设备便于携带，可以用于户外等，但是其跟踪精度低下，并且价格昂贵；所以基于视觉与基于硬件的跟踪方法相比，基于视觉的跟踪技术设备简单、成本低廉、空间灵活等。基于视觉的跟踪技术可以分为基于人工标记的跟踪注册技术和基于无标记的跟踪注册技术。
基于人工标记的跟踪注册技术在目前的增强现实系统中是较为成熟和实际应用最为广泛的跟踪注册技术，如vuforiasdk、artoolkit和artag。但是这种方法存在的主要缺陷是需要事先在确定的场景放置标记物，然而在一些诸如大型建筑物、遗迹等环境中显然不切实际，导致场景应用具有局限性，在实际的操作过程也不够灵活。结合我们的制造现场环境以及产品的结构实际问题，标记是难以放置在产品上。因此该方法并不适合运用到我们的产品检测方面。
基于无标记的跟踪注册技术通过预先获取的先验知识和摄像机捕捉的实时视频，获得相机与对象间的位姿关系，最终实现将虚拟物体叠加到真实场景中。由于不需要事先制作和放置标识物，并且无标志点注册方法在使用上比较灵活，基于无标记的跟踪技术在制造业领域得到了广泛的运用。
技术实现要素：
本发明提出一种基于增强现实的产品质量信息传递方法，提供了一种面向制造现场的产品质量信息传递框架，有效的解决了现有的通过二维图纸或者移动设备来可视化产品mbd模型上携带的产品质量信息来指导加工、质检等工作，导致操作人员需要频繁的切换注意力问题以及检测效率低下等问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于增强现实的产品质量信息传递方法，该方法包括以下步骤：
步骤1：通过商业cad软件构建mbd表示的三维cad模型；
步骤2：提取基于制造特征的产品质量信息，生成产品质量信息集pmi，并构建制造特征与产品质量信息之间的关联关系s(h)；
步骤3：生成模板图像集以及对应的虚拟摄像机姿态参数；
步骤4：构建模板图像与制造特征之间的关联关系p(h)；
步骤5：通过外置摄像机获取制造现场的实时图像；
步骤6：对步骤5获取的实时图像进行高斯去噪预处理；
步骤7：根据梯度响应图的方法，将步骤6处理过后的制造现场实时图像与模板图像进行图像匹配，如果获得的匹配程度值大于或等于设定的阈值，则匹配成功，进入步骤8；否则返回步骤5，重新获取制造现场的实时图像；
步骤8：输出相似度值最大的模板图像id，根据步骤3中模板图像生成时，每一幅图像都有对应的虚拟摄像机姿态，可得到此时最相似模板图像对应的虚拟摄像机姿态，即可计算出步骤5中外置摄像机在真实场景中的转换矩阵；
步骤9：根据步骤8中得到的最相似图像id，结合模板图像与制造特征之间的关联关系p(h)，得到关联制造特征h，再通过制造特征h与产品质量信息的关联关系s(h)，即可获得关联制造特征h所关联的产品质量信息pmi；
步骤10：通过步骤8得到的转换矩阵，利用渲染工具实现将步骤9中获得的pmi叠加到制造现场的真实场景中。
优选地，所述步骤2中所述的制造特征与产品质量信息之间的关联关系s(h)表示如公式(1)所示：
其中，制造特征集h＝{h1,h2,λ,hn}，gj表示产品质量信息关联的几何要素，包括几何形面gf、几何区域gr、边ge、点gv；lk表示制造特征的标注信息，包括尺寸ld、公差lt、表面粗糙度lr和注释note；mn×m表示几何要素与标注之间的映射关系，当lk依附于gf时，或者gf约束于lk时，mij等于1，否则mij等于0。
优选地，步骤2中提取基于制造特征的产品质量信息的具体步骤如下：
2.1：遍历步骤1中构建的三维cad模型上的产品质量信息集pmi，判断所有成员是否已都遍历完，若已遍历完则进入步骤2.4，若没有，则依次取出产品质量信息pmii,pmii表示的是pmi中的第i个产品质量信息；所关联的几何要素为pmig，g表示的是关联几何要素编号；
2.2：遍历步骤1中构建的三维cad模型上的制造特征集合h，若所有成员都已遍历，则返回到步骤2.1，否则依次取出特征hi；
2.3：遍历组成特征hi的几何要素集合gj，以几何要素的编号为依据，其中，在三维cad模型中每个几何要素的编号是唯一且固定不变的，当pmig∈{gj}时，表明几何要素pmig是组成制造特征hi的要素之一，即将几何要素pmig关联的产品质量信息pmii保存到制造特征hi关联的产品质量信息映射集合s(h)中，返回到步骤2.1；
2.4：实现三维cad模型上产品质量信息集pmi与制造特征集h之间的关联关系s(h)的构建。
优选地，所述步骤3中利用一个虚拟的球面来生成2d图像，目标对象的三维cad模型放置于球心，球表面上的每一视角点代表一个虚拟摄像机，沿着球面进行视角点采样，来拍摄一定数量目标对象的cad模板图像，三维cad模型的世界坐标系为owxwywzw，虚拟摄像机的坐标系为ocxcyczc，每一个视角点对应虚拟摄像机姿态表示为
因此
优选地，所述步骤4中所述的模板图像集记为i＝{i1,i2,λ,in}，制造特征集记为h＝{h1,h2,λ,hm}，模板图像与制造特征之间的关联关系p(h)由模板图像、制造特征以及关联映射关系组成，如公式(2)所示：
其中，ii表示第i幅模板图像，hj表示第j个特征，nij表示模板图像ii和制造特征hj的关联映射关系，向量a表示模板图像ii对应的虚拟摄像机视角方向的法向量，向量b表示制造特征hj所在面的法向量；当nij＝0时,即此时的模板图像ii和制造特征hj无关联关系，nij＝1时，此时的模板图像ii和制造特征hj相关联，具体步骤如下：
4.1：遍历模板图像集i，判断所有成员是否遍历完，如果遍历完，则进入步骤4.4，若没有，则依次遍历图像子集ii；
4.2：遍历制造特征h，若所有成员都遍历完，则返回步骤4.1，否则依次提取制造特征hj；
4.3：验证ii和hj的关联关系nij，若nij＝1，则第j个特征与第i个图像子集相关联，并将二者的关联关系保存到特征图像关联关系p(h)中，返回步骤4.1，nij≠1返回步骤4.2；
4.4：实现三维cad模型上的制造特征h与三维cad模型的模板图像i之间的关联关系p(h)的构建。
优选地，所述步骤(7)中制造现场实时图像与模板图像进行图像匹配的过程中，利用公式(3)计算模板图像和制造现场实时图像的匹配相似度，
其中，ori(t,r)表示在模板图像位置r的梯度方向的弧度，同样地，ori(i,c+r)表示在输入图像位置r移动了c个位置的梯度方向的弧度，p表示在模板图像所有图像特征的位置。
优选地，所述步骤9中产品质量信息传递的具体步骤如下：
9.1获取步骤8中得到的最大相似度模板图像id；
9.2获取可视的制造特征：根据模板图像与制造特征之间的关联关系p(h)，得到该图像所关联的制造特征h，
9.3获取需要传递到制造现场的产品质量信息：利用9.2得到的关联特征{hq}，并根据制造特征与产品质量信息之间的关联关系s(h)，得到所关联的产品质量信息pmi，
有益效果：本发明提供一种基于增强现实的产品质量信息传递方法，首先以mbd表示的三维cad模型(简称mbd模型)为信息输入源，提取基于制造特征的产品质量信息；然后生成目标对象的模板图像集，并在生成过程中，构建图像与制造特征的关联关系；最后把制造现场图像与模板图像匹配，将相似度最高的模板图像对应的虚拟摄像机姿态作为外置摄像机的初始姿态，实现产品质量信息叠加到真实的制造现场场景中，本发明具有如下优点：
(1)将制造特征作为产品质量信息的基本载体，满足了操作人员只需检测指定特征的需求；
(2)通过构建图像与制造特征的关联关系，以此满足了操作人员在不同视角下对零件可视特征的要求；
(3)利用基于视觉的跟踪注册技术，再结合外部数据库，实现了将产品质量信息传递到制造现场的需求，提高了检测的效率和质量。
附图说明
图1是本发明方法的总体框图；
图2是本发明的基于制造特征的产品质量信息原理图；
图3是本发明生成产品模板图像方法的模型图；
图4是本发明面向制造现场的产品信息传递的ar框架图；
图5是本发明方法实现实例效果图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
一种基于增强现实的产品质量信息传递方法，该方法包括以下步骤：
步骤1：通过商业cad软件构建mbd表示的三维cad模型；
步骤2：提取基于制造特征的产品质量信息，生成产品质量信息集pmi，并构建制造特征与产品质量信息之间的关联关系s(h)；
步骤3：生成模板图像集以及对应的虚拟摄像机姿态参数；
步骤4：构建模板图像与制造特征之间的关联关系p(h)；
步骤5：通过外置摄像机获取制造现场的实时图像；
步骤6：对步骤5获取的实时图像进行高斯去噪预处理；
步骤7：根据梯度响应图的方法，将步骤6处理过后的制造现场实时图像与模板图像进行图像匹配，如果获得的匹配程度值大于或等于设定的阈值，则匹配成功，进入步骤8；否则返回步骤5，重新获取制造现场的实时图像；
步骤8：输出相似度值最大的模板图像id，根据步骤3中模板图像生成时，每一幅图像都有对应的虚拟摄像机姿态，可得到此时最相似模板图像对应的虚拟摄像机姿态，即可计算出步骤5中外置摄像机在真实场景中的转换矩阵；
步骤9：根据步骤8中得到的最相似图像id，结合模板图像与制造特征之间的关联关系p(h)，得到关联制造特征h，再通过制造特征h与产品质量信息的关联关系s(h)，即可获得关联制造特征h所关联的产品质量信息pmi；
步骤10：通过步骤8得到的转换矩阵，利用渲染工具实现将步骤9中获得的pmi叠加到制造现场的真实场景中。
优选地，所述步骤2中所述的制造特征与产品质量信息之间的关联关系s(h)表示如公式(1)所示：
其中，制造特征集h＝{h1,h2,λ,hn}，gj表示产品质量信息关联的几何要素，包括几何形面gf、几何区域gr、边ge、点gv；lk表示制造特征的标注信息，包括尺寸ld、公差lt、表面粗糙度lr和注释note；mn×m表示几何要素与标注之间的映射关系，当lk依附于gf时，或者gf约束于lk时，mij等于1，否则mij等于0。
优选地，步骤2中提取基于制造特征的产品质量信息的具体步骤如下：
2.1：遍历步骤1中构建的三维cad模型上的产品质量信息集pmi，判断所有成员是否已都遍历完，若已遍历完则进入步骤2.4，若没有，则依次取出产品质量信息pmii,pmii表示的是pmi中的第i个产品质量信息；所关联的几何要素为pmig，g表示的是关联几何要素编号；
2.2：遍历步骤1中构建的三维cad模型上的制造特征集合h，若所有成员都已遍历，则返回到步骤2.1，否则依次取出特征hi；
2.3：遍历组成特征hi的几何要素集合gj，以几何要素的编号为依据，其中，在三维cad模型中每个几何要素的编号是唯一且固定不变的，当pmig∈{gj}时，表明几何要素pmig是组成制造特征hi的要素之一，即将几何要素pmig关联的产品质量信息pmii保存到制造特征hi关联的产品质量信息映射集合s(h)中，返回到步骤2.1；
2.4：实现三维cad模型上产品质量信息集pmi与制造特征集h之间的关联关系s(h)的构建。
优选地，所述步骤3中利用一个虚拟的球面来生成2d图像，目标对象的三维cad模型放置于球心，球表面上的每一视角点代表一个虚拟摄像机，沿着球面进行视角点采样，来拍摄一定数量目标对象的cad模板图像，三维cad模型的世界坐标系为owxwywzw，虚拟摄像机的坐标系为ocxcyczc，每一个视角点对应虚拟摄像机姿态表示为
因此
优选地，所述步骤4中所述的模板图像集记为i＝{i1,i2,λ,in}，制造特征集记为h＝{h1,h2,λ,hm}，模板图像与制造特征之间的关联关系p(h)由模板图像、制造特征以及关联映射关系组成，如公式(2)所示：
其中，ii表示第i幅模板图像，hj表示第j个特征，nij表示模板图像ii和制造特征hj的关联映射关系，向量a表示模板图像ii对应的虚拟摄像机视角方向的法向量，向量b表示制造特征hj所在面的法向量；当nij＝0时,即此时的模板图像ii和制造特征hj无关联关系，nij＝1时，此时的模板图像ii和制造特征hj相关联，具体步骤如下：
4.1：遍历模板图像集i，判断所有成员是否遍历完，如果遍历完，则进入步骤4.4，若没有，则依次遍历图像子集ii；
4.2：遍历制造特征h，若所有成员都遍历完，则返回步骤4.1，否则依次提取制造特征hj；
4.3：验证ii和hj的关联关系nij，若nij＝1，则第j个特征与第i个图像子集相关联，并将二者的关联关系保存到特征图像关联关系p(h)中，返回步骤4.1，nij≠1返回步骤4.2；
4.4：实现三维cad模型上的制造特征h与三维cad模型的模板图像i之间的关联关系p(h)的构建。
优选地，所述步骤(7)中制造现场实时图像与模板图像进行图像匹配的过程中，利用公式(3)计算模板图像和制造现场实时图像的匹配相似度，
其中，ori(t,r)表示在模板图像位置r的梯度方向的弧度，同样地，ori(i,c+r)表示在输入图像位置r移动了c个位置的梯度方向的弧度，p表示在模板图像所有图像特征的位置。
优选地，所述步骤9中产品质量信息传递的具体步骤如下：
9.1获取步骤8中得到的最大相似度模板图像id；
9.2获取可视的制造特征：根据模板图像与制造特征之间的关联关系p(h)，得到该图像所关联的制造特征h，
9.3获取需要传递到制造现场的产品质量信息：利用9.2得到的关联特征{hq}，并根据制造特征与产品质量信息之间的关联关系s(h)，得到所关联的产品质量信息pmi，
图1为面向制造现场的产品质量信息传递框架结构图，本发明的总体工作流程为：首先在离线阶段构建目标对象的资源信息数据库，其包括基于特征的产品质量信息提取、目标对象的模板图像集生成以及模板图像与制造特征之间的关联关系构建；然后，在线阶段通过构建基于视觉的ar跟踪框架，进行对制造现场的实时图像识别；最后，识别成功后，读取离线阶段数据库中的3d模型、产品质量信息等信息，完成虚拟信息叠加到真实的场景中。
如图2所示，提取基于制造特征的产品质量信息，产品质量信息的三维标注依附于几何要素上，若干几何要素构成一个制造特征，即制造特征通过几何要素与产品质量信息相关联，称之为制造特征关联。
制造特征与产品质量信息之间的关联关系s(h)由几何要素、标注信息及其关联映射关系组成，即每个制造特征都对应一个产品质量信息集合，通过每个产品质量信息也能找到对应关联的制造特征，可以表示为：
其中，制造特征集h＝{h1,h2,λ,hn}，gj表示产品质量信息关联的几何要素，包括几何形面gf、几何区域gr、边ge、点gv；lk表示制造特征的标注信息，包括尺寸ld、公差lt、表面粗糙度lr和注释note；mn×m表示几何要素与标注之间的映射关系，当lk依附于gf时，或者gf约束于lk时，mij等于1，否则mij等于0。
如图3所示，本发明生成产品模板图像方法的模型图，利用一个虚拟的球面来生成2d图像，这里，目标对象的cad模型放置于球心，球表面上的每一视角点代表着一个虚拟摄像机，沿着球面进行视角点采样，来拍摄一定数量目标对象的三维cad模型图像；其中，三维cad模型的世界坐标系是owxwywzw，虚拟摄像机的坐标系是ocxcyczc。在生成图像的过程中，考虑3个自由度(距离d，经度
每一个视角点对应的虚拟摄像机姿态可以表示为
因此
在商业cad软件环境下，当虚拟摄像机与模型之间的距离d确定之后，即虚拟球的半径也就确定了，那么每一个视角点在世界坐标系下的坐标v2(x,y,z)是可以获取的，而其又可以表示为虚拟摄像机的坐标系的坐标原点；世界坐标系的原点坐标为v1(0,0,0)，平移向量用t来表示将一个坐标系的原点移动到另一个坐标系原点，因此，以目标中心为原点的坐标系移动到以虚拟摄像机中心为原点的另一个坐标系，相应的平移向量为t＝v1-v2；即虚拟摄像机的姿态就可以表示为pose＝[r|t]。
具体生成方法：首先遍历经度
模板图像与制造特征之间的关联关系：在生成模板图像的过程中，构建模板图像与制造特征之间的关联关系方法是：假设生成的模板图像集记为i＝{i1,i2,λ,in}，制造特征集记为h＝{h1,h2,λ,hm}，模板图像与制造特征之间的关联关系p(h)由模板图像、制造特征以及关联映射关系组成；即通过模板图像的序列就可以知道对应的可视制造特征，可以表示为：
其中，ii表示第i幅模板图像，hj表示第j个特征，nij表示模板图像ii和制造特征hj的关联映射关系，向量a表示模板图像ii对应的虚拟摄像机视角方向的法向量，向量b表示制造特征hj所在面的法向量；当nij＝0时,即此时的模板图像ii和制造特征hj无关联关系，nij＝1时，此时的模板图像ii和制造特征hj相关联。
如图4所示为面向制造现场的产品信息传递的ar框架图，首先通过外置摄像头获取制造现场的实时图像；然后与数据库中的模板图像进行匹配，匹配成功后，注册数据库中的虚拟信息；最后，将虚拟信息叠加到真实场景中的图像通过显示设备传递给操作人员，以指导其加工、质检等工作。
在步骤7中提及的图像匹配过程中，利用公式(3)来计算模板图像和制造现场图像的匹配相似度。
其中ori(t,r)表示的是在模板图像位置r的梯度方向的弧度，同样地，ori(i,c+r)表示的是在输入图像位置r移动了c个位置的梯度方向的弧度。p表示的是在模板图像所有图像特征的位置。
具体的匹配方法为：首先对当前制造现场的实时图像进行提取特征和特征描述符；然后通过梯度响应图的方法将制造现场的图像与模板图像集i＝{i1,i2,λ,in}进行匹配，利用公式(3)获得匹配相似度集{εi}，1≤i≤n，并求得最大相似度
增强现实系统的注册过程是确定虚拟物体在真实场景中的正确位置的过程。首先需要知道外置摄像机与真实场景之间的位置关系，包括二者之间的相对位置和方向；然后才能根据该关系确定虚拟信息在真实世界中准确的位置和方向；最后完成三维注册。外置摄像机与真实场景之间的位置关系通过坐标变换来描述，即外置摄像机坐标系和世界坐标系之间的转换关系。
世界坐标系由xw、yw和zw组成，外置摄像机坐标系由xc、yc和zc构成。世界坐标系与外置摄像机坐标系之间的关系可以用旋转矩阵r和平移向量t来描述。假设pmi在世界坐标系下的齐次坐标为[xw,yw,zw]，在外置摄像机坐标系下的齐次坐标为[xc,yc,zc]，则存在如下坐标转换：
其中r是在模板图像生成阶段，得到3×3旋转矩阵,表示外置摄像机在世界坐标系下的方向；t是在模板图像生成阶段，得到3×1平移向量，表示外置摄像机在世界坐标系下的位置；m是4×4矩阵，表示的是世界坐标系与外置摄像机坐标系之间的转换矩阵。
外置摄像机成像原理，外置摄像机所采集的数字图像在计算机中以二维数组的形式出现，数组中的元素称为像素，像素值表示图像在该点的颜色。每一个像素的坐标由这个像素所在的行和列表示，一般记为(u,v)。这个平面直角坐标系被称为像素坐标系，其单位是像素。像素坐标系与世界坐标系之间的变换关系可以表示为：
其中m1完全由fx,fy,cx,cy决定，只与外置摄像机内部结构有关，即k表示外置摄像机的内置参数矩阵，本发明运用棋盘格的方法获得；m2完全依赖于外置摄像机相对于在世界坐标系下的方位来决定，表示世界坐标系与外置摄像机坐标系之间转换关系，称作外置摄像机外置参数。
图5是本发明方法实现实例效果图。图5a为整体的跟踪注册效果，以此确保是正确的叠加，然后隐藏虚拟模型只显示尺寸叠加的效果如图5b所示。从图5b中可以看出尺寸信息能够正确的叠加到目标零件上，并且看起来非常直观、清晰。
本发明中，模板图像与外置摄像机拍摄的图像分辨率都是640×480，叠加的虚拟模式格式为obj。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的两种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。