一种视觉测量方法及系统

1.本发明涉及机器视觉技术领域，尤其涉及一种视觉测量方法及系统。


背景技术：

2.视觉测量是机器视觉的典型应用之一，其目标是基于相机模型和图像，精确获取目标物体的空间位姿、尺寸和结构等信息。随着工业生产和机器人作业等领域中任务的日益多样化和快速更新，柔性化的视觉测量系统是实现多功能机器人和柔性智能制造的重要环节，具有全面实用化的前景，为了快速适应各种不同的测量任务需求，现有视觉测量系统还需要进一步提高柔性化程度。
3.目前基于图像的视觉测量系统，大多是针对特定的具体任务所开发的，仅能用于特定任务中规定的物体类型和测量需求，当物体类型或测量需求变化后，往往需要专家进行重新编程开发调试，无法实现快捷功能切换，导致视觉测量系统的应用不够灵活，尤其在面临小批量多样化的待测量物体时，视觉测量的柔性化和智能化程度较低，无法较为精准的实现待测量物体的视觉测量。
4.因此，现在亟需一种视觉测量方法及系统来解决上述问题。


技术实现要素：

5.针对现有技术存在的问题，本发明提供一种视觉测量方法及系统。
6.本发明提供一种视觉测量方法，包括：获取待测量物体的实时图像，并确定所述实时图像对应的模板图像，所述模板图像上标注有感兴趣轮廓基元；将所述实时图像和所述模板图像输入到训练好的感兴趣轮廓基元提取模型，得到所述实时图像对应的轮廓基元置信度图；其中，所述训练好的感兴趣轮廓基元提取模型是由标记有样本轮廓基元的物体图像集，对卷积神经网络进行训练得到的；基于测量行为树，根据所述轮廓基元置信度图进行几何运算，得到所述待测量物体的测量结果。
7.根据本发明提供的一种视觉测量方法，所述训练好的感兴趣轮廓基元提取模型通过以下步骤得到：获取包含多种不同样式类型的物体图像集；对所述物体图像集中的样本物体图像标记感兴趣轮廓基元，得到训练样本集；其中，所述感兴趣轮廓基元包括将线段型轮廓基元和/或圆弧型轮廓基元；基于所述训练样本集，训练卷积神经网络的权重参数，得到训练好的感兴趣轮廓基元提取模型。
8.根据本发明提供的一种视觉测量方法，在所述基于测量行为树，根据所述轮廓基元置信度图进行几何运算，得到所述待测量物体的测量结果之前，所述方法还包括：根据图像空间和相机模型对应的几何运算函数，构建几何运算函数库；
基于预设几何变量条件和所述几何运算函数库，确定条件节点和几何计算节点，并根据所述条件节点和所述几何计算节点，构建所述待测量物体对应的测量行为树。
9.根据本发明提供的一种视觉测量方法，所述图像空间的几何运算函数至少包括：直线拟合、圆拟合、椭圆拟合、求两直线交点、求两直线夹角、求点到直线距离、求点到点距离和求两直线中心线的函数；所述相机模型对应的几何运算函数至少包括：仿射变换、pnp位姿估计和双目位置测量的函数。
10.根据本发明提供的一种视觉测量方法，所述根据所述条件节点和所述几何计算节点，构建所述待测量物体对应的测量行为树，包括：根据所述条件节点和所述几何计算节点，通过不同几何运算过程构建对应的测量行为子树；根据多个测量行为子树，构建测量行为树。
11.根据本发明提供的一种视觉测量方法，在所述将所述实时图像和所述模板图像输入到训练好的感兴趣轮廓基元提取模型，得到所述实时图像对应的轮廓基元置信度图之后，所述方法还包括：将所述轮廓基元置信度图存储到数据黑板中，所述数据黑板包括有所述测量行为树所需的几何变量；所述基于测量行为树，根据所述轮廓基元置信度图进行几何运算，得到所述待测量物体的测量结果，包括：通过所述测量行为树，读取所述数据黑板中对应的数据进行几何运算，得到所述待测量物体的测量结果。
12.本发明还提供一种视觉测量系统，包括：图像获取模块，用于获取待测量物体的实时图像，并确定所述实时图像对应的模板图像，所述模板图像上标注有感兴趣轮廓基元；轮廓基元提取模块，用于将所述实时图像和所述模板图像输入到训练好的感兴趣轮廓基元提取模型，得到所述实时图像对应的轮廓基元置信度图；其中，所述训练好的感兴趣轮廓基元提取模型是由标记有样本轮廓基元的物体图像集，对卷积神经网络进行训练得到的；测量模块，用于基于测量行为树，根据所述轮廓基元置信度图进行几何运算，得到所述待测量物体的测量结果。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视觉测量方法的步骤。
14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视觉测量方法的步骤。
15.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视觉测量方法的步骤。
16.本发明提供的一种视觉测量方法及系统，通过卷积神经网络训练得到模型，提取待测量物体上的感兴趣轮廓基元置信度图，并基于几何计算过程构建得到的测量行为树，
根据感兴趣轮廓基元置信度图进行几何运算，使得用户仅通过配置模板图像、标注轮廓基元和构建对应的测量行为树，即可使视觉测量系统高效便捷地应用于不同任务和物体，显著提高了视觉测量系统的柔性化和智能化程度，得到精准的视觉测量结果。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明提供的视觉测量方法的流程示意图；图2为本发明提供的模板图像的感兴趣轮廓基元的标注示意图；图3为本发明提供的基于铝制异型零件构建的测量行为树示意图；图4为本发明提供的视觉测量系统的结构示意图；图5为本发明提供的电子设备的结构示意图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.在面对小批量多样化的待测量物体时，通过柔性化视觉测量能在线解决工件的各种测量要求，通过重新编程开发调试，可同时对应多种不同的工件，并与生产现场的自动传输设备结合，将测量数据实时反馈给加工设备。然而现有柔性化视觉测量的应用还是不够灵活，在物体类型或测量需求改变时，需要重新对测量方案进行重新编程，且视觉测量的准确率也有待进一步提高。
21.为了解决现有视觉测量系统的柔性化程度低、依赖专家编程、应用灵活性不足的问题，本发明提供了一种基于感兴趣轮廓基元与测量行为树的柔性化智能视觉测量方法，将图像的视觉测量分为图像特征提取和几何计算两个阶段，使得图像特征提取过程和几何计算过程均具有柔性，能通用于各种不同的物体类型，从而可以通过简易直观的配置来适用于不同的物体和任务，使系统部署不再依赖于繁琐的计算机编程调试。
22.图1为本发明提供的视觉测量方法的流程示意图，如图1所示，本发明提供了一种视觉测量方法，包括：步骤101，获取待测量物体的实时图像，并确定所述实时图像对应的模板图像，所述模板图像上标注有感兴趣轮廓基元。
23.在本发明中，通过工业相机对待测量物体进行拍摄，获取该物体的实时图像i；然后，根据实时图像i，确定模板图像t，其中，模板图像t中物体的类型与待测量物体相同，且模板图像t中的物体标记有n个感兴趣轮廓基元，这些感兴趣轮廓基元主要包括线段型轮廓基元和圆弧型轮廓基元，通过这些感兴趣轮廓基元，可以在模板图像中体
现出物体的基本轮廓信息。
24.步骤102，将所述实时图像和所述模板图像输入到训练好的感兴趣轮廓基元提取模型，得到所述实时图像对应的轮廓基元置信度图；其中，所述训练好的感兴趣轮廓基元提取模型是由标记有样本轮廓基元的物体图像集，对卷积神经网络进行训练得到的；在本发明中，将步骤101中获取得到的实时图像i和模板图像t，输入到训练好的感兴趣轮廓基元提取模型f，得到实时图像i中的n个轮廓基元的置信度图，。需要说明的是，在本发明中，感兴趣轮廓基元提取模型在训练过程中，是基于多种不同类型的物体的样本图像，通过标记相应的轮廓基元训练得到的，而在实际视觉测量过程时，实时图像i和模板图像t包含了相同类型的物体，两张图像在在视角、光照和背景上允许存在一定差异，为了更快速且准确的对待测量物体进行感兴趣轮廓基元进行提取，可在输入实时图片的时候，同时输入模板图像，从而为模型提供的先验知识。
25.进一步地，模型对物体实时图像i和模板图像t的多尺度特征图进行提取；然后，基于人工标注和有掩模平均池化，从模板图像t的多尺度特征图中获取n个感兴趣轮廓基元的描述向量；最后，基于余弦相似度度量，逐像素对比描述向量和物体实时图像i的多尺度特征图的相似性，得到n张置信度图。
26.步骤103，基于测量行为树，根据所述轮廓基元置信度图进行几何运算，得到所述待测量物体的测量结果。
27.在本发明中，可根据实际测量需求，设计用于对待测量物体进行几何计算的行为树节点与拓扑结构。具体地，利用图形化界面或结构化文本，设计行为树的拓扑结构，并对各节点进行定义，定义内容包括节点类型、节点名称、节点目标、输入数据编号和输出数据编号等，从而构建本发明中所需的测量行为树。
28.进一步地，运行测量行为树，根据上述步骤得到的轮廓基元置信度图，在流程节点的调控下访问各个条件节点和动作节点，从而执行一系列几何运算步骤。优选地，在本发明中，将获取到的轮廓基元置信度图和测量任务所需的几何变量存储在数据黑板中，使得测量行为树的各节点可直接从数据黑板中读取对应的数据（即轮廓基元置信度图和几何变量），并在测量行为树执行一系列几何运算步骤之后，更新数据黑板中的几何变量。进一步地，测量行为树读取根节点的返回值，判断测量是否成功，如果测量成功，则输出待测量物体的几何变量的数值；如果测量失败，则输出返回失败状态的节点对应的内部报错信息。需要说明的是，本发明提供的感兴趣轮廓基元提取模型和测量行为树框架是柔性化且通用的，在针对具体测量任务和待测量物体时，需要通过根据对应的模板图像进行具体配置，形成实例化的测量行为树，例如，本发明提供的柔性化视觉测量方法，可以用于双目视觉定
位、尺寸测量、角度测量和距离测量等，其中，所采用的感兴趣轮廓基元提取模型可以采用卷积神经网络实现，也可以用模板匹配或其它方法来实现。
29.本发明提供的视觉测量方法，通过卷积神经网络训练得到模型，提取待测量物体上的感兴趣轮廓基元置信度图，并基于几何计算过程构建得到的测量行为树，根据感兴趣轮廓基元置信度图进行几何运算，使得用户仅通过配置模板图像、标注轮廓基元和构建对应的测量行为树，即可使视觉测量系统高效便捷地应用于不同任务和物体，显著提高了视觉测量系统的柔性化和智能化程度，得到精准的视觉测量结果。
30.在上述实施例的基础上，所述训练好的感兴趣轮廓基元提取模型通过以下步骤得到：获取包含多种不同样式类型的物体图像集；对所述物体图像集中的样本物体图像标记感兴趣轮廓基元，得到训练样本集；其中，所述感兴趣轮廓基元包括将线段型轮廓基元和/或圆弧型轮廓基元。
31.基于所述训练样本集，训练卷积神经网络的权重参数，得到训练好的感兴趣轮廓基元提取模型。
32.在本发明中，样本物体图像上的n个线段型轮廓基元或圆弧型轮廓基元，被视为感兴趣轮廓基元，并在样本物体图像上进行相应标注，而得到n个轮廓基元的人工标注，进而得到训练样本集。在本发明中，标记感兴趣轮廓基元的样本物体图像可用于模型的训练过程，也可在模型实际使用时，为模型提供的先验知识，从而使得模型根据该先验知识，快速确定待测量物体的类型，从实时物体图像i中提取出n个感兴趣轮廓基元，并分别用n张置信度图来表示，其中，在置信度图中，背景像素的置信度为0，感兴趣轮廓基元上的像素应具有接近1的置信度。
33.进一步地，在本发明中，训练好的感兴趣轮廓基元提取模型f是采用卷积神经网络训练得到，通过将训练样本集输入到卷积神经网络中进行训练，在满足预设训练条件之后（例如，达到预设训练次数），则停止训练，得到训练好的模型。优选地，本发明选取resnet-50骨干网络进行模型训练。
34.在上述实施例的基础上，在所述基于测量行为树，根据所述轮廓基元置信度图进行几何运算，得到所述待测量物体的测量结果之前，所述方法还包括：根据图像空间和相机模型对应的几何运算函数，构建几何运算函数库；基于预设几何变量条件和所述几何运算函数库，确定条件节点和几何计算节点，并根据所述条件节点和所述几何计算节点，构建所述待测量物体对应的测量行为树。
35.在本发明中，在构建测量行为树之前，首先构建几何运算函数库，该函数库用于实现视觉测量所需的几何计算过程。由于直线拟合与椭圆拟合两种函数具有二值化和形状拟合功能，首先从二值化的感兴趣轮廓基元置信度图中收集前景像素，然后利用最小二乘法或m-估计，来计算线段或圆弧的精确几何方程。
36.具体地，所述图像空间的几何运算函数至少包括：求两直线交点、求两直线夹角、求点到直线距离、求点到点距离和求两直线中心线的函数；所述相机模型对应的几何运算函数至少包括：直线拟合、圆拟合、椭圆拟合、仿射变换、pnp位姿估计和双目位置测量的函
数。
37.进一步地，在几何运算函数库中，图像空间几何计算所需的函数库，是基于图像空间上的点、线和椭圆等几何参数进行计算的，包括直线拟合、圆拟合、椭圆拟合、求两直线交点、求两直线夹角、求点到直线距离、求点到点距离和求两直线中心线等；基于相机模型的几何运算，是利用标定的相机模型和图像空间内几何变量，计算三维笛卡尔空间内的几何变量，包括仿射变换、pnp位姿估计和双目位置测量等。
38.在完成几何运算函数库的构建之后，进而构建测量行为树框架，用于实现灵活易用的几何计算过程建模。在本发明中，测量行为树是由根节点、流程节点、条件节点和几何计算节点四类节点构成的有向树。本发明以深度优先的模式访问，构建测量行为树的节点，其中，根节点是访问测量行为树的起始节点，测量行为树的叶子节点包括条件节点和几何计算节点，流程节点用于决定各个叶子节点的执行顺序。除根节点外的每个节点被访问并执行后，向父节点返回执行成功或失败的结果，具体地，各类节点返回执行结果的依据如下：1、条件节点：指定的几何变量满足规定条件时，该节点返回成功；否则该节点返回失败；2、几何计算节点：当几何计算函数的输入数据格式正确且中间过程没有报错，该节点返回成功；否则该节点返回失败；3、选择流程节点：当有一个子节点返回成功后，该节点返回成功，且不再访问剩余的子节点；如果所有子节点都返回失败，则该节点返回失败；4、顺序流程节点：当所有子节点返回成功后，该节点返回成功；否则该节点返回失败；5、并行流程节点：当所有子节点中的至少n个子节点返回成功后，该节点返回成功；否则该节点返回失败。
39.在上述实施例的基础上，所述根据所述条件节点和所述几何计算节点，构建所述待测量物体对应的测量行为树，包括：根据所述条件节点和所述几何计算节点，通过不同几何运算过程构建对应的测量行为子树；根据多个测量行为子树，构建测量行为树。
40.在本发明中，可基于不同几何运算过程构建行为树的子树，从而使得测量行为树具有模块化的特点，针对不同的测量任务需求，可通过已构建好的行为树作为待构建的测量行为树的子树，使得几何计算阶段柔性化。
41.在上述实施例的基础上，在所述将所述实时图像和所述模板图像输入到训练好的感兴趣轮廓基元提取模型，得到所述实时图像对应的轮廓基元置信度图之后，所述方法还包括：将所述轮廓基元置信度图存储到数据黑板中，所述数据黑板包括有所述测量行为树所需的几何变量；所述基于测量行为树，根据所述轮廓基元置信度图进行几何运算，得到所述待测量物体的测量结果，包括：通过所述测量行为树，读取所述数据黑板中对应的数据进行几何运算，得到所述
待测量物体的测量结果。
42.在本发明中，数据黑板被用于声明和存储感兴趣轮廓基元置信度图和测量任务涉及的所有几何变量，并进行数据初始化。数据黑板中的数据可以被测量行为树的各节点所读写，每个数据对应的几何变量均有一个编号#，根据该编号，可以让测量行为树的各节点访问指定的几何变量。具体地，线段用四元组表示，其中，是线段所在直线方程的参数，v表示直线方程参数是否已获取，表示第#个感兴趣轮廓基元的置信度图。圆弧用于四元组表示，其中，表示圆弧所在椭圆的方程的参数，表示椭圆方程参数是否已获取，是第#个感兴趣轮廓基元的置信度图。分别表示位姿、点、角度和距离的几何变量。需要说明的是，测量行为树中各节点的输入数据和输出数据的编号，应与数据黑板中的数据进行对应，使测量行为树在执行时可以读写数据黑板中相应的数据。
43.在本发明中，将提取得到的n张感兴趣轮廓基元置信度图载入数据黑板；然后，运行测量行为树在流程节点的调控下，访问各个条件节点和动作节点，从而执行一系列几何运算步骤，并更新数据黑板中的几何变量，通过读取根节点的返回值，判断测量是否成功，如果测量成功，则输出待测量物体的几何变量数值；如果测量失败，则输出各失败状态节点返回的内部报错信息。
44.在一实施例中，选取一种铝制异型零件作为待测量物体进行说明，图2为本发明提供的模板图像的感兴趣轮廓基元的标注示意图，可参考图2所示，与该铝制异型零件对应的模板图像中的物体标注有7个感兴趣轮廓基元，以图像或参数文件的格式保存标注数据，该模板图像中的物件与待测量物体的结构类型相似。
45.进一步地，本发明的测量任务是获取铝制异型零件相对于相机坐标系的六自由度位姿，测量的几何计算过程也与铝制异形零件的形状有关。可参考图2所示，该铝制异型零件的界面为“凸”字形，且中间有圆孔，长度为52mm，厚度为1cm。需要说明的是，在本发明中，待测量物体的几何结构和尺寸已知，为了得到待测量物体相对于相机坐标系的6自由度位姿，可基于训练好的感兴趣轮廓基元提取模型和模板图像，从铝制异型零件上提取到7个感兴趣轮廓基元，然后，测量行为树经过一系列几何计算，得到铝制异型零件上的7个关键点，最后基于pnp算法和相机模型，计算出铝制异型零件的六自由度位姿。
46.具体地，图3为本发明提供的基于铝制异型零件构建的测量行为树示意图，可参考图3所示，该测量行为树的根节点下方有两个子树，左边的子树用于从图像中提取关键点，右边的子树用于执行pnp算法，如果左侧子树返回成功状态，则pnp算法被用于计算6自由度位姿；如果左侧子树返回失败状态，则不执行pnp算法，根节点返回失败。该测量行为树（位于左侧子树）具有两个并行节点，第一个并行节点的3个子节点中，只要有至少2个子节点返回成功，则该并行节点返回成功；第二个并行节点的4个子节点中，只要有至少2个子节点返回成功，则该并行节点返回成功。所以，当存在部分感兴趣轮廓基元提取失败导致的部分关键点缺失时，只要满足图像中7个关键点中至少4个关键点被成功获取，测量行为树的根节
点返回成功状态，从而增加了视觉测量对于感兴趣轮廓基元部分丢失情况的鲁棒性。
47.进一步地，在本发明中，数据黑板中共有15个数据变量，前7个变量存储7个感兴趣轮廓基元（包括直线1、直线2、直线3、直线4、直线5、直线6和圆弧7），另外待测量物体中7个待求关键点（即图3中涉及到的关键点8至关键点14）的图像坐标以及待测量物体的6自由度位姿，通过测量行为树的自动执行来更新。在对铝制异型零件的感兴趣轮廓基元进行提取之后，通过测量行为树进行几何运算处理，其中，关键点8通过求直线1和2的交点得到，关键点9通过求直线2和3的交点得到，关键点10通过求圆弧7的圆心得到，关键点11通过求直线1和5的交点得到，关键点12通过求直线3和5的交点得到，关键点13通过求直线4和5的交点得到，关键点14通过求直线5和6的交点得到。
48.本发明提供的视觉测量方法，根据模板图像和人工标注提供的先验知识，从待测量物体图像中提取出若干感兴趣轮廓基元，并基于测量行为树实现从感兴趣轮廓基元到测量值的计算过程。相比于现有的专用化视觉测量方法，本发明的视觉测量方法更为灵活、柔性。在构建完成感兴趣轮廓提取模型构建与测量行为树框架后，用户仅通过配置模板图像、标注轮廓基元和设计测量行为树，即可使视觉测量系统高效便捷地应用于不同任务和物体，显著提高了视觉测量系统的柔性化和智能化程度。
49.下面对本发明提供的视觉测量系统进行描述，下文描述的视觉测量系统与上文描述的视觉测量方法可相互对应参照。
50.图4为本发明提供的视觉测量系统的结构示意图，如图4所示，本发明提供了一种视觉测量系统，包括图像获取模块401、轮廓基元提取模块402和测量模块403，其中，图像获取模块401用于获取待测量物体的实时图像，并确定所述实时图像对应的模板图像，所述模板图像上标注有感兴趣轮廓基元；轮廓基元提取模块402用于将所述实时图像和所述模板图像输入到训练好的感兴趣轮廓基元提取模型，得到所述实时图像对应的轮廓基元置信度图；其中，所述训练好的感兴趣轮廓基元提取模型是由标记有样本轮廓基元的物体图像集，对卷积神经网络进行训练得到的；测量模块403用于基于测量行为树，根据所述轮廓基元置信度图进行几何运算，得到所述待测量物体的测量结果。
51.在本发明中，图像获取模块401通过工业相机对待测量物体进行拍摄，获取该物体的实时图像。在本发明中，工业相机型号为basleraca2440-35uc，镜头焦距为25毫米，工业相机的内参数已经过标定。待测量物体为一种铝制异型零件，其几何尺寸已知，被放置于一个棋盘格标定板旁边，且静置不动。优选地，在本发明中，视觉测量系统上设置有机械臂（型号为abbirb1200），用于改变工业相机的位置和姿态，使工业相机从不同的角度、距离和相对位置，拍摄待测量物体，且在拍摄过程中，待测量物体附近的背景和光照会发生随机变化。
52.进一步地，当图像获取模块401获取到一张零件图像后，将该图像输入到轮廓基元提取模块402，提取零件图像的感兴趣轮廓基元，并通过测量模块403中的测量行为树，根据感兴趣轮廓基元计算得到铝制异型零件相对于相机坐标系的六自由度位姿。
53.具体地，轮廓基元提取模块402基于感兴趣轮廓基元提取模型，从当前图像（即铝制异型零件图像）中提取7个感兴趣轮廓基元，然后测量模块403基于所设计的测量行为树，根据7个轮廓基元置信度图，计算出待测量物体上的7个关键点，以及待测量物体相对于相机坐标系的6自由度位姿cto。
54.本发明为了验证视觉测量精度，同时也基于棋盘格标定板和pnp算法，测量棋盘格相对于相机坐标系的位姿wto，由于棋盘格结构精确且特征点数量多，故wto的测量精度很高，则待测量物体和棋盘格之间的相对位姿可通过计算得到。由于待测量物体和棋盘格之间是相对静止的，wto理论上为一个常数。通过让相机运动到50个不同的位姿，每次都可通过测量wto和cto计算得到wto，测量成功率为90%；然后，根据50个wto的实际测量值，统计三维位置坐标(x,y,z)和三维姿态欧拉角(f
x
,fy,fz)的标准差，分别为1.5毫米、0.2毫米、6.2毫米、7.7度、3.4度和0.6度。
55.本发明提供的视觉测量系统，通过卷积神经网络训练得到模型，提取待测量物体上的感兴趣轮廓基元置信度图，并基于几何计算过程构建得到的测量行为树，根据感兴趣轮廓基元置信度图进行几何运算，使得用户仅通过配置模板图像、标注轮廓基元和构建对应的测量行为树，即可使视觉测量系统高效便捷地应用于不同任务和物体，显著提高了视觉测量系统的柔性化和智能化程度，得到精准的视觉测量结果。
56.本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
57.图5为本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器（processor）501、通信接口（communicationsinterface）502、存储器（memory）503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行视觉测量方法，该方法包括：获取待测量物体的实时图像，并确定所述实时图像对应的模板图像，所述模板图像上标注有感兴趣轮廓基元；将所述实时图像和所述模板图像输入到训练好的感兴趣轮廓基元提取模型，得到所述实时图像对应的轮廓基元置信度图；其中，所述训练好的感兴趣轮廓基元提取模型是由标记有样本轮廓基元的物体图像集，对卷积神经网络进行训练得到的；基于测量行为树，根据所述轮廓基元置信度图进行几何运算，得到所述待测量物体的测量结果。
58.此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。
59.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的视觉测量方法，该方法包括：获取待测量物体的实时图像，并确定所述实时图像对应的模板图像，所述模板图像上标注有感兴趣轮廓基元；将所述实时图像和所述模板图像输入到训练好的感兴趣轮廓基元提取模型，得到所述实时图像对应的轮廓基元置信度图；其中，所述训练好的感兴趣轮廓基元提取模型是由标记有样本轮廓基元的物体图像集，对卷积神经网络进行训练得到的；基于测量
行为树，根据所述轮廓基元置信度图进行几何运算，得到所述待测量物体的测量结果。
60.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的视觉测量方法，该方法包括：获取待测量物体的实时图像，并确定所述实时图像对应的模板图像，所述模板图像上标注有感兴趣轮廓基元；将所述实时图像和所述模板图像输入到训练好的感兴趣轮廓基元提取模型，得到所述实时图像对应的轮廓基元置信度图；其中，所述训练好的感兴趣轮廓基元提取模型是由标记有样本轮廓基元的物体图像集，对卷积神经网络进行训练得到的；基于测量行为树，根据所述轮廓基元置信度图进行几何运算，得到所述待测量物体的测量结果。
61.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
62.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
63.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。