一种利用泛化特征对几何标识进行识别及定位的方法与流程

本发明属于摄影测量与计算机视觉技术领域，尤其涉及一种利用泛化特征对几何标识进行识别及定位的方法。

背景技术：

目前，业内常用的现有技术是这样的：

在摄影测量与计算机视觉领域，几何标识识别和定位是标定、控制点提取、编码识别等算法中常用的一个技术环节。在目通常针对某一类形状的几何标识要专门设计针对性的算法，编制程序进行识别，或者直接通过人工的方式定位几何标识。

综上所述，现有技术存在的问题是：

(1)目前，深度学习的方法还未用于几何标识的识别，仍然是针对特定的几何标识设计特定的识别算法。

(2)几何标识的定位过程中，其通用的特征未得到有效利用，仍然需要依靠特定几何标识的特有特征。

(3)整个几何标识的识别与定位流程仍然需要人工干预，效率有待提高。

总之，如何采用较为通用的方法实现影像中的几何标识的识别和定位仍是一个现有技术不能解决的问题。

解决上述技术问题的难度和意义：

本发明提出一种泛化方法和技术方案，以实现对影像中几何标识的识别与定位，通过自动化的方法实现几何标识的准确定位，能够极大的节省人力成本，提高整个摄影测量流程的效率。

现有技术解决问题的主要难度在于，不能利用泛化的方法对几何标识进行精确的定位。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种利用泛化特征对几何标识进行识别及定位的方法。

本发明是这样实现的，一种利用泛化特征对几何标识进行识别及定位的方法，包括：

利用三维渲染引擎对相应类别的几何图形对象生成训练数据集，通过深度学习网络对该图形进行训练，实现对几何标识在影像中的识别；

对识别出的图形目标进行轮廓提取共性特征处理；

再利用降维的icp算法实现标识离散化状态下的配准，获得其变换参数，确定几何标识中心坐标或其他所需特征点的坐标。

进一步，在几何标识的识别过程中，本发明采用了利用数据合成和卷积神经网络进行图形学习的方法，使得本发明可以实现对任意自主定义的几何标识基元进行识别与检测，取得了较好的结果。在几何标识定位的过程中，本发明主要利用几何标识的轮廓信息，并以几何标识的其它共性特征(如面积)等加以辅助，实现了对几何标识基元在影像中的形变的定量描述，取得了较为满意的定位精度。通过上述流程，基本上可以实现对于常用的几何标识，无需定制特定的算法，而是直接通过上述流程，实现对该标识准确的定位，从而简化人工标识的提取与定位流程，形成一种通用的方式。

进一步，所述利用泛化特征对几何标识进行识别及定位的方法具体包括：

1)在生成虚拟样本并训练网络阶段，输入给定基元；

2)利用三维渲染引擎生成虚拟样本影像数据，并将其输入卷积神经网络进行训练；

3)利用训练好的卷积神经网络检测几何标识在影像中的位置，确定其在影像中的矩形范围；

4)对几何标识目标进行轮廓提取共性特征处理；

5)利用降维的icp算法实现标识离散化状态下的配准，获得变换参数，确定几何标识中心坐标或其他所需特征点的坐标。

具体的操作为，首先，在虚幻编辑器中构建三维实景，再导入预先定义好的几何图形，并将设置为不同的材质，并安置于场景之中。之后设置好相机参数，在实验中选择的相机模型为理想相机模型，视场角(fov)设置为90度。最后在蓝图编辑器中设置相机的运动轨迹、姿态变化和拍照频率以及光线的明暗变化等信息。实验最终得到约1000张左右的影像。

之后对影像进行标记，将其输入卷积神经网络中进行训练，实验中采用的算法为yolov2，所采用的框架为darknet，主要使用的外部库为opencv和cuda。在该框架下，对参数进行调节，将所检测的类别数设置为3类，调节学习率为0.001，权值衰减为0.9，图像强制缩放为416*416的尺寸，色调，饱和度，曝光分别设置为0.1，1.5和1.5，最大迭代次数设置为50万次。对于整个网络而言，由于已有预训练模型，将其前23层卷积网络的权值固定，仅仅对后面的分类网络进行训练。训练完成后即可得到识别给定基元的卷积神经网络。

最后，对几何标识进行精确定位，对原图进行裁剪。使得在裁剪完后的区域中，几何标识为该区域的主体部分，即几何标识的轮廓所围成的图斑的面积为该区域面积最大的图斑。之后利用opencv所提供的接口实现对几何标识轮廓的提取，并将其以点云的形式保存。之后，分别计算基元和影像的零阶和一阶中心距，并以此求出点云中心的初值。最后利用降维的icp算法求解出点云之间的形变参数，从而完成精确定位。

本发明另一目的提供一种计算机程序，所述计算机程序运行所述的利用泛化特征对几何标识进行识别及定位的方法。

本发明另一目的提供一种终端，所述终端至少搭载实现所述利用泛化特征对几何标识进行识别及定位的方法的控制器。

本发明另一目的提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的利用泛化特征对几何标识进行识别及定位的方法。

本发明另一目的提供一种实现所述方法的利用泛化特征对几何标识进行识别及定位系统，包括：

虚拟样本生成单元，输入给定几何图形，并利用三维渲染引擎生成虚拟样本影像数据；

几何标识检测单元，利用训练好的卷积神经网络在影像中检测出几何标识，确定其在影像中的矩形范围；

配准单元，对几何标识目标进行轮廓提取共性特征处理，并利用降维的icp算法实现标识离散化状态下的配准，获得变换参数。

本发明另一目的提供一种摄影测量设备，所述摄影测量设备至少搭载所述的利用泛化特征对几何标识进行识别及定位系统。

综上所述，本发明的优点及积极效果为：

本发明采用了一种较为泛化的方法，实现了对影像中的二维几何标识的识别与定位，整个流程可以在不依靠几何标识具体形状信息的情况下实施完成，是一种通用的几何标识识别与定位方法。在几何标识的识别过程中，采用了利用数据合成和卷积神经网络进行图形学习的方法，使得其可以实现对任意自主定义的几何标识基元进行识别与检测，取得了较好的结果。在几何标识定位的过程中，主要利用几何标识的轮廓信息，并以几何标识的其它共性特征(如面积)等加以辅助，实现了对几何标识基元在影像中的形变的定量描述，取得了较为满意的定位精度。通过上述流程，基本上可以实现对于常用的几何标识，无需定制特定的算法，而是直接通过上述流程，实现对该标识准确的定位，从而简化人工标识的提取与定位流程，形成一种通用的方式。

有效性：为了验证效果，采用检验几何标识的几何中心的方式进行精度检验。通过在真实影像中手工标记出几何标识的中心的坐标，将其作为真值，与通过本发明所述方法所计算出的几何中心进行比较，进而评估出精度。一共标记了76个图形，包括29个圆形，19个矩形以及28个三角形，其距中心的距离残差统计折线图如图2所示。将部分粗差剔除后，可以分别计算x方向与y方向中误差，得到mx＝0.30，my＝0.29(单位：像素)。并将其所有测试点的坐标残差绘制于一个坐标系下即得到坐标残差统计表，如图3所示.

为进一步验证效果，又利用相机对基元以及符合基元形状的真实物体进行拍摄，利用本算法对其中心进行定位，其结果如表1所示。

表1真实影像误差统计表(单位：像素)

计算相机的外方位元素，本发明方法与opencv计算所得结果进行比较，结果如表2所示。

表2外方位元素对比(单位：毫米)

。

附图说明

图1是本发明实施例提供的利用泛化特征对几何标识进行识别及定位的方法流程图。

图2是本发明实施例提供的距离残差统计图。

图3是本发明实施例提供的坐标残差统计表。

图4是本发明实施例提供的利用泛化特征对几何标识进行识别及定位系统示意图。

图中：1、虚拟样本生成单元；2、几何标识检测单元；3、配准单元。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1，本发明实施例提供的利用泛化特征对几何标识进行识别及定位的方法，包括：

1)利用三维渲染引擎对相应类别的几何图形对象生成训练数据集，通过深度学习网络对该图形进行训练，实现对几何标识在影像中的识别。2)对识别出的图形目标进行轮廓提取等共性特征处理，再利用降维的icp算法实现标识离散化状态下的配准，获得其变换参数，从而获得几何标识的精确定位。其主要流程图1。

在生成虚拟样本并训练网络阶段，输入给定基元，利用三维渲染引擎生成虚拟样本，并将其输入卷积神经网络进行训练，之后，在粗定位阶段，利用训练好的卷积神经网络粗略的定位出几何标识在影像中的位置，确定其包围盒，最后在精定位阶段，对几何标识目标进行轮廓提取等共性特征处理，再利用降维的icp算法实现标识离散化状态下的配准，获得其变换参数。

如图4，本发明实施例提供的利用泛化特征对几何标识进行识别及定位系统包括：

虚拟样本生成单元1，输入给定几何图形，并利用三维渲染引擎生成虚拟样本影像数据；

几何标识检测单元2，利用训练好的卷积神经网络在影像中检测出几何标识，确定其在影像中的矩形范围；

配准单元3，对几何标识目标进行轮廓提取共性特征处理，并利用降维的icp算法实现标识离散化状态下的配准，获得变换参数。

下面结合具体实施例/实验对本发明作进一步描述。

本发明采用了一种较为泛化的方法，实现了对影像中的二维几何标识的识别与定位，整个流程可以在不依靠几何标识具体形状信息的情况下实施完成，是一种通用的几何标识识别与定位方法。在几何标识的识别过程中，采用了利用数据合成和卷积神经网络进行图形学习的方法，使得其可以实现对任意自主定义的几何标识基元进行识别与检测，取得了较好的结果。在几何标识定位的过程中，主要利用几何标识的轮廓信息，并以几何标识的其它共性特征(如面积)等加以辅助，实现了对几何标识基元在影像中的形变的定量描述，取得了较为满意的定位精度。通过上述流程，基本上可以实现对于常用的几何标识，无需定制特定的算法，而是直接通过上述流程，实现对该标识准确的定位，从而简化人工标识的提取与定位流程，形成一种通用的方式。

有效性：为了验证效果，采用检验几何标识的几何中心的方式进行精度检验。通过在真实影像中手工标记出几何标识的中心的坐标，将其作为真值，与通过本发明所述方法所计算出的几何中心进行比较，进而评估出精度。一共标记了76个图形，包括29个圆形，19个矩形以及28个三角形，其距中心的距离残差统计折线图如图2所示。将部分粗差剔除后，可以分别计算x方向与y方向中误差，得到mx＝0.30，my＝0.29(单位：像素)。并将其所有测试点的坐标残差绘制于一个坐标系下即得到坐标残差统计表，如图3所示.

为进一步验证效果，又利用相机对基元以及符合基元形状的真实物体进行拍摄，利用本算法对其中心进行定位，其结果如表1所示。

表1真实影像误差统计表(单位：像素)

本发明方法，与现有技术中opencv处理结果。并计算相机的外方位元素，与opencv计算所得结果进行比较，结果如表2所示。

表2外方位元素对比(单位：毫米)

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。