一种基于多光谱影像和激光点云的定位方法及系统与流程

[0001]
本发明涉及图像定位的技术领域，具体涉及一种基于多光谱影像和激光点云的定位方法及系统。


背景技术：

[0002]
现阶段的电力廊道内物体测量仅仅依靠人工检测，需要耗费大量人力并且测量结果不够精准，中国专利cn105043339a公开了一种输电线路与干涉物体之间的测距方法及系统，采用的就是人工检测的方式来进行测距，需要耗费大量人力物力而且测量结果也不够准确。


技术实现要素：

[0003]
为了解决现有技术中所存在的问题，本发明提供了一种基于多光谱影像和激光点云的定位方法及系统，自动化程度高，减少了人力物力的浪费，而且定位精准度高。
[0004]
为解决上述技术问题，本发明提供如下技术方案：
[0005]
一种基于多光谱影像和激光点云的定位方法，包括以下步骤：
[0006]
利用多光谱影像和激光点云方法获取电力廊道中被测物体的图像和位置姿态数据；
[0007]
利用图像及位置姿态数据构建卷积神经网络；
[0008]
对神经网络进行训练，生成被测物体的定位模型，对被测物体进行定位。
[0009]
进一步的，获取电力廊道中被测物体的图像和位置姿态数据包括以下步骤：
[0010]
利用激光点云方法测量被测物体的激光点坐标，并将激光点坐标转化为空间直角坐标，利用多光谱影像记录被测物体的色调、饱和度和亮度，并根据空间直角坐标融合成被测物体图像。
[0011]
进一步的，卷积神经网络包括卷积层、线性整流层、池化层以及全连接层，被测物体图像输入神经网络，卷积层提取被测图像的三维坐标数据，线性整流层利用激活函数对三维坐标数据进行计算，池化层对坐标数据进行区域分割并取其平均值，再通过全连接层进行全局计算，并不断输入图像信息进行神经网络模型的训练，神经网络的可以表示为如下：
[0012][0013]
其中：γ
a
为神经网络输出值，w
u,l,a
为滤波元素，d
u,v,l
为多光谱影像记录的被测物体的图像元素。
[0014]
进一步的，激活函数定义为：
[0015]
z＝{0k(k≤0)(k>0)y＝{0(k≤0)x(k>0)
[0016]
其中：z为计算后的三维坐标数据，k为被测图像的三维坐标。
[0017]
进一步的，以激光点云设备为坐标原点进行三维坐标系的建立，其中设定(x
i
，y
i
，
z
i
)为被测物的中心坐标，被测物体的定位模型可以表示为如下：
[0018][0019][0020][0021]
其中：g和j分别为被测物体的底部和侧面对角线。
[0022]
一种基于多光谱影像和激光点云的定位系统，包括图像数据采集模块、图像数据处理模块、图像数据传输模块以及三维数据计算模块；
[0023]
所述图像数据处理模块与所述图像数据采集模块之间以及所述图像数据处理模块与所述三维数据计算模块之间均通过所述图像数据传输模块进行连接。
[0024]
进一步的，所述图像数据采集模块包括多光谱影像单元以及激光点云单元。
[0025]
进一步的，所述图像数据处理模块包括卷积神经网络单元以及坐标转化单元。
[0026]
进一步的，所述图形数据传输模块包括数据存储单元以及传输单元。
[0027]
进一步的，还包括远程监控模块，所述远程监控模块与所述三维数据计算模块连接。
[0028]
进一步的，所述图像数据采集模块用于采集电力廊道内被测物体的图像和位置信息；所述图像数据处理模块与所述图像数据采集模块相连接，利用采集到的被测物体的图像和位置信息，进行卷积神经网络模型的构建，并对神经网络模型进行训练；所述图形数据传输模块用于模块之间的信息传输；所述三维数据计算模块接收所述图像数据处理模块的数据信息，进行被测物体的定位计算；所述远程监控模块与所述三维数据计算模块相连接，用于显示所述被测物体的图像信息以及位置结果进行。
[0029]
进一步的，所述多光谱影像单元用于记录被测物体图像数据，包括色调、饱和度和亮度；所述激光点云单元用于对被测物体的位置以及轮廓进行采集，生成点云图像。
[0030]
进一步的，所述卷积神经网络单元利用采集到的图像和位置数据建立卷积神经网络模型，进行数据训练；所述坐标转化单元用于将神经网络的输出转化为三维坐标数据，便于后续对被测物体的定位计算。
[0031]
进一步的，所述数据存储单元用于存储信息；所述传输单元用于模块、单元之间的信息传输。
[0032]
相对于现有技术，本发明的有益效果为：
[0033]
使用多光谱影像和激光点云技术进行图像、位置信息的收集，使得采集到的被测物体的外形以及位置信息更加精准，也便于后续对物体的定位计算；利用卷积神经网络和定位模型对被测物体的中心位置进行定位，大大提高了定位的精准度，并且本方法为自动化测量工具，人力要求低，有效地节省了劳动力。
附图说明
[0034]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本
领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0035]
图1为本发明的基于多光谱影像和激光点云的定位方法的流程示意图。
具体实施方式
[0036]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0037]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0038]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0039]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0040]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0041]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0042]
本发明的实施例包括：
[0043]
实施例1：
[0044]
如图1所示，本发明提供了一种基于多光谱影像和激光点云的定位方法，包括以下步骤：
[0045]
s1、利用多光谱影像和激光点云方法获取电力廊道中被测物体的图像和位置姿态数据；
[0046]
在本实施例中，获取电力廊道中被测物体的图像和位置姿态数据包括以下步骤：利用激光点云方法测量被测物体的激光点坐标，并将激光点坐标转化为空间直角坐标，利用多光谱影像记录被测物体的色调、饱和度和亮度，并根据空间直角坐标融合成被测物体图像。
[0047]
s2、利用图像及位置姿态数据构建卷积神经网络；
[0048]
在本实施例中，卷积神经网络包括卷积层、线性整流层、池化层以及全连接层，被
测物体图像输入神经网络，卷积层提取被测图像的三维坐标数据，线性整流层利用激活函数对三维坐标数据进行计算，池化层对坐标数据进行区域分割并取其平均值，再通过全连接层进行全局计算，并不断输入图像信息进行神经网络模型的训练，神经网络的可以表示为如下：
[0049][0050]
其中：γ
a
为神经网络输出值，w
u,l,a
为滤波元素，d
u,v,l
为多光谱影像记录的被测物体的图像元素；
[0051]
在本实施例中，激活函数定义为：
[0052]
z＝{0k(k≤0)(k>0)y＝{0(k≤0)x(k>0)
[0053]
其中：z为计算后的三维坐标数据，k为被测图像的三维坐标。
[0054]
s3：对神经网络进行训练，生成被测物体定位模型，对被测物体进行定位；
[0055]
在本实施例中，以激光点云设备为坐标原点进行三维坐标系的建立，其中设定(x
i
，y
i
，z
i
)为被测物的中心坐标，其定位模型可以表示为如下：
[0056][0057][0058][0059]
其中：g和j分别为被测物体的底部和侧面对角线。
[0060]
为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例中选择一段电力廊道进行测试，以科学论证的方式验证本方法所具有的真实效果。
[0061]
选取100米长的电力廊道，对其中的植被进行定位测试，在100米的电力廊道内均匀放置5个多光谱影像和激光点云传感器，利用光纤以及无线传输手机传感器采集到的图像、位置信息，将信息输入卷积神经网络模型进行训练并进行被测物体的位置信息确认，测得13个棵植被位置，其中5株的中心位置坐标分别为(8，3，5)、(19，1，4)、(31，-2，5)、(57，3，3)和(82，1，4)，获得结果所耗时间为20s；通过人工检测对电力廊道内的植被进行位置测量，发现廊道内有13株植被，上述5株植被的直线距离分别为8.45米、20.76米、29.07米、58.34米和82.91米，可以看出使用本方法所得的中心位置中x方位的参数值与测得实际的直线距离相比差距在3米之内，差距较小，并且根据y、z的值可以推算出植被的高度以及位置偏差值，在精确度较高的同时可以提供更多参数信息，具有实用性；进一步的是，使用人工方法进行100米的位置测量时所消耗的时间约为3.5个小时，从时间上来看，使用本发明方法要大大节约了测量时的时间，减少了人力，具有实用性。
[0062]
实施例2：
[0063]
本发明的第二个实施例不同于第一个实施例的是，提供了一种基于多光谱影像和激光点云的定位系统，包括图像数据采集模块、图像数据处理模块、图像数据传输模块以及三维数据计算模块；
[0064]
图像数据处理模块与图像数据采集模块之间以及图像数据处理模块与三维数据
计算模块之间均通过图像数据传输模块进行连接。
[0065]
在本实施例中，图像数据采集模块包括多光谱影像单元以及激光点云单元。
[0066]
在本实施例中，图像数据处理模块包括卷积神经网络单元以及坐标转化单元。
[0067]
在本实施例中，图形数据传输模块包括数据存储单元以及传输单元。
[0068]
在本实施例中，还包括远程监控模块，远程监控模块与三维数据计算模块连接。
[0069]
在本实施例中，图像数据采集模块用于采集电力廊道内被测物体的图像和位置信息；图像数据处理模块与图像数据采集模块相连接，利用采集到的被测物体的图像和位置信息，进行卷积神经网络模型的构建，并对神经网络模型进行训练；图形数据传输模块用于模块之间的信息传输；三维数据计算模块接收图像数据处理模块的数据信息，进行被测物体的定位计算；远程监控模块与三维数据计算模块相连接，用于显示被测物体的图像信息以及位置结果进行。
[0070]
在本实施例中，多光谱影像单元用于记录被测物体图像数据，包括色调、饱和度和亮度；激光点云单元用于对被测物体的位置以及轮廓进行采集，生成点云图像。
[0071]
在本实施例中，卷积神经网络单元利用采集到的图像和位置数据建立卷积神经网络模型，进行数据训练；坐标转化单元用于将神经网络的输出转化为三维坐标数据，便于后续对被测物体的定位计算。
[0072]
在本实施例中，数据存储单元用于存储信息；传输单元用于模块、单元之间的信息传输。
[0073]
不难理解的是，本实施例中所提供的系统，其涉及运行图像数据采集模块、图像数据处理模块、图形数据传输模块、三维数据计算模块以及远程监控模块的连接关系，例如可以是运行在计算机可读程序，通过提高各模块的程序数据接口实现。
[0074]
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
[0075]
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
[0076]
进一步的，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此
外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
[0077]
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
[0078]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。