一种输电线路图像与点云数据的融合方法及系统与流程

1.本发明涉及计算机技术领域，尤其涉及一种输电线路图像与点云数据的融合方法及系统。


背景技术：

2.输电线路安全运行关系到电力能源的稳定传输，线路输送的容量大、电压高，长期经历风霜雨雪等恶劣天气的侵蚀，且分布区域广、沿途地势复杂。一旦发生腐蚀、磨损、断电等故障，可能导致电网的复杂连锁性故障，进而造成大面积的停网、停电，同时输电走廊存在树障隐患，输电设备的定期巡检至关重要，传统巡检方法受巡检员个人状况和测量角度的影响，往往会造成较大的测量误差，检测效率低、精度不高，已不能满足规模不断扩大的配电网现代化运行的需要。
3.无人机采集到的可见光二维图片需要经过重建过程才能还原出三维电力场景，其与实际情况间会存在一定偏差。激光雷达点云测绘的技术优势在于它可以精确还原电力场景的空间信息并进行距离测量，而激光雷达点云测绘的缺点在于它不能还原出电力场景中的颜色信息、可视化效果差，利用激光雷达点云数据很难进行精确的电力物体分类。
4.因此，需要对电力能源目标进行巡检时候，可以采用可见光图片数据与激光雷达点云数据融合的方式，例如，专利文献cn113111751a公开了一种自适应融合可见光与点云数据的三维目标检测方法，该方法输入摄像机图像以及原始点云图，通过双流区域候选网络进行点云特征和点云图像特征的自适应融合。但是，该方法中数据融合算法复杂、准确性低。


技术实现要素：

5.本发明提供了一种输电线路图像与点云数据的融合方法及系统，能够便捷地确定二维图像数据和点云数据之间的转换关系，使得用户可以使用直观的二维图像对输电线路进行精确的距离测量，且方法简单，准确性高，可靠性强。
6.一种输电线路图像与点云数据的融合方法，包括：
7.采集目标输电线路的光学图像和点云数据；
8.对所述点云数据进行图像化处理，获得点云图像；
9.响应用户操作，从所述光学图像中选取图像特征点，并从所述点云图像中确定与所述图像特征点对应的点云特征点，所述点云特征点对应有点云数据的空间坐标；
10.对所述图像特征点和对应的点云特征点进行标记并建立映射关系，形成基准数据对；
11.根据所述基准数据对，构建所述光学图像和所述点云数据的坐标转换关系，基于所述坐标转换关系获得光学图像中各个像素坐标与点云数据中点云的空间坐标的对应关系。
12.进一步地，采集目标输电线路的光学图像和点云数据，包括：
13.在第一时间段、第一位置下通过拍摄装置获取所述目标输电线路在第一视角下的光学图像；
14.在第二时间段、第二位置下通过点云获取装置获取所述目标输电线路在第二视角下的点云数据，其中，所述第一时间段和所述第二时间段相同或者不同，所述第一位置和所述第二位置相同或者不同，所述第一视角和所述第二视角相同或者不同。
15.进一步地，响应用户操作，从所述光学图像中选取图像特征点，包括：
16.将与电线杆和/或电塔的顶点对应的像素坐标作为所述图像特征点；
17.按照从左到右的顺序依次从与地面对应的像素中选取多个像素坐标作为所述图像特征点。
18.进一步地，响应用户操作，从所述光学图像中选取图像特征点，并从所述点云图像中确定与所述图像特征点对应的点云特征点，包括：
19.响应用户的点击操作，确定所述点击操作在所述光学图像中对应的第一点击坐标以及在所述点云图像中对应的第二点击坐标；
20.根据所述第一点击坐标确定第一候选区域，根据所述第二点击坐标确定第二候选区域；
21.从所述第一候选区域中确定第一尖锐点，从所述第二候选区域中确定第二尖锐点；
22.将所述第一尖锐点作为所述图像特征点，将所述第二尖锐点作为所述点云特征点。
23.进一步地，所述第一候选区域为以所述第一点击坐标为圆心，周围预设半径范围内的区域；
24.所述第二候选区域为以所述第二点击坐标为圆心，周围预设半径范围内的区域；
25.从所述第一候选区域中确定第一尖锐点，从所述第二候选区域中确定第二尖锐点，包括：
26.计算所述第一候选区域内每个像素与其k邻域的平均法向夹角，将平均法向角最大的像素作为所述第一尖锐点；
27.计算所述第二候选区域内每个像素与其k邻域的平均法向夹角，将平均法向角最大的像素作为所述第二尖锐点。
28.进一步地，每个像素与其k邻域的平均法向夹角通过以下公式进行计算：
[0029][0030]
其中，αj为待计算像素点的法向量与其k邻域中其他像素点法向量之间的夹角，为待计算像素点的平均法向量夹角；
[0031]
所述k邻域为待计算像素点与其周围像素点欧式距离最小的k个像素点所组成的区域。
[0032]
进一步地，根据所述基准数据对，构建所述光学图像和所述点云数据的坐标转换关系，包括：
[0033]
利用拍摄装置的内参建立变换模型；
[0034]
将多组基准数据输入至所述变换模型，计算拍摄装置坐标系到点云三维空间坐标
系的平移向量；
[0035]
根据所述平移向量和拍摄装置的内参，获得所述光学图像和所述点云数据的坐标转换关系。
[0036]
进一步地，所述变换模型如下：
[0037][0038]
旋转矩阵r如下：
[0039][0040]
其中，d
x
与dy分别表示每个像素在光学图像横轴x和纵轴y上的物理尺寸，(u0,v0)为拍摄装置光轴与图像平面的交点像素坐标，f表示拍摄装置的焦距，r表示旋转矩阵，t表示拍摄装置在点云坐标系下的平移向量，(u,v)为基准数据对中图像特征点的二维像素坐标，(xw,yw,zw)为基准数据对中点云特征点的三维空间坐标，表示拍摄装置坐标轴分别绕点云坐标系y轴、x轴和z轴旋转的角度。
[0041]
进一步地，所述坐标转换关系如下：
[0042][0043]
其中，(x,y)为目标点的像素坐标，(u0,v0)为拍摄装置的光轴与光学图像平面交点的像素坐标，f为拍摄装置的焦距，(xs,ys,zs)为拍摄装置中心在点云坐标系下的坐标，(xa,ya,za)表示目标点的三维坐标，ai,bi,ci为旋转矩阵，1≤i≤3，i为整数。
[0044]
一种输电线路图像与点云数据的融合系统，包括：
[0045]
拍摄装置，用于获取目标输电线路的光学图像；
[0046]
点云获取装置，用于对目标输电线路进行扫描，得到所述目标输电线路的点云数据；
[0047]
计算装置，包括存储器和处理器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如权利要求1-9任一所述的方法。
[0048]
本发明提供的输电线路图像与点云数据的融合方法及系统，至少包括如下有益效果：
[0049]
(1)基于光学图像中图像特征点和点云数据中点云特征点之间的对应关系，自动计算光学图像和点云数据之间的转换关系，以便将点云数据和特征数据进行融合，得到具
有空间位置信息的数据。用户可以使用直观地、具有空间位置信息的数据进行诸如净空距离测量等，大幅度降低运维成本，以便实现输电线路通道广覆盖、全天候、高精度的远程安全监测；
[0050]
(2)针对拍摄的光学图像的分辨率较高或者选取的点云数据较多场景下，用户将光标等移动到目标对象的候选区域，通过平均法向夹角的计算确定尖锐点，有效提升了标记的准确度；此外，有效地减少了用户使用放大、缩小等操作的次数，提升了用户标记工作的便捷度；
[0051]
(3)目标输电线路的光学图像和点云数据可以是不同视角下采集的数据，用户手动构建光学图像中像素与点云数据中点数据之间的映射关系，并分别设置标记，使得可以基于标记找到相互对应的点云特征点和图像特征点，以为自动标记过程提供基准数据对；
[0052]
(4)通过确定图像特征点和点云特征点之间的变换关系，使得目标输电线路的点云数据和图像数据可以是在不同视角和/或不同时间段分别拍摄的，相对于相关技术中需要使用同一视角和/或在同一时间段内对目标输电线路进行数据采集的方案而言，有效提升了数据采集的适用场景；
[0053]
(5)通过拍摄装置内参确定旋转矩阵，有效提升了确定的图像特征点和点云特征点之间的变换关系的精度，进而提升了点云特征点和图像特征点之间映射关系的精确性。
附图说明
[0054]
图1为本发明提供的输电线路图像与点云数据的融合方法一种应用场景的示意图。
[0055]
图2为本发明提供的输电线路图像与点云数据的融合方法另一种应用场景的示意图。
[0056]
图3为本发明提供的输电线路图像与点云数据的融合方法一种实施例的流程图。
[0057]
图4为本发明提供的输电线路图像与点云数据的融合方法中一实施例示出的光学图像和点云图像的示意图。
[0058]
图5为本发明提供的输电线路图像与点云数据的融合方法中一实施例示出的添加标记的示意图。
[0059]
图6为本发明提供的输电线路图像与点云数据的融合方法中一实施例示出的候选区域和尖锐点的示意图。
[0060]
图7为本发明提供的输电线路图像与点云数据的融合方法中选取图像特征点和点云特征点一种实施例的流程图。
[0061]
图8为本发明提供的输电线路图像与点云数据的融合方法中构建光学图像和点云数据的坐标转换关系一种实施例的流程图。
[0062]
图9为本发明提供的输电线路图像与点云数据的融合装置一种实施例的结构示意图。
[0063]
图10为本发明提供的输电线路图像与点云数据的融合系统一种实施例的结构示意图。
[0064]
图11为本发明实施例示出的电子设备的结构示意图。
具体实施方式
[0065]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
[0066]
为了便于对本技术的理解，先对本技术涉及的部分概念进行说明。
[0067]
点云数据(point cloud data)是指在一个三维坐标系统中的一组向量的集合。扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(如红绿蓝)或反射强度信息(intensity)。
[0068]
相关技术中可以采用机载激光雷达等方式采集点云数据进行地图测绘，地图中有多个对象的位置信息。然而，点云数据没有图像数据的直观性好，如果可以直接采用图像数据对目标对象进行测距，则可以有效提升输电线路检测的便捷度。
[0069]
为了实现直接使用输电线路图像进行精准测量，需要使得图像中的每一个像素都具有空间坐标信息。本技术的某些实施例中，将针对同一目标对象的两类数据(光学图像和点云数据)基于多组基准数据对进行融合，由于该融合算法结合了拍摄装置内参(如焦距、传感器尺寸、畸变参数等)，有效提升了融合结果精度。例如，利用经融合后的输电线路图像可用于测量输电线路的净空距离等，精度达到亚米级。
[0070]
以下结合附图详细描述本技术实施例的技术方案。
[0071]
图1为本发明实施例中一种应用场景的示意图。需要注意的是，图1所示仅为可以应用本技术实施例的系统架构的示例，以帮助本领域技术人员理解本技术的技术内容，但并不意味着本技术实施例不可以用于其他设备、系统、环境或场景。
[0072]
参见图1，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0073]
用户可以使用终端设备101、102、103通过网络104与其他可移动设备和服务器105进行交互，以接收或发送信息等，如发送输电线路的图像数据请求/点云数据请求、净空距离请求、变换关系计算请求、变换关系更新请求、图像的像素坐标、组基准数据对等。终端设备101、102、103可以安装有各种通讯客户端应用，例如，图像处理应用、监控应用、网页浏览器应用、数据库类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等应用等。需要说明的是，输电线路图像和点云特征点选取方法可以在终端设备上执行，输电线路图像和点云特征点融合方法等可以在终端设备执行，也可以在服务器执行。
[0074]
终端设备101、102、103包括但不限于测绘设备、机器人、无人机、摄像机、平板电脑、台式机等。
[0075]
服务器105可以接收输电线路的图像数据请求/点云数据请求、净空距离请求、变换关系计算请求等，还可以发送图像数据/点云数据、净空距离、变换关系、组基准数据对等给终端设备101、102、103。例如，服务器105可以为后台管理服务器、服务器集群等。
[0076]
需要说明的是，移动设备、网络和云端的服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的可移动设备、网络和云端。
[0077]
图2是本发明提供的方法中另一种应用场景的示意图。
[0078]
图2示出了输电线路巡检的场景。可以采用巡检机器人(如无人机20)和拍摄装置10等对输电线路进行监测。无人机20上可以设置有传感系统21，可以采集针对输电线路的
点云数据。拍摄装置10可以获取输电线路的图像数据。其中，可以在电塔上安装拍摄装置10，拍摄装置10可以对着另一个电塔的方向。拍摄装置10可以通过诸如太阳能电池等供电设备进行供电。需要说明的是，拍摄装置10可以通过有线或者无线的方式向远程设备或者服务器等发送采集的图像数据。拍摄装置10可以安装在距离电线较远的位置，降低安装风险等。拍摄装置10的安装方式和位置仅为示例性示出，不能理解为对本技术的限定。
[0079]
图2示出的飞行器20，可以是具有远程遥控飞行功能、自动驾驶飞行功能的飞行器。飞行器20可以包括传感系统21和动力机构22。此外，该飞行器20还可以包括通讯系统。
[0080]
传感系统21可以包括一个或者多个传感器，以感测飞行器20的周边障碍物、空间方位、速度或者加速度等中至少一种。传感器的类型包括但不限于：测距传感器、位置传感器、运动传感器、惯性传感器或者影像传感器。传感系统21提供的感测数据可以用于控制飞行器20的空间方位、速度和/或加速度。传感系统21用于收集飞行器20的相关信息。不同类型的传感器可以感测不同种类的信号或者感测不同来源的信号。例如，传感器包括惯性传感器、gps传感器、距离传感器、或者视觉/影像传感器(如相机)。
[0081]
动力机构22可以包括一个或者多个旋转体、螺旋桨、桨叶、引擎、电机、轮子、轴承、磁铁、喷嘴等。飞行器20可以包括一个或者多个动力机构22。所有的动力机构22各自的类型可以相同或不同。动力机构22可以安装在飞行器20任何合适的位置，如顶端、下端、前端、后端、侧面或者其中的任意结合。例如，动力机构22能够使飞行器20相对于地平面以一定角度(如倾斜地或者垂直地)从表面起飞，或者降落在表面上。动力机构22能够使飞行器20在空中以一定速度、高度等进行飞行或者静止等。
[0082]
飞行器20可以通过通讯系统与远程设备进行通讯。远程设备包括但不限于：控制终端、飞行控制中心服务器等。例如，通讯系统可以将传感系统21采集的至少部分点云数据传输给远程设备。
[0083]
需要说明的是，巡检机器人还可以是巡检车辆。巡检车辆的车顶和/或车身侧面搭载有至少一个激光雷达(lidar)。lidar的检测区域可以是固定的，如某个lidar可以仅用于对预设的某个区域进行检测。lidar的检测区域可以是可调的，如车身上的lidar可以通过调整姿态等方式对多个检测区域进行扫描，也可以通过调整lidar自身的视场角范围对多个检测区域进行扫描。
[0084]
此外，车辆上还可以搭载有拍摄装置10。拍摄装置10能够以规定的视角对视角前方环境进行拍摄。例如，拍摄装置10可以为单目相机、多目相机等。
[0085]
另外，本技术还可以采用固定位置的监测设备(如监测杆上的拍摄装置10)等对输电线路进行监测。
[0086]
在对输电线路进行监测过程中发现：图像数据比较直观，但是没有空间坐标信息。点云数据具有空间坐标信息，但是直观性没有图像数据好。本技术的某些实施例将图像数据和点云数据融合起来，得到具有空间坐标的图像数据，使得用户可以使用直观地输电线路图像得到精准的空间位置信息。
[0087]
参考图3，在一些实施例中，提供一种输电线路图像与点云数据的融合方法，包括：
[0088]
s1、采集目标输电线路的光学图像和点云数据；
[0089]
s2、对所述点云数据进行图像化处理，获得点云图像；
[0090]
s3、响应用户操作，从所述光学图像中选取图像特征点，并从所述点云图像中选取
与所述图像特征点对应的点云特征点，所述点云特征点对应有点云数据的空间坐标；
[0091]
s4、对所述图像特征点和对应的点云特征点进行标记并建立映射关系，形成基准数据对；
[0092]
s5、根据所述基准数据对，构建所述光学图像和所述点云数据的坐标转换关系，基于所述坐标转换关系获得光学图像中各个像素坐标与点云数据中点云的空间坐标的对应关系。
[0093]
具体地，步骤s1中，目标输电线路的光学图像可以是采集的数据，如参见图2，由拍摄装置10采集的光学图像，如光学图像可以是由单目相机实时采集的数据。目标输电线路的光学可以是读取的数据，如历史采集数据存储在数据库中，但是，采集时目标对象的位姿相对于需要进行监测时的目标对象的位姿没有发生改变。
[0094]
目标输电线路的点云数据可以是采集的数据，如参见图2，由无人机20上的激光雷达采集的点云数据，如点云数据可以是实时数据。目标输电线路的点云数据也可以是读取的数据，如从商业数据库中下载的点云数据。
[0095]
需要说明的是，光学图像包括但不限于：可见光图像数据、红外图像数据、紫外图像数据、x射线图像数据等多种光波段下的光学图像。
[0096]
在某些实施例中，获取目标输电线路的光学图像和点云数据包括以下至少一种：
[0097]
在第一时间段、第一位置下通过拍摄装置获取目标输电线路在第一视角下的图像数据。
[0098]
在第二时间段、第二位置下通过雷达获取目标输电线路在第二视角下的点云数据，其中，第一时间段和第二时间段相同或者不同，第一位置和第二位置相同或者不同，第一视角和第二视角相同或者不同。
[0099]
请参考图4和图5，可以看出，光学图像和点云数据分别是在不同的视角下得到的。此外，光学图像和点云数据可以分别在不同时间段获取的。本技术实施例可以确定点云数据和光学图像之间的对应的关系，以便实现多时空数据融合，使得二维图像中的物体具有点云坐标系下的坐标信息，可以基于二维图像进行空间测量。
[0100]
进一步地，步骤s2中，对所述点云数据进行图像化处理，获得点云图像，点云图像中每个像素的坐标，与点云数据的点云空间坐标对应。
[0101]
在将点云数据转换为图像的过程中，会存在点云数据和图像中某个像素之间的对应关系，当用户点击了某个像素后，则可以基于该对应关系确定用户选取的点云中的点，进而得到点击目标在点云坐标系中的坐标信息。
[0102]
进一步地，步骤s3中，响应用户操作，从所述光学图像中选取图像特征点，并从所述点云图像中选取与所述图像特征点对应的点云特征点，所述点云特征点对应有点云数据的空间坐标。
[0103]
在本实施例中，用户操作包括但不限于：点击、双击、长时按压、连续点击、滚动、输入操作指令等可以实现人机交互的操作。其中，操作指令中可以包括目标对象标识信息等，以便计算机确定图像特征点或者点云特征点。
[0104]
图像特征点可以采用像素坐标来进行表征，如以目标输电线路图像或者显示屏的某个顶点作为坐标系原点(0，0)，得到的像素坐标(x1，y1)。点云特征点可以采用点云空间的空间坐标(x2，y2，z2)来进行表示。例如，电塔的最高顶点可以作为特征点，则在点云图像
中与最高顶点对应的像素坐标表征图像特征点。在点云中与最高顶点对应的点坐标表征点云特征点。
[0105]
在一些实施例中，响应于用户操作，从光学图像中选取图像特征点，包括以下至少一种。
[0106]
例如，将与电线杆和/或电塔的顶点对应的像素坐标作为图像特征点。电塔和电杆的特征点可以分别分布在杆塔横担的顶点。
[0107]
例如，按照从左到右的顺序依次从与地面对应的像素中选取多个像素坐标作为图像特征点。地面的特征点可以分别从左至右均匀选取多个点。可以理解的是，为了保证映射关系的准确性，应尽可能多的选取均匀分布在场景中的特征点。
[0108]
在某些实施例中，目标输电线路图像的图像尺寸较大，如具有较大的分辨率，如何快速便捷地从图像中选取目标对象(如电塔的横杆顶点)，就成为制约融合工作精准度和效率的瓶颈问题。参见图4，电塔的第一层横杆的顶点可能对应多个像素，为了精准地给该顶点添加标记信息，用户可以先把图像放大，然后将鼠标移动至对应的像素，并添加标记。当需要对另一侧顶点进行标记时，则可能需要先缩小图像，然后再移动至另一侧顶点处进行放大操作，并添加标记。期间人工操作的精准度和失误率无法得到保障。
[0109]
为了至少部分地解决上述问题，上述响应于用户操作，从第一图像中选取第一像素点，并且从第二图像中选取第二像素点，可以包括如下操作。
[0110]
参考图7，从所述光学图像中选取图像特征点，并从所述点云图像中选取与所述图像特征点对应的点云特征点，包括：
[0111]
s31、响应用户的点击操作，确定所述点击操作在所述光学图像中对应的第一点击坐标以及在所述点云图像中对应的第二点击坐标；
[0112]
s32、根据所述第一点击坐标确定第一候选区域，根据所述第二点击坐标确定第二候选区域；
[0113]
s33、从所述第一候选区域中确定第一尖锐点，从所述第二候选区域中确定第二尖锐点；
[0114]
s34、将所述第一尖锐点作为所述图像特征点，将所述第二尖锐点作为所述点云特征点。
[0115]
在某些实施例中，所述第一候选区域为以所述第一点击坐标为圆心，周围预设半径范围内的区域；
[0116]
所述第二候选区域为以所述第二点击坐标为圆心，周围预设半径范围内的区域；
[0117]
从所述第一候选区域中确定第一尖锐点，从所述第二候选区域中确定第二尖锐点，包括：
[0118]
计算所述第一候选区域内每个像素与其k邻域的平均法向夹角，将平均法向角最大的像素作为所述第一尖锐点；
[0119]
计算所述第二候选区域内每个像素与其k邻域的平均法向夹角，将平均法向角最大的像素作为所述第二尖锐点。
[0120]
其中，每个像素与其k邻域的平均法向夹角通过以下公式进行计算：
[0121]
[0122]
其中，αj为待计算像素点的法向量与其k邻域中其他像素点法向量之间的夹角，为待计算像素点的平均法向量夹角；
[0123]
所述k邻域为待计算像素点与其周围像素点欧式距离最小的k个像素点所组成的区域。
[0124]
这样就可以基于平均法向夹角来判断当前点qi是否为尖锐点。使得可以由计算机辅助用户确定精准的目标像素。
[0125]
图6是本技术一实施例示出的候选区域和尖锐点的示意图。
[0126]
参见图6，是针对图5的左侧图中p1位置处的放大图。相关技术为了实现对顶点进行精准标记，需要手动将鼠标精准移动至顶点上，再点击数据以添加标记。一方面对用户的鼠标移动精准度要求极高，在点击鼠标时也可能导致鼠标飘移而离开准确位置。本实施例中由在用户将鼠标移动至大致准确的候选区域(如图6中虚线圆圈所示)之后，则可以根据上述方法自动寻找尖锐点像素，在提升选取特征点的精准度的基础上，还能有效提升操作便捷度。例如，图像中偏离一个像素可能导致点云坐标系中偏移数厘米至数十厘米(偏移量与目标对象和拍摄装置之间的距离相关)。
[0127]
需要说明的是，在输电线路监测的场景中，由于输电线路较长，如几公里至上千公里，所需存储的点云数据的数据量庞大，而为了保证数据的精确度，需要采用分辨率较高的点云数据。本技术实施例将光学图像和点云数据进行融合，融合后的点云数据中还可以包括几何图形信息，使得可以对低分辨率的点云数据进行插值处理，以实现采用较低分辨率的点云数据，仍然能够得到类似于高分辨率的点云数据的测距结果。例如，点云数据中两个点对应的电线杆的竖杆，较低分辨率的点云数据遗失了与横杆对应的点，则可以基于图像中的几何图形信息和点云数据中该两个点的数据，模拟计算得到横杆的高度信息，并对点云数据进行更新。
[0128]
进一步地，步骤s4中，对所述图像特征点和对应的点云特征点进行标记并建立映射关系，形成基准数据对。
[0129]
图5是本技术一实施例示出的添加标记的示意图。
[0130]
参见图5，图像特征点的第一标记是p1，点云特征点的第二标记是p1，两个标记相同。此外，第一标记和第二标记可以不同，但是两个标记之间需要存在映射关系，以便基于第一标记找到与第二标记对应的点云特征点，或者便于基于第二标记找到与第一标记对应的图像特征点。例如，分别在二维图像和三维点云中，同一个特征点的位置处设置标记p1。
[0131]
重复以上操作即可实现得到多组基准数据对，基准数据对的数量可以根据用户需求、算法精度等而定。例如，基准数据对的数量越多，则可以得到精度越高的转换关系。
[0132]
例如，选取的特征点应保证独特性，且均匀分布于整个场景中。此外，可以获取10组基准数据对，其对应的图像特征点和点云特征点分别在二维影像和三维点云中的坐标信息。
[0133]
进一步地，参考图8，步骤s5中，根据所述基准数据对，构建所述光学图像和所述点云数据的坐标转换关系，具体包括：
[0134]
s51、利用拍摄装置的内参建立变换模型；
[0135]
s52、将多组基准数据输入至所述变换模型，计算拍摄装置坐标系到点云三维空间坐标系的平移向量；
[0136]
s53、根据所述平移向量和拍摄装置的内参，获得所述光学图像和所述点云数据的坐标转换关系。
[0137]
具体地，变换模型与拍摄输电线路图像的拍摄装置的焦距、拍摄装置在点云坐标系下的坐标、拍摄装置在点云坐标系下的旋转矩阵、拍摄装置在点云坐标系下的平移向量相关。
[0138]
具体地，所述变换模型如下：
[0139][0140]
旋转矩阵r如下：
[0141][0142][0143]
其中，d
x
与dy分别表示每个像素在光学图像横轴x和纵轴y上的物理尺寸，(u0,v0)为拍摄装置光轴与图像平面的交点像素坐标，f表示拍摄装置的焦距，上述参数为拍摄装置的内参，r表示旋转矩阵，t表示拍摄装置在点云坐标系下的平移向量，(u,v)为基准数据对中图像特征点的二维像素坐标，(xw,yw,zw)为基准数据对中点云特征点的三维空间坐标，表示拍摄装置坐标轴分别绕点云坐标系y轴、x轴和z轴旋转的角度。
[0144]
所述坐标转换关系如下：
[0145][0146]
其中，(x,y)为目标点的像素坐标，(u0,v0)为拍摄装置的光轴与光学图像平面交点的像素坐标，f为拍摄装置的焦距，(xs,ys,zs)为拍摄装置中心在点云坐标系下的坐标，(xa,ya,za)表示目标点的三维坐标，ai,bi,ci为旋转矩阵，1≤i≤3，i为整数。
[0147]
具体地，目标点需要同时存在于拍摄装置所返回光学图像以及点云获取装置扫描的点云数据中，且目标对象在场景中未发生位置及形态的变化。例如，拍摄装置的镜头的焦距为3.8(毫秒)，拍摄装置的传感器的尺寸可以为:0.00094*0.00094(米)，图像尺寸:5280*2992(像素)。此外，还可以进一步考虑拍摄装置拍摄图像的畸变问题，对图像进行校正。
[0148]
参考图9，在一些实施例中，还提供一种输电线路图像与点云数据的融合装置，包括：
[0149]
采集模块201，用于采集目标输电线路的光学图像和点云数据；
[0150]
图像化处理模块202，用于对所述点云数据进行图像化处理，获得点云图像；
[0151]
选取模块203，用于响应用户操作，从所述光学图像中选取图像特征点，并从所述点云图像中确定与所述图像特征点对应的点云特征点，所述点云特征点对应有点云数据的空间坐标；
[0152]
数据对形成模块204，用于对所述图像特征点和对应的点云特征点进行标记并建立映射关系，形成基准数据对；
[0153]
转换模块205，用于根据所述基准数据对，构建所述光学图像和所述点云数据的坐标转换关系，基于所述坐标转换关系获得光学图像中各个像素坐标与点云数据中点云的空间坐标的对应关系。
[0154]
其中，采集模块201采集目标输电线路的光学图像和点云数据，包括：
[0155]
在第一时间段、第一位置下通过拍摄装置获取所述目标输电线路在第一视角下的光学图像；
[0156]
在第二时间段、第二位置下通过点云获取装置获取所述目标输电线路在第二视角下的点云数据，其中，所述第一时间段和所述第二时间段相同或者不同，所述第一位置和所述第二位置相同或者不同，所述第一视角和所述第二视角相同或者不同。
[0157]
进一步地，选取模块203还用于：
[0158]
将与电线杆和/或电塔的顶点对应的像素坐标作为所述图像特征点；
[0159]
按照从左到右的顺序依次从与地面对应的像素中选取多个像素坐标作为所述图像特征点。
[0160]
进一步地，选取模块203还用于：：
[0161]
响应用户的点击操作，确定所述点击操作在所述光学图像中对应的第一点击坐标以及在所述点云图像中对应的第二点击坐标；
[0162]
根据所述第一点击坐标确定第一候选区域，根据所述第二点击坐标确定第二候选区域；
[0163]
从所述第一候选区域中确定第一尖锐点，从所述第二候选区域中确定第二尖锐点；
[0164]
将所述第一尖锐点作为所述图像特征点，将所述第二尖锐点作为所述点云特征点。
[0165]
进一步地，所述第一候选区域为以所述第一点击坐标为圆心，周围预设半径范围内的区域；
[0166]
所述第二候选区域为以所述第二点击坐标为圆心，周围预设半径范围内的区域。
[0167]
进一步地，选取模块203还用于：：
[0168]
计算所述第一候选区域内每个像素与其k邻域的平均法向夹角，将平均法向角最大的像素作为所述第一尖锐点；
[0169]
计算所述第二候选区域内每个像素与其k邻域的平均法向夹角，将平均法向角最大的像素作为所述第二尖锐点。
[0170]
每个像素与其k邻域的平均法向夹角通过公式(1)进行计算，在此不再赘述。
[0171]
进一步地，转换模块205还用于：
[0172]
利用拍摄装置的内参建立变换模型；
[0173]
将多组基准数据输入至所述变换模型，计算拍摄装置坐标系到点云三维空间坐标
系的平移向量；
[0174]
根据所述平移向量和拍摄装置的内参，获得所述光学图像和所述点云数据的坐标转换关系。
[0175]
变换模型如公式(2)和公式(3)所示，坐标转换关系如公式(4)所示，在此不再赘述。
[0176]
上述实施例提供的输电线路图像与点云数据的融合方法及装置，至少包括如下有益效果：
[0177]
(1)基于光学图像中图像特征点和点云数据中点云特征点之间的对应关系，自动计算光学图像和点云数据之间的转换关系，以便将点云数据和特征数据进行融合，得到具有空间位置信息的数据。用户可以使用直观地、具有空间位置信息的数据进行诸如净空距离测量等，大幅度降低运维成本，以便实现输电线路通道广覆盖、全天候、高精度的远程安全监测；
[0178]
(2)针对拍摄的光学图像的分辨率较高或者选取的点云数据较多场景下，用户将光标等移动到目标对象的候选区域，通过平均法向夹角的计算确定尖锐点，有效提升了标记的准确度；此外，有效地减少了用户使用放大、缩小等操作的次数，提升了用户标记工作的便捷度；
[0179]
(3)目标输电线路的光学图像和点云数据可以是不同视角下采集的数据，用户手动构建光学图像中像素与点云数据中点数据之间的映射关系，并分别设置标记，使得可以基于标记找到相互对应的点云特征点和图像特征点，以为自动标记过程提供基准数据对；
[0180]
(4)通过确定图像特征点和点云特征点之间的变换关系，使得目标输电线路的点云数据和图像数据可以是在不同视角和/或不同时间段分别拍摄的，相对于相关技术中需要使用同一视角和/或在同一时间段内对目标输电线路进行数据采集的方案而言，有效提升了数据采集的适用场景；
[0181]
(5)通过拍摄装置内参确定旋转矩阵，有效提升了确定的图像特征点和点云特征点之间的变换关系的精度，进而提升了点云特征点和图像特征点之间映射关系的精确性。
[0182]
参考图10，在一些实施例中，还提供一种输电线路图像与点云数据的融合系统1100，包括：
[0183]
拍摄装置1110，用于获取目标输电线路的光学图像；
[0184]
点云获取装置1120，用于对目标输电线路进行扫描，得到所述目标输电线路的点云数据；
[0185]
计算装置1130，包括存储器和处理器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行上述的方法。
[0186]
拍摄装置1110以特定位姿位于空间中，用于获取目标输电线路的图像数据。例如，拍摄装置1110可以为固定设置在电塔上的相机，或者设置在监控杆上的相机等。
[0187]
点云获取装置1120用于对目标输电线路进行扫描，得到目标输电线路的点云数据。例如，点云获取装置1120可以为多种勘探设备，如设置有激光雷达的汽车、无人机、机器人等。
[0188]
计算装置1130包括存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上述的选取方法，或者，使处理器执行如上述的融合方法。
[0189]
本技术的另一方面还提供了一种电子设备。
[0190]
图11是本技术实施例示出的电子设备的结构示意图。
[0191]
参见图11，电子设备1200可以包括存储器1210和处理器1220。此外，电子设备1200上还可以设置有随机数产生电路、随机数检测电路或者雷达中至少一种。
[0192]
处理器1220可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0193]
存储器1210可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)和永久存储装置。其中，rom可以存储处理器1220或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1210可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1210可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
[0194]
存储器1210上存储有可执行代码，当可执行代码被处理器1220处理时，可以使处理器1220执行上文述及的方法中的部分或全部。
[0195]
此外，根据本技术的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本技术的上述方法中部分或全部步骤的计算机程序代码指令。
[0196]
或者，本技术还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本技术的上述方法的各个步骤的部分或全部。
[0197]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。