一种输电导线断点坐标获取方法、装置、设备及存储介质与流程

1.本发明涉及导线修补技术领域，具体涉及一种输电导线断点坐标获取方法、装置、设备及存储介质。


背景技术：

2.输电线路主要承担电能输送任务，是国家电网的重要组成部分。由于输电线路架设面积广，途经地区的地形和气候复杂多变，因而在外界环境的长时间影响下，输电导线容易产生导线断股、导线破损等故障。
3.目前，随着无人机技术的发展，一般都是采用无人机进行输电导线断点的识别，然后采用采用人工对断点进行修补，此种修补方式不仅工作效率低，而且安全性不高，虽然目前也有利用导线修补机器人对断点进行自动修补的方式，但是由于导线修补机器人不能准确识别输电导线断点的坐标，导致经常不能正确的实现对断点的修补。


技术实现要素：

4.本发明的目的在于克服上述技术不足，提供一种输电导线断点坐标获取方法、装置、设备及存储介质，解决现有技术中由于无法准确识别输电导线断点的坐标、而导致不能正确实现断点修补的技术问题。
5.为达到上述技术目的，本发明采取了以下技术方案：
6.第一方面，本发明提供一种输电导线断点坐标获取方法，包括如下步骤：
7.建立机器人坐标系、左相机坐标系和右相机坐标系；
8.分别根据所述左相机坐标系及左相机的焦距和右相机坐标系及右相机的焦距，建立归一化后的左图像坐标系和右图像坐标系；
9.分别根据断点在所述左相机坐标系和右相机坐标系下的坐标，获取所述断点在所述左图像坐标系下和右图像坐标系下的成像点的坐标；
10.根据所述左相机的内参数和右相机的内参数、所述断点在所述左图像坐标系下和右图像坐标系下的成像点的坐标，获取所述断点在所述左相机坐标系或右相机坐标系下的坐标；
11.根据所述左相机的内参数和所述断点在所述左相机坐标系的坐标或者所述右相机的内参数和所述断点在右相机坐标系下的坐标，获取所述断点在所述机器人坐标系下的坐标。
12.优选的，所述的输电导线断点坐标获取方法中，所述机器人坐标系的原点为所述机器人的作业机械臂与本体移动机构相连的纵向旋转关节蜗轮蜗杆中心，所述左相机坐标系的原点为所述左相机的光心，所述右相机坐标系的原点为所述右相机的光心，且所述左相机和右相机的光轴均与所述输电导线平行。
13.优选的，所述的输电导线断点坐标获取方法中，所述断点在所述左图像坐标系下的成像点的坐标的获取方法为：
[0014][0015]
其中，(u
l
,v
l
)为所述断点在所述左图像坐标系下的坐标，为所述断点在所述左图像坐标系下的成像点的坐标，(u
lo
,v
lo
)为所述左相机的光轴线在所述左图像坐标系所处的成像平面上的交点的坐标，k
l
为第一放大系数；
[0016]
所述断点在所述右图像坐标系下的成像点的坐标的获取方法为：
[0017][0018]
其中，(ur,vr)为所述断点在所述右图像坐标系下的坐标，为所述断点在所述右图像坐标系下的成像点的坐标，(u
ro
,v
ro
)为所述右相机的光轴线在所述右图像坐标系所处的成像平面上的交点的坐标，kr为第二放大系数。
[0019]
优选的，所述的输电导线断点坐标获取方法中，所述根据所述左相机的内参数和右相机的内参数、所述断点在所述左图像坐标系下和右图像坐标系下的成像点的坐标，获取所述断点在所述左相机坐标系或右相机坐标系下的坐标，包括：
[0020]
获取所述左相机的内参数和右相机的内参数；
[0021]
基于所述左相机的内参数和右相机的内参数，将所述断点在所述右图像坐标系下的成像点的坐标转换为在左图像坐标系下的转换坐标；
[0022]
根据所述断点在所述左图像坐标系下的成像点的坐标以及所述转换坐标，获取所述断点在所述左相机坐标系下的坐标。
[0023]
优选的，所述的输电导线断点坐标获取方法中，所述转换坐标的获取方法为：
[0024][0025]
其中，为转换坐标，为右相机的光轴中心点在左相机坐标系中的位置向量。
[0026]
优选的，所述的输电导线断点坐标获取方法中，所述断点在所述左相机坐标系下的坐标为：
[0027]
[0028]
其中，(x，y，z)为所述断点在所述左相机坐标系下的坐标，d为右边相机的光轴中心点在左边相机坐标系中位置偏移量。
[0029]
优选的，所述的输电导线断点坐标获取方法中，所述断点在所述机器人坐标系下的坐标为：
[0030][0031]
其中，(xw,yw,zw)为所述断点在所述机器人坐标系下的坐标，r和p为所述左相机的外参数。
[0032]
第二方面，本发明还提供一种输电导线断点坐标获取装置，包括：
[0033]
第一坐标系建立模块，用于建立机器人坐标系、左相机坐标系和右相机坐标系；
[0034]
第二坐标系建立模块，用于分别根据所述左相机坐标系及左相机的焦距和右相机坐标系及右相机的焦距，建立归一化后的左图像坐标系和右图像坐标系；
[0035]
第一坐标获取模块，用于分别根据断点在所述左相机坐标系和右相机坐标系下的坐标，获取所述断点在所述左图像坐标系下和右图像坐标系下的成像点的坐标；
[0036]
第二坐标获取模块，用于根据所述左相机的内参数和右相机的内参数、所述断点在所述左图像坐标系下和右图像坐标系下的成像点的坐标，获取所述断点在所述左相机坐标系或右相机坐标系下的坐标；
[0037]
第三坐标获取模块，用于根据所述左相机的内参数和所述断点在所述左相机坐标系的坐标或者所述右相机的内参数和所述断点在右相机坐标系下的坐标，获取所述断点在所述机器人坐标系下的坐标。
[0038]
第三方面，本发明还提供一种输电导线断点坐标获取设备，包括：处理器和存储器；
[0039]
所述存储器上存储有可被所述处理器执行的计算机可读程序；
[0040]
所述处理器执行所述计算机可读程序时实现如上所述的输电导线断点坐标获取方法中的步骤。
[0041]
第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的输电导线断点坐标获取方法中的步骤。
[0042]
与现有技术相比，本发明提供的输电导线断点坐标获取方法、装置、设备及存储介质中，导线断股修补机器人沿线路行驶定位到断股分叉位置后，停止移动并利用导线夹爪锁紧机器人本体移动机构与输电导线。为了控制作业机械臂将断股分叉铝线捋直复位并包裹，本发明通过构建平行双目视觉测量系统，结合相机内、外参数变换矩阵，计算出线路断点在机器人坐标系下的三维坐标，和与末端执行器的相对位置，从而可以准确识别输电导线断点的坐标，使机器人能够正确的实现断点的修补。
附图说明
[0043]
图1是小孔成像的原理图；
[0044]
图2是图像点对应的不同空间点坐标的示意图；
[0045]
图3是本发明提供的输电导线断点坐标获取方法的一较佳实施例的流程图；
[0046]
图4是本发明双目视觉系统测距的模型示意图；
[0047]
图5是本发明提供的输电导线断点坐标获取装置的一较佳实施例的示意图；
[0048]
图6是本发明输电导线断点坐标获取程序的较佳实施例的运行环境示意图。
具体实施方式
[0049]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0050]
相机成像一般采用小孔成像原理，如图1所示。oc为相机光轴中心点，光轴垂直于目标点平面e1、成像平面f
′1和与f
′1同比例、反向的映射平面f1。f
′1上分布着感光器件，将照射到该平面的光信号转变成电信号输出，但其与真实目标点平面上下、左右方向相反，进而相机实际输出信号为成像平面实像的映射平面f1。以相机光轴中心点建立相机坐标系，相机光轴设为z轴，并以相机到目标点为正方向，x轴方向与图像坐标系(也即成像平面f
′1)相同。设目标点p2坐标为(x2,y2,z2)，p2在成像平面f1下的点p1坐标为(x1,y1,z1)。
[0051]
由三角形相似定理，则有：
[0052][0053]
式(1)是笛卡尔空间的目标点与相机成像点之间的关系。其中，f为相机的焦距，f＝z1。
[0054]
相机内参数描述的是图像坐标系和相机坐标系的关系。将成像平面上的成像点(x1,y1)经放大转换成为图像坐标系的点(u,v)，且相机光轴线在成像平面上的交点记为图像坐标(u0,v0)，则：
[0055][0056]
式中：a
x
和ay分别为成像平面到图像坐标平面在x轴和y轴方向的放大系数。
[0057]
将式(2)代入式(1)，得：
[0058][0059]
将式(3)改写成矩阵形式，则有：
[0060]
[0061]
式中：k
x
＝a
x
f是x轴方向的放大系数；ky＝ayf是y轴方向的放大系数；m
in
称为内参数矩阵，(x2,y2,z2)是目标点在相机坐标系下的坐标。
[0062]
一般地，将目标点在相机坐标系下的坐标用(xc,yc,zc)表示，即式(4)改为：
[0063][0064]
如图2所示几何原理可知，直线op上所有点具有相同的图像坐标，即图像坐标系内一个点可以对应若干个不同的空间点。
[0065]
当z＝f时，点(xc,yc,zc)为图像点在成像平面上的成像点坐标。根据摄像机内参数，可以求出图像点在焦距归一化成像平面上的成像点坐标：
[0066][0067]
利用焦距归一化成像平面上的成像点坐标和光轴中心点，可以确定景物点所在的空间直线。
[0068]
相机外参数描述的是机器人物理作业场景坐标系和相机坐标系的转换关系。如图1所示，构成相机外参数矩阵，将坐标系owx
wywzw
在坐标系ocxcyczc中表示出：
[0069][0070]
式中：(xc,yc,zc)表示景物点在相机坐标系ocxcyczc中的坐标；(xw,yw,zw)是景物点在机器人坐标系owx
wywzw
中的坐标；cmw是外参数矩阵；n＝[n
x n
y nz]
t
是xw轴在相机坐标系ocxcyczc的方向向量；o＝[o
x o
y oz]
t
是yw轴在相机坐标系ocxcyczc的方向向量；a＝[a
x a
y az]
t
是zw轴在相机坐标系ocxcyczc的方向向量；p＝[p
x p
y pz]
t
是owx
wywzw
的坐标原点在相机坐标系ocxcyczc的位置。
[0071]
基于上述分析，本发明实施例提供了一种输电导线断点坐标获取方法，包括如下步骤：
[0072]
s100、建立机器人坐标系、左相机坐标系和右相机坐标系；
[0073]
s200、分别根据所述左相机坐标系及左相机的焦距和右相机坐标系及右相机的焦距，建立归一化后的左图像坐标系和右图像坐标系；
[0074]
s300、分别根据断点在所述左相机坐标系和右相机坐标系下的坐标，获取所述断点在所述左图像坐标系下和右图像坐标系下的成像点的坐标；
[0075]
s400、根据所述左相机的内参数和右相机的内参数、所述断点在所述左图像坐标系下和右图像坐标系下的成像点的坐标，获取所述断点在所述左相机坐标系或右相机坐标系下的坐标；
[0076]
s500、根据所述左相机的内参数和所述断点在所述左相机坐标系的坐标或者所述
右相机的内参数和所述断点在右相机坐标系下的坐标，获取所述断点在所述机器人坐标系下的坐标。
[0077]
本实施例中，导线断股修补机器人沿线路行驶定位到断股分叉位置后，停止移动并利用导线夹爪锁紧机器人本体移动机构与输电导线。为了控制作业机械臂将断股分叉铝线捋直复位并包裹，本发明通过构建平行双目视觉测量系统，结合相机内、外参数变换矩阵，计算出线路断点在机器人坐标系下的三维坐标，和与末端执行器的相对位置，从而可以准确识别输电导线断点的坐标，使机器人能够正确的实现断点的修补。
[0078]
如图4所示，本实施例中，所述机器人坐标系的原点为所述机器人的作业机械臂与本体移动机构相连的纵向旋转关节蜗轮蜗杆中心，所述左相机坐标系的原点为所述左相机的光心，所述右相机坐标系的原点为所述右相机的光心，且所述左相机和右相机的光轴均与所述输电导线平行。
[0079]
具体的，本发明实施例将作业机械臂与本体移动机构相连的纵向旋转关节蜗轮蜗杆中心作为双目视觉系统机器人坐标系o
w-x
wywzw
的原点，o
cl-x
clyclzcl
、o
cr-x
crycrzcr
为左右相机坐标系，o
l-x
lyl
、o
r-xryr为焦距归一化后左右图像坐标系。
[0080]
左右相机光心o
cl
和o
cr
相距d，且相机光轴与导线相互平行，o
clol
和o
cr
or之间的距离为归一化焦距f＝1。点p为机器人坐标系的一个目标点，p
l
和pr分别是点p在焦距归一化后左、右图像上的成像点。
[0081]
在一些实施例中，所述断点在所述左图像坐标系下的成像点的坐标的获取方法为：
[0082][0083]
其中，(u
l
,v
l
)为所述断点在所述左图像坐标系下的坐标，为所述断点在所述左图像坐标系下的成像点的坐标，(u
lo
,v
lo
)为所述左相机的光轴线在所述左图像坐标系所处的成像平面上的交点的坐标，k
l
为第一放大系数；
[0084]
所述断点在所述右图像坐标系下的成像点的坐标的获取方法为：
[0085][0086]
其中，(ur,vr)为所述断点在所述右图像坐标系下的坐标，为所述断点在所述右图像坐标系下的成像点的坐标，(u
ro
,v
ro
)为所述右相机的光轴线在所述右图像坐标系所处的成像平面上的交点的坐标，kr为第二放大系数。
[0087]
本实施例中，由空间点p在相机c
l
的图像坐标(u
l
,v
l
)，可以计算出点p在相机c
l
的焦距归一化成像平面的成像点的坐标，空间点p在相机c
l
的光轴中心点与点构成的直线上，即符合方程：
[0088][0089]
同样的，由空间点p在相机cr的图像坐标(ur,vr)，可以计算出点p在相机cr的焦距归一化成像平面的成像点的坐标，空间点p也在相机cr的光轴中心点与点构成的直线上。
[0090]
在一些实施例中，所述步骤s400具体包括：
[0091]
获取所述左相机的内参数和右相机的内参数；
[0092]
基于所述左相机的内参数和右相机的内参数，将所述断点在所述右图像坐标系下的成像点的坐标转换为在左图像坐标系下的转换坐标；
[0093]
根据所述断点在所述左图像坐标系下的成像点的坐标以及所述转换坐标，获取所述断点在所述左相机坐标系下的坐标。
[0094]
具体的，所述转换坐标的获取方法为：
[0095][0096]
其中，为转换坐标，为右相机的光轴中心点在左相机坐标系中的位置向量，可根据两相机的内参数获得，由图4双目视觉的几何关系可知，式中只有坐标值变成因此，该直线方程可表示为式(12)：
[0097][0098]
式中：p
x
、py和pz构成的位置偏移量，p
x
＝d、py和pz等于0，因两相机相同tr＝t
l
。
[0099]
上述两条直线的交点，即为空间点p。因此，可求解出空间点p在相机c
l
坐标系中的三维坐标。根据图4中双目视觉模型可以计算出目标点p在相机c
l
坐标系中的坐标(x,y,z)为：
[0100][0101]
其中，(x，y，z)为所述断点在所述左相机坐标系下的坐标，d为右边相机的光轴中心点在左边相机坐标系中位置偏移量。
[0102]
进一步的，利用相机坐标系与机器人坐标系之间外参数，则可以由点p在相机c
l
坐标系中的三维坐标和式(7)矩阵变换计算出点p在机器人坐标系中的三维坐标：
[0103][0104]
其中，(xw,yw,zw)为所述断点在所述机器人坐标系下的坐标，r和p为所述左相机的外参数。
[0105]
当得到了断点在所述机器人坐标系下的坐标后，即可驱动末端修补作业机械臂开始捋线和包裹断股导线，从而保证导线修补的准确性。
[0106]
基于上述输电导线断点坐标获取方法，请参阅图5，本发明实施例还相应的提供一种输电导线断点坐标获取装置600，包括：
[0107]
第一坐标系建立模块610，用于建立机器人坐标系、左相机坐标系和右相机坐标系；
[0108]
第二坐标系建立模块620，用于分别根据所述左相机坐标系及左相机的焦距和右相机坐标系及右相机的焦距，建立归一化后的左图像坐标系和右图像坐标系；
[0109]
第一坐标获取模块630，用于分别根据断点在所述左相机坐标系和右相机坐标系下的坐标，获取所述断点在所述左图像坐标系下和右图像坐标系下的成像点的坐标；
[0110]
第二坐标获取模块640，用于根据所述左相机的内参数和右相机的内参数、所述断点在所述左图像坐标系下和右图像坐标系下的成像点的坐标，获取所述断点在所述左相机坐标系或右相机坐标系下的坐标；
[0111]
第三坐标获取模块650，用于根据所述左相机的内参数和所述断点在所述左相机坐标系的坐标或者所述右相机的内参数和所述断点在右相机坐标系下的坐标，获取所述断点在所述机器人坐标系下的坐标。
[0112]
本实施例中，导线断股修补机器人沿线路行驶定位到断股分叉位置后，停止移动并利用导线夹爪锁紧机器人本体移动机构与输电导线。为了控制作业机械臂将断股分叉铝线捋直复位并包裹，本发明通过构建平行双目视觉测量系统，结合相机内、外参数变换矩阵，计算出线路断点在机器人坐标系下的三维坐标，和与末端执行器的相对位置，从而可以准确识别输电导线断点的坐标，使机器人能够正确的实现断点的修补。
[0113]
由于上文已对输电导线断点坐标获取方法进行详细描述，在此不再赘述。
[0114]
如图6所示，基于上述输电导线断点坐标获取方法，本发明还相应提供了一种输电导线断点坐标获取设备，所述输电导线断点坐标获取设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该输电导线断点坐标获取设备包括处理器10、存储器20及显示器30。图6仅示出了输电导线断点坐标获取设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0115]
所述存储器20在一些实施例中可以是所述输电导线断点坐标获取设备的内部存储单元，例如输电导线断点坐标获取设备的硬盘或内存。所述存储器20在另一些实施例中也可以是所述输电导线断点坐标获取设备的外部存储设备，例如所述输电导线断点坐标获取设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器20还可以既包括输电导线
断点坐标获取设备的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述输电导线断点坐标获取设备的应用软件及各类数据，例如所述安装输电导线断点坐标获取设备的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有输电导线断点坐标获取程序40，该输电导线断点坐标获取程序40可被处理器10所执行，从而实现本技术各实施例的输电导线断点坐标获取方法。
[0116]
所述处理器10在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述输电导线断点坐标获取方法等。
[0117]
所述显示器30在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述输电导线断点坐标获取设备的信息以及用于显示可视化的用户界面。所述输电导线断点坐标获取设备的部件10-30通过系统总线相互通信。
[0118]
在一实施例中，当处理器10执行所述存储器20中输电导线断点坐标获取程序40时实现如上所述的输电导线断点坐标获取方法中的步骤。
[0119]
综上所述，本发明提供的输电导线断点坐标获取方法、装置、设备及存储介质中，导线断股修补机器人沿线路行驶定位到断股分叉位置后，停止移动并利用导线夹爪锁紧机器人本体移动机构与输电导线。为了控制作业机械臂将断股分叉铝线捋直复位并包裹，本发明通过构建平行双目视觉测量系统，结合相机内、外参数变换矩阵，计算出线路断点在机器人坐标系下的三维坐标，和与末端执行器的相对位置，从而可以准确识别输电导线断点的坐标，使机器人能够正确的实现断点的修补。
[0120]
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
[0121]
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。