架空输电通道图像监测中大场景双目测距及其校正方法与流程

本发明属于成像领域，特别涉及一种架空输电通道图像监测中大场景双目测距及其校正方法。

背景技术：

电力在当今经济快速发展的社会中有着至关重要的作用，高压架空线路作为电力生产中不可缺少的一环，其安全性不可忽视。近年来，输电线路的运行环境日益复杂，随着规模的快速发展，架空输电线路与经济活动的矛盾日益突出，吊车碰线、违章施工等外力破坏导致输电线路停运的事故屡见不鲜，已成为影响高压线路安全稳定运行的主要因素，严重威胁到电网的运行安全，甚至造成人员伤亡。另外，树木的生长，以及人造异物的缠绕也可能造成电线短路。

为保证线路的安全运行，电力部门需要组织线路巡检，但是输电线路的运行环境通常较为恶劣，人员劳动量较大，而且传统的人工巡检方式已难以适应高速发展的线路规模。为了高效、实时监控输电线路的状态，很多单位在事故多发区段安装了图像监控，替代部分人工巡检，提高劳动效率。但是随着视频、图像等监控设备的增多，完全依赖人工判断图像信号的方法容易出现误判或者漏判，已经很难适应生产需要，且会消耗大量的人力物力。因此，基于图像识别的智能监测技术在电力行业中受到极大关注。

目前，在输电线路杆塔上安装相机或视频探头的技术已趋于成熟，但是由于传统的单个相机拍摄无法对入侵物进行空间定位，因而容易造成误判和漏判等情况。采用双目立体视觉的技术恢复场景中物体的三维坐标，就能够测量出通道中物体的高度和距离。在现实应用中，摄像装置一般架设在杆塔上，双目相机架设高度较高，且相机之间的距离较远，在实验室中或户外难于开展标定工作。

技术实现要素：

针对以上不足，本发明提供一种架空输电通道图像监测中大场景双目测距及其校正方法，通过对双目相机标定、校正焦距参数和对三维坐标系旋转角度进行寻优，可直接测量出线路通道中物体之间的空间距离以及入侵物体的高度。

本发明为解决上述技术问题采用的技术方案为：一种架空输电通道图像监测中大场景双目测距及其校正方法，包括：

s1：采用标定杆法在远距离大场景视野条件中对双目相机标定；

s2：缩放图像比例校正标定出的焦距参数，减小两相机之间的焦距差；

s3：利用拟牛顿法对三维坐标系旋转角度进行寻优，使相机坐标系与地面坐标系尽量重合；

进一步地，所述s1包括：

s11：用一个塔尺在架空线路通道中作为标定杆，将塔尺拉长至4米，每隔一米的位置做标记，作为标定点；

s12：在距离相机正前方75米的位置处，沿横向和纵向每隔5米拍摄一组与地面垂直的标定杆的图像，每个方向拍五组；

s13：标定杆的25个摆放位置编号依次记为a1～e5，形成一个在空间上1200m³的标定范围，每个标定杆上提取的4个标定点形成了6个标定平面；

进一步地，所述s2包括：

s21：设定比例因子ki，i＝1时，由于初次标定不对图像进行缩放，所以k1不存在，标定结果中左相机焦距fl1大于右相机焦距fr1，当i＝2时，比例因子的初始值为：

k2＝fl1/fr1

其中，fl1为左相机焦距，fr1为右相机焦距；

s22：以左相机图像为基准，对初始右图像按比例ki进行缩放，之后对相机重新进行标定，当标定结果中左相机焦距fli大于右相机焦距fri，取

ki+1＝2(ki-1)+1＝2ki-1

当左相机焦距fli小于右相机焦距fri，说明右图像的焦距过度校正，取

ki+1＝(ki+1)/2

其中，ki为比例因子；

s23：设定循环次数，所述循环次数与标定次数相同，其中每次计算的ki值用于第i次标定前图片的缩放；

进一步地，所述s3包括：

s31：构造目标函数，坐标系变换过程中，以在x，y，z方向上旋转的角度α，β，γ作为三个变量，得到旋转之后的矩阵为：

其中，(xnj，ynj，znj)为第n个位置上的标杆上从上至下第j个标定点的重建三维坐标，(x^rnj，y^rnj，z^rnj)是其旋转之后的坐标，r1，r2，r3分别为x，y，z轴方向的旋转矩阵；

s32：计算第n根标定杆4个标定点的几何平均误差为：

其中，(xnj，ynj，znj)为第n个位置上的标杆上从上至下第j个标定点的重建三维坐标，(x’nj，y’nj，z’nj)是与其对应的地面坐标系的理想坐标；

s33：目标函数取a1～e5标定杆中的最大的平均误差，计算公式为：

h＝max(hn)(n＝1，...，25)

其中，hn为几何平均误差；

s34：将旋转之后的坐标系以x-z平面为基准翻转，并沿y轴向下平行移动，使坐标系原点尽量贴近地面；

所述双目相机标定是基于采集到的图像信息，通过构建已知的物和像之间的关系，计算双目相机内、外参数的过程；

所述内参数包括镜头畸变、主点坐标和焦距；外参数包括两个相机之间以及与世界坐标之间的旋转矩阵和平移矩阵；

所述6个标定平面中五个是横向，一个是纵向。

相比现有技术，本发明采用的技术方案带来的有益技术效果为：

(1)利用标定杆代替传统黑白棋格平板的标定方法，解决了传统双目测距技术在架空线路通道的大场景中标定困难的问题；

(2)利用图片比例缩放的方法减小标定的焦距差，解决了由于相机本身设置局限和机械精度导致焦距有差距的问题；

(3)提出了用拟牛顿法对三维重建之后坐标系旋旋转角度进行寻优的方法，取消被测物下端点的测量，解决了物体底部靠近地面处边界纹理不清或遮挡的问题。

附图说明

图1为标定杆的位置示意图；

图2为标定杆法的外参数图；

图3为相机焦距校正流程图；

图4(a)-图4(b)为相机焦距校正结果示意图；

其中，图4(a)为左右相机焦距，图4(b)为焦距差和k值；

图5(a)-图5(b)为相机焦距校正前后重建误差示意图；

其中，图5(a)为焦距校正前误差，图5(b)为焦距校正后误差；

图6为相机标定点重建结果示意图；

图7为校正后的物点重建结果示意图。

具体实施方式

现在，将参照附图来详细描述本发明的实施例。然而，本发明可以以许多不同的形式来实施，且不应被解释为局限于这里阐述的实施例。相反，提供这些实施例以使本公开将是彻底和完整的，并将把本发明的范围充分地传达给本领域技术人员。

参照图1，采用标定杆的方法在远距离大场景视野条件中对双目相机进行标定。所谓双目相机标定是基于采集到的图像信息，通过构建已知的物和像之间的关系，计算双目相机内外参数的过程。其中，内部参数包括镜头畸变、主点坐标和焦距等多个参数；外参数主要为两个相机之间以及与世界坐标之间的旋转矩阵和平移矩阵。本实施例采用标定杆的方法对双目相机进行标定，即在架空线路通道中，用一个塔尺放置作为标定杆，将塔尺拉长至4米，每隔一米的位置做白色标记，作为标定点。在距离相机正前方75米的位置处，沿横向和纵向每隔5米拍摄一组与地面垂直的标定杆的图像，每个方向拍五组。标定杆的25个摆放位置编号依次记为a1～e5，形成一个在空间上1200m³的标定范围，每个位置杆上提取的4个标定点形成了6个标定平面，其中五个是横向，一个是纵向，采用这种方法可使标定点分布范围大大增加。

参照图2，根据提取的标定点对双目系统进行标定，外参数结果如图2所示。以图1为参照，可以看出图2中6个标定平面和相机之间的距离误差变小，接近图1中的真实分布。

参照图3，为本实施例相机焦距校正流程图。虽然利用标定杆的方法对双目相机进行了标定且使标定点的分布范围有所增加，但两个相机的焦距差问题依然存在。相机的内部参数只有焦距是可以通过设置来调节的，因此通过调节相机的焦距可以提高标定质量。在相机调节过程中，预置位的设置只能显示整数倍的焦距，有一定的局限，并且相机本身机械精度不高，导致进行拍摄时两个相机焦距有一定差距。通过三维重建模型的分析，可知两个相机的焦距差越小，越接近理想的投射投影模型，最小二乘法的结果越理想。因此，对相机焦距的校正，可以使重建更加准确。相机焦距的变化直接和图像的尺寸大小有关，本实施例通过缩放图像校正标定出的焦距参数，减小两相机之间的焦距差。

根据第一次标定，得到左右相机的焦距参数fl1＝5184.2，fr1＝5088.2，单位是像素的个数。左相机焦距fl1大于右相机焦距fr1，设定比例因子ki，i＝1时，由于初次标定不对图像进行缩放，所以k1不存在，由于标定结果中左相机焦距fl1大于右相机焦距fr1，当i＝2时，比例因子的初始值为：

k2＝fl1/fr1(1)

其中，fl1为左相机焦距，fr1为右相机焦距；

以左相机图像为基准，对初始右图像按比例ki进行缩放，之后对相机重新进行标定。如果标定结果中左相机焦距fli大于右相机焦距fri，取

ki+1＝2(ki-1)+1＝2ki-1(2)

如果左相机焦距fli小于右相机焦距fri，说明右图像的焦距过度校正，取

ki+1＝(ki+1)/2(3)

每次计算的ki值用于第i次标定前图片的缩放。由于标定过程是根据最大似然估计法得到的最优解，虽然左相机图像的实际大小没有改变，但每次运算得出的左相机焦距标定结果会有一定变化，这会使焦距差的计算产生数值振荡，而无法收敛于单一的最小值。本实施例设定循环5次，即n取6。

参照图4(a)-图4(b)，从中可以看出在焦距调整过程中，根据k值第一次进行缩放时，右相机焦距明显大于左相机焦距，焦距差值变大。随着k值逐渐调整，第2次到第4次焦距的差值逐渐变小，当k值逐渐上升，右相机的焦距趋于不变，焦距的差值也没有改善。可见，数值振荡导致最终的结果仅能收敛于一定的范围。其中，焦距差最小的一组为第三组，差值为31.8像素(约0.16mm)，已经能够满足工程要求，所以本实施例取第三组作为最终的标定结果。

参照图5(a)-图5(b)，对校正前后的效果进行对比分析，以验证焦距校正的有效性。图中的数据均进行了坐标翻转和平移，因而都是以地面为基准的，其中图5(a)为焦距校正前误差，图5(b)为焦距校正后误差。以25组标定点作为测量对象，每组数据中垂直于地面的4个“■”为真实的标定点位置，“●”为测量数据。显然，经过焦距校正，每组测量数据整体上更接近于真实值。焦距校正前的最大误差(标准差)为1.6331；焦距校正后的最大误差(标准差)为0.2668，证明通过焦距校正可以显著减小图像测量的误差。

参照图6，对应于每个杆标定点坐标，均是倾斜或扭曲的，这将导致很难从重建坐标中观测物点的空间位置，这是由于相机的光轴与地面不平行造成的。为了使双目测距的结果更加适用于线路通道监测的应用，需要对相机的世界坐标进行变换。

由于世界坐标是一个整体，三维空间中的3个轴通常无法同时达到最优，本实施例选用拟牛顿法，对坐标系旋转角度进行寻优，从而使相机坐标系与地面坐标系尽量重合。拟牛顿法是求解非线性优化问题最有效的方法之一，具有计算量小，超线性收敛的优点。首先构造目标函数，坐标系变换过程中，以在x，y，z方向上旋转的角度α，β，γ作为三个变量，r1，r2，r3分别为x，y，z轴方向的旋转矩阵。得到旋转之后的矩阵[x^rnjy^rnjz^rnj1]¹如式(4)所示：

第n根标定杆4个标定点的几何平均误差可以表示为式(5)所示的形式：

其中，(xnj，ynj，znj)为第n个位置上的标杆上从上至下第j个标定点的重建三维坐标，(x^rnj，y^rnj，z^rnj)是其旋转之后的坐标，(x’nj，y’nj，z’nj)是与其对应的地面坐标系的理想坐标。目标函数取25根标定杆中的最大的平均误差，如式(6)所示：

h＝max(hn)(n＝1，...，25)(6)

通过拟牛顿法对3个旋转角度变量进行寻优需要构造搜索方向，本实施例利用式(6)的目标函数及其一阶导数的信息构造搜索方向使目标函数的值尽量减小到设定阈值内，从而得到最优解。将世界坐标按最优解进行旋转，旋转之后的坐标系将是一个以水平面为镜像的坐标系，因而还需要将整个坐标系以x-z平面为基准翻转，并沿y轴向下平行移动，使坐标系原点尽量贴近地面。经过校正、翻转、平移就获得了以地面为基准面的实用化测量坐标系统。

参照图7，开展高度测量实验，以验证实用化测量坐标系统的实用性。本实施例在坐标中对人的头顶和脚底提取物点，作为人的身高测量特征点。根据双目测距算法的原理，如果不进行坐标系旋转，则需要给定被测物的两个端点才能通过两点间的空间距离判定物体高度，但在架空线路通道中，地面环境复杂，存在杂草、灌木等遮挡物，物体的最低点纹理模糊或者被遮挡造成无法识别情况比较常见。坐标系旋转之后，只需识别出物体的最高点并进行重建，取三维坐标的y值，就能直接得出物体的高度。而且，一般情况下入侵物的最高点被遮挡的情况较为少见，因此坐标旋转后能够为通道监测的应用提供极大的便利。本实施例以人为测量对象，对全身无遮挡人员身高进行了测量，共获得9组图像，重建后的结果如图7所示，可以看出，物点的世界坐标大致分布与真实的地面坐标分布一致。

根据结果中的数据，计算出被测人员的身高。实验数据分析分为四组，前三组采用两点法测高度，第四组采用单点法测高度：第一组，未进行焦距校正也未进行坐标旋转；第二组进行了焦距校正，但未进行坐标旋转；第三组、第四组均进行了焦距校正和坐标旋转。以被测人的真实身高1.68m作为基准，比对测量数据的平均误差，如表1所示。

表1高度测量

对误差进行分析可以看出，使用两点法时，经过焦距校正之后，平均误差减小，进行坐标变换之后，两点间的距离保持不变，精度没有下降。坐标校正之后，使用单点法计算物体高度，平均误差相较于两点法时有所增加，但依然小于焦距校正之前的计算结果。坐标系旋转之后，双目系统只需一点即可计算物点的高度，给工程应用带来了较大便利。虽然平均误差增加为3.62％，约0.0608米，但取一定裕度后仍然能够达到架空线路输电通道监测的应用需求。

虽然已经结合实施例示出并描述了本发明，但是对于本领域技术人员，在不脱离本发明的精神和范围的情况下，可以进行各种修改和变化。