一种基于机器视觉的远距离运动物体高度测量的装置与方法
【专利摘要】本发明公开了一种基于机器视觉的远距离运动物体高度测量的装置与方法，装置主要由双目视觉同步采集系统、图像数据处理系统、无线数据传输单元、远程监控终端及部分组成，该装置的图像采集系统可实现双目摄像机同步采集图像，为后续处理提供较为准确的数据；图像处理系统采用FPGA加DSP结构，由FPGA对数据进行预处理，再由DSP芯片对数据进行后续处理，减轻了DSP运算数据量，提高了装置的实时性；在图像特征匹配阶段，采用Harris角点探测器实现子像素级的特征提取，提高了运算精度；在高度测量阶段，采用BP神经网络作为误差校正环节，提高了测量精度。该基于机器视觉的远距离运动物体高度测量装置和方法有效解决了对远距离的运动物体的高度测量问题。
【专利说明】
一种基于机器视觉的远距离运动物体高度测量的装置与方法
技术领域
[0001] 本发明属于机器视觉测量领域，设计的一种基于机器视觉原理对远距离运动物体 高度进行测量的装置与方法可应用于海上运输、陆上交通、防止输电线被通行物刮断等有 限高要求的领域。
【背景技术】
[0002] 机器视觉利用计算机模拟人的视觉或与人类视觉有关的智能行为，从所获取的图 像中提取信息，对客观世界的三维景物和物体进行形态和运动识别，在现实生活中得到了 广泛应用。双目立体视觉技术是机器视觉的一个重要分支，其与人类的立体感知过程十分 类似，直接模拟人类视觉处理景物的方式，简便可靠。双目立体视觉技术应用前景极大。特 别是进入新世纪以来，随着技术手段的不断发展，双目立体视觉技术被越来越广泛的应用 在生活的各个领域中，如产品的检测与测量，医学影像的三维分析、航空照片与卫星照片的 解释、三维地图绘制等许多方面，在生产生活中发挥了极大的作用。
[0003] 对运动目标的检测分析是计算机视觉任务中的一项重要内容，在机器人视觉导 航、公共场景监控、军事、航天、陆上交通、海上运输等方面有着广泛的应用。但是，在该技术 的实际研究过程中，大多数工作是基于单目视觉展开的。单目视觉与双目视觉皆可完成运 动物体的检测与跟踪任务。而且，单目视觉的信息量小，每次只处理一张图片，运算速度较 快。但是，单目视觉会丢失掉场景的三维信息，得到的目标运动信息只是相对的，双目视觉 系统可以提取立体图像对之间的视差信息，在一定程度上恢复场景的三维信息。当需要对 目标进行实际的三维位置和深度测量时，双目立体视觉有着不可替代的优点。
[0004] 在海上运输领域，船舶经常会通过一些桥梁，桥梁的高度是一定的，因此通过的船 舶高度则不能过高，否则会对桥体造成损伤;而在陆上，立交桥，公路隧道，有输电线跨域的 道段以及一些必要场所都有限高要求，如果通行物过高会对立交桥、隧道、输电线和一些其 他设施造成损坏甚至是损毁，既造成了公私财物的损失，也影响了交通。虽然采取了一些措 施如设立限高标志等，但总是无法避免碰撞的发生。以船舶过桥碰撞问题为例，据最新的资 料显示，在最近的三十年里，世界各地的船撞桥事故多达3000余起。而最严重的即导致整个 桥梁塌陷的就超过了 1〇〇余起，其他领域的碰撞事故更是不胜枚举。在陆上交通方面，所采 取的方式大多也只是设立限高标识或是设立限高杆，并没有有效的提前预测预防措施。而 在海上运输方面，其解决方案可分为被动防撞和主动防撞两类。被动防撞的研究主要是为 了增强桥体本身的防撞能力;而主动防撞的研究内容主要是通过各种措施来预防碰撞的发 生。主动防撞措施可以在潜在碰撞发生前做出判断，避免碰撞的发生，防患于未然，将风险 降到最低，对桥梁的安全运行更加有保障。然而目前的大部分研究主要是针对被动防撞开 展的，主动防撞措施的相关研究还较少。因此，海上运输、陆上交通和输电线防刮断等领域 亟需能有效检测通行物高度的测量装置对有潜在超高危险的通行物进行高度进行测量，以 提前米取措施。
[0005] 本发明利用机器视觉原理测量对较远距离（如陆上100米以外，海上1000米以外） 的船舶、汽车等通行物进行高度测量，对高度较高易发生碰撞的车辆、船舶等进行较早预 测，避免通行物与桥体、输电线等的碰撞，提出了一种提前预测的解决方案。
【发明内容】
[0006] 本发明提出了一种基于机器视觉的远距离运动物体高度测量的装置和方法，用于 解决海上运输，陆上交通等的限高通行领域的通行物高度预报问题。
[0007] 为此，本发明提出了一种基于机器视觉的远距离运动物体高度测量装置，包括:双 目视觉同步采集系统，图像数据处理系统，无线数据传输单元，远程监控终端。
[0008] 进一步地，所述双目视觉同步采集系统，由长焦距镜头，双目图像传感器（1)，FPGA 同步控制电路(2)，数据存储器SDRAM(3)，数据输出接口（4)，供电电路组成。其特征在于， FPGA(2)分别和双目图像传感器（1)、数据存储器SDRAM(3)和数据输出接口（4)相连;双目图 像传感器（1)再和数据存储器SDRAM(3)相连;数据存储器SDRAM(3)再和数据输出接口（4)相 连；由FPGA产生场同步信号和行同步信号，保证两图像传感器（1)同步工作；同时由FPGA(2) 产生对数据存储器SDRAM(3)和数据输出接口（4)的控制信号。由长焦距镜头和双目图像传 感器所组成的双目摄像系统，其左摄像机系统和右摄像机系统的基线距应保持一定距离， 以保证较远的测量距离；同时左右摄像系统的光轴保持水平。
[0009] 进一步的，所述图像数据处理系统，由DSP芯片（TMS320C6416)(9)，FPGA (XC4VLX80) (8)，JTAG接口，复位控制电路，时钟电路，输入数据端口（ 7)，输出数据端口
[10] ，数据存储器SDRAM(ll)，FPGA程序存储器EPRAM(5)，DSP程序存储器FLASH(6)和供电电 路组成。其特征在于:FPGA(XC4VLX80)(8)从输入数据端口（7)中读入图像数据，并存入数据 存储器SDRAM( 11)，同时由FPGA(XC4VLX80) (8)读出数据存储器SDRAM( 11)数据并对图像进 行滤波等预处理，并将预处理结果存入数据存储器SDRAM(11);FPGA(XC4VLX80) (8)负责对 DSP芯片（TMS320C6416)(9)发出控制命令，使DSP芯片（TMS320C6416)(9)对数据存储器 SDRAM(ll)中的预处理结果进行特征匹配、三维重建等运算;输出数据端口（10)负责将DSP 芯片(TMS320C6416) (9)运算结果输出到无线数据传输单元。
[0010] 本发明还提供了一种基于机器视觉的远距离运动物体高度测量方法，包括以下步 骤：
[0011] 步骤一:将本发明所述装置安装完毕，对该装置进行标定；
[0012] 步骤二:训练基于神经网络的误差校正模型；
[0013] 步骤三：由双目视觉同步采集系统对场景图像进行采样，并通过数据输出接口（4) 将数据传入图像数据处理系统等待处理；
[0014] 步骤四：由图像数据处理系统的FPGA(XC4VLX80)(8)对数据进行预处理；
[0015] 步骤五：由图像数据处理系统的DSP芯片(TMS320C6416)(9)对数据进行处理，计算 目标的高度信息；
[0016] 步骤六:将图像及运算结果通过无线数据传输单元传送给远程监控终端。
[0017] 进一步地，所述步骤一的标定过程步骤如下：
[0018] 步骤(1):对权利要求1所述装置进行标定，获得两摄像机的内参数和外参数；
[0019] 步骤(2):对双目测量装置进行水平标定，具体方法如下：
[0020] 用双目摄像机拍摄一个与铅垂线平行的已知长度的标定杆，记其上端点为M，下端 点为N，中间点为E，且ME与EN的比已知;获得其在左右摄像机上的图像，其端点M在左摄像机 的像为Ml，图像坐标为(Xmi，ymi)，端点N在左摄像机的像为Ni,图像坐标为(Xni，yni)，中间点E 在左摄像机的像为El，图像坐标为(Xel，yel);同时端点M在右摄像机中的像为Mr，图像坐标为 (Xmr，ymr )，端点N在右摄像机的像为Nr，图像坐标为(Xnr，ynr )，中间点E在左摄像机的像为Er， 图像坐标为(xer，yer);
[0021 ]如果摄像机的光轴水平，则下式成立：
[0023]进一步地，所述步骤二的基于神经网络的误差校正模型训练方法如下：
[0024]步骤(1):训练数据获取
[0025]将已知高度的标准杆放在装置前一定距离内，并使标定杆在横向范围内移动，并 拍下不同位置下标定杆的图像;然后将标定杆往后移动一段距离（如五十米），然后再在横 向范围内移动，并拍下不同位置下标定杆的图像;不断向后移动一段距离(如五十米），并重 复上述操作，直至抵近该双目测量装置的测量范围；并记录下标准杆在不同位置时的顶点 及杆上其他测量点的真实坐标系。
[0026]步骤(2):训练校正模型网络
[0027]对步骤（1)所获得图像数据进行计算，计算出不同位置下的标定杆的顶点和其他 测量点的计算坐标，将计算坐标作为神经网络的输入，相应的标定杆顶点及其他相应测量 点的真实坐标作为期望输出，然后训练网络，最终得到基于神经网络的误差校正模型； [0028]步骤(3):将步骤(2)中获得的基于神经网络的误差校正模型写入数据处理系统的 DSP程序存储器FLASH(6)。
[0029] 进一步地，所述步骤五的数据处理过程包括如下步骤：
[0030] 步骤（1):由图像数据处理系统的DSP芯片(TMS320C6416)(9)对经过预处理步骤的 图像进行目标识别：
[0031] 首先从左摄像机图像中提取一个目标，然后在右摄像机图像中寻找相对应的目 标；
[0032]步骤(2):对目标所在区域进行子像素级的角点特征提取，并配对：
[0033]这里采用Harris角点探测器对角点进行子像素级别提取，采用那个的拟合曲面是 高斯曲面，其函数为：
(2)
[0035] 其中，拟合出的（XQ，yQ)即为角点的内插值;然后运用双目视觉约束条件和基于特 征的匹配方式建立两幅图像间特征角点的对应关系。
[0036] 步骤(3):利用配对点的图像坐标计算相应点的世界坐标；
[0037]步骤(4):运用基于神经网络的误差校正模型对步骤（3)中计算出的坐标进行校 正，获得精确的世界坐标系坐标，建立稀疏的深度图；
[0038] 步骤(5):利用内插方法对步骤(4)获得的稀疏的深度图进行插值，获得整个目标 的深度图；
[0039] 步骤(6):计算出目标的最高点A，其坐标为(^。，5^。，^。），再从目标中得到其最低 点D，其坐标为(xudc^zd。），则目标高度的计算通过下式取得：
[0040] H=yac-ydc (3)
[0041 ] 所求出的H即为所求。
[0042]进一步地，所述的世界坐标系的计算方法如下： 以左摄像机坐标系为准，右摄像机坐标系与左摄像机坐标系的转换矩阵为M=[R T]， 设现实中目标上一点P，设其在左摄像机坐标的坐标(^。，2。），在右摄像机坐标系的坐标 为(Xr，y r，Zr )，在左右摄像机中所成的像点的图像坐标分别为Pi ( Xpl，ypl )和Pr ( Xpr，ypr )，基 线距为B，摄像机焦距为f，则根据摄像机透视变换有：
[0045] 两摄像机坐标系之间的苧间份罾关系可诵讨苧间转换矩阵M表示为： (4) (5)
(6)
[0047]当R为单位矩阵时，摄像机相面点之间的对应关系可表示为：
〇)
[0049 ]由上式可以计算出特征点P在左摄像机坐标系坐标：
(8)
[0051 ]由此获得各个主要特征点的坐标。
[0052]本发明具有的有益效果：本发明可以对较远距离运动物体的高度进行测量，并通 过增加摄像系统基线距来增加测量距离，使装置可对较远距离（如陆上100米以外，海上 1000米以外）的物体高度进行测量；引入子像素级特征提取和基于神经网络的误差校正模 型增加测量精度，实现了对超高物体进行提前预报，防止碰撞事件的发生，拥有良好的应用 前景。
【附图说明】
[0053]图1基于机器视觉的远距离运动物体高度测量方法流程图
[0054]图2双目摄像机标定水平示意图
[0055]图3基于神经网络的误差校正模型示意图
[0056]图4双目视觉同步采集系统示意图
[0057]图5图像数据处理系统处理过程示意图
[0058]图6双目视觉计算高度原理示意图
[0059] 图7双目视觉三维重建原理示意图
【具体实施方式】
[0060] 下面将结合附图，详细阐述本发明所述的一种基于机器视觉的远距离运动物体高 度测量的装置与方法的实施方式。
[0061] 如图1所示展示了基于机器视觉的远距离运动物体高度测量方法流程，包括摄像 机标定、基于神经网络的误差校正模型训练、获取双目图像、图像预处理、数据处理并获得 目标高度和数据传输至监控终端六步。值得注意的是，前两步是在摄像机安装完毕后进行 的，为测量装置进行后续处理所必须的步骤，实际测量过程是从第三步开始的。另外，为保 证装置有着较远的测量距离(如陆上100米以上，海上1000米以上），由长焦距镜头和双目图 像传感器所组成的双目摄像系统，其左摄像机系统和右摄像机系统的基线距应保持一定距 离。
[0062] 第一步是对双目摄像机进行标定。双目摄像机标定可分为两个步骤。
[0063] 步骤(1):对双目摄像机系统的标定，即获得双目摄像机的内外参数。
[0064] 步骤(2):对双目测量装置进行水平校正，如图2所示，展示了双目摄像机标定水 平，具体方法如下：
[0065] 用双目摄像机拍摄一个与铅垂线平行的已知长度的标定杆，记其上端点为M，下端 点为N，中间点为E，且ME与EN的比已知;获得其在左右摄像机上的图像，其端点M在左摄像机 的像为Ml，图像坐标为(Xmi，ymi)，端点N在左摄像机的像为Ni,图像坐标为(Xni，y ni)，中间点E 在左摄像机的像为El，图像坐标为(Xel，yel);同时端点M在右摄像机中的像为Mr，图像坐标为 (Xmr，ymr )，端点N在右摄像机的像为Nr，图像坐标为(Xnr，ynr )，中间点E在左摄像机的像为Er， 图像坐标为(xer，yer); 如果摄像机的光轴水平，则下式成立：
(1)
[0067] 第二步:基于神经网络的误差校正模型的训练。
[0068] 由于各种原因，双目摄像机所获得的图像会有深度损失，这会导致测量的不准确。 因此，要提高测量精度，需要对数据进行补偿。本发明采用神经网络对误差进行校正。神经 网络模型如图3所示，网络的输入为双目视觉测量装置计算出的坐标，输出为该点校正后的 坐标。基于神经网络的误差校正模型训练方法如下：
[0069]步骤(1):训练数据获取
[0070]将已知高度的标准杆放在装置前一定距离内，并使标定杆在横向范围内移动，并 拍下不同位置下标定杆的图像;然后将标定杆往后移动一段距离（如五十米），然后再在横 向范围内移动，并拍下不同位置下标定杆的图像;不断向后移动一段距离(如五十米），并重 复上述操作，直至抵近该双目测量装置的测量范围；并记录下标准杆在不同位置时的顶点 及杆上其他测量点的真实坐标系。
[0071]步骤(2):训练校正模型网络
[0072]对步骤（1)所获得图像数据进行计算，计算出不同位置下的标定杆的顶点和其他 测量点的计算坐标，将计算坐标作为神经网络的输入，相应的标定杆顶点及其他相应测量 点的真实坐标作为期望输出，然后训练网络，最终得到基于神经网络的误差校正模型； [0073]步骤(3):将步骤(2)中获得的基于神经网络的误差校正模型写入数据处理系统的 DSP程序存储器FLASH(6)，以方便测量装置在实际测量中能对计算结果进行校正。
[0074]第三步：获取双目图像。由于测量的是运动物体，因此左右摄像机需要同步工作， 否则获得的数据将获得较大误差。如图4所示，展示了双目视觉同步采集系统。由FPGA同步 控制电路(2)设置双目传感器（1)工作在被动模式，该模式下的图像传感器（1)的行同步和 场同步由FPGA同步控制电路(2)发出；图像传感器（1)采集到的图像信号首先暂存在数据存 储器SDRAM(3)，然后再通过数据输出接口（4)输入到图像数据处理系统。FPGA同步控制电路 (2)负责控制协调图像传感器(1)、数据存储器SDRAM(3)和数据输出接口（4)。
[0075]第四步：图像预处理。如图5所示，展示了数据处理系统的处理过程。其中图像预处 理过程将在FPGA(XC4VLX80) (8)中进行。具体流程是FPGA(XC4VLX80) (8)从输入数据端口 (7)读入图像数据，然后存入数据存储器SDRAM(11)中，等待FPGA(XC4VLX80) (8)的处理； FPGA(XC4VLX80) (8)从数据存储器SDRAM( 11)中读入数据，并进行预处理，并将处理结果再 次存入数据存储器SDRAM( 11)中，等待DSP芯片(TMS320C6416) (9)读入数据进一步处理。 [0076]第五步是数据处理，获得目标高度信息。如图4所示，该步骤的处理将在DSP芯片 (TMS320C6416) (9)中进行。该步骤分为六个步骤：
[0077] 步骤（1):由图像数据处理系统的DSP芯片(TMS320C6416)(9)对经过预处理步骤的 图像进行目标识别：
[0078]首先从左摄像机图像中提取一个目标，然后在右摄像机图像中进行寻找，以减少 特征匹配步骤中的数据量；
[0079]步骤(2):对目标所在区域进行子像素级的角点特征提取，并配对：
[0080]这里采用Harris角点探测器对角点进行子像素级别提取，采用那个的拟合曲面是 高斯曲面，其函数为：
(2)
[0082]其中，拟合出的（XQ，yQ)即为角点的内插值;然后运用双目视觉约束条件和基于特 征的匹配方式建立两幅图像间特征角点的对应关系。
[0083]步骤(3):利用配对点的图像坐标计算相应点的世界坐标；
[0084]步骤(4):运用基于神经网络的误差校正模型对步骤（3)中计算出的坐标进行校 正，获得精确的世界坐标系坐标，建立稀疏的深度图；
[0085] 步骤(5):利用内插方法对步骤(4)获得的稀疏的深度图进行插值，获得整个目标 的深度图；
[0086] 步骤(6):计算出目标的最高点A，其坐标为(^。，5^。，^。），再从目标中得到其最低 点D，其坐标为(xdc，yd。，zd c)，如图6所示，展示了高度测量原理，由于左右摄像机光轴水平， 因此目标高度的计算可通过下式取得：
[0087] H=yac-ydc (3)
[0088] 经过以上步骤，将获得目标点的深度信息。
[0089]需要指出的是，数据处理是采用的FPGA加DSP的结构，这样可以减轻DSP的运算负 担，加快运算速度，提高实时性的要求。
[0090] 第六步:将图像信息和高度信息通过无线数据传输单元传回远程监控终端，供监 视人员参考。
[0091] 近一步地，图7给出了双目视觉三维重建原理示意图，即DSP芯片进行三维重建的 方法原理。以左摄像机坐标系为基准，右摄像机坐标系与左摄像机坐标系的转换矩阵为M = [R T]，设现实中目标上一点P，设其在左摄像机坐标的坐标(xc^yc^z。），在右摄像机坐标系 的坐标为(xr，y r，zr)，在左右摄像机中所成的像点的图像坐标分别为Pi(xPi，yPi)和P r(xpr， ypr)，基线距为B，摄像机焦距为f，则根据摄像机透视变换有： Xpi /，0 0'(
[0092] Si ypl = 0. ft 0 ? ye (4) _ i」L〇 〇 i」U_ Xpr fr 〇 0 '
[0093] 5,. ypr = 0 X 〇 vr (5) _ 1」L〇 0 lj _zr_
[0094] 两摄像机坐标系之间的空间位置关系可通过空间转换矩阵M表示为： r n X .义 X A , ; ' % h txc
[0095] y,.. =.M "Vr =[^ T] = r4 r& r6 fy (6) A 旯 ，.,^ w [1」
[0096] 当R为单位矩阵时，摄像机相面点之间的对应关系可表示为： 「.nr. ^ -IZ Xpr fA frr2 i>3 /X z.y / f
[0097] p,. v = frrA f,j\ f/6 f^v Z yi ' 1 (7) ... Z 1」.L r7 h. h 4」 i
[0098] 由上式可以计算出特征点P在左摄像机坐标系坐标： (8)
[0100]由此获得各个主要特征点的坐标。
【主权项】
1. 一种基于机器视觉的远距离运动物体高度测量的装置，其特征在于:包括双目视觉 同步采集系统，图像数据处理系统，无线数据传输单元，远程监控终端，所述双目视觉同步 采集系统，由长焦距镜头，双目图像传感器（1) ,FPGA同步控制电路(2)，数据存储器SDRAM (3)，数据输出接口（4)，供电电路组成。2. 根据权利要求1所述的基于机器视觉的远距离运动物体高度测量的装置，其特征在 于:所述双目视觉同步采集系统中的FPGA(2)分别和双目图像传感器(1)、数据存储器SDRAM (3)和数据输出接口（4)相连;双目图像传感器(1)再和数据存储器SDRAM(3)相连;数据存储 器SDRAM(3)再和数据输出接口（4)相连；由FPGA产生场同步信号和行同步信号，保证两图像 传感器（1)同步工作；同时由FPGA(2)产生对数据存储器SDRAM(3)和数据输出接口（4)的控 制信号。3. 根据权利要求2所述的基于机器视觉的远距离运动物体高度测量的装置，其特征在 于，由长焦距镜头和双目图像传感器(1)所组成的双目摄像系统，其左摄像机系统和右摄像 机系统的基线距应保持一定距离，同时左右摄像系统的光轴保持水平。4. 根据权利要求1所述的基于机器视觉的远距离运动物体高度测量的装置，其特征在 于，所述图像数据处理系统，由DSP忍片(9) ,FPGA(S) JTAG接口，复位控制电路，时钟电路， 输入数据端口（7)，输出数据端口（10)，数据存储器SDRAM(Il) ,FPGA程序存储器EPRAM(S)， DSP程序存储器FLA甜(6)和供电电路组成，FPGA(S)从输入数据端口（7)中读入图像数据，并 存入数据存储器SDRAM(Il),同时由FPGA(S)读出数据存储器SDRAM(Il)数据并对图像进行 滤波等预处理，并将预处理结果存入数据存储器SDRAM( 11);FPGA(XC4VLX80) (8)负责对DSP 忍片(9)发出控制命令，使DSP忍片(9)对数据存储器SDRAM(Il)中的预处理结果进行特征匹 配、S维重建等运算;输出数据端口（10)负责将DSP忍片(9)运算结果输出到无线数据传输 单元。5. -种如权利要求1所述的基于机器视觉的远距离运动物体高度测量的装置的测量方 法，其特征在于包括W下步骤： 步骤一:将所述双目视觉同步采集系统，图像数据处理系统，无线数据传输单元，远程 监控终端安装完毕，对该装置进行标定； 步骤二：训练基于神经网络的误差校正模型； 步骤由双目视觉同步采集系统对场景图像进行采样，并通过数据输出接口（4)将数 据传入图像数据处理系统等待处理； 步骤四：由图像数据处理系统的FPGA(XC4VLX80)(8)对数据进行预处理； 步骤五：由图像数据处理系统的DSP忍片(TMS320C6416) (9)对数据进行处理，计算目标 的高度信息； 步骤六:将图像及运算结果通过无线数据传输单元传送给远程监控终端。6. 根据权利要求5所述的基于机器视觉的远距离运动物体高度测量的装置的测量方 法，其特征在于，所述步骤一的标定过程步骤如下： 步骤一:对权利要求1所述装置进行标定，获得两摄像机的内参数和外参数； 步骤二:对双目测量装置进行水平标定，具体方法如下： 用双目摄像机拍摄一个与铅垂线平行的已知长度的标定杆，记其上端点为M，下端点为 N，中间点为E，且ME与EN的比已知;获得其在左右摄像机上的图像，其端点M在左摄像机的像 为Ml,图像坐标为(Xml，yml)，端点N在左摄像机的像为Ni,图像坐标为(Xnl，ynl)，中间点E在左 摄像机的像为El,图像坐标为(Xel，yel);同时端点M在右摄像机中的像为Mr,图像坐标为(Xmr, ymr)，端点N在右摄像机的像为Nr,图像坐标为(Xnr，ynr)，中间点E在左摄像机的像为Er,图像 坐标为(Xer，yer); 如果摄像机的光轴水平，则下式成立。7. 根据权利要求5所述的基于机器视觉的远距离运动物体高度测量的装置的测量方 法，其特征在于，所述步骤二的基于神经网络的误差校正模型训练方法如下： 步骤一:训练数据获取 将已知高度的标准杆放在装置前一定距离内，并使标定杆在横向范围内移动，并拍下 不同位置下标定杆的图像;然后将标定杆往后移动一段距离（如五十米），然后再在横向范 围内移动，并拍下不同位置下标定杆的图像;不断向后移动一段距离(如五十米），并重复上 述操作，直至抵近该双目测量装置的测量范围；并记录下标准杆在不同位置时的顶点及杆 上其他测量点的真实坐标系。 步骤二：训练校正模型网络 对步骤一所获得图像数据进行计算，计算出不同位置下的标定杆的顶点和其他测量点 的计算坐标，将计算坐标作为神经网络的输入，相应的标定杆顶点及其他相应测量点的真 实坐标作为期望输出，然后训练网络，最终得到基于神经网络的误差校正模型； 步骤将步骤二中获得的基于神经网络的误差校正模型写入数据处理系统的DSP程 序存储器FLA甜。8. 根据权利要求5所述的基于机器视觉的远距离运动物体高度测量的装置的测量方 法，其特征在于，所述步骤五的数据处理过程包括如下步骤： 步骤一：由图像数据处理系统的DSP忍片(9)对经过预处理步骤的图像进行目标识别： 首先从左摄像机图像中提取一个目标，然后在右摄像机图像中寻找相对应的目标； 步骤二:对目标所在区域进行子像素级的角点特征提取，并配对： 运里采用化rris角点探测器对角点进行子像素级别提取，采用那个的拟合曲面是高斯 曲面，其函数为： -(.y-.Y〇)- {(v-.i-o 广 /(.V, V) = CV 其中，拟合出的（xo，yo)即为角点的内插值;然后运用双目视觉约束条件和基于特征的 匹配方式建立两幅图像间特征角点的对应关系。 步骤=:利用配对点的图像坐标计算相应点的世界坐标； 步骤四：运用基于神经网络的误差校正模型对步骤(3)中计算出的坐标进行校正，获得 精确的世界坐标系坐标，建立稀疏的深度图； 步骤五:利用内插方法对步骤(4)获得的稀疏的深度图进行插值，获得整个目标的深度 图； 步骤六:计算出目标的最高点A，其坐标为(Xac，yac，Zac)，再从目标中得到其最低点D，其 坐标为(Xd。，yd。，Zd。），则目标高度的计算通过下式取得： H=yac-ydc 所求出的邮P为所求。9.根据权利要求5所述的基于机器视觉的远距离运动物体高度测量的装置的测量方 法，其特征在于:所述的世界坐标系的计算方法如下： W左摄像机坐标系为基准，右摄像机坐标系与左摄像机坐标系的转换矩阵为M= [R T]，设现实中目标上一点P，设其在左摄像机坐标的坐标(Xc，yc，z。），在右摄像机坐标系的坐 标为(Xr，yr，Zr )，在左右摄像机中所成的像点的图像坐标分别为Pl ( Xpl，ypl )和Pr ( Xpr，ypr )， 基线距为B，摄像机焦距为f，则根据摄像机透视变换有：两摄像机坐标j 当R为单位矩阵 由上式可W计I 由此获得各个主要特征点的坐标。
【文档编号】G06T7/20GK105913410SQ201610119781
【公开日】2016年8月31日
【申请日】2016年3月3日
【发明人】仝卫国, 刘士波, 汪淼依泉, 孙艺萌
【申请人】华北电力大学（保定）