技术领域：
本发明涉及一种变电站现场作业定位方法，特别是涉及一种基于红外和可见光融合的变电站作业对象和目标定位方法。
背景技术：
：
目前变电站现场安全管控采用人工观察的方式，在变电站进行工作时会有安全监督员，实时观察工作现场情况，观察现场工作人员是否与带电设备保持足够的安全距离，利用在变电站工作区域布设安全围栏的方法对作业区域进行管控。但是在变电站实际作业现场，电站内进出通道过长，基本无法进行完整封闭，工作人员可能会通过不正常路径到达工作区域，增加了人员误入带电间隔而触电的风险；当变电站内作业面积过大、作业点较多时，现场安全监护人员不足，难以对作业区域进行实时监督，增加了安全风险。
技术实现要素：
：
本发明所要解决的技术问题是：克服现有技术的不足，提供一种设计合理、容易实施、监控精确且减少人力投入的基于红外和可见光融合的变电站作业对象和目标定位方法。
本发明的技术方案是：
一种基于红外和可见光融合的变电站作业对象和目标定位方法，利用变电站现场部署的可见光和红外传感器系统，实时采集现场图像，利用分布式的图像处理平台，经过去噪、融合和增强预处理、进而进行目标与背景的分割、目标特征提取，以检测现场入侵目标，然后进行动态目标的识别、定位和跟踪。
在上述动态目标的识别、定位和跟踪的过程中，主要分三个阶段进行，包括：基于三维场景和多光谱图像融合的动态目标检测识别、基于多目相机的目标定位和基于三维场景的目标跟踪，并给出了相应的算法原型；所述基于三维场景和多光谱图像融合的动态目标检测识别包括序列图像中运动目标的检测、多光谱图像融合、动态目标检测识别。
所述序列图像中运动目标的检测是针对目标在一系列连续图像中存在运动、相对位置变化的现象，通过分析相邻两幅图像中目标的状态差异，得到序列图像中的运动目标；采用基于codebook和连通成分分析的运动检测算法训练静止状态的参考模板，然后将待检测图像与该参考模板进行比对分析，得到相应运动目标的掩码图像；采用简单的背景减除法分析当前图像与前面紧邻多幅参考图像之间的背景差别，以及当前图像与训练图像之间的背景差别，分别得到相应的掩码图像；将上述三种情况下的掩码图像融合，得到最终的运动目标检测结果。
codebook算法是得到每个像素的时间序列模型，当前图像的每个像素建立一个codebook结构，每个cb结构又由多个codeword组成；cb和cw的形式如下：
cb={cw1,cw2,…cwn,t}
cw={lhigh,llow,max,min,t_last,stale}
其中n为一个cb所包含的cw数目，n太小时，退化为简单背景，n较大时对复杂背景进行建模；t为cb更新的次数；cw是一个6元组，ihigh和ilow作为更新时的学习上下界，max和min记录当前像素的最大和最小值；上次更新时间t_last和陈旧时间stale用来删除很少使用的codeword；
使用已建好的cb进行运动目标检测的方法为，记判断前景的范围上下界为minmod和maxmod，对于当前待检测图像上的某一像素i(x,y)，遍历它对应像素背景模型cb中的每一个码字cw，若存在一个cw，使得i(x,y)<max+maxmod并且i(x,y)>min–minmod，则i(x,y)被判断为背景，否则被判断为前景。
连通成分分析的二值图像中互相连通的0像素集或1像素集称之为连通域；被1像素包围的0像素叫做孔；1像素连通域不含孔时，叫做单连通成分，含有一个或多个孔的连通称为叫做多重连通成分；差值后的一帧图像可能存在多个连通域，每个非连通域对应一个目标图像区，给各目标区分配相应标号的工作称为标记；
图像标识的作用是确定物体是否独立，图像中有几个运动目标，标识过程为：按一定顺序逐个扫描像素，扫描到1的像素，检测其领域的像素值，若一样则为连通域，并标记为第一个目标，然后依次寻找下一个目标；
在所有可能的目标都找到了之后，为每个目标划出一个波门，将目标框起来，并建立一个多目标位置链表，找到的每一个目标区域的中心位置都作为一个结点加入该链表储存起来，针对所存储起来的目标，基于图像分割来判断当前的目标是属于同一个目标还是不同的目标；
图像分割用于分离目标和背景的组合或者分离不同目标的组合，首先利用图像目标与背景这两类的总体灰度之间存在的差距确定阈值从而进行分割，然后利用腐蚀的方法消除物体边界点，把小于结构元素的物体去除；如果两物体之间有细小的连通，那么当结构元素足够大时，通过腐蚀运算可以将两个物体分开，利用膨胀运算把图像周围的背景点合并到物体中；如果两个物体比较接近，那么膨胀运算可能会使这两个物体连通在一起；膨胀对填补图像的空洞很有用，膨胀运算最简单的应用之一就是将裂缝接起来。
基于简单的背景减除法的运动目标检测，首先基于像素做差来分析当前图像与过去紧邻多幅图像之间的差异，然后，基于上述的图像分割来判断待检测图像中的运动目标；通过相邻帧的差分图像来寻找运动的目标，由于相邻两帧之间的背景变化非常小，而前景则变化很大，因此画面中一部分本来是背景的像素被前景覆盖、而另外一些本来被前景遮挡的背景则会显露出来，相邻两帧的差异主要体现在物体垂直于运动方向的边缘部分，与物体运动速度相关，得到的结果不稳定；利用对称差分方法对连续三帧的差分图像来提取目标轮廓，并进一步利用形态学处理等手段获得目标掩模，对称帧差获得的运动目标边缘宽度由平滑滤波的参数决定，而与目标运动速度没有太大的关系，具有很强的适用性。
红外光图像与可见光图像融合是在校正可见光和红外传感器畸变的基础上，精确测定相机内外参数，实现基于三维空间位置的多光谱图像融合，即在每一个光谱图像上，三维空间中的每一点，都有唯一的像素与之对应，此空间关系是实现后继光谱成像特性分析的重要基础；利用该校正图像，即可在三维空间域内实现目标的特征分析，包括交联、温度、运动、光谱等特征的融合分析处理；
图像融合技术是一种先进的综合多个源图像信息的图像处理技术，是采用一定的算法对多个传感器采集到的关于同一场景或目标的多个源图像进行适当的融合处理，以获取对同一场景的更为准确、更为全面、更为可靠的图像描述；通常在观察同一场景或目标时，由多个不同特性的传感器获取的图像信息是有所差异的，即使是采用相同的传感器，在不同观测时间、不同观测角度获得的信息也不同，图像融合能够充分利用这些在时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。
对于热红外图像和可见光图像，首要关注的是目标信息，包括目标的位置、行为、状态；其次是目标周边的场景信息，该场景信息有助于对目标当前位置、状态、行为等特征进行推理和判断；最后是场景外围的背景信息；融合的原则是尽量保留热红外图像中的目标特征信息和可见光图像中的纹理细节信息，应尽可能地提高融合图像的清晰度、亮度和对比度，提高融合图像整体空间质量和保真度；在图像融合时，针对不同内容区域，设定了不同的融合规则，在选取融合方法和设计融合规则时，应考虑图像整体融合效果，尽可能同时兼顾和协调图像各部分内容，保证不同内容区域之间过渡自然，图像整体和谐统一。
图像融合包括图像内容划分、多源图像的多级融合和基于加权平均的像素级图像融合，图像内容划分是在明确图像内容重要性等级和融合原则之后，首先要实现对热红外图像与可见光图像内容的划分，对于该组图像中特征目标信息主要来自热红外图像；多源图像的多级融合包括像素级图像融合、特征级图像融合和决策级图像融合，三个层次的图像融合与多传感器信息融合的三个层次有一定的对应关系，在实际应用中，要根据具体的需要选择及结合不同层次融合的特点，以获得最优的融合结果。
基于三维场景和多光谱图像融合的动态目标检测识别，主要采用基于序列图像的运动监测方法，分析来自于可见光、红外光等多光谱图像的融合图像，基于这种融合图像进行分析，能够更好地满足变电站现场的全天候实时监测需求；在超特高压变电站状态视觉辨识项目中，成功利用该方法实现刀闸运动检测，采用人员的头部中心作为检测对象的位置描述，这样在10cm的定位精度下，即可分辨不同的重叠人员。
本发明的有益效果是：
1、本发明采用基于三维场景模型的融合方法，即利用可见光和红外图像的空间对应关系进行变换，解决大视场多角度情况下融合问题，取得了较好的效果，并且可见光图像与红外图像融合是全天候视觉辨识的基础，这两种图像的融合能获得更加完整和可靠的图像信息。
2、本发明通过图像融合可以强化图像中的有用信息、增加图像理解的可靠性、获得更为精确的结果，使系统变得更加实用。同时，使系统具有良好的鲁棒性，例如，可以增加置信度、减少模糊性、改善分类性能等。
3、本发明在图像融合时，针对不同内容区域，设定了不同的融合规则，在选取融合方法和设计融合规则时，考虑图像整体融合效果，尽可能同时兼顾和协调图像各部分内容，保证不同内容区域之间过渡自然，图像整体和谐统一。
4、本发明能够更好地满足变电站现场的全天候实时监测需求。在超特高压变电站状态视觉辨识项目中，成功利用该方法实现刀闸运动检测，采用人员的头部中心作为检测对象的位置描述，这样在10cm的定位精度下，即可分辨不同的重叠人员。
5、本发明主要采用基于序列图像的运动监测方法，分析来自于可见光、红外光等多光谱图像的融合图像，以监测识别人员位置，其应用范围广，易于推广实施，具有良好的经济效益。
附图说明：
图1为本发明的流程图；
图2为多源图像的信息构成图；
图3为本发明多源图像融合示意图。
具体实施方式：
实施例：参见图1-图3。
一种基于红外和可见光融合的变电站作业对象和目标定位方法，利用变电站现场部署的可见光和红外传感器系统，实时采集现场图像，利用分布式的图像处理平台，经过去噪、融合和增强预处理、进而进行目标与背景的分割、目标特征提取，以检测现场入侵目标，然后进行动态目标的识别、定位和跟踪。
在上述动态目标的识别、定位和跟踪的过程中，主要分三个阶段进行，包括：基于三维场景和多光谱图像融合的动态目标检测识别、基于多目相机的目标定位和基于三维场景的目标跟踪，并给出了相应的算法原型；所述基于三维场景和多光谱图像融合的动态目标检测识别包括序列图像中运动目标的检测、多光谱图像融合、动态目标检测识别。
序列图像中运动目标的检测是针对目标在一系列连续图像中存在运动、相对位置变化的现象，通过分析相邻两幅图像中目标的状态差异，得到序列图像中的运动目标；采用基于codebook和连通成分分析的运动检测算法训练静止状态的参考模板，然后将待检测图像与该参考模板进行比对分析，得到相应运动目标的掩码图像；采用简单的背景减除法分析当前图像与前面紧邻多幅参考图像之间的背景差别，以及当前图像与训练图像之间的背景差别，分别得到相应的掩码图像；将上述三种情况下的掩码图像融合，得到最终的运动目标检测结果。
codebook算法是得到每个像素的时间序列模型，当前图像的每个像素建立一个codebook结构，每个cb结构又由多个codeword组成；cb和cw的形式如下：
cb={cw1,cw2,…cwn,t}
cw={lhigh,llow,max,min,t_last,stale}
其中n为一个cb所包含的cw数目，n太小时，退化为简单背景，n较大时对复杂背景进行建模；t为cb更新的次数；cw是一个6元组，ihigh和ilow作为更新时的学习上下界，max和min记录当前像素的最大和最小值；上次更新时间t_last和陈旧时间stale(记录cw多久未被访问)用来删除很少使用的codeword；
假设当前训练图像i中某一像素为i(x,y)，该像素的cb的更新算法如下，另外记背景阈值的增长判定阈值为bounds：
使用已建好的cb进行运动目标检测的方法为，记判断前景的范围上下界为minmod和maxmod，对于当前待检测图像上的某一像素i(x,y)，遍历它对应像素背景模型cb中的每一个码字cw，若存在一个cw，使得i(x,y)<max+maxmod并且i(x,y)>min–minmod，则i(x,y)被判断为背景，否则被判断为前景。
连通成分分析的二值图像中互相连通的0像素集或1像素集称之为连通域；被1像素包围的0像素叫做孔；1像素连通域不含孔时，叫做单连通成分，含有一个或多个孔的连通称为叫做多重连通成分；差值后的一帧图像可能存在多个连通域，每个非连通域对应一个目标图像区，给各目标区分配相应标号的工作称为标记；
图像标识的作用是确定物体是否独立，图像中有几个运动目标，标识过程为：按一定顺序逐个扫描像素，扫描到1的像素，检测其领域的像素值，若一样则为连通域，并标记为第一个目标，然后依次寻找下一个目标；
在所有可能的目标都找到了之后，为每个目标划出一个波门，将目标框起来，并建立一个多目标位置链表，找到的每一个目标区域的中心位置都作为一个结点加入该链表储存起来，针对所存储起来的目标，基于图像分割来判断当前的目标是属于同一个目标还是不同的目标；
图像分割用于分离目标和背景的组合或者分离不同目标的组合，首先利用图像目标与背景这两类的总体灰度之间存在的差距确定阈值从而进行分割，然后利用腐蚀的方法消除物体边界点，把小于结构元素的物体去除；如果两物体之间有细小的连通，那么当结构元素足够大时，通过腐蚀运算可以将两个物体分开，利用膨胀运算把图像周围的背景点合并到物体中；如果两个物体比较接近，那么膨胀运算可能会使这两个物体连通在一起；膨胀对填补图像的空洞很有用，膨胀运算最简单的应用之一就是将裂缝接起来。
基于简单的背景减除法的运动目标检测，首先基于像素做差来分析当前图像与过去紧邻多幅图像之间的差异，然后，基于上述的图像分割来判断待检测图像中的运动目标；通过相邻帧的差分图像来寻找运动的目标，由于相邻两帧之间的背景变化非常小，而前景则变化很大，因此画面中一部分本来是背景的像素被前景覆盖、而另外一些本来被前景遮挡的背景则会显露出来，相邻两帧的差异主要体现在物体垂直于运动方向的边缘部分，与物体运动速度相关，得到的结果不稳定。
对称差分方法利用连续三帧的差分图像来提取目标轮廓，并进一步利用形态学处理等手段获得目标掩模。其大致算法流程为：
第一步：输入视频图像流
第二步：输出上一帧fk-1的目标掩模
该方法侦测出来的目标实际上是中间帧（fk-1）的目标，因此在实际应用中，处理结果要落后真实时间一帧，但这种程度的时延对监控不会产生影响。
对称帧差获得的运动目标边缘宽度由平滑滤波的参数决定，而与目标运动速度没有太大的关系，具有很强的适用性。另外，该方法还能快速地在线处理，可以提供几乎实时的检测结果。
基于背景减除法的运动目标检测，首先基于像素做差来分析当前图像与过去紧邻多幅图像之间的差异，然后，基于上述的图像分割来判断待检测图像中的运动目标。
红外光图像与可见光图像融合是在校正可见光和红外传感器畸变的基础上，精确测定相机内外参数，实现基于三维空间位置的多光谱图像融合，即在每一个光谱图像上，三维空间中的每一点，都有唯一的像素与之对应，此空间关系是实现后继光谱成像特性分析的重要基础；利用该校正图像，即可在三维空间域内实现目标的特征分析，包括交联、温度、运动、光谱等特征的融合分析处理；
图像融合技术是一种先进的综合多个源图像信息的图像处理技术，是采用一定的算法对多个传感器采集到的关于同一场景或目标的多个源图像进行适当的融合处理，以获取对同一场景的更为准确、更为全面、更为可靠的图像描述；通常在观察同一场景或目标时，由多个不同特性的传感器获取的图像信息是有所差异的，即使是采用相同的传感器，在不同观测时间、不同观测角度获得的信息也不同，图像融合能够充分利用这些在时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。融合后的图像应该更适合于人类视觉感知或计算机后续处理。以两个传感器a、b为例，其信息构成的示意图如图2所示。
对于热红外图像和可见光图像，首要关注的是目标信息，包括目标的位置、行为、状态；其次是目标周边的场景信息，该场景信息有助于对目标当前位置、状态、行为等特征进行推理和判断；最后是场景外围的背景信息；融合的原则是尽量保留热红外图像中的目标特征信息和可见光图像中的纹理细节信息，应尽可能地提高融合图像的清晰度、亮度和对比度，提高融合图像整体空间质量和保真度；在图像融合时，针对不同内容区域，设定了不同的融合规则，在选取融合方法和设计融合规则时，应考虑图像整体融合效果，尽可能同时兼顾和协调图像各部分内容，保证不同内容区域之间过渡自然，图像整体和谐统一。
图像融合包括图像内容划分、多源图像的多级融合和基于加权平均的像素级图像融合。
（1）图像内容划分
在明确图像内容重要性等级和融合原则之后，首先要实现对热红外图像与可见光图像内容的划分。对于该组图像，我们感兴趣的是特征目标信息，这些信息主要来自热红外图像，我们以热红外图像作为参考图像，进行不同内容的划分。首先将热红外图像分为目标区域、目标周围场景区域和背景区域，然后将这些内容区域对应映射到可见光图像中。目前，常用的图像分割方法主要分以下几类：基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法以及基于特定理论的分割方法等。
项目组获取的变电站图像中主要包含电线杆、输电线、变压器以及一些开关、刀闸、电缆、接地电压器等小型设备，具有图像内容数量多而且布局复杂的特点，因此，根据变电站设备在图像中的分布特征，结合各类图像分割算法的优缺点，研究并采用基于区域的图像分割方法，具体算法为分水岭分割方法。
分水岭分割方法是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。
分水岭算法对微弱边缘具有良好的响应，图像中的噪声、物体表面细微的灰度变化，都会产生过度分割的现象。但同时应当看出，分水岭算法对微弱边缘具有良好的响应，是得到封闭连续边缘的保证的。另外，分水岭算法所得到的封闭的集水盆，为分析图像的区域特征提供了可能。
为消除分水岭算法产生的过度分割，用阈值限制梯度图像以达到消除灰度值的微小变化产生的过度分割，获得适量的区域，再对这些区域的边缘点的灰度级进行从低到高排序，然后在从低到高实现淹没的过程，梯度图像用sobel算子计算获得。对梯度图像进行阈值处理时，选取的阈值对最终分割的图像有很大影响，因此阈值的选取是图像分割效果好坏的一个关键。在实际应用中，通常可根据大量的处理经验来确定合适的阈值。
分水岭分割方法有以下基本步骤：
1）计算分割函数。图像中较暗的区域是要分割的对象；
2）计算前景标志。这些是每个对象内部连接的斑点像素；
3）计算背景标志。这些是不属于任何对象的像素；
4）修改分割函数，使其仅在前景和后景标记位置有极小值；
5）对修改后的分割函数做分水岭变换计算。
图像融合技术不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。根据图像融合处理所处的阶段不同，通常可以在三个不同层次上进行：像素级(pixel-level)图像融合、特征级(feature-level)图像融合以及决策级(decsion-level)图像融合。图3示意了在图像处理的全过程中，图像融合所处的位置与层次。
1）像素级图像融合
像素级图像融合是在严格配准的条件下，对各传感器输出的图像信号，直接进行信息的综合与分析。像素级图像融合是在基础层面上进行的信息融合，其主要完成的任务是对多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解。像素级图像融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像融合和决策级图像融合的基础。但是与其它两个层次的融合相比，像素级融合需要处理的信息量最大，处理时间较长，对设备的要求也比较高。在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般应达到像素级，因此，像素级融合是图像融合中最为复杂且实施难度最大的融合。
2）特征级图像融合
特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息(如边缘、形状、轮廓、区域等)进行综合。特征级融合是在中间层次上进行的信息融合，它既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理。它使用参数模板、统计分析、模式相关等方法完成几何关联、特征提取和目标识别等功能，以利于系统判决。一般从源图像中提取的典型特征信息有:线型、边缘、纹理、光谱、相似亮度区域、相似景深区域等。在特征级图像融合过程中，由于提取的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。
3）决策级图像融合
决策级图像融合是根据一定的准则以及每个决策的可信度做出最优决策。决策级融合是高层次的信息融合，在每个传感器已完成了目标提取与分类之后，融合系统根据一定的准则以及每个决策的可信度做出决策融合处理。此种融合实时性好，并且具有一定的容错能力，但其预处理代价较高，图像中原始信息的损失最多。决策级融合方法主要是基于认知模型的方法，需要大型数据库和专家决策系统，进行分析、推理、识别和判决。
上述三个层次的图像融合与多传感器信息融合的三个层次有一定的对应关系，在实际应用中，要根据具体的需要选择及结合不同层次融合的特点，以获得最优的融合结果。
基于三维场景和多光谱图像融合的动态目标检测识别，主要采用基于序列图像的运动监测方法，分析来自于可见光、红外光等多光谱图像的融合图像，基于这种融合图像进行分析，能够更好地满足变电站现场的全天候实时监测需求；在超特高压变电站状态视觉辨识项目中，成功利用该方法实现刀闸运动检测，采用人员的头部中心作为检测对象的位置描述，这样在10cm的定位精度下，即可分辨不同的重叠人员。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的
限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。