多模多目标精密跟踪装置的制作方法

专利名称：多模多目标精密跟踪装置的制作方法
技术领域：
本实用新型涉及一种多模多目标精密跟踪装置，尤其指一种模式识别与智能控制、复杂 背景下目标自动检测与识别技术、图像处理与数据融合的装置和方法，通过对可见光和红外 信息的融合，实现了对复杂背景下弱小目标的检测与跟踪，属于信息处理装置。(二) 背景技术在现代战争中，各种精确制导武器的大量使用使防空作战变得越来越困难，巡航导弹、 隐形飞机、武装直升机、反辐射导弹、侦察和攻击无人机的应用使防空形势变得越来越严峻， 如何在保存自己的情况下探测到来袭目标并对其实施有效的攻击是现代防空急需解决的问 题。而目前我国的防空体系主要是对抗常规飞机而建立的，所以对上述目标的对抗能力是较 弱的，其主要原因是对上述目标的探测存在困难。特别是反辐射导弹的威胁使得防空雷达的 应用受到很大的限制。据报道，在2003年发生的伊拉克战争前，伊方80%以上的防空体系 是完好无损的，但是在战争打响后，伊方的防空武器几乎毫无建树，其主要原因就是制电磁 权完全掌握在美军手中，伊拉克军队的防空雷达只要一开机，几分钟内就遭到美军反辐射导 弹的攻击，美军摧毁伊军防空体系的同时更摧毁了伊军的战斗意志，所以伊军虽然大部分防 空武器完好无损，但是却不敢使用，成了无用的一堆废铁。伊军防空作战未能有效发挥作用 的主要原因是缺乏有效的针对美军空中威胁的探测手段。光电探测系统对抗上述目标威胁具有独特的优点，光电探测系统和雷达配合使用，具有 很强的互补性。光电空中目标探测系统有如下雷达所不具备的优点1) 被动式工作方式，不辐射电磁波，隐蔽性好；2) 工作在光波范围，不受电子干扰；3) 目标不易隐身；4) 低角跟踪时，不受地物杂波的影响，无低空盲区；5) 跟踪精度和测距精度高；6) 目标图像直观清晰，易于目标识别。 光电探测跟踪系统需要解决的关键问题是研制具有智能化的视频目标识别跟踪器和高精度的伺服跟踪转台。光电探测系统的设计应尽可能地在远距离时发现和识别目标，由于空 中目标在远距离时通常十分弱小，因此弱小目标检测识别和跟踪是需要解决的关键问题。 (三)实用新型内容本实用新型的目的在于提供一种多模多目标精密跟踪装置，以实现在极低信噪比下，及 时检测、识别弱小目标，检测出目标后，在复杂背景(诱饵、目标抖动、成像噪声、多目标、 交叉等)情况下稳定的跟踪目标，不丢失目标。本实用新型是一种多模多目标精密跟踪装置，其采用的复杂背景下多模数据融合可提高 目标的检测概率和精确跟踪精度，同时充分考虑系统化和工程化应用的要求，在设计上考虑 多种通用需求，多种信息接口，集成强大的软、硬件资源，在不改变硬件情况下只需改变软 件即可实现对海上、空中等不同目标的处理。本实用新型的技术方案为本实用新型一种多模多目标精密跟踪装置，由以下三部分构成数字伺服平台、综合信息 处理平台、压縮及传输设备。1) 数字伺服平台该数字伺服平台是由CCD (Charge Coupled Device,即电荷藕合器件图像传感器)摄 像机、红外传感器、高精度数字伺服转台、手柄和监视器组成，也可根据需要选用两个CCD' 摄像机或两个红外传感器。该数字伺服平台中的CCD摄像机可以是模拟信号输入或数字信 号输入，采用的红外传感器其分辨率为768x576。该数字伺服平台是图像获取装置的支撑平台，其中的CCD摄像机和红外传感器分别安 装在高精度数字伺服转台两端，可随高精度数字伺服转台一起运动。同时该高精度数字伺 服转台可根据接收的控制指令进行转动，对目标进行精确跟踪，使目标保持在图像获取装 置的视场中心。作为本实用新型的一个改进，将CCD摄像机同红外传感器组合使用，同时获取可见光 和红外的目标图像信息，综合两种信息中的目标特征，从而提高目标的检测概率和精确跟 踪精度。2) 综合信息处理平台该综合信息处理平台是由信息接口、高速数字信号处理器、伺服控制处理器组成。其 高速数字信号处理器采用基于DSP (数字信号处理器)的信号处理系统。高速数字信号处 理器接收从CCD摄像机或红外传感器传入的图像信息，完成对可见光和红外图像中的目标特征提取，特征匹配，目标运动预测与估计、精确跟踪等算法的实现。伺服控制处理器根 据目标预测与跟踪的结果，确定高精度数字伺服转台的运动方向，并向高精度数字伺服转 台发出控制命令，使高精度数字伺服转台根据预测与跟踪的结果对目标进行跟踪。作为本实用新型的一个改进，采用两个独立的信号处理器，即高速数字信号处理器和 伺服控制处理器，即高速数字信号处理器和伺服控制处理器，分别对图像信息和伺服平台 的控制信息进行处理，在图像预处理、目标识别与跟踪等关键算法中，针对复杂背景下弱 小目标的特点，采取多种算法改进与创新实现对弱小目标的识别与跟踪。3)压缩及传输设备压縮及传输设备使多模多目标精密跟踪装置具有"人在回路"功能，将自动识别检测出 的目标的所有信息和图像传回指挥中心，并接受指挥中心的指令对跟踪的目标进行调整以 提高自动识别的精度。该压縮及传输设备由视频压縮处理器、GPRS传输模块组成。视频 压縮处理器的图像输入可以是数字视频或模拟视频，可根据不同的输出要求选择不同的接 口协议，采用MEPG-4的视频压縮算法，后端GPRS传输模块采用基于GPRS无线信道进 行传输。作为本实用新型的一个改进，突破了目标识别跟踪器单一的目标检测识别处理模式， 还可以与其它探测系统联网进行数据交互、图像传输，并具有伺服组网控制、人在回路控 制等功能。多模多目标精密跟踪装置各组成部分之间的关系详述如下多模多目标精密跟踪装置的连接关系为该数字伺服平台包括CCD摄像机、红外传感 器、高精度数字伺服转台、手柄和监视器五部分。其中CCD摄像机和红外传感器分别安装 在高精度数字伺服转台上部的两端，两者通过电缆同信息接口相连进行图像数据的传输， 手柄和监视器分别放置在高精度数字伺服转台下部的两侧。该综合信息处理平台，包括信 息接口、高速数字信号处理器和伺服控制处理器三部分，三部分均集成于信息处理板并置 于控制箱中，放置在高精度数字伺服转台一侧。其中数字伺服平台中的手柄同信息接口相 连进行控制信号的传输，数字伺服平台中的监视器同信息接口相连用于显示获取的图像数 据信息，高速数字信号处理器与信息接口相连，用于获取CCD摄像机和红外传感器传输的 图像数据，伺服控制处理器与信息接口相连，用于获取高速数字信号处理器的目标检测识 别信息和高精度数字伺服转台反馈的位置信息，并向高精度数字伺服转台传输控制信息。 该压缩及传输设备，包括视频压缩处理器和GPRS传输模块两部分，两者分别集成于信息处理板上，视频压縮处理器后端同GPRS传输模块相连，视频压縮处理器前端同综合信息 处理平台中的高速数字信号处理器相连。就多模多目标精密跟踪装置整体而言，数字伺服 平台处于多模多目标精密跟踪装置的前端，综合信息处理平台处于多模多目标精密跟踪装 置的中端，压縮及传输设备处于多模多目标精密跟踪装置的后端。本实用新型一种多模多目标精密跟踪装置，其工作流程为，首先通过CCD摄像机和红 外传感器获取目标的可见光和红外图像，将图像信号通过信息接口传送给高速数字信号处 理器，经处理器对图像进行处理后，完成对目标的自动识别与跟踪，同时将跟踪的目标信 息传送给伺服控制处理器，由伺服控制处理器产生控制命令给高精度数字伺服转台；在将 图像信号通过监视器进行显示的同时把原图像信息和叠加了跟踪目标信息的图像传送给视 频压縮处理器进行视频压縮，然后通过GPRS传输模块进行无线传输，使指挥中心通过解 码处理器在控制中心的监视器中观察到目标跟踪情况。本实用新型一种多模多目标精密跟踪装置，其跟踪步骤是 1)复杂背景、低信噪比条件下的图像预处理对复杂背景下的弱小目标检测必须选择有效的预处理方法，这对后续的目标检测识别 过程中具有很重要的意义。在我们以往的研究中，对很多预处理方法都进行过仿真与工程 应用。经过大量实验和分析，本系统的图像预处理采用基于改进的离散平稳小波变换 (DSWT)和非线性增强算子的弱小目标图像增强算法。小波变换具有完善的重建能力；在时域和频域同时具有局部化特性(伸縮性)，可以 聚焦到对象任意细节；多尺度、多分辨率特性；方向选择性，与人类视觉系统的方向性吻 合。小波分析的多尺度特性，使得它适合于在信噪比低的环境下进行目标检测。其伸縮特 性可使部分图像特征在某个尺度下被有效地抑制，而某些感兴趣的目标(如小目标)可以 被突显出来。小波分析不仅可以用在图像预处理中，也可以用在图像分割和目标运动估计 上。从大量国内外文献分析，在复杂背景下，弱小目标识别跟踪这个领域，传统的基于小 波变换的图像预处理基本上都是进行如下操作的(1) 选择合适的小波基，并对图像进行N层小波分解；(2) 高频系数的阈值选择。对于第一层到第N层的每一层，选择一个阈值进行处理。(3) 根据第N层的低频系数和从第一层到第N层经过修改的高频系数，计算出图像的小 波重建。传统的基于小波变换的预处理尽管可以得到不错的处理结果，但是在对高频系数进行 处理的时候，大部分采用了线性的统一阈值，图像的边缘等细节遭到了不同程度的削弱。 本系统在总结传统的基于小波变换图像预处理的基础上，利用基于离散平稳小波变换 (DSWT)和非线性增强算子对弱小目标的图像进行增强。在进行DSWT的基础上，得到 的高频子带具有较差的分辨率，对这些高频子带进行非线性算子运算来改善和增强高频子 带，从而达到了滤波增强的作用。实验结果表明，这种算法可以有效消除1/f噪声，加性 高斯白噪声和乘性噪声，提高图像的信噪比。本算法主要包括以下三个部分-(1) 抑制噪声(2) 阈值选取(3) 非线性增强算子 下面就这三部分进行详细说明(1)抑制噪声采用传统的"全局阈值"对图像来去噪，效果不理想。I.M.Johnston证明了相关噪声的小波变换在所有的尺度上都是平稳的，我们可以在每个尺度上分别用不同的阈值来对图像进行去噪。假设离散图像的模型如下-<formula>formula see original document page 8</formula>上面的公式可以写成矩阵的格式<formula>formula see original document page 8</formula>其中，<formula>formula see original document page 8</formula>是观测到的信号。<formula>formula see original document page 8</formula>.表示没有噪声污染的原始信号，<formula>formula see original document page 8</formula>是平稳信号。 对(4.2)进行DSWT，得<formula>formula see original document page 8</formula>其中S表示二维平稳小波变换算子，在图像中引用Donoho提出的"软阚值"函数对图像进行去噪处理<formula>formula see original document page 9</formula>其中<formula>formula see original document page 9</formula>根据式(4.5)和(4.7)，输入信号的反变换为<formula>formula see original document page 9</formula>其中i;与阈值^和信号g相关。 (2)阈值选取假设原始信号/(x,力可以用其邻域像素线性表示。若令g[/,/l是g[A:,/]的线性表示， 用邻域均值对图像进行平滑，可以去除一部分噪声。平滑后的g可以用来计算去除噪声的阈值。g[z',/l表示g中的[i,j]元素，它被g[f，/l替代<formula>formula see original document page 9</formula> (4.9)我们认为邻，j]比g[Q']能更好的得到优化阈值。如果阈值^太小，g[/，刀-g[/,刀中主要表现为噪声；如果阈值^太大，会滤掉很多有 用的信号。对所有的像素实施同样的操作，最佳的阈值可以通过如下运算来得到-<formula>formula see original document page 9</formula>MU']的形式有很多种，在这里，令=忌["']，贝廿<formula>formula see original document page 9</formula>)其中:邓,刀=由<formula>formula see original document page 9</formula>其中<formula>formula see original document page 9</formula>然而，在(4.11)中，z'[附,w]为1或者是0，在实际计算中不可用。因此给出如下公 式来替代(4.10):1 "Y-YsSGC，-^^——(4.12)~"^^.其中，trace表示矩阵的迹，||.|表示欧几里德范数。I是MXN的单位矩阵。令cT = argminiW5^(。，》=argminSGCT(。，M.Jansen证明了 J是渐进最优阈值。 (3)非线性增强算子1994年，A丄aine曾给出了基于DSWT的非线性增强算子，来增强图像的局部对比度。 为了方便起见，在每个尺度上分别定义每个高频子带图像的变换函数-g[U] = M4G{/[/,_/]} (4.13)其中，g[i,j]是增强的子带，flij]是原始的子带图像，MAG是非线性增强算子。 令/7["/l是s分解尺度上第r个高频子带系数，其中^l,2，…,i:;"1，2，3. max/7是所有像素《[/，刀中的最大灰度值。可以从[-max/7,maxy;]映射到[-l,l]。 因此，a、 b和c的范围可以分别来设定。对比增强方法可以描述如下|/7["]|<77射，(4.14)a. max 77 {Wg附[c(X [/， 乂] - 6)] — Wg/72[-c(兀.[z， _/] + 6)]} ， , [/, 乂] ^ 7;X["] = //["]/max//最后进行小波反变换，即得到预处理后的图像。本系统在充分分析研究红外弱小目标的特征与背景模型基础上，采用离散平稳小波变 换(DSWT)和非线性增强算子的算法对红外弱小目标进行图像增强的预处理。实验结果 表明该算法不仅对弱小目标的背景抑制、目标增强有较好的效果，对大目标的噪声、背景 抑制同样有较好的效果。2)基于二项分布判断准则的目标自适应门限分割基于弱小目标的特点(低SNR、复杂背景)，对它的检测依靠单帧是不可能达到的，必 须依靠图像序列。在目前所做的弱小目标检测中，给出的检测识别概率一般大于等于98%，虚警概率小于等于10—6，若这两个参数体现在检测中，就是用它们选取噪声门限。 一方面， 若按照虚警率小于等于10—6选取噪声门限，则门限很高，很多目标将会丢失；另一方面， 若按照检测识别概率大于等于98%选取噪声门限，则门限的选取应很低，以保证取出所有 的目标点，这样会导致很大的虚警率。在这种低信噪比条件下的弱小目标检测，是无法单 帧实现的，必须利用多帧图像的相关信息，将目标的运动特征和运动轨迹的连续性、 一致 性结合起来进行考虑。从总的检测概率与虚警概率计算出单帧的检测概率和虚警概率，从 而选取合理的噪声门限为要解决的关键问题。以概率论为基础，我们在整个图像检测中，根据单帧检测概率、单帧虚警概率与总检 测概率和总虚警概率的关系，解决序列图像检测中相关帧数和门限的确定问题，为低虚警率、高检测率提供了理论保证。将每帧图像中的目标检测看作是独立的重复实验，根据概率论中的原理，检测概率应 该服从二项分布，据此建立数学模型，假定预处理后图像噪声为高斯分布的白噪声，根据 统计理论，图像进行单帧门限检测时[推导过程参见发表文章]:<formula>formula see original document page 11</formula>其中"〃 + oS-a^-D 或 v^〃-o^U可推出单帧检测概率和单帧虚警概率的关系 ①-'(尸,)-①-'(尸,M式中v一检测门限，a2一噪声均方差|1——为第K帧背景对消后的噪声均值S——信噪比SNR定义为信号的幅值与噪声的均方差之比(4.17)总检测概率与单帧检测概率的关系<formula>formula see original document page 11</formula>在上述实验中，假定单帧检测概率是Pd=0.90，要求总的检测概率？0=0.98。那么当在 n幅图像中，目标出现了k次时，可以达到要求。例如，当每次采集16帧图像做判断时， 如果目标出现11次，则总检测概率能够达到要求。因此可由单帧检测概率、单帧虚警概率与总检测概率和总虚警概率的关系，解决序列图 像检测中相关帧数和门限的确定问题。3)红外与可见光数据进行多模融合基于红外与可见光传感器融合的目标检测，可以提高目标的检测概率、降低虚警概率。对可见光和红外图像融合需要进行图像匹配，首先对不同传感器的目标进行特征提取， 然后通过目标匹配结果可以得出可见光和红外图像之间的变换关系，如平移、旋转、縮放 等。具体使用的配准方法是基于最小二乘的控制点匹配，相位相关法，模板匹配法等。在图像配准后，根据最近邻原则，同一目标在配准后图像中的坐标应该是重合、或者 是非常接近的，通过临近性或相似性测度能够把两种图像中的目标特征对应起来。我们将多传感器概率数据互联滤波器用于可见光和红外图像的融合，来降低虚警率。 概率数据互联的基本思想是只要是有效检测信息，都可能源于目标，只是每个信息源于 目标的概率有所不同。这种方法利用了跟踪窗内的所有信息以获得可能的后验信息，并根据大量的相关计算给出各概率加权系数及其加权和，然后用它更新目标状态。本研究采用 此方法进行目标特征融合。经过目标融合处理后，丰富了目标的特征信息，提高了目标检测概率，降低了虚警率。红外与可见光数据的融合采用的处理步骤如下a) 对可见光和红外图像分别进行目标特征提取；b) 对提取的特征进行不同传感器的特征匹配，确定可见光和红外图像之间的变换关系； 对匹配后图像中的目标特征，使用概率互联滤波器处理获得融合数据，从而提高目标检测识别的置信度，并剔除虚假目标。 4)目标运动预测与估计目标跟踪过程中的多目标、交叉、抖动、记忆跟踪等都涉及目标的运动估计预测问题 弱小目标的运动轨迹，帧与帧之间存在抖动，并不具有方向一致性，而其它目标如小鸟的 面积比目标稍大，它的运动轨迹比弱小目标更具有方向性。这是由于成像系统、空间光干 扰、空气振动等原因造成了图像的抖动，抖动的同时还使目标的几何中心在相邻像素之间发生变化，如果数据不经过处理，连续帧之间的目标位置由于抖动的存在，并不按方向的 一致性变化，这就给用方向性进行约束(如常规的滤波器预测)的目标精确跟踪带来误差。 怎样消除抖动现象产生的影响是实际跟踪要解决的一个重要问题。在项目中解决这类 方法采用了两种方法-*基于Kalman滤波器思想改进的曲线拟合的运动预测。解决没有规律的抖动、目标交叠、记忆跟踪等情况下的运动预测问题。 *在识别为目标后，将粗跟踪转为精确跟踪，将形心位置转换为质心位置，减小跟踪时的抖动现象，提高跟踪精度。 由于Kalman滤波器不能即时反映出目标的运动变化，所以当目标机动性强时，Kalman 跟踪的误差会较大。我们从Kalman动力学方程出发，定义了机动性参数，同时对拟合方 式进行了改进，增强其跟踪预测的性能。图7所示为基于轨迹预测的目标检测、识别跟踪流程图。目标运动预测与估计的过程 为图像经过预处理，进行目标的特征提取，获得潜在的目标，通过二项分布的判断准则来 判断是否是新目标，通过kalman理论建立轨迹方程，若轨迹方程己建立，则需要对轨迹方 程进行更新，同时预测目标在下一帧的轨迹，得到预测位置，并用拟合修正Kalman跟踪 滤波器修正预测位置。以下为基于Kalman理论改进的曲线拟合预测目标运行轨迹研究的几点讨论和改进(1) 改进的最小二乘直线拟合方法经典最小二乘拟合中的准则函数是各数据点沿纵坐标y到拟合曲线的距离的平方和。 假设数据点(x,，少,)，其中y:/(;c)。做最小二乘拟合得到的曲线是基于如下准则附 附 附<formula>formula see original document page 13</formula>，但用距离的平方和<formula>formula see original document page 13</formula>) -mm做准则函数更合适，后者是力学中的最小惯性矩。(2) 截取轨迹点做拟合在应用中，只考虑临近几个或几十个轨迹点，如果取权系数0(x,.)El，相当于用矩形 窗截取轨迹获得近期的轨迹点。矩形窗不能反映重要性的变化，并且不能平滑截断；指数 函数可以反映数据点重要性随时间的变化，而且指数函数是光滑的，所以采用指数窗函数来截取数据。考虑到目标运动的连续性和一致性，每帧即时速度的大小、方向和整体运动趋势相比较不应该有大的跳变，当这种变动较大时，其中应该包含了较大的误差，应该给这个数据 点较小的权值抑制这种误差。根据以上准则，通过实验和理论推导，定义权系数的取值"=7V-/， W是当前的帧数，JV-MS/<7V， M是拟合数据点的个数。《和/7的值可以通 过实验获得， 一般取0.7 0.8之间。轨迹点个数M可以选择固定，通过调整权系数大小来控制轨迹点对拟合的作用，例如 选小的衰减系数，相当于截取较短的轨迹，选择较大的衰减系数，相当于截取较长的轨迹。(3)机动性系数前面定义了权系数6>0,)=《".//'，其中《大小的选取和截取轨迹点长度有关，并且要 求机动性强时，截取轨迹短一些，机动性低时，截取轨迹长一些。设系统方程为 义^ + D =尸("Z(" + (4.19)观测方程 Z(" = //^)Z(A) + W(A:) (420)机动系数定义为 A = (4.21)其中CT 是观测噪声方差，是系统噪声方差，T是采样周期。在实际应用中°""和无法获得，可以用相关参量代替。因为跟踪中目标坐标有三种预测值、实际观测值和当前 估计值。预测值是指在上一帧处理过程中得到的对当前帧目标位置的预测，用^"—"表 示；观测值表示当前图像分割得到的目标位置，用Z")表示；当前估计值是指根据当前观 测值估计出的目标在空间中的实际坐标，用X")表示。在Kalman滤波中f =义(A | A);而在拟合跟踪中，是z("在拟合直线上的投影。 因为可以把f("当作目标的真实坐标，则观测值噪声可以表示为"(^ = 2("-X("，而预 测值和真实值的差fOt-1)-f("体现了系统的不确定性，或者说代表了跟踪系统中不可预 测的因素，所以可以认为系统噪声为M^)-1(A:-l)-f(A:)。这样o;和 可以用以下参量 代替其中|9|<1,|; |<1，《为数据点到拟合直线^c + Sy + C-0的距离，《<formula>formula see original document page 15</formula>r就是红外图像采集的间隔周期，是已知参数，可以计算出机动系数;i。通过试验可以 发现^取值大小和目标机动性吻合，就是说^越大，目标运动变化剧烈；相反， 小，则目标运动变化平缓。 (4)拟合后的数据关联如果多个跟踪链竞争一个候选目标，通常是处于多目标交叉的状态。拟采取这样处理方法将候选目标舍弃，竞争的链各自进行记忆跟踪，直到没有竞争为止。也可以将候选目标看作是可疑新目标，对它进行跟踪，由连续性判断是否为新目标； 当轨迹链找不到匹配的候选目标时，应该记忆跟踪，直到重新找回目标；如果超过一定时 间仍无法找回目标，则认为跟踪目标丢失，此时数据关联的关系变得简单。在跟踪预测中， 一阶多项式拟合即直线拟合最能反映出运动趋势。经典最小二乘的误 差函数是y坐标距离曲线的距离函数，对于直线而言用点到直线距离平方作误差函数更为 合适；另外在拟合中引入时间加权因子，解决时效性的问题；通过调整权系数，使拟合的 迭代运算量固定，从而整个跟踪的运算量可以控制，便于系统设计和实现。 5)不同情况下的目标特征提取当目标形状发生改变时，利用边缘特征归一化的形状识别寻找从电场角度引出的特征 不变量达到目标精确跟踪。当目标由远距离几个像素点变大时，由于探测器成像角度不同，同一目标的形状会发 生改变，这时如何保证跟踪点不变，继续精确跟踪是关键问题。在图像目标的匹配识别中， 人们希望的是要找到一个能表征目标图形特征的量，然后通过该特征量来表征两图形是否 为同一目标。传统的匹配，对不规则图形的识别常用以下几种方法傅里叶描叙子的匹配 识别、基于不变矩特征方法的匹配识别及近些年来的通过神经网络学习方法的匹配识别等。 傅里叶描叙子的识别方法是从频率域的角度进行匹配识别；不变矩特征方法是用矩表征一幅图像，并通过提取与统计学和力学中相似特征这一途径来进行匹配识别；神经网络学习 方法是通过样本特征学习来进行识别；该申请项目的研究方法是把像素点赋予电荷点的含 义，从电场这个全新角度来对不规则图形进行有效的识别，经过理论推导、研究和实验， 找出一个不随形状改变而变化的特征量。以下详细介绍电场强度与电势识别形状算法在电学中，电荷均匀分布的任意带电体在自身周围空间中所产生静电场的分布是唯一 的，而且该带电体与它在三维空间所产生的静电场是一一对应的。静电场只与该导体的大小、电荷密度大小及形状有关。以上概念得到一个结论形状不同的均匀带电体在三维空 间产生的电场分布是不相同的。利用这个结论，推导出识别形状的特征不变量。在推导方法时，不过多考虑带电体的 表面电荷密度的分布，着重考虑带电体的大小和形状对电场分布产生的影响。由于图形的形状信息主要在边缘，因此通过图像处理的边缘检测方法，二值化后能够 得到图形的边缘信息，如果把这些边缘像素点看作带电体，那么就可以计算出该图形在三 维空间的电势与电场强度分布，也就可以将电场和电势的分布作为判别两个图形是否相同 或相似的依据。如图8所示，本研究采用多边形逼近的方法，以"直"代"曲"，来将图形边缘用近似 多边形表示。由于电势是个标量，因此各条边在空间任意一点产生的电势是可以直接代数相加的。 电场强度虽然是矢量，但投影到z方向上，各条边的电场强度也可以代数相加。这样通过 多边形逼近后，任意图形的边缘是由线段组成，那么图形边缘对空间任意一点(以下称这种点为观测点) 所产生的电势与电场强度大小公式为 电势大小公式<formula>formula see original document page 16</formula>电场强度大小公式<formula>formula see original document page 16</formula>其中<formula>formula see original document page 16</formula>分别表示组成图形边缘的第/条线段的a与a。观测点的归一化如下各个图形的观测点选取要求"一致"，其目的是由于要保证相同形状图形在各自对应的 观测点所产生的电势与电场强度相同，所以先要对图形的观测点进行"一致"化，称之为观 测点的归一化。为寻找归一化观测点，在本研究中对原来公式做了一定的修改，对应的归一化观测点应满足从各图形的中心到各个观测点做射线，各条射线应与图形平面相垂直或在图形平面上的投影与以各需识别图形的主方向的偏角一致，且射线与图形平面的夹角相同，则此时对应观测点到各图形中心的距离之比等于各图形面积开方之比[证明见所发表文章]。这样如图9所示，公式(4.24)(4.25)改进为如下 电势大小变换公式<formula>formula see original document page 17</formula>其中6U ，《2分别表示组成图形边缘的第/条线段的(如图8所示)A与&。 虽然修改了以上公式，但电场强度仍然保留了需要的物理意义。这样通过对应观测点的 归一化，就解决了大小不同形状相同图形的可比性问题。采用本实用新型所述的装置，对整个系统对复杂背景下的弱小目标的检测识别与精确跟踪可达到如下的技术指标1) 输入信号红外、电视视频信号(GPS信号、激光测距仪信号输入接口及处理能力)；2) 输出误差信号目标相对于视场中心的角位置偏移值；3) 最小跟踪对比度53%;4) 捕获能力能同时自动捕获和跟踪视场内4个目标；5) 记忆跟踪当目标暂时被遮挡，跟踪器应能自动转入记忆跟踪状态，输出保持目标 丢失时刻的值不变；目标再出现时，能重新自动捕获；6) 误差输出延迟S20ms;接口并口、 RS232、 PCI7) ATR (自动检测系统参数)全屏(768x576)实时检测，误差信息可按场、帧输出。目标特性天空、地面目标。8) 环境条件工作温度一35。C + 55。C ，相对湿度95%。本实用新型一种多模多目标精密跟踪装置，其优点在于本实用新型检测的是复杂背景下弱小、斑点和大目标，具有很好的复杂战场环境下的自适应跟踪和抗干扰能力，其主要体现在1)预处理部分(1) 解决了由于运动或平台抖动造成模糊的图像复原问题；(2) 完成了图像恢复过程中的振铃效应抑制；(3) 采用了改进的基于离散平稳小波变换和非线性增强算子的弱小目标图像增强算法，解决了实际工程应用中复杂背景低信噪比条件下，弱小目标的信噪比增强 问题。2) 基于运动补偿的弱小目标的检测及精确跟踪技术(1) 基于轨迹预测的跟踪方法，提出了结合Kalman滤波思想改进的曲线拟合方法 预测目标运动方向和速度，降低了数据关联的复杂性，选择了合适的判断模型 和判决准则。(2) 研究了复杂背景下针对不同目标的运动预测和补偿算法，解决了目标交叠、抖 动、多目标等复杂情况下的精确跟踪问题。(3) 精确跟踪过程中，特征不变量的寻找。当目标形状发生改变时，如何找到一种 特征不变量去表征目标一直是图像处理领域的一个难点与关键技术。在本项目 中，利用边缘特征归一化的形状识别寻找了从电场角度引出的特征不变量它不 随目标旋转、位移、变形而发生改变，进而有效的达到了目标精确跟踪的目的。3) 建立了可见光、红外目标融合检测模型 单传感器目标检测概率较低，虚警概率高，建立适合的融合结构至关重要。本项目 中(1) 完成了多传感器融合结构体系选择；(2) 解决了多传感器时间对准、空间对准、目标特征匹配问题；4) 系统化和工程化应用-充分考虑系统化和工程化应用的要求，在设计上考虑多种通用需求，多种信息接口， 集成强大的软、硬件资源，在不改变硬件情况下只需改变软件即可实现对海上、空 中等不同目标的处理。

图1所示为多模多目标精密跟踪装置的构成框图图2所示为数字伺服平台的构成框图图3所示为综合信息处理平台的构成框图图4所示为压縮及传输设备的构成框图图5所示为多模多目标精密跟踪装置连接图图6所示为多模多目标精密跟踪方法流程图图7所示为基于轨迹预测的目标检测、识别跟踪流程图图8 (a)所示为多边形逼近示意图之原图图8 (b)所示为多边形逼近示意图之直线段逼近效果图图9所示为归一化观测点关系示意图图中标号说明如下1、数字伺服平台 11、 CCD摄像机 12、红外传感器 13、高精度数字伺服转台 14、手柄15、监视器2、综合信息处理平台21、信息接口 22、高速数字信号处理器 23、伺服控制处理器3、压縮及传输设备31、视频压縮处理器32、 GPRS传输模块 具体实施方式
本实用新型一种多模多目标精密跟踪装置，如图1所示，本实用新型由以下三部分构 成数字伺服平台l、综合信息处理平台2、压縮及传输设备3。 1)数字伺服平台如图2所示，数字伺服平台1由CCD (Charge Coupled Device,即电荷藕合器件图像 传感器)摄像机ll、红外传感器12、高精度数字伺服转台13、手柄14和监视器15组成， 也可根据需要选用两个CCD摄像机11或两个红外传感器12。本实用新型采用的CCD摄 像机11可以是模拟信号输入或数字信号输入，采用的红外传感器是分辨率为768x576。该数字伺服平台1是图像获取装置的支撑平台，上述装置中的CCD摄像机11和红外 传感器12分别安装在高精度数字伺服转台13两端，可随高精度数字伺服转台13 —起运动。 同时高精度数字伺服转台D可根据接收的控制指令进行转动，对目标进行精确跟踪，使目 标保持在图像获取装置的视场中心。作为本实用新型的一个改进，将CCD摄像机ll同红外传感器12组合使用，同时获取 可见光和红外的目标图像信息，综合两种信息中的目标特征，从而提高目标的检测概率和 精确跟踪精度。 2)综合信息处理平台如图3所示，该综合信息处理平台2由信息接口21、高速数字信号处理器22、伺服控 制处理器23组成。该高速数字信号处理器22采用基于DSP (数字信号处理器)的信号处 理系统。高速数字信号处理器22接收从CCD摄像机11或红外传感器12传入的图像信息，的目标特征提取，特征匹配，目标运动预测与估计、精确跟踪 等算法的实现。伺服控制处理器23根据目标预测与跟踪的结果，确定高精度数字伺服转台 13的运动方向，并向高精度数字伺服转台13发出控制命令，使高精度数字伺服转台13根 据预测与跟踪的结果对目标进行跟踪。作为本实用新型的一个改进，采用两个独立的信号处理器,即高速数字信号处理器22 和伺服控制处理器23，分别对图像信息和高精度数字伺服转台13的控制信息进行处理， 在图像预处理、目标识别与跟踪等关键算法中，针对复杂背景下弱小目标的特点，采取多 种算法改进与创新实现对弱小目标的识别与跟踪。3)压縮及传输设备该压缩及传输设备3使多模多目标精密跟踪装置具有"人在回路"功能，将自动识别检 测出的目标的所有信息和图像传回指挥中心，并接受指挥中心的指令对跟踪的目标进行调 整以提高自动识别的精度。如图4所示，压縮及传输设备3由视频压縮处理器31、 GPRS 传输模块32组成。该视频压縮处理器31的图像输入可以是数字视频或模拟视频，可根据 不同的输出要求选择不同的接口协议，采用MEPG-4的视频压缩算法，后端GPRS传输模 块采用基于GPRS无线信道进行传输。作为本实用新型的一个改进，突破了目标识别跟踪器单一的目标检测识别处理模式， 还可以与其它探测系统联网进行数据交互、图像传输，并具有伺服组网控制、人在回路控制等功能。多模多目标精密跟踪装置各部分之间的关系如图5所示多模多目标精密跟踪装置的连 接关系，该数字伺服平台1，包括CCD摄像机11、红外传感器12、高精度数字伺服转台B、 手柄14和监视器15五部分。其中CCP摄像机11和红外传感器12分别安装在高精度数字 伺服转台13上部的两端，两者通过电缆同信息接口 21相连进行图像数据的传输，手柄14 和监视器15分别放置在高精度数字伺服转台13下部的两侧。该综合信息处理平台2，包括 信息接口 21、高速数字信号处理器22和伺服控制处理器23三部分，三部分均集成于信息 处理板并置于控制箱中，放置在高精度数字伺服转台13—侧。其中该数字伺服平台1中的 手柄14同信息接口 21相连进行控制信号的传输，该数字伺服平台1中的监视器15同信息 接口 21相连用于显示获取的图像数据信息，高速数字信号处理器22与信息接口 21相连， 用于获取CCD摄像机11和红外传感器12传输的图像数据，伺服控制处理器23与信息接口 21相连，用于获取高速数字信号处理器的目标检测识别信息和高精度数字伺服转台13反馈的位置信息，并向高精度数字伺服转台13传输控制信息。该压縮及传输设备3，包括视频 压縮处理器31和GPRS传输模块32两部分，两者分别集成于信息处理板上，视频压縮处理 器31后端同GPRS传输模块32相连，视频压縮处理器31前端同综合信息处理平台2中的 高速数字信号处理器22相连。就多模多目标精密跟踪装置整体而言，数字伺服平台l处于 多模多目标精密跟踪装置的前端，综合信息处理平台2处于多模多目标精密跟踪装置的中 端，压縮及传输设备3处于多模多目标精密跟踪装置的后端。如图5所示，本实用新型一种多模多目标精密跟踪装置，其工作流程为，首先通过CCD 摄像机11和红外传感器12获取目标的可见光和红外图像，将图像信号通过信息接口 21传 送给高速数字信号处理器22，经处理器对图像进行处理后，完成对目标的自动识别与跟踪， 同时将跟踪的目标信息传送给伺服控制处理器23,由伺服控制处理器23产生控制命令给高 精度数字伺服转台13;在将图像信号通过监视器15进行显示的同时把原图像信息和叠加了 跟踪目标信息的图像传送给视频压缩处理器31进行视频压缩，然后通过GPRS传输模块32 进行无线传输，使指挥中心通过解码处理器在控制中心的监视器15中观察到目标跟踪情况。 如图6所示，本实用新型一种多模多目标精密跟踪装置，在复杂背景下弱小目标自动检 测、识别与跟踪方法的具体步骤分别是K复杂背景、低信噪比条件下的图像预处理，2、 基于二项分布判断准则的目标自适应门限分割，3、红外与可见光数据进行多模融合，4、目 标运动预测与估计，5、不同情况下的目标特征提取。采用本实用新型所述的装置，整个系统对复杂背景下的弱小目标的检测识别与精确跟踪 可达到如下的技术指标1) 输入信号红外、电视视频信号(GPS信号、激光测距仪信号输入接口及处理能力);2) 输出误差信号目标相对于视场中心的角位置偏移值；3) 最小跟踪对比度^3%;4) 捕获能力能同时自动捕获和跟踪视场内4个目标；5) 记忆跟踪当目标暂时被遮挡，跟踪器应能自动转入记忆跟踪状态，输出保持目标 丢失时刻的值不变；目标再出现时，能重新自动捕获；6) 误差输出延迟S20ms;接口并口、 RS232、 PCI7) ATR (自动检测系统参数)全屏(768x576)实时检测，误差信息可按场、帧输出。目标特性天空、地面目标。8) 环境条件工作温度一35。C + 55。C ，相对湿度95%。
权利要求1、一种多模多目标精密跟踪装置，其特征在于它是由以下三部分构成数字伺服平台、综合信息处理平台、压缩及传输设备；其中，该数字伺服平台是由CCD摄像机、红外传感器、高精度数字伺服转台、手柄和监视器组成；该数字伺服平台是图像获取装置的支撑平台，其中的CCD摄像机和红外传感器分别安装在高精度数字伺服转台两端，可随高精度数字伺服转台一起运动；该综合信息处理平台是由信息接口、高速数字信号处理器、伺服控制处理器组成；该压缩及传输设备由视频压缩处理器、GPRS传输模块组成；该多模多目标精密跟踪装置中的数字伺服平台，包括CCD摄像机、红外传感器、高精度数字伺服转台、手柄和监视器五部分；其中，CCD摄像机和红外传感器分别安装在高精度数字伺服转台上部的两端，两者通过电缆同信息接口相连进行图像数据的传输，手柄和监视器分别放置在高精度数字伺服转台下部的两侧；该多模多目标精密跟踪装置中的综合信息处理平台，包括信息接口、高速数字信号处理器和伺服控制处理器三部分，三部分均集成于信息处理板并置于控制箱中，放置在高精度数字伺服转台一侧；其中，数字伺服平台中的手柄同信息接口相连进行控制信号的传输，数字伺服平台中的监视器同信息接口相连用于显示获取的图像数据信息，高速数字信号处理器与信息接口相连，用于获取CCD摄像机和红外传感器传输的图像数据，伺服控制处理器与信息接口相连，用于获取高速数字信号处理器的目标检测识别信息和高精度数字伺服转台反馈的位置信息，并向高精度数字伺服转台传输控制信息；该多模多目标精密跟踪装置中的压缩及传输设备，包括视频压缩处理器和GPRS传输模块两部分，两者分别集成于信息处理板上，视频压缩处理器后端同GPRS传输模块相连，视频压缩处理器前端同综合信息处理平台中的高速数字信号处理器相连；就多模多目标精密跟踪装置整体而言，数字伺服平台处于多模多目标精密跟踪装置的前端，综合信息处理平台处于多模多目标精密跟踪装置的中端，压缩及传输设备处于多模多目标精密跟踪装置的后端。
2、根据权利要求l所述的一种多模多目标精密跟踪装置，其特征在于该数字伺服平台中的CCD摄像机是模拟信号输入，采用的红外传感器其分辨率为 768x576。
3、 根据权利要求1所述的一种多模多目标精密跟踪装置，其特征在于该数字伺服平台中的CCD摄像机是数字信号输入，采用的红外传感器其分辨率为 768x576。
4、 根据权利要求1所述的一种多模多目标精密跟踪装置，其特征在于该数 字伺服平台中的CCD摄像机同红外传感器组合使用。
5、 根据权利要求1所述的一种多模多目标精密跟踪装置，其特征在于其所 采用的两个独立的信号处理器，即高速数字信号处理器和伺服控制处理器。
6、 根据权利要求1所述的一种多模多目标精密跟踪装置，其特征在于该目 标识别跟踪器与其它探测系统联网进行数据交互、图像传输。
专利摘要本实用新型提供一种多模多目标精密跟踪装置及方法，该装置以数字伺服平台为支撑平台，由置于其上的CCD摄像机和红外传感器获得的图像信息经综合信息处理平台进行处理以取得目标的跟踪信息，并通过压缩及传输设备传送到控制中心进行监控。由图像信息获取目标跟踪信息的方法是进行复杂背景下弱小目标检测与跟踪的核心，该方法通过对低信噪比下的图像进行预处理后，使用基于二项分布判断准则的目标自适应门限分割提取目标，再通过红外与可见光传感器数据的融合提高目标的检测概率、降低虚警概率。对提取的目标进行运动检测与估计以获取其跟踪信息。当目标形状发生改变时，利用边缘特征归一化的形状识别寻找特征不变量以达到目标的精确跟踪。
文档编号H04N5/33GK201114551SQ200720173900
公开日2008年9月10日 申请日期2007年10月31日 优先权日2007年10月31日
发明者刘晓龙, 弘 张, 昕 王, 王可东, 王德奎, 滢 穆, 谢凤英, 贾瑞明 申请人:北京航空航天大学