专利名称：一种实时优化图像的监控系统及方法
技术领域：
本发明涉及数字图像处理、摄影测量学和计算机视觉等领域，进一步是指 通过对输入(指挥)监控厅的原始数字图像作各种预处理，改善图像的显示效 果，以及通过检测跟踪目标，放大目标区域以凸显目标细节的系统及方法。
背景技术：
(指挥)监控厅的一个重要作用是通过接收外部摄像设备的输入图像对厅 外的事件进行观察和分析，以利于及时地做出判断和决策。因此，保证(指挥) 监控厅输入和显示的图像质量的良好性是一个非常重要的问题。
很多情况下，从外部摄像设备得到的图像是不经过处理就直接传输到(指 挥)监控厅输出显示的，如图1所示。在实际的应用过程中，由于光照、背景 等成像条件的影响，实时拍摄的图像的质量往往很难得到保证，例如对比度太 差、图像过亮或者过暗、目标较小等，这样便降低了 (指挥)监控厅对目标的 实时观察能力，不利于做出正确的判断和决策，影响了 (指挥)监控厅工作效 率。在某些情况下， 一些系统也会对输入的图像先进行处理再输出，但目前这 种处理方式一般是单一模式的，不能在任何时候都得到最优的图像效果，而且 不能适应成像环境的变化。
例如，在耙场应用最广的跟踪测量设备——数字经纬仪，它能够实现对目 标的实时观察和分析，但是它所得到的数字图像基本上是不经过处理就直接输 入到监控厅显示的。受靶场成像条件的影响，这些图像的质量很多时候比较差， 如模糊不清、对比度差、目标太小等，不利于对目标的实时观察和分析。又例 如很多地方(如银行、学校等)都装有监控摄像机来加强安全保卫，但监控摄 像机一般很难适应成像条件变化(如光照的变化)的影响，成像质量难以保证，不利于安全监控。
发明内容
本发明的目的是，针对现在输入(指挥)监控厅的图像质量难以保证的现 状，提出一套改善输入图像质量、提高实时观察能力的监控系统和方法，使其 能够基本保证(指挥)监控厅的输出图像效果是在当时条件下所能得到的最佳 图像效果，同时能够放大目标、凸显目标细节，利于实时观察和分析。
为了达到上述发明目的，本发明采用的技术方案为 一种实时优化图像的 监控系统，包括摄像装置、显示装置、预处理装置和控制器，其中摄像装置的信 号输出端连接有预处理装置的信号输入端，预处理装置的信号输出端接入控制 器输入端，控制器输出端最后接入显示装置的信号输入端。
相应的，本发明还提供一种实时优化图像的监控方法，其包括如下步骤
1) 采集监控区域的图像；
2) 从采集的图像中抽取一幅进行多种预处理，得到多种处理效果图后与原 图进行比较；
3) 根据图像预处理效果选择其中一种模式或者选择多种模式组合成复合模 式作为最优处理模式；
4) 后续采集的图像均按照上述选定的最优处理模式进行预处理后再实时输 出显示；
5) 当检测到成像环境改变时，重复步骤2，重新选择最优处理模式后，继 续监控。或是可人为的设定刷新时间，重复步骤2.
进一步的，当需要对目标区域进行放大显示时，步骤4中输出显示之前进 行下述步骤通过检测跟踪技术得到目标位置，然后将目标区域放大并将放大 图像实时输出。
作为优选方案，在步骤2中，采集的图像较大时，先进行缩小处理后再进行预处理；
步骤4中，输出显示的图像可将全图像和目标放大图的切换显示，也可将
二者叠加显示。
以下对本发明的工作过程及原理进行进一步说明
1) 运用摄像装置采集监控区域的图像，并将采集的图像导入处理装置；
2) 进行图像多模式处理与多模式显示
该步骤以多种不同的图像处理方法对采集到的序列图像中的某一幅数字图 像作多种基本处理，例如对比度增强、平滑、锐化、高光、直方图均衡化、伪 彩色增强、亮度调整等等。输入的数字图像可以是彩色的，也可以是灰度的。 对于比较大的数字图像，为了保证处理的速度，可将图像先縮小后再做各种预 处理。
多种基本处理完成后，将输入图像原始图和经过各种处理后的效果图同时 显示出来，以供选择。
3) 选择图像处理模式
预处理结束后，根据图像处理效果的好坏对处理模式进行择优选取。 在要求全自动使用的场合，根据图像质量评价函数自动对每种预处理后的 图像质量进行评价，并择优选择图像处理模式或者事先就约定好使用哪种处理 模式。在允许人工干预的场合，可根据主观感觉来选择效果最好的处理模式。 有的图像处理模式算法上受参数影响比较大，还可对该算法的参数进行人工调 节，以使处理效果达到最好。
根据选择的图像处理模式是否单一，可分为单模式选择和复合模式选择。 单模式选择是指从多种预设的处理模式中选择一种直接作为最终应用的处理模 式；复合模式选择是指从预设的处理模式中选择多种模式，将这多种模式以一 定的顺序组合起来使用作为最终应用的处理模式。4) 按所选模式对图像进行处理
图像处理模式选定以后，后续采集的图像都先以此处理模式进行预处理后， 再实时输出。在观察的过程中，图像处理模式的选择发生改变时，输出的图像 也会有相应的变化。此外，可在输出的图像上叠加一些信息，如目标的速度、 姿态等。
5) 目标区域的放大处理
在需要对目标区域进行放大显示的情况下，先通过对目标进行检测跟踪得 到目标位置，然后根据目标位置将目标区域放大并将放大图像实时输出。
在要求全自动处理的场合，采用运动目标的检测跟踪技术对目标进行自动 检测跟踪。可采用自动检测方法包括差图像法、光流法、基于主动轮廓线模型 的方法、基于统计模型的方法、基于高阶统计的方法、基于小波的方法或基于 神经网络的方法等等。
在允许人工干预的场合，可人工在最初的图像上设置跟踪点。
检测出目标或设置跟踪点以后，运用跟踪技术对目标进行实时跟踪，以确 定目标在每帧图像上的位置。可采用的跟踪算法包括灰度相关法、最小二乘法、 均值漂移法或粒子滤波法等等。
以目标为中心自动在图像中选择一块适当大小的区域，然后将此区域放大
以凸显目标细节，若原图像已经过预处理，可将放大图像直接实时输出；若原 图像未经过预处理，可对放大图像进行预处理后再实时输出，利于对目标的观 察和分析。
6) 由控制器将经过预处理的全图像或目标区域放大图像在显示装置上显示 出来。其中全图像和目标放大图的可切换显示，也可将二者叠加显示。
7) 在观察的过程中，各种图像预处理结果会自动刷新，以适应环境中光照、 背景等可能发生的变化，为模式的选择及变更提供依据。当环境发生变化时，上次选择的最佳的图像处理模式对目前的环境来说不一定是最佳的，所以有必 要及时更新处理模式，使图像在任何时刻的输出效果都能达到最佳。刷新间隔 可人为设定，也可自动根据原图像相邻几帧间方差、亮度等的变化大小来判断 成像环境是否发生变化，从而决定刷新时刻。
由以上可知，本发明提供了一种图像实时优化的监控系统及其方法，它可 实时提高原有输入图像的质量，改善图像的效果，并可放大目标区域、凸显目 标细节。在要求全自动处理的场合，使用图像评价函数评价分别经过各种模式 处理后的图像质量并择优选择处理模式或者事先就约定好使用哪种处理模式。 同时，在需要对图像中的目标进行放大显示时，先自动检测跟踪目标，然后放 大目标区域并实时输出。在允许人工干预的场合，可人工选择图像处理模式， 对一些受参数值影响较大的处理算法，可人工调节参数以使效果达到最佳，并 且也可人工在目标上设置跟踪点，对目标进行跟踪。系统中还可增加先进的图 像压縮算法，在保持图像高质量的前提下加快数据传递速度。
图1为现有技术中监控系统的结构示意图； 图2为本发明所述监控系统的结构示意图； 图3为本发明所述监控方法的流程框图； 上述附图中
1-摄像装置 2-图像处理装置 3-控制器 4-显示装置
5-图像处理计算机主机6-图像处理计算机的输入装置 7-图像处理计算机的显示装置
具体实施方式
结合附图2-3，以摄像机对海面上发射导弹场景进行观测为例来说明本发 明的实现技术及其过程。
本实施例中摄像装置1采用经纬仪，图像处理装置2和控制器3分别采用 图像处理计算机和控制计算机，其中图像处理计算机包括图像处理计算机主机 5、图像处理计算机的输入装置6和显示装置7。显示装置4采用的是液晶显示 屏，如图2所示，摄像装置接入图像处理装置，图像处理装置再通过控制器接 入显示装置。
如图3所示，其监控方法具体包括如下步骤
1) 用经纬仪以25帧/秒的帧频采集监控区域图像，得到包含导弹目标的序 列图像，并将采集的图像导入设备前端的图像处理计算机的主机内，如图2。
2) 在图像处理计算机的主机内进行多模式处理和多模式显示。从采集的图 像中抽取一幅原始图像做各种预处理，然后将预处理结果与原图同时显示在该 图像处理计算机的显示装置7上，以供选择。本实施例采用多种图像预处理算 法，包括现有技术中的对比度增强、平滑、锐化、高光、直方图均衡化、伪彩 色增强、亮度调整等等。
对于图像预处理算法，以对比度增强为例进行说明对比度增强是按一定 的规则逐点修改输入图像每一像素的灰度，从而改变图像灰度的动态范围。它 可以使灰度动态范围扩展，也可以使其压縮，或者是在某动态区中进行压縮而 在另外区间中进行扩展。适当选取像点灰度变换规则，可使图像中人们感兴趣 的图像区域之间的对比度提高。
设输入图像为/"力，处理后的图像为g(x,力，则对比度增强可以表示为
g0c，力=n/(x,力]，其中r表示输入图像和输出图像对应点灰度映射关系。
3) 在图像处理装置中进行图像显示模式选择。本实施例采用的全自动增强 处理，在图像处理计算机内运用图像评价函数对各种预处理结果自动进行评价，选出效果最好的处理模式，最后选出的最优处理模式为对比度增强模式。也可 通过图像处理计算机的输入装置，由人工选择出最优处理模式。
4) 图像处理装置按所选最优模式对图像进行处理。即后续的数字图像都将 先按上述选定的对比度增强模式进行预处理后再输入到(指挥)监控厅里的控
制计算机。当需要对目标区域进行放大显示时，转到5)，否则，转到6)。
5) 在图像处理装置中进行目标区域放大操作首先自动对目标进行检测跟 踪，得到目标位置，然后将目标区域进行放大并将放大图像输出到(指挥)监 控厅里的控制计算机。
本实施例中采用光流法实现对导弹的检测。光流法检测运动目标的基本原 理是给图像中的每一像素点赋予一个速度矢量，这就形成了一个图像运动场， 在运动的一个特定时刻，图像上的点和三维物体上的点一一对应，根据各个像 素点的速度矢量特征，可对图像进行动态分析。如果图像中没有运动目标，则 光流矢量在整个图像区域是连续变化的，当物体和图像背景存在相对运动时， 运动物体所形成的速度矢量必然和领域背景速度矢量不同，从而检测出运动物 体的位置。
实施例中运用灰度相关算法实现对导弹的跟踪。其中相关算法跟踪的基本 原理是比较两个图像在各个位置的相关系数，相关系数最大的点就是最佳匹 配位置。
6) 将控制计算机与(指挥)监控厅的显示装置一液晶显示屏进行连接，由 控制计算机将经过预处理的全图像或目标区域放大图像在液晶显示屏上显示出 来。其中全图像和目标放大图的可切换显示，也可将二者叠加显示。
7) 通过时钟模块控制预处理效果图每隔10秒自动刷新一次，即返回2)，
重复上述操作，以适应成像环境的变化。
权利要求
1、一种实时优化图像的监控系统，包括摄像装置和显示装置，其特征在于，还包括预处理装置和控制器，其中摄像装置的信号输出端连接有预处理装置的信号输入端，预处理装置的信号输出端接入控制器输入端，控制器输出端最后接入显示装置的信号输入端。
2、 一种实时优化图像的监控方法，其特征在于，包括如下步骤-1) 采集监控区域的图像；2) 从采集的图像中抽取一幅进行多种预处理，得到多种处理效果图后与原 图进行比较；3) 根据图像预处理效果选择其中一种模式或者选择多种模式组合成复合模 式作为最优处理模式；4) 后续采集的图像均按照选定的处理模式进行预处理后再实时输出显示；5) 当检测到成像环境改变时，重复步骤2，重新选择最优处理模式后，继续监控。
3、 根据权利要求2所述实时优化图像的监控方法，其特征在于，当需要对 目标区域进行放大显示时，步骤4中输出显示之前进行下述步骤通过检测跟 踪技术得到目标位置，然后将目标区域放大并将放大图像实时输出。
4、 根据权利要求2所述实时优化图像的监控方法，其特征在于，在步骤2中，采集的图像较大时，先进行縮小处理后再进行预处理。
5、 根据权利要求2所述实时优化图像的监控方法，其特征在于，输出显示 的图像将全图像和目标放大图的切换显示，或将二者叠加显示。
6、 根据权利要求2所述实时优化图像的监控方法，其特征在于，步骤5中 还可根据人为设定的刷新时间间隔，重复步骤2，重新选择最优处理模式。
7、 根据权利要求6所述实时优化图像的监控方法，其特征在于，设定的刷 新时间间隔为10秒。
8、根据权利要求2所述实时优化图像的监控方法，其特征在于，步骤5中检测成像环境改变的具体方法是根据像机采集的原图像相邻几帧间方差、亮 度的变化大小来判断成像环境是否改变。
全文摘要
本发明提出了一种实时优化图像的监控系统及其方法，首先通过各种处理模式对采集的监控图像进行预处理后，根据图像质量择优选择出最优处理模式或者事先约定好使用的最优处理模式，然后将通过该最优处理模式处理后的图像实时输出显示。本发明还可实时检测跟踪图像中目标的位置，并将目标区域实时放大输出显示。本发明能够实时提高原有输入图像的质量，改善图像的显示效果，并可放大目标区域、凸显目标细节。
文档编号G06T7/20GK101321270SQ20081003178
公开日2008年12月10日 申请日期2008年7月16日 优先权日2008年7月16日
发明者于起峰, 刘肖琳, 张小虎, 夏 杨, 阳 桂 申请人:中国人民解放军国防科学技术大学