一种用于视频监控或机器视觉领域的图像多谱段分析方法
【专利摘要】本发明公开了一种用于视频监控或机器视觉领域的图像多谱段分析方法，属于图像处理、视频监控、智能交通领域，特别一种应用于视频监控与机器视觉领域的视频图像直方图谱分段方法及局部谱段扩展拉伸到整个谱空间的方法。该方法将完整的视频图像的灰度直方图谱按需要进行分段，然后将感兴趣的谱段拉伸扩展到整个谱空间。本发明只将感兴趣的灰度谱段拉伸到整个谱空间，或逐个对每个谱段拉伸到整个谱空间，扩展了相应谱段对应图像的动态范围，提高了图像细节的可见度，很好地解决宽动态范围条件下视觉信息的感知和识别问题。同时，对不感兴趣的谱段可以去除，节省数据带宽。
【专利说明】一种用于视频监控或机器视觉领域的图像多谱段分析方法
【技术领域】
[0001]本发明涉及图像处理、视频监控、智能交通领域，特别涉及一种应用于视频监控与 机器视觉领域的视频图像直方图谱分段方法及局部谱段扩展拉伸到整个谱空间的方法。
【背景技术】
[0002]随着技术的发展和产业化的成熟,视频图像和机器视觉在从科学研究、工业生产、 军工、安防到通信、娱乐等各个领域得到广泛的应用。
[0003]真实场景光电成像信号的强度在有限的范围内分布。成像信号的强度在视频图像 上表现为亮暗等级。机器视觉中图像动态范围是指视频图像中从"最暗，，到"最亮"之间的 信号强度范围，而人类视觉系统的动态范围体现为图像对比度的感知。真实世界中的光电 信号的动态范围远超过了人类视觉感知的范围，同时也远超过一般光电传感器、图像显示 设备的表示范围。人类生理视觉的自适应能力可以动态感知差异亮度级别很大的不同区域 不同时空的场景。比如人眼睛无法对着太阳同时看书，是因为太阳光太亮，相对书本文字又 太暗，但是只对着书看就能看清。另外，从高亮的阳光下，突然走到房间里，就会感觉到房间 很黑，什么都看不到，但是到房间里一会儿就能适应房间内的光线，看清室内场景。
[0004] 大多数视觉信号采集和表现设备如摄像机和显示器都只能表示或者重现固定且 有限的动态范围，而图像数据，特别是实时视频图像数据量非常巨大，一般记录与传输设备 无法表示非常宽的动态范围图像，常采用动态范围压缩的方法在有限的比特数上表示实际 场景中光电信息。这些技术局限导致机器视觉的应用无法满足人类对外界的视觉感知的需 求，难以代替人眼睛实时监察实际场景，对人工智能、模式识别算法带来挑战。
[0005] 为了有效提取视频图像中的信息，提高对视频场景中的目标辨识度，需要对摄取 的视频图像进行处理。尽管目前已提出了很多方法，如直方图均衡化、对比度拉伸等，但效 果不佳，主要原因是现在的做法通常是将整个灰度谱作为整体进行处理，由图1可知，把灰 度谱范围由[ ηι，η6]整体拉伸扩展到[0, 255]，扩展范围有限，并不能真正改善视频图像的 对比度效果，例如图中区域A的部分处于灰度暗区，拉伸变换后仍处于灰度暗区，对应场景 仍然是细节不清、对比度小、目标辨识度低。
【发明内容】
[0006] 本发明的目的是在视频监控与机器视觉领域的视频摄像系统中提供一种对视频 图像灰度谱进行分割划分及分段扩展拉伸方法，将关注的谱段扩展到整个可用动态范围， 解决视频采集设备或显示器等只能采集或重现固定且动态范围有限的图像，使获取的视频 图像细节不清、对比度小、目标辨识度低，导致机器视觉的应用无法满足人类对外界的视觉 感知的需求，难以代替人眼睛实时监察的问题，使所关注的场景事物所呈现的图像细节更 清楚，以便对感兴趣的光电信号动态范围内的图像信息进行特殊的分析、处理、还原、传输 等。
[0007] 具体地说，本发明是采用以下的技术方案来实现的：一种用于视频监控或机器视 觉领域的图像多谱段分析方法，其特征在于，建立灰度谱，即建立YUV格式的视频图像中γ 分量的直方图；把完整的图像灰度谱按照不同的规则分割；取感兴趣的谱段并将其扩展到 整个谱空间；基于此扩展拉伸了图像感兴趣部分的对比度，使得细节呈现的更清楚，便于分 析与处理，具体包括如下步骤：
[0008] 1)建立视频图像灰度分量的直方图谱，
[0009] 设视频图像灰度分量的灰度等级范围，即谱空间，是[0,2Ν-1]，式中Ν为表示图像 灰度所用的比特数，第k灰度级的像素个数的函数
[0010] h (rk) = nk
[0011] 其中k = 0，l，"·，Μ-1是第k级灰度，nk表示图像中灰度级为rk的像素个数；
[0012] 2)建立控制逻辑，确定谱段分割方法及每个谱段变换函数的形式及参数；
[0013] 3)将步骤1)所得到的视频图像灰度分量的直方图谱分割成段；
[0014] 4)建立谱段变换函数，将选择的灰度谱段采用谱段变换函数进行灰度谱扩展；
[0015] 5)将变换后的灰度连同原来的颜色分量重新构成YUV格式，输出该谱段拉伸扩谱 后的图像。
[0016] 上述技术方案的进一步特征在于，步骤2)控制逻辑根据视频图像特性和应用需 求确定直方图谱分段方法，及谱段变换函数的形式及参数，最简单的变换函数是分区线性 函数。
[0017] 上述技术方案的进一步特征在于，步骤3)将视频图像灰度分量的直方图谱分割 成段的方法，包括，
[0018] 直方图谷值划分法：
[0019]确定直方图谱的所有谷值，即灰度值点包括n!，n2, n3, n4, n5, n6,将直方图谱划分为 区间包括 ΙΧ,γ^], [n3,n4], [n5，n6];
[0020] 直方图窗口扫描法：
[0021 ] 根据分割需要，动态确定一个灰度级范围窗口 [Ci, c2]，窗口大小可以动态改变，窗 口动态在灰度轴上移动来选择需要拉伸的灰度谱段。
[0022]本发明的有益效果如下：对比度对视觉效果的影响非常关键，高对比度对于图像 的清晰度、细节表现、灰度层次表现都有很大益处。本发明所提出的方法只将感兴趣的灰度 谱段拉伸到整个谱段，或逐个对每个谱段拉伸到整个谱段，使每个谱段扩展的范围更大，细 节可见性更高，很好地解决宽动态范围条件下视觉信息的感知和识别问题。同时，对不感兴 趣的谱段可以去除，节省数据带宽。另一方面，所提方法运算复杂度很低、数据吞吐也很低， 能够满足高时空分辨率的实时视频处理的要求。
【专利附图】
【附图说明】
[0023]图1是图像灰度直方图分段的情况，为典型的多目标复杂场景的视 频图像灰度分布直方图。以常用的8比特灰度图像表示为例，从灰度轴可以 看到只有[η" n2]，[n3, n4]，[n5, n6]几个区间被利用表示图像的亮度，而区间 [0，nj，[n2，n3], [n4，n5]，[n6,255]被浪费，图像信息压缩到几段狭窄的灰度谱段中，导致的 视觉效果是场景中不同物体/目标的细节非常不清晰，对比度/反差很小，目标辨识度低， 严重影响视频监控和机器视觉的应用效果。 ~ ?
[0024] 图2是视频图像谱段变换函数示例；
[0025] 图3是将图1中谱段B扩展拉伸到整个谱空间的示意图；
[0026] 图4是视频图像多谱段分析方法；
[0027] 图5是图像灰度直方图连续的情况；
[0028] 图6是典型摄像机交通成像图；
[0029] 图7是以牌照为目标进行多谱段分析后的图像；
[0030] 图8是综合多目标进行多谱段分析后的图像；
[0031] 图9是以司机为目标进行多谱段分析后的图像。
【具体实施方式】 _
[0032] 根据人眼视觉特性的特点，针对视频采集设备或显示器等只能采集或重现固定动 态范围的图像，导致机器视觉的应用无法满足人类对外界的视觉感知的需求，难以代替人 眼睛实时监察的问题，本发明提供了一种视频图像直方图灰度谱进行分割划分及分段扩展 方法，将完整的视频图像的灰度直方图谱按照不同应用进行分割成谱段，然后取感兴趣的 谱段拉伸扩展到整个谱空间，提高感兴趣谱段图像的对比度，再进行相关分析与处理。
[0033] 例如，图1中的谱段B被扩展拉伸到整个谱空间，如图3所示。针对整个场景中不 同灰度谱段的目标区域进行分析，扩谱后每个谱段都充满整个8比特谱空间。这样形成的 效果是对关注区域进行动态对比度拉升。这样对关注的场景目标可以观察识别更多的细 节。就如信号处理中常用的分段频谱分析方法，可以很低的采样率更精确的分析，通过移动 分析窗口，可使分析覆盖整个有用的谱段。不关注的谱段不需要分析，节省带宽和分析工 作。
[0034] 图4是具体实施方案；
[0035] 步骤401摄取视频图像：
[0036] 视频图像格式为YUV，只对Y分量即灰度分量，也称为亮度分量，进行直方图谱划 分分割和变换。
[0037] 步骤402建立视频图像灰度分量的直方图：
[0038]图像灰度等级范围，即谱空间，是[o,2N-i]，n表示图像灰度所用的比特数，常用的 比特数是8 ;第k灰度级的像素个数的函数
[0039] h (rk) = nk
[0040] 其中k = 0，l，"·，Μ-1是第k级灰度，nk表示图像中灰度级为rk的像素个数。
[0041] 图像的直方图谱有不同的分布，两种特殊的情况如图1和图5所示，图1显示的直 方图谱是分段的，而图5显示的直方图谱是连续的，实际的图像谱是它们的各自组合。
[0042] 步骤4〇3分割4〇2步骤所得到的视频图像灰度直方图谱成段：
[0043] 根据直方图特性或应用的需求，采用不用的分割方法，这里示例两种方法：
[0044] 方法一，直方图谷值划分法：
[0045] 确定直方图谱的所有谷值，例如图1中的η" n2, n3, n4, n5, n6灰度值点，将直方图谱 划分为区间 IX, n2]，[n3，n4]，[n5，n6];
[0046] 方法二，直方图窗口扫描法：
[0047] 根据分割需要，动态确定一个灰度级范围窗口 [Cl，c2]，窗口大小可以动态改变. 窗口动态在灰度轴上移动来选择需要拉伸的灰度谱段；
[0048] 把直方图按照具体精度要求划分成数个谱段，由低到高逐个分析。
[0049] 步骤404建立谱段变换函数，将选择的灰度谱段采用谱段变换函数进行谱扩展：
[0050] 根据应用的不同，变换函数可以有不同的形式。最简单的变换函数是分区线性函 数，如图2所示。图2中，g(x, y)表示原图像像素位置（X，y)的图像灰度值，[h, n4]为从 原灰度谱中选取的谱段，t(x，y)是变换后的图像灰度值，[n^mj为变换后的灰度谱段，如 果叫=0，m4 = 2N-1，则将原谱段变换到整个可用谱段。将变换后的灰度谱分为三个区：暗 区、正常区和亮区。不同区域，变换函数有不同的特性，例如线性变换的斜率不同：暗区、正 常区和亮区分别对应的斜率为k 3, k2和&。变换函数的数学模型例如下：
[0051]
【权利要求】
1. 一种用于视频监控或机器视觉领域的图像多谱段分析方法，其特征在于，建立灰度 谱，即建立YUV格式的视频图像中Υ分量的直方图；把完整的图像灰度谱按照不同的规则分 害IJ ;取感兴趣的谱段并将其扩展到整个谱空间；基于此扩展拉伸了图像感兴趣部分的对比 度，使得细节呈现的更清楚，便于分析与处理，具体包括如下步骤： 1) 建立视频图像灰度分量的直方图谱； 设视频图像灰度分量，即Υ分量的灰度等级范围，即谱空间，是[〇, 2Ν-1]，式中Ν为表示 图像灰度所用的比特数，第k灰度级的像素个数的函数 h (rk) = nk 其中k = 0,1，…，Μ-1是第k级灰度，nk表示图像中灰度级为rk的像素个数； 2) 建立控制逻辑，确定谱段分割方法、每个谱段的变换函数的形式及参数； 3) 将步骤1)所得到的视频图像灰度分量的直方图谱分割成段； 4) 建立谱段变换函数，将选择的灰度谱段采用谱段变换函数进行灰度谱扩展； 5) 将变换后的灰度连同原来的颜色分量重新构成YUV格式，输出该谱段拉伸扩谱后的 图像。
2. 根据权利要求1所述的图像多谱段分析方法，其特征在于，步骤2)控制逻辑根据视 频图像特性和应用需求确定直方图谱分段方法、每个谱段变换函数的形式及参数，最简单 的变换函数是分区线性函数。 ^
3. 根据权利要求1所述的图像多谱段分析方法，其特征在于，步骤3)将视频图像灰度 分量的直方图谱分割成段的方法，包括， ' 直方图谷值划分法： 确定直方图谱的所有谷值，即灰度值点包括η" n2, n3, n4, n5, n6,将直方图谱划分为区间 "Si? [n1,n2], [n3, n4], [n5, n6]； 直方图窗口扫描法： 根据分割需要，动态确定一个灰度级范围窗口 [c" c2]，窗口大小可以动态改变，窗口动 态在灰度轴上移动来选择需要拉伸的灰度谱段。 ^ ?
【文档编号】G06T7/00GK104217434SQ201410449759
【公开日】2014年12月17日 申请日期:2014年9月4日 优先权日:2014年9月4日
【发明者】王兴国, 郑伟国, 穆科明 申请人:南京杰迈视讯科技有限公司