专利名称：一种视频图像纹理特征提取和结构化描述的系统和方法
技术领域：
本发明涉及视频图像处理领域，特别涉及图像纹理特征提取技术领域，具体是指一种基于嵌入式系统的视频图像纹理特征提取和结构化描述的方法。
背景技术：
伴随着科技的飞速发展，视频监控技术日新月异。目前的视频监控主要以人工监控及人工查阅录像资料来查找证据和线索为主。现有的原始视频图像数据属于一种难以进行检索、查询的非结构化数据，如果需要通过视频录像来查找某个线索或者细节，必须采用人工调阅该录像视频片断方法，对该视频录像进行完整的分析，消耗大量的人力，物力。鉴于此种情况，如何从海量图像数据中搜索人们感兴趣的图像并有效利用这些图像，成为迫切需要解决的问题。基于内容的图像检索(CBIR)是解决这一问题的重要技术之一。基于 内容的图像检索是指利用图像内容特征(包括形状特征、颜色特征、纹理特征)对图像进行检索、查询。现有技术中，申请号为200310118093. X的中国专利文献中公开了一种形状描述符抽取方法和一种图像搜索方法，能够达到对活动视频进行压缩处理，并能基于该活动视频压缩技术进行图像搜索的目的。申请号为200910200590的中国专利文献中公开了一种图像主颜色特征提取和结构化描述的方法，通过比较两幅图像主颜色特征之间的相似程度来判别两幅图像的相似性，快速查找到相同或相似的图像，处理过程简单方便，工作性能稳定可靠，广泛用于图像检索、机器视觉和智能视频监控领域。图像的纹理特征作为一种重要的图像视觉特征，在图像检索和视频图像分析方面有重要的应用价值，但是在现有技术中，目前还没有基于嵌入式系统的图像纹理特征提取和结构化描述方面相关的解决方案。
发明内容
本发明针对现有视频图像处理技术在精度和可靠性所存在的缺陷，利用嵌入式双核DSP技术，提供一种能够精确有效地对图像纹理特征提取和结构化描述系统，该系统的处理过程简单方便、工作性能稳定可靠、适用范围较为广泛。为了达到上述目的，本发明采用如下的技术方案一种视频图像纹理特征提取和结构化描述的系统，所述系统包括视频图像采集模块，所述视频图像采集模块实时采集视频图像；图像A\D采样模块，所述图像A\D采用模块对视频图像采集模块采集的视频图像进行数据采样；双核DSP数字信号处理器芯片，所述双核DSP数字信号处理器芯片对图像A\D采样模块采集的数据进行处理；图像分割模块，所述图像分割模块受双核DSP数字信号处理器芯片控制将图像A\D采样模块采集的图像分割成若干子图像；
二维Gabor小波模块,所述二维Gabor小波模块受双核DSP数字信号处理器芯片控制对各个子图像进行二维Gabor小波滤波处理；纹理特征提取模块，所述纹理特征提取模块受双核DSP数字信号处理器芯片控制提取经滤波处理后子图像的纹理特征；分类判别模块，所述分类判别模块受双核DSP数字信号处理器芯片控制将纹理特征提取模块提取的纹理特征与BiOdatz标准纹理库进行匹配、判别，并分类处理；结构化描述模块，所述结构化描述模块受双核DSP数字信号处理器芯片控制对由纹理特征提取模块提取的各个子图像的纹理特征和经分类判别模块分类判别产生的结果进行描述，产生关于图像属性和内容的描述数据。在系统的优选方案中，所述双核DSP数字信号处理器芯片包括ARM核和DSP核，所述ARM核控制图像A\D采样模块、分类判别模块以及结构化描述模块；所述DSP核控制图像分割模块、二维Gabor小波模块以及纹理特征提取模块。 进一步的，所述双核DSP数字信号处理器芯片为双核DSP处理器DM6467。进一步的，所述系统还包括查询、检索和浏览模块，该模块受双核DSP数字信号处理器芯片控制。进一步的，所述系统还包括外部高速动态存储器SDRAM、外部程序与数据存储器以及USB接口设备，所述外部高速动态存储器SDRAM、外部程序与数据存储器以及USB接口设备分别与双核DSP数字信号处理器芯片数据相接。作为本发明的第二目的，本发明还提供一种视频图像纹理特征提取和结构化描述的方法，该方法包括如下步骤(I)将采集到的模拟视频图像信息进行数字化处理，得到关于图像的比特流；(2)将得到的数字图像分割成若干子图像；(3)对各个子图像进行二维Gabor小波滤波处理；(4)对经过滤波处理的子图像进行纹理特征提取；(5)将提取到的纹理特征值与BiOdatz标准纹理库进行匹配、判别，并分类处理；(6)对分类判别的结果和提取到的纹理特征值进行描述，得到有关图像属性和内容的描述数据。在方法的优选方案中，所述步骤(I)、步骤(5)以及步骤(6)由双核DSP数字信号处理器芯片中AMR核控制完成；步骤(2)至步骤(4)由双核DSP数字信号处理器芯片中DSP核控制完成。进一步的，所述步骤(3)进行二维Gabor滤波，其函数表示为
II X2 Τ(^ν) = [--] exp[- - (^t + -^-τ) + 2π] Wx]
2πσχσν2 σχ σ~其中，W是高斯函数复调制频率。进一步的，所述步骤(6)中描述数据采用二进制的XML语言进行编写。进一步的，所述方法还包括通过结构化描述语句对视频进行查询、检索和浏览的步骤。本发明提出具有视频图像纹理特征提取和结构化描述功能的嵌入式系统能够对监控视频进行结构化描述，产生关于其属性和内容的描述信息。该描述信息可用以查询、浏览和检索，节省大量的人力、物力，并能更加有效地对监控视频进行操作和管理。再者，本发明提供的方法能够精确有效地对图像纹理特征提取和结构化描述，整个处理过程简单方便、工作性能稳定可靠、适用范围较为广泛。
以下结合附图和具体实施方式
来进一步说明本发明。图I为本发明图像纹理特征提取和结构化描述系统的框架组成示意图。图2为本发明图像纹理特征提取和视频结构化描述系统的工作过程示例。
具体实施例方式为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结 合具体图示，进一步阐述本发明。参见
图1，本发明提出了一种基于嵌入式系统的视频图像纹理特征提取和结构化描述系统100，其包括一个双核DSP数字信号处理器芯片108、视频图像采集模块101、图像A\D采样模块102、图像分割模块103、二维Gabor小波模块104、纹理特征提取模块105、分类判别模块106、结构化描述模块107、查询、检索和浏览模块113及外部高速动态存储器SDRAM (110)、外部程序与数据存储器111、USB接口设备112以及电源控制模块109。其中，视频图像采集模块101与图像A\D采样模块102及双核DSP数字信号处理器芯片108之间依次连接，将采集的图像通过视频数据总线传至双核DSP数字信号处理器芯片108。双核DSP数字信号处理器芯片108依次控制图像分割模块103、二维Gabor小波模块104、纹理特征提取模块105、分类判别模块106以及结构化描述模块107对接收的数据进行结构化描述处理。查询、检索和浏览模块113与结构化描述模块107数据相接。外部高速动态存储器SDRAM(110)、外部程序与数据存储器111与双核DSP数字信号处理器芯片108相互连接。USB接口设备112通过数据接口与双核DSP数字信号处理器芯片108相互连接。电源控制模块109为系统中各模块提供稳定的工作电源。在本发明中，双核DSP数字信号处理器芯片108采用TI公司的TMS320C6000系列DM6467双核DSP嵌入式处理器。该处理器具有ARM核及DSP核，两核相互协同完成处理。同时该处理器拥有128MBytes的NANDFlash存储和256MBytes的DDR，并且具有高清输入和输出，能够更好的满足现代视频监控中对高分辨率的要求。图像A\D采样模块102采用TVP5146芯片，该芯片可以配置成六路复合视频信号输入或二路YPbPr分量输入或S-Video和两路复合视频信号输入等多种方式。该模块将视频图像采集模块101在双核DSP数字信号处理器芯片108中ARM核的控制下将采集的模拟视频图像信号转换为数字图像序列。图像分割模块103，该模块在双核DSP数字信号处理器芯片108中DSP核的控制下将图像A\D采样模块102采集的图像分割成若干子图像。二维Gabor小波模块104，该模块在双核DSP数字信号处理器芯片108中DSP核的控制下对分割好的各个子图像进行二维Gabor小波滤波处理。纹理特征提取模块105，该模块在双核DSP数字信号处理器芯片108中DSP核的控制下提取经滤波处理后子图像的纹理特征。分类判别模块106，该模块在双核DSP数字信号处理器芯片108中ARM核的控制下将纹理特征提取模块提取的纹理特征与BiOdatz标准纹理库进行匹配、判别，并分类处理。结构化描述模块107，该模块在双核DSP数字信号处理器芯片108中ARM核的控制下对由纹理特征提取模块提取的各个子图像的纹理特征和经分类判别模块分类判别产生的结果进行描述，产生关于图像属性和内容的描述数据。查询、检索和浏览模块113通过结构化描述模块107得到的结构化描述语句，可以对视频进行查询、检索和浏览，便于监控操作应用与管理。基于上述系统，本发明进行视频图像纹理特征提取和结构化描述的过程由双核DSP中ARM核及DSP核协同处理完成，主要通过如下处理步骤实现I.视频图像采集通过视频图像采集模块101获取监控摄像头所得的视频图像，为后面进行图像A\D采样提供视频图像来源。2.图像A\D采样双核DSP数字信号处理器芯片108中ARM核控制图像A\D采样模块将采集到的模拟视频图像信息进行数字化处理，得到关于图像的比特流。3.图像分割双核DSP数字信号处理器芯片108中DSP核控制图像分割模块根据图像中事物的边缘把经过图像A\D采样得到的视频图像分割成若干子图像。4. 二维Gabor小波滤波双核DSP数字信号处理器芯片108中DSP核控制二维Gabor小波模块对分割处理后的子图像进行二维Gabor小波滤波处理。本实施例中二维Gabor小波中的二维Gabor滤波，其函数可以表示为= ^~]exp[-^(-^T+^-T-) + 2^/Wv]
2 冗 W2 σ·/ σ/其中，W是高斯函数复调制频率。则g(x, y)的 Fourier 变换 G (u, v)为
f I r(//- Ml2 V2 .G(u,v) = exp{--.-[-———-+ ~τ]}
2σ;其中，σu=l/2 π σ χ, σ ν=1/2 π σ y。使用g(x，y)作为母函数，通过对g(x，y)进行适度尺度扩张和旋转变换，可以得到一组自相似的滤波器，即为Gabor小波g.(x, y) =a_mg(χ' , γ' )，a>l，m，n 为整数χ1 =a_m(xcos Θ +ysin θ ), χ, =a-m(_xsin θ +ycos θ )式中，θ = ηπ/k，且k是方向的数目，m和η分别表示相应的尺度和方向n e
，式子中的尺度因子a_m保证能量大小与m无关。根据傅立叶变换的线性特性，有
u' =a_m(ucos Θ +vsin θ )，v' =a-m(_u sin Θ +vsin Θ )通过改变m和n的值，就可以得到一组尺度和方向都不相同的滤波器。对于给定的一幅图像I (X，y)，它的离散小波变换可以定义为
权利要求
1.一种视频图像纹理特征提取和结构化描述的系统，其特征在于，所述系统包括 视频图像采集模块，所述视频图像采集模块实时采集视频图像； 图像A\D采样模块，所述图像A\D采用模块对视频图像采集模块采集的视频图像进行数据采样； 双核DSP数字信号处理器芯片，所述双核DSP数字信号处理器芯片对图像A\D采样模块采集的数据进行处理； 图像分割模块，所述图像分割模块受双核DSP数字信号处理器芯片控制将图像A\D采样模块采集的图像分割成若干子图像； 二维Gabor小波模块，所述二维Gabor小波模块受双核DSP数字信号处理器芯片控制对各个子图像进行二维Gabor小波滤波处理； 纹理特征提取模块，所述纹理特征提取模块受双核DSP数字信号处理器芯片控制提取经滤波处理后子图像的纹理特征； 分类判别模块，所述分类判别模块受双核DSP数字信号处理器芯片控制将纹理特征提取模块提取的纹理特征与BiOdatz标准纹理库进行匹配、判别，并分类处理； 结构化描述模块，所述结构化描述模块受双核DSP数字信号处理器芯片控制对由纹理特征提取模块提取的各个子图像的纹理特征和经分类判别模块分类判别产生的结果进行描述，产生关于图像属性和内容的描述数据。
2.根据权利要求I所述的一种视频图像纹理特征提取和结构化描述的系统，其特征在于，所述双核DSP数字信号处理器芯片包括ARM核和DSP核，所述ARM核控制图像A\D采样模块、分类判别模块以及结构化描述模块；所述DSP核控制图像分割模块、二维Gabor小波模块以及纹理特征提取模块。
3.根据权利要求I所述的一种视频图像纹理特征提取和结构化描述的系统，其特征在于，所述双核DSP数字信号处理器芯片为双核DSP处理器DM6467。
4.根据权利要求I所述的一种视频图像纹理特征提取和结构化描述的系统，其特征在于，所述系统还包括查询、检索和浏览模块，该模块受双核DSP数字信号处理器芯片控制。
5.根据权利要求I所述的一种视频图像纹理特征提取和结构化描述的系统，其特征在于，所述系统还包括外部高速动态存储器SDRAM、外部程序与数据存储器以及USB接口设备，所述外部高速动态存储器SDRAM、外部程序与数据存储器以及USB接口设备分别与双核DSP数字信号处理器芯片数据相接。
6.一种视频图像纹理特征提取和结构化描述的方法，其特征在于，所述方法包括如下步骤 (1)将采集到的模拟视频图像信息进行数字化处理，得到关于图像的比特流； (2)将得到的数字图像分割成若干子图像； (3)对各个子图像进行二维Gabor小波滤波处理； (4)对经过滤波处理的子图像进行纹理特征提取； (5)将提取到的纹理特征值与BiOdatz标准纹理库进行匹配、判别，并分类处理； (6)对分类判别的结果和提取到的纹理特征值进行描述，得到有关图像属性和内容的描述数据。
7.根据权利要求6所述的一种视频图像纹理特征提取和结构化描述的方法，其特征在于，所述步骤(I)、步骤(5)以及步骤(6)由双核DSP数字信号处理器芯片中AMR核控制完成；步骤(2)至步骤(4)由双核DSP数字信号处理器芯片中DSP核控制完成。
8.根据权利要求6所述的一种视频图像纹理特征提取和结构化描述的方法，其特征在于，所述步骤(3)进行二维Gabor滤波，其函数表示为
9.根据权利要求6所述的一种视频图像纹理特征提取和结构化描述的方法，其特征在于，所述步骤(6 )中描述数据采用二进制的XML语言进行编写。
10.根据权利要求6所述的一种视频图像纹理特征提取和结构化描述的方法，其特征在于，所述方法还包括通过结构化描述语句对视频进行查询、检索和浏览的步骤。
全文摘要
本发明公开了一种视频图像纹理特征提取和结构化描述的系统和方法，本发明在双核DSP数字信号处理器芯片控制下，视频图像采集模块实时地采集图像，经过A\D采样模块处理后进行图像分割，得到若干子图像，二维Gabor小波模块对子图像进行滤波处理，再经过纹理特征提取模块提取得到子图像的纹理特征，分类判别模块根据提取的纹理特征与Brodatz标准纹理库进行特征匹配，最后由结构化描述模块将纹理特征和关于图像属性及内容的分类判别结果进行结构化描述。本发明提供的方法能够从非结构化的视频图像信息中提取纹理特征并进行结构化描述，可实现对视频图像内容的查询、检索和浏览，便于视频监控的有效应用和管理。
文档编号G06T7/40GK102903126SQ20121028096
公开日2013年1月30日 申请日期2012年8月8日 优先权日2012年8月8日
发明者汤志伟, 刘云淮, 梅林 , 齐力, 沈冬青, 李震宇, 杨明, 江洪, 李万才, 陈龙虎, 李盼, 王波 申请人:公安部第三研究所