一种基于DSP的视频帧稀疏性检测系统及数据处理方法与流程

本发明涉及图像、视频信号处理技术领域，特别是涉及压缩成像系统硬件实现领域的压缩观测次数获取方法。

背景技术：

压缩感知(compressivesensing，cs)成像是近十年发展起来的一项新理论和技术。传统信号采样都必须遵守奈奎斯特采样定理，其采样频率至少为信号最高频率的两倍；传统图像视频基于奈奎斯特采样，再采用h.264等压缩方法进行压缩，丢弃大量冗余信息，浪费大量的存储空间和计算资源。而压缩感知以信号稀疏表示理论为前提，充分利用了信号本身的结构稀疏性，通过选择合适的测量矩阵，以远低于奈奎斯特采样率实现信号同时压缩和采样。压缩感知理论带来了信号采集理论的变革，在模拟信息转换、压缩成像、雷达成像、医学成像和无线传感网络等领域有广阔的应用前景。

近年来，国内外学者对基于压缩感知的成像系统进行了大量研究，这些研究大都围绕着实现空间光调制的目的。2006年，rice大学baraniuk等提出利用数字微镜器件(dmd)和单像素探测器的单像素照相机，但控制复杂、成本高，实时性差。mit的fergus等提出了基于随机反射镜面的随机镜头相机模型，有超分辨率和深度估计能力，但镜头校准复杂耗时，存储需求大、成像速度低。duke大学的comp-i研究组提出基于编码孔径技术的成像系统，但该系统结构复杂、实现困难。robucci等(2008)提出了cmos压缩成像装置，但同样该系统存储需求大、功耗较大，实现复杂。jacques等(2009)提出基于随机卷积的cmos压缩成像方法，该系统实现简单，但图像获取效率低、功耗大。目前压缩成像研究都是利用非自适应线性投影，需要假设视频帧稀疏性固定，用固定的测量矩阵进行相等次数的压缩观测，但实际场景视频帧的稀疏并非固定不变的。若稀疏性变差，需增加压缩观测值才能确保重构质量。因此，非自适应的压缩成像影响了视频帧的重构质量。

研究人员提出基于最优测量矩阵的贝叶斯压缩感知，但计算最优测量矩阵复杂耗时，不能用于实际场景压缩成像。一些研究者提出逼近信号稀疏性的自适应统计模型，如高斯混合模型和自回归模型等，但这些模型逼近视频信号的稀疏性是否合理并不清楚。可见，自适应压缩采样的实现还在研究阶段，视频帧自适应压缩感知成像领域存在着较多的技术瓶颈。

总之，现行压缩感知研究大都非自适应的压缩感知成像，缺乏图像稀疏性信息。为此，如果能够通过某一种途径有效测量场景的稀疏特性，就能有根据的设定压缩采样率，完成视频场景的压缩采样，就能确保视频帧的重构质量，为视频自适应压缩感知提供有效先验信息。

技术实现要素：

基于上述技术问题，本发明提出了一种基于dsp的视频帧稀疏性检测系统及数据处理方法，该方法以视频摄像头为基础，通过解码单元获得视频帧数字图像，再将每帧图像进行二维稀疏变换，并对稀疏变换系数进行归一化处理并按降序排列，然后统计给定阈值下的较大稀疏个数，并计算视频帧的稀疏特性，从而完成视频帧的稀疏特性测量。

本发明公开了一种基于dsp的视频帧稀疏性检测系统，包括：

dsp处理器，用于完成从解码单元的解码芯片中读取视频帧，利用彩色图像灰度变换算法、图像二维稀疏变换算法、图像变换系数能量统计算法、变换系数能量归一化算法、系数原址降序排序算法以及能量阈值筛选方法对视频帧进行数据处理运算；

视频摄像头，用于对监测场景进行数字成像，并对成像的视频帧信号模拟视频流信号输出；

解码单元，用于将视频摄像头的视频输入信号转变为数字信号流的形式，完成视频帧的解码并传送给dsp处理器；

时钟电路，用于产生测量系统所用的时钟信号；

flash程序存储器，用于存储dsp处理器所用的各种数据处理算法程序；

数据存储器ddr2，用于存储从解码单元读取的原始视频帧和该视频帧处理过程中的所有数字图像信息；

显示单元，用于显示图像及系统的处理结果；

电源模块，用于供给测量系统所需电源；

所述dsp处理器分别连接解码单元、时钟电路、flash程序存储器、数据存储器ddr2、显示单元和电源模块，dsp处理器上设有接口单元，该系统采用dsp控制器定量计算图像的稀疏特性。

本发明系统中，进一步地：

所述dsp处理器采用ti达芬奇系列dm6437芯片。

所述视频摄像头采用ccd监控摄像头。

所述解码单元采用tvp5146单芯片数字视频解码器。

所述时钟电路采用可编程时钟发生器cy22381芯片。

所述flash程序存储器，采用三星nandflashk9f1208uom存储器。

所述数据存储器ddr2采用两片k4t51163qgddr2芯片。

本发明进而给出了一种基于dsp的视频帧稀疏性检测的数据处理方法，包括以下步骤：

初始化：视频摄像头工作相关初始化设置；解码单元工作相关初始化设置；给定能量阈值a；

步骤1：从视频摄像头读取完整的一帧彩色视频帧图像数据i(i,j)，保存到存储器ddr2；

步骤2：调用图像灰度变换算法，将保存的彩色视频帧图像i(i,j)转换为灰度图像ig(i,j)，保存到存储器ddr2；

步骤3：调用图像二维稀疏变换算法，将步骤2处理后的灰度图像进行二维稀疏变换，然后将二维稀疏变换系数w(i,j)保存到存储器ddr2；

步骤4：利用图像变换系数能量统计算法，统计步骤3中得到二维稀疏变换系数的总能量e；

步骤5：基于变换系数能量归一化法，将二维稀疏变换系数除以总能量的平方根，并保存到变换系数原来的存储器单元；

步骤6：基于系数原址降序排列方法，将步骤5处理后归一化的二维稀疏变换系数w1(i,j)按绝对值大小进行原址降序排列，得到降序排列系数x(k)，存放到变换系数原来的存储器单元；

步骤7：基于能量阈值筛选方法，对步骤6得到的降序排列系数x(k)，筛选能量和大于阈值a的大系数数目n；

步骤8：利用步骤7得到的大系数个数计算视频帧的稀疏系数s；

步骤9：显示和输出视频帧的稀疏度系数。

本发明方法中，进一步地：

所述步骤2中，图像灰度变换算法计算公式为：

gray＝0.299r+0.587g+0.114b

式中，r、g、b分别为彩色图像像素的红、绿、蓝色度值。

所述步骤3中，采用二维离散小波进行二维稀疏变换，具体处理过程为：

设灰度图像ig(i,j)，小波低通滤波器和高通滤波器系数分别为h0(i)和h1(i)；

1)在第一层，用h0(-i)和h1(-i)分别与灰度图像ig(i,j)的每行作卷积并丢弃奇数列；然后将此系数阵列的每列再与h0(-i)和h1(-i)相卷积，丢弃奇数行，即得第一层分解结果；

2)对第一层分解的低频系数，用h0(-i)和h1(-i)分别与低频系数的每行作卷积并丢弃奇数列；然后将此系数阵列的每列再与h0(-i)和h1(-i)相卷积，丢弃奇数行，即得第二层分解结果；

3)对第二层分解的低频系数，可按上述方法进行第三层分解，并得到最终的二维稀疏变换系数w(i,j)。

所述步骤4中，采用计算二位离散小波变换系数的总能量。

所述步骤5中，采用计算能量归一化的二维稀疏变换系数。

所述步骤7中，筛选能量和大于等于阈值a的大系数个数，具体处理过程为：

初始化：设归一化降序排列系数为x(k)；并令e0＝0，k＝1，n＝0；

1)计算能量和e0＝e0+x(k)；

2)大系数个数统计n＝n+1；

3)判断条件e0>a是否成立；若成立则转步骤5)；不成立则顺序执行；

4)迭代次数更新k＝k+1，则转步骤1)；

5)迭代结束，输出大系数个数n。

所述步骤8中，由下式得到视频帧的稀疏系数

s＝n/n

式中n为能量归一化的稀疏变换系数总个数。

与现有技术相比，常规稀疏分析手段都是通过软件仿真完成二维稀疏变换，并对系数变换结果进行显示，人为观测并定性地分析图像是否稀疏，不能定量估计和实时检测图像的稀疏度。进而，目前压缩采样研究及实现过程中只能根据定性稀疏分析来设定一个固定的压缩采样率，设定压缩采样率没有定量数据可以参考，从而影响视频帧压缩重构质量。

该系统通过摄像头模块完成视频，利用彩色图像灰度变换算法、二维稀疏变换算法、图像变换系数能量统计算法、图像变换系数能量归一化算法、系数原址降序排序算法以及能量阈值筛选方法等数据处理完成稀疏度的定量和实时检测，最终通过dsp硬件实现稀疏度的定量快速检测。该系统采用dsp硬件能够实时定量检测视频场景的稀疏特性，能够为自适应压缩成像提供一个有效的、实时的压缩观测次数先验信息，有利于自适应地选择压缩采样率，在确保视频帧有较高重构质量的前提下实现尽可能少的压缩观测次数，降低存储空间需求。

附图说明

图1为本发明的基于dsp处理器的视频帧稀疏性检测系统结构示意图；

图2为本发明的dsp数据处理流程图。

具体实施方式

图1是本发明的基于dsp的视频帧稀疏性检测系统结构示意图，本系统通过视频摄像头，用于采集场景的视频帧信息，该系统包括：

视频摄像头，采用ccd监控摄像头，用于对监测场景进行数字成像，并对成像的视频帧信号以pal制式模拟视频流信号输出；

解码单元，采用tvp5146单芯片数字视频解码器，将彩色摄像头的视频输入信号转变为数字信号流的形式。接收来自视频摄像头的pal模拟视频信号，将该模拟流解码成数字形式，得到视频帧解码后的数字图像信息，进而传送给dsp处理；

外部flash程序存储器，采用三星nandflashk9f1208uom，工作电压2.7-3.6v，64m，存取速度200us/页，用于存储dsp处理器所用的各种数据处理算法程序；

数据存储器ddr2，采用两片k4t51163qgddr2芯片，电源为1.8v，每片容量为32m*16b，共计2g大小的非易失性存储器sdram，用于存储从解码单元读取的原始视频帧、该视频帧处理过程中的所有数字图像信息；

dsp处理器，采用ti达芬奇系列dm6437芯片，完成从解码单元的解码芯片中读取视频帧，彩色图像灰度变换算法、图像二维稀疏变换算法、图像变换系数能量统计算法、变换系数归一化算法和系数排序算法以及能量阈值筛选方法等相关数据处理运算；

电源模块，采用多路tps54327实现，分别输出1.8v和3.3v等各种所需电源，电流为3a；

时钟电路，采用可编程时钟发生器cy22381芯片，产生解码芯片tvp5146所需的14.31818mhz时钟信号和dsp6437所需27mhz时钟输入由该时钟芯片；

显示单元，采用lcd显示屏，完成图像及处理结果的显示；

dsp处理器分别连接解码单元、时钟电路、flash程序存储器、数据存储器ddr2、显示单元和电源模块，dsp处理器上设有接口单元，该系统采用dsp控制器定量计算图像的稀疏特性。

如图2所示，本发明还提出了一种基于dsp的视频帧稀疏性检测的数据处理方法，包括以下步骤：

初始化：视频摄像头工作相关初始化设置；解码单元工作相关初始化设置；给定能量阈值a。

步骤1：从视频摄像头读取完整的一帧彩色视频帧图像i(i,j)，保存到存储器ddr2；

步骤2：调用图像灰度变换算法，将保存的彩色视频帧图像i(i,j)转换为灰度图像ig(i,j),保存到存储器ddr2；

图像灰度变换算法计算公式为gray＝0.299r+0.587g+0.114b，式中，r、g、b分别为像素的红绿蓝色度值；

步骤3：调用图像二维稀疏变换算法，将步骤2处理后的灰度图像进行二维稀疏变换，然后将二维稀疏变换系数保存到存储器ddr2；

采用二维离散小波进行二维稀疏变换，具体处理过程为：

设灰度图像ig(i,j)，小波低通滤波器和高通滤波器系数分别为h0(i)和h1(i)；

1)在第一层，用h0(-i)和h1(-i)分别与灰度图像ig(i,j)的每行作卷积并丢弃奇数列；然后将此系数阵列的每列再与h0(-i)和h1(-i)相卷积，丢弃奇数行，即得第一层分解结果；

2)对第一层分解的低频系数，用h0(-i)和h1(-i)分别与低频系数的每行作卷积并丢弃奇数列；然后将此系数阵列的每列再与h0(-i)和h1(-i)相卷积，丢弃奇数行，即得第二层分解结果；

3)对第二层分解的低频系数，可按上述方法进行第三层分解，并得到最终的二维稀疏变换系数w(i,j)。

步骤4：利用图像变换系数能量统计算法，统计步骤3中得到二维稀疏变换系数的总能量e。

采用计算二维稀疏变换系数的总能量，式中，w²(i,j)为变换系数w(i,j)的平方。

步骤5：基于变换系数能量归一化法，将二维稀疏变换系数除以总能量的平方根，并保存到变换系数原来的存储器单元。

采用计算能量归一化的二维稀疏变换系数，式中，为能量e的平方根。

步骤6：基于系数原址降序排列方法，将步骤5处理后归一化的二维稀疏变换系数w1(i,j)按绝对值大小进行原址降序排列，得到降序排列系数x(k)，存放到变换系数原来的存储器单元。

步骤7：基于能量阈值筛选方法，对步骤6得到的降序排列系数x(k)，筛选能量和大于阈值a的大系数数目n。

筛选能量和大于等于阈值a的大系数个数，具体处理过程为：

初始化：设归一化降序排列系数为x(k)；并令e0＝0，k＝1，n＝0；

1)计算能量和e0＝e0+x(k)；

2)大系数个数统计n＝n+1；

3)判断条件e0>a是否成立；若成立则转步骤5)；不成立则顺序执行；

4)迭代次数更新k＝k+1，则转步骤1)；

5)迭代结束，输出大系数个数n。

步骤8：利用步骤7得到的大系数个数计算视频帧的稀疏系数s；

用下式得到视频帧的稀疏系数

s＝n/n

式中n为能量归一化的稀疏变换系数总个数。

步骤9：显示和输出视频帧的稀疏度系数。

该系统通过摄像头模块完成视频，利用彩色图像灰度变换算法、二维稀疏变换算法、变换系数能量统计算法、变换系数能量归一化算法、系数原址降序排序算法以及能量阈值筛选等数据处理完成稀疏度的定量和实时检测，最终通过dsp硬件实现稀疏度的定量快速检测。该系统能够实时定量检测视频场景的稀疏特性，能够为压缩成像提供一个有效的、实时的稀疏度数值，在确保视频帧有较高重构质量的前提下实现尽可能少的压缩观测个数。

本发明能够有效地、实时地检测图像和视频帧的稀疏度，能够为自适应压缩成像提供有效的稀疏信息，以确保正确地选择压缩采样率，保证视频帧具备好的重构质量，同时也确保视频有较少的压缩观测值，减少存储空间需求。