一种基于DSP的图像显著分析系统及方法与流程

本发明涉及视频图像处理技术领域，特别是一种基于dsp的图像显著分析系统。

背景技术

视频融合技术可以将不同摄像机采集的视频信息加以综合，消除不同摄像机信息之间可能存在的冗余和矛盾，加以互补，改善视频中目标提取的及时性和可靠性，提高视频数据的使用效率。视频图像中的目标通常处于运动之中，传统的图像处理技术在处理动态视频图像时往往力不从心，视频图像处理不仅要考虑图像的静态特征，还要考虑图像的动态特征，只有将目标的动态特征和静态特征进行数据融合才能完成视频图像显著目标的提取。图像显著目标的提取最早应用在军事目标识别领域，现在已经被广泛地应用在视频监控、人工智能、目标检测与跟踪等领域。图像显著分析系统可以用asic芯片、fpga芯片或dsp处理器芯片实现，基于asic或fpga芯片的图像显著分析系统的特点是算法是并行的，运算速度快，缺点是视频处理算法移植难度大，开发周期长，项目风险较高。并且，现有的图像显著分析系统中，未曾设置有数据安全保护机制，导致非法用户能够通过非法途径获取到图像显著分析系统中的图像数据。

技术实现要素：

为了解决上述技术问题，本发明提出了一种基于dsp的图像显著分析系统，包括红外视频摄像头、可见光视频摄像头、云台驱动器、光电传感器、视频管理系统，其中，所述红外视频摄像头用于采集目标图像的红外视频信息，所述可见光视频摄像头用于采集目标图像的可见光视频信息；所述云台驱动器用于安装所述红外视频摄像头和所述可见光视频摄像头；所述视频管理系统首先对红外摄像头和可见光视频摄像头的视频信息进行融合；所述光电传感器用于检测所述视频管理系统的机壳是否被非法打开。

该系统中，所述视频管理系统还用于计算融合后的视频信息的像素密度、hue颜色、像素方位、帧间位移和帧间摇摆浅层显著特征，然后在浅层显著特征数据融合过程中采用自适应权重调整技术完成视频中显著目标提取，获得目标图像的逐帧显著分布图。

该系统中，当所述光电传感器检测到所述视频管理系统的机壳被非法打开后，通知所述视频管理系统擦除其中存储的程序以及视频数据。

该系统中，还包括无线传输系统、可见光摄像头补光灯、以及显示屏，其中，所述可见光摄像头补光灯用于在目标周围光线较弱时，进行补光；所述无线传输系统用于采用无线方式传输所获取的目标图像的逐帧显著分布图；所述显示屏用于显示所获取的目标图像的逐帧显著分布图。

该系统中，所述视频管理系统在目标图像移动时，控制所述云台驱动器带动所述红外视频摄像头或所述可见光视频摄像头转动。

本发明还提出了一种基于dsp的图像显著分析方法，其中，检测视频管理系统的机壳是否被非法打开，如未被非法打开，则采集目标图像的红外视频信息和可见光视频信息；对红外摄像头和可见光视频摄像头的视频信息进行融合；获取融合后的视频信息的帧信息；计算所获取帧信息的显著值，并根据计算所得的显著值获得目标图像的逐帧显著分布图。

该方法中，当检测到视频管理系统的机壳被非法打开时，擦除视频管理系统中存储的数据及程序。

该方法中，所述对红外摄像头和可见光视频摄像头的视频信息进行融合进一步包括，对红外摄像头和可见光视频摄像头的视频信息分别进行小波变换，得到红外图像和可见光图像的多分辨率表示；对各分辨率的图像进行数据融合处理，得到融合后的多尺度图像；对图像融合后的多尺度图像进行小波逆变换，得到融合后的图像。

该方法中，所述获取融合后的视频信息的帧信息包括对融合后的视频信息进行颜色空间描述以及通道合一化帧描述，以获得所述帧信息。

该方法中，所述计算所获取帧信息的显著值，并根据计算所得的显著值获得目标图像的逐帧显著分布图进一步包括，将所述颜色空间描述所获取的帧信息映射到其他颜色空间，然后进行hue颜色显著值计算过程，获得hue颜色显著值；

对所述通道合一化帧描述所获取的帧信息进行帧间摇摆显著值计算、像素方位显著值计算和帧间位移显著值计算、以及像素密度显著值计算，获得帧间摇摆显著值、像素方位显著值和帧间位移显著值、以及像素密度显著值；对上述获得的像素密度显著值计算，获得帧间摇摆显著值、像素方位显著值和帧间位移显著值、以及像素密度显著值进行自适应权重调整得到所述目标图像的逐帧显著分布图。

本发明带来的有益结果：本发明使用基于像素密度与方位、颜色、帧间位移和摇摆等信息和数据融合技术完成显著目标提取，解决单摄像头系统采集视频反映目标特征单一，不同摄像机之间样本特征分布不一致的问题，并可实现更高等级的数据安全标准，可广泛应用于视频监控、人工智能、无人驾驶、目标检测与跟踪等领域。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明的基于dsp的图像显著分析系统总体框图。

图2为红外视频图像和可见光视频图像融合的流程图。

图3为本发明的基于dsp的图像显著分析方法的流程图。

图4为多个通道的显著值自适应权值选择流程图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解的是，本发明的保护范围并不受具体实施方式的限制。

图1是本发明一种基于dsp的图像显著分析系统总体框图，包括红外视频摄像头、可见光视频摄像头、云台驱动器、可见光摄像头补光灯、光电传感器、视频管理系统、显示屏、无线传输系统。其中，红外视频摄像头用于采集目标图像的红外视频信息，可见光视频摄像头用于采集目标图像的可见光视频信息，所述红外视频摄像头和可见光视频摄像头完成原始视频信息的采集后通过传输接口传输给视频管理系统,视频管理系统首先对红外摄像头和可见光视频摄像头的视频信息进行融合，通过计算不同通道融合后视频的像素密度、hue颜色、像素方位、帧间位移和帧间摇摆浅层显著特征，然后在浅层显著特征数据融合过程中采用自适应权重调整技术完成视频中显著目标提取，以获得目标图像的逐帧显著分布图,所述目标图像的逐帧显著分布图可以在显示屏显示,也可以通过无线传输系统发送给其它设备，所述无线传输系统可以采用蓝牙、wifi、zigbee等无线传输协议。

图1中的红外视频摄像头和可见光视频摄像头对显著目标区域进行拍摄，红外视频摄像头和可见光视频摄像头安装在云台驱动器上，拍摄可以在红外视频摄像头和可见光视频摄像头之间智能切换，当显著目标周围光线比较弱时，可以通过可见光摄像头补光灯进行补光，当显著目标移动时，视频管理系统可以控制云台驱动器带动红外视频摄像头或可见光视频摄像头转动，当显著目标遮挡时,视频管理系统可以根据之前的视频信息对显著目标的运动趋势进行短时间的最小二乘线性递推预测。通过以上方式，能够实现对显著目标的全天候监控、捕获与跟踪。

图1中，所述光电传感器可以被安装在所述视频管理系统的机壳内或机壳外，能够检测所述视频管理系统的机壳是否被非法打开。当检测到所述视频管理系统的视频管理系统机壳被非法打开时，视频管理系统所述光电传感器产生高电平脉冲信号通过中断方式传输至所述视频管理系统视频管理系统，在所述视频管理系统视频管理系统接收到所述光电传感器发来的高电平脉冲信号时，开启自毁程序，擦除所述视频管理系统中存储的程序以及视频数据，从而对获得更高的信息安全级别。

图2是本发明具体实施方式中的红外视频图像和可见光视频图像融合的流程图，具体包括以下步骤：

(21)对原始的红外视频图像和可见光视频图像分别进行小波变换，得到红外图像和可见光图像的多分辨率表示；

(22)对各分辨率的图像进行数据融合处理，得到融合后的多尺度图像，所述图像融合处理采用比例加权法，具体实现方法如下：

其中，vx(p)，vy(p)是加权系数，xf(p)是图像融合后的灰度值，hx(p)，ky(p)是图像融合前可见光和红外图像的灰度值，ex(p)，ey(p)是图像融合前可见光和红外图像的期望值；

(23)对图像融合后的多尺度图像进行小波逆变换，得到融合后的图像。

图3是本申请具体实施方式中的基于dsp的图像显著分析方法的流程图。

所述基于dsp的图像显著分析方法，首先检测视频管理系统系统的机壳是否被非法打开，当检测到被非法打开时，进入到中断流程，立即启动自毁程序，擦除视频管理系统中存储的数据以及程序。如果检测到系统未被非法打开，则进入到正常流程，对红外摄像机和可见光摄像机采集的视频图像进行图像显著分析，并将图像显著分析通过无线系统传输。正常流程主要包括以下步骤：

首先，获取红外图像视频流和可见光图像视频流，通过红外视频处理过程和可见光视频处理过程分别完成红外视频和可见光视频的初步处理，并对所述红外图像视频流和可见光图像视频流初步处理结果进行图像融合，以获得融合的图像视频流，流程处理过程详见图2。

其次，对融合后的图像视频流进行颜色空间描述过程，以及通道合一化帧描述过程。

所述颜色空间描述过程包括获取rgb三通道合一化后的帧信息，将获得的帧信息映射到其他颜色空间，然后进行hue颜色显著值计算过程。所述hue颜色显著值计算过程包括显著体特征s_o计算和显著体边缘特征s_e计算，并通过线性加权方式综合得到显著图s＝w1×s_o+w2×s_e，w1+w2＝1，w1≥w2，其中，s表示hue颜色显著值，w1表示显著体特征的权重，w2表示显著体边缘特征的权重，s_o表示显著体特征，s_e表示显著体边缘特征。

其中，所述显著体特征s_o计算过程如下：融合子块图像的局部特征s_o_l和子块图像的全局特征s_o_g得到某尺度下的图像显著体特征s11,

s11＝w3×s_o_l+w4×s_o_g,w3+w4＝1，w3≥w4，局部特征s_o_l和子块图像的全局特征s_o_g通过块间hue颜色的欧几里德距离得到，块间hue颜色的欧几里德距离变化大的区域定义为显著性区域，然后在用同样的算法计算多尺度下的图像显著特征s12、s13、s14，最后融合多尺度下的图像显著特征得到显著体特征s_o，s_o＝w5×s11+w6×s12+w7×s13+w8×s14，w5+w6+w7+w8＝1。文中，s_o为图像显著特征，s_o_l为融合子块图像的局部特征，s_o_g为子块图像的全局特征，s11为尺度1下的图像显著体特征，s12为尺度2下的图像显著体特征，s13为尺度3下的图像显著体特征，s14为尺度4下的图像显著体特征，w5、w6、w7、w8分别为s11、s12、s13、s14的权重。

所述显著体边缘特征s_e计算过程如下：在进行显著体边缘特征提取前对图像进行高斯滤波，然后以某像素为中心的n×n邻域，分别计算某像素点与其邻域内像素色度差值得绝对值之和，当其中的一个或多个分量大于预先设定的阀值t1，或者四个分量的和大于预先设定的阀值t2时，则认为该像素点处在原始图像中物体的边缘位置，完成上述操作后，对图像进行二次高斯滤波，阀值t1和t2通过统计大量的标准图像得到。

所述通道合一化帧描述过程，所述通道合一化帧描述过程实现将不同通道的视频进行合一化处理。然后，进行帧间摇摆显著值计算过程，像素方位显著值计算过程和帧间位移显著值计算过程、像素密度显著值计算过程。具体包括以下步骤：

(31)帧间摇摆显著值计算过程

所述帧间摇摆显著值计算过程的输入是合一化的两幅连续帧描述，首先通过计算两帧的差分信息；然后将差分信息中低于某阈值的像素置零；最后，将优化后的差分信息通过像素密度显著值计算过程，即得到两幅连续帧之间的摇摆显著值分布。

(32)像素方位显著值计算过程和帧间位移显著值计算过程

采用隔帧差分方法获得包含运动目标的区域，再利用光流法对包含运动目标的区域进行精确的计算获得像素方位显著值和帧间位移显著值。

隔帧差分方法获得包含运动目标的区域过程如下：首先，对融合后的视频图像进行中值滤波处理并进行灰度变换得到灰度图像，其次，针对经过灰度变换的动态视频图像以间隔n选取三帧图像，n取决于运动物体的速度，速度越大，n取值越大，前一帧图像灰度值为fi-n(x,y)，当前帧图像灰度值为fi(x,y)，下一帧图像灰度值为fi+n(x,y)，然后计算前后相邻两帧图像灰度值的差值分别得到fb(x,y)＝|fi-n(x,y)-fi(x,y)|，ff(x,y)＝|fi+n(x,y)-fi(x,y)|，然后通过二维otsu阀值化的快速算法确定灰度值阀值t，利用t对隔帧差分后的图像进行阀值化处理得到隔帧差分后的二值图像，最后，计算帧差图像fb(x,y)，ff(x,y)的交集获得包含运动目标的区域en(x,y)。

光流法对包含运动目标的区域进行精确的计算过程如下：设u，v是在时刻t图像上(x,y)在x，y方向上的两个速度分量，x，y表示图像中像素点的位置，求出u，v再对时间积分即可以得到图像上(x,y)在x，y方向上的两个位移，从而得到像素方位显著值和帧间位移显著值。其中，u，v的计算方法如下：

其中，(fx,fy)为图像灰度的空间梯度，为待求点的u，v四邻域像素灰度值的平均值，u⁽ⁿ⁺¹⁾表述u经n+1次迭代的值，v⁽ⁿ⁺¹⁾表述v经n+1次迭代的值,λ表示拉格朗日乘子。初始条件为u⁽⁰⁾＝v⁽⁰⁾＝0，(fx,fy)可以由同一副图像的相邻像素差得到，ft由两幅图像对应像素点的差得到。

其中，ei,j,k表示图像位置(i,j)在k时刻的像素灰度值。ft表示图像位置(i,j)像素灰度值对时间t的偏导数，(fx,fy)分别表示图像位置(i,j)像素灰度值对x、y的偏导数。

(33)像素密度显著值计算过程

所述像素密度显著值计算过程的输入是合一化的帧描述过程的输出，首先构建图像在不同空间尺度多层金字塔下的表征，设a⁰为原始图像(m×n)的灰度矩阵表示，其中，m×n代表图像的尺寸，a⁰位于金子塔的顶层，依次生成金字塔的第1,2,3，…,n-1层，分别表示为a¹,a²,...,a^(n-1)，对应第l,1≤l≤(n-1)层灰度计算公式为：

其中然后，通过多层金字塔间差分获得像素的原始密度分布；其次，将原始密度分布进行边缘减弱和修饰；然后，对边缘减弱后的密度分布进行重采样；之后，对重采样密度分布进行局部抑制；最后，将所有的密度分布进行叠加平均得到像素密度显著值。文中，a¹,a²,...,a^(n-1)分别表示金字塔的第1,2,3，…,n-1层的图像灰度值矩阵表示，a^l(x，y)表示金子塔第l层像素位置为(x,y)的图像灰度值。

接下来，通过对以上计算得出的图像的hue颜色显著值特征、帧间摇摆显著值特征、像素方位显著值特征、帧间位移显著值特征和像素密度显著值特征进行自适应权重调整过程得到所述目标图像的逐帧显著分布图。

图4为多以上多个通道的显著值特征进行自适应权重调整的流程图，多个通道的显著值特征通过自适应加权组合方式进行融合得到潜在目标的显著值分布图g＝λ1l1+λ2l2+λ3l3+λ4l4+λ5l5，λ1+λ2+λ3+λ4+λ5＝1，l1，l2，l3，l4，l5分别代表像素密度、hue颜色、像素方位、帧间位移和帧间摇摆浅层显著特征值，每个通道的权值λk计算公式为k＝1,2,3,4,5，其中σk表示样本处于重叠区域的可能性的大小，σk取合适的值可以将像素密度、hue颜色、像素方位、帧间位移和帧间摇摆浅层显著特征样本值分为重叠区域和非重叠区域。给定一个样本，可以根据各类别高斯参数预估计样本属于各类别的后验概率pi,i＝1,2,...,i，由这些概率组成向量m＝{p1,p2,p3,...,pi}，向量其中表示向量m和的空间距离。

接下来，根据以上自适应权重调整过程的计算结果，确定所述图像中可见光视频和红外视频的权重，并通过云台驱动器控制过程和补光灯控制过程来反馈控制可见光视频和红外视频的采集。

最后，视频管理系统可以通过视频无线传输过程实现对图像的逐帧显著分布图进行无线传输。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。