专利名称：基于时空显著性检测的多传感器视频融合方法
技术领域：
本发明属于图像处理技术领域，更进一步涉及一种视频图像处理技术领域中的基于时空显著性检测的多传感器视频融合方法。本发明能够更加准确的从输入的视频中提取显著的时空特征信息，可应用于多传感器静态背景的视频图像融合。
背景技术：
图像和视频融合是信息和数据融合的一个特殊领域，通过图像或视频融合，将原图像或视频之间的“冗余”和“互补”信息提取出来，得到一个融合的图像或视频。融合后的图像或视频比单一的输入图像或视频更能精确地描述场景。静态图像融合的基本要求是输入图像中有用的空间信息应该尽可能多的保留在融合图像中，以及在融合过程中不引入虚假信息。静态图像融合算法已经得到广泛研究，相对于静态图像融合，视频图像融合除了满足上述基本要求外，还要满足时间稳定性和一致性。由于视频和图像之间的特殊关系，一般情况下，可以采用静态图像融合算法对视频逐帧进行融合，这种逐帧融合方法主要考虑了输入视频的空间信息，具有较好的空间信息提取性能，但往往忽略了输入视频中的时间信息，从而容易引起时间不一致性和不稳定性问题。西安电子科技大学申请的专利“基于Surfacelet变换的红外与可见光视频图像融合方法”(申请号:CN201010172719.5，申请公开号:CN101873440A)中公开一种红外与可见光视频图像融合的方法。该方法的具体步骤是:首先，采用Surfacelet变换对输入视频图像进行多尺度、多方向分解得到不同频域子带系数；然后，通过基于三维局部空-时区域能量匹配的“选择”和“加权平均”相结合的融合方法，以及通过基于三维局部空-时区域能量和方向向量标准方差相结合的融合方法，分别对输入视频图像的低通子带系数和带通方向子带系数进行组合，得到融合视频图像的低通子带系数和带通方向子带系数；最后，对组合得到的各子带系数进行Surfacelet逆变换得到融合视频图像。该方法主要将已有的二维静态融合规则通过简单地扩展用于视频融合，但是该方法仍然存在的不足是，由于一个视频往往包含许多具有不同特征的区域，如果通过一个简单的扩展将那些静态图像融合准则应用到视频融合中，输入视频中所有的不同特征区域都将被等同对待，这在一定程度上，会降低融合方法在时空一致性和信息提取方面的性能。王宏，敬忠良，李建勋发表的论文“一种基于目标区域的图像融合新方法”(中国激光，32 (3)，2005，PP:351-355)中公开一种融合方法。该方法首先采用运动目标检测技术将视频中各帧图像分成运动目标区域和背景区域，然后针对每帧图像的背景区域和目标区域采用不同的融合规则分别融合，得到融合视频。但是该方法存在的不足是，由于该方法仅仅利用单帧的图像处理方法对不同区域采用不同的融合准则，在一定程度上，空间信息提取性能会被降低。
发明内容
本发明的目的在于克服上述已有技术的缺点，提出一种基于3D-UDCT和时空显著性检测相结合的视频融合方法，以便更好地提取输入视频图像中显著的空间-时间特征信息，并具有更高的空间-时间一致性和稳定性。为实现上述目的，本发明对输入视频图像带通方向子带系数进行组合时，构建一种基于时空显著性检测的融合规则，其技术方案是首先利用时空结构张量，对输入视频带通方向子带系数进行时空显著性特征，将每一个带通方向子带划分成三种区域，即:运动目标区域、空间几何特征区域和平滑区域；然后利用不同的融合准则对不同区域带通方向子带系数分别进行组合，得到融合视频的带通方向子带系数。本发明的具体步骤如下:(I)分别输入两个已配准的视频；(2)获得子带系数:对两个视频分别进行三维均匀离散曲波3D-UDCT分解，得到各自的带通方向子带系数和低通子带系数；(3)将视频区域划分三种区域:对每一个视频的带通方向子带系数利用三维时空结构张量，进行时空显著性检测，将视频区域划分为运动目标区域、空间几何特征区域和平滑区域三种区域；(4)获得融合后视频的带通方向子带系数:4a)对运动目标区域的带通方向子带系数，按照基于能量选择的融合策略进行组合，得到运动目标区域内融合后视频的带通方向子带系数；4b)对空间几何特征区域的带通方向子带系数，按照基于相似度选择和加权平均相结合的融合策略进行组合，得到空间几何特征区域内融合后视频的带通方向子带系数；4c)对平滑区域的带通方向子带系数，按照加权平均融合策略进行组合，得到平滑区域内融合后视频的带通方向子带系数；(5)获得融合后视频的低通子带系数:对于每一个视频的低通子带系数，按照加权平均的融合策略进行组合，得到融合后视频的低通子带系数；(6)获得融合后的视频:将融合后视频的带通方向子带系数和低通子带系数，进行三维均匀离散曲波3D-UDCT逆变换，得到融合视频。本发明与现有的技术相比具有以下优点:第一，本发明利用3D-UDCT对输入视频进行多尺度、多方向分解,并针对每一个方向和尺度下分解得到的带通方向子带，利用三维时空结构张量对其进行时空显著性检测，将每个带通子带区域分成三个不同区域:运动目标区域，空间几何特征区域和平滑区域，然后对于包含不同特征的区域内的子带系数，利用了不同的融合准则，克服了现有技术中受限于空间信息提取和时空一致性的缺陷，使得本发明设计的融合方法与现有技术相比在空间信息提取和时空一致性方面有明显的提高。第二，本发明中采用的三维时空结构张量矩阵以及对平滑区域进行“加权平均”，克服了现有技术的融合过程中容易受到噪声影响的缺陷，使得本发明与现有技术相比对噪声具有更高的鲁棒性。
图1为本发明的流程图；图2为对比度较高的红外与可见光视频图像融合的仿真图；图3为对比度较低的红外与可见光视频图像融合的仿真图。
具体实施方法下面结合附图对本发明做进一步的描述。参照附图1，本发明的具体步骤如下:步骤1，分别输入在空间和时间上已经严格校准的两个视频。步骤2，获得子带系数:对两个视频分别进行三维均匀离散曲波3D-UDCT分解，得到各自的带通方向子带系数和低通子带系数。步骤3，将视频区域划分三种区域:对每一个视频的带通方向子带系数利用三维时空结构张量，进行时空显著性检测，将视频区域划分为运动目标区域、空间几何特征区域和平滑区域三种区域；实现步骤如下:在时空点P (X，y, t)处构建结构张量矩阵:
权利要求
1.种基于时空显著性检测的多传感器视频融合方法，包括如下步骤: (1)分别输入两个已配准的视频； (2)获得子带系数: 对两个视频分别进行三维均匀离散曲波3D-UDCT分解，得到各自的带通方向子带系数和低通子带系数； (3)将视频区域划分三种区域: 对每一个视频的带通方向子带系数利用三维时空结构张量，进行时空显著性检测，将视频区域划分为运动目标区域、空间几何特征区域和平滑区域三种区域； (4)获得融合后视频的 带通方向子带系数: 4a)对运动目标区域的带通方向子带系数，按照基于能量选择的融合策略进行组合，得到运动目标区域内融合后视频的带通方向子带系数； 4b)对空间几何特征区域的带通方向子带系数，按照基于相似度选择和加权平均相结合的融合策略进行组合，得到空间几何特征区域内融合后视频的带通方向子带系数； 4c)对平滑区域的带通方向子带系数，按照加权平均融合策略进行组合，得到平滑区域内融合后视频的带通方向子带系数； (5)获得融合后视频的低通子带系数: 对于每一个视频的低通子带系数，按照加权平均的融合策略进行组合，得到融合后视频的低通子带系数； (6)获得融合后的视频: 将融合后视频的带通方向子带系数和低通子带系数，进行三维均匀离散曲波3D-UDCT逆变换，得到融合视频。
2.据权利要求1所述的基于时空显著性检测的多传感器视频融合方法，其特征在于:步骤(3)中所述的视频区域划分步骤如下: 第一步，构建结构张量矩阵:在时空点P (X，1，t)处，将视频沿x、y和t方向求导，构建一个3X3的结构张量矩阵S(p)，其中x、y表示时空点的空间坐标，t表示时空点的时间坐标； 第二步，划分平滑区域:确定阈值其中，Γ⑶表示结构张量矩阵S (P)的迹，x、y表示时空点p(x, y, t)的空间坐标，当Γ⑶小于thl时,该区域为平滑区域； 第三步，划分空间几何区域:确定阈值让2，&2二011^^(^|)，其中，ε t表示结构张量矩阵S(p)的最大特征值所对应特征向量的时间分量，I.I表示绝对值，x、y表示时空点P(x，y，t)的空间坐标，t表示时空点p(x，y，t)的时间坐标，当Γ⑶大于等于thl且I et小于th2时，该区域为空间几何区域； 第四步，划分时间运动区域:当Γ (S)大于等于thl且I et|大于等于th2时，该区域为时间运动区域。
3.据权利要求1所述的基于时空显著性检测的多传感器视频融合方法，其特征在于:步骤4a)中所述能量选择的融合策略按照以下步骤实现: 第一步，对输入的两个已配准视频，获得两个输入视频的能量:在以当前时空位置(X，y，t)为中心，大小为3X3X3的局部区域内，将第一个输入视频分解得到的每一个带通方向子带系数，计算其在该局部时空区域内绝对值的平方和，得到该局部时空区域内第一个输入视频的能量；将第二个输入视频分解得到的每一个带通方向子带系数，计算其在该局部时空区域内绝对值的平方和，得到该局部时空区域内第二个输入视频的能量； 第二步，在该局部时空区域内，比较所获得的两个输入视频能量的大小； 第三步，当第一个输入视频的能量大于第二个输入视频的能量时，融合后视频的带通方向子带系数为第一个输入视频在该局部时空区域内的带通方向子带系数；当第一个输入视频的能量小于等于第二个输入视频的能量时，融合后视频的带通方向子带系数为第二个输入视频在该局部时空区域内的带通方向子带系数。
4.据权利要求1所述的基于时空显著性检测的多传感器视频融合方法，其特征在于:步骤4b)中所述相似度选择和加权平均相结合的融合策略按照以下步骤实现: 第一步，对输入的两个已配准视频，获得两个输入视频的能量:在以当前时空位置(X，.1，t)为中心，大小为3X3X3的局部区域内，将第一个输入视频分解得到的每一个带通方向子带系数，计算其在该局部时空区域内绝对值的平方和，得到该局部时空区域内第一个输入视频的能量；将第二个输入视频分解得到的每一个带通方向子带系 数，计算其在该局部时空区域内绝对值的平方和，得到该局部时空区域内第二个输入视频的能量； 第二步，在每一个尺度和方向上的带通方向子带中，按照下式计算该局部时空区域内两个视频能量的匹配程度:
5.据权利要求1所述的基于时空显著性检测的多传感器视频融合方法，其特征在于:步骤4c)中所述的加权平均融合策略按照以下步骤实现: 第一步，按照下式计算局部时空区域内输入视频的权值:
6.据权利要求1所述的基于时空显著性检测的多传感器视频融合方法，其特征在于:步骤(5)中所述的加权平均融合策略按照以下步骤实现: 第一步，按照下式计算局部时空区域内输入视频的权值:
全文摘要
本发明公开了一种基于时空显著性检测的多传感器视频融合方法。其步骤为1、分别输入两个已配准的视频；2、利用三维均匀离散曲波3D-UDCT分解获得子带系数；3、将视频区域划分为三种不同的区域；4、对于不同的区域，按照不同的融合策略进行组合，得到融合后视频的高通方向子带系数；5、将低通子带系数进行加权平均，得到融合后视频的低通子带系数；6、进行三维均匀离散曲波3D-UDCT逆变换，得到融合后视频。本发明克服了现有技术中受限于空间信息提取和时空一致性的缺陷，可以更好地提取输入视频图像中的显著的时空特征信息，使得视频具有更高的时空一致性和稳定性，对噪声鲁棒性好，可以用于静态背景的视频图像融合。
文档编号H04N5/265GK103095996SQ20131004722
公开日2013年5月8日 申请日期2013年1月25日 优先权日2013年1月25日
发明者张强, 陈月玲, 陈闵利, 王龙 申请人:西安电子科技大学