一种基于关键信息的无人机侦察视频检索方法与流程

技术特征：

1.一种基于关键信息的无人机侦察视频检索方法，包括以下几个步骤：

第一步，无人机侦察视频关键信息提取

包括：无人机侦察视频特征提取、场景分割、关键帧提取、语义提取及场景信息统计；

第二步，将无人机侦察视频信息及其关键信息存储到数据库并进行维护；

包括：将第一步提取到的无人机侦察视频信息与提取到的无人机关键信息存储到数据库中，备份数据库中的各项数据并进行维护；

第三步，输入检索条件，进行视频检索。

2.根据权利要求1所述的一种基于关键信息的无人机侦察视频检索方法，所述的第一步具体包括：

步骤1.1，输入帧数为N的无人机侦察视频，提取无人侦察视频特征感知哈希矩，生成感知哈希矩集合M_phash与感知哈希距离集合Γ_d，具体步骤如下：

步骤1.1.1，输入帧数为N的无人机侦察视频，提取视频帧f_i，生成二值图像若提取成功，对提取成功的视频帧进行判断，若为该视频的第一帧，则先设定为初始二值图I₀，否则，进入步骤1.1.2，若提取失败，则表示该视频已提取完毕，视频提取工作结束；

步骤1.1.2，根据步骤1.1.1生成的二值图像计算得出其感知哈希矩ε_i，感知哈希矩ε_i是指感知哈希编码的二值图像的Hu矩组的一阶矩；

图像感知哈希矩获取方法如下：

1)去除图像的高频信息，使用最近邻插值法将原图像I变成尺寸为8×8的灰度图I′；

2)计算灰度图的像素平均灰度值g_avrg

$g_{avrg}=\frac{1}{64}\underset{x=0,y=0}{\overset{7}{\Σ}}g(x,y)---\left(1\right)$

其中：x,y分别表示图像的行与列，二维离散函数g(x,y)用于表示图像I′；

3)生成尺寸为8×8的二值图像I_pHash，用二维离散函数f(x,y)表示：

$f(x,y)=\left\{\begin{array}{c}0,g(x,y)\<g_{avrg}\\ 1,g(x,y)\≥g_{avrg}\end{array}\right.---\left(2\right)$4)计算图像感知哈希矩ε_i：

$m_{pq}=\underset{y=1}{\overset{N}{\Σ}}\underset{x=1}{\overset{M}{\Σ}}{x}^p{y}^{q}f(x,y)---\left(3\right)$

${\mathrm{\μ}}_{pq}=\underset{y=1}{\overset{N}{\Σ}}\underset{x=1}{\overset{M}{\Σ}}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^{q}f(x,y)---\left(4\right)$

$\stackrel{\‾}{x}=\frac{m_{10}}{m_{00}},\stackrel{\‾}{y}=\frac{m_{01}}{m_{00}}---\left(5\right)$

${\mathrm{\η}}_{pq}=\frac{{\mathrm{\μ}}_{pq}}{{{\mathrm{\μ}}_{00}}^{\mathrm{\ρ}}},\mathrm{\ρ}=\frac{(p+q)}{2}---\left(6\right)$

ε＝η₂₀+η₀₂ (7)

其中，M＝N＝8，p,q＝0,1,2,...，M为x的最大取值，N为y的最大取值，p为x的阶数，q为y的阶数；

将步骤1.1.1生成的二值图像按行输出，得到一64位的编码pHash_i，求取pHash_i与pHash_i-1的汉明距离

重复以上步骤直到视频帧提取结束后，得到感知哈希矩集合M_phash与感知哈希距离集合Γ_d，M_phash为视频提取到的所有感知哈希矩的集合M_phash＝{ε₁,ε₂,ε₃,...,ε_i,...,ε_n}，汉明距离为64位汉明编码pHash_i与64位汉明编码pHash_i-1对应位置的不同字符的个数；

步骤1.2，基于步骤1.1中得到的感知哈希距离Γ_d对无人机侦察视频进行场景分割，得到场景集合S＝{s₁,s₂,s₃,...,s_j,...,s_m}，具体步骤如下：

步骤1.2.1输入感知哈希距离集合Γ_d为视频提取到的所有汉明距离的集合，定义为感知哈希距离集合，使用Otsu法求取自适应分割阈值τ_phash，从时间维对视频进行分割，划分成若干个场景，设定第一个场景的开始帧为α₁＝1，依次比较与自适应分割阈值τ_phash，若且i-α_j≥S_min，S_min一个场景包含的视频帧最小帧数，a_j为第j个场景的开始帧，则将视频帧f_i设定为场景边缘帧，即β₁＝i，得到场景S₁＝(α₁,β₁)；

步骤1.2.2将新的场景开始帧设定为α_j＝β_j-1+1，重复步骤1.2.1中对的比较以及场景结束帧的判定，将视频最后一帧设定为场景的结束，得到m个场景，且β_m＝n，最终将视频分割成m个视频段，得到场景集合S＝{s₁,s₂,s₃,...,s_j,...,s_m}，其中s_j＝(α_j,β_j)，m＜n；α_i、β_i分别表示第j个场景的开始帧与结束帧序号；

步骤1.3无人机侦察视频关键帧提取，基于对图像感知哈希矩ε_i的分析，通过图像感知哈希矩ε_i衡量得到视频帧内容重要性λ_i：

${\mathrm{\λ}}_i=\frac{{\mathrm{\ϵ}}_i^{\′}}{{\mathrm{\ϵ}}_{\max }^{\′}},{\mathrm{\ϵ}}_i^{\′}=1-\frac{{\mathrm{\ϵ}}_i}{{\mathrm{\ϵ}}_{\max }}$

其中ε_max为视频提取到的感知哈希矩的最大值，ε_i为与视频帧f_i对应的感知哈希矩，λ_i为与视频帧f_i对应的视频帧内容重要性，对于每一场景，得到场景内的重要性集合{λ₁,...,λ_t,...,λ_T}，求取集合内的最大值λ_max，λ_max所对应的视频帧即为该场景的关键帧，其中t表示该场景中的第t帧，T为场景总帧数；由上述过程的计算得到λ_max所对应的关键帧，最终得到视频的关键帧集合KF＝{kf₁,kf₂,kf₃,......,kf_m}，kf_i为第i个场景中视频帧内容重要性λ_i最大所对应的视频帧为该场景的关键帧，KF为m个场景的关键帧集合；

步骤1.4，对步骤1.3提取到的无人机侦察视频关键帧进行语义提取及场景信息统计，具体步骤如下：

步骤1.4.1对步骤1.3提取到的每个关键帧进行语义提取，每个关键帧对应一个语义标签，得到m个数据的关键帧语义集合KW＝{kw₁,kw₂,kw₃,......,kw_m}；

步骤1.4.2按时间顺序求取每个语义标签所在的场景帧数占视频帧数的比例，若相邻场景关键帧的语义相同，则进行整合，最终以饼状图呈现每个语义标签所在的场景帧数占视频帧数的比例，顺时针方向表示视频的时序。

3.根据权利要求1所述的一种基于关键信息的无人机侦察视频检索方法，所述的第二步中，无人机侦察视频信息按照表一进行存储，具体为：

表一 无人机侦察视频信息存储表

4.根据权利要求1所述的一种基于关键信息的无人机侦察视频检索方法，所述的第二步中，无人机侦察视频关键信息按照表二进行存储，具体为：

表二 无人机侦察视频关键帧存储表

5.根据权利要求1所述的一种基于关键信息的无人机侦察视频检索方法，所述的第三步中，检索条件分别两种，根据不同的检索条件，视频检索具体为：

(1)检索条件为输入语义标签时，将输入的语义标签与数据库中的关键帧语义标签进行匹配，得到检索视频；

(2)检索条件为输入查询图像时，首先查询图像进行语义信息的提取与感知哈希距离τ_d的提取，然后根据数据库内存储的关键帧信息，根据其语义标签确定检索的图像范围，最后选取与查询图像感知哈希距离最小的关键帧，该关键帧所在的视频为最终视频。