一种视频运动放大方法与流程

技术特征：

1.一种视频运动放大方法，包括视频图像分解步骤、视频帧色彩空间转换步骤、N层金字塔分解步骤、时域带通滤波步骤、第二空间频率带组放大步骤、得到第四空间频率带组步骤、重构亮度矩阵步骤、视频帧色彩空间还原步骤、输出视频图像步骤，其特征在于：

(1)视频图像分解步骤：

录制运动主体在空间微小运动的RGB色彩空间视频图像，再根据时间先后将RGB色彩空间视频图像分解为一帧一帧的RGB色彩空间视频帧，读取所有的RGB色彩空间视频帧；

(2)视频帧色彩空间转换步骤：

将每一RGB色彩空间视频帧用R矩阵、G矩阵、B矩阵三个二维矩阵表示，R矩阵表示像素点红颜色强度，表示像素点绿色强度，B矩阵表示像素点蓝色强度；

通过下式对R矩阵、G矩阵和B矩阵进行矩阵运算，得到YIQ色彩空间视频帧的Y矩阵、I矩阵和Q矩阵三个二维矩阵：

Y＝0.299R+0.587G+0.114B，

I＝0.596R-0.275G-0.321B，

Q＝0.212R-0.523G+0.311B；

其中，Y矩阵表示YIQ色彩空间视频帧各像素的亮度值，I矩阵表示YIQ色彩空间视频帧各像素从橙色到青色的颜色强度，Q矩阵表示表示YIQ色彩空间视频帧各像素从紫色到黄绿色的颜色强度；

(3)N层金字塔分解步骤：

对各YIQ色彩空间视频帧中的Y矩阵，采用小波分解算法将其分解为四个矩阵：第1近似系数矩阵cA₁、第1水平细节矩阵cH₁、第1垂直细节矩阵cV₁和第1对角细节矩阵cD₁；此过程为第一层金字塔分解，cH₁、cV₁和cD₁构成金字塔第一层；

再采用小波分解算法对第1近似系数矩阵cA₁进行分解，将其分解为第2近似系数矩阵cA₂、第2水平细节矩阵cH₂、第2垂直细节矩阵cV₂和第2对角细节矩阵cD₂；此过程为第二层金字塔分解，cH₂、cV₂和cD₂构成金字塔第二层；

如此依次进行N次分解，最后得到第N近似系数矩阵cA_N、第N水平细节矩阵cH_N、第N垂直细节矩阵cV_N和第N对角细节矩阵cD_N；cA_N、cH_N、cV_N和cD_N构成金字塔第N层；N≥3，图片尺寸越大，N值越大，反之则N值越小；

对所有YIQ色彩空间视频帧进行N次金字塔分解后，由各帧YIQ色彩空间视频帧的第n水平细节矩阵cH_n组成尺度为n的水平细节空间频率带，由各帧YIQ色彩空间视频帧的第n垂直细节矩阵cV_n组成尺度为n的垂直细节空间频率带，由各帧YIQ色彩空间视频帧的第n对角细节矩阵cD_n组成尺度为n的对角细节空间频率带；其中n称为尺度，表示不同金字塔层，n＝1、2、…、N；由各帧YIQ色彩空间视频帧的第N近似系数矩阵cA_N组成近似系数空间频率带；上述各空间频率带构成第一空间频率带组；

(4)时域带通滤波步骤：

采用第一低通IIR数字滤波器对构成第一空间频率带组的各空间频率带分别进行时域滤波，滤波后得到的各空间频率带构成第一临时空间频率带组；

采用第二低通IIR数字滤波器对构成第一空间频率带组的各空间频率带分别进行时域滤波，滤波后得到的各空间频率带构成第二临时空间频率带组；

将第一临时空间频率带组中各空间频率带与第二临时空间频率带组中对应的各空间频率带相减，所得到的各空间频率带共同构成第二空间频率带组；

第一低通IIR数字滤波器和第二低通IIR数字滤波器的截止频率分别为f₁和f₂，0<f₂<f₁<f_s/2，f_s为视频图像的录制帧速率；

(5)第二空间频率带组放大步骤：

分别计算金字塔每一层的最大放大倍数α(n)_max，分别比较是否α(n)_max≤α，是则将α(n)_max作为相应层实际放大倍数，否则将α作为相应层实际放大倍数；其中α为设定放大倍数，5<α<30；

将构成第二空间频率带组的各空间频率带按照其所在金字塔的层数分别乘以相应层实际放大倍数，所得到的各空间频率带共同构成第三空间频率带组；

(6)得到第四空间频率带组步骤：

将构成第三空间频率带组的各空间频率带分别与所述第一空间频率带组中相应的空间频率带进行矩阵加法运算，所得到的各空间频率带共同构成第四空间频率带组；所述矩阵加法运算为两组对应尺度、对应位置的矩阵运算；

(7)重构亮度矩阵步骤：

采用小波重构算法将第四空间频率带组重构YIQ色彩空间视频帧的Y⁴矩阵，具体过程如下：

对第四空间频率带组中不同金字塔层的每一层进行逐层重构，从金字塔第N层开始，采用小波重构算法，将构成第四空间频率带组中各帧YIQ色彩空间视频帧的第N近似系数矩阵cA_N⁴与第N水平细节矩阵cH_N⁴、第N垂直细节矩阵cV_N⁴和第N对角细节矩阵cD_N⁴重构第N-1近似系数矩阵cA_N-1⁴；

再进行金字塔第N-1层重构，对各帧YIQ色彩空间视频帧，采用小波重构算法，将上一层重构的第N-1近似系数矩阵cA_N-1⁴与第N-1水平细节矩阵cH_N-1⁴、第N-1垂直细节矩阵cV_N-1⁴、第N-1对角细节矩阵cD_N-1⁴重构第N-2近似系数矩阵cA_N-2⁴；

如此依次进行，直到得到重构的第1近似系数矩阵cA₁⁴；然后采用小波重构算法进行金字塔第1层重构，对各帧YIQ色彩空间视频帧，采用小波重构算法，将第1近似系数矩阵cA₁⁴与第1水平细节矩阵cH₁⁴、第1垂直细节矩阵cV₁⁴、第1对角细节矩阵cD₁⁴重构为Y⁴矩阵；

(8)视频帧色彩空间还原步骤：

通过下式对步骤(7)重构的Y⁴矩阵、步骤(2)中的I矩阵和Q矩阵进行矩阵运算，得到新的R矩阵、G矩阵和B矩阵：

R＝1.000Y⁴+0.956I+0.621Q，

G＝1.000Y⁴-0.272I-0.647Q，

B＝1.000Y⁴-1.106I+1.703Q；

新的R矩阵、G矩阵和B矩阵合成新RGB色彩空间视频帧；

依次对每一新YIQ色彩空间视频帧进行上述转换，就将YIQ色彩空间视频帧还原为RGB色彩空间视频帧；

(9)输出视频图像步骤：

构造一个视频图像文件，包括头文件部分和数据部分，首先设置视频图像文件存储位置，然后按照输入视频图像的头文件格式，构造输出视频图像的头文件，并将其写入硬盘指定位置，接着将每一帧视频帧数据硬盘指定位置，由此完成RGB色彩空间视频图像的构造。

2.如权利要求1所述的视频运动放大方法，其特征在于：

所述步骤(3)中，对Y矩阵，采用小波分解算法将其分解为四个矩阵包括下述子步骤：

(3.1)对Y矩阵的每一行进行低通滤波，然后进行列下采样，接着对每一列进行低通滤波，最后进行行下采样得到第1近似系数cA₁矩阵；

(3.2)对Y矩阵的每一行进行低通滤波，然后进行列下采样，接着对每一列进行高通滤波，最后进行行下采样得到第1水平细节cH₁矩阵；

(3.3)对Y矩阵的每一行进行高通滤波，然后进行列下采样，接着对每一列进行低通滤波，最后进行行下采样得到第1垂直细节cV₁矩阵；

(3.4)对Y矩阵的每一行进行高通滤波，然后进行列下采样，接着对每一列进行高通滤波，最后进行行下采样得到第1对角细节cD₁矩阵；

采用小波分解算法对第n近似系数矩阵cA_n-1进行分解，子步骤与上述相同，n＝1、2、…、N；

所述列下采样就是保留偶数列，丢弃奇数列；所述行下采样就是保留偶数行，丢弃奇数行；

所述对行进行低通滤波就是将该行元素与小波低通滤波器系数求卷积，得到一行新元素值，代替原有行；

所述对行进行高通滤波就是将该行元素与小波高通滤波器系数求卷积，得到一行新元素值，代替原有行；

所述对列进行低通滤波就是将该列元素与小波低通滤波器系数求卷积，得到一列新元素值，代替原有列；

所述对列进行高通滤波就是将该列元素与小波高通滤波器系数求卷积，得到一列新元素值，代替原有列；

所述小波低通滤波器系数和小波高通滤波器系数通过查阅相关文献可以得到。

3.如权利要求1所述的视频运动放大方法，其特征在于：

所述步骤(4)中，采用第一低通IIR数字滤波器对构成第一空间频率带组的各空间频率带分别进行时域滤波包括下述子步骤：

(4.1)计算低通IIR滤波器的滤波器系数r₁：

r₁＝2πf₁/f_s，

式中f₁为第一低通IIR数字滤波器的截止频率，f_s为视频图像的录制帧速率；

(4.2)计算第一低通IIR数字滤波器的输出Y(m)：

Y(m)＝(1-r₁)×Y(m-1)+r₁×X(m)，

式中，X(m)为滤波器的输入，m为视频帧序号，m＝1、2、…、K；K为视频帧的总帧数，当m为1，X(1)是已知的，Y(0)为：

$Y\left(0\right)=\frac{1}{K}\underset{m=1}{\overset{K}{\&Sigma;}}X\left(m\right),$

采用第二低通IIR数字滤波器对构成第一空间频率带组的各空间频率带分别进行时域滤波，其过程与上述过程完全相同，区别仅在于将f₁换成f₂。

4.如权利要求1所述的视频运动放大方法，其特征在于：

所述步骤(5)中，计算金字塔每一层的最大放大倍数α(n)_max包括下述子步骤：

(5.1)计算金字塔每一层的空间波长λ(n)：

$\mathrm{\&lambda;}\left(n\right)=\sqrt{{W_n}^2+{H_n}^2},n=1,2,...,N;$

式中，W_n和H_n分别为金字塔第n层的宽与高，单位为像素；

(5.2)计算位移函数δ(t)：

$\mathrm{\&delta;}\left(t\right)=\frac{{\mathrm{\&lambda;}}_c}{8(1+\mathrm{\&alpha;})},$

式中，λ_c为空间临界波长，取值为16～20像素；

(5.3)计算金字塔每一层的最大放大倍数α(n)_max：

$\mathrm{\&alpha;}{\left(n\right)}_{max}=\frac{\mathrm{\&lambda;}\left(n\right)}{3\&times;8\&times;\mathrm{\&delta;}\left(t\right)}-1.$

5.如权利要求1所述的视频运动放大方法，其特征在于：

所述步骤(7)中，采用小波重构算法，将构成第四空间频率带组中各帧YIQ色彩空间视频帧的第N近似系数矩阵cA_N⁴与第N水平细节矩阵cH_N⁴、第N垂直细节矩阵cV_N⁴和第N对角细节矩阵cD_N⁴重构第N-1近似系数矩阵cA_N-1⁴，包括下述子步骤：

(7.1)对矩阵cA_N⁴进行行上采样，然后对行上采样后矩阵的每一列进行低通滤波，接着对滤波后矩阵进行列上采样，再接着对列上采样得到矩阵的每一行进行低通滤波得到A_N1矩阵；

(7.2)对矩阵cH_N⁴进行行上采样，然后对行上采样后矩阵的每一列进行高通滤波，接着对滤波后矩阵进行列上采样，再接着对列上采样得到矩阵的每一行进行低通滤波得到A_N2矩阵；

(7.3)对cV_N⁴矩阵进行行上采样，然后对行上采样后矩阵的每一列进行低通滤波，接着对滤波后矩阵进行列上采样，再接着对列上采样得到矩阵的每一行进行高通滤波得到A_N3矩阵；

(7.4)对cD_N⁴矩阵进行行上采样，然后对行上采样后矩阵的每一列进行高通滤波，接着对滤波后矩阵进行列上采样，再接着对列上采样得到矩阵的每一行进行高通滤波得到A_N4矩阵；

(7.5)将上述A_N1矩阵、A_N2矩阵、A_N3矩阵和A_N4矩阵进行矩阵加法运算得到第N-1近似系数矩阵cA_N-1⁴；

所谓矩阵行上采样，就是将矩阵的行数增加一倍，在原始矩阵任意两行之间插入一行零向量，最后对新构矩阵的最后一行补零；所谓矩阵列上采样，就是将矩阵的列数增加一倍，在原始矩阵任意两列之间插入一列零向量，最后对新构矩阵的最后一列补零；

所述对行进行低通滤波就是将该行元素与小波低通滤波器系数求卷积，得到一行新元素值，代替原有行；

所述对行进行高通滤波就是将该行元素与小波高通滤波器系数求卷积，得到一行新元素值，代替原有行；

所述对列进行低通滤波就是将该列元素与小波低通滤波器系数求卷积，得到一列新元素值，代替原有列；

所述对列进行高通滤波就是将该列元素与小波高通滤波器系数求卷积，得到一列新元素值，代替原有列；

所述小波低通滤波器系数和小波高通滤波器系数通过查阅相关文献可以得到。