一种基于残差重构的视频仿真方法及装置与流程

本发明涉及视频处理技术领域，尤其是涉及一种基于残差重构的视频仿真方法及装置。

背景技术：

随着宽带的普及与计算机技术的发展，利用采样技术对接收到的视频进行仿真，实时探测、监视设防区域，是协助公共安全部门维持社会安定的重要手段，在涉及教育、政府、娱乐、医疗、酒店、运动等各种领域都具有重要作用。

现如今，视频监控均是采用在任何时间段都分配相同的采样间隔的方法来实现图像资源的采集与仿真，但是，发明人经研究发现，在诸如交通道路的监控中，上班早高峰或者下班晚高峰的变化情况较为复杂，与之相对的，在深夜或者凌晨的时间段，往往图像的要素变化并不明显，因此，若都采用相同的采样间隔，将无法有效利用采样资源，导致视频监控的仿真效果变差。

技术实现要素：

本发明提供一种基于残差重构的视频仿真方法及装置，以解决现有的仿真方法无法有效利用采样资源，仿真效果较差的技术问题，通过基于残差重构的特定算法，使得视频仿真能够根据实时图像调整不同的采样间隔，提升了视频仿真的效果，推进了仿真采样的智能化进程。

为了解决上述技术问题，本发明实施例提供了一种基于残差重构的视频仿真方法，包括：

基于初始采样间隔，通过稀疏表示算法对待处理视频进行解码，分别得到对应的采样前视频帧、采样后视频帧和采样时刻视频帧；

分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量；

根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值，并得到对应的自适应采样间隔；

基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构；

对重构后的所述采样时刻测量矢量进行解码，得到对应的自适应采样时刻视频帧；

以解码后得到的自适应采样时刻视频帧进行仿真输出。

作为其中一种优选方案，所述分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量的步骤，具体为：

根据预置的矢量计算式进行矢量化处理：

z＝ty

其中，t为128维度的向量，z包括矢量化处理后的采样前测量矢量zt-1、采样后测量矢量zt+1、采样时刻测量矢量zt，y包括矢量化处理前的采样前视频帧yt-1、采样后视频帧yt+1和采样时刻视频帧yt。

作为其中一种优选方案，所述根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值的步骤，具体为：

根据预置的预测值计算式计算所述预测值：

其中，为采样时刻测量矢量的预测值，zt-1为矢量化处理后的采样前测量矢量，zt+1矢量化处理后的采样后测量矢量，α与β分别为常数。

作为其中一种优选方案，所述基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构的步骤，具体为：

基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数；

根据所述预测值、所述采样时刻测量矢量计算在所述自适应采样间隔时的预测误差，并不断迭代；

以迭代后的所述自适应采样间隔对所述采样时刻测量矢量进行重构。

作为其中一种优选方案，所述基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数的步骤，具体为：

根据预置的采样变化系数计算式进行计算：

int0＝c×inta

其中，inta为初始采样间隔，int0为自适应采样间隔，c为采样系数。

本发明另一实施例还提供了一种基于残差重构的视频仿真装置，包括控制器，所述控制器被配置为：

基于初始采样间隔，通过稀疏表示算法对待处理视频进行解码，分别得到对应的采样前视频帧、采样后视频帧和采样时刻视频帧；

分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量；

根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值，并得到对应的自适应采样间隔；

基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构；

对重构后的所述采样时刻测量矢量进行解码，得到对应的自适应采样时刻视频帧；

以解码后得到的自适应采样时刻视频帧进行仿真输出。

作为其中一种优选方案，所述控制器还被配置为：

根据预置的矢量计算式进行矢量化处理：

z＝ty

其中，t为128维度的向量，z包括矢量化处理后的采样前测量矢量zt-1、采样后测量矢量zt+1、采样时刻测量矢量zt，y包括矢量化处理前的采样前视频帧yt-1、采样后视频帧yt+1和采样时刻视频帧yt。

作为其中一种优选方案，所述控制器还被配置为：

根据预置的预测值计算式计算所述预测值：

其中，为采样时刻测量矢量的预测值，zt-1为矢量化处理后的采样前测量矢量，zt+1矢量化处理后的采样后测量矢量，α与β分别为常数。

作为其中一种优选方案，所述控制器还被配置为：

基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数；

根据所述预测值、所述采样时刻测量矢量计算在所述自适应采样间隔时的预测误差，并不断迭代；

以迭代后的所述自适应采样间隔对所述采样时刻测量矢量进行重构。

作为其中一种优选方案，所述控制器还被配置为：

根据预置的采样变化系数计算式进行计算：

int0＝c×inta

其中，inta为初始采样间隔，int0为自适应采样间隔，c为采样系数。

相比于现有技术，本发明实施例的有益效果在于，通过将每一采样时刻的关键帧转化成特征矩阵(该矩阵可以认为是稀疏表示的算法解码后的稀疏特征信息)，然后结合前一时刻和后一时刻的特征矩阵对当前时刻的特征矩阵进行预测，进而重构采样时刻的视频帧，使得视频仿真能够基于获取到的实时采样资源不断调整采样频率，进而提高了采样资源的利用率，提升了视频仿真的效果，使得重构后的视频帧相比于初始采样间隔的视频帧，不会出现图像模糊、取流异常、画面冻结和信号丢失等情况，推进了视频监控仿真的智能化进程。

附图说明

图1是本发明其中一种实施例中的基于残差重构的视频仿真方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和科学术语与属于本的技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

本发明一实施例提供了一种基于残差重构的视频仿真方法，具体的，请参见图1，图1示出为本发明其中一种实施例中的基于残差重构的视频仿真方法的流程示意图，其中包括：

s1、基于初始采样间隔，通过稀疏表示算法对待处理视频进行解码，分别得到对应的采样前视频帧、采样后视频帧和采样时刻视频帧；

s2、分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量；

s3、根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值，并得到对应的自适应采样间隔；

s4、基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构；

s5、对重构后的所述采样时刻测量矢量进行解码，得到对应的自适应采样时刻视频帧；

s6、以解码后得到的自适应采样时刻视频帧进行仿真输出。

进一步的，在上述实施例中，对于步骤s2：分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量，具体为：

根据预置的矢量计算式进行矢量化处理：

z＝ty

其中，t为128维度的向量，z包括矢量化处理后的采样前测量矢量zt-1、采样后测量矢量zt+1、采样时刻测量矢量zt，y包括矢量化处理前的采样前视频帧yt-1、采样后视频帧yt+1和采样时刻视频帧yt。

进一步的，在上述实施例中，对于步骤s3中根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值的步骤，具体为：

根据预置的预测值计算式计算所述预测值：

其中，为采样时刻测量矢量的预测值，zt-1为矢量化处理后的采样前测量矢量，zt+1矢量化处理后的采样后测量矢量，α与β分别为常数。

进一步的，在上述实施例中，对于步骤s4：基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构的步骤，具体为：

s41、基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数；

s42、根据所述预测值、所述采样时刻测量矢量计算在所述自适应采样间隔时的预测误差，并不断迭代；

s43、以迭代后的所述自适应采样间隔对所述采样时刻测量矢量进行重构。

进一步的，在上述实施例中，对于步骤s41：基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数的步骤，具体为：

根据预置的采样变化系数计算式进行计算：

int0＝c×inta

其中，inta为初始采样间隔，int0为自适应采样间隔，c为采样系数。

为便于理解，本发明实施例提供的基于残差重构的视频仿真方法，具体原理如下：

首先通过稀疏表示的算法进行视频解码，使用稀疏表示重建数据时需要更加关注重建数据变换前后的特征损失问题，为了尽可能的保留样本的原始特征，我们期望原始特征通过变换前后的方差最小，这样就可以使得变换后的特征表示能够充分的表示原始样本的特征结构，假设x表示视频帧，那么y表示重构样本，如下所示：

yt＝h^txt

其中，xt表示表示原始的视频帧，h^t表示稀疏系数。

然后将稀疏表示样本yt转化成矢量化，zt表示表示初始采样间隔的测量矢量，t表示转换规则，一般将样本中的数据按照128维度的向量进行转换，如下所示：

zt＝tyt

接着，采用时间序列多假设的预测方法，结合前一时刻和后一时刻的视频帧，重构采样时刻的测量矢量。

应当说明的是，如果对每一个时刻的视频帧时间序列进行独立重构的话，无疑割裂了视频帧的时间相关性，不能充分利用一个周期内不同视频帧的时间相关性，为了解决这个问题，提出了一种多假设预测残差重构的方法。

结合前一时刻测量矢量zt-1和后一时刻测量矢量zt+1对当前时刻测量矢量进行预测，这相当于增加当前时刻测量矢量zt的观测率，能够有效提升当前时刻网络流量矩阵的重构质量。多假设预测值为：

优选地，通过预置的预测值计算式计算所述预测值：

其中，α加β总和为1，一般为各自设为0.5。

之后，采用多假设预测残差重构算法，实现残差重构，得到重构数据，由于摄像头在不同时间段内具有不同的动态变化特征(采集的数据在慢变周期特征表示事件的稳定变化时段；快变周期特征表示事件的快速变化时段)，因此，在同样的采样间隔下不同时刻摄像头的多假设预测精度也不相同。如果给所有的摄像头在任何时刻分配同样的采样间隔就会造成无法有效利用采样资源和传输带宽的问题。

假设固定采样间隔为int0、inta，采样系数为c，那么三者之间的关系可以表示为：

int0＝c×inta

摄像头在第t时刻测量矢量的预测误差表示：

其中，zt表示t时刻的采样值，表示t时刻的经过时间序列多假设测量矢量预测值，如果第t时刻的预测误差越大，那么需要的采样间隔越小，因此可以把et作为摄像头视频的自适应采样参数，即c＝k/et。其中k是常数，由实际的网络情况进行选取。

将多假设预测值结合自适应采样间隔得到的当前时刻测量矢量进行多次迭代(如果预测值与测量矢量的误差太大，那么需要再次迭代，知道预测值和测量值的误差在设定的范围内)得到当前时刻测量矢量预测值并结合重构预测残差得到高质量的重构结果，如下所示：

最后，通过解码端进行数据解码，重构t时刻的视频帧并以作为视频仿真的输入。

采用自适应采样的方法适应采样的方法进行视频监控仿真的数据输入，不仅能够减少采样样本的数据，还充分利用一个周期内不同视频帧的时间相关性实现采样样本的校正。通过进行多次迭代实现t时刻样本的校正，并以校正值作为当前视频监控仿真的输入端，能够增加模型的鲁棒性，比如t时刻视频图像模糊、取流异常、画面冻结和信号丢失等情况，这些情况都是可以通过视频的相关性，采用预测-残差重构的方法来实现的，不仅可以用来诊断图像的质量，还能提高仿真输入数据的质量。

为便于理解，本发明实施例通过采用采样时刻、前一时刻和后一时刻的视频帧，通过编码端的处理，将每一时刻的关键帧转化成特征矩阵(该矩阵可以认为是稀疏表示的算法处理后的稀疏特征信息)，然后结合前一时刻和后一时刻的特征矩阵对当前时刻的特征矩阵进行预测，进一步，采用解码端重构采样时刻的视频帧，对比真实采样时刻的视频帧和重构采样时刻的视频帧之间的误差，最后，对比误差和设定的误差阈值的关系调整采样间隔，如果误差大于设定误差阈值，那么就应该进一步缩小采样间隔，相反，增加采样间隔，以此来自适应视频监控的采样要素的变化情况。

本发明另一实施例提供了一种基于残差重构的视频仿真装置，包括控制器，其特征在于，所述控制器被配置为：

基于初始采样间隔，通过稀疏表示算法对待处理视频进行解码，分别得到对应的采样前视频帧、采样后视频帧和采样时刻视频帧；

分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量；

根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值，并得到对应的自适应采样间隔；

基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构；

对重构后的所述采样时刻测量矢量进行解码，得到对应的自适应采样时刻视频帧；

以解码后得到的自适应采样时刻视频帧进行仿真输出。

在其中一种实施例中，所述控制器还被配置为：

根据预置的矢量计算式进行矢量化处理：

z＝ty

其中，t为128维度的向量，z包括矢量化处理后的采样前测量矢量zt-1、采样后测量矢量zt+1、采样时刻测量矢量zt，y包括矢量化处理前的采样前视频帧yt-1、采样后视频帧yt+1和采样时刻视频帧yt。

在其中一种实施例中，所述控制器还被配置为：

根据预置的预测值计算式计算所述预测值：

其中，为采样时刻测量矢量的预测值，zt-1为矢量化处理后的采样前测量矢量，zt+1矢量化处理后的采样后测量矢量，α与β分别为常数。

在其中一种实施例中，所述控制器还被配置为：

基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数；

根据所述预测值、所述采样时刻测量矢量计算在所述自适应采样间隔时的预测误差，并不断迭代；

以迭代后的所述自适应采样间隔对所述采样时刻测量矢量进行重构。

在其中一种实施例中，所述控制器还被配置为：

根据预置的采样变化系数计算式进行计算：

int0＝c×inta

其中，inta为初始采样间隔，int0为自适应采样间隔，c为采样系数。

本发明实施例提供的基于残差重构的视频仿真方法及装置，有益效果在于，通过将每一采样时刻的关键帧转化成特征矩阵(该矩阵可以认为是稀疏表示的算法解码后的稀疏特征信息)，然后结合前一时刻和后一时刻的特征矩阵对当前时刻的特征矩阵进行预测，进而重构采样时刻的视频帧，使得视频仿真能够基于获取到的实时采样资源不断调整采样频率，进而提高了采样资源的利用率，提升了视频仿真的效果，使得重构后的视频帧相比于初始采样间隔的视频帧，不会出现图像模糊、取流异常、画面冻结和信号丢失等情况，推进了视频监控仿真的智能化进程。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。