基于单像素相机的视频多帧重建方法及装置

文档序号:25992772发布日期:2021-07-23 21:05阅读:来源:国知局

技术特征:

1.一种基于单像素相机的视频多帧重建方法,其特征在于,该方法包括以下步骤:

利用单像素相机获取连续多帧图像对应的一维测量值;

基于所述连续多帧图像对应的一维测量值建立视频多帧重建模型,所述视频多帧重建模型使得多帧图像在时间维度上具有低秩性,在空间维度上具有全变分正则化先验;

通过增广拉格朗日乘子法求解所述视频多帧重建模型,得出各变量迭代表达式;

代入测量值和已知的调制掩膜矩阵,经多次迭代,从所述测量值中解耦合出多帧图像。

2.根据权利要求1所述的基于单像素相机的视频多帧重建方法,其特征在于,所述视频多帧重建模型的表达式为:

min||s1||*+||s2||l1,

s.t.g1=s1-x,

g2=s2-hx,

g3=b-ax,

其中,最小化核范数||·||*表示帧间低秩性约束,最小化l1范数||·||l1表示全变分正则化约束,x为待求解的多帧图像集合矩阵,x=[x1,x2,x3,...,xp],xi(i=1,2,…,p)为从初始起第i个图像[m,n]的向量化,大小为[1,m*n],多帧图像集合矩阵内共含有p帧视频图像,b为测量值矩阵,h为梯度算子,a为调制掩膜矩阵,a=[a1,a2,a3,...,as]中ai(i=1,2,…,s)为单个调制掩膜的向量化后的转置矩阵,ai大小为[m*n,1],s为掩膜个数,s/(m*n)为单像素采样率,表达式中参数x满足b=ax。为了方便求解引入若干个辅助变量,分别是s1、s2、g1、g2和g3,其中,s1满足s1=x,s2满足s2=hx,辅助变量g1、g2和g3理论上为0。

3.根据权利要求2所述的基于单像素相机的视频多帧重建方法,其特征在于,通过所述增广拉格朗日乘子法推导出一种凸优化算法来求解所述视频多帧重建模型;

其中,所述通过所述增广拉格朗日乘子法推导出一种凸优化算法来求解所述视频多帧重建模型包括以下步骤:

通过所述增广拉格朗日乘子法将所述视频多帧重建模型的表达式转化为最小化拉格朗日函数,所述最小化拉格朗日函数的公式为:

其中,最小化核范数||·||*表示帧间低秩性约束,最小化l1范数||·||l1表示全变分正则化约束,最小化f范数表示辅助变量与对应变量间误差尽可能小,<·>表示内积,x为待求解的多帧图像集合矩阵,x=[x1,x2,x3,...,xp],xi(i=1,2,…,p)为从初始起第i个图像[m,n]的向量化,大小为[1,m*n],多帧图像集合矩阵内共含有p帧视频图像,b为测量值矩阵,h为梯度算子,a为调制掩膜矩阵,a=[a1,a2,a3,...,as]中ai(i=1,2,…,s)为单个调制掩膜的向量化后的转置矩阵,ai大小为[m*n,1],s为掩膜个数,s/(m*n)为单像素采样率,表达式中参数x满足b=ax,为了方便求解引入辅助变量s1和s2,满足s1=x,s2=hx,μ1,μ2和μ3为平衡不同优化项的权重,y1,y2和y3为将等式约束纳入目标函数的拉格朗日乘数。

求得参数的解或者更新公式。

4.根据权利要求3所述的基于单像素相机的视频多帧重建方法,其特征在于,所述求得参数的解或者更新公式采用迭代优化方法对转化后的所述公式进行优化,并在每次迭代中顺序更新所述公式中的每个变量,所述每个变量的更新原则是在保持其它变量不变的情况下求使得拉格朗日函数最小化的值。

5.根据权利要求3所述的基于单像素相机的视频多帧重建方法,其特征在于,所述求得参数的解或者更新公式利用梯度下降算法、直接求闭式解或者共轭梯度法的方法求解。

6.根据权利要求1所述的基于单像素相机的视频多帧重建方法,其特征在于,所述代入测量值和已知的调制掩膜矩阵,从所述测量值中解耦合出多帧图像,其中,同时从求得的多帧图像集合矩阵中恢复出2帧及以上的多帧图像。

7.一种用于实现由权利要求1-6任一方法的装置,其特征在于,该装置包括获取模块、预处理模块、构建模块、求解模块和重建模块;

所述获取模块,用于采集时间连续的所述多帧图像对应的一维测量值;

所述预处理模块,用于将所述多帧图像对应的一维测量值生成测量值矩阵,将与所述测量值对应的掩膜生成调制掩膜矩阵,以及初始化待求的多帧图像集合矩阵;

所述构建模块,用于在帧间低秩性和帧内空间全变分正则化约束下构建所述视频多帧重建模型;

所述求解模块,用于通过增广拉格朗日乘子法求解所述视频多帧重建模型,得出各变量迭代表达式,代入测量值和已知的调制掩膜矩阵,经多次迭代,从所述测量值中得出多帧图像集合矩阵;

所述重建模块,用于处理所求的多帧图像集合矩阵,一次性分离出待重建多个多帧图像。

8.根据权利要求7所述的装置,其特征在于,在预处理模块中,将多个所述多帧图像对应的测量值和与所述测量值对应的掩膜生成帧数对应的矩阵时,向量化后按列向量拼合为矩阵的形式。

9.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-6中任一所述的方法。

10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。


技术总结
一种基于单像素相机的视频多帧重建方法和装置,该方法利用单像素相机获取连续多帧图像对应的一维测量值;基于一维测量值建立视频多帧重建模型,视频多帧重建模型使得多帧图像在时间维度上具有低秩性,在空间维度上具有全变分正则化先验;通过增广拉格朗日乘子法求解所述视频多帧重建模型,得出各变量迭代表达式;代入测量值和已知的调制掩膜矩阵,经多次迭代,从所述测量值中解耦合出多帧图像。由此,在多帧图像帧间低秩性先验和视频帧内全变分正则化约束下的本申请实施例,可在较低采样率下,同时重建多帧图像,提高重建效率和重建精度,对噪声具有鲁棒性,也就是说,本申请实施例具有高信噪比、高精度、低成本、效率高、适应性好等特性。

技术研发人员:边丽蘅;闫荣;张军
受保护的技术使用者:北京理工大学
技术研发日:2021.03.04
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1