一种基于压缩传感的多视点数据采集方法
【技术领域】
[0001] 本发明涉及立体显示技术领域，具体涉及一种基于压缩传感的多视点数据采集方 法。
【背景技术】
[0002] 立体显示技术，特别是多视点三维显示技术需要通过渲染多视点数据获得立体效 果。基于相机阵列的多视点数据采集为三维显示提供了渲染所需数据，三维显示的角度分 辨率和可视角度直接取决于相机的数目和角度。相机阵列具有分辨率高，成像时间快的优 点。
[0003] 目前光场采集的设备主要分成两种：装配特殊光学器件的单相机与阵列多相 机。装配特殊光学器件的单相机通过使用微透镜阵列（internal imaging)、透镜阵列 (multiple lens)或加装掩膜（mask)等器件仅用单个成像传感器就能够达到采集多个方 向图像的目的。对于微透镜阵列和透镜阵列相机，它们通过在成像传感器与光圈之间加装 微透镜阵列或者直接改装镜头为透镜阵列从而改变光线的方向，将不同方向的光线按照加 装的器件特征分布记录在单个成像传感器平面的不同位置上，再通过后期的处理将其提取 出来。而加装掩膜的单相机在掩膜上进行编码从而得到编码后的图像，利用压缩传感技术， 通过计算可以从编码单张图像重建出多个方向的多张图像。另一种技术相机阵列（camera array)通过在不同物理位置上部署多相机，直接采集不同方向上的光场数据，每台相机采 集一路光场。光场的角度分辨率与角度域直接取决于相机的数目和间距。
[0004] 为了提高三维显示的效果，需要获得大量视点的数据，即需要大量相机，但大量的 相机导致了系统体积大，结构复杂，可维护性差，制作成本高昂。同时其对应的标定程序复 杂，且产生的大量数据带来了存储和传输的难题。
【发明内容】
[0005] 发明目的：为了克服现有技术中存在的不足，本发明提供一种基于压缩传感的多 视点数据采集方法，通过稀疏相机阵列进行光场采集，利用压缩传感算法，对光场进行重 建，解决了现有技术的问题。
[0006] 技术方案：为实现上述目的，本发明采用的技术方案为：
[0007] -种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列，所述 稀疏相机阵列包括T台相机，T = 1，2, 3。。。；所述T台相机捕捉T*T的光场视图；所述T台 相机在T*T区域内每一列有一台相机，每一行有一台相机；
[0008] 该方法包括以下步骤：
[0009] 1)将被稀疏相机阵列捕捉到的M(M = T)个图像向量化，可由如下数学公式表示：
[0010] I =OL= OD a (1)
[0011] 式中：
[0012] I G Rm为向量化的稀疏相机阵列捕捉到的图像；
[0013] LeRn为向量化的完备相机阵列捕捉到的图像，也是需还原的光场数据；
[0014] 〇eRmXn为采集光场数据使用的测量矩阵，其中m〈〈n;
[0015] DGRnX%超冗余字典；
[0016] a为表示系数；
[0017] 2)字典训练：
[0018] 首先生成由大量光场碎片组成的训练集：将一组自然光场图像中的每一幅图像h 按照（PxXPy)视图堆叠起来组成L= ，然后多次从L中沿着二维图像^平 面提取切块，一个切块大小（PxXpy)像素，向量化之后获得多个光场碎片
[0019] 对多组自然光场图像进行上述过程，获取大量光场碎片组成训练集，训练超冗余 字典满足下式：
[0020]
【主权项】
1. 一种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列，所述稀 疏相机阵列包括T台相机，T = 1，2, 3。。。；所述T台相机捕捉T*T的光场视图；所述T台相 机在Τ*Τ区域内每一列有一台相机，每一行有一台相机； 该方法包括以下步骤： 1) 将被稀疏相机阵列捕捉到的M(M = Τ)个图像向量化，可由如下数学公式表示： I = OL=ODa 式中： I e Rm为向量化的稀疏相机阵列捕捉到的图像； L e Rn为向量化的完备相机阵列捕捉到的图像，也是需还原的光场数据； Φ e Rmxn为采集光场数据使用的测量矩阵，其中m〈〈n ; D e RnxdS超冗余字典； a为表示系数； 2) 字典训练： 首先生成由大量光场碎片组成的训练集：将一组自然光场图像中的每一幅图像Ii按照 (PxXpy)视图堆叠起来组成L = [I1112卜· Iuxv]，然后多次从L中沿着二维图像1，面提取 切块，一个切块大小（PxXpy)像素，向量化之后获得多个光场碎片卩e 对多组自然光场图像进行上述过程，获取大量光场碎片组成训练集，训练超冗余字典 满足下式：
式中： L= [I1 Il2卜*1,] e Rnxtl为由q个光场碎片组成的训练集； D = W11 d21…Id] e Rnxt^ d大小的超冗余字典； A = [ a i卜2卜· a ,] e Rdxtl为使用超冗余字典表示q个光场碎片的k阶稀疏表示，A 的每一列最多有k个非零元素； 3) 光场重建： 完成步骤2)之后，计算稀疏表示系数： W
式中： i为经过采样得到的部分光场信息； Φ为测量矩阵； D为训练得到的超冗余字典； ε为系统误差。
2. 如权利要求1所述的一种基于压缩传感的多视点数据采集方法，其特征在于，步骤 2)字典训练时，可以使用范数^替代范数I C1，对I1求解时，采用滑动窗口算法； 所述滑动窗口算法对已采样的部分光场图像切分成若干碎片进行迭代求解，在切分光 场碎片时，遵循预设的步长，越小碎片之间重叠的部分越大。
3.如权利要求2所述的一种基于压缩传感的多视点数据采集方法，其特征在于，所述 滑动窗口算法包括以下步骤： 2. 1)按照稀疏相机阵列的配置，计算测量矩阵Φ ; 2. 2)对于每一幅单独视图按照步长s切分为若干个碎片Ii; 2. 3)遍历每一个碎片，进行2. 4和2. 5步骤的迭代； 2. 4)使用Lasso ADMM算法计算^在Φ?的稀疏表示系数a i; 2. 5)根据所得系数α，得到恢复后的光场L = Da。
【专利摘要】本发明公开了一种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列，所述稀疏相机阵列包括T台相机，T台相机捕捉T*T的光场视图；在T*T区域内每一列有一台相机，每一行有一台相机。将这些相机捕捉到的图像向量化，完成超冗余字典训练完成后，使用稀疏相机阵列采集的部分光场就可以恢复原始光场信息。本发明减少了光场采集系统的相机数量，精简了系统结构，提高了可维护性，减少了系统成本。
【IPC分类】H04N13-02, H04N13-00
【公开号】CN104735438
【申请号】CN201510103232
【发明人】李伟, 沈春林
【申请人】南京航空航天大学
【公开日】2015年6月24日
【申请日】2015年3月9日