基于卷积神经网络的光场角度超分辨率方法及装置与流程

本发明涉及计算机视觉技术领域，特别涉及一种基于卷积神经网络的光场角度超分辨率方法及装置。

背景技术：

光场成像是一种最为广泛使用的捕捉物体场景三维信息的手段之一，与传统成像方式不同的是，光场不仅记录光线在某个位置上的强度，还记录光线在这个位置上来自某一角度范围的分布情况，因此，由两个维度成像变为四个维度的成像，包括两个空间维度和两个角度维度。早期光场采集装置主要有多相机阵列系统和光场构台系统，需要定制昂贵的硬件设施。随着光场成像技术的发展，单相机手持光场采集设备也陆续出现。但是，由于成像传感器分辨率的制约，以及光场的多维度数据特性，手持光场相机往往存在空间角度分辨率的权衡关系，也就是当需要较高的空间分辨率时，则相机角度分辨率则较低，反之亦然。

国内外学者往往通过利用高空间低角度分辨率的光场来进行光场角度超分辨率或视角差值的方法得到高空间角度分辨率的光场，并可按照使用深度信息与否分为两部分。使用深度信息的方法一般需要利用输入光场计算出场景深度信息，再利用已有视角和深度信息渲染出新的视角。该类方法可以针对较大视差的光场进行角度超分辨率，但由于深度信息的计算易受到噪声、物体遮挡以及低纹理区域的影响，且视角渲染非常依赖于深度信息的准确性，往往易产生较为明显的缺陷。而另一类方法则一般基于利用有限采样点对四维光场进行估计的原理进行光场角度超分辨率。该类方法对光场角度超分辨率的准确性较高，但是往往依赖于较为密集的视角采样，且对高频信息的恢复效果较差，有待解决。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于卷积神经网络的光场角度超分辨率方法，该方法该方法有效利用了二维极线平面图的纹理信息，可以提高光场超分辨率的整体精确度，具有很强的鲁棒性。

本发明的另一个目的在于提出一种基于卷积神经网络的光场角度超分辨率装置。

为达到上述目的，本发明一方面实施例提出了一种基于卷积神经网络的光场角度超分辨率方法，包括以下步骤：根据低角度分辨率光场提取多个二维极线平面图；通过一维高斯核函数对所述多个二维极线平面图的每个极线平面图提取出空间低频信息；根据所述每个极线平面图提取出的空间低频信息通过双三次插值方法进行角度维度的上采样，使其达到期望的角度分辨率；通过卷积神经网络对上采样后的极线平面图重建出角度信息；通过非盲去模糊操作恢复所述极线平面图的空间高频信息，以获取角度超分辨率后的高空间角度分辨率的极线平面图；根据所述角度超分辨率后的高空间角度分辨率的极线平面图输出高角度分辨率光场。

本发明实施例的基于卷积神经网络的光场角度超分辨率方法，通过利用极线平面图对低角度分辨率的光场进行角度超分辨率，且同时利用光场的空间和角度信息；一维高斯核通过提取极线平面图的低频信息，可以减少由于稀疏的角度采样带来的混叠现象；利用残差网络仅恢复角度高频信息，不仅提高训练速度，而且提高网络整体精确度；通过已知核函数的非盲去模糊算法恢复空间高频信息，可以达到最优良的恢复效果；并且对一定稀疏角度分辨率的光场均能达到优良的角度超分辨率效果，具有很强的鲁棒性。

另外，根据本发明上述实施例的基于卷积神经网络的光场角度超分辨率方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述一维高斯核函数为：

其中，c为核函数的尺度调节参数，σ为核函数的形状调节参数，x为空间坐标，κ为一维高斯卷积核。

进一步地，在本发明的一个实施例中，所述卷积神经网络为残差网络，且所述卷积神经网络为：

f(E′L)＝E′L+R(E′L)，

其中，E′L＝(EL*κ)↑为经过高斯核函数κ提取角度低频信息后的极线平面图，R为残差网络。

进一步地，在本发明的一个实施例中，通过以下公式获取所述角度超分辨率后的高空间角度分辨率的极线平面图：

其中，非盲去模糊操作Dκ使用的核函数为一维高斯核函数κ。

进一步地，在本发明的一个实施例中，所述残差网络包括三层卷积层，第一层层卷积层L1包括64个1×9×9的核，第二层层卷积层L2包括32个64×5×5的核，第三层层卷积层L3包括1个32×5×5的核，每一层后均连接有一个修正线性单元。

为达到上述目的，本发明另一方面实施例提出了一种基于卷积神经网络的光场角度超分辨率装置，包括：第一提取模块，用于根据低角度分辨率光场提取多个二维极线平面图；第二提取模块，用于通过一维高斯核函数对所述多个二维极线平面图的每个极线平面图提取出空间低频信息；采样模块，用于根据所述每个极线平面图提取出的空间低频信息通过双三次插值方法进行角度维度的上采样，使其达到期望的角度分辨率；重建模块，用于通过卷积神经网络对上采样后的极线平面图重建出角度信息；获取模块，用于通过非盲去模糊操作恢复所述极线平面图的空间高频信息，以获取角度超分辨率后的高空间角度分辨率的极线平面图；输出模块，用于根据所述角度超分辨率后的高空间角度分辨率的极线平面图输出高角度分辨率光场。

本发明实施例的基于卷积神经网络的光场角度超分辨率装置，通过利用极线平面图对低角度分辨率的光场进行角度超分辨率，且同时利用光场的空间和角度信息；一维高斯核通过提取极线平面图的低频信息，可以减少由于稀疏的角度采样带来的混叠现象；利用残差网络仅恢复角度高频信息，不仅提高训练速度，而且提高网络整体精确度；通过已知核函数的非盲去模糊算法恢复空间高频信息，可以达到最优良的恢复效果；并且对一定稀疏角度分辨率的光场均能达到优良的角度超分辨率效果，具有很强的鲁棒性。

另外，根据本发明上述实施例的基于卷积神经网络的光场角度超分辨率装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述一维高斯核函数为：

其中，c为核函数的尺度调节参数，σ为核函数的形状调节参数，x为空间坐标，κ为一维高斯卷积核。

进一步地，在本发明的一个实施例中，所述卷积神经网络为残差网络，且所述卷积神经网络为：

f(E′L)＝E′L+R(E′L)，

其中，E′L＝(EL*κ)↑为经过高斯核函数κ提取角度低频信息后的极线平面图，R为残差网络。

进一步地，在本发明的一个实施例中，通过以下公式获取所述角度超分辨率后的高空间角度分辨率的极线平面图：

其中，非盲去模糊操作Dκ使用的核函数为一维高斯核函数κ。

进一步地，在本发明的一个实施例中，所述残差网络包括三层卷积层，第一层层卷积层L1包括64个1×9×9的核，第二层层卷积层L2包括32个64×5×5的核，第三层层卷积层L3包括1个32×5×5的核，每一层后均连接有一个修正线性单元。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于卷积神经网络的光场角度超分辨率方法的流程图；

图2为根据本发明一个实施例的基于卷积神经网络的光场角度超分辨率方法的流程图；

图3为根据本发明一个实施例的卷积神经网络是结构示意图；

图4为根据本发明实施例的基于卷积神经网络的光场角度超分辨率装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于卷积神经网络的光场角度超分辨率方法及装置，首先将参照附图描述根据本发明实施例提出的基于卷积神经网络的光场角度超分辨率方法。

图1是本发明实施例的基于卷积神经网络的光场角度超分辨率方法的流程图。

如图1所示，该基于卷积神经网络的光场角度超分辨率方法包括以下步骤：

在步骤S101中，根据低角度分辨率光场提取多个二维极线平面图。

可以理解的是，结合图1和图2所示，本发明实施例可以对低角度分辨率光场提取二维极线平面图。

具体地，本发明实施例通过固定四维光场的一个空间坐标和一个角度坐标提取出二维极线平面图，其中，对四维光场可以表示为L(x,y,s,t)，其中，x，y为光场的两个空间维度，s，t为光场的两个角度维度；并通过固定一个空间坐标和一个角度坐标可提取出两类极线平面图，一种是通过固定y与t提取出的二维极线平面图另一种是通过固定x与s提取出的二维极线平面图极线平面图包含有光场的一维空间信息和一维角度信息，下文中对两种二维极线平面图均简称EL。

在步骤S102中，通过一维高斯核函数对多个二维极线平面图的每个极线平面图提取出空间低频信息。

其中，在本发明的一个实施例中，一维高斯核函数为：

其中，c为核函数的尺度调节参数，σ为核函数的形状调节参数，x为空间坐标，κ为一维高斯卷积核。

可以理解的是，本发明实施例可以利用一维高斯核函数κ对每个极线平面图EL提取出其空间低频信息EL*κ。

具体地，相对于空间分辨率来说，所输入的光场角度分辨率较低，也就是光场的角度采样存在欠采样情况，利用深度信息进行视角差值往往会在物体边缘存在较大缺陷，而使用非深度重建方法对其进行角度超分辨率会发生混叠现象，在生成的新视角中产生重影。

另外，本发明实施例通过使用高斯来提取空间低频信息，其作用等价于极线平面图进行抗混叠处理，并利用一维高斯核函数κ对仅提取极线平面图EL的空间低频信息，高斯核函数为：

其中，c为核函数的尺度调节参数，σ为核函数的形状调节参数，x∈[-4σ,4σ]，核函数为离散函数，也就是x仅取整数值，尺度调节参数c使核函数在区间内的值的和等于1，形状调节参数σ根据输入光场中相邻视角的最大视差进行调整，视差越大则σ越大，例如，当光场相邻视角之间视差为4时，取σ＝1.5，核函数的大小为13像素。

在步骤S103中，根据每个极线平面图提取出的空间低频信息通过双三次插值方法进行角度维度的上采样，使其达到期望的角度分辨率。

可以理解的是，本发明实施例可以对提取出的低频极线平面图EL*κ利用双三次插值方法进行角度维度的上采样，使其达到期望的角度分辨率，表示为(EL*κ)↑，其中，一般上采样倍率为2至4。

在步骤S104中，通过卷积神经网络对上采样后的极线平面图重建出角度信息。

进一步地，在本发明的一个实施例中，卷积神经网络为残差网络，且卷积神经网络为：

f(E′L)＝E′L+R(E′L)，

其中，E′L＝(EL*κ)↑为经过高斯核函数κ提取角度低频信息后的极线平面图，R为残差网络。

进一步地，在本发明的一个实施例中，残差网络包括三层卷积层，第一层层卷积层L1包括64个1×9×9的核，第二层层卷积层L2包括32个64×5×5的核，第三层层卷积层L3包括1个32×5×5的核，每一层后均连接有一个修正线性单元。

可以理解的是，本发明实施例可以利用卷积神经网络对上采样后的低频极线平面图(EL*κ)↑重建出角度信息，表示为f((EL*κ)↑)，其中，f为卷积神经网络操作，其网络结构如图3所示。

具体地，本发明实施例所用卷积神经网络可以为残差网络：

f(EL′)＝EL′+R(EL′)，

其中，E′L＝(EL*κ)↑为经过高斯核函数κ提取角度低频信息后的极线平面图，R为残差网络，其中，残差网络包括三层卷积层，第一层L1包括64个1×9×9的核，第二层L2包括32个64×5×5的核，第三层L3包括1个32×5×5的核，每一层后均连接有一个修正线性单元。

另外，在残差网络的训练中，令期望残差r＝E′-E′L，

其中，E′为经过一维核函数提取低频信息的期望高角度分辨率极限平面图，训练的损失函数为：

其中，n为训练极限平面图的数量。在对残差网络进行训练时，每一个训练极限平面图被分割成大小为17×17像素的极限平面子图，分割的步长为14像素；每64个极限平面子图被作为一批进行训练；为避免过拟合对训练结果造成影响，本发明实施例采用数据增强对训练数据进行处理，其中，包括翻转、空间下采样和添加均值为0的高斯噪声。

可以理解的是，本发明实施例可以对残差网络中每一层核的权值，使用均值为0方差为0.001的高斯分布进行初始化；残差网络训练的迭代次数为8×10⁵次；初始学习率为0.01，每2.5×10⁵次迭代减小为之前的1/10；当经过5×10⁵次训练后，学习率经过两次下降变为0.0001；残差网络的冲量为0.9；对残差网络进行训练以及利用网络进行光场角度超分辨率均在极限平面图的YCbCr色彩空间的Y通道下进行，而其他两个通道不进行处理。利用网络对Y通道下的极限平面图进行角度信息的重建后，再将其如另外两个通道合成为最终输出的极限平面图。

在步骤S105中，通过非盲去模糊操作恢复极线平面图的空间高频信息，以获取角度超分辨率后的高空间角度分辨率的极线平面图。

进一步地，在本发明的一个实施例中，通过以下公式获取角度超分辨率后的高空间角度分辨率的极线平面图：

其中，非盲去模糊操作Dκ使用的核函数为一维高斯核函数κ。

可以理解的是，本发明实施例可以利用非盲去模糊操作Dκ恢复极线平面图的空间高频信息，得到角度超分辨率后的高空间角度分辨率的极线平面图：

其中，非盲去模糊操作Dκ使用的核函数为一维高斯核函数κ。由于用于提取极线平面图的低频信息的核函数κ为人工设定，且步骤S103到S104不破坏核函数结构，因此，本发明实施例使用非盲去模糊操作可以较好地恢复被高斯核函数κ去除的高频信息。

在步骤S106中，根据角度超分辨率后的高空间角度分辨率的极线平面图输出高角度分辨率光场。

可以理解的是，本发明实施例可以将进行角度超分辨率后的极限平面图输出为高角度分辨率光场。

具体地，该步骤为步骤S101的逆过程，通过对提取出的二维极线平面图进行如步骤S102到步骤S105所描述的角度超分辨率，再对二维极线平面图进行如步骤S102到步骤S105所描述的角度超分辨率；对二维极线平面图进行角度超分辨率后恢复成生成的新视角提取出二维极线平面图，再进行如步骤S102到步骤S105所描述的角度超分辨率，从而完成对整个四维光场的角度超分辨率。

根据本发明实施例提出的基于卷积神经网络的光场角度超分辨率方法，通过利用极线平面图对低角度分辨率的光场进行角度超分辨率，且同时利用光场的空间和角度信息；一维高斯核通过提取极线平面图的低频信息，可以减少由于稀疏的角度采样带来的混叠现象；利用残差网络仅恢复角度高频信息，不仅提高训练速度，而且提高网络整体精确度；通过已知核函数的非盲去模糊算法恢复空间高频信息，可以达到最优良的恢复效果；并且对一定稀疏角度分辨率的光场均能达到优良的角度超分辨率效果，具有很强的鲁棒性，且由于神经网络天然的噪声抑制效果，对有噪声的输入也具有鲁棒性。

其次参照附图描述根据本发明实施例提出的基于卷积神经网络的光场角度超分辨率装置。

图4是本发明实施例的基于卷积神经网络的光场角度超分辨率装置的结构示意图。

如图4所示，该基于卷积神经网络的光场角度超分辨率装置10包括：第一提取模块100、第二提取模块200、采样模块300、重建模块400、获取模块500和输出模块600。

其中，第一提取模块100用于根据低角度分辨率光场提取多个二维极线平面图。第二提取模块200用于通过一维高斯核函数对多个二维极线平面图的每个极线平面图提取出空间低频信息。采样模块300用于根据每个极线平面图提取出的空间低频信息通过双三次插值方法进行角度维度的上采样，使其达到期望的角度分辨率。重建模块400用于通过卷积神经网络对上采样后的极线平面图重建出角度信息。获取模块500用于通过非盲去模糊操作恢复极线平面图的空间高频信息，以获取角度超分辨率后的高空间角度分辨率的极线平面图。输出模块600用于根据角度超分辨率后的高空间角度分辨率的极线平面图输出高角度分辨率光场。本发明实施例的装置10不仅提高训练速度，而且提高网络整体精确度，具有很强的鲁棒性，且由于神经网络天然的噪声抑制效果，对有噪声的输入也具有鲁棒性。

进一步地，在本发明的一个实施例中，一维高斯核函数为：

其中，c为核函数的尺度调节参数，σ为核函数的形状调节参数，x为空间坐标，κ为一维高斯卷积核。

进一步地，在本发明的一个实施例中，卷积神经网络为残差网络，且卷积神经网络为：

f(E′L)＝E′L+R(E′L)，

其中，E′L＝(EL*κ)↑为经过高斯核函数κ提取角度低频信息后的极线平面图，R为残差网络。

进一步地，在本发明的一个实施例中，通过以下公式获取角度超分辨率后的高空间角度分辨率的极线平面图：

其中，非盲去模糊操作Dκ使用的核函数为一维高斯核函数κ。

进一步地，在本发明的一个实施例中，残差网络包括三层卷积层，第一层层卷积层L1包括64个1×9×9的核，第二层层卷积层L2包括32个64×5×5的核，第三层层卷积层L3包括1个32×5×5的核，每一层后均连接有一个修正线性单元。

需要说明的是，前述对基于卷积神经网络的光场角度超分辨率方法实施例的解释说明也适用于该实施例的基于卷积神经网络的光场角度超分辨率装置，此处不再赘述。

根据本发明实施例提出的基于卷积神经网络的光场角度超分辨率装置，通过利用极线平面图对低角度分辨率的光场进行角度超分辨率，且同时利用光场的空间和角度信息；一维高斯核通过提取极线平面图的低频信息，可以减少由于稀疏的角度采样带来的混叠现象；利用残差网络仅恢复角度高频信息，不仅提高训练速度，而且提高网络整体精确度；通过已知核函数的非盲去模糊算法恢复空间高频信息，可以达到最优良的恢复效果；并且对一定稀疏角度分辨率的光场均能达到优良的角度超分辨率效果，具有很强的鲁棒性，且由于神经网络天然的噪声抑制效果，对有噪声的输入也具有鲁棒性。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。