一种基于梯度下降优化算法的可调节景深全息图重建方法

1.本发明涉及一种全息显示技术领域，具体涉及一种基于梯度下降优化算法的可调节景深全息图重建方法。


背景技术：

2.全息显示因为能重建真实的三维光场，被认为是下一代ar、vr或xr中最有应用前景的技术，它将给产业、教育、游戏、医疗等领域带来革命性的变化。在目前商业化的ar、vr或xr产品中，往往通过给左右眼提供不同的图像来实现双目视觉差或者虚化背景图像提供心理暗示等方式为使用者提供观看立体图像的感受。但是这些基于平面光显示的技术不能给使用者提供单目深度线索，这会导致长时间使用产品后产生视觉疲劳、头晕和由辐辏冲突引起的恶心等不适。全息三维显示是一种利用波前信息实现三维场景重建的显示方式，它可以准确的重建三维目标的强度和深度。而计算全息可以省去传统全息技术中复杂的干涉记录过程，而是利用空间光调制器和计算机数值计算出的全息图即可实现全息显示的过程。
3.在计算全息中，为了得到某一位置的光场传播一定距离后新的光场分布，需要使用衍射算法，常见的衍射算法有点源法和角谱法。点源法通过计算目标场中每个点的衍射来得到衍射后平面的光场分布，它的优点是可以计算三维目标的衍射，缺点是计算速度较慢。角谱法通过对复场分布做傅立叶分析，计算平面光场在空间上沿特定方向的传播，优点是计算速度快，缺点是只能计算平行光的衍射。
4.在基于物理模型的计算全息方法中，储存3d数据的格式主要分为四个类别：点云、多边形、分层和多视点图像光场。目前结合机器学习的计算全息方法主要应用在基于点云和分层数据格式的计算任务上。


技术实现要素：

5.本发明旨在提出一种基于梯度下降优化算法的可调节景深全息图重建方法，技术思路是：将全息图的生成当做一个优化过程，首先通过预计算生成初始全息图，然后利用具有特定损失函数的梯度下降算法优化全息图；在优化过程中，利用全息显示中重建相位的随机程度和重建图像景深的关系，通过控制重建相位的随机程度来调节重建图像的景深大小。相比传统调节图像景深的方法，本发明重建得到的全息图，具有图像质量高、景深动态可调、图像虚化自然等优点，更类似于人眼观察的自然图像，有望在全息显示、va/ar/xr等场景中获得实际应用。
6.本发明的技术方案如下：
7.基于梯度下降优化算法的可调节景深全息图重建方法，该过程分为4个步骤：
8.步骤1：根据目标景深的大小设定目标相位随机度。根据目标相位随机度，在分层的立体图像中添加随机相位，从而建立目标复振幅光场。根据目标复振幅光场进行预计算，从而得到初始全息图。
9.步骤2：利用衍射算法从初始全息图重建全息图像，得到重建的复振幅光场，并计算重建振幅和重建相位的随机度。将重建的振幅和目标立体图像代入损失函数，进行计算，得到振幅损失值；将重建相位的随机度和设定的目标随机度代入损失函数，得到相位随机度损失值；将振幅损失值和相位随机度损失值求和得到总损失值。
10.步骤3：将总损失值对全息图的相位进行梯度的计算，根据反向传播算法对全息图进行更新，不断优化全息图，当优化的次数满足设定的次数，或重建图像的质量达到要求后，停止优化过程。
11.步骤4：将优化好的全息图加载到空间光调制器上，从而获得立体图像的重建。
12.进一步，所述的根据目标景深的大小设定目标相位随机度是指由于目标相位随机度和重建图像的景深相关，目标相位的随机度越大景深越小，因此可以通过改变设定的目标相位随机度来改变重建图像的景深大小。
13.进一步，所述的相位随机度是指通过计算相位分布中所有相位值的标准差得到的衡量相位分布随机程度的量。
14.进一步，所述的在分层立体图像中添加随机相位，是指在分层立体图像上添加取值范围为-π到π，并且服从平均值为0，标准差为目标相位随机度的正态分布的随机相位。其中立体图像的不同深度和不同区域的目标相位随机度可以不同，从而达到重建图像在不同深度和不同区域具有不同大小景深的效果。
15.进一步，所述的预计算是指采用复振幅全息图重建方法初步得到初始全息图的过程。其中预计算需要采用复振幅全息图重建方法得到纯相位全息图，可采用二种方法，具体方法为：
16.第一种，double-phase的编码方法：将目标复振幅光场通过衍射算法传播到空间光调制器平面，得到空间光调制器上的复振幅全息图，将复振幅全息图编码为两个纯相位全息图，再利用棋盘格对两个纯相位全息图交错采样，得到叠加的纯相位全息图。
17.第二种，复数随机梯度下降方法：将空间光调制器平面的纯相位全息图通过衍射算法重建全息图像，得到重建的复振幅光场，将重建的复振幅光场和目标复振幅光场代入复数损失函数，得到复振幅损失值，复振幅损失值对全息图进行梯度计算，根据反向传播算法对全息图进行更新，不断优化纯相位全息图，当优化的次数满足设定的次数，或重建图像的质量达到要求后，停止优化过程，并输出计算结果。
18.进一步，所述的初始全息图或全息图是指纯相位全息图。由于现有的商业化空间光调制器只有纯相位型或纯振幅型，而纯相位型空间光调制器衍射效率更高，所以本发明计算得到的是纯相位全息图。
19.进一步，所述的利用衍射算法从初始全息图重建全息图像，得到重建的复振幅光场是指使用角谱法或其他计算过程可微分的衍射算法计算全息图在目标平面重建的复振幅光场分布。
20.进一步，所述的计算重建相位的随机度是指先修正重建相位，再计算重建相位分布中所有相位值的标准差，修正相位的具体方法为：
21.统计取值范围为-π到π的相位分布中数量最多的相位值通过将相位值增加或减去2π的方式，以作为中心值重构相位分布的取值范围为到使得到的相位分布的中心值和均值更加近似，计算得到的标准差更能反映相位的随机程度。
22.进一步，所述的损失函数是指均方损失函数。
23.进一步，所述的相位随机度损失值是指立体图像中每一层重建相位的随机度与对应的目标随机度代入损失函数计算得到的损失值，再根据这层图像的面积进行加权求和得到的总损失值。
24.进一步，所述的将总损失值对全息图进行梯度计算，并根据反向传播算法对全息图进行更新是指将计算得到的总损失函数loss对纯相位全息图ho进行梯度计算，得到梯度值根据反向传播公式hi＝ho-lr*grad，得到更新后的纯相位全息图hi，其中lr是学习率。
25.进一步，所述的不断优化全息图是指不断重复将全息图重建、计算总损失值、进行梯度计算，最后根据反向传播算法对全息图进行更新的过程。
26.进一步，所述的当优化次数满足设定的次数，或重建图像质量达到要求后，停止优化过程是指优化的次数达到设定的上限，或重建的图像通过图像质量评估函数计算得到的分数达到设定的阈值时，停止优化，并保留最后一次迭代得到的全息图作为优化好的全息图。
27.进一步，所述的空间光调制器是指纯相位空间光调制器，如果空间光调制器的像元过大，导致重建图像和衍射像重合，则还需要使用4f系统滤波消除衍射的图像。
28.进一步，所述的获得立体图像的重建是指在对应的衍射距离处接收重建的全息图像。
29.本发明的有益效果在于：
30.1)获得可调节的景深效果：本发明是一种迭代优化的方法，可以通过调节目标图像的相位随机度，使得计算全息图的重建相位随机度不断向设定的目标优化。由于相位分布随机度越高图像景深越小，因此可以通过设定目标图像的相位随机度来实现对景深的调节。
31.2)获得高质量图像重建：本发明是一种迭代优化方法，并且在损失函数上对相位分布没有过多限制。因此该方法比传统double-phase的编码方法得到的全息图的重建质量更好。尤其是在高随机度相位的部分，传统double-phase的编码方法难以得到重建高质量图像的全息图。
32.3)获得真实的离焦效果：本发明通过增加重建图像相位的随机度来减小景深，由于随机的相位分布近似于物体表面的漫反射，因此相比于现有的振幅随机梯度下降方法，当离焦时，离焦的全息图像会产生更真实的离焦效果。
附图说明
33.图1是本发明的流程图；
34.图2是本发明步骤1中的预计算采用复数随机梯度下降方法的流程图；
35.图3是本发明步骤2中的计算重建相位随机度时，相位修正前和相位修正后的相位分布直方图；
36.图4是本发明实施例中采用的光路图；
37.图5是本发明仿真重建结果和其他方法的仿真重建结果的对比；
38.图6是本发明对单层图像的仿真重建结果；
39.图7是本发明生成的不同景深图片在不同成像深度对人眼的敏感度曲线。
具体实施方式
40.下面结合附图和实施例对本发明作进一步描述，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等同变换均落于本技术所附权利要求所限定的范围。
41.本发明提出一种基于梯度下降优化算法的可调节景深全息图重建方法，本发明的流程图如图1所示，包括以下步骤：
42.步骤1：根据需要产生的景深效果，给分为n层的立体图像a
t
(x,y)添加随机相位首先设置各层图像的随机度为σ
{i}
(i＝1,2,...,n)，需要产生大的景深则设置小的随机度，需要产生小的景深则设置大的随机度。通过从均值为0，标准差为σ
{i}
的正态分布中随机采样的方式在每一层上得到取值范围为-π到π的随机相位分布将立体图像的振幅和相位分布合成复振幅光场，使用衍射算法把各层复振幅光场传播到近场平面，合成得到平面上的目标复振幅光场u
t
(x,y)。
43.根据目标复振幅光场u
t
(x,y)，在预计算阶段使用复数随机梯度下降方法重建初始全息图，复数随机梯度下降方法的流程图如图2所示：
44.首先计算目标复振幅光场u
t
(x,y)的实部re(u
t
)和虚部im(u
t
)作为复数随机梯度下降方法的优化目标，然后将全息图从相位值全为0的初始状态开始优化。在每次优化过程中，将全息图的相位分布和振幅值全为1的振幅分布合成得到空间光调制器平面的复振幅光场分布，使用角谱法将空间光调制器平面的复振幅光场传播到目标图像的近场平面，得到重建复振幅光场u
rc
(x,y)。计算重建复振幅光场u
rc
(x,y)的实部re(u
rc
)和虚部im(u
rc
)，将重建复振幅光场的实部re(u
rc
)和目标复振幅光场的实部re(u
t
)以及重建复振幅光场的虚部im(u
rc
)和目标复振幅光场的虚部im(u
t
)分别代入均方损失函数mseloss中计算得到损失值并相加得到复振幅损失值lossc。将复振幅损失值lossc对全息图hc计算梯度值根据反向传播公式hc'＝hc-lrc*grad，得到更新后的纯相位全息图hc'，其中lrc是学习率。当优化的次数达到设定的次数后停止优化过程，输出初始全息图ho。
45.步骤2：将初始全息图ho的相位分布和振幅值全都等于1的振幅分布合成得到空间光调制器平面的复振幅光场分布u0(x,y)，通过角谱法
[0046][0047]
计算得到各个重建平面的复振幅光场分布u
r{i}
(i＝1,2,...,n)，其中
[0048][0049]
表示角谱法中的传递函数，λ表示波长，f
x
,fy表示空间频率，z表示光场传输距离。从复振幅光场分布u
r{i}
(i＝1,2,...,n)中计算得到重建的振幅分布ar(x,y)和相位分布若相位分布中数量最多的相位值不等于0，则进行相位修正，修正方法a(
·
)表示为：
[0050][0051]
图3上方的直方图表示相位修正前的相位分布，图3下方的直方图表示相位修正后的相位分布。然后计算各层相位标准差σ
r{i}
(i＝1,2,...,n)作为重建相位的随机度。
[0052]
将重建的振幅和目标立体图像代入均方损失函数mseloss进行计算，得到振幅损失值lossa；将重建相位的随机度和设定的目标随机度代入均方损失函数mseloss得到损失值，将每层的损失值求和得到相位随机度损失值loss，将振幅损失值和相位随机度损失值求和得到总损失值loss
sum
，loss
sum
的表达式如下所示：
[0053][0054]
其中β是自定义的超参数，s
{i}
是和每层图像大小成正比的比例因子，s0是可学习的比例因子。
[0055]
步骤3：将计算得到的总损失函数loss
sum
对纯相位全息图ho进行梯度计算，得到梯度值根据反向传播公式hi＝ho-lr*grad，得到更新后的纯相位全息图hi，其中lr是学习率。将全息图重建，计算总损失值，进行梯度计算，最后将反向传播算法对全息图的更新视作一次优化全息图的过程，不断重复优化全息图的过程，直至优化次数达到设定的上限，或重建的图像通过计算得到其结构相似性ssim指标，指标达到阈值后停止优化，并保留最后一次迭代得到的全息图作为优化好的全息图。
[0056]
全息图的重建光路如图4所示，将优化好的全息图加载到空间光调制器上，通过4f系统，在对应的衍射距离处接收全息图的重建像。
[0057]
在本发明的实施例中，利用图1所示的方法，目标图像分辨率设定为1600x880，空间光调制器的分辨率为1920x1080，波长设定为520nm。采用两个深度的分层立体图像，中心区域成像深度设定为90mm，相位随机度设定为0.30，背景区域成像深度设定为100mm，相位随机度设定为1.50。仿真结果如图5所示，展示了现有技术和本发明在90mm，95mm和100mm处的仿真重建图。第一行是采用传统double-phase的编码方法的仿真结果；第二行是采用复数随机梯度下降方法得到的仿真结果；第三行是采用振幅随机梯度下降方法得到的仿真结果；第四行是采用本发明方法得到的仿真结果。可以看出本发明方法与传统double-phase的编码方法和复数随机梯度下降方法相比得到了质量更高的重建图像，与振幅随机梯度下降方法相比得到了更真实可控的景深效果。
[0058]
图5为本发明对同一个单层图像，设定不同目标相位随机度的仿真结果。从所有全息图在不同深度的仿真重现图像中可以看出，目标相位随机度越大的全息图，重建得到的图像景深越小。
[0059]
图7是本发明生成的不同景深图片在不同成像深度对人眼的敏感度曲线。采用图5中的仿真结果，使用基于人眼对比敏感度函数(csf)方法对图像评估，图像反映了在各个离焦深度上图像对人眼的敏感程度相对于焦面上人眼对图像的敏感程度的比率。具体方法如下所示：
[0060][0061]
其中i0表示焦面的重建图像，id表示离焦的重建图像。
[0062]
从图像中可以看出，本发明的方法可以通过调节图像景深大小来改变不同深度图像对人眼的刺激程度，这为使用全息技术解决辐辏冲突提供了更佳途径。因此本发明方法能够运用在全息显示中。