本发明实施例涉及光场显示技术领域，尤其涉及一种基于光场显示的3d图像校正方法。
背景技术
随着科学技术的飞速发展，传统的二维平面显示技术已经远远无法满足当前各个行业领域对于深度数据与空间立体感的需求。越来越多的应用领域，如医学成像、科学研究、外太空探索、重要远程会议和军事等，要求能够实现三维场景的真实重建，从而使得观看者可以更加精确的捕获相关信息，准确的进行现场判断。
自由立体显示技术可以使观看者通过肉眼直接体验三维视觉，使三维图像更加逼真显示真实图像。光场显示作为自由立体显示的一种，代表是集成成像三维显示，由lippmann提出的ip(integralphotography，集成摄影)技术发展而来，该技术可以为观众提供全视差的自由立体效果。光场显示是一种重要的3d显示，观看者无需佩戴助视眼镜即可观看到立体图像。该3d显示可以完全还原真实3d场景，具有全视差、全彩色和视点连续的优点。
如图1所示的光场显示系统，液晶面板101显示的是编码图像，编码图像是由一系列视差图像通过映射关系合成的，透镜阵列102中每个透镜对应编码图像中相同数目的像素数。编码图像通过透镜阵列折射，在透镜阵列前方重建三维光场，将全息功能屏103放置合适的位置，就可以再现记录的三维场景。
相对比早先的集成成像系统，上述光场显示系统虽然解决了不少问题，诸如解决了深度反转问题、提高了采集效率、简化了系统结构等。但设备、工艺等带来的误差仍然存在：
1、由于工艺上的缺陷，透镜的制作工艺存在一定误差，使得物体通过透镜成像一定会存在像差，从而使得编码图像透过透镜在空中形成的单目视差图存在像差，影响三维观看效果。
2、由于人工操作的误差，液晶面板与透镜阵列之间的距离、透镜阵列与全息功能屏之间的距离等容易存在误差，使得编码图像透过透镜在空中形成的单目视差图存在像差。
技术实现要素：
本发明实施例提供一种基于光场显示的3d图像校正方法，用以解决现有光场显示系统显示的3d图像存在误差的问题。
一方面，本发明实施例提供一种基于光场显示的3d图像校正方法，包括：
基于待显示模型的任一视差图像对应的校正函数，对该视差图像进行校正，获取该视差图像的校正图像；其中，该视差图像对应的校正函数是根据该视差图像与该视差图像对应的空间视差图获取的；
将待显示模型的全部视差图像的校正图像进行编码，获取校正编码图像，将校正编码图像通过光场显示系统进行显示。
另一方面，本发明实施例提供一种基于光场显示的3d图像校正系统，包括：
校正图像获取单元，用于基于待显示模型的任一视差图像对应的校正函数，对该视差图像进行校正，获取该视差图像的校正图像；其中，该视差图像对应的校正函数是根据该视差图像与该视差图像对应的空间视差图获取的；
编码显示单元，用于将待显示模型的全部视差图像的校正图像进行编码，获取校正编码图像，将校正编码图像通过光场显示系统进行显示。
又一方面，本发明实施例提供一种基于光场显示的3d图像校正设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如前所述的基于光场显示的3d图像校正方法。
再一方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的基于光场显示的3d图像校正方法。
本发明实施例提供的一种基于光场显示的3d图像校正方法，通过视差图像对应的校正函数对视差图像进行校正，抵消了光场显示系统的自身误差，提高了光场显示系统的3d图像质量，增强了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种光场显示系统的结构示意图；
图2为本发明实施例的一种基于光场显示的3d图像校正方法的流程示意图；
图3为本发明实施例的一种光场显示系统的俯视图；
图4为本发明实施例的一种待显示模型的示意图；
图5为本发明实施例的一种校正函数的转换示意图；
图6为本发明实施例的一种基于光场显示的3d图像校正系统的结构示意图；
图7为本发明实施例的一种基于光场显示的3d图像校正设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在光场显示系统的最佳观看距离上，人眼观看到的3d效果是最佳的。由光场显示的原理可知，在最佳观看距离上，编码图像通过透镜在空中会形成与原视差图像数目相等的空间视差图，并与视差图像一一对应。理想情况中空间视差图与其相对应的视差图像是一致的，现实中由于误差的存在，两者不可能完全一样，但如果两者越相近，人眼看到的3d图像质量也就更高。针由于误差造成的视差图像与空间视差图不完全一致的问题，本发明实施例提供一种基于光场显示的3d图像校正方法，参考图2，一种基于光场显示的3d图像校正方法，包括：
201，基于待显示模型的任一视差图像对应的校正函数，对该视差图像进行校正，获取该视差图像的校正图像；其中，任一视差图像对应的校正函数是根据该视差图像与该视差图像对应的空间视差图获取的。
此处，视差图像是通过计算机软件中的虚拟摄像机从不同角度对同意待显示模型进行采集，获取的具有一定视差的图像序列组。将待显示模型的全部视差图像进行编码后生成编码图像，此处，编码图像是根据光场显示系统参数，在液晶面板上加载的记录待显示模型(3d)多方向信息的图像。将编码图像加载到光场显示系统的液晶面板上后，由真实摄像机从不同的角度对光场显示系统成像的3d图像进行拍摄，获得的具有一定视差的图形序列组即空间视差图。需要说明的是，虚拟摄像机与真实摄像机的拍摄角度一致，即由虚拟摄像机从任一角度拍摄的视差图像，对应一张由真实摄像机从该角度拍摄的空间视差图。
任一视差图像对应的校正函数是根据该视差图像与该视差图像对应的空间视差图获取的，用于表征由于光场显示系统自身误差造成的视差图像与该视差图像对应的空间视差图之间的误差。获知任一视差图像对应的校正函数后，可通过校正函数对该视差图像进行校正，以抵消视差图像的校正图像输入到光场显示系统后由光场显示系统造成的误差。
202，将待显示模型的全部视差图像的校正图像进行编码，获取校正编码图像，将校正编码图像通过光场显示系统进行显示。
本发明实施例中，通过视差图像对应的校正函数对视差图像进行校正，抵消了光场显示系统的自身误差，提高了光场显示系统的3d图像质量，增强了用户体验。
基于上述实施例，一种基于光场显示的3d图像校正方法，201，基于待显示模型的任一视差图像对应的校正函数，对任一视差图像进行校正，获取任一视差图像的校正图像，之前还包括：
获取待显示模型的任一视差图像中每一角点的坐标，以及该视差图像对应的空间视差图中每一角点的坐标；将该视差图像中每一角点的坐标与该视差图像对应的空间视差图中每一角点的坐标进行拟合，获取该视差图像对应的校正函数。
此处，角点是预设在待显示模型上的点，因而针对任一视差图像中的任一角点，在该视差图像对应的空间视差图中存在于该角点对应的角点。视差图像和对应的空间视差图中角点坐标的获取方法有多种，例如基于灰度图像的角点检测、基于二值图像的角点检测和基于轮廓曲线的角点检测，本发明实施例对此不作具体限定。
进一步地，将任一视差图像中每一角点的坐标与该视差图像对应的空间视差图中每一角点的坐标进行拟合，获取该视差图像对应的校正函数，具体包括：
根据下式对任一视差图像中每一角点的坐标与该视差图像对应的空间视差图中每一角点的坐标进行拟合：
式中，视差图像中角点的数量为(a+1)×(b+1)，视差图像中每一角点的横坐标集合x＝(x0,x1,x2,…,xa)，视差图像中每一角点的纵坐标集合y＝(y0,y1,y2,...,yb)。
视差图像对应的空间视差图中角点的数量与视差图像中角点的数量相等，空间视差图中每一角点的横坐标集合x'＝(x'0,x'1,x'2,...,x'a)，空间视差图中每一角点的纵坐标集合y'＝(y'0,y'1,y'2,...,y'b)；t为尽可能大的自然数，本发明实施例中不对t的取值作具体限定。
通过上式中的多项式拟合，可以得到视差图像与空间视差图中角点的横坐标拟合系数集合k＝(k0,k1,k2,...,kt)，视差图像与空间视差图中角点的纵坐标拟合系统集合m＝(m0,m1,m2,...,mt)。根据k和m，可以得到该视差图像对应的校正函数如下：
式中，f(x)为所述任一视差图像的校正图像中每一角点的横坐标集合，g(y)为所述任一视差图像的校正图像中每一角点的纵坐标集合。
基于上述任一实施例，一种基于光场显示的3d图像校正方法，201，基于待显示模型的任一视差图像对应的校正函数，对该视差图像进行校正，获取该视差图像的校正图像，之前还包括：
通过虚拟摄像机阵列对待显示模型进行拍摄，获取待显示模型的全部视差图像；将全部视差图像进行编码，获取编码图像并通过光场显示系统进行显示；通过摄像机对编码图像通过光显示系统显示的3d图像进行拍摄，获取与每一视差图像对应的空间视差图像。
其中，虚拟摄像机阵列拍摄视差图像的位置与摄像机拍摄空间视差图的位置一致，即由虚拟摄像机阵列中任一虚拟摄像机从任一位置拍摄的视差图像，对应一张由摄像机从该位置拍摄的空间视差图像。
基于上述任一实施例，图3为本发明实施例的一种光场显示系统的俯视图，如图3所示，一种基于光场显示的3d图像校正方法，光场显示系统包括液晶面板101、透镜阵列102和全息功能屏103。
此处，透镜阵列102为将多个透镜在2d方向上进行排列而形成的透镜矩阵。全息功能屏103为利用全息方式制作的光学器件，用于将光线以一定角度进行发散，本发明实施例中，全息功能屏103指一切具有散射功能的光学器件。
为了更好地理解与应用本发明提出的一种基于光场显示的3d图像校正方法，本发明进行以下示例，且本发明不仅局限于以下示例。
图3中，透镜阵列102的中心位置与摄像机阵列104的中心位置重合，竖直方向的光线分布状态可根据图3所示的水平方向的光线分布状态同理得到。其中，摄像机阵列104中摄像机的位置，既是图像采集的位置，也是人眼观看的最佳距离位置。假设透镜阵列102个数为n×m，每张视差图像的分辨率为x×y，编码图像的分辨率为x×y，摄像机阵列104的数目与视差图像的分辨率大小一致，为x×y，每个透镜所覆盖编码图像的像素为r×r，视差图的数目为r×r，其中x＝r×n，y＝r×m。液晶面板101与透镜阵列102之间的距离为g，透镜阵列102与全息功能屏103之间的距离为d，摄像机阵列104与透镜阵列102之间的距离为l。
通过计算机软件对待显示模型进行虚拟拍摄，获取待显示模型的视差图像。图4为本发明实施例的一种待显示模型的示意图，如图4所示，将待检测模型设置为a×b的网格图。待检测模型与零平面的距离为d，虚拟摄像机阵列平面与零平面阵列距离为l，通过拍摄获取的视差图像共r×r张，每张视差图像中都是一张网格图，通过角点检测，获取每张网格图中角点的位置坐标(x0,y0)、(x0,y1)、…、(x1,y0)、(x1,y1)、…、(xa,yb)，每张视差图像中都有(a+1)×(b+1)个角点坐标。此处，零平面为透镜阵列102所在的平面.
由上可知，摄像机阵列104水平方向的间距d＝pl/rg，竖直方向的间距d'＝d，摄像机距离透镜阵列102所在平面的距离为l。由图3可知摄像机阵列104中每一摄像机的位置坐标，上述位置坐标与计算机软件中的虚拟摄像机的位置坐标一致。需要说明的是，计算机软件中虚拟摄像机拍摄的是待显示模型，此处摄像机拍摄的是待显示模型通过光场显示系统在空间所成的像。
通过摄像机沿导轨进行拍摄，得到r×r张空间视差图。理想状态下，此处的r×r张空间视差图与通过计算机软件采集的r×r张视差图像是相同的，但由于各种误差的存在，视差图像与对应的空间视差图不可能完全相同。同样通过角点检测的方式得到空间视差图中角点在各自图像中的坐标(x'0,y'0)、(x'0,y'1)、…、(x'1,y'0)、(x'1,y'1)、…、(x'a,y'b)每张空间视差图中都有(a+1)×(b+1)个角点坐标。
以其中一组视差图像img与空间视差图img’为例，视差图像img中的角点坐标(x0,y0)、(x0,y1)、…、(x1,y0)、(x1,y1)、…、(xa,yb)，与空间视差图像img’中的角点坐标(x'0,y'0)、(x'0,y'1)、…、(x'1,y'0)、(x'1,y'1)、…、(x'a,y'b)一一对应。针对已知的(a+1)×(b+1)组对应的角点坐标进行多项式拟合：
式中，视差图像img中每一角点的横坐标集合x＝(x0,x1,x2,...,xa)，每一角点的纵坐标集合y＝(y0,y1,y2,...,yb)；空间视差图img’中每一角点的横坐标集合x'＝(x'0,x'1,x'2,...,x'a)，每一角点的纵坐标集合y'＝(y'0,y'1,y'2,...,y'b)；t为尽可能大的自然数。
通过上式中的多项式拟合，可以得到视差图像img与空间视差图img’中角点的横坐标拟合系数集合k＝(k0,k1,k2,...,kt)，视差图像img与空间视差图img’中角点的纵坐标拟合系统集合m＝(m0,m1,m2,...,mt)。将上述多项式关系描述为：
图5为本发明实施例的一种校正函数的转换示意图，如图5所示。理想状态下，为使得空间视差图与视差图像img一致，需要求取校正图片img0，其经过光场显示系统后采集得到的空间视差图与视差图img一致。由图5可知，校正图片img0中每一角点的横坐标集合x0＝f(x)，每一角点的纵坐标集合y0＝g(y)，由此可得校正图片img0中各个角点的位置坐标，当网格足够密集的时候，还可以将角点的位置坐标计算变为像素的坐标计算，视差图像img中的每个像素位置坐标通过校正函数f(x)和g(y)的变换得到校正图像img0的各个像素坐标，从而得到校正图像img0。
同理，基于上述处理方式得到r×r张经过计算处理后的校正图像。以img0为例，将视差图像img通过校正生成校正图像img0，用img0代替img进行编码图像的合成，得到校正编码图像。这样，基于光场显示系统显示的3d图像得到了校正。
本示例中，通过视差图像对应的校正函数对视差图像进行校正，抵消了光场显示系统的自身误差，提高了光场显示系统的3d图像质量，增强了用户体验。
基于上述任一方法实施例，图6为本发明实施例的一种基于光场显示的3d图像校正系统的结构示意图，如图6所示，一种基于光场显示的3d图像校正系统，包括：
校正图像获取单元601，用于基于待显示模型的任一视差图像对应的校正函数，对该视差图像进行校正，获取该视差图像的校正图像；其中，该视差图像对应的校正函数是根据该视差图像与该视差图像对应的空间视差图获取的；
编码显示单元602，用于将待显示模型的全部视差图像的校正图像进行编码，获取校正编码图像，将校正编码图像通过光场显示系统进行显示。
需要说明的是，上述校正图像获取单元601和编码显示单元602配合以执行上述实施例中的一种基于光场显示的3d图像校正方法，该系统的具体功能参见上述的基于光场显示的3d图像校正方法的实施例，此处不再赘述。
本发明实施例中，通过视差图像对应的校正函数对视差图像进行校正，抵消了光场显示系统的自身误差，提高了光场显示系统的3d图像质量，增强了用户体验。
基于上述任一实施例，一种基于光场显示的3d图像校正系统，还包括：
角点坐标获取单元，用于获取待显示模型的任一视差图像中每一角点的坐标，以及该视差图像对应的空间视差图中每一角点的坐标；
校正函数获取单元，用于将该视差图像中每一角点的坐标该视差图像对应的空间视差图中每一角点的坐标与进行拟合，获取该视差图像对应的校正函数。
基于上述任一实施例，一种基于光场显示的3d图像校正系统，校正函数获取单元，具体用于：
根据下式对该视差图像中每一角点的坐标与该视差图像对应的空间视差图中每一角点的坐标进行拟合：
式中，该视差图像中每一角点的横坐标集合x＝(x0,x1,x2,…,xa)，该视差图像中每一角点的纵坐标集合y＝(y0,y1,y2,…,yb)；
该视差图像对应的空间视差图中每一角点的横坐标集合x'＝(x'0,x'1,x'2,…,x'a)，该视差图像对应的空间视差图中每一角点的纵坐标集合y'＝(y'0,y'1,y'2,…,y'b)；t为自然数；
由此得到该视差图像对应的校正函数如下：
式中，f(x)为该视差图像的校正图像中每一角点的横坐标集合，g(y)为该视差图像的校正图像中每一角点的纵坐标集合。
基于上述任一实施例，一种基于光场显示的3d图像校正系统，还包括：
视差图像获取单元，用于通过虚拟摄像机阵列对待显示模型进行拍摄，获取待显示模型的全部视差图像；
空间视差图像获取单元，用于将全部视差图像进行编码，获取编码图像并通过光场显示系统进行显示；通过摄像机对编码图像通过光显示系统显示的3d图像进行拍摄，获取与每一视差图像对应的空间视差图像。
基于上述任一实施例，一种基于光场显示的3d图像校正系统，光场显示系统包括液晶面板、透镜阵列和全息功能屏。
图7为本发明实施例的一种基于光场显示的3d图像校正设备的结构示意图，如图7所示，基于光场显示的3d图像校正设备包括：处理器(processor)701、通信接口(communicationsinterface)702、存储器(memory)703和总线704，其中，处理器701，通信接口702，存储器703通过总线704完成相互间的通信。处理器701可以调用存储器703中的逻辑指令，以执行如下方法，例如包括：基于待显示模型的任一视差图像对应的校正函数，对该视差图像进行校正，获取该视差图像的校正图像；其中，该视差图像对应的校正函数是根据该视差图像与该视差图像对应的空间视差图获取的；将待显示模型的全部视差图像的校正图像进行编码，获取校正编码图像，将校正编码图像通过光场显示系统进行显示。
本发明实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：基于待显示模型的任一视差图像对应的校正函数，对该视差图像进行校正，获取该视差图像的校正图像；其中，该视差图像对应的校正函数是根据该视差图像与该视差图像对应的空间视差图获取的；将待显示模型的全部视差图像的校正图像进行编码，获取校正编码图像，将校正编码图像通过光场显示系统进行显示。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：基于待显示模型的任一视差图像对应的校正函数，对该视差图像进行校正，获取该视差图像的校正图像；其中，该视差图像对应的校正函数是根据该视差图像与该视差图像对应的空间视差图获取的；将待显示模型的全部视差图像的校正图像进行编码，获取校正编码图像，将校正编码图像通过光场显示系统进行显示。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的通信设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。