用于处理光场图像的方法、图形用户接口以及计算机程序产品的制作方法

用于处理光场图像的方法、图形用户接口以及计算机程序产品的制作方法
【专利摘要】本发明提供了一种用于处理光场数据中的物体的方法和图形用户接口。所述方法和图形用户接口可以被用于去除所拍摄场景中的阻挡另一物体或背景的物体或障碍物。所述方法和图形用户接口还可以被用于光场图像中的高精度边缘检测。
【专利说明】用于处理光场图像的方法、图形用户接口以及计算机程序产品
【技术领域】
[0001]本发明总体上涉及光场成像领域。更具体地说，本发明涉及一种用于处理光场图像的方法、图形用户接口以及计算机程序产品。
【背景技术】
[0002]光场成像涉及利用光场摄影术创建的图像，其中，光场数据(S卩，角度信息、位置，以及来自所拍照物体或场景的光线的发光度)可从所得光场图像获取。
[0003]标准2D摄像机在平面f处按二维拍摄光线。发光度和位置被记录为像素值和像素位置(坐标X和y)。然而，并未记录光线的角度。
[0004]然而，光场摄像机记录角度信息并且记录发光度和位置。以描述光线的数据作为矢量，该图像的呈现可以按标准2D摄像机所不能的方式来处理。
[0005]本质上，光场图像包括至少两个子集图像，其中，每一个子集图像都对应于所成像物体或场景的不同视点或方向。每一个子集图像都是由分离的镜头拍摄的。因此，按这些子集图像之间的关系或差异来记录角度信息。
[0006]已经提出了针对拍摄光场数据的问题的各种解决方案。具有两个镜头的3D摄像机可以随着一些角度数据被保留而被视为简单的光场摄像机。已经使用了具有多个摄像机的阵列。全光(plenoptic)摄像机使用单个主透镜和靠近图像传感器定位的微透镜阵列。全光摄像机可以分成两类:聚焦型和非聚焦型。
[0007]图1示意性地例示了已知的聚焦全光摄像机，其利用微透镜阵列Lm来拍摄来自物体r的光场图像，其中，该物体r如果在焦平面f拍摄的话将导致清晰图像(就标准2D摄像机方面而论)。该图像传感器(未示出)被放置在微透镜阵列Lm的焦平面f2中。示出了针对两个微透镜的光路。两个微透镜通过仅利用整个光锥的表示该物体的同一点的一部分来描绘该特定点。典型的聚焦全光摄像机使用大约20-50个透镜，来拍摄来自单个点的光束。典型设计具有几千个微透镜。由于与主透镜L相比，微透镜的焦距非常短，因而，通过微透镜形成的单个子集图像的景深非常大。
[0008]接近或者远离摄像机移动的物体将成像在不同焦平面f，如可以在图2a和2b中看到的。因此，光线的不同角度转变成了微透镜图像中的位置差异。
[0009]图3a例示了两个物体“C”和“F”的、由全光摄像机拍摄的光场图像的一部分，并且“C”比“F”的位置更靠近摄像机。每一个六边形都表示来自单个微透镜的子集图像。
[0010]图3b示出了来自图3a的光场图像的两个相邻微透镜子集图像。在图3c中，这两个子集图像已经按字母C重合的方式重叠。应注意到，字母F向一旁偏移。这表示了以设置在字母C的距离处的焦点呈现的图像。在图3d中，这两个图像之间的距离已经被移位，使得字母F清晰，而字符C模糊。可以从该示例看出，图像之间的更大移位(d)表示了距离更靠近摄像机的焦点。在该示例中，离焦部分显露出双击(double strike)字母。通常来说，当呈现一图像时，将所有微透镜子集图像叠加，使得离焦图像呈现平滑模糊。[0011]用于呈现的另一方法是，保持各个微透镜图像的位置，但放大它们，直到希望焦平面中的细节重合为止。
[0012]利用目前的光场成像技术，可以聚焦、重新聚焦，以及改变透视。然而，能够实现新功能的用于处理光场图像的改进方法、图形用户接口，以及计算机程序产品将是有利的。

【发明内容】

[0013]根据一方面，提供了一种处理由具有已知构造的光场摄像机拍摄的、包括一场景的光场数据的第一光场图像的方法。所述光场数据包括拍摄的所述场景的角度信息。所述方法包括以下步骤:根据所述光场数据呈现与拍摄的所述场景的一物体在焦点上的第一焦平面(fl)相对应的第一图像。而且，所述方法包括以下步骤:选择所呈现的图像中的所述物体。而且，所述方法包括以下步骤:应用至少覆盖了与所选择的物体的边缘有关的像素的掩模。所述方法还包括以下步骤:从所述光场数据中删除与所应用的掩模相关联的像素，从而得到第一组修改后光场数据。
[0014]在又一方面，提供了一种用于连接至一处理装置、以基于用户的输入来处理光场数据的图形用户接口。所述图形用户接口被设置成，在其显示部中显示在按特定焦平面拍摄的光场图像的呈现2D图像。所述图形用户接口包括:用户输入控制部，该用户输入控制部被设置成，控制所述光场图像的2D表示的所述焦平面，使之作为2D图像显示给用户。
[0015]根据另一方面，提供了一种存储在计算机可读介质上的计算机程序产品，该计算机程序产品包括适于当在数据处理装置上运行时执行根据一些实施方式的方法的步骤的软件代码。
[0016]一个目的是，提供一种在包括光场数据的光场图像中进行鲁棒边缘检测的方法。
[0017]另一目的是，提供一种即使在仅可以标识边缘的近似位置的情况下，也可在光场图像中应用边缘检测的方法。
[0018]另一目的是，提供一种考虑到可以比传统非光场2D图像数据的边缘检测更精确且可靠的边缘检测方法。
[0019]另一目的是，使能实现基于用于重新聚焦过去处理中的光场图像的能力，来选择物体和/或边缘的简化输入用户接口。
[0020]另一目的是，提供一种用于呈现2D图像的方法，其中，已经去除了光场数据中的有限尺寸的遮拦物体。
[0021]另一目的是，提供一种用于光场图像的复制/剪切和粘贴功能。这样，可以将光场图像中的一物体的图像传递至另一光场图像，同时保持所传递图像的深度信息。
【专利附图】

【附图说明】
[0022]本发明能够实现的这些和其它方面、特征以及优点根据本发明的实施方式的下列描述将清楚并加以阐明，对附图进行说明，其中，
[0023]图1示意性地例示了现有技术的聚焦全光摄像机；
[0024]图2a和2b例示了所成像物体的、与全光摄像机有关的位置怎样影响所得光场图像；
[0025]图3a例示了由全光摄像机拍摄的两个物体“C”和“F”的光场图像的一部分，并且“C”比“F”的位置更靠近摄像机；
[0026]图3b示出了来自图3a的光场图像的两个相邻微透镜子集图像；
[0027]图3c例示了图3b的两个子集图像按字母C重合的方式叠加；
[0028]图3d例示了图3b的两个子集图像按字母F重合的方式叠加；
[0029]图4a至4c例示了本发明的原理；
[0030]图5a至5g例示了根据一个实施方式的物体去除的实施例；
[0031]图6a至6d例示了根据一个实施方式的边缘检测的实施例；
[0032]图7a至7b例示了根据一个实施方式的剪切/复制粘贴功能的实施例；
[0033]图8例示了根据一个实施方式的方法；
[0034]图9例示了根据一个实施方式的图形用户接口。
【具体实施方式】
[0035]下面的描述集中于可应用于光场图像中的边缘检测的实施方式。
[0036]一种构思是，提供一种去除所拍摄光场图像中的、遮拦背景的物体，并且呈现其中去除了该物体的新图像的方法，并且其中，所删除物体的像素用可从光场图像取得的、来自该物体后面的真实背景数据所替换。
[0037]为了易于理解本发明 ，图4a至4c旨在例示本发明的基础。
[0038]图4例示了包括主凸透镜41的简单摄像机的光学设置，和光线怎样从来自物体r的点行进，并且物体s至少部分地遮拦来自物体!的该点的光路。根据图4a，可以观察到，遮拦另一物体的一点的物体s的光路仍使来自物体r的该点的一些光线无遮挡地通过。图4a的阴影区表示来自物体r的点的光被物体s遮拦的区域。然而，来自物体s的边缘的光与表示r的点的光线混合。这使得物体s看上去模糊了。
[0039]物体s在焦平面f2处清晰成像，如可以在图4b中观察到的，其中，形成图像Si的光线的光路被遮蔽。还可以观察到，在f2处形成Si的光线遍布f处的图像A的一些区域。
[0040]图4c对应于图4b，但其中，代替的是，在f处形成ri的光线被遮蔽。可以观察到，这些光线中的一些将在不存在与物体s的图像相关联的光线的位置处击中f2。
[0041 ] 本发明人已经认识到，这意味着，物体边缘可以在光场数据中精确识别，而该边缘在二维图像中可能看上去模糊。通过考虑将表示物体s的所有数据从光场图像中去除，可以从图4c观察到，仍存在属于呈现物体r的光线。如果二维图像以焦点设置在f2处呈现，则该图像的一部分会在物体s所希望的位置处缺失。另一方面，如果图像呈现在焦平面f，则在去除物体s而该图像中没有留下任何间隙的情况下，有足够的数据来呈现物体r的点。本发明人已经认识到，这将如同看到后面的物体一样。然而，应当清楚，对于可以按这种方式成功地去除的物体的尺寸来说，存在限制。
[0042]在此，为理解和完整所述实施方式，应当清楚，聚焦或重新聚焦，即，用于按特定焦平面根据光场数据呈现2D图像的方法是根据现有技术已知的。对于全光摄像机构造来说，这种在特定焦平面的聚焦或重新聚焦例如可以如先前针对图3a至3d所说明地来执行，SP，通过将所拍摄场景的几个子集图像放到按希望焦平面在每一个子集图像中的关注物体重合的位置。根据被用于拍摄光场数据的光场摄像机的确切类型和/或构造，可以利用不同的已知聚焦或重新聚焦方法。而且，可以按傅里叶域执行聚焦，例如，参见Ren Ng, StanfordUniversity Computer Science Tech Report CSTR 2005-02。
[0043]该希望焦平面还可以例如根据下面更详细描述的一个实施方式，通过用户利用图形用户接口来人工选择。而且，以特定焦平面聚焦或重新聚焦还可以按自动方式执行，与常规自动聚焦方法类似。
[0044]去除光场图像中的物体或障碍物
[0045]可以在图5a至5d中观察本发明的基础原理的另一个实施例。
[0046]图5a例示了要由光场摄像机成像的场景。该场景包括在球的前面某一距离处放置，由此遮拦了球的一部分的棍子。
[0047]为了简单，图5b和5c例示了来自对应拍摄的光场图像的两个子集图像。利用公共已知的全光摄像机，将具有部分示出该场景的同一区域的许多子集图像。阵列摄像机将具有皆示出整个场景的几个图像。图5b和5c之间可以注意到由于棍子与球相比的位置差别的轻微视差。
[0048]图5d例示了作为在棍子处聚焦的结果的所呈现图像，例如，通过将该场景的几个子集图像放到处于希望焦平面的物体如上所述重合的位置，假定所拍摄光场图像由几个子集图像组成。因此，在图5d中，棍子清晰呈现，而球变模糊。
[0049]利用公知的图像分析技术，现在，可以从图5d的呈现图像中去除该棍子。这可以按几种方法来进行。在典型应用中，可以创建其中标记棍子的像素的掩模。接着，该掩模被用于标识光场数据中的、在呈现该图像时应当排除的像素。当以在棍子处设置的焦平面呈现图像时，这些子集图像中的每一个子集图像叠加，即，每一个子集图像具有与其它相关的特定位移，如在图3b和3c中用位移d所示。本发明人已经认识到，可以在将掩模应用在单个子集图像上时利用完全相同的位移量。因此，这可以被认为反向(backward)进行呈现。因此，通过与对所呈现图像中的每一个子集图像的位移的了解一起应用掩模，可以自动地识别并删除各个子集图像的表示该棍子的所有像素值。图5d和5f分别对应于图5b和5c，其中，该棍子已经被删除。
[0050]通过基于已经去除棍子的子集图像，且焦平面设置在该球的平面(B卩，在该球上聚焦或重新聚焦)，来呈现新图像，所得图像将不包含棍子的记号，而不会出现该球的任何缺失细节,如下面进一步说明的.[0051]可以从图5e和5f观察到，叠加这两个子集图像将导致该球的完整图像，其在图5g中示出。
[0052]当所呈现的图像聚焦在球上时，由此可以向每一个子集图像的所删除的棍子数据中填充来自其它子集图像中的至少一个子集图像的球数据。这假定在这些区域的细节中不存在相当大的深度差异。如果该图像接着重新聚焦，例如，针对该棍子先前在焦点中的焦平面重新聚焦，则该球将模糊呈现，但没有缺失信息。
[0053]应当清楚，制造掩模不是关键的。可以从图4c观察到，来自物体r的光线的一部分经过了物体S。这意指，掩模必须覆盖打算去除的物体，但其可以稍微更多地覆盖，而不会遮拦来自物体r的点的所有光。因此，不需要精确地找到边缘，只要该边缘完全被掩模覆盖即可。该事实考虑到根据一些实施方式的方法的另一用途，即，精确边缘检测。
[0054]精确边缘检测
[0055]公知的传统边缘检测算法分析图像上的梯度。边缘被定义为亮度值的突然变化。所检测的边缘不必是物体的边界。物体的边界有时在背景的前面稍微模糊地成像。源自背景的光线与来自该物体的光线混合。因而，不可能找到该物体与背景的精确分隔。
[0056]然而，通过利用根据一些实施方式的方法，能够以更高的准确度和更明确地找到物体的边缘。
[0057]参照图6a至6d,例不了根据一个实施方式的方法的另一实施例。图6a例不了描述一个球与其前面的脚的场景。在这个实施例中，与背景相比，脚构成相当大的物体，由此，不能按和针对有关图5的先前实施例中的棍子相同的方式成功地去除，因为光场数据不包括来自位于脚后面的背景的足够数据来实现良好重建。2D图像是从在焦平面设置在脚处的情况下拍摄该场景的光场图像呈现的。所呈现2D图像中的脚的边缘的近似位置可以通过用户输入或者通过自动或人工辅助边缘检测方法(例如，谨慎(canny)边缘算法)来确定。图6b示出了通过关于近似边缘位置的已知边缘检测方法确定的该边缘周围的所得区域。
[0058]接着可以生成表示该边缘周围区域的掩模(B卩，基于图6b)并应用至如前所述的光场数据。因此，该边缘周围区域(而非如结合图5的棍子说明的整个物体)可以按和图5相同的方式从光场数据中去除。而且，对应去除部分可以填充相关背景图像数据(其在这种情况下属于球图像数据)，例如，通过利用上述相同方法和在图5e、5f以及5g中，叠加相关子集图像。在这种情况下，源自脚边缘区域后面的位置的图像数据可以显露出来。换句话说，该掩模被用于基于呈现在球的焦平面的2D图像，从光场图像中删除脚的边缘。在应用该掩模并且删除光场图像中的脚边缘周围的区域，并且向具有相关背景的所去除部分填充新2D图像之后，可以根据更新光场数据来呈现图6c，而焦平面设置在脚处。可以在图6c看到，脚的边缘已经被成功去除，并且源自球的背景数据在对应位置显露。
[0059]图6d例示了根据原始光场数据呈现的焦平面的设置在脚处的2D图像与基于所更新光场数据的图6c的2D图像之间的、作为根据一比较(例如，利用诸如相减的任何公共已知方法)的所得2D图像的所构造2D图像。
[0060]可以观察到，与图6b形成对比，图6d例示了其中真实边缘(B卩，物体的外边界)清晰描绘而不存在源自背景的任何可视伪像的边缘周围的区域。应注意到，图6d中的图像的外边界精确地对应于脚的实际边缘位置，并且是按上述方式利用如图6b所示近似边缘位
置的结果。
[0061]物体复制/剪切和粘贴功能
[0062]传统照片编辑中的复制/剪切和粘贴动作非常像切出物理图像的一部分(例如，影印)并将其粘贴在另一物理图像的顶上。这作为艺术修饰图像内容而频繁进行。该图像可以二维移动，并且粘贴在希望位置处。
[0063]按类似方式，可以切出表示光场图像中存在的物体的光场数据。这里，术语“剪切”或“复制”指从光场的数字表示中提取数据。这种剪切或复制图像接着可以被粘贴到第二光场图像中。这里，术语“粘贴”指将表示切出部分的光场数据传递至第二光场图像的数字表示。粘贴在该背景下还假定替换数据。被粘贴到第二光场图像中的切出数据替换后者中的数据。粘贴2D图像意指沿1和7坐标覆盖或替换下面的图像。应当清楚，术语“粘贴”在其达到光场数据时意指按3维(例如，x、y和z (深度))替换下面的数据。
[0064]因此，一旦精确地识别到物体的边缘，如图6d所示，就可以利用精确识别的边缘作为边界来生成另一掩模。接着，利用该掩模从原始光场图像中提取该物体的光场数据，以从每一个子集图像中识别要提取的数据。应当清楚，在此，提取由另一掩模限定的数据，而非通过在上面图5和6的实施例中提到的掩模进行排除或删除。
[0065]图7a例示了根据包括砖墙的场景的第二光场图像呈现的2D图像。图7b示出了根据第二光场图像的呈现图像，其中，利用所述另一掩模粘贴来自第一光场图像的脚的光场数据，以确定来自第一光场图像的什么数据要粘贴到第二光场图像中。包括来自第一和第二光场图像的合并数据的所得光场图像现在是所粘贴的物体(脚)存在于砖墙前面的光场的表示。应注意到，所得光场保持允许可能利用光场摄影的另一操纵(例如，重新聚焦)的数据。
[0066]尽管为了简化，利用垂直于摄像机构造的光学轴的焦平面例示了上述实施方式，但应当清楚，但本发明不限于此。事实上，可以利用任何希望焦平面来呈现对应2D图像。因为光场数据包括采用3D的数据，所以在3D中可以进行高精度边缘检测。而且应注意到，可以根据要在采用3维的第二光场图像中粘贴的第一光场图像来修改或操纵物体的位置。_7] 述
[0068]在一个实施方式中，根据图8，提供了用于处理光场图像的方法80。该光场图像包括通过具有已知构造的光场摄像机拍摄的场景的光场数据。该光场数据包括角度信息。因此，该光场数据不仅包括二维平面(X和y)的图像信息而且包括三维(即，深度或相距摄像机位置的距离(Z))的图像信息。所述方法包括以下步骤:根据光场数据呈现(81)与所拍摄场景的物体位于焦点上的第一焦平面(fl)相对应的第一图像。所呈现图像可以是作为特定平面的表示或光场的片段的2D图像。表示该2D图像的数据保持像素值的X和y位置在光场的限定z平面处。该z平面是由在呈现2D图像时的焦点位置来限定的。接着，2D图像的每一个像素值的位置按全部坐标X、y以及z获知。
[0069]所述方法还包括以下步骤:在所呈现图像中选择(82)要处理的物体或其至少一部分。
[0070]通过识别光场数据中该物体的对应像素位置并且考虑用于呈现的焦距，可以稍后操纵原始光场数据中的光线的矢量。
[0071]所述方法还包括以下步骤:应用(83)掩模，该掩模至少覆盖与所选择物体的边缘有关的像素。由此，当要完全去除该物体时，该掩模可以覆盖整个物体(如在针对图5例示的实施例中)，或者，例如，覆盖该物体的边缘周围的区域(如针对图6例示的实施例中)。
[0072]随着如上所述计算要操纵的点的三维位置，可以通过使用掩模来引导先前段落中提到的操纵，或者直接在数据上执行。用像素值表示的点之间的位置和相对距离可以按绝对值或者通过适于使用中的系统的任何相对措施来表达。
[0073]所述方法还包括以下步骤:从光场数据中删除(841)与所应用掩模相关联的像素，从而产生第一组修改后光场数据。
[0074]而且，所述方法还可以包括以下步骤:根据第一组修改后光场数据呈现(842)与不同于第一焦平面(fl)的第二焦平面(f2)相对应的第二图像。
[0075]所述方法80还可以包括以下步骤:利用第一组修改后光场数据的剩余角度信息，向与和所应用掩模相关联的所删除像素有关的像素填充(843)来自第一组修改后光场数据的、有关于对应像素位置的数据，从而产生第二组修改后光场数据。
[0076]所述方法还可以包括以下步骤:根据第二组修改后光场数据来呈现(844)与第一焦平面(fl)相对应的第三图像，例如，参见图6c。
[0077]所述方法还可以包括以下步骤:基于第一图像与第三图像之间的像素差别或比较，来构造(845)第四图像，例如，参见图6d。
[0078]而且，所述方法可以包括以下步骤:基于第四图像的像素来应用(846)另一掩模，从光场数据中提取(847) (S卩，复制)被所述另一掩模包围的像素，以及将所提取像素粘贴(848)到第二光场图像中，例如，参见图7b。
[0079]根据一些实施方式的方法可应用于光场数据，而不管所使用的摄像机构造，和光场的数学表示的所使用格式。用于精确限定边缘并且去除遮拦物体的方法可以应用至任何种类的光场数据，而与摄像机构造无关。
_0] 图形用户接口
[0081]在一个实施方式中，根据图9，提供了图形用户接口 90。
[0082]所述图形用户接口被设置成，交互式地允许用户利用根据一些实施方式的方法。
[0083]该图形用户接口连接至一处理装置、以基于用户的输入来处理光场数据。该图形用户接口被设置成，在显示部91中呈现在特定焦平面拍摄的光场图像的呈现2D图像。该用户接口包括用户输入控制部92，该用户输入控制部被设置成，控制光场图像的2D表示的焦平面，使光场图像作为2D图像显示给用户。因此，通过利用用户输入控制部92，用户能够以用户友好方式，聚焦/重新聚焦在该场景的特定物体上。该用户输入控制部例如可以是滑动条的滑块，其中，该滑动条中的滑块的位置控制了自动呈现对应2D图像的焦平面。由此，可以将滑块移动至用户对所呈现2D图像的聚焦满意的位置。
[0084]在另一实施方式中，该图形用户接口 90还包括:用于从所呈现2D图像中选择要操纵(例如，删除或复制)的物体或其大致边缘的装置93。用于选择的装置93可以是另一用户输入控制部，其允许用户在大致边缘上选择(例如，通过选择按钮或点击装置)。当选择该物体或其大致边缘时，该图形用户接口被设置成，将该信息转发至处理装置以开始边缘检测算法。
[0085]在一个实施方式中，该图形用户接口 90还设置有用于从光场数据中删除(例如，通过删除按钮)通过边缘检测而识别的物体或其接近边缘的装置94。通过激活用于删除的装置，该处理装置被设置成，应用至少覆盖与所选择物体的边缘有关的像素的掩模，并且从光场数据中删除与所应用的掩模相关联的像素，从而产生第一组修改后光场数据。
[0086]在一个实施方式中，该图形用户接口 90还设置有用于向与所删除物体或其边缘有关的像素填充(例如，通过填充按钮)来自光场图像的、有关于对应像素位置的数据的装置95。通过激活用于填充的装置，该处理装置被设置成，利用修改后光场数据的剩余角度信息，向与和所应用掩模相关联的所删除像素有关的像素填充来自第一组修改后光场数据的、有关于对应像素位置的数据，从而产生第二组修改后光场数据。
[0087]在一个实施方式中，该图形用户接口 90还设置有用于允许用户复制通过边缘检测识别的物体的装置96，和用于将该物体粘贴(例如，通过粘贴按钮)到可选地显示在另一显示部98中的另一光场图像中的装置97，该显示部98具有输入控制部99，该输入控制部被设置成，控制光场图像的2D表达的焦平面，使光场图像显示为2D图像。通过激活用于复制该物体的装置，该处理装置被设置成，根据第二组修改后光场数据来呈现与第一焦平面(fl)相对应的第三图像，随后，基于第一图像与第三图像之间的像素差别或比较，来构造第四图像。接着，基于第四图像的像素来应用另一掩模，最后，提取光场数据中的被所述另一掩模包围的像素。通过激活用于粘贴的装置，该处理装置被设置成，将所提取的像素粘贴到第二光场图像中。
[0088]本发明可以按包括硬件、软件、固件或这些的任何组合的任何合适形式来实现。然而，优选的是，本发明被实现为一种存储在计算机可读介质上的计算机程序产品，该计算机程序产品包括适于当在数据处理装置和/或数字信号处理器上执行时执行根据上述一些或全部实施方式的方法的步骤的软件代码。本发明的一实施方式的部件和组件可以物理地、功能上地以及逻辑地按任何合适方式来实现。实际上，该功能可以按单一单元、按多个单元或者作为其它功能单元的一部分来实现。同样地，本发明可以按单一单位来实现，或者可以物理地且功能上地分布在不同单元与处理器之间。
[0089]尽管上面本发明参照【具体实施方式】进行了描述，但其不是旨在受限于在此阐述的具体形式。相反地，本发明仅通过所附权利要求书来限制。
【权利要求】
1.一种处理第一光场图像的方法(80)，所述第一光场图像包括由具有已知构造的光场摄像机拍摄的场景的光场数据，其中，所述光场数据包括所拍摄场景的角度信息，所述方法包括以下步骤: 根据所述光场数据来呈现(81)第一图像，所述第一图像与所拍摄的场景的物体所对焦在的第一焦平面(Π)相对应， 选择(82)所呈现的图像中的所述物体； 应用(83)掩模，所述掩模至少覆盖了与所选择的物体的边缘有关的像素；以及 从所述光场数据中删除(841)与所应用的掩模相关联的像素，从而得到第一组修改后光场数据。
2.根据权利要求1所述的方法，所述方法还包括以下步骤: 根据所述第一组修改后光场数据来呈现(842)与不同于所述第一焦平面(Π)的第二焦平面(f2)相对应的第二图像。
3.根据权利要求1或2所述的方法，所述方法还包括以下步骤: 利用所述第一组修改后光场数据的剩余角度信息，以所述第一组修改后光场数据中的、与对应像素位置有关的数据来填充(843)与和所应用的掩模相关联的被删除的像素有关的像素，从而得到第二组修改后光场数据。
4.根据权利要求3所述的方法，所述方法还包括以下步骤: 根据所述第二组修改后光场数据来呈现(844)与所述第一焦平面(Π)相对应的第三图像。`
5.根据权利要求4所述的方法，所述方法还包括以下步骤: 基于所述第一图像与所述第三图像之间的像素差别或比较来构造(845)第四图像。
6.根据权利要求5所述的方法，所述方法还包括以下步骤: 基于所述第四图像的像素来应用(846)另一掩模， 提取(847)所述光场数据中被所述另一掩模包围的像素，以及 将所提取的像素粘贴(848)到第二光场图像中。
7.根据权利要求3所述的方法，其中，所述与对应像素位置有关的数据是从所述光场数据的两个子集图像中的至少一个子集图像获取的，其中，所述至少两个子集图像中的每一个子集图像都包括所拍摄场景的不同角度信息。
8.一种用于连接至处理装置、以基于用户的输入来处理光场数据的图形用户接口(90)，该图形用户接口被设置成在其显示部(91)中显示在特定焦平面处拍摄的光场图像的呈现2D图像，并且包括: 用户输入控制部(92)，其被设置成控制所述光场图像的2D表示的焦平面，使所述光场图像作为2D图像显示给用户。
9.根据权利要求8所述的图形用户接口(90)，其中，所述用户输入控制部是滑块。
10.根据权利要求8或9所述的图形用户接口(90)，所述图形用户接口还包括:用于从所述呈现2D图像中选择物体或其大致边缘的装置(93)，并且基于所述选择，所述处理装置被设置成开始识别所述物体或其边缘附近区域的边缘检测算法。
11.根据权利要求10所述的图形用户接口(90)，所述图形用户接口还包括:用于应用至少覆盖了与所选择的物体的边缘有关的像素的掩模，并且从所述光场数据中删除与所应用的掩模相关联的像素，从而得到第一组修改后光场数据的装置(94)。
12.根据权利要求1所述的图形用户接口(90)，所述图形用户接口还包括:用于利用所述修改后光场数据的剩余角度信息，以所述第一组修改后光场数据中的、与对应像素位置有关的数据来填充与和所应用的掩模相关联的被删除的像素有关的像素，从而得到第二组修改后光场数据的装置(95)。
13.根据权利要求8至12中任一项所述的图形用户接口(90)，所述图形用户接口还包括用于通过以下步骤来复制所述物体的装置(96): 根据所述第二组修改后光场数据来呈现与所述第一焦平面(fl)相对应的第三图像； 基于所述第一图像与所述第三图像之间的像素差别或比较来构造第四图像； 基于所述第四图像的像素来应用另一掩模；以及 提取(947 )所述光场数据中被所述另一掩模包围的像素，和 用于将所提取的像素粘贴(97)到第二光场图像中的装置。
14.根据权利要求13所述 的图形用户接口(90)，所述图形用户接口还包括与另一输入控制部(99)相关联的另一显示部(98)，该另一输入控制部(99)被设置成控制所述第二光场图像的2D表示的焦平面，使所述第二光场图像作为2D图像显示在所述显示部(98)中。
15.一种存储在计算机可读介质上的计算机程序产品，该计算机程序产品包括被配置为当在数据处理装置上运行时执行根据权利要求1至7中任一项所述的方法的步骤的软件代码。
【文档编号】G06T5/50GK103503023SQ201180070375
【公开日】2014年1月8日 申请日期:2011年5月4日 优先权日:2011年5月4日
【发明者】马茨·维尔纳松 申请人:索尼爱立信移动通讯有限公司