专利名称：获得光场数据的设备以及处理光场数据的设备和方法
获得光场数据的设备以及处理光场数据的设备和方法
本申请要求于2009年9月22日提交的第10-2009-89780号韩国专利申请的权 益，该申请的公开通过引用全部包含于此。技术领域
以下描述涉及图像处理，更具体地讲，涉及使用调制器获得和处理光场数据， 以在频域中空间地调制图像的四维^D)光场的技术。
背景技术：
大多数商业化的成像系统在单幅图像中显示捕获的画面。近来，已进行了对重 聚焦图像的全光相机(plenoptic camera)的研究。全光相机，也被称为光场(Iightfield)相 机，使用微透镜阵列(通常地，双凸透镜)获得图像的四维^D)光场信息。全光相机 提供给用户各种功能，例如，重聚焦图像的选项，允许在拍摄图像之后调节图像的焦平 面。全光相机还允许用户能够在不同视角查看图像的变化。
为了获得这样的光场数据，必需获得关于光取向(orientation)的角度数据以及关 于传感器像素的数量的空间数据。结果，当得到角度数据时通常发生分辨率恶化。因 此，传统的光场成像无法创建高分辨率图像。因为作为结果的4D数据是从2D传感器 接收的二维OD)角度数据加上2D空间数据，所以空间数据的分辨率被角度数据的量降 低。例如，如果需要12X12(即，144)条角度数据来满足透镜的角度分辨率的度数，则 作为结果的分辨率将降低至通过使用所有传感器像素而达到的最大分辨率的1/144。
此外，传统的光场系统将均勻采样应用到空间数据。光场系统利用微透镜阵列 或光调制器。微透镜阵列由于其结构而必须服从均勻采样，在所述结构中排列具有相同 大小的微透镜。同样地，在光调制器的情况下，在均勻分配空间带宽和角度带宽的假设 下使用均勻采样。
S卩，用于空间地调制光场的现有调制器在频域中空间数据针对取向数据的每个 频带具有相同的带宽的假设下而被设计。因此，通过这样的现有的调制器创建的频率响 应对空间数据以均勻间隔出现。
然而，当光场数据的图像信息被变换到频域时，发生频域越高，空间数据越少 的现象。发明内容
在一个总体方面，提供一种用于获得光场数据来创建图像的设备，所述设备包 括调制器，所述调制器包括衰减图案，所述衰减图案被配置为在频域中空间地调制四 维^D)光场图像；传感器，配置为获得空间地调制的4D光场的二维OD)信号，其中， 衰减图案被配置为通过频域中的空间调制，产生取决于位置的2D信号的频率响应。
所述设备还可包括调制器包括透明层；安装在透明层上的金属层，所述金 属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度。
所述设备还可包括衰减图案被配置为通过以下方法产生多个灰度值，所述方 法包括将衰减图案的单元图案划分为多个部分，每个部分包括多个单元；屏蔽每个部 分的单元中的一个或多个单元，以产生用于每个部分的灰度。
所述设备还可包括衰减图案被配置为在低角度频率区域获得较多空间数据并 在高角度频率区域获得较少空间数据。
在另一总体方面，提供一种用于处理光场数据来创建图像的设备，所述设备包 括调制器，所述调制器包括衰减图案，所述衰减图案被配置为空间地调制四维^D)光 场图像；传感器，配置为获得空间地调制的4D光场的二维OD)信号；数据处理器，配 置为使用所述2D信号来恢复4D光场数据，其中，衰减图案还被配置为通过频域中的空 间调制，产生取决于位置的2D信号的频率响应。
所述设备还可包括调制器包括透明层；安装在透明层上的金属层，所述金 属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度。
所述设备还可包括衰减图案还被配置为通过以下方法产生多个灰度值，所述 方法包括将衰减图案的单元图案划分为多个部分，每个部分包括多个单元；屏蔽每个 部分的单元中的一个或多个单元，以产生用于每个部分的灰度。
所述设备还可包括衰减图案还被配置为在低角度频率区域获得较多空间数据 并在高角度频率区域获得较少空间数据。
所述设备还可包括数据处理器还被配置为将傅里叶变换应用到由传感器感 获得的2D信号以创建2D区块；对2D区块中的至少一个2D区块执行补零以使2D区块 的大小均勻；将经过补零的2D区块重配置为4D区块堆；将傅里叶反变换应用到4D区 块堆来恢复4D光场图像。
所述设备还可包括数据处理器还被配置为执行补零，以使2D区块具有与多个 2D区块中的最大的2D区块的大小相同的大小。
所述设备还可包括数据处理器还被配置为使用恢复的4D光场数据，从来自至 少一个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像之中创建至少一 个图像。
在另一总体方面，提供一种光场数据处理方法，所述方法由光场数据处理器执 行，所述方法包括使用具有衰减图案的调制器空间地调制4D光场图像，以获得空间地 调制的4D光场的2D信号；使用所述2D信号恢复4D光场数据，其中，衰减图案通过频 域中的空间调制产生取决于位置的2D信号的频率响应。
所述光场数据处理方法还可包括恢复4D光场数据的步骤包括将傅里叶变换 应用到2D信号以获得2D区块；对2D区块中的至少一个2D区块执行补零以使2D区块 的大小统一；将经过补零的2D区块重配置为4D区块堆；对4D区块堆执行傅里叶反变 换来恢复4D光场图像。
所述光场数据处理方法还可包括以这样的方法执行补零，2D区块具有与多个 2D区块中的最大的2D区块的大小相同的大小。
所述光场数据处理方法还可包括使用恢复的4D光场数据从来自场景的至少一 个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像之中创建至少一个图像。
在另一总体方面，提供一种用于在频域中空间地调制光场的调制器，所述调制 器包括透明层；安装在透明层上的金属层，所述金属层形成衰减图案并被配置为将经 过透明层的光削弱为不同程度，其中，衰减图案被配置为通过频域中的空间调制产生取 决于位置的二维OD)信号的频率响应。
所述调制器还可包括衰减图案还被配置为通过以下方法产生多个灰度值，所 述方法包括将衰减图案的单元图案划分为多个部分，每个部分包括多个单元；屏蔽每 个部分的单元中的一个或多个单元，以产生用于每个部分的灰度。
所述调制器还可包括衰减图案还被配置为在低角度频率区域获得较多空间数 据并在高角度频率区域获得较少空间数据。
在另一总体方面，提供一种图像处理设备，包括数据获得单元，配置为接收 四维^D)光场图像，并通过频域的空间调制产生多个非均勻二维OD)频率响应信号； 处理器，配置为处理多个感测的非均勻2D频率响应信号来产生4D光场数据。
所述图像处理设备还可包括数据获得单元包括调制器，所述调制器包括非谐 波衰减图案，所述非谐波衰减图案被配置为将经过的光削弱为多个非均勻2D频率响应信 号。
所述图像处理设备还可包括数据获得单元还包括透镜和配置为感测非均勻2D 频率响应信号的多个传感器，调制器位于透镜和多个传感器之间。
所述图像处理设备还可包括多个传感器被划分为多个部分，每个部分包括多 个单元，非谐波衰减图案还被配置为阻挡一个部分的一个或多个单元以产生用于所述部 分的灰度值。
所述图像处理设备还可包括通过组合两个或多个余弦信号来设计所述非谐波 图案，所述余弦信号有具有非谐波特征的和。
所述图像处理设备还可包括通过组合两个或多个正弦信号来设计所述非谐波 图案，所述正弦信号有具有非谐波特征的和。
所述图像处理设备还可包括通过组合余弦信号和正弦信号的组合来设计所述 非谐波图案，所述余弦信号和正弦信号的组合有具有非谐波特征的和。
所述图像处理设备还可包括衰减图案还被配置为在存在较多空间数据的低角 度频率区域获得较多空间数据并在存在较少空间数据的高角度频率区域获得较少空间数 据。
所述图像处理设备还可包括处理器还被配置为将傅里叶变换应用到感测的非 均勻2D频率响应信号，以获得2D区块。
所述图像处理设备还可包括处理器还被配置为对至少一个2D区块执行补零， 以将2D区块的大小调整至均勻。
所述图像处理设备还可包括处理器还被配置为将经过补零的2D区块重配置 为4D区块堆；将傅里叶反变换应用到4D区块堆来产生4D光场图像。
所述图像处理设备还可包括补零的结果是所述2D区块具有与多个2D区块中 的最大的2D区块的大小相同的大小。
在另一总体方面，提供一种在四维^D)图像的处理中使用的光学掩膜，所述光 学掩膜包括透明层；附于所述透明层的金属层，并且所述金属层包括被配置为进行以下处理的衰减图案，所述处理包括接收四维^D)光场图像；通过频域中的空间调制来 将经过的4D光图像削弱为多个非均勻二维QD)频率响应信号。
所述光学掩膜还可包括衰减图案包括多个部分，所述部分包括多个单元，使 得每个单元在0.1 ym至Iym的范围内被隔开。
所述光学掩膜还可包括一个部分的单元中的一个或多个单元被阻挡，以阻止 光经过以及产生用于所述部分的灰度值。
所述光学掩膜还可包括衰减图案包括2D非谐波图案。
所述光学掩膜还可包括通过组合两个或多个余弦信号来设计所述非谐波图 案，所述余弦信号有具有非谐波特征的和。
所述光学掩膜还可包括通过组合两个或多个正弦信号来设计所述非谐波图 案，所述正弦信号有具有非谐波特征的和。
所述光学掩膜还可包括通过组合余弦信号和正弦信号的组合来设计所述非谐 波图案，所述余弦信号和正弦信号的组合有具有非谐波特征的和。
所述光学掩膜还可包括衰减图案还被配置为在低角度频率区域获得较多空间 数据并在高角度频率区域获得较少空间数据。
其他特点和方面从以下描述、附图和权利要求会是清楚的。
图1是示出光场数据处理器的示例的示图。
图2是示出非谐波调制器(non-harmonic modulator)的示例的示图。
图3是示出应用到单元图案的灰度调整方法的示例的示图。
图4是示出非谐波调制器的横断面视图的示例的示图。
图5是示出关于由非谐波调制器获得的频率响应的光谱复制的示例的示图。
图6是示出从将傅里叶变换应用到由光场数据处理器获得的二维OD)信号而获 得的图像的示例的示图。
图7是示出解调光场频谱来恢复光场数据的处理的示例的示图。
图8是示出从将补零应用到图6中显示的图像而获得的图像的示例的示图。
贯穿附图及说明书，除非另有描述，否则相同的附图标号应该被理解为是指相 同的元件、特征和结构。为了清楚、说明和方便的目的，可夸大这些元件的相对大小和 描述。
具体实施方式
提供以下描述来帮助读者获得对在此描述的方法、设备和/或系统更充分地理 解。因此，可对本领域的普通技术人员建议这里描述的方法、设备和/或系统的各种改 变、修改和等同物。描述的处理步骤和/或操作的进行是示例；然而，除非步骤和/或 操作必需按特定顺序发生，否则步骤和/或操作的顺序不限于在此所阐述的，并可如本 领域中所公知的被改变。此外，为了更加清楚和简明，可省略公知功能和构造的描述。
图1示出光场数据处理器的示例。
参照图1，光场数据处理器100包括透镜110、调制器120、传感器130和数据处理器140。光场数据处理器100可以是相机或具有相机的电子装置，例如，个人计算机、移动终端等。
对象或场景105的图像可经由透镜110并经由调制器120而获得，并可被传递到 传感器130，在传感器130，所述图像被传感器130感测为光场数据。
调制器120包括衰减图案(attenuation pattern)来空间地调制形成的图像的四维 (4D)光场。所述衰减图案可通过频域中的空间调制产生包括二维OD)信号的频率响 应。所述2D信号可取决于位置。例如，衰减图案可通过频域中的空间调制使频率响应 的位置不均勻。调制器120可沿光轴排列。在该示例中，调制器120位于透镜100与传 感器130之间。然而，应该理解，调制器120可安装在传感器130上。
传感器130可包括多个像素元件。传感器130获得2D信号的空间调制的4D光 场。光场数据可存储在预定存储器(未示出)。
当由传感器130感测的空间调制的图像经过傅里叶变换时，图像信息可被变换 到频域。换句话说，可通过处理由传感器130感测的空间调制的图像来恢复原始光场数 据。
该处理与这样的传输方案类似，在所述传输方案中基带信号被调制为使用载波 信号的高频信号，然后在没有能量损耗的情况下被发送到的边远地区。接收器对调制的 信号解调来恢复基带信号。该方法被广泛的用于各种无线电/通信系统。因此，应该理 解，光场数据处理器100被设计来将传输方案应用到光域。
用于空间地调制光场的现有调制器在频域中空间数据针对取向数据的每个频带 具有相同的带宽的假设下被设计。因此，通过这样的现有的调制器创建的频率响应对空 间数据以均勻间隔出现。
然而，当光场数据的图像信息被变换到频域时，发生频域越高，空间数据越少 的现象。考虑到这种现象，调制器120可被配置使2D数据的频率响应取决于位置，降低 获得相对较少空间数据的高角度频率区域的空间分辨率。此外，调制器可被用来增加获 得相对较多空间数据的低角度频率区域的空间分辨率。
针对该处理，调制器120可具有2D非谐波图案。可通过组合两个或多个余弦信 号来设计2D非谐波图案，所述余弦信号的和具有非谐波特征。参照图2、3和4描述调 制器120的示例。
再次参照图1，透镜110、调制器120和传感器130可集成在一个光场数据获得单元。
数据处理器140使用2D信号恢复4D光场数据。例如，数据处理器140将傅里 叶变换应用到由传感器130感测的2D信号来获得2D区块(tile)，然后对2D区块中的至 少一个执行补零以将2D区块的大小调整至均勻。数据处理器140将经过补零的2D区块 重配置为4D区块堆(stack)，并将傅里叶反变换应用到4D区块堆，恢复4D光场数据。
例如，数据处理器140可执行补零来使2D区块具有与最大区块的大小相同的大 小。最大区块可与低角度频率区域中的空间数据对应，在所述低角度频率区域，较多信 息存在于光场数据中。
数据处理器140可根据现有4D光场数据处理方法，使用恢复的4D光场数据创 建来自相应图像的至少一个角度的查看图像或处于不同深度的重聚焦图像。可选择地，数据处理器140可使用恢复的4D光场数据创建高分辨率图像。此外，数据处理器140可 收集查看图像来创建立体三维(3D)图像。因此，图像处理器140可按各种方式执行图像处理。
光场数据处理器100还可包括显示器，显示处理过的图像；发送器，将图像 数据发送到其他电子装置。
图2示出非谐波调制器的示例。
在图2中，左部分是显示调制器120的非谐波图案的一维版本(version)，右部分 是显示非谐波图案的二维版本。例如，可通过组合多个余弦信号(例如，四个余弦信号) 来产生非谐波图案。作为另一示例，可通过组合多个正弦信号来产生非谐波图案。作为 又一示例，可通过组合余弦信号和正弦信号的组合来产生非谐波图案。
图3示出应用到单元图案的灰度调整控制方法的示例。
现有相关技术以将化学溶液施加到胶片的这种方式形成衰减图案。然而，利用 化学溶液和胶片用于图案形成的方法在形成纳米(即，微米(Pm))级的精细图案方面有 困难。
为了提供用于准确的灰度呈现的具有精确衰减图案的调制器，调制器120可利 用使用纳米处理制造的金属掩膜。如在此所描述的，衰减图案或掩膜可包括以纳米相 隔的单元，以提高图像的光谱分辨率。例如，所述单元可被隔开0.05μιη、0.1 μ m, 0.5 μ m、1.0 μ m、2.5 μ m、5 μ m、10 μ m、25 μ m或其他需要的距离量。例如，所述单 元可在大约Ο. μιη至ΙΟμιη范围内被隔开。
衰减图案可被配置为通过将它的单元图案划分为多个部分，并屏蔽所述部分的 一个或多个单元来产生多个灰度值。例如，单元图案可包括一个或多个像素或传感器 (例如，2个传感器、5个传感器、12个传感器、25个传感器、50个传感器等)。每个单 元图案可被划分为大量部分。每个部分可包括多个单元(例如，2个单元、5个单元、15 个单元、30个单元、60个单元等)。为了产生灰度，可在允许一些单元使光通过时阻挡 一些单元。
图3示出具有不同灰度值的三个部分310、310和330。如图3所示，部分310 被全部屏蔽以产生近似“0”的灰度值，部分320被半屏蔽以产生近似“0.5”的灰度值 并且部分330不被屏蔽以产生近似“1”的灰度值。
如320所示，传感器区域可被划分为具有大量单元的多个部分。在该示例中， 所述部分包括25个单元。为了产生灰度值，掩膜能够阻挡所述单元中的一个或多个，以 阻止光通过。例如，掩膜可阻挡25个单元中的13个单元来产生近似“0.5”的灰度值。 应该理解，灰度值“0.5”仅是示例的目的。灰度值可被调制到任何需要的值。
图4示出非谐波调制器的横断面示图的示例。
调制器120可包括透明层410和安装在透明层410上的金属层420。金属层420 可被形成为衰减图案来将穿过透明层410的光削弱为不同程度。通过利用调制器120可 获得正确的光场数据。
图5示出关于通过非谐波调制器获得的频率响应的光谱复制的示例。
图5示出当利用一维(ID)传感器时，在2D光场空间(即，一个空间维度χ和 一个角度维度θ )通过非谐波调制器120形成的光谱复制。在图5显示的示例中，&表示关于空间维度X的频域中的维度，f0表示关于角度维度θ的频域中的维度。
；^和；^两者具有带宽限制，并且沿fx轴表示的条带(slice)(虚线框)510与由传 感器(例如，图1的传感器130)感测的图像对应。在该示例中，由调制器120通过光场 空间调制产生的频率响应是如图5所示的脉冲。
当光场被调制器120空间地调制时，每个脉冲在其中心频率形成光场的光谱复 制。因此，如图5所示，光场的多个光谱复制沿斜线501排列。
调制的光场频谱的条带510包括关于其原始光场的信息。可根据由θ维度和χ 维度需要的频率分辨率以及接收的光场的带宽来确定斜线501相对于^轴的倾斜角度。
参照图5，每个区块表示光场数据。当光场被非谐波调制器120调制时，如图5 所示，2D信号的频率响应变成取决于位置。因此，空间数据的带宽也变得不均勻。调 制器120可被配置为按这样的方式来获得光场数据，所述方法在低角度频率区域获得较 高空间分辨率并在高角度频率区域获得较低空间分辨率。
图6示出从将傅里叶变换应用到由光场数据处理器获得的2D信号而获得的图像 的示例。
可通过将傅里叶变换应用到由传感器130感测的2D信号来获得图像610。如图 6中示出的图像610所示，非谐波调制器120在图像610的低角度频率区域(中心部分) 获得较多空间数据，在图像610的高角度频率区域(边缘部分)获得较少空间数据。
图7示出对光场频谱解调来恢复光场数据的处理的示例。
当提供有ID传感器并且处理了 2D光场数据时，对光场频谱解调的处理可被用 来将感测的ID信号的能量重新分布在2D光场空间。
在图7中，由虚线表示的框710表示通过将补零应用到图5中显示的条带510而 获得的结果。
(由箭头表示的)解调处理重新排列由ID传感器感测的频率响应以恢复带限光 场数据720。恢复光场数据的该处理还可被应用到将由2D传感器感测的2D信号恢复为 4D光场数据。
高角度频率区域中的空间数据可经过补零以具有与低角度频率区域中的空间数 据相同大小，将空间数据解调为4D光场数据。可将傅里叶反变换应用到解调的信号，获 得具有彻底改善的空间分辨率的图像。
图8示出从将补零应用到图6中显示的图像而获得的图像的示例。图8中显示 的图像与通过执行补零的2D传感器感测的信号(见图6)而获得的结果对应。
例如，因为通过调制器获得光场数据，所以可创建具有改善的空间分辨率的图 像，所述调制器使用非谐波图案在频域中空间地调制光场来使2D信号的频率响应取决于 位置。以上描述的示例涉及静止图像。然而，应该理解，非谐波调制器也可应用到运动 图像。此外，调制器的衰减图案可被应用到多视点图像和运动画面图像来产生3D画面。
如在此所描述的，可通过非谐波衰减图案(例如，金属掩膜)削弱光场。因此， 可执行图像的非均勻采样来放弃或抛弃不必需的数据，以改善传感器的使用并提高图像 的空间分辨率的质量。使用纳米级分辨率(例如，包括以纳米相隔的单元的金属掩膜) 能够克服传统文件或LCD屏幕中的限制。
上述处理、功能、方法和/或软件可被记录、存储或固定在一个或多个计算机可读存储介质中，所述计算机可读存储介质包括将被计算机执行以使处理器完成或执行 所述程序指令的程序指令。所述介质还可包括程序指令、数据文件、数据结构等或其组 合。所述介质和程序指令可以是那些被空间地设计和构造的介质和程序指令，或者它们 可以是对那些计算机软件领域的技术人员而言公知的和可用的介质和程序指令。计算机 可读存储介质的示例包括磁介质(例如，硬盘、软盘和磁带)；光介质(例如，CD-ROM 盘和DVD)；磁光介质(例如，光盘)；以及被专门地配置为存储和执行程序指令的硬件 装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示 例包括机器代码(例如，由编译器产生的机器代码)和包含由计算机使用翻译器可执行的 高级代码的文件。描述的硬件装置可被配置为用作一个或多个软件模块以执行上述操作 和方法，反之亦然。此外，所述计算机可读存储介质可分布于通过网络连接的计算机系 统，并且计算机可读代码或程序指令可以以分布式方式被存储和执行。
仅作为不完全的阐述，在此描述的终端装置可指与在此所公开的一致的能够进 行无线通信或网络通信的移动装置(例如，手机、个人数字助理(PDA)、数字相机、便 携式游戏机、MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、便携式膝 上型和/或平板个人计算机(PC)、全球定位系统(GPS)导航)以及诸如桌上型PC、高清 电视(HDTV)、光盘播放器、机顶盒等的装置。
计算系统或计算机可包括与总线、用户接口和存储器控制器电连接的微处理 器。它还可包括闪存装置。所述闪存装置可经由存储器控制器存储N比特数据。所述 N比特数据被微处理器处理或将被微处理器处理，并且N可以是1或大于1的整数。在 计算系统或计算机是移动设备的情况下，可额外地通过电池来供应计算系统或计算机的 操作电压。
本领域的普通技术人员应该理解，计算系统或计算机还可包括应用芯片集、相 机图像处理器(CIS)、移动动态随机存取存储器(DRAM)等。存储器控制器和闪存装置 可组成使用非易失性存储器存储数据的固态驱动器/盘6SD)。
在此使用的术语“像素”是指包含用于将光子转换为电变化的至少一个光传感 器的光电管单位单元。仅作为非限制示例，每个像素的检测器或光传感器可被实现为针 形光电二极管、p-n结光电二极管、肖特基光电二极管、光电管或其他合适的光电转换装 置或可积累和/或存储光电荷的装置。
以上描述了大量示例。然而，应该理解，可进行各种修改。例如，如果按不同 顺序执行描述的技术和/或在描述的系统、架构、装置或电路中的组件按不同方式和/或 被其他组件或其等同物代替和补充，可达到合适的效果。因此，其他执行方案在权利要 求的范围内。
权利要求
1.一种用于获得光场数据来创建图像的设备，所述设备包括调制器，所述调制器包括衰减图案，所述衰减图案被配置为在频域中空间地调制四 维4D光场图像；传感器，配置为获得空间地调制的4D光场的二维2D信号，其中，衰减图案被配置为通过频域中的空间调制，产生取决于位置的2D信号的频率 响应。
2.如权利要求1所述的设备，其中，所述调制器包括 透明层；金属层，所述金属层安装在透明层上，所述金属层形成衰减图案并被配置为将经过 透明层的光削弱为不同程度。
3.如权利要求1所述的设备，其中，所述衰减图案被配置为通过以下方法产生多个灰 度值，所述方法包括将衰减图案的单元图案划分为多个部分，每个部分包括多个单元； 屏蔽每个部分的单元中的一个或多个单元，以产生用于每个部分的灰度。
4.如权利要求1所述的设备，其中，所述衰减图案被配置为在低角度频率区域获得较 多空间数据并在高角度频率区域获得较少空间数据。
5.一种用于处理光场数据来创建图像的设备，所述设备包括调制器，所述调制器包括衰减图案，所述衰减图案被配置为空间地调制四维4D光场 图像；传感器，配置为获得空间地调制的4D光场的二维2D信号； 数据处理器，配置为使用所述2D信号恢复4D光场数据，其中，衰减图案还被配置为通过频域中的空间调制产生取决于位置的2D信号的频率 响应。
6.如权利要求5所述的设备，其中，所述调制器包括 透明层；金属层，所述金属层安装在透明层上，所述金属层形成衰减图案并被配置为将经过 透明层的光削弱为不同程度。
7.如权利要求5所述的设备，其中，所述衰减图案还被配置为通过以下方法产生多个 灰度值，所述方法包括将衰减图案的单元图案划分为多个部分，每个部分包括多个单元； 屏蔽每个部分的单元中的一个或多个单元，以产生用于每个部分的灰度。
8.如权利要求5所述的设备，其中，所述衰减图案还被配置为在低角度频率区域获得 较多空间数据并在高角度频率区域获得较少空间数据。
9.如权利要求5所述的设备，其中，所述数据处理器还被配置为 将傅里叶变换应用到传感器获得的2D信号以创建2D区块；对2D区块中的至少一个2D区块执行补零以使2D区块的大小均勻； 将经过补零的2D区块重配置为4D区块堆； 将傅里叶反变换应用到4D区块堆来恢复4D光场图像。
10.如权利要求9所述的设备，其中，所述数据处理器还被配置为执行补零，以使2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
11.如权利要求5所述的设备，其中，所述数据处理器还被配置为使用恢复的4D光场 数据，从来自至少一个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像 之中创建至少一个图像。
12.—种光场数据处理方法，所述方法由光场数据处理器执行，所述方法包括 使用具有衰减图案的调制器空间地调制4D光场图像，以获得空间地调制的4D光场的2D信号；使用所述2D信号恢复4D光场数据，其中，衰减图案通过频域中的空间调制产生取决于位置的2D信号的频率响应。
13.如权利要求12所述的光场数据处理方法，其中，恢复4D光场数据的步骤包括 将傅里叶变换应用到2D信号以获得2D区块；对2D区块中的至少一个2D区块执行补零以使2D区块的大小均勻； 将经过补零的2D区块重配置为4D区块堆； 对4D区块堆执行傅里叶反变换来恢复4D光场图像。
14.如权利要求13所述的光场数据处理方法，其中，以这种方式执行补零，2D区块 具有与多个2D区块中的最大的2D区块的大小相同的大小。
15.如权利要求12所述的光场数据处理方法，还包括使用恢复的4D光场数据，从 来自场景的至少一个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像之 中创建至少一个图像。
16.一种用于在频域中空间地调制光场的调制器，所述调制器包括 透明层；金属层，所述金属层安装在透明层上，所述金属层形成衰减图案并被配置为将经过 透明层的光削弱为不同程度，其中，衰减图案被配置为通过频域中的空间调制产生取决于位置的二维2D信号的频 率响应。
17.如权利要求16所述的调制器，其中，所述衰减图案还被配置为通过以下方法产生 多个灰度值，所述方法包括将衰减图案的单元图案划分为多个部分，每个部分包括多个单元； 屏蔽每个部分的单元中的一个或多个单元，以产生用于每个部分的灰度。
18.如权利要求16所述的调制器，其中，所述衰减图案还被配置为在低角度频率区域 获得较多空间数据并在高角度频率区域获得较少空间数据。
19.一种图像处理设备，包括数据获得单元，配置为接收四维4D光场图像，并通过频域中的空间调制产生多个非 均勻二维2D频率响应信号；处理器，配置为处理多个感测的非均勻2D频率响应信号来产生4D光场数据。
20.如权利要求19所述的图像处理设备，其中，所述数据获得单元包括调制器， 包括非谐波衰减图案，所述非谐波衰减图案被配置为将经过的光削弱为多个非均勻2D频 率响应信号。
21.如权利要求20所述的图像处理设备，其中数据获得单元还包括透镜和配置为感测非均勻2D频率响应信号的多个传感器；调制器位于透镜和多个传感器之间。
22.如权利要求21所述的图像处理设备，其中多个传感器被划分为多个部分；每个部分包括多个单元；非谐波衰减图案还被配置为阻挡一个部分的一个或多个单元以产生用于所述部分的 灰度值。
23.如权利要求20所述的图像处理设备，其中，通过组合两个或多个余弦信号来设计 非谐波图案，所述余弦信号有具有非谐波特征的和。
24.如权利要求20所述的图像处理设备，其中，通过组合两个或多个正弦信号来设计 非谐波图案，所述正弦信号有具有非谐波特征的和。
25.如权利要求20所述的图像处理设备，其中，通过组合余弦信号和正弦信号的组合 来设计非谐波图案，所述余弦信号和正弦信号的组合有具有非谐波特征的和。
26.如权利要求20所述的图像处理设备，其中，衰减图案还被配置为在存在较多空间 数据的低角度频率区域获得较多空间数据并在存在较少空间数据的高角度频率区域获得 较少空间数据。
27.如权利要求19所述的图像处理设备，其中，所述处理器还被配置为将傅里叶变换 应用到感测的非均勻2D频率响应信号，以获得2D区块。
28.如权利要求27所述的图像处理设备，其中，所述处理器还被配置为对至少一个 2D区块执行补零，以将2D区块的大小调整至均勻。
29.如权利要求28所述的图像处理设备，其中，所述处理器还被配置为将经过补零的2D区块重配置为4D区块堆；将傅里叶反变换应用到4D区块堆来产生4D光场图像。
30.如权利要求28所述的图像处理设备，其中，补零的结果是所述2D区块具有与 多个2D区块中的最大的2D区块的大小相同的大小。
31.一种在四维4D图像的处理中使用的光学掩膜，所述光学掩膜包括透明层；附于所述透明层的金属层，并且所述金属层包括被配置为进行以下处理的衰减图案接收四维4D光场图像；通过频域的空间调制将经过的4D光图像削弱为多个非均勻二维2D频率响应信号。
32.如权利要求31所述的光学掩膜，其中，所述衰减图案包括多个部分，所述部分包 括多个单元，使得每个单元在0.1 μ m至10 μ m的范围内被隔开。
33.如权利要求32所述的光学掩膜，其中，一个部分的单元中的一个或多个单元被阻 挡，以阻止光经过以及产生用于所述部分的灰度值。
34.如权利要求31所述的光学掩膜，其中，衰减图案包括2D非谐波图案。
35.如权利要求34所述的光学掩膜，其中，通过组合两个或多个余弦信号来设计非谐 波图案，所述余弦信号有具有非谐波特征的和。
36.如权利要求34所述的光学掩膜，其中，通过组合两个或多个正弦信号来设计非谐波图案，所述正弦信号有具有非谐波特征的和。
37.如权利要求34所述的光学掩膜，其中，通过组合余弦信号和正弦信号的组合来设 计非谐波图案，所述余弦信号和正弦信号的组合有具有非谐波特征的和。
38.如权利要求31所述的光学掩膜，所述衰减图案还被配置为在低角度频率区域获得 较多空间数据并在高角度频率区域获得较少空间数据。
全文摘要
提供了一种获得光场数据的设备以及处理光场数据的设备和方法。光场数据获得设备包括具有衰减图案的调制器，空间地调制图像的4D光场；传感器，获得空间地调制的4D光场的2D信号；通过利用调制器的衰减图案，可在低角度频率区域获得比在高角度频率区域获得的更多的空间数据。
文档编号H04N5/335GK102026011SQ20101028839
公开日2011年4月20日 申请日期2010年9月19日 优先权日2009年9月22日
发明者任宰均, 姜周泳, 崔瑗熙, 朴炳冠, 李性德, 韩相旭 申请人:三星电子株式会社