专利名称：利用可变调制器获取光场数据的设备和方法
技术领域：
下面的描述涉及处理图像，更具体地讲，涉及一种被配置为利用可变调制器获取 光场数据的设备和方法。
背景技术：
通过放置在光传播方向上的透镜和传感器获取的图像数据可被称为"光场数据"， 通过放置在与光传播方向不同的方向上的透镜和传感器获取的图像数据可被称为"暗场数 据"。 当利用具有透镜和传感器的图像捕获设备获取光场数据时，通常利用单焦点来执 行图像捕获。即，通常，通过聚焦在近处的对象上从而使远处的对象或背景模糊，或者通过 聚焦在远处的对象上从而使近处的对象模糊，来进行拍摄。 同时，可通过在透镜和传感器之间设置光调制器作为具有预定调制图案 (modulation pattern)的掩模来获取多视野(multi-view)光场数据，例如，4维(4D)光场 数据。获取的4D光场数据可用于创建具有不同焦点的多个图像。S卩，通过处理4D光场数 据，可创建具有不同焦点的多个图像。因此，可恢复无意中以模糊的焦点拍摄的图像。
然而，在光调制器的调制特性或位置固定的传统图像捕获设备中，无法适应性地 获取4D光场数据以应对对象特性的改变或焦距的改变。
发明内容
根据一个一般方面，提供一种获取多视野光场数据的设备，包括调制器，根据调
制器的调制特性对输入到光学系统的图像进行调制；图像分析器，分析来自调制器的图像；
控制器，根据图像分析器的分析结果移动调制器和/或调节调制器的调制特性。 当从图像分析器输出多视野图像时，控制器可通过将调制器向着光学系统移动来
增加多视野图像中包括的图像的数量。 控制器可控制调制器的调制特性以使调制器依次具有完全透明状态和不透明状 态/不完全透明状态。 图像分析器可从调制器所输出的图像中提取多视野4维(4D)光场数据。 控制器可控制调制器的调制特性以使调制器具有透明状态，以获取2维(2D)图像。 根据本发明的另一一般方面，提供一种在图像获取设备中获取光场数据的方法， 所述方法包括从图像获取设备的调制器获取与输入到光学系统的图像对应的光场数据； 分析获取的光场数据；根据分析结果调节调制器的位置和/或调制特性；从已调节了位置 和/或调制特性的调制器获取图像的光场数据。
4
调节调制器的位置可包括当在分析获取的光场数据的步骤中输出多视野图像
时，通过将调制器向着光学系统移动来增加多视野图像中包括的图像的数量。 调节调制器的调制特性可包括控制调制器以使调制器依次具有完全透明状态和
不透明状态/不完全透明状态。 调节调制器的调制特性可包括控制调制器以使调制器具有透明状态，以获取2维(2D)图像。 调节调制器的位置可包括移动调制器和使调制器旋转或倾斜中的一种或多种。
根据另一一般方面，提供一种图像获取设备，包括调制器，接收来自光学系统的图像并调制；图像分析器，分析来自调制器的图像；控制器，根据图像分析器的分析结果调节调制器，所述调节包括移动调制器、调节调制器的调制特性以及使调制器旋转或倾斜中的一种或多种。 所述控制器可调节调制器以适应性地获取光场数据。 光场数据可以是多视野光场数据，所述控制器可通过使调制器向着光学系统移动来增加包括在多视野光场数据中的图像的数量。 图像分析器可从来自调制器的图像提取多视野四维(4D)光场数据。 所述控制器可控制调制器的调制特性以使调制器具有透明状态，以获取2维(2D)图像。 所述控制器可控制调制器的调制特性以使调制器依次透射或阻挡图像，以获取运动对象的图像。 所述控制器可控制调制器的调制特性以改变调制器的调制图案，以获取不同大小的视野图像。 所述设备还可包括传感器，检测来自调制器的图像，并将检测的图像转换为数字数据，其中，图像分析器使用所述光学系统的光学相关信息/来自所述光学系统的光学相关信息分析与来自调制器的图像对应的数字数据。 所述设备还可包括光学系统，接收对象的图像；传感器，检测来自调制器的对象的图像，其中，根据所述控制器调节所述调制器；图像处理器，处理来自传感器的图像；显示单元，显示来自图像传感器的图像。 从下面的描述、附图以及权利要求书，其它特征和方面将是明显的。
图1是示出获取多视野光场数据的设备的示例的示图。 图2A示出包括在图1的光场数据获取设备中的调制器的掩模图案的示例。 图2B示出来自图2A的调制器的图像的傅立叶变换结果。 图3是示出当调制器移动时图1的光场数据获取设备的构造的示图。 图4A示出图1的调制器的掩模图案的另一示例。 图4B示出来自图4A的调制器的图像的傅立叶变换结果。 图5是示出当调制器的掩模图案变化时的图1的光场数据获取设备的构造的示图。 图6A示出图1的调制器的变化的掩模图案的示例。
5
图6B来自图6A的调制器的图像的傅立叶变换结果。 图7是示出当调制器的掩模图案具有完全透明状态时的图1的光场数据获取设备 的构造的示图。 图8A示出具有完全透明状态的调制器的掩模图案。
图8B示出来自图8A的调制器的图像。 图9是示出当调制器的掩模图案随时间被切换为0n/0ff时的图1的光场数据获 取设备的构造的示图。 图10A示出显示当掩模图案随时间被切换为0n/0ff时对应于图9的调制器的掩 模图案的0n/0ff状态的曲线图。 图10B示出来自对应于图10A的调制器的图像图案。
图11是根据一个示例的图像获取方法的流程图。
图12是示出获取多视野光场数据的设备的另一示例。 贯穿附图和说明书，除非另外描述，否则相同的标号将被理解为指代相同的元件、 特征和结构。为了清晰、说明和方便起见，这些元件的相对尺寸和描绘会被夸大。
具体实施例方式
提供下面的详细描述以有助于读者对这里所描述的方法、设备和/或系统的全面 理解。因此，这里所描述的系统、设备和/或方法的各种改变、修改和等同物将被建议给本 领域的普通技术人员。另外，为了增加清晰和简明起见，会省略对公知功能和构造的描述。
图1示出获取多视野光场数据的设备的示例。 参照图l，光场数据获取设备包括透镜110、调制器120、传感器130、图像分析器 140和控制器150。 通过光学系统，即，诸如透镜110的光学装置的对象100的图像经调制器120被传 感器130检测为光场数据。调制器120，例如一种掩模，调节通过透镜110的图像的调制图 案。作为例子，调制器120可具有如图2A所示的掩模图案。当调制器120具有图2A中所 示的掩模图案时，通过调制器120的图像的傅立叶变换结果可如图2B所示。
传感器130检测通过调制器120的对象100的图像，并将检测的图像转换为数字 数据。图像分析器140参照通过透镜110获得的光学相关信息来分析对象100的图像，并 将分析的结果传送给控制器150。 控制器150根据图像分析器140的分析结果来调节调制器120的位置和/或调制 特性。例如，如果由图像分析器140分析的对象100的图像模糊或较小，则控制器150可调 节调制器120的位置或调制特性以补偿模糊或较小的图像。可从图像分析器140输出与来 自位置和/或调制特性已被改变的调制器120的图像对应的图像数据，以便于使用或者进 一步处理。 作为例子，控制器150可控制调制器120的调制图案使其具有与不执行调制的情 况对应的透明状态，例如"完全透明状态"，以便生成2D图像。作为另一个例子，控制器150 可随时间将调制器120的调制特性依次切换为0N/0FF以透射或阻挡图像，从而可获取移动 对象的图像。将参照图3至图10描述调节调制器120的调制特性和位置的进一步的描述。
图2A和图2B分别示出图1的调制器120的掩模图案以及通过调制器120的图像的傅立叶变换结果。 例如，如果使用具有特定载波频率的三个信号作为1维载波信号，则可获取具有 7X7视野的多视野图像，每个视野图像可具有340X250的分辨率。 参照图2A和图2B，如果使用2维掩模形式的调制器，则可获取具有恒定分辨率的 多个视野图像。视野的数量或分辨率可取决于调制器120的位置或调制图案。
图3示出当调制器120移动时的图1的光场数据获取设备的构造。
参照图3，调制器120可在控制器150(见图1)的控制下向着透镜110移动或者远 离透镜110地移动。如果调制器120向着透镜110移动，则获取更多视野。例如，如图3所 示，如果调制器120向着透镜IIO移动，则如图4A所示，调制器120的调制图案的每个网格 放大。即，由于透镜和调制器120之间的距离縮短，所以调制器120可具有如图4A所示的 网格放大的掩模图案。 图4A和图4B分别示出调制器120的另一掩模图案和通过具有图4A的掩模图案 的调制器120的图像的傅立叶变换结果。 例如，如果使用具有特定载波频率的4个信号作为1维载波信号，则可获取具有 9X9视野的多视野图像，每个视野图像可具有240X 180的分辨率。载波信号越多，空间分 辨率会越低，但是可获得越多的视野。 如果具有2维掩模的调制器120向着透镜IIO移动，则如图2A所示的掩模图像被
放大为如图4A所示的掩模图案，相应地可获取如图4B所示的多视野图像。 根据以上参照图3、图4A和图4B描述的示例，可适应性地获取4D光场数据，以适
应对象的性质的改变或焦距的改变，例如在透镜移向对象或透镜远离对象情况下的焦距改变。 图5示出当调制器120的掩模图案变化时的图1的光场数据获取设备的构造。
参照图5，如果调制器120的掩模图案变化，则通过传感器130获得的图像也变化。 下面将参照图6A和图6B描述变化的掩模图案和图像。 图6A和图6B分别示出调制器120的掩模图案和通过具有图6A的掩模图案的调 制器120的图像的傅立叶变换结果。 与上面描述的使用具有非谐波特性的4个1维载波信号作为载波频率的情况下的 示例相比，可获取具有9X9视野的多视野图像。在这种情况下，视野数量与使用具有谐波 特性的信号作为载波频率的情况下的视野数量相同，但是视野图像的大小可不同。为了实 现与使用2维掩模时相同的效果，可使用改变调制器120的调制图案的方法。如果二维掩 模的调制图案被设置为如图6A中所示，则如图6B所示，在所得的多视野图像的中心获得较 大的视野图像，而在多视野图像的边缘获得较小的视野图像。 根据以上参照图5、图6A和图6B描述的示例，具有期望的视野的图像可被放大。
再参照图l，调制器120的掩模图案或调制图案可根据控制器150的控制信号而变 化。例如，控制器150可根据图像分析器140的分析结果来调节调制器120的调制特性，而 不需要移动或替换调制器120。 图7示出当调制器120的掩模图案具有完全透明状态时的图1的光场数据获取设 备的构造。 参照图7，如果控制器150 (见图1)控制调制器120使其具有完全透明状态，则可获取2维(2D)图像，而非4维(4D)光场数据。换言之，如果控制器150控制调制器120使 对象的图像按原样通过，则可获取2D图像。 图8A和图8B分别示出具有完全透明状态的调制器120的掩模图案以及通过具有 图8A的掩模图案的调制器120的示例性图像。 g卩，如图8A所示，由于使用具有完全透明状态的掩模图案的情况与没有设置调制 器的情况相同，所以可获取如图8B所示的2D图像。 该示例对应于通过仅改变调制器120的图案特性而不改变4D光场数据获取设备 的构造来获取2D图像的情况。 图9示出当调制器120的掩模图案随时间被切换为On/Off时的图1的光场数据 获取设备的构造。 例如，参照图9，通过随时间依次将调制器120的透明状态切换为0n/0ff，可获取 移动对象的4D光场数据。调制器120的透明状态可随时间依次被设置为完全透明和不透 明/不完全透明，完全透明和不透明/不完全透明的持续时间也可被调节。在这种情况下， 调制器120可置于接近于透镜110的位置。 图10A示出显示当调制器120的掩模图案随时间被切换为0n/0ff时的掩模图案
的0n/0ff状态的曲线图，图IOB示出通过对应于图IOA的调制器120的图像。 SP，如图10A所示，如果调制器120的透明状态被切换为0n/0ff ，则获取图10B的
左侧中所示的图像，如果图像被处理，则如图10B的右侧所示，可获取移动对象的4D光场数
据的清楚的图像。 该示例对应于通过仅改变调制器120的图案特性而不改变4D光场数据获取设备 的构造，即使对移动对象仍获取清楚的图像的情况。 图11是根据一个示例的图像获取方法的流程图。可通过例如参照图1所描述的 设备来执行所述方法。 在操作1110，获取通过诸如透镜的光学系统输入的图像的光场数据。获取的光场 数据可以是4D光场数据或者2D光场数据。 在操作1120，分析获取的图像，并在操作1130，根据分析的结果调节调制器的位 置或调制图案。 在操作1140，通过调节后的调制器再次获取相应对象的光场数据。
图12示出获取多视野光场数据的另一示例性设备的构造。 参照图12，光场数据获取设备包括透镜110、调制器120、传感器130、图像分析器 140和控制器150。 在本实施方式中，调制器120和传感器130可如图12中所示排列，调制器120可 以是可移动和可旋转的反射式调制器。相应地，控制器150除了控制调制器120的调制特 性之外，还控制调制器120的移动或旋转。可从图像分析器140输出与来自位置和/或调 制特性已被改变的调制器120的图像对应的图像数据，以便于使用或进一步处理。例如，图 像处理器(未示出)可处理来自图像分析器140的图像，可在显示单元(未示出)中显示 经处理的图像。应该理解的是，图像处理器可从传感器130(而非图像分析器140)接收图 像。还应该理解的是，尽管分开进行了描述，但是图像处理器和图像分析器140可以被结合 为单个部件或者结合在单个芯片集中。在使用反射式调制器的情况下，光效率可提高。，图像分析器140可利用所述设备的光学系统的光学相关信息/来自所述设 备的光学系统的光学相关信息以分析来自调制器120的图像。例如，光学相关信息可包括 透镜110的数据，并且例如，光学相关信息可以是透镜110的焦距、像差和光轴角(optic angle)。 根据上述示例，图像获取设备可根据将被拍摄的对象或外围环境，通过改变位于 透镜和传感器之间的调制器的调制特性和/或位置，来适应性地获取多视野光场数据。例 如，改变调制图案可包括调节衰减图案(atte皿ationpattern)。 根据上述示例，可改变图像获取设备的调制器的位置和/或特性以适应性地应对
对象特性的改变或焦距的改变。因此，可防止例如4D相机的空间分辨率的劣化。换言之，
可根据将被拍摄的对象或者根据焦距的改变进行优化而获取4D光场数据。 此外，通过改变调制器的位置和/或特性，可获取2D图像数据以及4D光场数据。 上述处理、功能、方法和/或软件可被记录、存储或固定在包括程序指令的一个或
多个计算机可读存储介质上，所述程序指令将由计算机执行以使处理器执行所述程序指
令。所述介质还可单独或结合地包括程序指令、数据文件、数据结构等。所述介质和程序指
令可以是专门设计和构造的，或者可以是计算机软件领域的技术人员已知或可用的类型。
计算机可读介质的例子包括磁介质，如硬盘、软盘和磁带；光学介质，如CD ROM盘和DVD ;
磁光介质，如光盘；和专门构造为存储和执行程序指令的硬件装置，如只读存储器(R0M)、
随机存取存储器(RAM)、闪存等。程序指令的例子包括诸如由编译器生成的机器码以及包含
可由计算机利用解释器执行的高级代码的文件。所描述的硬件装置可被构造为用作一个或
多个软件模块，以便执行上述操作和方法，反之亦然。另外，计算机可读存储介质可以分布
于通过网络连接的计算机系统上，计算机可读代码或程序指令可以以分布式方式被存储和执行。 应该理解的是，这里所使用的术语(例如调制器)在其它应用中或者在由本领域 另一普通技术人员描述时可能不同。仅出于示意性目的，术语调制器可被描述为或已知为 光调制器、相机阵列(camera array)、图像调节阵列和分光掩模(light dividing mask)。
还应该理解的是，仅出于示意性目的，与这里的教导一致的获取光场数据的示例 性设备可应用于包括移动电话/装置中的相机的相机、医学成像设备、包括科学显微镜的 显微镜成像设备、天文望远镜以及其它图像捕获系统中。 上面已经描述了若干示例。然而，可进行各种修改。例如，如果所描述的技术按照 不同的顺序执行，和/或如果所描述的系统、架构、装置或电路中的元件以不同的方式组合 和/或被其它元件或其等同物代替或补充，则可实现合适的结果。因此，其它实施方式也在 权利要求的范围内。
9
权利要求
一种获取多视野光场数据的设备，包括调制器，根据调制器的调制特性对输入到光学系统的图像进行调制；图像分析器，分析来自调制器的图像；控制器，根据图像分析器的分析结果移动调制器和/或调节调制器的调制特性。
2. 根据权利要求l所述的设备，其中，当从图像分析器输出多视野图像时，控制器通过将调制器向着光学系统移动来增加多视野图像中包括的图像的数量。
3. 根据权利要求1所述的设备，其中，控制器控制调制器的调制特性以使调制器依次具有完全透明状态和不透明状态/不完全透明状态。
4. 根据权利要求1所述的设备，其中，图像分析器从调制器所输出的图像中提取多视野4维光场数据。
5. 根据权利要求1所述的设备，其中，控制器控制调制器的调制特性以使调制器具有透明状态，以获取2维图像。
6. —种在图像获取设备中获取光场数据的方法，所述方法包括从图像获取设备的调制器获取与输入到光学系统的图像对应的光场数据；分析获取的光场数据；根据分析结果调节调制器的位置和/或调制特性；从已调节了位置和/或调制特性的调制器获取图像的光场数据。
7. 根据权利要求6所述的方法，其中，调节调制器的位置包括当从分析获取的光场数据的步骤中输出多视野图像时，通过将调制器向着光学系统移动来增加多视野图像中包括的图像的数量。
8. 根据权利要求6所述的方法，其中，调节调制器的调制特性包括控制调制器以使调制器依次具有完全透明状态和不透明状态/不完全透明状态。
9. 根据权利要求6所述的方法，其中，调节调制器的调制特性包括控制调制器以使调制器具有透明状态，以获取2维图像。
10. 根据权利要求6所述的方法，其中，调节调制器的位置包括移动调制器和使调制器旋转或倾斜中的一种或多种。
11. 一种图像获取设备，包括调制器，接收来自光学系统的图像并调制；图像分析器，分析来自调制器的图像；控制器，根据图像分析器的分析结果调节调制器，所述调节包括移动调制器、调节调制器的调制特性以及使调制器旋转或倾斜中的一种或多种。
12. 根据权利要求11所述的设备，其中，所述控制器调节调制器以适应性地获取光场数据。
13. 根据权利要求12所述的设备，其中，光场数据是多视野光场数据，所述控制器通过使调制器向着光学系统移动来增加包括在多视野光场数据中的图像的数量。
14. 根据权利要求12所述的设备，其中，图像分析器从来自调制器的图像提取多视野四维光场数据。
15. 根据权利要求11所述的设备，其中，所述控制器控制调制器的调制特性以使调制器具有透明状态，以获取2维图像。
16. 根据权利要求11所述的设备，其中，所述控制器控制调制器的调制特性以使调制 器依次透射或阻挡图像，以获取运动对象的图像。
17. 根据权利要求11所述的设备，其中，所述控制器控制调制器的调制特性以改变调 制器的调制图案，以获取不同大小的视野图像。
18. 根据权利要求11所述的设备，还包括传感器，检测来自调制器的图像，并将检测 的图像转换为数字数据，其中，图像分析器使用所述光学系统的光学相关信息/来自所述 光学系统的光学相关信息分析与来自调制器的图像对应的数字数据。
19. 根据权利要求11所述的设备，还包括 光学系统，接收对象的图像；传感器，检测来自调制器的对象的图像，其中，根据所述控制器调节所述调制器； 图像处理器，处理来自传感器的图像； 显示单元，显示来自图像传感器的图像。
全文摘要
公开了一种利用可变调制器获取光场数据的设备和方法。所述设备根据将被拍摄的对象或外围环境来适应性地改变位于光学系统和传感器之间的调制器。因此，可获取根据将被拍摄的对象或根据焦距的改变而进行优化的4维(4D)光场数据。
文档编号H04N7/30GK101795406SQ20101000096
公开日2010年8月4日 申请日期2010年1月21日 优先权日2009年1月30日
发明者任宰均, 姜周泳, 朴炳冠, 李性德, 玉贤旭 申请人:三星电子株式会社