用于通过使用多个微透镜拍照的拍摄装置和拍摄方法
【专利摘要】提供一种用于通过使用多个微透镜拍照的拍摄装置和拍摄方法。所述拍摄装置包括：主透镜，被构造为发送从对象反射的光束；微透镜阵列，包括被构造为将反射的光束滤为不同的颜色并发送反射的光束的多个微透镜；图像传感器，被构造为感测由所述多个微透镜发送的光束；数据处理器，被构造为从由图像传感器感测的多个原始图像收集彼此相应的位置的像素，以产生多个子图像；存储装置，被构造为存储所述多个子图像；控制器，被构造为在存储在存储装置中的所述多个子图像中检测彼此匹配的像素，并获取对象的图像的颜色信息和深度信息。因此，在未降低分辨率的情况下恢复了颜色信息和深度信息。
【专利说明】用于通过使用多个微透镜拍照的拍摄装置和拍摄方法
[0001]本申请要求于2013年I月22日提交到韩国知识产权局的第10-2013-0007173号韩国专利申请的优先权，其公开通过引用其全部合并于此。
【技术领域】
[0002]与示例性实施例一致的设备和方法涉及提供一种拍摄装置和拍摄方法，更具体地，涉及提供一种用于通过使用多个微透镜拍照的拍摄装置和拍摄方法。
【背景技术】
[0003]随着电子技术的发展，已开发并提供了各种类型的电子装置。具体地，提供与其他人交流的服务(如社交网络服务(SNS))已受到欢迎。因此，已越来越多地使用通过拍摄周围的画面来产生内容的拍摄装置。
[0004]拍摄装置的示例包括各种类型的装置，诸如，数码相机、便携式电话、平板个人计算机(PC)、膝上型PC、个人数字助理(PDA)等。用户使用拍摄装置来拍摄和使用各种画面。
[0005]在现有技术中，拍摄装置使用通过使用电荷耦合器件(CXD)或互补金属氧化物半导体(CMOS)图像传感器对对象进行聚焦并存储对象图像的方法来执行拍摄。拍摄装置可支持自动聚焦功能来对对象进行自动聚焦。然而，如果当聚焦未被适当执行时或当若干对象存在时执行了拍摄，则可能在用户期望的对象未被聚焦时执行了拍摄。
[0006]在这种情况下，用户难以重新执行拍摄。为了解决这一困难，已开发了光场相机来通过使用多个微透镜并随后执行聚焦来执行拍摄。
[0007]在现有技术中，光场相机对由滤光器滤过的光产生的图像执行去马赛克工作，以对颜色进行插值。因此，插值图像的对象的边界周围发生模糊现象。因此，插值图像的分辨率降低。
【发明内容】
[0008]示例性实施例至少解决上述问题和/或缺点以及上面未描述的其它缺点。此外，示例性实施例不需要克服上述缺点，并且示例性实施例可不克服上述任何问题。
[0009]一个或多个示例性实施例提供一种用于通过使用执行滤色的多个微透镜来拍摄画面以防止分辨率降低的拍摄装置和拍摄方法。
[0010]根据示例性实施例的一方面，提供一种拍摄装置，包括:主透镜，被构造为发送从对象反射的光束；微透镜阵列，包括被构造为将反射的光束滤为不同颜色并发送反射的光束多个微透镜；图像传感器，被构造为感测由所述多个微透镜发送的光束以感测多个原始图像；数据处理器，被构造为从由图像传感器感测的多个原始图像收集彼此相应的位置的像素，以产生多个子图像；存储装置，被构造为存储所述多个子图像；控制器，被构造为在存储在存储装置中的所述多个子图像中检测彼此匹配的像素，并基于检测的结果获取对象的图像的颜色信息和深度信息。
[0011]控制器可通过使用所述多个子图像来执行三维(3D)对象检测工作和重新聚焦工作中的至少一个。
[0012]微透镜阵列可被划分为重复排列的多个微透镜组。多个微透镜可根据预设颜色图案被排列在所述多个微透镜组中的每一组中，其中，分别从至少红色(R)、蓝色(B)、绿色(G)、青色(C)、黄色(Y)、白色(W)和翠绿色(E)选择的颜色被分别分配给所述多个微透镜。
[0013]图像传感器可被划分为与所述多个微透镜相应的多个像素组。所述多个像素组中的每一组可包括多个像素，并且图像传感器的像素的总数量超过微透镜的数量。
[0014]颜色涂层可被形成在所述多个微透镜的表面上，颜色涂层的颜色可按照预设图案重复。
[0015]微透镜阵列可包括:第一基底，在所述第一基底上按照矩阵图案排列所述多个微透镜；第二基底，在所述第二基底上排列与所述多个微透镜分别相应的多个滤色器。所述多个滤色器的颜色可按照预设图案重复。
[0016]根据另一示例性实施例的一方面，提供一种拍摄方法，包括:通过使用包括多个微透镜的微透镜阵列对通过主透镜入射的光束进行过滤和发送；使用图像传感器感测由所述多个微透镜发送的光束，以获取多个原始图像；从所述多个原始图像收集彼此相应的位置的像素，以产生多个子图像；存储所述多个子图像；在所述多个子图像中检测彼此匹配的像素，以恢复对象图像的颜色信息和深度信息。
[0017]拍摄方法可还包括:通过使用颜色信息和深度信息执行三维(3D)对象检测工作和重新聚焦工作中的至少一个。
[0018]微透镜阵列可被划分为重复排列的多个微透镜组。多个微透镜可根据预设颜色图案被排列在所述多个微透镜组中的每一组中，其中，分别从至少红色(R)、蓝色(B)、绿色(G)、青色(C)、黄色(Y)、白色(W)和翠绿色(E)选择的颜色被分别分配给所述多个微透镜。
[0019]颜色涂层可被形成在所述多个微透镜的表面上，颜色涂层的颜色可按照预设图案重复。
【专利附图】
【附图说明】
[0020]通过参照附图对特定示例性实施例的描述，上述和/或其它方面将更加清楚，其中:
[0021]图1是示出根据示例性实施例的拍摄装置的结构的示图；
[0022]图2和图3是示出允许已透过主透镜的光入射到微透镜阵列的处理的示图；
[0023]图4是示出通过使用多个微透镜获取多视点图像的原理的示图；
[0024]图5是示出根据示例性实施例的微透镜阵列的颜色图案的示图；
[0025]图6是示出根据示例性实施例的微透镜阵列和图像传感器的截面的示图；
[0026]图7是示出通过使用多个微透镜感测的多个原始图像的示图；
[0027]图8A和图8B是示出通过从与图7的原始图像中的彼此相应的位置收集像素而产生的多个子图像的示图；
[0028]图9和图10是示出微透镜阵列的各种截面的示图；
[0029]图1lA至图15是示出根据各种示例性实施例的微透镜阵列的颜色图案的示图；
[0030]图16是示出根据示例性实施例的拍摄方法的流程图；
[0031]图17是示出根据示例性实施例的使用多个子图像的图像处理方法的流程图；[0032]图18是示出根据示例性实施例的图像处理的重新聚焦方法的示图。
【具体实施方式】
[0033]参照附图更详细地描述特定示例性实施例。
[0034]在下面的描述中，即使在不同的附图中，相同的附图标号也用于相同的元件。在描述中限定的内容(诸如，详细的结构和元件)被提供以帮助对示例性实施例的全面理解。然而，可在没有那些具体限定的内容的情况下实现示例性实施例。此外，由于公知的功能或结构会以不必要的细节模糊示例性实施例，因此没有对公知的功能或结构进行详细描述。
[0035]图1是示出根据示例性实施例的拍摄装置100的结构的示图。参照图1，拍摄装置100包括主透镜110、微透镜阵列120、图像传感器130、数据处理器140、存储装置150和控制器160。为了便于描述，图1的拍摄装置100具有简化的元件，但是可还包括各种类型的附加元件。例如，拍摄装置100可还包括各种类型的附加元件，诸如，闪光灯、反射镜、光圈、外壳等。主透镜110可被省略或者其他透镜可被附加地包括在拍摄装置100中。
[0036]图1的拍摄装置100可被实现为通过使用多个微透镜捕获多视点图像的全光相机或光场相机。
[0037]王透镜110发送从对象反射的光束。王透镜110可被实现为通用镜头、广角镜头等。主透镜110不限于如图2中所示的单个透镜，而是可包括一组多个透镜。
[0038]微透镜阵列120包括多个微透镜。颜色被分别分配给微透镜，以便微透镜将从主透镜110入射的反射光束滤为不同颜色并发送反射光束。具体地，微透镜发送各种颜色(诸如，红色(R)、蓝色(B)、绿色(G)、青色(C)、品红色(M)、黄色(Y)、白色(W)、翠绿色(E)等)的光束。为了滤色，颜料层可被分别涂在微透镜或基底的表面上。基底可被布置在微透镜上，其中，在所述基底上，不同颜色的滤光器被形成为与微透镜的位置相应的图案。
[0039]可根据预设的颜色图案布置所述多个微透镜。将稍后详细描述预设的颜色图案和根据预设的颜色图案的布置方法。
[0040]透过微透镜阵列120的光束被入射在布置在微透镜阵列120后面的图像传感器130上。图像传感器130感测已透过多个微透镜的光束。图像传感器130可被实现为布置有多个互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)图像传感器的图像传感器阵列。因此，图像传感器130根据已透过微透镜的光束来产生多个原始图像。
[0041]数据处理器140通过使用由图像传感器130感测的多个原始图像来产生多个子图像。子图像指通过对在各种视点捕获的像素进行组合而产生的图像。换句话说，所述多个子图像可包括通过在不同视点捕获对象而产生的图像。
[0042]图像处理器140从多个原始图像收集相应位置的像素，以产生多个子图像。将稍后描述产生子图像的方法。
[0043]存储装置150存储由数据处理器140产生的多个子图像。
[0044]控制器160通过使用存储在存储装置150中的所述多个子图像来执行各种操作。例如，控制器160检测所述多个子图像中彼此匹配的像素来执行视差匹配。视差匹配指当指示相同对象的像素存在于根据多个子图像的不同位置中时，通过使用指示相同对象的像素之间的位置差来计算离对象的距离(即，深度信息)的操作。
[0045]如上所述，由于多个微透镜执行滤色，因此子图像的像素具有不同类型的颜色信息。因此，控制器160将彼此匹配的像素的颜色值进行组合，以恢复对象的颜色信息。
[0046]控制器160通过使用恢复的颜色信息、深度信息等来执行各种图像处理工作。例如，控制器160基于用户期望的点执行用于重新调整焦距的重新聚焦工作，以便产生图像。控制器160执行用于检测(3D)对象的三维(3D)对象检测工作。
[0047]图2和图3是示出允许已透过主透镜110的光入射到微透镜阵列120的处理的示图。如图2中所示，从对象10反射的光透过主透镜110，并沿着光学方向汇聚。当微透镜阵列120被放置在汇聚点(B卩，第二主点)以内时，反射光被正常地入射到微透镜阵列120。
[0048]当微透镜阵列120被放置在汇聚点以外时，反射光被入射到微透镜阵列120成为倒像。
[0049]微透镜将入射光转换为色光(color light)，并发送色光。发送的光被入射到图像传感器130。
[0050]图4是示出通过使用多个微透镜获取多视点图像的原理的示图。如图4中所示，从点X-2、Xl和XO反射的光束通过主透镜110被折射，并随后入射到微透镜阵列120。如图4中所示，场透镜(field lens) 115用于调整折射角。场透镜115面向微透镜阵列120的表面可以是平坦的，并且场透镜115的另一面(即，面向主透镜110的表面)可以是凸面。场透镜115将已透过主透镜110的光束发送到微透镜阵列120。如图4中所示，已分别透过主透镜110的区域Θ1至Θ 5的光束形成不同视点的图像。因此，在区域Θ1至Θ5获取五个视点的图像。 [0051]可根据预设颜色图案将颜色分配到微透镜阵列120的微透镜。可不同地实现颜色图案。
[0052]图5是示出根据示例性实施例的微透镜阵列的颜色图案的示图。
[0053]参照图5，微透镜阵列120被划分为多个微透镜组120-1、120_2、…、和120-xy。被分别分配有分别选择的颜色的多个微透镜根据预设颜色图案被布置在多个微透镜组120-1,120-2,…、和120-xy中的每一组中。在图5中，分配有R颜色的微透镜121和分配有G颜色的微透镜122被布置在微透镜组的第一行中。分配有G颜色的微透镜123和分配有B颜色的微透镜124被布置在微透镜组的第二行中。该微透镜组被重复地布置在微透镜阵列120上。在图5中，多个微透镜组被排列在微透镜阵列120的y行和x列上。
[0054]图6是示出根据示例性实施例的微透镜阵列120的截面和图像传感器130的截面的示图。
[0055]具体地，图6示出沿图5中示出的微透镜阵列120的第一行的横截面。
[0056]参照图6，微透镜120包括布置有多个微透镜121、122、125、...、和图像传感器130的基底180。图像传感器130被布置与微透镜阵列120接触。可由透明材料形成基底180。
[0057]图像传感器130包括第一绝缘层190、第二绝缘层300和支撑基底200。用于电连接的金属线191至196被布置在第一绝缘层190中。金属线191至196可被设计为不阻挡已透过微透镜的光束的路径。如图6中所示，金属线191至196被布置在一个绝缘层190中。然而，金属线191至196可被分散地布置在多个绝缘层中。
[0058]多个像素组210、220、230被布置在支撑基底200中。图像传感器211至214、221至224和231至234形成多个像素，并被分别布置在像素组210、220、230、…中。图像传感器211至214、221至224和231至234分别感测已透过微透镜121、122和123的光束。隔离层410、420、430和440被形成在像素组之间，以防止图像传感器211至214、221至224和231至234之间的干扰。
[0059]金属线191至196将图像传感器211至214,221至224和231至234连接到外部电极极板。因此，金属线191至196可将分别从图像传感器211至214、221至224和231至234输出的电信号发送到数据处理器140和存储装置150。
[0060]如图6中所示，像素组中的图像传感器的总数量超过微透镜的数量。具体地，4X4个图像传感器被布置在与一个微透镜相应的位置中。
[0061]图7是示出通过使用包括R、G和B颜色图案的微透镜阵列120感测的多个原始图像的示图。各种颜色的微透镜被布置在微透镜阵列120中。
[0062]参照图7，已透过微透镜121、122、123、124、125、…的光束形成4X4个像素的图像。为了便于描述，分别由微透镜121、122、123、124、125、…产生的图像被称为原始图像。微透镜121、122、123、124、125、…分别用根据颜色的英文大写字母“R”、“G”、“B”来表示，并根据它们各自的位置被划分为η行m列(其中，η表示行数，m表示列数)。构成一个图像的像素分别用于小写字母“r”、“g”和“b”来表示。数字I至16根据像素的位置被添加，以对像素进行划分。原始图像的数量与微透镜的数量相应。在图7中示出的示例中，nXm个原始图像被获取。 [0063]数据处理器140将构成感测的图像的像素之中的彼此相应的位置中的像素进行组合，以产生多个子图像。
[0064]图8A和图8B是示出产生多个子图像的方法的示图。参照图8A，子图像I包括nXm个像素。子图像I由位于多个原始图像的第一行第一列的像素rl、gl和bl的组合形成。
[0065]参照图8B，子图像2由位于多个原始图像的第一行第二列的像素r2、g2和b2的组合形成。如上所述，总共16个子图像可被数据处理器140产生并被存储在存储装置150中。
[0066]微透镜阵列120的微透镜可还包括颜色涂层或滤色器，以执行滤色。
[0067]图9是示出根据示例性实施例的微透镜阵列120的结构的示图。具体地，图9示出图5中示出的微透镜阵列120的第一行的截面。
[0068]微透镜阵列120包括微透镜121、122、125和126以及支撑微透镜121、122、125和126的基底180。颜色涂层121-1、122-1、125-1和126-1被分别形成在微透镜121、122、125和126的表面上。颜色涂层121-1、122-1、125-1和126-1可由具有颜色的染料形成。颜色涂层121-1、122-1、125-1和126-1的颜色可按照预设图案被重复。例如，R颜色和G颜色在奇数行重复，G颜色和B颜色在偶数行重复。
[0069]图10是示出根据另一示例性实施例的微透镜阵列120的结构的示图。参照图10，微透镜阵列120包括第一基底层610和第二基底层620。第一基底层610包括多个微透镜612和排列有微透镜612的基底611。空白空间613被形成在微透镜612和第一基底610之间，或者透明材料可被布置在空白空间613中，以填充在微透镜612和第一基底610之间。
[0070]第二基底620包括多个滤色器621至626。滤色器621至626被排列为与多个微透镜612的位置相应。滤色器621至626执行用于发送预定颜色的光束的滤色。多个滤色器621至626的颜色可按照预定图案重复。例如，如果多个滤色器621至626的颜色具有如图5中所示的颜色图案，则可用重复R颜色和G颜色的颜色图案来实现微透镜阵列120
的第一行。
[0071]如上所述，微透镜可被实现为用于执行滤色的各种类型的结构。微透镜的颜色可被实现为各种图案。现在将详细描述根据各种示例性实施例的颜色图案的示例。
[0072]图1lA至图1lD是示出以四个微透镜为单位重复的颜色图案的示图。在图1lA中，G颜色和R颜色的微透镜在奇数行被重复，B颜色和G颜色的微透镜在偶数行被重复。具体地，在图1IA中，按照重复排列的2 X 2矩阵排列分别具有G颜色、R颜色、B颜色和G颜色的四个颜色的微透镜的微透镜组。
[0073]在图1lB中，B颜色、R颜色、R颜色和G颜色的微透镜组被重复排列。在图1lC中，C颜色、Y颜色、Y颜色和M颜色的微透镜组被重复排列。在图1ID中，C颜色、Y颜色、G颜色和M颜色的微透镜组被重复排列。
[0074]图12A至图12D是示出根据示例性实施例的包括白(W)色的微透镜的颜色图案的示图。
[0075]在图12A中，W颜色和R颜色的微透镜在奇数行被重复排列，B颜色和G颜色的微透镜在偶数行被重复排列。W颜色的透镜指发送W光的透镜。例如，W颜色的透镜可以是仅由透明材料形成的透镜，而无需额外的颜色涂层或滤色层。
[0076]在图12B中，W颜色、B颜色、W颜色和G颜色的微透镜在奇数行被重复排列，B颜色、W颜色、G颜色和W颜色的微透镜在偶数行被重复排列。在上述示例性实施例中，在每行中颜色以两个微透镜为单位重复。然而，如图12B中所示，颜色被重复的周期可以是2个或更多个。
[0077]在图12C中，W颜色的微透镜被排列在所有偶数列中，在奇数列中，微透镜被排列为G、G、B和B以及R、R、G和G交替重复的图案。
[0078]在图12D中，W颜色的微透镜被排列在偶数列，在奇数列中，微透镜被排列为G、B、G和B以及R、G、R和G交替重复的图案。
[0079]在图1lA至图12D中，微透镜阵列可被划分为均包括2X2个微透镜的组。然而，可不同地实现每个组中的微透镜的数量。
[0080]图13是示出包括多个微透镜组的微透镜阵列120的结构的示图，其中，每个微透镜组包括3X3个微透镜。
[0081 ] 参照图13，R颜色、G颜色和B颜色的微透镜被排列在一个微透镜组的第一行上，B颜色、R颜色和G颜色的微透镜被排列在所述一个微透镜组的第二行上，G颜色、B颜色和R颜色的微透镜被排列在所述一个微透镜组的第三行上。微透镜阵列120可被实现为包括3X3个微透镜的组，并被重复排列。
[0082]图14是示出包括多个微透镜组的微透镜阵列120的结构的示图，其中，每个微透镜组包括6X6个微透镜。
[0083]参照图14，G颜色、B颜色、G颜色、G颜色、R颜色和G颜色的微透镜被排列在一个微透镜组的第一行上，R颜色、G颜色、R颜色、B颜色、G颜色和B颜色的微透镜被排列在所述一个微透镜组的第二行上，G颜色、B颜色、G颜色、G颜色、R颜色和G颜色的微透镜被布置在所述一个微透镜组的第三行上，G颜色、R颜色、G颜色、G颜色、B颜色和G颜色的微透镜被排列在所述一个微透镜组的第四行上，B颜色、G颜色、B颜色、R颜色、G颜色和R颜色的微透镜被排列在所述一个微透镜组的第五行上，G颜色、R颜色、G颜色、G颜色、B颜色和G颜色的微透镜被排列在所述一个微透镜组的第六行上。具有这些颜色图案的微透镜组可被重复排列。
[0084]在上述示例性实施例中，每个微透镜按照矩阵被排列，但是排列形式不限于矩阵形式。
[0085]图15是示出根据示例性实施例的沿着对角线方向排列的多个微透镜的示图。参照图 15，微透镜阵列 120 包括多个对角线列 1500、1510、1520、1530、1540、1550、1560、1570、1580、1590和1600。两个R颜色的微透镜和两个B颜色的微透镜被交替排列在中心对角线列1500上。包括多个G颜色的微透镜的列被排列在中心对角线列1500的两侧。如图15中所示，包括R颜色和B颜色的混合的列和仅包括G颜色的列可沿着对角线方向被交替排列。
[0086]如上所述，已透过微透镜阵列120的具有各种颜色的光束被入射到图像处理器130。因此，多个原始图像被获取。如参照图8所述，数据处理器140从原始图像的像素收集位于彼此相应的点的像素，以产生多个子图像。
[0087]微透镜阵列120通过使用多个微透镜对光束进行滤色。由于颜色信息根据子图像被划分、获取并被恢复，因此可在无需基于像素值执行颜色插值(例如，如去马赛克技术)的情况下恢复图像的颜色信息。因此，可防止由发生在颜色插值处理中的模糊造成的分辨率的下降。
[0088]图16是示出根据示例性实施例的拍摄方法的流程图。参照图16，如果输入了拍摄命令，则拍摄装置打开快门。如果光束通过主透镜被入射，则在操作S1610，拍摄装置通过使用多个微透镜发送入射光束，并根据颜色对发送的光束进行过滤。微透镜可被实现为如图9和图10中所示的各种类型的结构以对与微透镜分别匹配的颜色进行过滤。如上所述，可不同地实现微透镜阵列的颜色图案。
[0089]已分别透过微透镜的光束入射到图像传感器。在操作S1620，图像传感器基于已透过多个微透镜的光束来获取多个原始图像。通过在不同视点捕获对象来获取原始图像，并且所述原始图像包括与微透镜分别相应的颜色。
[0090]在操作S1630，拍摄装置将多个原始图像的像素进行组合，以产生多个子图像。
[0091]在操作S1640，拍摄装置存储产生的子图像。
[0092]在操作S1650，拍摄装置从子图像检测彼此匹配的像素，以恢复颜色信息和深度信息。颜色信息和深度信息可用于重新聚焦工作、3D对象检测工作等。
[0093]图17是示出根据示例性实施例的根据用户选择来执行各种类型的图像处理的方法的流程图。参照图17，用户从包括捕获对象和对捕获的对象执行图像处理的菜单进行选择。菜单可还包括重新聚焦菜单、3D对象检测菜单、视点改变菜单等。
[0094]如果在操作S1710通过菜单的选择输入了重新聚焦命令，则拍摄装置选择并显示多个子图像中的一个。例如，拍摄装置可显示包括中间位置的像素的子图像。
[0095]在操作S1720，用户选择显示的子图像的用户想聚焦的参考点。
[0096]如果参考点被选择，则在操作S1730，控制器160检查参考点的深度信息。可通过使用具有彼此相应的像素值的像素之间的位置差从多个子图像的像素检测深度信息。控制器160根据检查的深度信息改变子图像的像素。在操作S1740，改变的像素的像素值被调整为它们的平均值，以产生聚焦在选择的参考点的图像。作为结果，具有与选择的参考点相应的深度信息的对象可被清楚地显示。
[0097]如果在操作S1750，3D对象检测命令被输入，则在操作S1760，多个子图像之间彼此相应的像素执行用于提取像素的视差的视差匹配工作。
[0098]在操作S1770，根据像素的视差产生左眼图像和右眼图像。具体地，在具有深的深度的对象中，左眼图像中的像素位置和右眼图像中的像素位置之间的像素距离大。相反的，在具有浅的深度的对象中，左眼图像中的像素位置和右眼图像中的像素位置之间的像素距离小。因此,3D图像可被产生。
[0099]如参照图16和图17的描述，根据各种示例性实施例，在拍摄装置捕获对象之后，拍摄装置根据用户选择通过使用各种方法来调整对象。因此，彩色图像可被产生，而无需执行去马赛克处理。
[0100]图18是示出作为图像处理的示例的重新聚焦工作的示图。入射到拍摄装置的光可被表示为r(q，p)。也就是说，具有位置q和角度P的光的辐射。光透过透镜并随后通过形成在透镜和图像传感器之间的空间入射到图像传感器上。因此，由图像传感器获取的图像的辐射的转换矩阵被表示为特征矩阵和所述空间的特征矩阵的乘法。
[0101]重新聚焦指用于获取聚焦的图像和形成重新聚焦的图像的工作。换句话说，可通过使用预先获取的辐射信息，根据在另一位置计算达到图像传感器的平坦表面的辐射信息的方法来执行重新聚焦。
[0102]图18是示出重新聚焦工作的示例的示图。图18示出从rl调整到r2的焦距。
[0103]参照图18，如果处于离主透镜110距离a的点处的对象的图像被形成在表面rl(即，朝向微透镜阵列120离主透镜110距离b的点)上，则离主透镜110距离a’的点处的对象的图像被形成在表面r2 (即，朝向微透镜阵列120离主透镜110距离b’的点)上。
[0104]控制器160可通过使用聚焦在表面rl上的光的辐射信息，获取聚焦在表面r2上的光的辐射信息。例如，可通过使用以下等式获取改变的辐射信息:r’(q，p)=r(q-tp，p)，其中，t表示主透镜110和图像传感器130之间的距离。如果改变的辐射信息被获取，则控制器160可基于改变的辐射信息，形成已执行重新聚焦的图像。控制器160可检查多个子图像的像素的深度信息来根据改变的辐射信息对像素进行组合，以获取已改变焦距的图像。参照图18描述的重新聚焦方法仅是示例，因此，可根据各种方法执行重新聚焦或其他类型的图像处理。
[0105]根据各种示例性实施例，使用通过使用多个微透镜获取的多个子图像来恢复颜色信息。因此，可在没有降低分辨率的情况下产生各种图像。
[0106]根据上述示例性实施例的拍摄方法可被应用于包括包含滤色器的多个微透镜的拍摄设备。具体地，拍摄方法可被编码为用于执行该拍摄方法的程序代码，并被存储在非暂时性计算机可读介质上。非暂时性计算机可读介质可被安装在如上所述的拍摄装置中，以支持拍摄装置，从而在其中执行上述方法。
[0107]非暂时性计算机可读介质是指不像寄存器、缓存、内存等短时间的存储数据，而是半永久性地存储数据并由装置可读的介质。具体地讲，上述应用或程序可被存储并设置在非永久性计算机可读介质(诸如⑶、DVD、硬盘、蓝光盘、通用串行总线(USB)、存储卡、ROM等)上。[0108]前述示例性实施例及优点仅是示例性的，并且将不被解释为限制性的。本教导可被容易地应用于其他类型的设备。此外，示例性实施例的描述意图是示意性的，而不是限制权利要求的范围，许多可替代物、修改和变形对于本领域技术人员而言将是清楚的。
【权利要求】
1.一种拍摄装置，包括: 主透镜，发送从对象反射的光束； 微透镜阵列，包括将反射的光束滤为不同颜色并发送反射的光束的多个微透镜； 图像传感器，感测已分别透过多个微透镜的光束； 数据处理器，从由图像传感器感测的多个原始图像收集彼此相应的位置的像素，以产生多个子图像； 存储装置，存储所述多个子图像； 控制器，在存储在存储装置中的所述多个子图像中检测彼此匹配的像素，以获取对象的图像的颜色信息和深度信息。
2.如权利要求1所述的拍摄装置，其中，控制器通过使用所述多个子图像执行三维(3D)对象检测工作或重新聚焦工作。
3.如权利要求1所述的拍摄装置，其中，微透镜阵列被划分为重复排列的多个微透镜组， 其中，多个微透镜根据预设颜色图案被排列在所述多个微透镜组中的每一组中， 其中，分别从至少红色(R)、蓝色(B)、绿色(G)、青色(C)、黄色(Y)、白色(W)和翠绿色(E)选择的颜色被分别分配给所 述多个微透镜。
4.如权利要求1所述的拍摄装置，其中，图像传感器被划分为与所述多个微透镜分别相应的多个像素组， 其中，所述多个像素组中的每一组包括多个像素，并且图像传感器的像素的总数量超过微透镜的数量。
5.如权利要求4所述的拍摄装置，其中，颜色涂层被形成在所述多个微透镜的表面上， 其中，颜色涂层的颜色按照预设图案重复。
6.如权利要求4所述的拍摄装置，其中，微透镜阵列包括: 第一基底，在所述第一基底上按照矩阵图案排列所述多个微透镜； 第二基底，在所述第二基底上排列与所述多个微透镜分别相应的多个滤色器， 其中，所述多个滤色器的颜色按照预设图案重复。
7.一种拍摄方法，包括: 通过使用包括多个微透镜的微透镜阵列对通过主透镜入射的光束进行过滤和发送； 通过使用图像传感器感测已透过所述多个微透镜的光束，以获取多个原始图像； 从所述多个原始图像收集彼此相应的位置的像素，以产生多个子图像； 存储所述多个子图像； 在所述多个子图像中检测彼此匹配的像素，以恢复对象图像的颜色信息和深度信息。
8.如权利要求7所述的拍摄方法，还包括: 使用颜色信息和深度信息执行三维(3D)对象检测工作或重新聚焦工作。
9.如权利要求7所述的拍摄方法，其中，微透镜阵列被划分为重复排列的多个微透镜组， 其中，多个微透镜根据预设颜色图案被排列在所述多个微透镜组中的每一组中，其中，分别从至少红色(R)、蓝色(B)、绿色(G)、青色(C)、黄色(Y)、白色(W)和翠绿色(E)选择的颜色被分别分配给所述多个微透镜。
10.如权利要求7所述的拍摄方法，其中，颜色涂层被形成在所述多个微透镜的表面上， 其中，颜色涂层的颜色按照预设图案重复。
【文档编号】G03B17/12GK103945115SQ201410030528
【公开日】2014年7月23日 申请日期:2014年1月22日 优先权日:2013年1月22日
【发明者】李太熙, 斯捷潘·图莱克, 韩熙喆 申请人:三星电子株式会社