专利名称：摄像设备及其制造方法、图像处理装置及图像处理方法
技术领域：
本发明涉及具有多个摄像单元的摄像设备。
背景技术：
提出了在拍摄照片之后改变照片图像的聚焦、光圈、变焦倍率等的方法。例如，"High performance imaging using large camera arrays" ,ACM Transactions onGraphics-Proceedings of ACM SIGGRAPH 2005中公开了如下技术根据由包括深景较深的多个小型照相机的多镜头照相机拍摄的图像数据，来生成景深较浅的图像数据。当在这种多镜头照相机中进行变焦处理时，最简单的方式是分别向各小型照相机提供变焦光学系统。然而，向各小型照相机提供变焦光学系统是非常昂贵的。另一方面，日本专利特开第2005-109623号公报公开了如下方法通过使用包括分别具有不同视角的多个单焦点照相机的多镜头照相机并根据视角切换要使用的图像，来省略使用光学系统的变焦并且实现廉价的变焦处理。换句话说，根据日本专利特开第2005-109623号公报中的技术，具有不同视角的多个照相机可以被视为单个变焦照相机。然而，事实证明，照相机的聚光能力针对各视角而不同。在该情况下，存在如下问题在通过匹配曝光时间而不考虑视角来拍摄照片时，亮度或噪声量在各视角之间不同。此夕卜，如果针对各视角改变曝光时间以匹配亮度，则存在如下问题可能发生照相机抖动或运动抖动，或由于曝光时间不同而本来就无法在其他变焦中获取期望的照片，因此实际上在拍摄之后无法进行变焦处理。
发明内容
根据本发明的摄像设备具有多个摄像单元，并且在所述多个摄像单元中，具有第一视角的一个或多个摄像单元的数量大于具有比所述第一视角更宽的视角的一个或多个摄像单元的数量。根据本发明，在针对拍摄后的照片图像改变变焦倍率时，能够减小对噪声量和曝光时间的敏感性。通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
图1示出了本发明的第一实施例中的摄像设备的示例性外观；图2是示出本发明的实施例中的摄像设备的示例性结构的框图；图3是示出本发明的实施例中的摄像单元的示例性结构的框图；图4是示出本发明的第一实施例中的示例性摄像操作的流程图；图5是示出本发明的第一实施例中的在拍摄后改变变焦的示例性处理的流程图；图6A和图6B是本发明的第一实施例中的图像合成的概念的说明图；图7示出了本发明的第一实施例中的示例性图像合成；
图8示出了本发明的第二实施例中的摄像设备的示例性外观；图9是示出本发明的第二实施例中的在改变摄像单元的设置时的示例性操作的流程图；图10示出了本发明的第二实施例中的摄像参数计算处理的示例性数据流；图11示出了本发明的第三实施例中的摄像设备的示例性外观；图12示出了本发明的第三实施例中的各摄像单元的视角与输出图像视角之间的不例性关系；图13示出了本发明的第四实施例中的摄像设备的示例性外观；图14是示出本发明的第四实施例中的摄像设备的示例性结构的框图；图15是示出本发明的第四实施例中的摄像单元的示例性结构的框图；图16是示出本发明的第四实施例中的示例性摄像操作的流程图；图17是示出本发明的第四实施例中的在拍摄后改变变焦的示例性处理的流程图；图18A至图18C示出了视角与光瞳(pupil)之间的示例性关系；图19示出了针对照相机阵列的各视角的光瞳的示例性有效尺寸；图20示出了本发明的第四实施例所适用的摄像单元的示例性配置；以及
图21示出了本发明的第一实施例中的摄像单元的示例性配置。
具体实施例方式[第一实施例]首先，将描述实施例1的概要。实施例1涉及例如通过提供比广角摄像单元更多的望远摄像单元来调整由各摄像单元拍摄的各视角的图像数据的亮度的平衡。〈摄像设备的结构〉图1示出了实施例1的摄像设备100的整体外观。图1所示的摄像设备100是在前面(被摄体侧)具有61个摄像单元101至161的所谓的照相机阵列(被称为照相机阵列系统、多镜头照相机等)。图1所示的摄像单元101至161的不同阴影线表示如下所述的不同的视角。摄像装置100还具有闪光灯162和拍摄按钮163。此外，虽然图1中未示出，但摄像设备100在其背面具有操作单元和显示单元等。虽然以下在本实施例中将描述具有61个摄像单元的情况，但是摄像单元的数量不限于61，而只要是三个或更多个摄像单元即可。准备三个或更多个摄像单元的原因是例如在存在具有两种类型的视角的摄像单元的情况下，提供比具有一种视角的摄像单元的数量更多的具有另一种视角的摄像单元。此外，需要配置多个摄像单元，使得它们能够在大致相同的时间对相同被摄体或大致相同的区域拍照。术语“大致相同的区域”和“大致相同的时间”表示例如当对由多个摄像单元拍摄的图像数据进行合成时，获取与由其他摄像单元拍摄的图像数据类似的图像的范围。如图1所示，虽然优选的是摄像单元被配置在相同平面上，并且摄像单元的光轴平行以便于进行图像处理，但是本实施例并不限于这种配置。以下将进一步描述根据本实施例的摄像单元的结构和配置的详情。图2是示出摄像设备100的示例性结构的框图。CPU 201使用RAM202作为工作存储器以执行在ROM 203中存储的OS和各种程序。此外，CPU 201经由系统总线200控制摄像设备100的各组件。RAM 202存储作为表示摄像单元101至161的状态(诸如表示摄像光学系统的控制结果的焦点设置和光圈设置等)的信息的摄像参数等。ROM 203存储表示摄像单元101至161的相对位置关系和各摄像单元的摄像元件的像素间距、光能的接收效率、以及摄像单元可以拍摄图像的视角(立体角)的照相机设计参数等。虽然未示出，但摄像单元的照相机设计参数可以分别存储在摄像单元101至161的ROM中。CPU 201控制计算机图形(CG)生成单元207和显示控制单元204以在监视器213上显示用户界面(UI)。此外，CPU 201经由拍摄按钮163和操作单元164接收用户指令。然后，CPU 201可以根据用户指令设置摄像时的拍摄条件，诸如被摄体距离、焦距、光圈、曝光时间及闪光灯的发光。此外，CPU 201可以根据用户指令指示摄像并进行所拍摄的图像的显示设置。CG生成单元207生成用于实现的UI的诸如字符和图形的数据。当在用户指示进行拍摄时，CPU 201从光学系统控制方法生成单元209获取与用户指令相对应的光学系统的控制方法。接下来，CPU 201基于所获取的光学系统控制方法指示光学系统控制单元210进行摄像。当接收到摄像指令时，光学系统控制单元210进行诸如聚焦、调节光圈、打开或关闭快门等的摄像光学系统的控制。此外，光学系统控制单元210将作为表示摄像单元101至161的状态(诸如表示摄像光学系统的控制结果的焦点设置和光圈设置等)的信息的摄像参数存储在RAM 202中。取代通过单个光学系统控制单元210控制各摄像单元101到161的摄像光学系统，各摄像单元101到161可以设置有能够与CPU 201通信的光学系统控制单元。摄像单元101至161分别通过诸如CXD或CMOS的成像传感器307来接收来自被摄体的光。以下将参照图3描述详情。摄像单元101至161暂时将通过对从成像传感器307输出的模拟信号进行模数(A/D)转换所产生的拍摄数据(以下被称为RAW数据)保留在摄像单元101至161内的缓冲存储器中。在缓冲存储器中保留的RAW数据在CPU 201的控制下依次存储在RA M 202的预定区域中。数字信号处理单元208进行根据存储在RAM 202的预定区域中的多个RAW数据(以下被称为RAW数据集)生成图像数据的显影处理。此外，数字信号处理单元208将RAW数据集和生成的图像数据存储在RAM202中的预定区域中。显影处理包括合成多个RAW数据的合成处理、去马赛克处理、白平衡处理、伽马处理以及噪声降低处理。此外，数字信号处理单元208可以进行改变拍摄后的图像数据的变焦倍率并且生成改变后的图像数据的处理。生成的图像数据添加有表示焦距、变焦倍率、景深等的显影处理时的参数(以下被称为图像生成参数)。例如，基于由用户指定的值生成图像生成参数。此外，例如初始设置值可以被用作在首次显影时的图像生成参数。此外，虽然至少摄像参数被添加到RAW数据集，但考虑到使用外部图像处理装置的显影处理，可以添加照相机设计参数。CPU 201控制显示控制单元204以在监视器213上显示在RAM 202中的预定区域中存储的图像数据。压缩/解压缩单元212进行将RAM 202的预定区域中存储的图像数据转换为诸如JPEG或MPEG的格式的编码处理。此外，在必要的情况下，压缩/解压缩单元212进行RAW数据集的无损压缩处理。接口(I/F) 205具有读/写诸如存储卡、USB存储器等记录介质206的功能，以及连接到有线或无线网络的功能。I/F 205根据CPU 201的指令将例如在RAM 202中存储的JPEG或MPEG格式图像数据和RAW数据集输出到外部介质或服务器设备，或者从外部记录介质或服务器设备输入各种数据。图像生成参数生成单元211生成数字信号处理单元208中的显影处理所需的图像生成参数。虽然图2所示的摄像设备100使摄像单元101至161和其他组件集成为一个单元，但摄像单元中101至161和其它组件(图像处理装置)可以被分离。在该情况下，摄像单元101至161和图像处理装置例如可以分别设置有诸如USB或IEEE 1394的串行总线I/F或诸如无线网卡的通信单元，从而经由通信单元进行控制信号的发送和接收，或数据的输入和输出。<各摄像单元的示例性结构>图3的框图示出了摄像单元101至161的示例性结构。尽管图3示出了摄像单元101的示例性结构，但其他摄像单·元102至161具有大致类似的结构。然而，摄像单元101至161的视角、焦点、光圈等的设置不需要被配置为完全相同。下面描述详情。来自被摄体的光经过聚焦透镜组301、光圈302、固定透镜组303、快门304、红外截止滤波器305以及滤色器306，从而在诸如CMOS传感器或CCD的成像传感器307上形成图像。模数转换单元308对从成像传感器307输出的模拟信号进行模数转换。缓冲器309暂时存储从模数转换单元308输出的RAW数据，并且根据CPU 201的请求将RAM数据经由系统总线200传送到RAM 202。图3所示的透镜组和光圈的配置是示例，并且可以由不同的配置替换。例如，摄像单元的一部分或全部不需要设置有用于提高诸如远心(telecentricity)的镜头性能的固定透镜组303。<摄像单元的结构及其组合>为了提供廉价的变焦功能，在本实施例中的摄像单元的视角不完全相同。例如，在图1所示的具有61个镜头的示例性照相机阵列中，摄像单元101至161的视角存在四种类型，其中摄像单元101至105、摄像单元106至113、摄像单元114至129以及摄像单元130至161分别具有相同的视角。然而，即使所有摄像单元101至161的视角相同，它们也不必具有相同尺寸的成像传感器。换句话说，即使存在不同尺寸的成像传感器，根据由摄像单元的焦距能够覆盖的距离，视角也是相同的。优选的是，具有相同视角的摄像单元具有相同数量的像素以简化图像处理。此外，假设在本实施例中，与摄像单元101至161相关的光学系统的入射光瞳( 从镜头前面看到的光圈)的尺寸被设计成大致相同。在本实施例中，摄像单元101至161被配置为针对各视角具有大致相同的的总聚光能力，从而在由具有不同视角的摄像单元拍摄的图像之中同时调节亮度、噪声及曝光时间。例如，摄像单元101至105和摄像单元106至113被配置成使得它们的总聚光能力大致相同。此外，这同样适用于其他的摄像单元组。具体来说，摄像单元101至161被配置为在由以下针对各视角的公式计算的评价值&(j是视角的指数)方面具有大致相同的总聚光能力。Ej = Nj Ω j式(I)这里，Nj是具有视角j的摄像单元的数量。Ω」是具有视角j的摄像单元进行摄像的区域的立体角。虽然期望直接测量立体角Ω」，但可以通过以下的公式计算。
权利要求
1.一种包括多个摄像单元的摄像设备，其中， 在所述多个摄像单元之中，具有第一视角的一个或多个摄像单元的数量大于具有比所述第一视角更宽的视角的一个或多个摄像单元的数量。
2.根据权利要求1所述的摄像设备，其中，在所述多个摄像单元之中，由具有第一视角的一个或多个摄像单元总共接收的光量大致等于由具有作为另一视角的第二视角的一个或多个摄像单元总共接收的光量。
3.一种包括生成单元的图像处理装置，所述生成单元被配置为通过合成从多个摄像单元获得的拍摄数据来生成图像数据，其中， 在所述多个摄像单元之中，具有第一视角的一个或多个摄像单元的数量大于具有比所述第一视角更宽的视角的一个或多个摄像单元的数量。
4.根据权利要求3所述的图像处理装置，其中，在所述多个摄像单元之中，由从具有第一视角的一个或多个摄像单元获得的拍摄数据总共接收的光量大致等于由从具有作为另一视角的第二视角的一个或多个摄像单元获得的拍摄数据总共接收的光量。
5.一种包括多个摄像单元的摄像设备，其中， 在所述多个摄像单元之中，由具有第一视角的一个或多个摄像单元总共接收的光量大致等于由具有作为另一视角的第二视角的一个或多个摄像单元总共接收的光量。
6.根据权利要求5所述的摄像设备，所述摄像设备还包括 摄像参数获取单元，其被配置为获取与接收的光量相关的各摄像单元中的摄像参数；以及 控制单元，其被配置为进行控制，以通过改变所获取的、具有所述第一视角的摄像单元中的摄像参数，使得由具有所述第一视角的摄像单元总共接收的光量大致等于由具有所述第二视角的摄像单元总共接收的光量。
7.根据权利要求6所述的摄像设备，其中，在改变具有所述第二视角的摄像单元中的摄像参数的情况下，由所述控制单元进行所述控制。
8.根据权利要求6所述的摄像设备，其中，所述摄像参数包括表示光圈和焦点的值中的至少一个。
9.一种包括生成单元的图像处理装置，所述生成单元被配置为通过合成从多个摄像单元获得的拍摄数据来生成图像数据，其中， 在所述多个摄像单元中，由从具有第一视角的一个或多个摄像单元获得的拍摄数据总共接收的光量大致等于由从具有作为另一视角的第二视角的一个或多个摄像单元获得的拍摄数据总共接收的光量。
10.根据权利要求9所述的图像处理装置，所述图像处理装置还包括 摄像参数获取单元，其被配置为获取与接收的光量相关的各摄像单元中的摄像参数；以及 控制单元，其被配置为进行控制，以通过改变所获取的、具有所述第一视角的摄像单元中的摄像参数，使得在所述多个摄像单元之中，由从具有所述第一视角的一个或多个摄像单元获得的拍摄数据总共接收的光量大致等于由从具有作为另一视角的第二视角的一个或多个摄像单元获得的拍摄数据总共接收的光量。
11.根据权利要求10所述的图像处理装置，其中，在改变具有所述第二视角的摄像单元中的摄像参数的情况下，由所述控制单元进行所述控制。
12.根据权利要求10所述的图像处理装置，其中，所述摄像参数包括表示光圈和焦点的值中的至少一个。
13.一种图像处理装置，所述图像处理装置包括 拍摄数据获取单元，其被配置为获取从多个摄像单元获得的多个拍摄数据； 选择单元，其被配置为从所获取的多个拍摄数据中选择第一拍摄数据集，使得由拍摄了所获取的第一拍摄数据集的摄像单元总共接收的光量大致等于拍摄了与所述第一拍摄数据集不同的第二拍摄数据集的摄像单元总共接收的光量；以及 生成单元，其被配置为通过合成所选择的第一拍摄数据集的拍摄数据来生成图像数据。
14.一种包括生成步骤的图像处理方法，所述生成步骤通过合成从多个摄像单元获得的拍摄数据来生成图像数据，其中， 在所述多个摄像单元之中，具有第一视角的一个或多个摄像单元的数量大于具有比所述第一视角更宽的视角的一个或多个摄像单元的数量。
15.一种包括生成步骤的图像处理方法，所述生成步骤通过合成从多个摄像单元获得的拍摄数据来生成图像数据，其中， 在所述多个摄像单元之中，由从具有第一视角的一个或多个摄像单元获得的拍摄数据总共接收的光量大致等于由从具有作为另一视角的第二视角的一个或多个摄像单元获得的拍摄数据总共接收的光量。
16.一种图像处理方法，所述图像处理方法包括以下步骤 获取从多个摄像单元获得的多个拍摄数据； 从所获取的多个拍摄数据中选择第一拍摄数据集，使得由拍摄了所获取的第一拍摄数据集的摄像单元总共接收的光量大致等于拍摄了与所述第一拍摄数据集不同的第二拍摄数据集的摄像单元总共接收的光量；以及 通过合成所选择的第一拍摄数据集的拍摄数据来生成图像数据。
17.一种具有多个摄像单元的摄像设备的制造方法，其中， 在所述多个摄像单元之中，具有第一视角的一个或多个摄像单元的数量大于具有比所述第一视角更宽的视角的一个或多个摄像单元的数量。
18.一种具有多个摄像单元的摄像设备的制造方法，其中， 在所述多个摄像单元之中，由具有第一视角的一个或多个摄像单元总共接收的光量大致等于由具有作为另一视角的第二视角的一个或多个摄像单元总共接收的光量。
19.一种包括多个摄像单元的摄像设备，其中， 所述多个摄像单元被配置为使得在所述摄像单元之中，由具有第一视角的一个或多个第一摄像单元组构成的光瞳直径大于由具有比所述第一视角更宽的第二视角的一个或多个第二摄像单元组构成的光瞳直径。
20.根据权利要求19所述的摄像设备，其中，所述多个摄像单元被设置为圆形。
21.根据权利要求19所述的摄像设备，其中，所述多个摄像单元被设置为多边形。
22.根据权利要求20所述的摄像设备，其中，所述多个摄像单元被设置为使得互相关系数变小。
23.根据权利要求19所述的摄像设备，所述摄像设备还包括合成单元，该合成单元被配置为合成由所述多个摄像单元拍摄的多个拍摄数据。
24.一种包括多个摄像单元的摄像设备，其中， 所述多个摄像单元被配置为使得在所述摄像单元之中，由具有第一视角的一个或多个第一摄像单元组构成的光瞳直径小于由具有比所述第一视角更窄的第二视角的一个或多个第二摄像单元组构成的光瞳直径。
25.一种包括多个摄像单元的摄像设备，其中， 在所述摄像单元之中，具有第一视角的一个或多个第一摄像单元组被设置在比具有比所述第一视角更宽的第二视角的一个或多个第二摄像单元组更宽的区域中。
26.—种包括多个摄像单元的摄像设备，其中， 在所述摄像单元之中，具有第一视角的一个或多个第一摄像单元组被设置在比具有比所述第一视角更窄的第二视角的一个或多个第二摄像单元组更窄的区域中。
27.一种包括多个摄像单元的摄像设备，其中， 在所述摄像单元之中，所述多个摄像单元被设置为使得距具有第一视角的一个或多个第一摄像单元组的重心的标准偏差大于距具有比所述第一视角更宽的第二视角的一个或多个第二摄像单元组的重心的标准偏差。
28.—种包括多个摄像单元的摄像设备，其中， 在所述摄像单元之中，所述多个摄像单元被设置为使得距具有第一视角的一个或多个第一摄像单元组的重心的标准偏差小于距具有比所述第一视角更窄的第二视角的一个或多个第二摄像单元组的重心的标准偏差。
全文摘要
本发明提供摄像设备及其制造方法、图像处理装置及图像处理方法。如果在拍摄后改变图像的变焦倍率，则由于照相机的聚光能力的差异而无法在视角之间匹配亮度、噪声量及曝光时间。在多个摄像单元之中，具有第一视角的一个或多个摄像单元(130至161)的数量大于具有比所述第一视角更宽的视角的一个或多个摄像单元(101至105)的数量。此外，由具有第一视角的一个或多个摄像单元(130至161)总共接收的光量大致等于由具有第二视角的一个或多个摄像单元(101至105)总共接收的光量。
文档编号G03B19/07GK103051833SQ201210388219
公开日2013年4月17日 申请日期2012年10月12日 优先权日2011年10月12日
发明者矢幡和浩 申请人:佳能株式会社