图像处理设备、拍摄控制方法和程序的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求享有于2013年2月20日提交的日本优先权专利申请JP 2013-031376 的权益，其全部内容通过引用并入本文。
技术领域
[0003] 本技术涉及图像处理设备、拍摄控制方法和程序，并且更具体地涉及能够获得较 高质量图像的图像处理设备、拍摄控制方法和程序。
【背景技术】
[0004] 以往，已知安装有两个相机的成像设备。一些成像设备可以同时用两个相机拍摄 图像。
[0005] 例如，作为所述成像设备，已经提出执行如下控制的成像设备：成像被配置为当试 图用主相机对被摄体进行成像时用主相机来执行，并且改变用子相机成像的拍摄者的表示 (例如，参见专利文献1)。
[0006] 引用列表
[0007] 专利文献
[0008] 专利文献1:日本未经审查的专利申请公开第2010-11253号
【发明内容】
[0009] 技术问题
[0010] 然而，在上述技术中，由主相机基于用子相机获得的图像来控制拍摄定时。因此， 不能获得诸如具有较高锐度的图像或较接近拍摄者的视点的图像这样的较高质量图像。
[0011] 期望提供能够获得较高质量图像的技术。
[0012] 解决问题的技术方案
[0013] 根据一方面，本公开涉及一种包括电路的信息处理系统，所述电路被配置为：获取 由被布置在壳体的第一侧的第一相机单元所捕获的第一图像数据；获取由布置在与壳体的 第一侧相对的壳体的第二侧的第二相机单元所捕获的第二图像数据；以及基于第一图像数 据来修改第二图像数据。
[0014] 可以在由第二相机单元捕获第二图像数据的基本相同时间由第一相机单元捕获 第一图像数据。
[0015] 所述电路可以被配置为通过基于第一图像数据对第二图像数据进行模糊校正来 修改第二图像数据。
[0016] 所述电路可以被配置为：基于第一图像数据来生成第一运动信息；基于第二图像 数据来生成第二运动信息；以及通过基于第一运动信息和第二运动信息对第二图像数据进 行模糊校正来修改第二图像数据。
[0017] 所述电路可以被配置为：通过基于第一图像数据控制与第二图像数据对应的图像 捕获角度来修改第二图像数据。
[0018] 所述电路可以被配置为通过改变第二相机单元的缩放比率、改变第二相机单元的 光圈、改变第二相机单元的朝向以及对第二图像数据进行图像变形中的至少一个来控制与 第二图像数据对应的图像捕获角度。
[0019] 所述电路可以被配置为：向显示器输出第二图像数据；基于第一图像数据来检测 用户在显示器上的注视位置；以及通过基于所检测到的用户在显示器上的注视位置控制第 二相机单元的图像捕获参数来修改第二图像数据。
[0020] 所述电路可以被配置为通过将第一图像数据和第二图像数据合成来修改第二图 像数据。
[0021] 所述电路可以被配置为：获取与第一图像数据对应的第一白平衡值；获取与第二 图像数据对应的第二白平衡值；以及基于第一白平衡值和第二白平衡值来控制光源发射 光。
[0022] 所述电路可以被配置为：获取在光源发射光的同时由第一相机单元所捕获的第三 图像数据；以及通过将第三图像数据和第二图像数据合成来修改第二图像数据。
[0023] 根据另一方面，本公开涉及一种信息处理方法，其包括：获取由布置在壳体的第一 侧的第一相机单元所捕获的第一图像；获取由布置在与壳体的第一侧相对的壳体的第二侧 的第二相机单元所捕获的第二图像数据；以及基于第一图像数据来修改第二图像数据。
[0024] 根据另一方面，本公开涉及一种包括计算机程序指令的非暂态计算机可读介质， 所述计算机程序指令在被信息处理系统执行时使该系统：获取由被布置在壳体的第一侧的 第一相机单元所捕获的第一图像数据；获取由布置在与壳体的第一侧相对的壳体的第二侧 的第二相机单元所捕获的第二图像数据；以及基于第一图像数据来修改第二图像数据。
[0025] 发明的有益效果
[0026] 根据本技术的实施例，可以获得较高质量图像。
【附图说明】
[0027] 图1是例示图像处理设备的外观的配置示例的图。
[0028] 图2是例示图像处理设备的配置示例的图。
[0029] 图3是例示信号处理单元的配置示例的图。
[0030] 图4是描述拍摄处理的流程图。
[0031] 图5是描述运动信息的图。
[0032] 图6是描述运动信息的图。
[0033] 图7是描述相机模糊校正的图。
[0034] 图8是例示图像处理设备的配置示例的图。
[0035] 图9是描述拍摄处理的流程图。
[0036] 图10是描述视场角调整的图。
[0037] 图11是例示信号处理单元的配置示例的图。
[0038] 图12是描述拍摄处理的流程图。
[0039] 图13是描述视场角调整的图。
[0040] 图14是描述焦点调整的图。
[0041] 图15是例示信号处理单元的配置示例的图。
[0042] 图16是描述拍摄处理的流程图。
[0043] 图17是描述光源匹配的图。
[0044] 图18是例示信号处理单元的配置示例的图。
[0045] 图19是描述拍摄处理的流程图。
[0046] 图20是例示图像处理设备的外观的配置示例的图。
[0047] 图21是例示图像处理设备的配置示例的图。
[0048] 图22是描述拍摄处理的流程图。
[0049] 图23是描述拍摄处理的流程图。
[0050] 图24是例示计算机的配置示例的图。
【具体实施方式】
[0051] 以下将参照附图来描述应用本技术的实施例。
[0052] 第一实施例
[0053] 本技术的实施例的概览
[0054] 本技术的实施例涉及包括多个成像单元的设备，诸如多功能型移动电话或数字相 机，所述设备可以沿彼此不同的方向拍摄图像并且在主成像单元拍摄图像时基于从由另一 成像单元所拍摄的图像获得的信息来进行拍摄控制。
[0055] 这里进行的拍摄控制是用于与要拍摄的图像有关的调整的控制，例如驱动对成像 单元的控制，诸如图像视图调整、或者对被摄体的照明、或者诸如相机模糊校正或白平衡调 整这样的对图像的图像质量调整。假设拍摄控制包括控制执行图像处理直至在拍摄图像以 获得用于记录的最终图像之后记录图像。在本技术的实施例中，较高质量图像可以通过进 行这样的拍摄控制来获得。
[0056] 图1是例示应用本技术的实施例的诸如多功能移动电话这样的图像处理设备的 外观的配置示例的图。
[0057] 在图1中，由箭头All所指示的图像处理设备11的外观是前表面侧，即当用户持 有图像处理设备11以进行操作时从用户所观看的外观侧。由箭头A12所指示的图像处理 设备11的外观是侧表面侧，即当从由图中的箭头All所旨示的图像处理设备11的左侧或 右侧观看时的外观侧。由箭头A13所指示的图像处理设备11的外观是后表面侧，即前表面 侧的相对表面侧的外观。
[0058] 如箭头All所指示，显示图像等的显示单元21安装在图像处理设备11的前表面 侦k用户用以进行输入操作的触摸面板被安装以叠加在显示单元21上。在显示单元21位 于图像处理设备11的前表面上的图中，在上侧还安装有拍摄存在于图像处理设备11的前 表面侧的方向上的被摄体的内图像捕获单元22。因此，在大多数情况下，由内图像捕获单元 22所拍摄的图像是操作图像处理设备11的用户的图像。以下，由内图像捕获单元22所拍 摄的图像被称为内图像（in-image)。将假设拍摄用户的图像作为内图像来继续进行描述。
[0059] 如箭头A13所指示，拍摄存在于图像处理设备11的后表面侧的方向上的被摄体的 外图像捕获单元23安装在图像处理设备11的后表面上。在该示例中，安装外图像捕获单 元23以拍摄内图像捕获单元22的拍摄方向的相对方向上的图像。然而，内图像捕获单元 22和外图像捕获单元23可以被布置为使得拍摄方向彼此不同。
[0060]由外图像捕获单元23所拍摄的图像通常是用户所观看的风景、人类等的图像，即 用户认为期望拍摄的被摄体的图像。以下，由外图像捕获单元23所拍摄的图像被称为外图 像（out-image)〇
[0061]图像处理设备11在拍摄外图像时拍摄内图像以及外图像，并且进行拍摄控制以 通过使用内图像除去外图像的相机抖动分量来获得具有较高锐度的外图像。即，执行相机 模糊校正作为对外图像的拍摄控制。在该实施例中，假设拍摄运动图像作为外图像和内图 像。
[0062](图像处理设备的配置示例1)
[0063] 接下来，将描述图像处理设备11的更详细的配置。
[0064] 图2是例示图像处理设备11的更详细的配置示例的框图。在图2中，对与图1中 的构成元件相对应的构成元件给出相同的标记，并且将适当地省略其描述。
[0065]在图2中所例示的图像处理设备11包括显示单元21、内图像捕获单元22、外图像 捕获单元23、操作输入单元51、控制单元52、信号处理单元53以及记录单元54。
[0066] 例如，操作输入单元51由叠加在显示单元21上的触摸面板来形成，并且根据用户 的操作向控制单元52提供信号。
[0067]控制单元52根据从操作输入单元51提供信号来控制整个图像处理设备11的处 理。例如，控制单元52指示内图像捕获单元22或外图像捕获单元23拍摄图像，或者指示 信号处理单元53对外图像进行各种处理。控制单元52指示显示单元21显示图像，或者指 示记录单元54记录图像。
[0068] 信号处理单元53基于从外图像捕获单元23提供的外图像以及从内图像捕获单元 22提供的内图像对外图像进行相机模糊校正，并且将作为图像处理的结果所获得的外图像 提供给记录单元54以记录外图像。信号处理单元53从记录单元54读取外图像，并且向显 示单元21提供外图像以显示外图像。
[0069]记录单元54记录从信号处理单元53提供的外图像，并且根据需要将所记录的外 图像提供给信号处理单元53。
[0070](信号处理单元的配置示例1)
[0071] 更具体地，图2中的信号处理单元53被配置为如图3中那样。
[0072] 在图3中所例示的信号处理单元53包括运动估计单元81、运动估计单元82、合成 单元83以及相机模糊校正单元84。
[0073] 运动估计单元81通过对从外图像捕获单元23提供的外图像进行运动估计来生成 指示在外图像的拍摄时的图像处理设备11的运动的运动信息，并且将所生成的运动信息 提供给合成单元83。
[0074] 运动估计单元82通过对从内图像捕获单元22提供的内图像进行运动估计来生成 指示在内图像的拍摄时的图像处理设备11的运动的运动信息，并且将所生成的运动信息 提供给合成单元83。内图像与外图像同时地被拍摄。
[0075] 合成单元83通过合成从运动估计单元81提供的运动信息和从运动估计单元82 提供的运动信息来获得指示在外图像的拍摄时的图像处理设备11的最终运动，并且将所 获得的运动信息提供给相机模糊校正单元84。
[0076] 相机模糊校正单元84基于从合成单元83提供的运动信息对从外图像捕获单元23 提供的外图像进行相机模糊校正，并且将作为结果所获取的外图像提供给记录单元54。[0077][拍摄处理的描述1]
[0078] 这里，当用户对操作输入单元51进行操作，选择用于对外图像进行相机模糊校正 的模式，并且按照同时拍摄外图像和内图像来给出拍摄外图像的指示时，图像处理设备11 进行拍摄处理以拍摄外图像。以下，将参照图4的流程图来描述由图像处理设备11进行的 拍摄处理。
[0079] 在步骤Sll中，外图像捕获单元23响应于控制单元52的指示来拍摄外图像，并且 将外图像提供给运动估计单元81和相机模糊校正单元84。例如，拍摄诸如风景图像这样的 运动图像作为外图像。在拍摄外图像时，信号处理单元53将从外图像捕获单元23提供的 外图像提供给显示单元21，使得外图像被显示。从而，用户可以在显示单元21上确认外图 像（如有必要）的同时进行拍摄。
[0080] 在步骤S12中，内图像捕获单元22响应于控制单元52的指示来拍摄内图像，并且 将内图像提供给运动估计单元82。例如，拍摄操作图像处理设备11的用户的脸的运动图像 作为内图像。
[0081] 在步骤S13中，运动估计单元81通过对从外图像捕获单元23提供的外图像进行 运动估计来生成图像处理设备11的运动信息，并且将运动信息提供给合成单元83。
[0082] 在步骤S14中，运动估计单元82通过对从内图像捕获单元22提供的内图像进行 运动估计来生成图像处理设备11的运