信息处理设备、信息处理方法与流程

本申请要求于2013年5月22日提交的日本在先专利申请 2013-107622的权益，其全部内容并入本文以作参考。

技术领域

本公开内容涉及信息处理设备。更具体而言，本公开内容涉及处理合成图像的信息处理设备、信息处理方法以及使计算机执行这种方法的程序。

背景技术：

近年来，诸如数码相机和数码摄像机(例如，相机集成记录器)的成像设备得到普及。成像设备包括成像对象(例如，人)的成像单元，并且将成像单元生成的图像记录为图像文件。

已经提出了一种便携式终端，该终端能够组合由多个成像单元生成的图像，以沿着壳体的长边方向生成合成图像(例如，见在后文中称为专利文献1的日本专利申请公开号2011-044837(例如，图71))。此外，已经提出了一种技术，该技术将便携式终端的多个成像单元固定到单个支持物并且在便携式终端的电子基板上固定该支持物(例如，见在后文中称为专利文献2的日本专利申请公开号2012-220942)。

技术实现要素：

在相关领域的上述技术(例如，专利文献2)中，在与显示单元的长边平行的方向，从靠近该设备的壳体的三个外边缘侧边的一个侧边(该侧边与该设备的显示单元的短边平行)的中心到靠近设备中心，设置多个成像系统。

关于近年来的消费性电子设备，通常在电子基板的正面和背面上安装多个电子元件。在这种电子基板上，从壳体的外边缘到靠近设备中心设置多个成像单元的情况下，人们担心在设备的电子基板上设置除了该多个成像单元的电子元件的自由度减小。

鉴于上述情况，除了多个成像单元，期望有助于在信息处理设备的电子基板上设置沿着壳体的长边方向生成合成图像的电子元件。

根据本公开内容的第一实施方式，提供了一种信息处理设备，包括：第一光学系统，被配置为将光输入至第一成像装置；第二光学系统，被配置为将光输入至第二成像装置；以及壳体，包括长度沿特定方向的一个面，第一光学系统和第二光学系统在与特定方向几乎正交的正交方向上被排列在一个面上，第一光学系统和第二光学系统被排列为使得第一光学系统的光轴和第二光学系统的光轴在特定方向形成角度。此外，提供了一种具有这种配置的信息处理方法以及一种使计算机执行这种方法的程序。这提供了使用第一光学系统和第二光学系统来执行成像操作的效果，其中，第一光学系统和第二光学系统被排列为使第一光学系统的光轴和第二光学系统的光轴在特定方向形成角度。

而且，在第一实施方式中，壳体可包括显示单元，显示单元具有长度沿特定方向的矩形形状，将在作为包括显示单元的长边并且与显示单元的显示表面垂直的面的第一表面上的投影用作对称轴，其中，投影是显示表面的垂线在第一表面上的投影，第一光学系统的光轴在第一表面上的第一投影和第二光学系统的光轴在第一表面上的第二投影是轴对称的。这提供了使用第一光学系统和第二光学系统来执行成像操作的效果，其中，第一光学系统和第二光学系统被排列为使第一投影和第二投影关于作为对称轴的第一表面上的显示表面的垂线的投影是轴对称的。

而且，在第一实施方式中，信息处理设备可进一步包括第三光学系统，被配置为将光输入至第三成像装置，第三成像装置在所述正交方向上与第一光学系统和第二光学系统一起排列在一个面上，使得第三光学系统的光轴与显示表面正交。这提供了使用第三光学系统来执行成像操作的效果，其中，第三光学系统在正交方向上与第一光学系统和第二光学系统一起排列在一个面上，使得第三光学系统的光轴与显示表面正交。

而且，根据本公开内容的第二实施方式，提供了一种信息处理设备，包括：第一成像装置，被配置为接收通过第一光学系统的光；第二成像装置，被配置为接收通过第二光学系统的光；以及壳体，包括长度沿特定方向的一个面，第一光学系统和第二光学系统在与特定方向几乎正交的正交方向上被排列在一个面上，第一光学系统和第二光学系统被排列为使得与用作第一成像装置和第二成像装置各自的成像目标的区域相比，由用作第一成像装置的成像目标的区域和用作第二成像装置的成像目标的区域构成的成像目标区域在特定方向更大。此外，提供了一种具有这种配置的信息处理方法以及一种使计算机执行这种方法的程序。这提供了使用第一光学系统和第二光学系统来执行成像操作的效果，其中，第一光学系统和第二光学系统被排列为使得成像目标区域大于用作第一成像装置和第二成像装置中的各自的成像目标的区域。

而且，根据本公开内容的第三实施方式，提供了一种信息处理设备，包括：第一成像装置，被配置为接收通过第一光学系统的光；第二成像装置，被配置为接收通过第二光学系统的光；以及壳体，包括长度沿特定方向的一个面，第一光学系统和第二光学系统在与特定方向几乎正交的正交方向上被排列在一个面上，第一光学系统和第二光学系统被排列为使得用作第一成像装置的成像目标的区域和用作第二成像装置的成像目标的区域排列在特定方向上。此外，提供了一种具有这种配置的信息处理方法以及一种使计算机执行这种方法的程序。这提供了使用第一光学系统和第二光学系统来执行成像操作的效果，其中，第一光学系统和第二光学系统被排列为使得用作第一成像装置的成像目标的区域和用作第二成像装置的成像目标的区域排列在特定方向上。

而且，根据本公开内容的第四实施方式，提供了一种信息处理设备，包括：第一成像装置，被配置为接收通过第一光学系统的光；第二成像装置，被配置为接收通过第二光学系统的光；以及壳体，包括长度沿特定方向的一个面，第一光学系统和第二光学系统在与特定方向几乎正交的正交方向上被排列设在一个面上，第一光学系统和第二光学系统被设置为使得第一成像装置的长边方向和第二成像装置的长边方向在特定方向几乎彼此一致，并且使得与用作第一成像装置和第二成像装置各自的成像目标的区域的纵横比相比，由用作第一成像装置的成像目标的区域和用作第二成像装置的成像目标的区域构成的成像目标区域的纵横比更大。此外，提供了一种具有这种配置的信息处理方法以及一种使计算机执行这种方法的程序。这提供了使用第一成像装置和第二成像装置来执行成像操作的效果，其中，第一成像装置和第二成像装置被设置为使得第一成像装置的长边方向和第二成像装置的长边方向在特定方向几乎彼此一致，并且使得与用作第一成像装置和第二成像装置各自的成像目标的区域的纵横比相比，成像目标区域的纵横比更大。

而且，在第一到第四实施方式中，第一成像装置和第二成像装置可被排列为使得用作第一成像装置和第二成像装置中的一个成像装置的成像目标的区域在特定方向上的端部与用作与该一个成像装置相邻的另一成像装置的成像目标的区域在特定方向上的端部彼此重叠。这提供了使用第一成像装置和第二成像装置来执行成像操作的效果，其中，第一成像装置和第二成像装置被排列为使得用作第一成像装置和第二成像装置中的一个成像装置的成像目标的区域在特定方向上的端部与用作与该一个成像装置相邻的另一成像装置的成像目标的区域在特定方向上的端部彼此重叠。

而且，在第一到第四实施方式中，信息处理设备可进一步包括校正单元，被配置为根据包含在多个图像之间的重叠区域内的对象的对象距离，校正由于第一成像装置和第二成像装置在正交方向的排列造成的在从第一成像装置和第二成像装置中获得的多个图像之间在垂直方向的位移。这提供了以下效果：根据包含在多个图像之间的重叠区域内的对象的对象距离，校正在从第一成像装置和第二成像装置中获得的多个图像之间在垂直方向的位移。

而且，在第一到第四实施方式中，信息处理设备可进一步包括调整单元，被配置为根据包含在从第一成像装置和第二成像装置中获得的多个图像之间的重叠区域中的对象的对象距离，调整多个图像的至少部分区域，该至少部分区域用于通过在特定方向上彼此连结来生成合成图像。这提供了以下效果：根据包含在从第一成像装置和第二成像装置中获得的多个图像之间的重叠区域中的对象的对象距离，调整多个图像的至少部分区域，该至少部分区域用于通过在特定方向上彼此连结来生成合成图像。

而且，在第一到第四实施方式中，信息处理设备可进一步包括控制单元，被配置为如果从信息处理设备到包含在从第一成像装置和第二成像装置中获得的多个图像间的重叠区域中的特定对象的对象距离小于阈值，那么执行用于敦促改变包含在重叠区域中的对象的布置的通知或者用于指示多个图像在合成图像中位移的通知。这提供了以下效果：如果与包含在重叠区域内的特定对象相距的对象距离小于阈值，那么执行用于促使包含在重叠区域内的对象的设置发生变化的通知或者用于指示所述多个图像在合成图像内移动的通知。

而且，在第一到第四实施方式中，信息处理设备可进一步包括图像合成单元，被配置为通过使从第一成像装置和第二成像装置中获得的多个图像的至少部分区域在特定方向彼此连结来生成合成图像。这提供了以下效果：通过使从第一成像装置和第二成像装置中获得的多个图像的至少部分区域在特定方向彼此连结来生成合成图像。

而且，在第一到第四实施方式中，图像合成单元可被配置为根据包含在合成图像中的对象的对象距离，校正从第一成像装置和第二成像装置获得的多个图像间在正交方向上的位移。这提供了以下效果：根据包含在合成图像内的对象的对象距离，校正从第一成像装置和第二成像装置获得的多个图像之间在正交方向的位移。

而且，在第一到第四实施方式中，图像合成单元可被配置为根据包含在合成图像内的对象的对象距离，调整用于合成图像的、从第一成像装置和第二成像装置获得的多个图像的至少部分区域。这提供了以下效果：根据包含在合成图像内的对象的对象距离，调整用于合成图像的、从第一成像装置和第二成像装置中获得的多个图像的至少部分区域。

而且，在第一到第四实施方式中，信息处理设备可进一步包括控制单元，被配置为被配置为如果从信息处理设备到包含在合成图像中的特定对象的对象距离小于阈值，那么执行用于敦促改变包含在合成图像中的对象的布置的通知或者用于指示多个图像在合成图像内位移的通知。这提供了以下效果：如果与包含在合成图像内的特定对象相距的对象距离小于阈值，那么执行用于促使包含在合成图像内的对象的设置发生变化的通知或者用于指示多个图像在合成图像内位移的通知。

而且，在第一到第四实施方式中，特定对象可为最靠近信息处理设备的对象、由聚焦操作设置为聚焦目标的对象、由脸部检测单元检测的对象、以及由运动对象检测单元检测的对象中的至少一个。这提供了以下效果：将最靠近信息处理设备的对象、由聚焦操作设置为聚焦目标的对象、由脸部检测单元检测的对象以及由运动对象检测单元检测的对象中的至少一个用作特定对象，来进行通知。

而且，在第一到第四实施方式中，控制单元可被配置为通过来自音频输出单元的音频输出以及显示单元上的信息显示中的至少一个进行通知。这提供了以下效果：通过来自音频输出单元的音频输出以及显示单元上的信息显示中的至少一个进行通知。

而且，根据本公开内容的第五实施方式，提供了一种信息处理方法，包括：计算处理，计算包含在合成图像或合成图像的重叠区域中的对象的对象距离，通过将在特定方向上排列的多个成像单元生成的图像的端部彼此重叠和连结来生成合成图像；以及判断处理，根据对象距离，进行关于用于合成图像的图像区域的判断。此外，提供了一种使计算机执行这种方法的程序。这提供了以下效果：计算包含在合成图像的重叠区域内或者在合成图像内的对象的对象距离，并且根据对象距离，对用于合成图像的图像区域进行判断。

而且，根据本公开内容的第六实施方式，提供了一种信息处理方法，包括：计算处理，计算包含在合成图像或合成图像的重叠区域中的对象的对象距离，通过将在特定方向上排列的多个成像单元生成的图像的端部彼此重叠和连结来生成合成图像；以及判断处理，根据对象距离，进行关于包含在合成图像中的对象的布置的判断。此外，提供了一种使计算机执行这种方法的程序。这提供了以下效果：计算包含在合成图像的重叠区域内或者在合成图像内的对象的对象距离，并且根据对象距离，对包含在合成图像内的对象的设置进行判断。

根据本公开内容的实施方式，能够发挥以下优异的效果：能够便于除了沿着壳体的长边方向生成合成图像的多个成像单元以外，在信息处理设备的电子基板上排列电子元件。

如在附图中所述，根据其最佳模式实施方式的以下详细描述，本公开内容的这些和其他目标、特征以及优点更加显而易见。

附图说明

图1为示出在本公开内容的第一实施方式中的信息处理设备100的外观配置实例的示图；

图2为示出在本公开内容的第一实施方式中的信息处理设备100的成像单元的设置实例的示图；

图3为示出在本公开内容的第一实施方式中的信息处理设备100的成像单元的设置实例的示图；

图4为示出在本公开内容的第一实施方式中的信息处理设备100的成像单元的设置实例的示图；

图5为示出在本公开内容的第一实施方式中的信息处理设备100的成像单元的设置实例的示图；

图6为示出在本公开内容的第一实施方式中的信息处理设备100的内部配置实例的示图；

图7为示出在本公开内容的第一实施方式中的成像单元130的内部配置实例的示图；

图8为示出在本公开内容的第一实施方式中的DSP200的内部配置实例的方框图；

图9为示出在本公开内容的第一实施方式中的图像信号处理单元220 的内部配置实例的方框图；

图10为示出在本公开内容的第一实施方式中的成像装置的内部配置实例的示图；

图11为示出在本公开内容的第一实施方式中的信息处理设备100的功能配置实例的方框图；

图12为示意性示出由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作以及在该成像操作期间的成像区域的实例的示图；

图13为示意性示出由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作以及在该成像操作期间的成像区域的实例的示图；

图14为简单地示出由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作的示图；

图15为简单地示出在作为由本公开内容的第一实施方式中的信息处理设备100执行的成像操作的成像目标的成像区域中的重叠区域与其他区域之间的关系的实例的示图；

图16为示出在作为由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作的成像目标的成像区域中的评估值的实例的示图；

图17为简单地示出在作为由本公开内容的第一实施方式中的信息处理设备100执行的成像操作的成像目标的成像区域中的重叠区域与其他区域之间的关系的实例的示图；

图18为示出在作为由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作的成像目标的成像区域中的评估值的实例的示图；

图19为简单地示出在作为由本公开内容的第一实施方式中的信息处理设备100执行的成像操作的成像目标的成像区域中的重叠区域与其他区域之间的关系的实例的示图；

图20为示出在作为由本公开内容的第一实施方式中的信息处理设备100执行的成像操作的成像目标的成像区域中的评估值的实例的示图；

图21为简单地示出由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作的示图；

图22为简单地示出在作为由本公开内容的第一实施方式中的信息处理设备100执行的成像操作的成像目标的成像区域中的重叠区域与其他区域之间的关系的实例的示图；

图23为示出在作为由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作的成像目标的成像区域中的评估值的实例的示图；

图24为示出由本公开内容的第一实施方式中的信息处理设备100通知用户的实例的示图；

图25为示出由本公开内容的第一实施方式中的信息处理设备100通知用户的实例的示图；

图26为示出由本公开内容的第一实施方式中的信息处理设备100通知用户的一个实例的示图；

图27为示出由本公开内容的第一实施方式中的信息处理设备100进行全景图像记录控制处理的处理程序的一个实例的流程图；

图28为示出本公开内容的第二实施方式中的信息处理设备600的外观配置实例的示图；以及

图29为示出本公开内容的实施方式的变形例中的信息处理设备630 和650的外观配置实例的示图。

具体实施方式

在后文中，描述用于实现本公开内容的实施方式(在后文中称为实施方式)。按照以下顺序进行描述。

1、第一实施方式(全景图像记录控制：使用包括两个成像系统的信息处理设备来生成全景图像的实例)

2、第二实施方式(全景图像记录控制：使用包括三个成像系统的信息处理设备来生成全景图像的实例)

3、变形例

<1、第一实施方式>

【信息处理设备的外观配置实例】

图1为示出本公开内容的第一实施方式中的信息处理设备100的外观配置实例的示图。图1的部分“a”示出了信息处理设备100的顶视图。图1的部分“b”示出了信息处理设备100的前视图(设置显示单元140 的表面)。图1的部分“c”示出了信息处理设备100的后视图(设置显示单元140的表面的背面)。图1的部分“d”示出了信息处理设备100的侧视图。

例如，信息处理设备100由包括多个成像单元的信息处理设备(例如，具有多目相机的智能电话以及具有多目相机的手机)实现。要注意的是，为了进行描述，在图1的部分“a”中简化并且示出了信息处理设备100，并且省略了设置在信息处理设备100的外侧表面内的电源开关等的说明。而且，也省略对位于信息处理设备100的壳体内部的电路等的细节进行说明。

在本公开内容的第一实施方式中，图像的水平尺寸与垂直尺寸的比率定义为“纵横比”，并且描述该比率。而且，纵横比大于数字高画质图像 (高清晰度电视图像)的纵横比(16:9)的图像被定义为“全景图像”，并且描述该图像。

在本公开内容的第一实施方式中，在描述“图像”时，涉及图像本身以及用于显示图像的图像数据这两种意义。

信息处理设备100包括确定键111、成像单元130以及显示单元140。

在本公开内容的第一实施方式中，多个成像系统(成像单元130)排列为与信息处理设备100的壳体的短边平行。而且，多个成像系统(成像单元130)的每个成像装置的长边设置为与信息处理设备100的壳体的长边平行。而且，多个成像系统(成像单元130)设置为尽可能靠近信息处理设备100的显示单元140的短边以及信息处理设备100的壳体的短边的外边缘。信息处理设备100的壳体的短边表示在壳体侧边之中除了最长边以外的侧边。在多个成像系统(成像单元130)与壳体的短边的外边缘之间，较为有利地是，未设置执行除了图像捕捉功能和图像显示功能以外的功能的电子基板(或者主要执行除了图像捕捉功能以外的功能的电子基板)。否则，较为有利地是，将位于多个成像系统(成像单元130)与壳体的短边的外边缘之间的电子基板的面积设为设置在信息处理设备100中并且执行除了图像捕捉功能和图像显示功能以外的功能的电子基板的面积的1/2或以下。

关于近年来的消费性电子设备，通常在电子基板的正面和背面上安装多个电子元件。有鉴于此，假设多个成像系统和其他电子元件设置在电子基板上的情况。例如，假设从设备的壳体的外边缘到靠近设备中心设置多个成像系统(例如，多个成像系统设置为与壳体的长边平行)的设备(例如，具有照相机的手机)。换言之，该设备是包括具有近矩形平行六面体形状的壳体的设备，其中，在与显示单元的长边平行的方向，从靠近该设备的壳体的三个外边缘侧边的一个侧边(其与该设备的显示单元的短边平行)的中心到靠近设备中心，设置多个成像系统。例如，在这种设备的电子基板上，从壳体的外边缘到靠近设备中心，设置多个成像单元的情况下，人们担心与在设备的电子基板上设置多个成像单元以外的电子元件的自由度减小。例如，在从壳体的外边缘到靠近设备中心设置多个成像系统的情况下，要设置其他电子元件的区域被多个成像系统分成左右小区域。这样做，人们担心安装在电子基板上的电子元件之中的具有较大外部面积的电子元件(例如，半导体装置)的设置自由度减小。而且，电子元件分离地设置在左右两个小区域中，因此，在这些电子元件之间的配线变得复杂。这样做，人们担心进一步限制电子元件的设置。与此相反，在本公开内容的第一实施方式中，多个成像系统(成像单元130)设置为与信息处理设备100的壳体的短边平行并且靠近外边缘。这样做，在信息处理设备100 的电子基板中，尽可能防止多个成像系统设置为从电子基板的外边缘延伸到中心附近。而且，可能改进在信息处理设备100的电子基板上设置多个成像系统以外的电子元件的自由度。

确定键111是用户为了设置各种功能而按压的操作部件。例如，在静态图像捕捉模式中按压确定键111时，确定键用作快门按钮。

要注意的是，根据用户操作或者自动地在显示单元140上适当地显示数字小键盘或箭头键。然后，所显示的数字小键盘或箭头键可由用户操作。

成像单元130用于将对象成像并且生成图像数据。要注意的是，在本公开内容的第一实施方式中，多个成像单元(多个成像系统)统称为成像单元130，并且对其进行描述。而且，由成像单元130生成图像数据，包括由成像单元130进行成像的意思。要注意的是，在图1的部分“b”中示出的成像单元130中的圆圈示意性表示成像单元130的多个成像系统的透镜。即，在本公开内容的第一实施方式中，显示单元140的长边方向设为特定方向，并且在与该特定方向几乎垂直的垂直方向设置两个透镜组的成像单元130作为实例进行描述。要注意的是，为了进行描述，简化并且显示构成在图1的部分“a”中显示的成像单元130的部分。

而且，如在图1的部分“a”中所示，假设这两个透镜组(光学系统 131和132)的光轴在一个点处交叉。例如，构成成像单元130的这两个成像系统(光学系统131和132以及成像装置133和134)的光轴称为光轴193和194。在这种情况下，由光轴193以及与显示单元140的显示表面垂直(或者几乎垂直)的法线195构成的角度由θ1表示，并且由光轴 194以及法线195构成的角度由θ1表示。即，这两个成像系统(光学系统 131和132以及成像装置133和134)被设置为使这两个成像系统(光学系统131和132以及成像装置133和134)的光轴193和194相对于法线 195轴对称。

而且，这两个透镜组(光学系统131和132)中的各自的成像范围由θ表示。而且，这两个透镜组(光学系统131和132)被设置为使在显示单元140的长边方向(特定方向)的成像范围的至少一部分与所述另一个成像范围重叠。

通过这种方式，构成成像单元130的这两个成像系统(光学系统131 和132以及成像装置133和134)被设置为使光轴在显示单元140的长边方向(特定方向)形成某个角度(2*θ1)。光轴在特定方向形成某个角度，这表示进行设置，以便由光轴形成的角度是在特定方向的预定角度 (2*θ1)。换言之，这表示这两个成像系统被设置为使由这两个成像系统 (光学系统131和132以及成像装置133和134)的光轴193和194形成的角度是特定方向的预定角度(2*θ1)。而且，构成成像单元130的这两个成像系统(光学系统131和132以及成像装置133和134)被设置为使具有矩形的成像装置133和134的长边与信息处理设备100的壳体的纵向平行。这样做，这两个成像系统中的每个生成的图像的长边是信息处理设备100的壳体的纵向。

而且，在从设置显示单元140的表面(正面)中在用作成像目标的对象的方向观看时，由光学系统131和成像装置133构成的左成像系统将大部分位于在图1的部分“a”中显示的法线195的左手边的对象成像为左图像。同时，由光学系统132和成像装置134构成的右成像系统将大部分位于在图1的部分“a”中显示的法线195的右手边的对象成像为右图像。而且，这两个成像系统(光学系统131和132以及成像装置133和134) 被设置为使在由这两个成像系统(光学系统131和132以及成像装置133 和134)生成的两个图像(左图像和右图像)之间形成重叠区域。要注意的是，在这两个图像(左图像和右图像)之间的重叠区域例如为图15的部分“a”中显示的重叠区域H2。此外，图1示出了以下实例，其中，在图1的部分“d”中显示的上下方向以两级设置这两个成像系统时，左成像系统(光学系统131以及成像装置133)在上下方向中被设置在下级，并且右成像系统(光学系统132以及成像装置134)在上下方向中被设置在上级。

在图1的部分“a”中显示的角度θ1小于θ的50％，这较为有利。而且，在图15中所示的重叠区域H2在水平方向(成像装置的长边方向)的面积小于作为一个成像装置的成像目标的面积(在图15所示的H1+H2) 的50％，这较为有利。因此，由作为多个成像装置的成像目标的区域构成的成像目标区域可比作为所述一个成像装置的成像目标的区域大50％或以上的量。而且，以由作为多个成像装置的成像目标的区域构成的成像目标区域的纵横比可获得的全景图像的尺寸比以作为所述一个成像装置的成像目标的区域的纵横比的全景图像的尺寸大50％或以上的量。

通过这种方式，信息处理设备100包括将光输入至成像装置133的光学系统131以及将光输入至成像装置134的光学系统132。信息处理设备 100包括接收通过光学系统131的光的成像装置133以及接收通过光学系统132的光的成像装置134。信息处理设备100包括壳体，该壳体包括纵向为特定方向的一个面。该壳体包括在与特定方向几乎垂直的垂直方向设置在该一个面内的光学系统131和光学系统132。该壳体包括纵向为该特定方向的矩形的显示单元140。

而且，光学系统131和光学系统132被设置为使光学系统131的光轴 193和光学系统132的光轴194在特定方向形成角度(θ1*2)。在包括显示单元140的长边并且与显示单元140的显示表面垂直的面(第一面)上的投影设为对称轴，该投影是显示单元140的显示表面的法线在第一面上的投影。在这种情况下，光学系统131的光轴193在第一面上的第一投影与光学系统132的光轴194在第一面上的第二投影轴对称。

【成像单元的设置实例】

图2到图5都为示出在本公开内容的第一实施方式中的信息处理设备 100的成像单元的设置实例的示图。

图2的部分“a”示出了在其光轴上观看由一个光学系统(透镜组) 801和一个成像装置802构成一个成像系统时的平面图。要注意的是，光学系统801和成像装置802与图1中所示的光学系统131和成像装置133 以及光学系统132和成像装置134对应。

而且，在图2的部分“a”中所示的透镜的直径M是表示在构成光学系统801的透镜组中设置在最外侧的透镜的直径的值。成像装置的长边的长度H是表示成像装置802的长边的长度的值。成像装置的短边的长度V 是表示成像装置802的短边的长度的值。

图2的部分“b”示出了在与光轴803垂直的方向(与成像装置802 的长边方向垂直的方向)观看一个成像系统(光学系统801和成像装置 802)时的示图。要注意的是，为了进行描述，图2的部分“b”代表性地仅仅示出了作为光学系统801的三个透镜。

进一步简化在图2的部分“b”中所示的光学系统801，在图2的部分“c”中，由单个透镜示意性显示光学系统801。简化光学系统，在图2 的部分“d”和“e”和图3到图5中，也由单个透镜示意性显示该光学系统。

图2的部分“d”示出了在以下情况下的示图：设置在图2的部分“c”中所示的成像系统(光学系统801和成像装置802)，以便光轴803相对于某个参考表面DL成角度θ2。要注意的是，在图1的部分“a”中所示的角度θ2和角度θ1具有θ2＝π/2-θ1关系。

在图2的部分“d”中，可通过M*cos(π/2-θ2)计算透镜的直径M 在参考表面DL上的投影的长度M1。而且，可通过H*cos(π/2-θ2)计算成像装置的长边的长度H在参考表面DL上的投影的长度H1。

图2的部分“e”示出了从直接朝着参考表面DL的位置观看图2的部分“d”中投射在参考表面DL上的光学系统801和成像装置802的示图。

如在图2的部分“e”中所示，光学系统(透镜组)801在投影表面上变成椭圆形。而且，如在图2的部分“e”中所示，在投影表面上，成像装置802的长边的长度与短边的长度的比率变小。同时，成像装置802 在光轴803的投影方向出现偏离光学系统(透镜组)801的中心。通过这种方式，在投影表面上，光学系统(透镜组)是椭圆形。然而，在图1中，为了进行描述，光学系统(透镜组)131和132并非由椭圆形而是由圆形示出。

图3到图5显示了在两个成像系统的光轴在信息处理设备中交叉的位置改变三次时成像系统的设置实例。

具体而言，图3示出了在以下情况中的一个设置实例：与在图2的部分“d”中一样，进行设置，以便各光轴815和816相对于参考表面DL1 的角度变成角度θ2(相对于参考表面DL1的法线成角度θ1)。具体而言，图3示出了在以下情况中的设置实例：设置两个成像系统，以便两个光轴 815和816在光学系统(透镜组)811和812以及成像装置813和814之间交叉。

图4示出了在以下情况中的一个设置实例：进行设置，以便各光轴 825和826相对于参考表面DL2的角度变成角度θ2(相对于参考表面DL2 上的法线成角度θ1)。具体而言，图4示出了在以下情况下的设置实例：设置两个成像系统，以便两个光轴825和826在光学系统(透镜组)821 和822的位置交叉。

图5示出了在以下情况下的一个设置实例：进行设置，以便每个光轴 835和836相对于参考表面DL3的角度变成角度θ2(相对于参考表面DL3 上的法线成角度θ1)。具体而言，图5示出了在以下情况下的设置实例：设置两个成像系统，以便两个光轴835和836在从光学系统(透镜组)831 和832分别延伸到成像装置833和834的延伸上交叉。

而且，图3的部分“b”显示了在以下情况下的示图：与在图2的部分“e”中一样，在参考表面DL1上投射图3的部分“a”中所示的光学系统(透镜组)811和812以及成像装置813和814。类似地，图4的部分“b”显示了在以下情况下的示图：在参考表面DL2上投射图4的部分“a”中所示的光学系统(透镜组)821和822以及成像装置823和824。类似地，图5的部分“b”显示了在以下情况下的示图：在参考表面DL3上投射图5的部分“a”中所示的光学系统(透镜组)831和832以及成像装置 833和834。

通过这种方式，图3到图5显示了在两个成像系统的光轴交叉的位置在图1的部分“a”中在成像单元130中改变三次时的设置实例。

通过这种方式，根据两个成像系统的两个光轴交叉的位置，两个光学系统(透镜组)之间在水平方向(例如，在图1的部分“b”中所示的信息处理设备100的显示单元140和壳体的长边方向)的位置关系改变。例如，如图4中所示，在两个光轴825和826在光学系统(透镜组)821和 822的位置交叉时，光学系统(透镜组)821和822在水平方向的位置彼此对应。而且，如图3和5中所示，随着两个光轴交叉的位置从光学系统 (透镜组)朝着成像装置移动，光学系统(透镜组)821和822在水平方向的位置彼此远离地移动。要注意的是，在图29的部分“a”中显示信息处理设备的以下实例：其中，光学系统(透镜组)在水平方向的位置彼此对应。

显示单元140是显示各种图像的显示设备，并且由例如触控面板配置。例如，在显示单元140上显示由成像操作生成的图像。例如，液晶显示器(LCD)面板或有机电致发光(EL)面板可用作显示单元140。

信息处理设备100的纵向设为与垂直方向(与重力方向平行的方向) 一致的状态称为信息处理设备100的垂直状态。而且，如在图1的部分“a”到“d”中所示，信息处理设备100的纵向设为与水平方向(与重力方向垂直的方向)一致的状态称为信息处理设备100的水平状态。要注意的是，信息处理设备100的纵向设为与水平方向一致的状态例如是以下状态：在垂直状态中的信息处理设备100以与显示单元140的显示表面垂直的轴作为旋转轴旋转90度。

如上所述，使用多目信息处理设备100，因此，例如，在捕捉作为静态图像的全景图像的情况下，同时由多个成像系统捕捉的图像可彼此结合，以在按压快门按钮之后，立即形成全景图像。要注意的是，存在单目成像设备，该设备能够通过在水平方向以成像位置(摄影师的位置)作为旋转中心旋转成像设备的操作(所谓的平移操作)来生成全景图像。在全景图像由单目成像设备生成的情况下，如上所述，需要平移操作。因此，不能在按压快门按钮之后，立即生成全景图像。与此相反，与单目成像设备相比，信息处理设备100可在更短的时间内捕捉全景图像。

如上所述，信息处理设备100是多目成像设备，该设备能够通过两个成像系统(光学系统131和132以及成像装置133和134)捕捉在壳体和显示单元140的长边方向延伸的全景图像并且记录该全景图像。

【信息处理设备的内部配置实例】

图6为示出本公开内容的第一实施方式中的信息处理设备100的一个内部配置实例的示图。

信息处理设备100包括应用处理器11、数字基带处理单元12、模拟基带处理单元13以及射频(RF)处理单元14。信息处理设备100进一步包括电池15、麦克风16、扬声器17、天线18、确定键111、成像单元130 以及显示单元140。信息处理设备100进一步包括姿态检测单元150、程序存储器160、图像存储器170、记录介质180以及数字信号处理器(DSP) 200。要注意的是，射频处理单元14包括天线18，并且模拟基带处理单元 13包括麦克风16和扬声器17。

应用处理器11根据储存在内置式存储器内的各种程序控制信息处理设备100的各个单元。应用处理器11包括例如中央处理单元(CPU)、只读存储器(ROM)以及随机存取存储器(RAM)。

例如，在执行电话接听操作的情况下，由天线18接收的无线电波通过射频处理单元14和模拟基带处理单元13由数字基带处理单元12解调。然后，通过模拟基带处理单元13从扬声器17输出数字基带处理单元12 的解调结果。

另一方面，在执行电话传输操作的情况下，从麦克风16输入的声音通过模拟基带处理单元13由数字基带处理单元12调制。然后，通过射频处理单元14和模拟基带处理单元13从天线18发射经解调的音频数据。

而且，在用户执行成像操作开始指令操作时，在信息处理设备100 中进行成像操作。例如，在用户执行成像操作开始指令操作时，应用处理器11指示在成像操作中涉及的相应单元(成像单元130、DSP200等)开始成像操作，并且激活那些单元。然后，被激活的单元执行成像操作，并且在显示单元140上显示所生成的图像。在用户执行图像记录指令操作时，在记录介质180上记录所生成的图像。而且，在用户执行无线传输图像的指令操作时，无线传输所生成的图像。例如，所生成的图像数据由数字基带处理单元12调制，并且通过模拟基带处理单元13和射频处理单元14 从天线18发射所生成的图像数据。要注意的是，电池15是将电力供给至信息处理设备100的电池。

要注意的是，参照图7到图10等，详细描述确定键111、成像单元 130、显示单元140、姿态检测单元150、程序存储器160、图像存储器170、记录介质180以及DSP200。

【成像单元的内部配置实例】

图7为示出本公开内容的第一实施方式中的成像单元130的内部配置实例的示图。而且，图7示出了连接至成像单元130的DSP200的一部分。要注意的是，参照图8，详细描述DSP200的整个配置。

成像单元130包括两个成像系统(第一成像系统191和第二成像系统 192)、电源控制单元207以及电源单元208。

第一成像系统191包括光学系统131、成像装置133以及与DSP的接口(I/F)138。而且，第二成像系统192包括光学系统132、成像装置 134以及与DSP的I/F139。要注意的是，第一成像系统191和第二成像系统192的配置几乎相同。因此，主要描述第一成像系统191的配置，而省略第二成像系统192的描述。

光学系统131由多个透镜(包括变焦透镜和聚焦透镜)构成，这些透镜采集来自对象的光。而且，通过那些透镜的光的量(即，曝光)由光圈 (未显示)调整。然后，将采集到的来自对象的光输入至成像装置133。

成像装置133是聚焦经由光学系统131输入的对象图像并且生成图像信号的成像装置。即，成像装置133接收经由光学系统131输入的来自对象的光并且进行光电转换，从而根据所接收的光的量，生成模拟图像信号。经由与DSP的I/F138，将成像装置133如此生成的模拟图像信号提供给 DSP200。要注意的是，例如，电荷耦合装置(CCD)型或互补金属氧化物半导体(CMOS)型固态成像装置可用作成像装置。

与DSP的I/F138是用于使成像装置133和DSP200彼此连接的接口。

电源控制单元207根据DSP200的成像控制单元201(在图8中显示) 的电源控制指令控制电源单元208和209。即，在接收到来自成像控制单元201的电源控制指令时，根据作为控制信号的输入规格的电源单元208 需要的信号的幅度、上升速度以及衰减速度，电源控制单元207产生信号。然后，电源控制单元207将产生的信号输出给电源单元208，以控制电源单元208。要注意的是，如果成像控制单元201的输出信号符合用于电源单元208的控制信号的输入规格，那么成像控制单元201的输出信号可直接输入至电源单元208。

电源单元208根据电源控制单元207的控制，将电力提供给第一成像系统191和第二成像系统192。要注意的是，电源单元208由例如市售电源集成电路(IC)实现。

而且，各个第一成像系统191和第二成像系统192经由单条数据线以及七种信号线连接至DSP200。对由L1表示的单条数据线以及称为信号线L2到L8的七种信号线进行描述，其中，单条数据线使第一成像系统 191和DSP200彼此连接。要注意的是，第二成像系统192的数据线和信号线与第一成像系统191的数据线和信号线几乎相同。因此，主要描述第一成像系统191的数据线和信号线，并且省略第二成像系统192的描述。

数据线L1是用于将图像数据从成像装置133传输至DSP200的数据线。例如，有利地，数据线L1由用于增大图像数据的传输速率的多条数据线构成。而且，为了增大图像数据的传输速率并且增大传输路径上的噪声阻抗，有利地，将高速差分传输数据线用作数据线L1。例如，低压差分信号(LVDS)有利地用于数据线L1。

信号线L2是在成像装置133与DSP200之间的双向通信线。例如，四线结构的串行通信线可用作信号线L2。在从DSP200的侧边设置使用成像装置133所需要的各种设置值时，使用信号线L2。例如，经由信号线L2，在DSP200的寄存器(未显示)中写入用于使从成像装置133输出至DSP200的图像数据变小并且用于输出该变小的图像数据的设置值。

信号线L3是用于将时钟从DSP200提供给成像装置133的时钟信号线。使用经由信号线L3提供的时钟，成像装置133以每个时钟周期一个像素来进行成像操作。或者，倍增器可安装在成像装置133内，从DSP200 提供的时钟在成像装置133中可倍增，并且在倍增之后，可以每个时钟周期一个像素地进行成像操作。

信号线L4是用于将复位信号从DSP200提供给成像装置133的复位信号线。

信号线L5是用于从DSP200控制成像装置133的成像操作的打开与关闭的信号线。即，信号线L5是用于将操作的停止和开始从DSP200通知给每个成像装置的信号线。

信号线L6是垂直同步信号线。即，信号线L6是用于将表示每个帧的成像定时的同步信号从DSP200通知给成像装置133的信号线。

信号线L7是水平同步信号线。即，信号线L7是用于将表示每个线路的成像定时的同步信号从DSP200通知给成像装置133的信号线。

信号线L8是快门信号线。例如，在用于执行捕捉图像记录的操作部件(例如，确定键111)在信息处理设备100中由用户按压时，经由信号线L8，将与该按压对应的快门信号从DSP200通知给成像装置133。

假设根据用户操作设置全景图像捕捉模式和正常图像捕捉模式中的任一个。例如，如果设置全景图像捕捉模式，那么由第一成像系统191和第二成像系统192生成的图像数据项目彼此相结合，以生成全景图像。否则，如果设置正常图像捕捉模式，那么由第一成像系统191和第二成像系统192生成的图像数据项的局部(中间部分)彼此相结合，以生成正常图像(例如，具有水平与垂直比(4:3)的图像)。

或者，姿态检测单元150可根据检测结果(例如，水平状态或垂直状态)设置全景图像捕捉模式和正常图像捕捉模式中的任一个。例如，如果姿态检测单元150检测到水平状态，那么设置全景图像捕捉模式，并且通过使第一成像系统191和第二成像系统192生成的图像数据项彼此相结合，来生成全景图像。否则，如果姿态检测单元150检测到垂直状态，那么设置正常图像捕捉模式，并且通过使第一成像系统191和第二成像系统 192生成的图像数据项的局部(中间部分)彼此相结合，来生成正常图像。

【DSP的配置实例】

图8为示出在本公开内容的第一实施方式中的DSP200的内部配置实例的方框图。

DSP200包括成像控制单元201、CPU202、直接存储器存取(DMA) 控制器203、数据总线204、程序存储器I/F205以及图像存储器I/F206。 DSP200进一步包括成像装置I/F210，图像缓冲器211到216，图像信号处理单元200，分辨率转换单元231、241以及251，以及图像旋转处理单元232和242。DSP200进一步包括显示单元I/F233、外部显示装置I/F243、编码/解码单元252、记录介质I/F253、振荡电路264到266以及时钟生成电路270。DSP200进一步包括自动聚焦(AF)控制单元281以及脸部检测单元282。DSP200进一步包括自动曝光(AE)控制单元283和自动白平衡(AWB)控制单元284。CPU202、DMA控制器203、图像存储器I/F 206、图像缓冲器211到219、图像信号处理单元220等连接至数据总线 204。将来自确定键111以及姿态检测单元150的信号输入成像控制单元 201内。

姿态检测单元150通过检测信息处理设备100的加速度、运动、倾斜等，来检测信息处理设备100的姿态的变化，并且将检测结果(与所检测的姿态变化相关的姿态信息)输出给成像控制单元201。例如，姿态检测单元150检测关于三个轴(例如，X轴、Y轴以及Z轴)的旋转角度，作为信息处理设备100的姿态变化，并且将其检测结果输出给成像控制单元201。在信息处理设备100中能够检测关于三个轴的旋转角度的传感器可用作姿态检测单元150。应注意的是，可使用能够检测关于至少一个轴的旋转角度的传感器。例如，落体传感器、重力传感器、陀螺仪传感器、能够检测加速度方向的加速度传感器以及能够检测旋转运动的角速度传感器可用作姿态检测单元150。

成像控制单元201控制与成像处理相关的单元。例如，成像控制单元 201根据确定键111的输入信号，执行针对单元的成像控制。成像控制单元201根据姿态检测单元150的检测结果，确定信息处理设备100的姿态，并且根据确定结果，执行针对单元的成像控制。

而且，在用户设置成像模式时，成像控制单元201向DSP200和成像装置133和134中的单元通知该设置的成像模式，并且使单元的寄存器储存所设置的成像模式。通过这种方式，由用户设置的成像模式的设置内容储存在单元的寄存器内，因此，用户可容易地切换和使用多个成像条件。

例如，成像控制单元201根据在并入其中的寄存器内储存的成像模式的设置内容，向成像装置133和134以及DSP200中的单元通知垂直同步信号、水平同步信号以及时钟信号。例如，成像控制单元201根据在并入其中的寄存器内储存的成像模式的设置内容，向DSP200和显示单元140 内与显示相关的单元通知垂直同步信号、水平同步信号以及时钟信号。例如，成像控制单元201将用于控制电源的打开与关闭的信号输出给电源控制单元207。

CPU202根据储存在程序存储器160内的各种程序控制整个DSP 200。参考图11和图27详细描述控制内容。

DMA控制器203根据CPU202的控制，控制在存储器之中的数据传输。

程序存储器I/F205是用于连接程序存储器160和DSP200的接口。

图像存储器I/F206是用于连接图像存储器170和DSP200的接口。

成像装置I/F210是用于连接成像装置133和134和DSP200的接口。具体而言，将成像装置133和134生成的图像数据输入成像装置I/F210 内。例如，在用于从成像装置133和134传输图像数据的数据线L1是具有微型幅度的LVDS类型时，来自成像装置133和134的图像数据在DSP I/F138和139中转换成GND电位或电源电位。在成像装置I/F210的后级，设置在与成像装置133和134对应的三个系统中的图像缓冲器211到216。

图像缓冲器211到216是储存从成像装置133和134输出的图像数据的图像缓冲器。经由数据总线204，在图像存储器170内写入所储存的图像数据。例如，为每个成像装置提供三个图像缓冲器。图像缓冲器与数据总线204连接。例如，为成像装置133提供三个图像缓冲器211到213。为成像装置134提供三个图像缓冲器214到216。

在本公开内容的第一实施方式中，为了在图像存储器170内写入图像数据，甚至在从图像缓冲器211到216中读出图像数据时，依次储存从成像装置133和134中重新输入的图像数据。因此，有利地为每个成像装置 133和134提供两个以上图像缓冲器作为图像缓冲器211到216。

图像缓冲器211到216之一的容量比数据总线204的位宽更大，这较为有利。例如，在数据总线204具有128的位宽时，图像缓冲器具有等于或大于128比特的容量，这较为有利。更有利的是，图像缓冲器211到216 之一的容量等于或大于数据总线204的位宽的两倍。例如，在数据总线204 具有128的位宽时，图像缓冲器具有等于或大于256比特的容量，这较为有利。

另一方面，图像缓冲器211到216之一的容量可设为等于或小于由一个成像装置生成的一个图像的图像数据量。例如，图像缓冲器211到216 之一的容量等于或小于由用于成像装置133的一行的像素生成的图像数据的数据量，这较为有利。

在本公开内容的第一实施方式中，连接成像装置133和134和DSP 200的数据线的位宽设为例如12比特。例如，DSP200的数据总线204的位宽设为128的位宽，并且图像缓冲器211到216之一的容量设为128比特。

图像信号处理单元220根据成像控制单元201的控制，将各种图像信号处理应用于经由图像缓冲器211到216和数据总线204输入的图像数据。要注意的是，参照图9，详细描述图像信号处理单元220的内部配置。

分辨率转换单元231根据成像控制单元201或CPU202的控制，进行分辨率转换，用于使显示单元140显示图像，并且将经历分辨率转换的图像数据输出至图像旋转处理单元232。

分辨率转换单元241根据成像控制单元201或CPU202的控制，进行分辨率转换，用于使外部显示装置245显示图像，并且将经历分辨率转换的图像数据输出给图像旋转处理单元242。

图像旋转处理单元232根据成像控制单元201或CPU202的控制，将旋转处理应用于经历了分辨率转换的图像数据，并且将经历了旋转处理的图像数据输出至显示单元I/F233。

图像旋转处理单元242根据成像控制单元201或CPU202的控制，将旋转处理应用于经历了分辨率转换的图像数据，并且将经历了旋转处理的图像数据输出至外部显示装置I/F243。

显示单元I/F233是用于连接显示单元140和DSP200的接口。

外部显示装置I/F243是用于连接外部显示装置245和DSP200的接口。外部显示装置245例如是电视。

分辨率转换单元251根据成像控制单元201或CPU202的控制，转换用于图像记录的分辨率，并且将经历了分辨率转换的图像数据输出至编码/解码单元252。例如，分辨率转换单元251进行用于将分辨率转换成用户所需要的记录图像尺寸的分辨率转换处理以及用于生成缩略图图像的分辨率转换处理。

编码/解码单元252根据成像控制单元201或CPU202的控制，执行编码，用于压缩从分辨率转换单元251输出的图像数据，并且将编码的图像数据输出给记录介质I/F253。而且，为了在显示单元140上显示记录在记录介质180上的图像数据，编码/解码单元252经由记录介质I/F253输入和解码在记录介质180上记录的图像数据。解码的图像数据储存在图像存储器170中。

记录介质I/F253是用于连接记录介质180和DSP200的接口。

记录介质180是记录经由记录介质I/F253提供的图像数据的记录介质。记录介质180可并入信息处理设备100内或者可拆卸地连接至信息处理设备100。例如，带(例如，磁带)或光盘(例如，可记录的数字通用光盘(DVD))可用作记录介质180。例如，磁盘(例如，硬盘)、半导体存储器(例如，存储卡)或磁光盘(例如，小型磁盘(MD))可用作记录介质180。

振荡器261到263是用于产生被提供至DSP200的时钟信号的振荡源。例如，使用石英振荡器。

振荡电路264到266生成提供至DSP200的时钟信号，并且将所生成的时钟信号输出给时钟生成电路270。

时钟生成电路270根据由振荡电路264到266生成的时钟信号，生成多种时钟，并且将多种时钟提供给单元。例如，时钟被提供至DSP200内部，并且经由DSP200的内部，将时钟提供给外部。

AF控制单元281对经由图像缓冲器211到216和数据总线204输入的图像数据进行聚焦控制，以便对包含在该图像(捕捉的图像)内的预定区域内的对象聚焦。要注意的是，例如，预定区域可为在捕捉图像的中间的区域、由用户指定的区域或者包括由脸部检测单元282检测的人脸的位置的区域。或者，可设置多个预定区域，并且可为每个预定区域进行聚焦控制。然后，将有关在捕捉图像内聚焦的位置(聚焦位置)的信息(例如，评估值(AF评估值))输出给CPU202和成像控制单元201。而且，有关聚焦位置的信息储存在AF控制单元281内。

脸部检测单元282检测在经由图像缓冲器211到216和数据总线204 输入的图像数据的图像(捕捉图像)内的人脸，并且将其检测结果输出给 CPU202和成像控制单元201。或者，脸部检测单元282可检测在从记录介质180中读出的图像数据的图像内的人脸。要注意的是，例如，在记录脸部的光分布信息的模板与内容图像之间进行匹配的脸部检测方法可用作检测包含在图像内的脸部的方法(例如，见日本专利申请公开号 2004-133637)。还可使用根据包含在图像内的人脸的肤色部分或特征量的脸部检测方法。那些脸部检测方法能够确定在图像内的人脸的位置和尺寸。而且，脸部的检测结果储存在脸部检测单元282内。

AE控制单元283是自动曝光控制单元，用于相对于经由图像缓冲器 211到216和数据总线204输入的图像数据自动调整快门速度以及截止值，并且将其检测结果输出给CPU202和图像控制单元201。

AWB控制单元284对经由图像缓冲器211到216和数据总线204输入的图像数据进行自动白平衡调整等，并且将其检测结果输出给CPU202 和图像控制单元201。

【图像信号处理单元的内部配置实例】

图9为示出本公开内容的第一实施方式中的图像信号处理单元220 的内部配置实例的方框图。

图像信号处理单元220包括像素添加处理单元221、去马赛克 (demosaic)处理单元222、YC转换处理单元223、图像组合处理单元224、锐度处理单元225、颜色调整处理单元226以及RGB转换处理单元227。

像素添加处理单元221将像素添加处理和像素变小(thinning-out)处理应用于成像装置133和134生成的图像数据。

去马赛克处理单元222执行去马赛克处理(内插处理)，以便在成像装置133和134生成的图像数据(马赛克图象)的像素位置中，R、G以及B的所有通道的强度相等。去马赛克处理单元222将经历了去马赛克处理的RGB图像提供给YC转换处理单元223。具体而言，去马赛克处理单元222为每个像素的一个颜色插入仅仅具有像素数据的拜尔数据，并且为一个像素计算三个像素数据R、G以及B。

YC转换处理单元223将用于色度分量的YC矩阵处理和频带限制应用于由去马赛克处理单元222生成的RGB图像，从而生成亮度信号(Y) 和色差信号(Cr、Cb)。将生成的亮度信号(Y图像)和色差信号(C图像)提供给图像组合处理单元224。

图像组合处理单元224将图像组合应用于由YC转换处理单元223生成的图像数据中，并且将组合的图像数据输出至锐度处理单元225。

锐度处理单元225将用于提取具有大信号变化的部分并且突出该部分的锐度处理(突出对象轮廓的处理)应用于图像组合处理单元224生成的图像数据。锐度处理单元225将经历了锐度处理的图像数据提供给颜色调整处理单元226。

颜色调整处理单元226将色彩与色度的调整应用于经历了锐度处理单元225的锐度处理的图像数据。

RGB转换处理单元227将经历了颜色调整处理单元226的色彩与色度调整的图像数据从YCbCr数据转换成RGB数据。

描述图像信号处理单元220的信号的图像数据的流动。例如，假设在图像信号处理单元220中的每个信号处理单元通过数据总线204直接从图像存储器170中读取图像数据，并且通过数据总线204将信号处理之后的图像数据写入图像存储器170内。这具有以下优点：图像信号处理单元220 可在期望时间读取在图像数据中的期望位置内的图像数据。然而，需要通过数据总线204传输的数据量增大，因此，需要增大数据总线204的工作频率。因此，人们担心难以设计数据总线204，并且功耗增大。

例如，假设在图像信号处理单元220中的每个信号处理单元并未通过数据总线204从前级的信号处理单元中接收图像数据，并且并未通过数据总线204将信号处理之后的图像数据传送给后级的信号处理单元。在这种情况下，未使用数据总线204。这具有以下优点：大规模集成(LSI)容易设计，并且可减少功耗。然而，人们担心每个信号处理单元不能在期望定时读取图像数据中的期望位置内的图像数据。

因此，在本公开内容的第一实施方式中，在去马赛克处理单元222 与具有基本上固定的图像尺寸的颜色调整处理单元226之间，为了减小数据总线204的工作频率以及功耗，在信号处理单元之中直接传送图像数据。在使用与在分辨率转换中一样的大量图像数据的前级信号处理单元，在图像存储器170内写入图像数据并且进行分辨率转换时，从图像存储器170 中读出期望图像数据。

而且，使成像装置133和134生成的图像数据项彼此组合的图像组合处理由图像组合处理单元224执行。在这种情况下，图像组合处理单元224 执行梯形失真校正处理(例如，见日本专利申请公开号2013-021730)。

作为图像组合处理，可执行例如根据会聚角使两个捕捉图像彼此组合的图像组合处理(例如，见日本专利申请公开号2013-021730)。或者，图像组合处理可由另一个图像组合方法执行。例如，可使用一种图像组合方法，其中，相对于由两个成像系统生成的两个图像的重叠部分，这两个图像进行图案匹配并且这两个图像通过该图案匹配彼此组合(例如，见日本专利申请公开号2008-117235)。或者，可使用一种图像组合方法，其中，确定由两个成像系统生成的两个图像的密度差异的变化，并且根据密度差异的变化来确定重叠部分，从而使这两个图像彼此组合。

图9示出了一个实例，其中，在图像信号处理单元220中，在YC转换处理单元223的后级和锐度处理单元225的前级设置图像组合处理单元 224。应注意的是，在另一级图像信号处理单元220可进行图像组合处理。例如，在去马赛克处理单元222的前级，可进行梯形失真校正处理和图像组合处理。或者，例如，在去马赛克处理单元222的后级和YC转换处理单元223的前级，可进行梯形失真校正处理和图像组合处理。或者，例如，在颜色调整处理单元226的后级，可进行梯形失真校正处理和图像组合处理。

而且，在进行这种图像组合处理时，例如，对于进行梯形失真校正之后的图像，提前测量图像的重叠部分。然后，根据该测量值，可由算法设备(例如，包含在信息处理设备100内的CPU)通过软件的方式确定图像的重叠区域的删除处理。

【成像装置的配置实例和像素读出实例】

图10为示出本公开内容的第一实施方式中的成像装置的内部配置实例的示图。成像装置133和134的内部配置几乎相同。因此，在图10中，仅仅显示了成像装置133，并且省略另一成像装置的说明和描述。在图10 中，CMOS成像装置作为成像装置133进行例证。

成像装置133包括像素40到47、垂直扫描电路340以及水平扫描电路345。成像装置133进一步包括ADC(模数(A/D)转换器)350到353、加法器354到357和366以及列锁存器358到361。成像装置133进一步包括开关362到365、输出锁存器367、输出电路368、寄存器370和380 以及乘法器/除法器391和392。要注意的是，在纵向上的成像装置阵列通常称为列，并且在横向上的成像装置阵列通常称为行。因此，在以下描述中，酌情使用“列”和“行”的命名。在该实例中，在成像装置133中，代表性描述与像素相关的一部分像素(像素40到47)和单元。省略其他元件的说明和描述。

在成像装置133中，在行方向配线垂直控制线341到344，并且位于相同线路上的每隔一个像素与同一垂直控制线连接。在列方向配线数据读出线346到349，并且位于同一线路上的像素共享一条读出线。

垂直扫描电路340通过在行方向上配线的垂直控制线341到344打开和关闭在像素40到47与数据读出线346到349之间的开关。具体而言，在行方向的像素中，在行方向位于同一线路上的像素之中的每隔一个像素共同由单个垂直控制线打开和关闭。通过在像素与和像素对应的数据读出线之间的开关，将像素40到47的图像数据输出给数据读出线346到349。

水平扫描电路345打开和关闭在列锁存器358到361与输出数据线 369之间的开关362到365。能够通过时分方式读出所有像素的信号，同时根据垂直扫描电路340打开和关闭开关以及水平扫描电路345打开和关闭开关362到365的选择，依次选择像素。输出数据线369是用于输出从成像装置133中列的输出结果的输出数据线。

在成像装置133中，像素40到47设置成二维方形晶格形状。要注意的是，像素40到47的配置相同，因此，描述像素40作为实例。像素40 包括作为光接收单元的光电二极管51、放大器52以及开关53。光电二极管51将照射在像素上的光转换成与光量对应的电荷。放大器52是放大由光电二极管51转换的电荷的信号的放大器。开关53是根据垂直控制线342 的打开和关闭控制像素40的电荷传输的开关。

列包括ADC350到353、加法器354到357以及列锁存器358到361。下面描述连接至数据读出线346的ADC350、加法器354以及列锁存器358作为实例。

ADC350是AD转换器，将像素的作为模拟值的图像数据转换成数字数据(数字值)。

每当ADC350将图像数据转换成数字数据时，在该转换之后，加法器354向储存在列锁存器358内的数字数据加新数字数据。

列锁存器358是依次储存由ADC350转换的数字数据的列锁存器。列锁存器是表示在进行AD转换之后储存数字数据的数据储存电路的名称。除了包括线性电路的锁存器，可储存数字数据的电路(例如，包括同步电路的触发器)也可用作数据储存电路。

例如，在经过ADC350、加法器354以及列锁存器358之后，通过连接至数据读出线346的开关362，将从像素40输出的图像数据输出给输出数据线390。在本公开内容的第一实施方式中，与列的数据读出线一样，输出数据线390包括加法器366以及输出锁存器367，并且添加和储存图像数据。通过输出电路368，将储存在输出锁存器367内的图像数据输出给输出数据线369。要注意的是，将输出数据线369的图像数据输出给上述数据线L1。

乘法器/除法器391和392根据DSP200的控制，执行输入时钟的频率的乘法以及输入时钟的频率的除法。乘法器/除法器391和392将生成的时钟提供给垂直扫描电路340、水平扫描电路345以及输出电路368。

信号线393是用于提供来自DSP200的垂直同步信号的垂直同步信号线。信号线394是用于提供来自DSP200的水平同步信号的水平同步信号线。

信号线395是用于提供来自DSP200的时钟信号的时钟信号线。信号线396是用于控制来自DSP200的成像操作打开和关闭的信号线以及用于控制像素变小的信号线。信号线397是在成像装置133与DSP200之间的双向通信线。信号线398是电源线。

要注意的是，寄存器370和380是寄存与成像操作相关的设置值的寄存器。

【信息处理设备的功能配置实例】

图11为示出本公开内容的第一实施方式中的信息处理设备100的功能配置实例的方框图。

信息处理设备100包括显示单元140、成像单元510、图像合成单元520、判断单元530、记录控制单元540、储存单元550、操作接收单元560、控制单元570、显示控制单元580、音频输出控制单元591以及音频输出单元592。

成像单元510将对象成像，并且生成图像数据项(用于生成全景图像的左图像和右图像的图像数据项)。成像单元510将生成的图像数据项提供给图像合成单元520和控制单元570。例如，使用成像装置133生成左图像的图像数据项，并且使用成像装置134生成右图像的图像数据项。要注意的是，成像单元510与例如图6中所示的成像装置133和DSP200对应。

图像合成单元520使成像单元510生成的图像数据(左图像和右图像的图像数据项)彼此组合，图像在纵向上的端部彼此重叠，以生成合成图像(全景图像)。然后，图像合成单元520将生成的合成图像(图像数据) 提供给判断单元530、记录控制单元540以及显示控制单元580。图像在纵向上的端部是与例如图15的部分“a”中所示的重叠区域H2对应的部分。

而且，如上所述，在生成合成图像(全景图像)时，图像合成单元 520进行梯形失真校正处理。而且，如上所述，图像合成单元520由基于会聚角的图像组合处理、使用图案匹配的图像组合处理等生成合成图像 (全景图像)。

而且，根据在包含在合成图像(全景图像)的重叠区域内的对象之中最靠近信息处理设备100的对象的对象距离，图像合成单元520校正图像的位移(在与特定方向几乎垂直的垂直方向的图像的位移)。合成图像(全景图像)的重叠区域是与例如图15的部分“a”中所示的重叠区域H2对应的部分。而且，参照图12和13，详细描述校正位移的方法。要注意的是，图像合成单元520与例如图6中所示的DSP200(例如，图像信号处理单元220)对应。

根据包含在图像合成单元520生成的合成图像(全景图像)内的对象的对象距离，判断单元530对包含在合成图像(全景图像)内的对象的布置进行判断。对包含在合成图像(全景图像)内的对象的布置进行的判断例如是判断是否改变包含在合成图像(全景图像)内的对象的布置。要注意的是，参照图14到图23以及图27，详细描述该判断方法。然后，判断单元530将其判断结果输出给控制单元570。

具体而言，根据包含在合成图像(全景图像)内的对象的对象距离以及包含在合成图像(全景图像)的重叠区域内的对象的对象距离，判断单元530对包含在合成图像内的对象的布置进行判断。例如，判断单元530 计算在包含在合成图像(全景图像)内的对象之中最靠近信息处理设备100 的对象的对象距离(第一距离)。或者，判断单元530计算在包含在合成图像(全景图像)的重叠区域(例如，在图15的部分“a”中所示的重叠区域H2)内的对象之中最靠近信息处理设备100的对象的对象距离(第二距离)。要注意的是，参照图12和13，详细描述计算对象距离的方法。然后，判断单元530根据第二距离进行判断。具体而言，如果第二距离小于阈值，那么判断单元530判断包含在合成图像(全景图像)内的对象的布置应改变。即，如果在包含在合成图像的重叠区域内的对象之中最靠近信息处理设备100的对象的对象距离小于阈值，那么判断单元530能够判断包含在该合成图像内的对象的布置应改变。或者，判断单元530可根据第一距离进行判断。要注意的是，判断单元530与例如图6中所示的DSP 200(例如，CPU202和AF控制单元281)对应。

记录控制单元540根据控制单元570的控制在储存单元550内记录成像单元510生成的以及图像合成单元520生成的合成图像(图像数据)，作为图像文件。要注意的是，记录控制单元540与例如图6中所示的DSP 200对应。

储存单元550储存成像单元510生成的以及由图像合成单元520生成的合成图像(图像数据)，作为图像文件(图像内容)。要注意的是，储存单元550与例如图6中所示的记录介质180对应。

操作接收单元560是接收由用户输入的操作以及将输入至控制单元 570的接收操作的内容输出的操作接收单元。要注意的是，操作接收单元560与例如图1和图6中所示的每个操作部件(确定键111等)对应。

控制单元570根据由操作接收单元560接收的用户操作，进行控制，用于在储存单元550内记录由成像单元510生成的以及由图像合成单元 520生成的合成图像(图像数据)。

如果判断单元530判断包含在由图像合成单元520生成的合成图像 (图像数据)内的对象的布置应改变，那么控制单元570进行控制，用于通知该事实。例如，通过在显示单元140上进行显示，控制单元570能够进行通知，用于指示包含在合成图像内的对象的布置应改变。在这种情况下，例如，通过显示显示信息(警告信息)，控制单元570进行通知，用于标识对象应该改变布置。显示信息(警告信息)例如为在图24到26中所示的显示信息581到584以及消息信息585。

通过使音频输出单元592输出音频警告信息(例如，在图26的部分“b”中所示的消息586)，控制单元570进行通知，用于指示包含在合成图像内的对象的布置应改变。

显示控制单元580在显示单元140上显示由图像合成单元520生成的合成图像(图像数据)，作为即时取景图像。即时取景图像是在设置静态图像记录模式的状态中进行静态图像的记录指令操作之前在显示单元140 上显示的图像(由图像合成单元520生成的合成图像(图像数据))。在图 24到26中显示这种显示实例。在显示即时取景图像的即时取景显示器中，为了让用户在图像的记录操作之前(即，按压快门按钮之前)检查对象，连续显示在该时间点输入成像装置内的图像。

而且，根据控制单元570的控制，显示控制单元580在显示单元140 上显示显示信息(例如，在图24到26中所示的显示信息581到584以及消息信息585)。要注意的是，显示控制单元580与例如图6中所示的DSP 200对应。

显示单元140根据显示控制单元580的控制显示图像。要注意的是，显示单元140与例如图6中所示的显示单元140对应。

根据控制单元570的控制，音频输出控制单元591从音频输出单元 592中输出每种音频。例如，根据控制单元570的控制，音频输出控制单元591从音频输出单元592中输出警告信息。警告信息是用于指示包含在合成图像内的对象的布置应改变的信息，并且例如为图26的部分“b”中显示的消息586。

根据音频输出控制单元591的控制，音频输出单元592输出每种音频。要注意的是，音频输出单元592与例如图1中所示的扬声器17对应。

【在图像之间造成的位移的校正实例】

在多个成像系统生成的多个图像在长边方向彼此组合以生成全景图像时，在与全景图像的长边方向垂直的方向，在相同的位置设置多个成像系统，这较为有利。例如，如果在水平状态中使用信息处理设备100，那么在壳体和显示单元140的短边方向(与用户站立的地面垂直的方向)，在相同的位置设置多个成像系统，这较为有利。

然而，如图1中所示，在本公开内容的第一实施方式中，多个成像系统在短边方向设置在不同的位置。因此，在由多个成像系统生成的多个图像在长边方向彼此组合以生成全景图像时，可以想象将一些对象作为成像目标，形成全景图像的左图像和右图像在垂直方向位移。

有鉴于此，在本公开内容的第一实施方式中，显示了一个实例，其中，考虑图像在形成全景图像的左图像和右图像之间在垂直方向的位移，适当地生成全景图像。

【成像操作和成像区域的实例】

图12和13为示意性示出由本公开内容的第一实施方式中的信息处理设备100执行的成像操作以及在成像操作期间的成像区域的一个实例的示图。要注意的是，图12和13示出了一种状态的一个实例，其中，摄影师 70进行成像操作，从其侧边观看时，信息处理设备100处于水平状态。

假设进行一种设置，其中，第一成像系统191(包括在图12中所示的光学系统131)将全景图像的左边设为成像目标，并且第二成像系统192 (包括在图12中所示的光学系统132)将全景图像的右边设为成像目标。即，在图12中，第一成像系统191用作下部成像系统，并且第二成像系统192用作上部成像系统。

而且，在图12中，下部成像系统(第一成像系统191)的光轴由401 表示，并且上部成像系统(第二成像系统192)的光轴由402表示。要注意的是，为了进行描述，假设成像系统中的光轴的位置与成像系统的透镜的中心一致并且与成像系统的成像装置的成像区域的中心一致。而且，在存在对象的位置，与两个光轴401和402垂直的表面可简称为“对象表面”，并且在对象表面上由成像系统捕捉图像的区域可简称为“成像区域”。

为了进行描述，在后文中，除非另外特别说明，否则在水平状态中使用信息处理设备100时，壳体和显示单元140的短边方向(与用户站立的地面垂直的方向或者与重力平行的方向)可简称为“垂直方向”。同样，壳体和显示单元140的长边方向(与用户站立的地面水平的方向或者与重力垂直的方向)可简称为“水平方向”。此外，包括在图1的部分“a”中所示的法线195的表面可简称为“垂直表面”，该表面与垂直方向(与重力方向平行的方向)平行的方向。此外，与在图12中所示的光轴401和 402平行的线段可简称为“光轴中间线”，该线段是与这两个光轴401和 402相距相同距离的线段。此外，与垂直表面垂直并且包括光轴中间线的表面可简称为“水平表面”。

而且，在图12中，在信息处理设备100中，在第一成像系统191的光轴401与第二成像系统192的光轴402之间的垂直距离由D表示。而且，在图12中，在下部成像系统(第一成像系统191)的垂直方向的成像区域的外边缘由虚线403和404表示，并且在上部成像系统(第二成像系统192) 的垂直方向的成像区域的外边缘由虚线405和406表示。而且，在图12 中，为了进行描述，用于测量成像区域的两个标尺(虚拟标尺)71和72 分别设置在与信息处理设备100相隔距离L0和L1的位置。要注意的是，假设距离L1是距离L0的两倍长。而且，假设这两个标尺71和72的间距相等，并且提供这两个标尺71和72的高度也相等，以摄影师70作为参考。而且，与下部成像系统(第一成像系统191)的光轴401对应的两个标尺71和72的位置设为“0”。与在第一成像系统191的光轴401与第二成像系统192的光轴402之间的垂直距离D对应的两个标尺71和72的值设为“10”。在这种情况下，与上部成像系统(第二成像系统192)的光轴 402对应的两个标尺71和72的位置设为“10”。

如图12中所示，关于位于距离L0处的对象，从标尺71的-30到30 的区域可由下部成像系统(第一成像系统191)成像。而且，关于位于距离L1处的对象，从标尺72的-60到60的区域可由下部成像系统(第一成像系统191)成像。

同样，关于位于距离L0处的对象，从标尺71的-20到40的区域可由上部成像系统(第二成像系统192)成像。而且，关于位于距离L1处的对象，从标尺72的-50到70的区域可由上部成像系统(第二成像系统 192)成像。通过这种方式，位于距离L1处的对象的成像区域(在垂直方向的成像区域)是位于距离L0处的对象的成像区域(在垂直方向的成像区域)的两倍大。

现在，假设一种情况，其中，由下部成像系统(第一成像系统191) 生成的图像以及由上部成像系统(第二成像系统192)生成的图像彼此组合，以生成全景图像。例如，由第一成像系统191生成的图像可设置在全景图像的左边，由第二成像系统192生成的图像可设置在全景图像的右边，并且这些图像可照原样彼此组合，以生成全景图像。在这种情况下，在垂直方向上设置全景图像的左图像和右图像。因此，重要的是，适当地校正在全景图像的左图像和右图像之间造成的位移。

显示了一个实例，其中，定量地确定在全景图像的左图像和右图像之间造成的位移的量(位移量)。

例如，假设在下部成像系统(第一成像系统191)的垂直方向与成像区域对应的角度由θ表示。而且，在位于距离L0处的对象表面中，与从下部成像系统(第一成像系统191)的光轴401到作为成像区域的上限的外部边缘403的部分对应的标尺71上的长度由R0表示。在这种情况下，成立以下表达式1。

R0＝L0*tan{(1/2)*θ} 表达式1

在距离L0处的成像区域的位移量由X0表示时，在距离L0处的成像区域的位移量的比率Z0可由以下表达式2确定。

Z0＝X0/R0 表达式2

在信息处理设备100中，在第一成像系统191的光轴401与第二成像系统192的光轴402之间的垂直距离D等于在距离L0处的成像区域的位移量X0。因此，如果成立X0＝D，那么位移量的比率Z0可由以下表达式3表示。

Z0＝(D/L0)*[1/tan{(1/2)*θ}] 表达式3

参照该表达式3，如果D和θ是固定值，那么在距离L0处的成像区域的位移量的比率Z0(如果L0是可变值)取决于距离L0。具体而言，随着距离L0减小，位移量的比率Z0增大，并且随着距离L0增大，位移量的比率Z0减小。而且，随着距离L0增大，逐渐接近位移量的比率Z0 可取的最小值。在成立距离L0＝无穷大时，Z0取最小值(＝0)。

例如，在观察全景图像的情况下(全景图像的左区域和右区域在垂直方向位移)，人们担心观察全景图像的用户具有奇怪的感觉，这被视为不利。

有鉴于此，将存在于距离L0处的对象作为参考，校正在垂直方向的左右图像之间的位移。例如，由下部成像系统(第一成像系统191)生成的左图像的垂直区域和由上部成像系统(第二成像系统192)生成的右图像的垂直区域设为相同，将存在于距离L0处的对象作为参考。

具体而言，相对于由下部成像系统(第一成像系统191)生成的左图像，用于组合全景图像的图像区域的上限被设为等于或小于在距离L0处由下部成像系统(第一成像系统191)生成的图像的上限。而且，用于组合全景图像的图像区域的下限被设为等于或大于在距离L0处由上部成像系统(第二成像系统192)生成的图像的下限。

要注意的是，为了进行描述，在后文中，使用用于组合全景图像的有限图像区域以及显示或记录有限图像区域，作为全景图像的一部分，简称为“用于组合全景图像”。

在图13中，与由下部成像系统(第一成像系统191)生成的左图像的上限和下限对应的成像区域的外边缘由粗线403和411表示。要注意的是，粗线403与虚线403相同，该虚线表示在图12中所示的下部成像系统(第一成像系统191)的垂直方向的成像区域的外边缘。

而且，相对于由上部成像系统(第二成像系统192)生成的右图像，用于组合全景图像的图像区域的上限被设为等于或小于在距离L0处由下部成像系统(第一成像系统191)生成的图像的上限。而且，用于组合全景图像的图像区域的下限被设为等于或大于在距离L0处由上部成像系统 (第二成像系统192)生成的图像的下限。

在图13中，与由上部成像系统(第二成像系统192)生成的右图像的上限和下限对应的成像区域的外边缘由粗线412和406表示。要注意的是，粗线406与虚线406相同，该虚线表示在上部成像系统(第二成像系统192)的垂直方向的成像区域的外边缘。

通过这种方式，在距离L0处，相对于由下部成像系统(第一成像系统191)生成的左图像，需要将用于组合全景图像的图像区域的下限设为等于或大于由上部成像系统(第二成像系统192)生成的图像的下限。

有鉴于此，在进行成像操作的聚焦操作时(在进行所谓的自动聚焦操作时)，在包含在重叠区域(例如，在图15的部分“a”中所示的重叠区域H2)内的对象之中，确定从信息处理设备100到最靠近信息处理设备 100的对象的距离(对象距离)。然后，根据作为参考的对象距离，改变形成全景图像的左图像和右图像的区域。

描述一种获得有关从照相机(信息处理设备100)到对象的距离及其分布的信息的方法。作为获得该信息的方法，能够使用一种方法，例如在数码相机的自动聚焦处理中分析从照相机到对象的距离的分布。在自动聚焦处理中，作为一个实例，虽然照相机的聚焦点从进入/来自照相机的近侧连续地变成远侧，但是在每个焦距处捕捉图像。分析包含在那些捕捉图像内的图像的空间频率。关于在照相机的焦距与从照相机到对象的距离一致的状态中捕捉的图像，在图像中的对象的轮廓清晰。换言之，在图像中存在具有高空间频率的多个图像。另一方面，关于在照相机的焦距与从照相机到对象的距离不一致的状态中捕捉的图像，在焦距与距对象的距离之间的差值增大时，在图像中的对象的轮廓变得不清晰。换言之，在图像中几乎不存在具有高空间频率的图像。如果在改变照相机的焦距的同时捕捉多个图像并且如上所述评估在图像中具有高空间频率的分量的量，那么能够获得有关从照相机到对象的距离及其分布的信息。

更具体而言，例如，在改变焦距的同时捕捉的多个图像通过提取高频带中的分量的高通滤波器(HPF)。然后，通过相对于已经通过滤波器的每个图像确定评估值(AF评估值(例如，像素数据项的数量))，可获得有关从照相机到对象的距离及其分布的信息。

而且，每当执行一个AF处理时，能够掌握从透镜到对象的距离(对象距离)。即，在对象距离由a表示，从透镜到成像装置的距离由b表示，并且透镜的焦距由f表示时，成立以下表达式4。

(1/a)+(1/b)＝1/f 表达式4

通过表达式4，可确定对象距离a＝1/((1/f)－(1/b))。而且，多个距离测量区域可提前设置在一个图像内，并且每当执行一个AF处理时，可确定每个距离测量区域的对象距离。

使用通过这种方法获得的距离的值(例如，与最靠近信息处理设备 100的对象(在后文中称为最近的对象)相距的距离L0)，在表达式3中的D和θ设为固定值，并且使用表达式3计算在对象距离L0处的成像区域的位移量的比率Z0。然后，在由下部成像系统(第一成像系统191)生成的左图像中，与位移量的比率Z0对应的区域的图像(在垂直方向位于下限侧的图像(相对于图13的粗线411的下部区域的图像))被设为不用于组合全景图像。即，使用不包括与位移量的比率Z0对应的区域(在图 13的粗线403和411之间的区域)的图像，来组合全景图像。

同样，还需要在距离L0处调整由上部成像系统(第二成像系统192) 生成的右图像。即，相对于右图像，需要将用于组合全景图像的图像区域的上限设为等于或小于由下部成像系统(第一成像系统191)生成的图像的上限(图13的粗线412)。

有鉴于此，使用与在包含在重叠区域内的对象之中最靠近信息处理设备100的对象相距的距离(对象距离)L0的值，将表达式3的D和θ设为固定值。使用表达式3，计算在对象距离L0处的成像区域的位移量的比率Z0。然后，在由上部成像系统(第二成像系统192)生成的右图像中，与位移量的比率Z0对应的区域的图像(在垂直方向位于上限侧的图像(相对于图13的粗线412的上部区域的图像))被设为不用于组合全景图像。即，使用不包括与位移量的比率Z0对应的部分的区域(在图13的粗线 412和406之间的区域)的图像，来组合全景图像。

通过这种方式，仅仅使用作为全景图像的组合目标的左图像和右图像的部分图像，以便与位于距离L0处的对象对应的图像在垂直方向彼此一致。具体而言，对于由下部成像系统(第一成像系统191)生成的左图像，使用位于距离L0处的标尺71的-20到30的区域中的图像区域。而且，对于由上部成像系统(第二成像系统192)生成的右图像，使用在位于距离 L0处的标尺的-20到30的区域中的图像区域。通过这种方式，相对于左图像和右图像，使用在位于距离L0处的标尺的-20到30的区域中的图像区域，来进行图像组合，从而可生成全景图像。

通过这种方式，使用表达式3，根据距离L0的值，确定在距离L0 处的图像的位移量的比率Z0。根据位移量的比率Z0的值，组合与标尺71 的-20到30的成像区域对应的左图像和右图像部分。这样做，可生成全景图像，其中，与位于距离L0处的对象对应的图像在垂直方向不移动。因此，可生成有利于进行观察的全景图像。

如上所述，通过执行上述处理，可获得全景图像，其中，相对于位于距离L0处的对象的图像在左右图像之间的上下方向不位移。然而，人们担心根据作为位于距离L0处的对象的背景的对象的布置，作为背景的对象的图像在左右图像之间的上下方向位移。有鉴于此，在后文中描述这种位移。

假设一种情况，其中，从由下部成像系统(第一成像系统191)生成的左图像中提取与位于距离L0处的标尺71(在图13中显示)的-20到30 的成像区域对应的图像。在这种情况下，所提取的图像包括与位于距离 L1处的标尺72的-40到60的成像区域对应的图像。

而且，假设一种情况，其中，从由上部成像系统(第二成像系统192) 生成的右图像中提取与位于距离L0处的标尺71(在图13中显示)的-20 到30的成像区域对应的图像。在这种情况下，所提取的图像包括位于距离L1处的标尺72的-50到50的区域。因此，在通过使左图像和右图像彼此组合来生成全景图像时，相对于位于距离L0处的对象，在全景图像中未造成在左图像与右图像之间在上下方向的位移。然而，人们担心相对于位于距离L0处的对象(即，位于距离L1处的对象(L1>L0))的背景，在全景图像中造成在上下方向的图像位移。

有鉴于此，相对于形成全景图像的左图像和右图像，在后文中定量地考虑位于距离L1处的对象的图像在上下方向移动的原因及其位移量。

在图13中，粗线403的倾斜由K1表示，在位于标尺71与粗线403 之间的接触点与光轴401之间的距离由R0表示，并且在位于标尺72与粗线403之间的接触点与光轴401之间的距离由R1表示。在这种情况下，成立以下表达式5到9。

R0＝L0*tan((1/2)*θ) 表达式5

K1＝R0/L0 表达式6

R1＝K1*L1＝R0*(L1/L0) 表达式7

K2＝(R0-D)/L0 表达式8

R2＝K2*L1＝(R0-D)*(L1/L0) 表达式9

而且，位于距离L1处的对象的图像的位移量X1可由以下表达式10 确定。

X1＝R1-R2-D＝R0*(L1/L0)-(R0-D)*(L1/L0)-D

＝((L1/L0)-1)*D 表达式10

而且，位于距离L1处的对象的图像的位移量的比率Z1可由以下表达式11确定。

Z1＝X/R1

＝[{(L1/L0)-1}*D]/{R0*(L1/L0)}

＝{(L1-L0)*D}/(R0*L1)

＝{1-(L0/L1)}*(D/R0)

＝{(1/L0)-(1/L1)}*D*[1/tan{(1/2)*θ}]表达式11

参照该表达式11，如果D和θ被设为固定值，那么可以看出，位于距离L1(L0和L1被设为可变值)处的对象的图像的位移量的比率Z1取决于距离L0和L1。如果距离L0是常量，那么随着距离L1减小，位移量的比率Z1减小。例如，假设一种情况，其中，L1取最小值(即，L1等于 L0的情况)。在这种情况下，执行通过与在距离L0处的图像的位移量的比率Z0对应的量调整图像的位移量的处理，以便消除在距离L0处的图像的位移量时，在距离L1处的图像的位移量的比率Z1变成0。与此相反，随着距离L1增大，位移量的比率Z1增大。然后，如果成立距离L1＝无穷大，那么如在下面表达式12中所示，在距离L1处的图像的位移量的比率 Z1取最大值。

Z1＝(D/L0)*[1/tan{(1/2)*θ}] 表达式12

通过这种方式，在距离L1处的图像的位移量的比率Z1的最大值(表达式12)等于在调整在距离L0处的图像的位移时使用的位移量的比率Z0 的值(表达式3)。

具体而言，位于距离L1处的对象的图像的位移量的比率Z1取最小值，即，在L1等于L0时取0。随着L1增大，Z1值增大，并且在L1无穷大时，Z1是最大值。而且，在Z1取最大值时，Z1值等于在调整距离 L0处的图像的位移量时的比率Z0。

在使用比较简单的数值计算最大值时，例如，在成立θ＝60(°)时，Z1 的最大值是“(D/L0)*(1/n√3)”。

根据信息处理设备100的规格，假设一种情况，其中，位于距离L1 处的对象的图像的位移量的百分比Z1的允许范围被设为等于或小于A％。在这种情况下，为了获得具有位于距离L1处的对象的图像的位移量的百分比Z1等于或小于A％的图像，摄影师70需要在满足从表达式12中确定的以下表达式13的条件下拍摄照片。

L0≥{D/(A/100)}*[1/tan{(1/2)*θ}] 表达式13

具体而言，如果在包含在左图像和右图像的重叠区域内的对象之中最靠近信息处理设备100的对象的对象距离L0满足表达式13，那么可获得图像位移量的百分比Z1等于或小于允许范围的图像。更具体而言，如果这种距离L0满足表达式13，那么根据表达式3，进行对于位于距离L0 处的对象消除左右图像的位移量的处理。通过使图像经历这种处理，可获得作为背景的对象(位于距离L1(L1>L0)处的对象)的图像的位移量的百分比Z1等于或小于允许范围的图像。

然而，在包含在该重叠区域内的对象之中最靠近信息处理设备100 的对象的对象距离L0不满足表达式13时，获得具有位于距离L1处的对象的图像的位移量的百分比Z1超过允许范围的图像。因此，在包含在该重叠区域内的对象的对象距离L0不满足表达式13时，重要的是，通知用户该事实，从而促使用户改变包含在全景图像内的对象的布置。在图24 到26中显示了这种通知实例。而且，图14到23显示了在左图像和右图像的成像区域与对象之间的关系的实例。

【成像操作的实例】

图14为简单地示出由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作的示图。图14显示了在从其侧边观看时由信息处理设备100执行的成像操作的情况。

具体而言，显示了一种状态，其中，将人62、房屋63以及山64作为对象，摄影师61通过信息处理设备100执行成像操作。在这种情况下，假设人62与信息处理设备100相距相对短的距离(对象距离)，山64与信息处理设备100相距相对较长的对象距离，并且房屋63位于人62与山 64之间。

【在成像区域内的重叠区域与其他区域之间的关系的实例】

图15为简单地示出在作为由本公开内容的第一实施方式中的信息处理设备100执行的成像操作的成像目标的成像区域中的重叠区域与其他区域之间的关系的一个实例的示图。图15显示了在以下情况下的一个实例，其中，在图14中示出的状态中执行成像操作。

图15的部分“a”显示了在从信息处理设备100的侧边观看时的成像区域。由虚线矩形451包围的成像区域显示了与成像装置133生成的捕捉图像对应的成像区域。而且，由虚线矩形452包围的成像区域显示了与成像装置134生成的捕捉图像对应的成像区域。

而且，每个区域H1显示了与另一成像装置生成的捕捉图像的区域不重叠的区域(在水平方向的区域)。而且，重叠区域H2显示了与另一成像装置生成的捕捉图像的a区域重叠的区域(在水平方向的区域)。

图15的部分“b”显示了在从信息处理设备100的上侧观看时的成像区域(即，在水平表面中的区域(与成像区域对应的区域))。假设矩形461 显示了在图15的部分“a”中所示的人62的位置，矩形462显示了在图 15的部分“a”中所示的房屋63的位置，并且矩形463显示了在图15的部分“a”中所示的山64的位置。要注意的是，在图15的部分“b”中，为了进行描述，以比在图14中所示的人62、房屋63以及山64更窄的间距设置人、房屋以及山。

通过这种方式，设置成像装置133和134，以便由用作成像装置133 的成像目标的区域以及用作成像装置134的成像目标的区域构成的成像目标区域在特定方向比用作各个成像装置133和134的成像目标的区域更大。该特定方向是设置成像装置133和134的表面的纵向。而且，设置成像装置133和134，以便在特定方向设置用作成像装置133的成像区域的区域以及用作成像装置134的成像区域的区域。而且，设置成像装置133 和134，以便成像装置133的长边方向和成像装置134的长边方向在特定方向几乎彼此一致。在这种情况下，设置成像装置133和134，以便与用作每个成像装置133和134的成像目标的区域的纵横比相比，由用作成像装置133的成像区域的区域以及用作成像装置134的成像区域的区域构成的成像目标区域的纵横比更大。而且，设置成像装置133和134，以便在用作成像装置133的成像区域的区域的特定方向的端部部分和在用作与成像装置133相邻设置的成像装置134的成像目标的区域的特定方向的端部部分彼此重叠。

【在成像区域内的评估值的实例】

图16为示出在由本公开内容的第一实施方式中的信息处理设备100 执行的成像操作的成像目标处设置的成像区域中的评估值的一个实例的示图。在图16的部分“a”和“b”中所示的曲线图中，垂直轴表示在检查与对象相距的距离及其分布时获得的评估值(例如，具有高空间频率值的像素数据项的数量)。而且，水平轴表示从信息处理设备100到对象(聚焦对象)的距离(对象距离)。

图16的部分“a”显示了在图15中所示的成像区域内的重叠区域H2 中的评估值。而且，图16的部分“b”显示了在图15中所示的成像区域内的除了重叠区域H2之外的重叠区域H1中的评估值。

而且，假设在图16的部分“a”中所示的圆圈701以及在图16的部分“b”中所示的圆圈711表示在相同距离处的评估值。而且，在图16的部分“a”中所示的圆圈702以及在图16的部分“b”中所示的圆圈712 表示在相同距离处的评估值。同样，在图16的部分“a”中所示的圆圈703 到706以及在图16的部分“b”中所示的圆圈713到716分别表示在相同距离处的评估值。

在图16的部分“a”中所示的圆圈706以及在图16的部分“b”中所示的圆圈716表示山64的位置。换言之，在图16的部分“a”中所示的圆圈706以及在图16的部分“b”中所示的圆圈716表示进行焦点对准山 64的图像的像素数据项的数量。而且，在图16的部分“b”中所示的圆圈 712表示人62的位置。换言之，在图16的部分“b”中所示的圆圈712 表示进行焦点对准人62的图像的像素数据项的数量。而且，在图16的部分“b”中所示的圆圈714表示房屋63的位置。换言之，在图16的部分“b”中所示的圆圈714表示进行焦点对准房屋63的图像的像素数据项的数量。

而且，在上述表达式13中，将满足位于距离L1处的对象的图像的位移量的百分比Z1等于或小于A％的关系的距离L0的最小值设为阈值 th1。

例如，将在信息处理设备100中的第一成像系统191的光轴401与第二成像系统192的光轴402之间的垂直距离D设为10mm。而且，在下部成像系统(第一成像系统191)和上部成像系统(第二成像系统192)的垂直方向与成像区域对应的角度θ被设为60度。而且，例如，位于距离 L1处的对象的图像的位移量的百分比Z的允许范围A被设为等于或小于 0.5％。例如，该位移量在通常称为L尺寸照片(水平89mm，垂直127mm) 的照片中与大约0.45mm的位移对应。如果成立D＝10(mm)、θ＝60(°) 以及Z＝0.005(0.5％)，那么从表达式13中确定用于L0的阈值th1等于 3.4(m)。即，在重叠区域H2内与最近对象相距的距离L0等于或大于3.4(m) 时，可获得背景的位移量等于或小于预定的允许范围的图像。更具体而言，在距离L0等于或大于3.4(m)时，图像根据表达式3进行相对于位于距离 L0处的对象消除左右图像的位移量的处理，可获得背景的位移量等于或小于预定的允许范围的图像。

如图15中所示，包含在重叠区域H2内的对象仅仅是山64。因此，在包含在重叠区域H2内的对象之中的最近对象也是山64。在这种情况下，在重叠区域H2内与最近对象相距的距离L0可被视为无穷大。

通过这种方式，在距离L0可被视为无穷大时，应根据表达式3调整的左右图像的位移量等于0。即，无需根据表达式3调整左右方向，可获得消除位于距离L0处的对象的图像的位移量的图像。

而且，在这种情况下，相对于根据表达式13确定的距离L0，距离 L0的值大于阈值3.4m。因此，可获得背景的位移量也等于或小于预定的允许范围的图像。即，最近对象与背景一致，因此，背景的位移量等于最近对象的位移量，即，0。而且，也是在进行计算时，背景的位移量的最大值为Z0，因此，在成立L0＝∞时，Z0＝0成立，并且背景的位移量变为0。

而且，如图15中所示，包含在区域H1(而非重叠区域H2)内的对象是人62、房屋63以及山64。因此，在包含在区域H1(而非重叠区域 H2)内的对象之中的最近对象是人62。如在图16的部分“b”中所示，人62位于比阈值th1更小的距离处。人62包含在区域H1(而非重叠区域 H2)内。因此，不需要根据人62的对象距离校正形成全景图像的左图像和右图像。

通过这种方式，即使最靠近信息处理设备100的对象的距离小于阈值 th1，在该对象不包含在重叠区域H2内时，对象距离也不需要用于校正形成全景图像的左图像和右图像。因此，在这种情况下，无需改变对象的布置以便包含在全景图像内的对象的距离等于或大于阈值th1，根据与包含在重叠区域H2内的对象相距的距离L0以及表达式3，对左右图像进行调整。通过这种方式，甚至无需改变对象的布置，也能够获得以下全景图像，位于距离L0处的对象的图像不位移，作为背景的对象的图像的位移量等于或小于预定的允许范围。

在上文中，已经显示了在以下情况下的一个实例：位于小于阈值th1 的对象距离处的对象不包含在重叠区域H2内。接下来，显示在以下情况下的一个实例：位于等于或大于阈值th1的对象距离处的对象包含在重叠区域H2内，并且显示在以下情况下的一个实例：位于小于阈值th1的对象距离处的对象包含在重叠区域H2内。

首先，描述一种情况，其中，靠近信息处理设备100的对象(近距离对象)和远离信息处理设备100的对象(长距离对象)混合。更具体而言，描述一种情况，其中，近距离对象位于成像区域的重叠区域内，并且与近距离对象相距的对象距离L0等于或大于根据表达式13确定的距离L0的阈值th1。

【在成像区域中的重叠区域与其他区域之间的关系的实例】

图17为简单地示出在作为由本公开内容的第一实施方式中的信息处理设备100执行的成像操作的成像目标设置的成像区域中的重叠区域与其他区域之间的关系的一个实例的示图。要注意的是，在图17的部分“a”和“b”中所示的关系与图15的部分“a”和“b”相同。因此，在图15 中的部分共有的部分由相同的参考符号表示，并且省略其中的一些描述。

在图17的部分“b”中所示的矩形464表示在图17的部分“a”中所示的人65的位置。

【在成像区域内的评估值的实例】

图18为示出作为由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作的成像目标的成像区域的评估值的一个实例的示图。要注意的是，在图18的部分“a”和“b”中所示的示图与在图16的部分“a”和“b”中所示的示图相同。而且，在图18的部分“a”和“b”中所示的关系与在图16的部分“a”和“b”中所示的关系相同。即，假设在图18的部分“a”中所示的圆圈721和726以及在图18的部分“b”中所示的圆圈731到736分别表示在相同距离处的评估值。

在图18的部分“a”中所示的圆圈724表示在图17的部分“a”中所示的人65的位置。即，在图18的部分“a”中所示的圆圈724表示人65 进行焦点对准的图像的像素数据项的数量。而且，在图18的部分“b”中所示的圆圈734的邻近性表示在图17的部分“a”中所示的房屋63的位置。即，在图18的部分“b”中所示的圆圈734的邻近性表示房屋63进行焦点对准的图像的像素数据项的数量。而且，在图18的部分“b”中所示的圆圈736表示在图17的部分“a”中所示的山64的位置。即，在图 18的部分“b”中所示的圆圈736表示山64进行焦点对准的图像的像素数据项的数量。

如图17中所示，包含在重叠区域H2内的对象仅是人65。因此，在包含在重叠区域H2内的对象之中的最近对象也是人65。在这种情况下，如图18的部分“a”中所示，人65的对象距离等于或大于阈值th1，因此，满足上述表达式13。

在这种情况下，根据与在包含在重叠区域H2内的对象之中的最近对象(人65)相距的对象距离L0以及从表达式3中确定的位移量的百分比 Z0，调整左右图像。通过该处理，可获得全景图像，其中，位于对象距离 L0处的人65的图像在左右图像之间的上下方向不位移。

而且，在图17和18中所示的情况下，相对于根据表达式13确定的距离L0，与人65相距的距离L0的值大于阈值th1。因此，可获得作为人 65的背景的对象(山64)的位移量也等于或小于预定的允许范围的全景图像。在此处，显示了一种情况，其中，D＝10(mm)，θ＝60(°)，与在重叠区域H2内的最近对象(人65)相距的距离L0等于3.4m，并且与作为人65的背景的对象(山64)相距的距离L1变成无穷大。在这种情况下的对象布置中，作为背景的对象(山64)的位移量最大，并且位移量的百分比是0.5％(在L尺寸的照片中大约为0.45mm)。例如，假设一种情况，其中，人65的背景由位于山64的前面的对象(例如，位于L1＝7.2m处的对象)覆盖。在这种情况下，用作背景的对象的位移量的百分比是0.25％ (在L尺寸的照片中大约为0.23mm)。

接下来，描述了以下情况：在近距离对象位于成像区域的重叠区域内并且与近距离对象相距的对象距离L0小于根据表达式13确定的距离L0 的阈值th1时，距离对象与长距离对象混合。

【在成像区域中的重叠区域与其他区域之间的关系的实例】

图19为简单地示出在作为由本公开内容的第一实施方式中的信息处理设备100执行的成像操作的成像目标设置的成像区域中的重叠区域与其他区域之间的关系的一个实例的示图。要注意的是，在图19的部分“a”和“b”中所示的关系与图15的部分“a”和“b”相同。因此，在图15 中的部分共有的部分由相同的参考符号表示，并且省略其中的一些描述。

在图19的部分“b”中所示的矩形465表示在图19的部分“a”中所示的人66的位置。

【在成像区域内的评估值的实例】

图20为示出作为由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作的成像目标的成像区域的评估值的一个实例的示图。要注意的是，在图20的部分“a”和“b”中所示的示图与在图16的部分“a”和“b”中所示的示图相同。而且，在图20的部分“a”和“b”中所示的关系与在图16的部分“a”和“b”中所示的关系相同。即，在图 20的部分“a”中所示的圆圈741到746以及在图20的部分“b”中所示的圆圈751到756分别表示在相同距离处的评估值。

在图20的部分“a”中所示的圆圈742表示人66的位置。即，在图 20的部分“a”中所示的圆圈742表示人66进行焦点对准的图像的像素数据项的数量。而且，在图20的部分“b”中所示的圆圈754表示房屋63 的位置。即，在图20的部分“b”中所示的圆圈754表示房屋63进行焦点对准的图像的像素数据项的数量。而且，在图20的部分“a”中所示的圆圈746以及在图20的部分“b”中所示的圆圈756表示山64的位置。即，在图20的部分“a”中所示的圆圈746以及在图20的部分“b”中所示的圆圈756表示山64进行焦点对准的图像的像素数据项的数量。

如图19中所示，包含在重叠区域H2内的对象是人66和山64。因此，在包含在重叠区域H2内的对象之中的最近对象是人66。在这种情况下，如图20的部分“a”中所示，人66的对象距离小于阈值th1，因此，不满足上述表达式13。

通过这种方式，在最靠近信息处理设备100的对象的对象距离小于阈值th1并且对象包含在重叠区域H2内的情况下，通知用户表示事实的警告。通过该通知，促使用户改变包含在全景图像内的对象的布置或者改变信息处理设备100的保持方向。例如，发出用于促使移动对象位置的警告，以便最靠近信息处理设备100的对象的对象距离等于或大于阈值th1。另外，发出用于促使移动对象位置或者改变用户保持信息处理设备100的方向的警告，以便最靠近信息处理设备100的对象位于重叠区域H2之外。通过发出这种警告并且适当地改变包含在全景图像内的对象的布置或者用户保持信息处理设备100的方向，能够获得一个合适的全景图像。

接下来，描述一种情况：对象位于成像区域的一部分重叠区域内，并且在对象的背面看见图案化的背景，而比该对象更近的对象位于除了重叠区域以外的区域内。

【成像操作的实例】

图21为简单地示出由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作的示图。

图21显示了在从其侧边观看时由信息处理设备100执行的成像操作的状态。要注意的是，在图21中所示的摄影师61、房屋63以及山64与在图13中所示的摄影师、房屋以及山相似。即，图21显示了一个实例，其中，设置人67和人68，代替在图13中所示的人62。在这种情况下，假设人67与信息处理设备100相距较短的距离(对象距离)，山64与信息处理设备100相距较长的对象距离，并且房屋63和人68位于人67与山64之间。

【在成像区域中的重叠区域与其他区域之间的关系的实例】

图22为简单地示出在作为由本公开内容的第一实施方式中的信息处理设备100执行的成像操作的成像目标的成像区域中的重叠区域与其他区域之间的关系的一个实例的示图。要注意的是，在图22的部分“a”和“b”中所示的关系与图15的部分“a”和“b”相同。因此，与图15中的部分共有的部分由相同的参考符号表示，并且省略其中的一些描述。而且，在图22中，显示了在图21中所示的状态中进行成像的情况下的一个实例。

在图22的部分“b”中所示的矩形466表示在图22的部分“a”中所示的人67的位置。在图22的部分“b”中所示的矩形467表示在图22的部分“a”中所示的人68的位置。

通过这种方式，显示了在以下情况下的一个实例：对象(人68)位于成像区域的部分重叠区域H2内，并且在对象的背面看见具有图案的背景(山64)，而比该对象更近的对象(人67)位于重叠区域H2以外的区域H1内。

【在成像区域内的评估值的实例】

图23为示出作为由本公开内容的第一实施方式中的信息处理设备 100执行的成像操作的成像目标的成像区域中的评估值的一个实例的示图。要注意的是，在图23的部分“a”和“b”中所示的示图与在图16的部分“a”和“b”中所示的示图相同。而且，在图23的部分“a”和“b”中所示的关系与在图16的部分“a”和“b”中所示的关系相同。即，在图23的部分“a”中所示的圆圈761到766以及在图23的部分“b”中所示的圆圈771到776分别表示在相同距离处的评估值。

在图23的部分“b”中所示的圆圈771表示人67的位置。即，在图 23的部分“b”中所示的圆圈771表示人67进行焦点对准的图像的像素数据项的数量。而且，在图23的部分“a”中所示的圆圈764表示人68的位置。即，在图23的部分“a”中所示的圆圈764表示人68进行焦点对准的图像的像素数据项的数量。而且，在图23的部分“b”中所示的圆圈 774表示房屋63的位置。即，在图23的部分“b”中所示的圆圈774表示房屋63进行焦点对准的图像的像素数据项的数量。而且，在图23的部分“a”中所示的圆圈766以及在图20的部分“b”中所示的圆圈776表示山64的位置。即，在图23的部分“a”中所示的圆圈766以及在图20的部分“b”中所示的圆圈776表示山64进行焦点对准的图像的像素数据项的数量。

如图22中所示，包含在重叠区域H2内的对象是人68和山64。而且，人67位于人68(信息处理设备100的侧边)的前侧。因此，在包含在成像区域内的对象之中的位于前侧的对象是人67。在这种情况下，如图23 的部分“b”中所示，人67的对象距离(圆圈771)小于阈值th1，并且人 67是包含在重叠区域H2以外的区域内的对象。而且，包含在重叠区域 H2内的对象(人68)的对象距离(圆圈764)等于或大于阈值th1。

通过这种方式，即使最靠近信息处理设备100的对象的距离小于阈值 th1，在该对象不包含在重叠区域H2内时，该对象距离也不需要用于校正形成全景图像的左图像和右图像。因此，在这种情况下，无需改变对象的布置以便包含在全景图像内的对象的距离等于或大于阈值th1，根据与包含在重叠区域H2内的对象相距的距离L0以及表达式3，对左右图像进行调整。通过这种方式，甚至无需改变对象的布置，也可获得以下全景图像，位于距离L0处的对象的图像不位移，作为背景的对象的图像的位移量等于或小于预定的允许范围。

【通知实例】

图24到26均为示出本公开内容的第一实施方式中的信息处理设备 100中通知用户的实例的示图。

如上所述，在位于与信息处理设备100相距的距离(对象距离)小于阈值th1处的对象位于重叠区域H2内的情况下，人们担心全景图像的位移在垂直方向增大。有鉴于此，在这种状态中进行成像时，通过通知用户事实，能够防止记录的全景图像的位移在垂直方向增大。例如，能够警告用户，以便最近对象位于重叠区域H2之外或者以便最近对象的对象距离等于或大于阈值th1。而且，例如，能够警告用户改变信息处理设备100 的保持方向，以便最近对象位于重叠区域H2之外。在图24到26中显示了那些通知实例。

图24示出了通过通知用户重叠区域来进行警告的一个实例。

图24的部分“a”显示了一个显示实例，其中，通过在显示单元140 上显示的即时取景图像上显示指示重叠区域的显示信息581，来进行警告。如图24的部分“a”中所示，通过改变重叠区域的颜色，可显示显示信息 581。而且，通过对重叠区域加阴影、使重叠区域闪烁或者改变重叠区域的亮度，可显示显示信息581。

图24的部分“b”显示了一个显示实例，其中，通过在显示单元140 上显示的即时取景图像上显示指示重叠区域的显示信息582，来进行警告。如图24的部分“b”中所示，指示重叠区域的框线可作为显示信息582来显示。要注意的是，通过使框线闪烁或者改变框线的颜色或亮度，可显示显示信息582。

图25示出了通过通知用户包含在重叠区域内的对象来进行警告的一个实例。

图25的部分“a”显示了一个显示实例，其中，通过在显示单元140 上显示的即时取景图像上提取在包含在重叠区域内的对象之中的最近对象的轮廓并且显示指示轮廓的线条作为显示信息583，来进行警告。要注意的是，通过使指示轮廓的线条闪烁或者改变指示轮廓的颜色和亮度，可显示显示信息583。

图25的部分“b”显示了一个显示实例，其中，通过在显示单元140 上显示的即时取景图像上提取在包含在重叠区域内的对象之中的最近对象的轮廓并且显示通过改变轮廓的颜色获得的显示信息584，来进行警告。要注意的是，通过使轮廓中的图像闪烁或者改变在轮廓中的图像以及亮度，可显示显示信息584。

图26示出了由消息显示或音频输出来进行警告的一个实例。

图26的部分“a”显示了一个显示实例，其中，通过在显示单元140 上显示的即时取景图像上显示消息信息585，来进行警告。要注意的是，可使消息信息585闪烁或者改变消息信息585的颜色或亮度。

图26的部分“b”显示了一个显示实例，其中，通过使用声音输出消息586，来进行警告。要注意的是，除了消息显示和音频输出，通过报警或者通过振动信息处理设备100，可进行警告。

或者，可在显示单元140上显示的即时取景图像上显示指示在图26 的部分“a”和“b”中显示的消息的标记。而且，通过点亮特定灯，可进行警告。

【信息处理设备的操作的实例】

图27为示出由本公开内容的第一实施方式中的信息处理设备100进行全景图像记录控制处理的处理程序的一个实例的流程图。要注意的是，图27显示了在捕捉静态图像的情况下的一个处理程序实例。

首先，进行所谓的即时取景显示(步骤S901)。即，由成像单元510 捕捉的成像区域是移动图像并且在显示单元140上实时显示(步骤S901)。随后，控制单元570确定信息处理设备100的用户是否已经做出进行聚焦操作的指令(步骤S902)。例如，确定是否半按快门按钮(步骤S902)。

如果在步骤S902中确定已经半按快门按钮，那么控制单元570在成像单元510上进行自动聚焦控制(步骤S903和S903)。作为自动聚焦控制处理，执行第一处理(步骤S903)和第二处理(步骤S904)。

在该第一处理中，成像单元510的聚焦点从进入/来自成像单元510 的近侧连续地变成远侧，而在每个焦距处捕捉图像。而且，在所捕捉的每个图像中，分析包含在其内的图像的空间频率。这样做，能够获得关于从成像单元510到对象的距离及其分布的信息。根据该信息，确定作为聚焦目标的对象。而且，在关于与对象相距的距离以及分布的上述信息中，获得从成像单元510到在重叠区域中的最近对象的距离L0的值，在该重叠区域中，构成成像单元510的左右成像单元的成像区域彼此重叠(步骤 S903)。要注意的是，步骤S903是在权利要求的范围内描述的计算程序的一个实例。

随后，在自动聚焦控制的第二处理中，控制单元570控制在步骤S903 中被确定为聚焦目标的对象上聚焦的成像单元510(步骤S904)。而且，成像单元510调整在被确定为聚焦目标的对象上聚焦的焦距(步骤S904)。

随后，判断单元530确定与在步骤S903中获得的最近对象相距的距离L0是否等于或大于阈值th1(在图16等中显示)(步骤S905)。要注意的是，步骤S905是在权利要求的范围内描述的确定程序的一个实例。

如果距离L0等于或大于阈值th1(步骤S905)，那么控制单元570 确定是否进行计数(步骤S906)。然后，如果进行计数(步骤S906)，那么终止计数(步骤S907)并且该处理继续进入步骤S913。否则，如果未进行计数(步骤S907)，那么该处理继续进入步骤S913。

而且，如果距离L0小于阈值th1(步骤S905)，那么控制单元570 确定是否进行计数(步骤S908)。如果未进行计数(步骤S908)，那么控制单元570开始计数(步骤S909)并且输出警告信息(步骤S910)。否则，如果进行计数(步骤S908)，那么该处理继续进入步骤S910。

警告信息与例如在图24到26中所示的消息586以及显示信息581 到584、消息信息585对应。而且，可通过例如用户操作设置作为输出目标的警告信息。即，能够根据用户偏好输出警告信息。

而且，可继续输出或者可规律或不规律地输出警告信息，直到执行某个用户操作或者直到计数值达到阈值。

而且，在输出警告信息(步骤S910)之后，控制单元570确定计数值是否达到阈值(步骤S911)。如果计数值还未达到阈值(步骤S911)，那么处理返回步骤S901。否则，如果计数值已达到阈值(步骤S911)，那么控制单元570终止计数(步骤S912)。

控制单元570确定是否已经进行记录指令操作(步骤S913)。如果未进行记录指令操作，那么处理返回步骤S901。否则，如果已经进行记录指令操作(步骤S913)，那么图像合成单元520根据距离L0校正并且组合左图像和右图像的图像数据项(步骤S914)。即，使用表达式3并且根据距离L0，图像合成单元520通过使左图像和右图像在垂直方向的部分区域彼此组合，使左图像和右图像彼此组合(步骤S914)。随后，记录控制单元540在储存单元550中记录组合的图像数据项(步骤S915)。

通过这种方式，图像合成单元520生成合成图像，其中，相对于从成像装置133和134中获得的多个图像，图像的至少部分区域在特定方向彼此组合。而且，图像合成单元520根据包含在图像之间的重叠区域内的对象的对象距离，校正从成像装置133和134中获得的多个图像之间在垂直方向的位移。换言之，图像合成单元520根据包含在合成图像内的对象的对象距离，校正从成像装置133和134中获得的多个图像之间在垂直方向的位移。要注意的是，由于成像装置133和134在垂直方向布置而造成位移。而且，垂直方向是与设置成像装置133和134的表面的纵向(特定方向)几乎垂直的方向。

而且，图像合成单元520根据包含在多个图像之间的重叠区域内的对象的对象距离，调整用于合成图像的区域。换言之，图像合成单元520根据包含在合成图像内的对象的对象距离，调整用于合成图像的图像区域。

而且，如果与包含在从成像装置133和134中获得的多个图像之间的重叠区域内的特定对象相距的对象距离小于阈值，那么控制单元570进行预定通知。例如，控制单元570进行用于促使改变包含在重叠区域内的对象的布置的通知或者用于指示图像在合成图像中位移的通知。而且，在与包含在合成图像内的特定对象相距的对象距离小于阈值时，控制单元570 进行预定通知。例如，控制单元570进行用于促使改变包含在合成图像内的对象的布置的通知或者用于指示图像在合成图像中位移的通知。特定对象可为最靠近信息处理设备100的对象、由聚焦操作设置为聚焦目标的对象、由脸部检测单元检测的对象以及由移动对象检测单元检测的对象中的至少一个。要注意的是，移动对象检测单元用于检测包含在图像内的移动对象。例如，可使用针对每个像素计算图像的每个像素值的差值并且检测作为移动对象区域的区域的检测方法，在该区域中，每个像素的所计算的差值等于或大于固定值。要注意的是，图像合成单元520是在权利要求的范围内描述的校正单元和调整单元的一个实例。

而且，判断单元530计算包含在合成图像的重叠区域内或者在合成图像内的对象的对象距离，通过使由设置在特定方向的多个成像单元生成的图像的端部彼此重叠和组合来生成该合成图像。而且，判断单元530根据对象距离，对用于合成图像的图像区域进行判断。或者，判断单元530根据对象距离，对包含在合成图像内的对象的设置进行判断。

通过这种方式，如果位于小于阈值th1的对象距离处的对象位于全景图像内的重叠区域内，那么通知用户指示该事实的警告，并且促使用户改变包含在全景图像内的对象的布置。而且，如果具有这种对象，那么在预定时段(直至计数值达到阈值的时段)禁用接收记录指令操作。这样做，可防止记录造成超过允许范围的垂直方向位移的全景图像。即，可生成和记录合适的全景图像。

要注意的是，可以想象，用户希望记录具有在垂直方向造成的位移超过允许范围的成分(在全景图像中的重叠区域内具有位于小于阈值th1的对象距离处的对象的成分)的全景图像。有鉴于此，如果通知用户指示事实的警告之后长达预定时间不改变包含在全景图像内的对象的布置，那么允许接收记录指令操作，并且记录具有这种成分的全景图像。这样做，能够根据用户的偏好生成合适的全景图像。在这种情况下，根据从信息处理设备100到最近对象的距离L0，记录全景图像，该全景图像经历了在位于左右图像之间的距离L0处的对象的上下方向消除位移量的处理。应注意的是，距离L0小于阈值th1，因此，可记录以下全景图像，其中，作为背景的对象在左右图像之间具有在上下方向上超过允许范围A的位移量。

通过这种方式，信息处理设备100是在全景图像的短边方向设置两个成像系统(成像装置133和134以及光学系统131和132)的信息处理设备。即，信息处理设备100处于特别的设置中，其中，在设置两个成像系统(成像装置133和134以及光学系统131和132)的“垂直方向”的位置不同。因此，在与全景图像的短边平行的表面(所谓的“垂直表面”) 中，在这两个成像单元的垂直方向的成像区域在上下方向位移。

有鉴于此，在自动聚焦处理期间，信息处理设备100确定从信息处理设备100到在两个成像系统的成像区域彼此重叠的区域中的最近对象的距离L0。然后，信息处理设备100根据距离L0，校正图像的位移，以便对象在左右图像之间的上下方向彼此一致。应注意的是，通过比较在左右图像之间的上下方向的对象的背景的位移量与允许值，信息处理设备100确定图像是否可彼此组合以生成合适的全景图像。然后，如果必要的话，信息处理设备100根据其确定结果，向用户发布警告。例如，如果确定背景的位移量较大，那么信息处理设备100向用户发布警告。而且，信息处理设备100通知用户特定的改进建议以及警告。作为特定的改进建议，例如，进行通知，用于促使用户增大在成像区域彼此重叠的区域(重叠区域)中的最近对象与信息处理设备100之间的距离。而且，例如，可进行用于促使将对象移动到重叠区域之外的通知或者用于促使用户(摄影师)改变信息处理设备100的保持方向的通知，以便对象位于重叠区域之外。通过根据这种通知执行改进建议，用户可捕捉合适的全景图像。

<2、第二实施方式>

在本公开内容的第一实施方式中，已经显示了实例，其中，包括两个成像系统的信息处理设备用于生成全景图像。本公开内容的实施方式也适用于包括三个以上成像系统的信息处理设备。

有鉴于此，在本公开内容的第二实施方式中，显示了一个实例，其中，包括三个成像系统的信息处理设备用于生成全景图像。要注意的是，通过修改在图1等中所示的一部分信息处理设备100，获得在本公开内容的第二实施方式中的信息处理设备。因此，由信息处理设备100的部分共有的部分由相同的参考符号表示并且省略其中的一些描述。

【信息处理设备的外观配置实例】

图28为示出在本公开内容的第二实施方式中的信息处理设备600的外观配置实例的示图。

图28的部分“a”显示了信息处理设备600的顶视图。图28的部分“b”显示了信息处理设备600的前视图(设置显示单元140的表面)。而且，图28的部分“c”显示了信息处理设备600的后视图(在从设置显示单元140的表面中观看时的背面)。图28的部分“d”显示了信息处理设备600的侧视图。要注意的是，图28的部分“a”到“d”分别与图1的部分“a”到“d”对应。而且，由相同的参考符号表示与图1中所示的信息处理设备100的部分共有的部分。

信息处理设备600包括确定键111、显示单元140以及成像单元610。要注意的是，信息处理设备600与在图1中所示的信息处理设备100几乎相同，除了设置构成成像单元610的三个成像系统(光学系统611到613 以及成像装置614到616)这一点以外。因此，在此处不详细对其进行描述。

如在图28的部分“a”中所示，假设在三个透镜组之中的中间透镜组 (光学系统612)中的光轴(穿过光学系统612并且进入成像装置615的光轴622)与显示单元140的显示表面正交(或几乎正交)。而且，如在图 28的部分“a”中所示，构成成像单元610的两个成像系统(光学系统611 和613以及成像装置614和616)的光轴称为光轴621和623。在这种情况下，由光轴621和光轴622构成的角与由光轴623和光轴622构成的角相同。即，排列两个成像系统(光学系统611和613以及成像装置614和 616)，以便两个成像系统(光学系统611和613以及成像装置614和616) 的光轴621和623关于光轴622轴对称。要注意的是，在水平方向(在图 28的部分“b”中所示的信息处理设备600的显示单元140和壳体的长边方向)的三个光学系统(透镜组)611到613之中的位置关系与图2到5 中所示的实例相同。即，在水平方向的三个光学系统(透镜组)611到613 之中的位置关系取决于三个成像系统的三个光轴621到623相交的位置。例如，在三个光轴在光学系统(透镜组)的位置相交的情况下，在水平方向的三个光学系统(透镜组)的位置彼此一致。在图29的部分“b”中显示该实例。而且，在三个光轴相交的位置从光学系统(透镜组)朝着成像装置移动时，光学系统(透镜组)的位置在水平方向上移开。在图28中所示的实例是光学系统(透镜组)611到613在水平方向的位置彼此隔开的情况下的一个排列实例。

而且，通过合成由三个成像系统(光学系统611到613以及成像装置 614到616)生成的图像(左图像、中间图像以及右图像)，信息处理设备 600生成全景图像。在这种情况下，以包含在每个生成的图像(左图像、中间图像以及右图像)的重叠区域内的对象作为参考进行每个上述判断。具体而言，确定在包含在左图像和中间图像的重叠区域以及中间图像和右图像的重叠区域内的对象中最靠近信息处理设备100的对象的对象距离是否等于或大于阈值th1。然后，如果对象距离小于阈值th1，那么通知用户指示该事实的警告，并且敦促用户改变包含在全景图像内的对象的排列。即，敦促用户改变包含在全景图像内的对象的排列，以便包含在重叠区域内的对象的对象距离大于阈值th1。

通过这种方式，光学系统612和光学系统611和613在与壳体的一个表面的纵向(特定方向)几乎垂直的垂直方向设置在该一个表面内，以便光学系统612的光轴与显示单元140的显示表面垂直。

在本公开内容的第二实施方式中，由三个成像系统之中的中间成像系统(光学系统612和成像装置615)生成的图像(中间图像)是全景图像的中间部分中的图像。因此，即使相对靠近信息处理设备600的对象包含在全景图像的中间部分，也能够适当地生成全景图像。

<3、变形例>

在根据本公开内容的第一和第二实施方式的每个中，已经显示了以下实例，其中，排列多个成像系统，以便多个成像系统相对于信息处理设备的壳体的短边方向处于倾斜方向。多个成像系统也可排列为与信息处理设备的壳体的短边方向平行。有鉴于此，在后文中，显示了以下实例，其中，多个成像系统排列为与信息处理设备的壳体的短边方向平行。

【信息处理设备的外观配置实例】

图29为示出在本公开内容的实施方式的一个变形例中的信息处理设备630和650的外观配置实例的示图。

图29的部分“a”显示了信息处理设备630的前视图(设置显示单元 140的表面)。而且，图29的部分“b”显示了信息处理设备650的前视图 (设置显示单元140的表面)。要注意的是，图29的部分“a”与图1的部分“b”对应。而且，图29的部分“b”与图28的部分“b”对应。而且，由相同的参考符号表示与信息处理设备100的部分共有的部分。

信息处理设备630包括确定键111和成像单元640。要注意的是，信息处理设备630也与在图1中所示的信息处理设备100相同，除了构成成像单元640的成像系统(光学系统641和642)排列为与信息处理设备630 的壳体的短边方向平行这一点以外。因此，在此处不详细对其进行描述。应注意的是，排列成像系统(光学系统641和642)，以便对于由构成成像单元640的成像系统(光学系统641和642)生成的每个图像(左图像和右图像)，具有重叠区域。

信息处理设备650包括确定键111和成像单元660。要注意的是，信息处理设备650与图28中所示的信息处理设备600几乎相同，除了构成成像单元660的成像系统(光学系统661到663)排列为与信息处理设备 650的壳体的短边方向平行这一点以外。因此，在此处不详细对其进行描述。应注意的是，假设，排列成像系统(光学系统661到663)，以便对于由构成成像单元660的成像系统(光学系统661到663)生成的图像(左图像、中间图像以及右图像)，在图像之间具有重叠区域。

通常，可以想象，在信息处理设备中，光学中心排列线(链接多个成像系统的光学中心的线)与壳体的纵向平行，并且在壳体的短边(壳体的端部部分在纵向上的侧边)的中心附近形成光学中心排列线。然而，在通过这种方式排列成像系统(光学系统)时，人们担心难以设计具有除照片拍摄功能以外的功能的电子基板。例如，在设计在信息处理设备的壳体中的电子基板时，需要切掉一部分电子基板，以便放置避免多个成像系统的电子基板。在这种情况下，例如，如果大量形成该剪切，以朝着电子基板的中心延伸，那么人们担心设计电子基板的自由度变差。

在信息处理设备的元件之中，均由透镜和成像装置构成的很多成像系统元件具有较大高度。因此，在排列成像系统元件，以便光学中心排列线形成为与在壳体的短边(在壳体的纵向上的端部部分的侧边)的中心附近的壳体的纵向平行时，人们担心干扰电子基板的设置。

有鉴于此，在本公开内容的实施方式中，在显示单元的短边方向(或其倾斜方向)排列多个成像单元。这样做，不需要大量形成朝着电子基板的中心的信息处理设备的电子基板的剪切，因此，能够增强设计电子基板的自由度。即，能够增大信息处理设备的空间利用率。

应注意的是，如果通过这种方式排列多个成像系统，那么在图像彼此组合以生成全景图像时，人们担心在图像中的垂直方向造成位移。有鉴于此，在本公开内容的实施方式中，能够适当地校正位移。例如，确定在全景图像中的重叠区域内是否具有位于小于阈值th1的对象距离处的对象。而且，确定在所获得的全景图像中作为背景的对象的上下方向的位移是否等于或小于允许值。在具有位于小于阈值th1的对象距离处的对象时或者在作为背景的对象的上下方向的位移大于允许值时，通知用户指示事实的警告，并且促使用户改变包含在全景图像内的对象的设置。即，促使用户改变包含在全景图像内的对象的设置，以便位于包含在重叠区域内的对象处的对象距离大于阈值th1。这样做，能够生成以下全景图像，在垂直方向造成的位移在允许范围内。

即，在由多个成像单元生成的图像彼此组合以生成合成图像时，重要的是，通过考虑包含在合成图像内的对象的设置，适当地合成图像。在本公开内容的实施方式中，能够适当地生成合成图像。

要注意的是，在本公开内容的实施方式中，已经显示了以下实例，其中，在多个成像单元的成像区域彼此重叠的重叠区域内，分析从信息处理设备到最近对象的距离，并且根据距离信息，进行每个上述判断。应注意的是，可在多个成像单元的整个成像区域中，分析从信息处理设备到最近对象的距离，并且根据该分析结果，可进行每个上述判断。

如上所述，随着从信息处理设备到作为最近对象的背景的对象的距离增大时，在全景图像中的背景的位移量增大。因此，在本公开内容的实施方式中，如果与作为最近对象的背景的对象相距的距离无穷大，那么对所获得的全景图像的背景的位移量是否等于或小于允许值进行判断。然后，如果位移量等于或小于允许值，那么甚至在从信息处理设备到作为其背景的对象的距离取任何值时，位移量等于或小于允许值。通过这种方式进行判断，能够生成合适的全景图像。而且，在本公开内容的实施方式中，最近对象的距离用作在判断中使用的距离(从信息处理设备到对象的距离)。因此，在本公开内容的实施方式中，已经显示了以下实例，其中，仅仅在最近对象上分析在判断中使用的距离(从信息处理设备到对象的距离)。应注意的是，从信息处理设备到最远对象的距离不需要无穷大，并且可分析从信息处理设备到最远对象的距离。在这种情况下，使用从信息处理设备到最远对象的距离以及从信息处理设备到最近对象的距离，根据表达式 11，可确定背景的位移量是否等于或小于允许值。在这种情况下，与如果与最远对象相距的距离无穷大那么进行判断的情况相比，能够降低不能判断位移量的可能性，并且能够在成像期间增强设置对象的自由度。

而且，在本公开内容的实施方式中，已经显示了以下实例，其中，根据从信息处理设备到对象的距离，用于全景图像中的成像区域改变。应注意的是，在记录成像区域不同的全景图像而不改变像素数量时，所记录的全景图像没有固定数量的像素，并且根据从信息处理设备到对象的距离，记录像素数量不同的图像。有鉴于此，可记录具有固定数量的像素的全景图像，与从信息处理设备到对象的距离无关。例如，根据从信息处理设备到对象的距离，用于全景图像中的成像区域改变。随后，转换全景图像的分辨率，以便作为记录目标的全景图像的像素数量固定，与从信息处理设备到对象的距离无关。进行转换处理，然后，记录具有转换的分辨率的全景图像。或者，可提前设置与能够捕捉全景图像的对象相距的最短距离，并且可记录在成像区域中的全景图像具有在该对象距离处允许的位移量。在这种情况下，即使从信息处理设备到对象的距离大于最短距离，也记录在成像区域中的全景图像。因此，可记录具有固定数量的像素的全景图像，与从信息处理设备到对象的距离无关。

而且，在本公开内容的实施方式中，已经显示了以下实例，其中，分析从信息处理设备到最近对象的距离，从而确定该距离是否等于或小于阈值，并且根据该距离，在上下方向调整左右图像。应注意的是，例如，可分析从信息处理设备到特定对象的距离，而非从信息处理设备到最近对象的距离，从而确定该距离是否等于或小于阈值，并且根据该距离，在上下方向调整左右图像。要注意的是，特定对象可例如为人的脸部、人的微笑、特定人的脸部(提前登记的人的脸部)。例如，检测特定对象(例如，人的脸部)的检测电路(例如，检测人的脸部的检测电路)用于在成像区域中检测特定对象，并且获得该特定对象的位置(例如，人的脸部的位置)。然后，确定从信息处理设备到检测的特定对象的距离是否小于阈值th1，以便根据该距离，可在上下方向调整左右图像。

而且，在本公开内容的实施方式中，已经描述了以下实例，其中，生成和记录全景图像的静态图像。应注意的是，本公开内容的实施方式还适用于生成和记录全景图像的移动图像的情况。例如，在能够捕捉移动图像的信息处理设备(例如，数码摄像机(例如，相机集成记录器))的情况下，通常在开始成像之后，立即对作为一部分图像的对象进行聚焦操作。在该聚焦操作之后，以固定的焦距继续成像，并且连续分析该图像。而且，在对象移动并且对象的焦点移动时，在对象移动的方向再次进行聚焦。此时，获得有关与对象相距的距离的信息，以便可在上下方向调整左右图像，并且可判断与对象相距的距离是否等于或小于阈值。

要注意的是，本公开内容的实施方式可应用于能够使显示设备(内置式显示设备或外部显示设备)显示全景图像的信息处理设备(电子设备、图像处理设备、显示设备或显示控制设备)。例如，本公开内容的实施方式可应用于多目成像设备、数码相框、平板电脑终端、数字标识终端(例如，旋转型)、导航设备、个人计算机、便携式媒体播放器等设备。要注意的是，多目成像设备例如为多目数码相机或多目数码摄像机(例如，相机集成记录器)。

例如，在由多个成像单元生成的图像彼此组合，以生成合成图像时，重要的是，通过考虑包含在合成图像内的对象的设置，适当地合成图像。

在这种情况下，期望适当地生成合成图像。

进一步地，为了克服上述问题，本公开内容可采用以下配置(配置实例1到11)。

【配置实例1】

一种信息处理设备，包括：

多个成像单元，排列在特定方向；以及

判断单元，被配置为根据包含在合成图像的重叠区域内的对象的对象距离，对包含在合成图像内的对象的设置进行判断，其中，通过使多个成像单元生成的图像的端部部分重叠和连结来生成该合成图像。

【配置实例2】

根据配置实例1所述的信息处理设备，其中

所述判断单元被配置为如果包含在重叠区域内的对象之中最靠近信息处理设备的对象的对象距离小于阈值，那么判断应改变包含在合成图像内的对象的设置。

【配置实例3】

根据配置实例1所述的信息处理设备，其中

所述判断单元被配置为根据包含在合成图像内的对象之中最靠近信息处理设备的对象的对象距离，进行判断。

【配置实例4】

根据配置实例2或3所述的信息处理设备，其中

所述判断单元被配置为如果对象距离小于阈值，那么判断应改变包含在合成图像内的对象的设置。

【配置实例5】

根据配置实例2或3所述的信息处理设备，进一步包括

控制单元，被配置为如果判断单元判断应改变包含在合成图像内的对象的设置，那么进行用于通知应改变包含在合成图像内的对象的设置的控制。

【配置实例6】

根据配置实例5所述的信息处理设备，其中

所述控制单元被配置为执行指示应改变包含在合成图像内的对象的设置的显示或者由音频输出执行用于指示包含在合成图像内的对象的设置应改变的通知。

【配置实例7】

根据配置实例5所述的信息处理设备，其中

所述控制单元被配置为通过显示用于识别应改变设置的对象的显示信息，来进行通知。

【配置实例8】

根据配置实例1到7中任一项所述的信息处理设备，其中

所述多个成像单元被排列为使每个光轴在与特定方向几乎垂直的垂直方向偏离预定的角度，并且所述多个成像单元被配置为生成图像，所述垂直方向是纵向，进一步包括

图像合成单元，被配置为通过在垂直方向重叠和连结图像的端部部分，来生成合成图像。

【配置实例9】

根据配置实例8所述的信息处理设备，其中

所述多个成像单元被配置为根据包含在重叠区域内的对象之中最靠近信息处理设备的对象的对象距离，在特定方向校正图像的位移。

【配置实例10】

一种信息处理方法，其中

计算程序，计算包含在合成图像的重叠区域内的对象的对象距离，其中，通过使排列在特定方向的多个成像单元生成的图像的端部部分彼此重叠和连结来生成该合成图像；以及

判断程序，根据对象距离，对包含在合成图像内的对象的设置进行判断。

【配置实例11】

一种程序，使计算机执行：

计算程序，计算包含在合成图像的重叠区域内的对象的对象距离，其中，通过使排列在特定方向的多个成像单元生成的图像的端部部分彼此重叠和连结来生成该合成图像；以及

判断程序，根据对象距离，对包含在合成图像内的对象的设置进行判断。

要注意的是，已经作为实例显示了本公开内容的上述实施方式，用于体现本公开内容。在这些实施方式中的物体与在权利要求的范围内规定物体的发明具有相应关系。同样，在权利要求的范围内规定物体的发明与在由相同的名称表示的本公开内容的这些实施方式中的物体具有相应关系。应注意的是，本公开内容不限于上述实施方式，并且可通过在不背离主旨的情况下不同地修改实施方式来体现。

此外，在上述实施方式中描述的处理过程可理解为包括这系列程序的方法。而且，处理程序可理解为促使计算机执行这系列程序的程序或者储存该程序的记录介质。光盘(CD)、小型磁盘(MD)、数字化通用磁盘 (DVD)、内存卡、蓝光(注册商标)光盘等可用作记录介质。

要注意的是，本公开内容还可采用以下配置。

(1)一种信息处理设备，包括：

第一光学系统，被配置为将光输入至第一成像装置；

第二光学系统，被配置为将光输入至第二成像装置；以及

壳体，包括长度沿特定方向的一个面，所述第一光学系统和所述第二光学系统在与所述特定方向几乎正交的正交方向上被排列在所述一个面上，所述第一光学系统和所述第二光学系统被排列为使得所述第一光学系统的光轴和所述第二光学系统的光轴在所述特定方向形成角度。

(2)根据(1)所述的信息处理设备，其中

所述壳体包括显示单元，所述显示单元具有长度沿所述特定方向的矩形形状，

将在作为包括所述显示单元的长边并且与所述显示单元的显示表面垂直的面的第一表面上的投影用作对称轴，其中，所述投影是所述显示表面的垂线在所述第一表面上的投影，所述第一光学系统的所述光轴在所述第一表面上的第一投影和所述第二光学系统的所述光轴在所述第一表面上的第二投影是轴对称的。

(3)根据(2)所述的信息处理设备，进一步包括

第三光学系统，被配置为将光输入至第三成像装置，所述第三成像装置在所述正交方向上与所述第一光学系统和所述第二光学系统一起排列在所述一个面上，使得所述第三光学系统的光轴与所述显示表面正交。

(4)一种信息处理设备，包括：

第一成像装置，被配置为接收通过第一光学系统的光；

第二成像装置，被配置为接收通过第二光学系统的光；以及

壳体，包括长度沿特定方向的一个面，所述第一光学系统和所述第二光学系统在与所述特定方向几乎正交的正交方向上被排列在所述一个面上，所述第一光学系统和所述第二光学系统被排列为使得与用作所述第一成像装置和所述第二成像装置各自的成像目标的区域相比，由用作所述第一成像装置的所述成像目标的所述区域和用作所述第二成像装置的所述成像目标的所述区域构成的成像目标区域在所述特定方向更大。

(5)一种信息处理设备，包括：

第一成像装置，被配置为接收通过第一光学系统的光；

第二成像装置，被配置为接收通过第二光学系统的光；以及

壳体，包括长度沿特定方向的一个面，所述第一光学系统和所述第二光学系统在与所述特定方向几乎正交的正交方向上被排列在所述一个面上，所述第一光学系统和所述第二光学系统被排列为使得用作所述第一成像装置的成像目标的区域和用作所述第二成像装置的成像目标的区域排列在所述特定方向上。

(6)一种信息处理设备，包括：

第一成像装置，被配置为接收通过第一光学系统的光；

第二成像装置，被配置为接收通过第二光学系统的光；以及

壳体，包括长度沿特定方向的一个面，所述第一光学系统和所述第二光学系统在与所述特定方向几乎正交的正交方向上被排列设在所述一个面上，所述第一光学系统和所述第二光学系统被设置为使得所述第一成像装置的长边方向和所述第二成像装置的长边方向在所述特定方向几乎彼此一致，并且使得与用作所述第一成像装置和所述第二成像装置各自的成像目标的区域的纵横比相比，由用作所述第一成像装置的所述成像目标的所述区域和用作所述第二成像装置的所述成像目标的所述区域构成的成像目标区域的纵横比更大。

(7)根据(1)到(6)中任一项所述的信息处理设备，其中

所述第一成像装置和所述第二成像装置被排列为使得用作所述第一成像装置和所述第二成像装置中的一个成像装置的成像目标的区域在所述特定方向上的端部与用作与所述一个成像装置相邻的另一所述成像装置的成像目标的区域在所述特定方向上的端部彼此重叠。

(8)根据(7)所述的信息处理设备，进一步包括

校正单元，被配置为根据包含在从所述第一成像装置和所述第二成像装置中获得的多个图像间的重叠区域中的对象的对象距离，校正由所述第一成像装置和所述第二成像装置在所述正交方向上的设置造成的所述多个图像之间在所述正交方向上的位移。

(9)根据(7)或(8)所述的信息处理设备，进一步包括

调整单元，被配置为根据包含在从所述第一成像装置和所述第二成像装置中获得的多个图像之间的重叠区域中的对象的对象距离，调整所述多个图像的至少部分区域，所述至少部分区域用于通过在所述特定方向上彼此连结来生成合成图像。

(10)根据(7)到(9)中任一项所述的信息处理设备，进一步包括

控制单元，被配置为如果从所述信息处理设备到包含在从所述第一成像装置和所述第二成像装置中获得的所述多个图像间的重叠区域中的特定对象的对象距离小于阈值，那么执行用于敦促改变包含在所述重叠区域中的对象的布置的通知或者用于指示所述多个图像在所述合成图像中位移的通知。

(11)根据(1)到(7)中任一项所述的信息处理设备，进一步包括

图像合成单元，被配置为通过使从所述第一成像装置和所述第二成像装置中获得的多个图像的至少部分区域在所述特定方向上彼此连结来生成合成图像。

(12)根据(11)所述的信息处理设备，其中

所述图像合成单元被配置为根据包含在所述合成图像中的对象的对象距离，校正从所述第一成像装置和所述第二成像装置获得的所述多个图像间在所述正交方向上的位移。

(13)根据(11)或(12)所述的信息处理设备，其中

所述图像合成单元被配置为根据包含在所述合成图像中的对象的对象距离，调整用于所述合成图像的、从所述第一成像装置和所述第二成像装置获得的所述多个图像的所述至少部分区域。

(14)根据(11)到(13)中任一项所述的信息处理设备，进一步包括

控制单元，被配置为如果从所述信息处理设备到包含在所述合成图像中的特定对象的对象距离小于阈值，那么执行用于敦促改变包含在所述合成图像中的对象的布置的通知或者用于指示所述多个图像在所述合成图像内位移的通知。

(15)根据(10)或(14)所述的信息处理设备，其中

所述特定对象是以下各项中的至少一项：最靠近所述信息处理设备的对象、由聚焦操作设置为聚焦目标的对象、由脸部检测单元检测的对象、以及由运动对象检测单元检测的对象。

(16)根据(10)或(14)所述的信息处理设备，其中

所述控制单元被配置为通过来自音频输出单元的音频输出以及所述显示单元上的信息显示中的至少一个进行所述通知。

(17)一种信息处理方法，包括：

计算处理，计算包含在合成图像或所述合成图像的重叠区域中的对象的对象距离，通过将在特定方向上排列的多个成像单元生成的图像的端部彼此重叠和连结来生成所述合成图像；以及

判断处理，根据所述对象距离，进行关于用于所述合成图像的图像区域的判断。

(18)一种信息处理方法，包括：

计算处理，计算包含在合成图像或所述合成图像的重叠区域中的对象的对象距离，通过将在特定方向上排列的多个成像单元生成的图像的端部彼此重叠和连结来生成所述合成图像；以及

判断处理，根据所述对象距离，进行关于包含在所述合成图像中的对象的布置的判断。

(19)一种程序，使计算机执行：

计算处理，计算包含在合成图像或所述合成图像的重叠区域中的对象的对象距离，通过将在特定方向上排列的多个成像单元生成的图像的端部彼此重叠和连结来生成所述合成图像；以及

判断处理，根据所述对象距离，进行关于用于所述合成图像的图像区域的判断。

(20)一种程序，使计算机执行：

计算处理，计算包含在合成图像或所述合成图像的重叠区域中的对象的对象距离，通过将在特定方向上排列的多个成像单元生成的图像的端部彼此重叠和连结来生成所述合成图像；以及

判断处理，根据所述对象距离，进行关于包含在所述合成图像中的对象的布置的判断。

本领域的技术人员应理解的是，只要在所附权利要求或其等同物的范围内，根据设计要求和其他因素，可进行各种修改、组合、次组合以及变更。