外图像捕获 单元23朝向被摄体Hll和被摄体H12所在的方向对目标被摄体进行成像时，用户Ull观看 显示在显示单元21上的图像进行拍摄。因此，因为拍摄外图像的外图像捕获单元23的位 置实际不同于观看被摄体的用户Ull的视点位置PE11，所以可能未必获得用户Ull想要的 图像。
[0148] 在该示例中，直线AGll指示外图像捕获单元23的视场角，即拍摄范围，并且在拍 摄范围中的区域内包含两个被摄体Hll和H12。因此，如箭头A32所示，在由外图像捕获单 元23所拍摄的外图像中示出被摄体Hll和H12。因为外图像显示在显示单元21上，所以用 户Ull可以观看显示单元21进行拍摄。
[0149] 然而，实际中，用户Ull可能不期望拍摄被摄体Hll和H12这两者。在该示例中， 如图的上侧所指示的那样，当用户Ull观看显示单元21的屏幕上的被摄体Hll时，用户关 注被摄体Hll的概率高。在图10中，虚线AG12指示用户Ull的视线，即视场的范围，并且 因此，用户Ull的视线朝向被摄体Hll的方向。
[0150]因此，图像处理设备11进行外图像捕获单元23的视场角控制作为外图像的拍摄 控制。例如，图像处理设备11调整外图像捕获单元23的视场角，使得外图像捕获单元23 的拍摄范围是由直线AG13所指示的范围。
[0151]例如，通过改变外图像捕获单元23的光圈的缩放倍率、倾斜外图像捕获单元 23 (更具体地，外图像捕获单元23中的成像单元）、或者对外图像进行图像变形，来实现视 场角的调整。
[0152] 当进行外图像捕获单元23的视场角的调整（即外图像的视场角的调整）时，如箭 头A33所示，仅被摄体Hll包含在外图像中。即，外图像捕获单元23的拍摄范围变得接近 于从用户Ull的视点位置PEll观看的视场的范围。从而，可以获得在用户Ull的视点附近 示出并且接近于用户Ull想要的图像的图像，即更高质量图像。
[0153] 当进行外图像的视场角的调整作为拍摄控制时，在图2中所示的图像处理设备11 的信号处理单元53具有在图11中所示的配置。
[0154] 在图11中所示的信号处理单元53包括位置计算单元141和视场角变换处理单元 142〇
[0155] 位置计算单元141基于从内图像捕获单元22提供的内图像来计算用户（即操作 图像处理设备11的拍摄者）的视点位置，并且将视点位置提供给视场角变换处理单元142。
[0156] 视场角变换处理单元142基于从位置计算单元141提供的视点位置来计算外图像 的视场角的调整所需的信息，并且将信息提供给控制单元52。控制单元52基于来自视场角 变换处理单元142的信息来生成用于控制外图像捕获单元23的控制信息。然后，控制单元 52通过基于控制信息改变外图像捕获单元23的光圈的缩放倍率或倾斜外图像捕获单元23 的成像单元来进行视场角的调整。
[0157] 视场角变换处理单元142包括图像变形单元151。图像变形单元151通过根据来 自位置计算单元141的视点位置对来自外图像捕获单元23的外图像进行图像变形来变换 外图像的视场角，并且将改变的视场角提供给显示单元21和记录单元54。
[0158][拍摄处理的描述3]
[0159] 接下来，将参照图12的流程图来描述由图像处理设备11进行的拍摄处理，此时信 号处理单元53具有在图11中所示的配置。
[0160] 当用户选择在进行外图像的视场角的调整的同时进行拍摄的模式并且给出开始 拍摄外图像的指示时进行拍摄处理。
[0161] 因为步骤S71和步骤S72的处理与图4中的步骤Sll和步骤S12的处理相同，所 以将省略其描述。然而，在步骤S71中拍摄的外图像被提供给视场角变换处理单元142,并 且在步骤S72中拍摄的内图像被提供给位置计算单元141。
[0162] 在步骤S73中，位置计算单元141基于从内图像捕获单元22提供的内图像来计算 用户的视点位置。
[0163] 例如，位置计算单元141通过检测来自内图像的用户的脸和眼睛并且计算离内图 像捕获单元22的用户的眼睛的位置（即相对于内图像捕获单元22的到视点位置的距离、 视点位置的高度以及视点位置的右和左之间的偏离量）来获得视点位置。由此获得的视点 位置是3维位置，即将预定位置设置为基准的3维坐标系统中的用户的视点的位置。另外， 可以从内图像中的用户的瞳孔的位置获得用户的视线方向。
[0164] 在步骤S74中，控制单元52基于来自视场角变换处理单元14的信息来生成用于 改变外图像捕获单元23的视场角的控制信息。
[0165] 在步骤S75中，控制单元52通过基于所生成的控制信息控制外图像捕获单元23 来进行外图像的视场角的调整。具体地，控制单元52通过改变外图像捕获单元23的光圈 或缩放倍率、或倾斜外图像捕获单元23的成像单元，来进行视场角的调整。
[0166] 从而，将在一定程度上进行了视场角的调整的外图像被从外图像捕获单元23提 供给视场角变换处理单元142。
[0167] 在步骤S76中，图像变形单元151通过基于从位置计算单元141提供的视点位置 对从外图像捕获单元23提供的外图像进行图像变形来调整外图像的视场角，并且将调整 的视场角提供给显示单元21和记录录单元54。
[0168] 这里，将更详细地描述上述的步骤S74至步骤S76的处理。
[0169] 例如，如图13的上侧所示，当作为拍摄者的用户Ull在拍摄外图像时正常地观看 显示单元21的显示屏幕的中央时，基于用户Ull的视点位置PEll和显示单元21的显示屏 幕的位置来获得用户Ull的视线方向。在图13的上侧，用户Ull的视线如由视点位置PEll 和图像处理设备11所限定的虚线所指示。在图13中，对与图10中的部分相对应的部分给 出相同的标号，并且将适当地省略其描述。
[0170] 在步骤S74中，视场角变换处理单元142基于视点位置PEll和显示单元21的位 置来获得用户Ull的视线方向。另外，视场角变换处理单元142基于所获得的视线方向和 视点位置PEll来确定在将外图像捕获单元23实际移动到视点位置PEll时可以获取哪个 外图像。
[0171] 现在，如图的上侧的箭头Qll所示，假设外图像捕获单元23被实际移动至用户Ull 的视点位置PE11。在该示例中，可以基于外图像捕获单元23的位置、视点位置PEll和用户 Ull的视线方向来计算外图像捕获单元23到视点位置PEll的移动量、外图像捕获单元23 的旋转量等。
[0172] 因此，视场角变换处理单元142唯一地确定预定3维空间上的点在外图像捕获单 元23的移动之前被投射到显示单元21的显示屏幕上的哪个位置，以及该点在外图像捕获 单元23的移动之后被投射到显示单元21的显示屏幕上的哪个位置。
[0173] 从而，视场角变换处理单元142通过根据外图像的估计来获得三个或更多的被摄 体的3维位置（即3维空间上的位置），并且基于所获得的三个或更多的点的3维位置来计 算在前面的式（3)中示出的两个图像之间的仿射参数。
[0174] 用于获得投射点的移动之前和之后的位置的技术例如在Richard Hartley和 Andrew Zisserman在 2004年 3 月的 Cambridge University Press 中的"Multiple View Geometry in Computer Vision''中描述了。
[0175] 因此，当可以在外图像捕获单元23移动到视点位置PEll时所获得的图像中获得 用于变换外图像的仿射参数时，基于仿射参数来进行视场角的调整。
[0176] 例如，视场角变换处理单元142将所获得的仿射参数提供给控制单元52。然后，控 制单元52基于来自视场角变换处理单元142的仿射参数来生成外图像捕获单元23的视场 角，即用于改变外图像的视场角的控制信息。这里，控制信息例如是指示外图像捕获单23 的成像单元的倾斜角度或外图像捕获单元23的光圈或缩放倍率的变换量的信息。控制单 元52基于控制信息来控制外图像捕获单元23,然后进行视场角的调整。
[0177] 图像变形单元151基于仿射参数对外图像进行图像变形以调整外图像的视场角。 即，图像变形单元151通过对外图像进行信号处理（变形处理）来调整视场角。
[0178] 这里，在仿射参数中可以获得平移或旋转分量。因此，例如，缩放可以对应于在图6 中所示的Z轴方向上的平移，成像单元的倾斜可以对应于在图6中所示的X轴方向上的旋 转，并且图像变形可以对应于视场角的其他调整。在X轴方向上旋转时，可以通过使用X轴 作为旋转轴旋转成像单元来倾斜成像单元。
[0179] 通过视场角的调整，如图13的下侧所示，可以获取外图像捕获单元23看上去位于 作为拍摄者的用户Ull的视点位置PEll处的外图像。
[0180] 在该示例中，外图像AP21指示由外图像捕获单元23在视场角的调整之前所拍摄 的外图像。在外图像AP21中，被摄体Hll上的点HPll被投射到外图像AP21的中下侧。
[0181] 另一方面，外图像AP22指示由外图像捕获单元23在视场角的调整之后所拍摄的 并且由图像变形单元151进行了图像变形的外图像。在外图像AP22中，被摄体Hll上的点 HPll被投射到外图像AP22的中上侧。
[0182] 从而，当对外图像进行了视场角的调整时，可以获得用户Ull看上去通过显示单 元21观看实际的被摄体Hll的外图像，即更接近用户Ull的视点的高质量外图像。
[0183] 返回参照图12的流程图以进行描述，当对外图像进行了视场角的调整时，处理从 步骤S76进行到步骤S77,并且作为结果获得的外图像被提供给显示单元21和记录单元 54。
[0184] 在步骤S77中，显示单元21显示从视场角变换处理单元142提供的并且在视场角 的调整之后获得的外图像。
[0185] 在步骤S78中，记录单元54记录从视场角变换处理单元142提供的并且在视场角 的调整之后获得的外图像，然后拍摄处理结束。
[0186] 如上所述，图像处理设备11基于内图像来获得用户的视点位置，并且基于视点位 置来进行外图像的视场角的调整。从而，通过对外图像进行视场角的调整，可以获得根据用 户的视线的外图像。即，可以获取更接近用户的视点的更高质量外图像。
[0187] 如上所述，已经描述了通过外图像捕获单元23进行的视场角的调整和通过图像 变形单元151的图像变形进行的视场角的调整（诸如调整缩放倍率或光圈）这两者的示 例。然而，可以只进行所述视场角的调整中的一种。
[0188] [第三实施例]
[0189](信号处理单元的配置示例3)
[0190] 可以进行如下控制作为拍摄控制：从内图像检测用户的视线方向，并且与根据视 线方向获得的用户在外图像上的注视位置一致来调整焦点、亮度、白平衡等。
[0191] 在该情况下，例如，如图14的箭头A41所示，图像处理设备11拍摄作为拍摄者的 用户Ull的图像作为内图像，并且基于内图像来获得用户Ull的视点位置PE11。在图14 中，对与在图10中所示的构成元件相对应的构成元件给出相同的标号，并且将适当地省略 其描述。
[0192] 在该示例中，用户Ul 1使外图像捕获单元23朝向两个被摄体Hl 1和H12,并且拍摄 外图像。此时，将外图像捕获单元23所接收的图像显示图像处理设备11为在用户Ull侧 的表面（前表面）上安装的显示单元21上的外图像的预览图像。
[0193] 用户Ull给出进行拍摄、观看显示在显示单元21上的预览图像的指示，并且使外 图像被拍摄。在图14中，从视点位置PEll指向图像处理设备11的虚线箭头指示用户Ull 的视线。
[0194] 当图像处理设备11从内图像获得视点位置PEll时，图像处理设备11基于视点位 置PEll获得用户Ull的视线方向，并且根据视线方向指定用户Ull在外图像上的注视位 置，如箭头A42所示。
[0195] 在由箭头A42所指示的图像处理设备11中，在显示单元21上显示外图像（更具体 地，外图像的预览图像），并且假设由被摄体Hll上的星号所指示的位置是用户Ull的注视 位置。注视位置是用户的视线和显示单元21的显示屏幕彼此相交的位置，并且是用户Ull 关注的外图像上的区域的位置。
[0196] 当获得外图像上的用户Ull的注视位置时，图像处理设备11控制外图像捕获单元 23作为拍摄控制，使得位于外图像上的注视位置处的被摄体Hll被聚焦。图像处理设备11 进行亮度调整或白平衡调整，使得处于外图像上的注视位置处的被摄体Hl 1的亮度（曝光） 和白平衡是适当的。
[0197]因此，如图的右下侧所示，被摄体Hll在外图像上被聚焦，并且被摄体Hll的亮度 或白平移是适当的。即，可以通过将用户Ul 1关注的被摄体设置为基准来获取进行了聚焦、 亮度调整和白平衡调整的更高质量外图像。
[0198] 因此，当设置用户的注视区域为基准进行聚焦、亮度调整等时，在图2中所示的图 像处理