图像处理设备，图像处理系统，图像捕获系统，图像处理方法和记录介质与流程

本发明涉及图像处理设备，图像处理系统，图像捕获系统，图像处理方法，以及记录介质。

背景技术：

用广角透镜拍摄的广角图像用于拍摄诸如风景，因为图像趋向于覆盖大面积。例如，图像捕获系统捕获目标对象及其周围环境的广角图像，以及目标对象的放大图像。广角图像与放大图像结合，即使当放大表示目标对象的广角图像的一部分时，也能以高分辨率显示嵌入有放大图像的部分(参见专利文献1)。

另一方面，已经提出一种数码相机，其捕获两个半球图像，从中生成360度全天球图像(参见专利文献2)。这样的数码相机基于两个半球图像生成等距柱形投影图像(equirectangularprojectionimage)，并将该等距柱形投影图像发送到通信终端，诸如智能手机，用于向用户显示。

引文列表

专利文献

【专利文献1】日本未审查专利申请公开no.2016-96487

【专利文献2】日本未审查专利申请公开no.2012-178135

【专利文献3】日本专利申请登录no.5745134

技术实现要素：

技术问题

本发明的发明人已经实现目标对象及其周围的全天球图像可以以如上所述的类似方式与目标对象的平面图像结合。然而，如果要用目标对象的平面图像显示所述全天球图像，则这些图像的明度或颜色可能互相不同。因此，所述平面图像会从所述全天球图像突出。

有鉴于此，本发明的发明人已经考虑使用任何合适的公知方法，校正平面图像的明度，以校正曝光不同的图像数据(参见专利文献3)。然而，由于所述全天球图像倾向于遭受过度曝光或曝光不足，因为它覆盖宽广的区域，如果要简单地校正平面图像p，以匹配所述全天球图像ce的明度或颜色，则这种校正可能是不期望的。

解决问题的方案

本发明的例示实施例包括图像处理设备，其包括：

获取器，配置为获得第一图像和第二图像；

显示控制器，配置为控制显示器，以显示所述第一图像的预定区域的图像，所述第一图像与所述第二图像叠加；以及

校正单元，配置为根据在预定区域的所述第二图像的面积相对所述第一图像的预定区域面积的比率，校正所述第二图像的明度和颜色之中的至少一个。

本发明的例示实施例包括图像处理设备，其包括：

获取器，配置为获得第一图像和第二图像；

显示控制器，配置为控制显示器，以显示所述第一图像的预定区域的图像，所述第一图像与所述第二图像叠加；以及

校正单元，配置为根据所述第一图像中的视线方向与所述第二图像的中心点之间的差异，校正所述第一图像和所述第二图像中的至少一个的亮度和颜色中的至少一个。

本发明的例示实施例包括设有所述图像处理设备的图像捕获系统，图像处理系统，图像处理方法，和记录介质。

本发明的效果

根据本发明的一个或多个实施例，即使当一个图像被叠加在明度或颜色不同的其他图像，这些图像之间的明度或颜色的差异得到充分降低。

附图说明

附图旨在描述本发明的示例实施例，而不应被解释为限制其范围。除非明确说明，否则附图不应视为按比例绘制。而且，相同或相似的附图标记在若干视图中表示相同或相似的组件。

图1a，1b，1c和1d(图1)分别是根据一实施例的特殊图像捕获装置的左侧视图，后视图，俯视图和底侧视图。

图2是用于说明用户如何使用根据一实施例的图像捕获装置。

图3a，3b和3c是分别表示由根据一实施例的图像捕获装置捕获的半球图像的前侧，半球图像的背侧和以等距柱形投影表示的图像。

图4a和4b是分别表示根据一实施例的以等距柱形投影覆盖球面的图像和全天球图像。

图5是表示根据一实施例的将全天球图像设为三维实心球场合虚拟相机和预定区域的位置的图。

图6a和6b分别是图5的透视图和根据一实施例的在显示器上显示预定区域的图像的图。

图7是表示根据一实施例的预定区域信息与预定区域图像之间关系的图。

图8是表示根据第一实施例的图像捕获系统的示意图。

图9是表示根据第一实施例的适配器的透视图。

图10表示用户如何使用根据第一实施例的图像捕获系统。

图11是表示根据第一实施例的专用图像捕获装置的硬件配置的示意框图。

图12是表示根据第一实施例的一般图像捕获装置的硬件配置的示意框图。

图13是表示根据第一实施例的智能手机的硬件配置的示意框图。

图14是根据第一实施例的图像捕获系统的功能框图。

图15a和15b是分别表示根据第一实施例的链接图像捕获设备管理表和链接图像捕获设备配置屏幕的概念图。

图16是表示根据第一实施例的图像和音频处理单元的功能配置的框图。

图17是根据第一实施例的叠加显示元数据的数据结构的图示。

图18a和18b是分别表示根据第一实施例的第二区域中的多个网格区域和第三区域中的多个网格区域的概念图。

图19是表示根据第一实施例的由图像捕获系统执行的捕获图像的操作的数据序列图。

图20是表示根据第一实施例的生成叠加显示元数据的操作的概念图。

图21a和21b是用于描述确定根据第一实施例的周边区域图像的概念图。

图22a和22b是用于说明根据第一实施例的将第二区域分割为多个网格区域的操作的概念图。

图23是用于说明确定根据第一实施例的等距柱形投影图像中的第三区域的概念图。

图24a，24b和24c是表示根据第一实施例的生成校正参数的操作的概念图。

图25是表示根据第一实施例的在处理或生成图像的情况下叠加图像的操作的概念图。

图26是表示根据第一实施例的叠加有平面图像的全天球图像的二维视图的概念图。

图27是表示根据第一实施例的叠加有平面图像的全天球图像的三维视图的概念图。

图28a和28b是表示根据比较例的在不使用位置参数的情况下叠加有平面图像的全天球图像的二维视图的概念图。

图29a和29b是表示在第一实施例中使用位置参数叠加有平面图像的全天球图像的二维视图的概念图。

图30a，30b，30c和30d是分别表示根据第一实施例的没有叠加显示的广角图像，没有叠加显示的远摄图像，具有叠加显示的广角图像，和具有叠加显示的远摄图像。

图31是表示根据第二实施例的图像捕获系统的示意图。

图32是图示根据第二实施例的图像处理服务器的硬件配置的示意图。

图33是表示根据第二实施例的图31的图像捕获系统的功能配置的示意框图。

图34是表示根据第二实施例的图像和音频处理单元的功能配置的框图。

图35是表示根据第二实施例的由图像捕获系统执行的捕获图像的操作的数据序列图。

图36是表示根据第三实施例的用于处理或生成图像来校正平面图像的处理的概念图。

图37是表示根据第三实施例的基于具有明度和颜色校正的平面图像生成的图像和基于具有未校正的明度和颜色的平面图像生成的图像。

图38(a)～(e)是表示根据第三实施例的依据叠加图像的面积相对于预定区域图像的比率显示校正的明度和颜色的图像。

图39(a)～(d)是表示根据第三实施例的预定区域图像，每个预定区域图像具有根据叠加图像相对于预定区域图像的比率校正明度和颜色的叠加图像。

图40(a)～(d)是表示第三实施例的的预定区域与重叠图像的区域的关系的概念图。

图41是表示根据第三实施例的预定区域图像的各种区域。

图42是表示根据第三实施例的另一示例的校正平面图像的处理的概念图。

图43是表示根据第四实施例的用已处理或生成的图像校正平面图像和等距柱形投影图像的处理的概念图。

图44是表示根据第四实施例的用已处理或生成的图像校正等距柱形投影图像的处理的概念图。

图45(a),(b-1)～(b-3)是表示根据第四实施例的改变平面图像和等距柱形投影图像的合成比的操作的概念图。

图46(a)～(d)是表示用于说明根据第四实施例的虚拟相机的视线方向与叠加图像的中心点之间的关系。

图47(a)～(c)是表示用于说明根据第四实施例的虚拟相机的视线方向与叠加图像的中心点之间的关系。

图48(a-1)～(a-3),(b-1)～(b-3),(c-1)～(c-3)是表示用于说明校正过度曝光的全天球图像的效果。

图49(a-1)～(a-3),(b-1)～(b-3),(c-1)～(c-3)是表示用于说明校正曝光不足的全天球图像的效果。

图50是表示根据第五实施例的用已处理或生成的图像校正等距柱形投影图像的处理的概念图。

图51是表示用于说明根据第五实施例的当使用曝光不同的多个等距柱形投影图像时位置参数和校正参数之间的关系。

图52是表示用于说明根据第五实施例的具有明度和颜色校正的校正图像的生成。

图53(a)～(d)是根据第六实施例的与多个叠加图像s叠加的预定区域的示例图像。

图54(a)～(c)是表示用于说明根据第六实施例的当多个叠加图像叠加在预定区域上时视线方向与叠加图像的中心点之间的关系。

图55(a)～(b)是表示根据第六实施例的用已处理或生成的图像校正平面图像的处理的概念图。

图56(a)～(c)是表示用于说明根据第六实施例的当存在一个平面图像作为校正目标时生成已校正明度和颜色的校正图像。

图57(a)～(c)是表示用于说明根据第六实施例的当存在一个平面图像作为校正目标时生成已校正明度和颜色的校正图像。

图58(a)～(b)是表示用于说明根据第六实施例的当存在两个平面图像作为校正目标时生成已校正明度和颜色的校正图像。

图59是表示根据第七实施例的用已处理或生成的图像校正等距柱形投影图像的处理的概念图。

图60是表示根据第七实施例的校正等距柱形投影图像的处理的概念图。

图61是表示根据第七实施例的选择要与预定区域图像合成的等距柱形投影图像之一的操作的流程图。

图62(a)～(c)是表示用于说明根据第七实施例的使用过度曝光图像合成图像的具体示例。

图63(a)～(c)是表示用于说明根据第七实施例的使用曝光不足图像合成图像的具体示例。

图64是表示根据第八实施例的用已处理或生成的图像校正等距柱形投影图像的处理的概念图。

图65是表示用于说明根据第八实施例的校正的等距柱形投影图像与校正的平面图像之间的关系。

具体实施方式

在描述附图中所示的实施例时，为了清楚起见采用了特定的术语。然而，本说明书的公开内容并不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有类似功能、以类似方式操作并且实现类似结果的所有技术等同物。

这里使用的术语仅用于描述特定实施例的目的，并不意图限制本发明。如这里所使用的单数形式“一”、“一个”、“该”也旨在包括复数形式，除非上下文另有明确说明。

在本公开中，第一图像是与第二图像叠加的图像，第二图像是要叠加在第一图像上的图像。例如，第一图像是覆盖大于第二图像的区域的图像。在另一示例中，第一图像和第二图像是以不同投影表示的图像。在另一示例中，第二图像是图像质量高于第一图像的图像，例如，就图像分辨率而言。第一图像的示例包括全天球图像(sphericalimage)，等距柱形投影图像，和低清晰度图像。第二图像的示例包括平面图像，透视投影图像，和高清晰度图像。

再有，在本公开中，所述全天球图像不必是全景球形图像。例如,全天球图像可以是水平方向上具有大约180度至360度角度的广角图像。在下文中,全天球图像优选具有至少一部分并不完全显示在预定区域t中的图像数据。

下面参照附图描述本发明的实施例。

首先，参照图1至图7，描述根据一实施例的生成全天球图像的操作。

先参照图1a至1d，根据该实施例描述专用(特殊)图像捕获装置1的外观。特殊图像捕获装置(special-purposeimagecapturingdevice)1是用于捕获生成360度全天球图像的数字相机。图1a至1d分别是特殊图像捕获装置1的左侧视图，后视图，俯视图和仰视图。

如图1a至1d所示，特殊图像捕获装置1具有上部，其在其正面侧(前侧)设置有鱼眼型透镜102a，在背面侧(后侧)设置有鱼眼型透镜102b。特殊图像捕获装置1在其内部包括成像元件(成像传感器)103a和103b。成像元件103a和103b分别经由透镜102a和102b捕获对象或周围环境的图像，以获得半球图像(具有180度或更大的视角的图像)。如图1b所示，特殊图像捕获装置1还包括快门按钮115a，其在特殊图像捕获装置1的后侧，为特殊图像捕获装置1的前侧的相反侧。如图1a所示，特殊图像捕获装置1的左侧设置有电源按钮115b，无线保真(wi-fi)按钮115c和图像捕获模式按钮115d。根据用户的选择(按压)，电源按钮115b和wi-fi按钮115c中的任何一个在接通和断开之间切换。图像捕获模式按钮115d根据用户的选择(按压)在静止图像捕获模式和运动图像捕获模式之间切换。快门按钮115a，电源按钮115b，wi-fi按钮115c和图像捕获模式按钮115d是操作单元115的一部分。操作单元115是接收用户指令的任何部分，不限于上述按钮或开关。

如图1d所示，特殊图像捕获装置1在其底面150的中央处设置有三脚架安装孔151。当特殊图像捕获装置1安装在三脚架上时，三脚架安装孔151接收三脚架的螺钉。在该实施例中，如后文参照图9描述，三脚架安装孔151位于一般图像捕获装置(general-purposeimagecapturingdevice)3通过适配器9被附设的位置。特殊图像捕获装置1的底面150还在其左侧包括微通用串行总线(微型usb)端子152。底面150还在其右侧包括高清晰度多媒体接口(hdmi，注册商标)端子153。

接下来，参照图2，给出使用特殊图像捕获装置1的状况的描述。图2表示用户如何使用特殊图像捕获装置1的示例。如图2所示，例如，特殊图像捕获装置1用于捕获在他或她的手中握住特殊图像捕获装置1的用户周围的对象。图1a至1d所示的成像元件103a和103b捕获用户周围的物体以获得两个半球图像。

接下来，参照图3a至3c和图4a和4b，描述从由特殊图像捕获装置1捕获的图像生成等距柱形投影图像ec和全天球图像ce的操作的概述图。图3a是表示由特殊图像捕获装置1捕获的半球图像(前侧)的视图。图3b是表示由特殊图像捕获装置1捕获的半球图像(后侧)的视图。图3c是表示等距柱形投影中的图像的视图，其被称为“等距柱形投影图像”(或等距圆柱投影图像)ec。图4a是表示等距柱形投影图像如何映射到球面的示例的概念图。图4b是表示全天球图像的视图。

如图3a所示，由成像元件103a捕获的图像是通过鱼眼型透镜102a拍摄的弯曲的半球图像(前侧)。而且，如图3b所示，由成像元件103b捕获的图像是通过鱼眼型透镜102b拍摄的弯曲的半球图像(后侧)。通过特殊图像捕获装置1合成半球图像(前侧)和反转180度的半球图像(后侧)。这导致生成如图3c所示的等距柱形投影图像ec。

如图4a所示，使用用于嵌入式系统的开放图形库(opengles)将等距柱形投影图像映射在球面上。如图4b所示，这导致产生全天球图像ce。换句话说，全天球图像ce表示为等距柱形投影图像ec，其对应于面向球体cs的中心的表面。应当注意，开放图形库是用于可视化二维(2d)和三维(3d)数据的图形库。全天球图像ce是静止图像或运动图像。

如图4b所示，由于全天球图像ce是附着到球面的图像，当从用户观看时，图像的一部分看起来可能变形，从而提供奇怪的感觉。为了解决这种奇怪的感觉，作为全天球图像ce的一部分的预定区域的图像显示为具有较少曲线的平面图像。预定区域例如是用户可以看到的全天球图像ce的一部分。在本公开中，预定区域的图像被称为“预定区域图像”q。在下文中，参照图5，图6a和6b，给出显示预定区域图像q的描述。

图5是表示在全天球图像表示为三维实心球的表面区域的情况下虚拟相机ic和预定区域t的位置的视图。虚拟相机ic对应于正在观看表示为三维立体球cs的表面区域的全天球图像ce的用户的视点(viewpoint)的位置。图6a是图5中所示的全天球图像ce的透视图。图6b是表示当在显示器显示时的预定区域图像q的图。在图6a中，表示图4b中所示的全天球图像ce表示为三维实心球cs的表面积。假设全天球图像ce是实心球cs的表面区域，如图5所示，虚拟照相机ic位于全天球图像ce的内部。全天球图像ce中的预定区域t是虚拟相机ic的成像区域。具体地说，预定区域t由指示包含全天球图像ce的三维虚拟空间中的虚拟照相机ic的成像方向和视角的预定区域信息特定。

预定区域图像q是图6a所示的预定区域t的图像，在显示器上显示作为虚拟相机ic的成像区域的图像，如图6b所示。图6b表示通过由默认设定的预定区域信息所表示的预先确定的区域图像q。下面使用虚拟照相机ic的成像方向(ea，aa)和视角α说明虚拟照相机ic的位置。

参照图7，根据本实施例描述预定区域信息和预定区域t的图像之间的关系。图7是表示预定区域信息和预定区域t的图像之间的关系的图。如图7中所示，“ea”表示虚拟照相机ic的仰角，“aa”表示虚拟照相机ic的方位角，“α”表示虚拟照相机ic的视角。调整虚拟照相机ic的位置，使得由成像方向(ea，aa)指示的虚拟照相机ic的注视点与作为虚拟照相机ic的成像区域的预定区域t的中心点cp匹配。预定区域图像q是全天球图像ce中的预定区域t的图像。“f”表示从虚拟照相机ic到预定区域t的中心点cp的距离。“l”表示中心点cp与预定区域t的给定顶点之间的距离(2l是对角线)。在图7中，一般由以下式1表示的三角函数关系式成立：

l/f＝tan(α/2)(式1)

第一实施例

参照图8至图30d，描述根据本发明第一实施例的图像捕获系统。

<图像捕获系统概略>

首先，参照图8，根据第一实施例说明图像捕获系统的概略。图8是根据本实施例的图像捕获系统的配置示意图。

如图8所示，图像捕获系统包括特殊图像捕获装置1，一般目的(一般)捕获装置3，智能手机5，和适配器9。特殊图像捕获装置1经由适配器9连接到一般图像捕获装置3。

特殊图像捕获装置1是一种特殊的数字照相机，其捕获对象或环境例如风景的图像，以获得两个半球图像，从其中生成一个球形(全景)图像，如上述参照图1至图7所说明。

一般图像捕获装置3是数字单镜头反光照相机，然而，它也可以为紧凑型数字照相机。一般图像捕获装置3设置有快门按钮315a，其是下面描述的操作单元315的一部分。

智能手机5能使用近距离无线通信(例如wi-fi，蓝牙(注册商标)和近场通信(nfc))与特殊图像捕获装置1和一般图像捕获装置3无线通信。智能手机5能够在如下所述的为智能手机5提供的显示器517上显示分别从特殊图像捕获装置1和一般图像捕获装置3获得的图像。

智能手机5可以不使用近距离无线通信、而使用诸如电缆的有线通信与特殊图像捕获装置1和一般图像捕获装置3通信。智能手机5是能够处理捕获图像的图像处理设备的示例。图像处理设备的其他示例包括但不限于平板个人计算机(pc)，笔记本pc，和台式pc。智能手机5可以作为下面描述的通信终端操作。

图9是表示根据本实施例的适配器9的透视图。如图9所示，适配器9包括插座板适配器(shoeadapter)901，螺栓902，上调节器903和下调节器904。插座板适配器901在其滑动时附接到一般图像捕获装置3的附件插座板。螺栓902设置在插座板适配器901的中心，其将拧入特殊图像捕获装置1的三脚架安装孔151中。螺栓902设置有上调节器903和下调节器904，它们各自可绕螺栓902的中心轴线旋转。上调节器903固定附设在螺栓902的物体(例如特殊图像捕获装置1)。下调节器904固定附设在插座板适配器901的物体(诸如一般图像捕获装置3)。

图10表示用户如何使用根据本实施例的图像捕获装置。如图10所示，用户将他或她的智能手机5放入他或她的口袋中。用户使用通过适配器9附设有特殊图像捕获装置1的一般图像捕获装置3捕获对象的图像。虽然图示智能手机5放置在用户衬衫的口袋中，但是，智能手机5可以放置在任何区域中，只要它可以与特殊图像捕获装置1和一般图像捕获装置3无线通信即可。

硬件配置

接下来，参照图11至图13，说明根据本实施例的特殊图像捕获装置1、一般图像捕获装置3和智能手机5的硬件配置。

<特殊图像捕获装置的硬件配置>

首先，参照图11，说明根据本实施例的特殊图像捕获装置1的硬件配置。图11表示特殊图像捕获装置1的硬件配置。下面描述特殊图像捕获装置1是具有两个成像元件的球形(全方位)图像捕获装置的情况。然而，特殊图像捕获装置1可包括任何合适数量的成像元件，只要其包括至少两个成像元件即可。另外，特殊图像捕获装置1不一定是专用于全方位图像捕获的图像捕获装置。或者，外部全方位图像捕获单元可以附设到一般目的数字相机或智能手机，以实现具有与特殊图像捕获装置1的功能基本相同的功能的图像捕获装置。

如图11所示，特殊图像捕获装置1包括成像单元101，图像处理器104，成像控制器105，麦克风108，音频处理器109，中央处理单元(cpu)111，只读存储器(rom)112，静态随机存取存储器(sram)113，动态随机存取存储器(dram)114，操作单元115，网络接口(i/f)116，通信电路117，天线117a，电子罗盘118，陀螺传感器119，加速度传感器120，以及微型usb端子121。

成像单元101包括两个广角镜头(所谓的鱼眼型镜头)102a和102b，每个都具有等于或大于180度的视角，以便形成半球图像。成像单元101还包括分别对应于广角镜头102a和102b的两个成像元件103a和103b。成像元件103a和103b均包括成像传感器，例如互补金属氧化物半导体(cmos)传感器和电荷耦合器件(ccd)传感器，定时生成电路，以及一组寄存器。成像传感器将由广角镜头102a和102b形成的光学图像转换成电信号以输出图像数据。定时生成电路为成像传感器生成水平或垂直同步信号、像素时钟等。用于成像元件103a和103b的操作的各种命令、参数等设置在寄存器组中。

成像单元101的各成像元件103a和103b经由并行i/f总线连接到图像处理器104。另外，成像单元101的各成像元件103a和103b经由诸如i2c总线的串行i/f总线连接到成像控制器105。图像处理器104，成像控制器105和音频处理器109各自经由总线110连接到cpu111。此外，rom112，sram113，dram114，操作单元115，网络i/f116，通信电路117，电子罗盘118，以及端子121也连接到总线110。

图像处理器104经由并行i/f总线从每个成像元件103a和103b获取图像数据，并对各图像数据执行预定处理。此后，图像处理器104合成这些图像数据以生成如图3c所示的等距柱形投影图像的数据。

成像控制器105通常用作主设备，而成像元件103a和103b各自通常用作从设备。成像控制器105经由诸如i2c总线的串行i/f总线在成像元件103a和103b的寄存器组中设置命令等。成像控制器105从cpu111接收各种命令。此外，成像控制器105经由诸如i2c总线的串行i/f总线获取成像元件103a和103b的寄存器组的状态数据等。成像控制器105将获取的状态数据等发送到cpu111。

成像控制器105指示成像元件103a和103b在按下操作单元115的快门按钮115a时输出图像数据。在一些情况下，特殊图像捕获装置1能够在显示器(例如，智能手机5的显示器)上显示预览图像或显示运动图像(电影)。在显示电影的情况下，以预定的帧速率(每分钟帧数)从成像元件103a和103b连续输出图像数据。

此外，成像控制器105与cpu111协同操作，以使成像元件103a输出图像数据的时间与成像元件103b输出图像数据的时间同步。应当注意，尽管在该实施例中特殊图像捕获装置1不包括显示器，但是，特殊图像捕获装置1也可以包括显示器。

麦克风108将声音转换为音频数据(信号)。音频处理器109经由i/f总线获取从麦克风108输出的音频数据，并对音频数据执行预定处理。

cpu111例如通过执行预定处理来控制特殊图像捕获装置1的整个操作。rom112存储用于由cpu111执行的各种程序。sram113和dram114各自用作工作存储器，以存储从rom112加载的程序以供cpu111执行或当前处理中的数据。更具体地说，在一个示例中，dram114存储当前由图像处理器104处理的图像数据和已经执行了处理的等距柱形投影图像的数据。

操作单元115为各种操作键例如快门按钮115a的总称。除了硬件键之外，操作单元115还可以包括触摸板。用户操作该操作单元115以输入各种图像捕获(拍摄)模式或图像捕获(拍摄)条件。

网络i/f116统称为诸如usbi/f的接口电路，其允许特殊图像捕获装置1与诸如sd卡或外部个人计算机的外部介质进行数据通信。作为网络i/f116，可以是有线和无线通信中的至少一种。存储在dram114中的等距柱形投影图像的数据可以在任何所需的时间经由网络i/f116存储在外部介质中，或者经由网络i/f116传输到诸如智能手机5等的外部设备。

通信电路117由诸如wi-fi、nfc、蓝牙的近距离无线通信，经由特殊图像捕获装置1的天线117a与诸如智能手机5的外部装置进行数据通信。通信电路117还能够将等距柱形投影图像的数据发送到诸如智能手机5等的外部设备。

电子罗盘118根据地球的磁力计算特殊图像捕获装置1的方位，以输出方位信息。该方位信息是相关信息的示例，其是根据exif描述的元数据。该信息用于图像处理，例如捕获图像的图像校正。相关信息还包括特殊图像捕获装置1捕获图像的日期和时间，以及图像数据的大小。

陀螺传感器119检测特殊图像捕获装置1的倾斜变化(滚动，俯仰，偏转)和特殊图像捕获装置1的运动。角度的改变是符合exif描述的相关信息(元数据)的一个示例。该信息用于图像处理，例如捕获图像的图像校正。

加速度传感器120检测三个轴向的加速度。基于检测到的加速度确定特殊图像捕获装置1的位置(相对于重力方向的角度)。通过陀螺传感器119和加速度传感器120，图像校正精度得到提高。

微型usb端子121是连接器，用于与例如微型usb电缆或其它电子装置连接。

<一般图像捕获装置的硬件配置>

接下来，参照图12，说明根据本实施例的一般图像捕获装置3的硬件配置。图12表示一般图像捕获装置3的硬件配置。如图12所示，一般图像捕获装置3包括成像单元301，图像处理器304，成像控制器305，麦克风308，音频处理器309，总线310，cpu311，rom312，sram313，dram314，操作单元315，网络i/f316，通信电路317，天线317a，电子罗盘318，和显示器319。图像处理器304和成像控制器305均经由总线310连接到cpu311。

一般图像捕获装置3的元件304,310,311,312,313,314,315,316,317,317a和318在结构和功能上与特殊图像捕获装置1的元件104,110,111,112,113，114,115,116,117,117a和118基本相似，因此，在此说明省略。

此外，如图12所示，在一般图像捕获装置3的成像单元301中，具有多个透镜的透镜单元306，机械快门按钮307和成像元件303从面向外侧的一侧依次设置(即，面对要捕获的对象的一侧)。

成像控制器305在结构和功能上与成像控制器105基本相同。成像控制器305还根据通过操作单元315输入的用户操作来控制镜头单元306和机械快门按钮307的操作。

显示器319能够显示操作菜单、正在捕获的图像或已捕获的图像等。

<智能手机的硬件配置>

参照图13，说明根据本实施例的智能手机5的硬件配置。图13表示智能手机5的硬件配置。如图13所示，智能手机5包括cpu501，rom502，ram503，eeprom504，互补金属氧化物半导体(cmos)传感器505，成像元件i/f513a，加速度及方位传感器506，介质i/f508，和gps接收器509。

cpu501控制智能手机5的整体操作。rom502存储用于控制cpu501的控制程序，例如ipl。ram503用作cpu501的工作区域。eeprom504在cpu501的控制下读取或写入诸如用于智能手机5的控制程序的各种数据。cmos传感器505在cpu501的控制下捕获对象(例如，操作智能手机5的用户)以获得捕获的图像数据。成像元件i/f513a是控制cmos传感器512的驱动的电路。加速度及方位传感器506包括各种传感器，例如用于检测地磁的电磁罗盘、陀螺罗盘、加速度传感器等。介质i/f508控制相对于诸如闪存的记录介质507的数据读取或写入。gps接收器509从gps卫星接收gps信号。

智能手机5还包括远程通信电路511，用于远程通信电路511的天线511a，cmos传感器512，成像元件i/f513b，麦克风514，扬声器515，音频输入/输出i/f516，显示器517，外部设备连接i/f518，近程通信电路519，用于近程通信电路519的天线519a，以及触摸板521。

远程通信电路511是通过通信网络100与其他设备通信的电路。cmos传感器512是能够在cpu501的控制下捕获对象的内置成像装置的示例。成像元件i/f513b是控制cmos传感器512的驱动的电路。麦克风514是能够在cpu501的控制下输入音频的内置音频采集设备的示例。音频输入/输出i/f516是用于在cpu501的控制下在麦克风514和扬声器515之间输入或输出音频信号的电路。显示器517可以是显示对象图像、操作图标等的液晶或有机电致发光(el)显示器。外部设备连接i/f518是将智能手机5连接到各种外部设备的接口电路。近程通信电路519是根据wi-fi、nfc、蓝牙等进行通信的通信电路。触摸板521是使用户能够通过触摸显示器517的屏幕输入用户指令的输入设备的示例。

智能手机5还包括总线510。总线510的示例包括地址总线和数据总线等，其电连接诸如cpu501等元件。

应当注意，存储任何上述程序的诸如cd-rom或hd的记录介质可以作为程序产品在国内或海外分发。

<图像捕获系统的功能配置>

参照图11至图14，说明根据本实施例的图像捕捉系统的功能配置。图14是表示根据本实施例的图像捕获系统中的特殊图像捕获装置1、一般图像捕获设备3、和智能手机5的功能配置的示意性框图。

<特殊图像捕获装置的功能配置>

参照图11和14，说明根据本实施例的特殊图像捕获装置1的功能配置。如图14所示，特殊图像捕获装置1包括接受单元12，图像捕获单元13，音频收集单元14，图像和音频处理单元15，判断器17，近距离通信单元18，以及存储和阅读单元19。这些单元是由图11中所示的任何元件根据从sram113扩展到dram114的特殊图像捕获装置控制程序，基于cpu111的指令而实现的功能或手段。

特殊图像捕获装置1还包括存储器1000，其由图11所示的rom112，sram113和dram114实现。

参照图11和14，说明根据本实施例的特殊图像捕获装置1的各功能单元。

特殊图像捕获装置1的接受单元12由图11所示的操作单元115实现，接收单元12在cpu111的控制下处理。接收单元12根据用户操作接收从操作单元115输入的指令。

图像捕获单元13由成像单元101，图像处理器104和成像控制器105实现，如图11所示，各处理由cpu111控制。图像捕获单元13捕获对象或周围环境的图像，以获得捕获的图像数据。如图3a和3b所示，作为捕获图像数据，获得生成全天球图像的两个半球图像。

音频收集单元14由图11中所示的麦克风108和音频处理器109实现，各自都在cpu111的控制下处理。音频收集单元14收集特殊图像捕获装置1周围的声音。

图像和音频处理单元15由图11中所示的cpu111的指令实现。图像和音频处理单元15将图像处理应用于由图像捕获单元13获得的捕获图像数据。图像和音频处理单元15将音频处理应用于由音频收集单元14获得的音频。例如，图像和音频处理单元15使用分别由成像元件103a和103b获得的两个半球图像(图3a和3b)生成等距柱形投影图像(图3c)的数据。

由cpu111的指令实现的判断器17执行各种确定。

通过cpu111的指令实现的近距离通信单元18和具有天线117a的通信电路117使用如wi-fi等的近距离无线通信与智能手机5的近距离通信单元58等进行数据通信。

存储和读取单元19由图1中所示的cpu111的指令实现。在存储器1000中存储各种数据或信息，或从存储器1000读出各种数据或信息。

<一般图像捕获装置的功能配置>

接下来，参照图12和图14，说明根据本实施例的一般图像捕获装置3的功能配置。如图14所示，一般图像捕获装置3包括接受单元32，图像捕获单元33，音频收集单元34，图像和音频处理单元35，显示控制器36，判断器37，近距离通信单元38，以及存储和读取单元39。这些单元是由图12中所示的任何元件根据从sram313扩展到dram314的特殊图像捕获装置控制程序，基于cpu311的指令而实现的功能或手段。

一般图像捕获装置3还包括存储器3000，其由图12中所示的rom312，sram313和dram314实现。

一般图像捕获装置3的接受单元32由图12中所示的操作单元315实现，在cpu311的控制下处理。接收单元32根据用户操作接收从操作单元315输入的指令。

图像捕获单元33由成像单元301，图像处理器304和成像控制器305实现，如图12所示，各自都在cpu311的控制下处理。图像捕获单元33捕获对象或周围环境的图像以获得捕获的图像数据。在该示例中，捕获的图像数据是用透视投影(perspectiveprojection)方法捕获的平面图像数据。

音频收集单元34由图12中所示的麦克风308和音频处理器309实现，各自都在cpu311的控制下处理。音频收集单元34收集一般图像捕获装置3周围的声音。

图像和音频处理单元35由图12中所示的cpu311的指令实现。图像和音频处理单元35将图像处理应用于由图像捕获单元33获得的捕获图像数据。图像和音频处理单元35将音频处理应用于由音频收集单元34获得的音频。

显示控制器36由图12所示的cpu311的指令实现，控制显示器319以基于正捕获的或已捕获的捕获图像数据显示平面图像p。

由cpu311的指令实现的判断器37执行各种确定。例如，判断器37确定用户是否按下快门按钮315a。

通过cpu311的指令实现的近距离通信单元38和具有天线317a的通信电路317使用例如wi-fi等的近距离无线通信与智能手机5的近距离通信单元58进行数据通信。

存储和读取单元39由图12中所示的cpu311的指令实现，在存储器3000中存储各种数据或信息，或从存储器3000读出各种数据或信息。

<智能手机的功能配置>

参照图13至图16，说明根据本实施例的智能手机5的功能配置。如图14所示，智能手机5包括远程通信单元51，接受单元52，图像捕获单元53，音频采集单元54，图像和音频处理单元55，显示控制器56，判断器57，近距离通信单元58，以及存储和读取单元59。这些单元是由图13中所示的任何元件根据从eeprom504扩展到ram503的控制程序，基于cpu501的指令而实现的功能或手段。

智能手机5还包括存储器5000，其由图13所示的rom502，ram503和eeprom504实现。存储器5000存储链接图像捕获装置管理db5001。链接图像捕获装置管理db5001由图15a所示的链接图像捕获装置管理表实现。图15a是表示根据本实施例的链接图像捕获装置管理表的概念图。

参照图15a，说明根据本实施例的链接图像捕获装置管理表。如图15a所示，链接图像捕获装置管理表为每个图像捕获装置存储指示与链接图像捕获装置的关系的链接信息，图像捕获装置的ip地址，以及图像捕获装置的装置名称，彼此关联地存储管理。链接信息指示图像捕获装置在执行链接功能时是“主”装置还是“子”装置。作为“主”装置的图像捕获装置响应于按下为该装置提供的快门按钮而开始捕获图像。作为“子”装置的图像捕获装置响应于按下为“主”装置提供的快门按钮而开始捕获图像。ip地址是图像捕获装置的目的地信息的一个示例。在图像捕获装置使用wi-fi进行通信的情况下使用ip地址。或者，在图像捕获装置使用有线usb电缆进行通信的情况下，可以使用制造商的标识(id)或产品id。或者，在图像捕获装置使用诸如蓝牙的无线通信进行通信的情况下，使用蓝牙设备(bd)地址。

智能手机5的远程通信单元51由远程通信电路511实现，远程通信电路511在cpu501的控制下处理，如图13所示，通过诸如因特网的通信网络向其他设备(例如，其他智能手机或服务器)发送或接收各种数据或信息。

接受单元52由触摸板521实现，触摸板521在cpu501的控制下操作，以接收来自用户的各种选择或输入。触摸板521与图13中的显示器517分开设置，显示器517和触摸板521可以集成为一个设备。此外，除了触摸板521之外，智能手机5可以包括用于接收用户指令的任何硬件键，例如按钮。

图像捕获单元53由cmos传感器505和512实现，其在cpu501的控制下操作，如图13所示。图像捕获单元53捕获对象或周围环境的图像以获得捕获的图像数据。

在该示例中，捕获的图像数据是用透视投影方法捕获的平面图像数据。

音频收集单元54由在cpu501的控制下操作的麦克风514实现。音频收集单元14a收集智能手机5周围的声音。

图像和音频处理单元55由图13中所示的cpu501的指令实现。图像和音频处理单元55将图像处理应用于已经由图像捕获单元53捕获的对象的图像。图像和音频处理单元15将音频处理应用于由音频收集单元54获得的音频。

显示控制器56由图13所示的cpu501的指令实现，控制显示器517显示基于正捕获的或已经由图像捕获单元53捕获的捕获图像数据的平面图像p。显示控制器56使用由图像和音频处理单元55生成的叠加显示元数据，将平面图像p叠加在全天球图像ce上。利用叠加的显示元数据，平面图像p的每个网格区域la0放置在由位置参数指示的位置处，并且调整为具有由校正参数指示的明度值和颜色值。通过改变变焦比率或投影方法,使得平面图像p显示在各种显示形式中。

在该示例中，位置参数是位置信息的一个示例。校正参数是校正信息的一个示例。

判断器57由图13中所示的cpu501的指令实现，执行各种确定。

通过cpu501的指令实现的近距离通信单元58和具有天线519a的近程通信电路519能使用诸如wi-fi的近距离无线通信技术与特殊图像捕获装置1的近距离通信单元18、一般图像捕获装置3的近距离通信单元38进行数据通信。

存储和读取单元59由图13中所示的cpu501的指令实现，在存储器5000中存储各种数据或信息，或者从存储器5000读出各种数据或信息。例如，叠加的显示元数据可以存储在存储器5000中。在该实施例中，存储和读取单元59用作从存储器5000获得各种数据的获取器。

参照图16，说明根据本实施例的图像和音频处理单元55的功能配置。图16是表示根据该实施例的图像和音频处理单元55的功能配置的框图。

图像和音频处理单元55主要包括执行编码的元数据生成器55a和执行解码的叠加单元55b。在该示例中，编码对应于生成要用于叠加用于显示的图像的元数据的处理(“叠加显示元数据”)。此外，在该示例中，解码对应于使用叠加的显示元数据生成用于显示的图像的处理。元数据生成器55a执行s22的处理，s22是生成叠加显示元数据(superimposeddisplaymetadata)的处理，如图19所示。叠加单元55b执行s23的处理，s23是使用叠加的显示元数据叠加图像的处理，如图19所示。

首先，说明根据本实施例的元数据生成器55a的功能配置。元数据生成器55a包括提取器550，第一区域计算器552，注视点指定器554，投影转换器556，第二区域计算器558，区域分割器560，投影逆转换器562，形状转换器564，校正参数生成器566和叠加显示元数据生成器570。在不校正明度和颜色的情况下，不必提供形状转换器564和校正参数生成器566。图20是表示利用在这种操作中处理或生成的图像生成叠加显示元数据的操作的概念图。

提取器550根据具有相同对象的两个图像中的每一个的局部特征提取特征点。特征点是两个图像中的独特关键点。局部特征对应于在图像中检测到的图案或结构，例如边缘或斑点。在该实施例中，提取器550提取彼此不同的两个图像中的各特征点。要由提取器550处理的这两个图像可以是使用不同图像投影方法生成的图像。除非投影方法的差异导致高度失真的图像，否则可以使用任何期望的图像投影方法。例如，参照图20所示，提取器550基于包括相同对象的这些图像中的每一个的局部特征，从等距柱形投影(s110)所得到的长方形的等距柱形投影图像ec和透视投影(s110)所得到的长方形的平面图像p中提取特征点。此外，提取器550基于具有相同对象的这些图像中的每一个的局部特征，从长方形的平面图像p(s110)和由投影转换器556转换的外围区域图像pi(s150)中提取特征点。在该实施例中，等距柱形投影方法是第一投影方法的一个示例，透视投影方法是第二投影方法的一个示例。等距柱形投影图像是第一投影图像的一个示例，平面图像p是第二投影图像的一个示例。

第一区域计算器552基于在等距柱形投影图像ec中的多个特征点fp1计算特征值fv1。第一区域计算器552还基于平面图像p中的多个特征点fp2计算特征值fv2。可以以任何期望的方法检测特征值或特征点。然而，优选特征值或特征点对于标度或图像旋转的变化是不变的或稳固的。第一区域计算器552基于在等距柱形投影图像ec中的特征点fp1的特征量fv1和在平面图像p中的特征点fp2的特征值fv2之间的类似度，指定图像之间的对应点。基于该图像之间的对应点，第一区域计算器552计算等距柱形投影图像ec和平面图像p之间的变换的单应性。然后，第一区域计算器552将第一单应变换应用于平面图像p(s120)。因此，第一区域计算器552在等距柱形投影图像ec中获得对应于平面图像p的第一对应区域ca1(“第一区域ca1”)。在这种情况下，通过第一单应变换，将由平面图像p的四个顶点限定的矩形的中心点cp1转换为等距柱形投影图像ec中的注视点gp1。

在此，平面图像p的四个顶点p1，p2，p3和p4的坐标是p1＝(x1，y1)，p2＝(x2，y2)，p3＝(x3，y3)，p4＝(x4，y4)。第一区域计算器552使用下面的式2计算中心点cp1(x，y)。

(式2)：

s1＝{(x4-x2)*(y1-y2)-(y4-y2)*(x1-x2)}/2

s2＝{(x4-x2)*(y2-y3)-(y4-y2)*(x2-x3)}/2

x＝x1+(x3-x1)*s1/(s1+s2)

y＝y1+(y3-y1)*s1/(s1+s2)

虽然平面图像p在图20的情况下是矩形，但即使当平面图像p是正方形，梯形或菱形时，也可以使用具有平面图像p的对角线的交点的式2计算中心点cp1。当平面图像p具有矩形或正方形的形状时，对角线的中心点可以设置为中心点cp1。在这种情况下，使用下面的式3分别计算顶点p1和p3的对角线的中心点。

(式3)：

x＝(x1+x3)/2

y＝(y1+y3)/2

注视点指定器554指定在等距柱形投影图像ec中的点(称为注视点)，其对应于第一单应变换之后的平面图像p的中心点cp1(s130)。

在此，注视点gp1表示为等距柱形投影图像ec上的坐标。注视点gp1的坐标可以变换为纬度和经度。具体地说，等距柱形投影图像ec的垂直方向上的坐标表示为-90度(-0.5π)至+90度(+0.5π)范围内的纬度。此外，等距柱形投影图像ec的水平方向上的坐标表示为-180度(-π)至+180度(+π)范围内的经度。通过该变换，可以由纬度和经度系统根据等距柱形投影图像ec的图像尺寸计算每个像素的坐标。

投影转换器556从等距柱形投影图像ec提取外围区域pa，该外围区域pa是围绕注视点gp1的部分。投影转换器556将周边区域pa从等距柱形投影转换为透视投影，以生成周边区域图像pi(s140)。确定周边区域pa，使得在投影变换之后，方形外围区域图像pi具有垂直视角(或水平视角)，其与平面图像p的对角线视角α相同。在此，周边区域图像pi的中心点cp2对应于注视点gp1。

(投影变换)

以下详细说明在图20的s140执行的投影的变换。如上面参照图3至5所述，等距柱形投影图像ec覆盖球体cs的表面，以产生全天球图像ce。因此，等距柱形投影图像ec中的每个像素对应于球面cs的表面中的每个像素，即，三维全天球图像。投影转换器556应用以下变换式。在此，用于等距柱形投影图像ec的坐标系用(纬度，经度)＝(ea，aa)表示，用于三维球cs的直角坐标系用(x，y，z)表示。

(式4)：

(x，y，z)＝(cos(ea)×cos(aa)，cos(ea)×sin(aa)，sin(ea))

其中，球体cs的半径为1。

透视投影中的平面图像p是二维图像。当平面图像p由二维极坐标系(移动半径，自变量)＝(r，a)表示时，对应于对角线视角α的移动半径r具有从0到tan(对角线视角/2)的范围内的值。即，0≦r≦tan(对角线视角/2)。由二维直角坐标系(u，v)表示的平面图像p可以使用以下变换式5使用极坐标系(移动半径，自变量)＝(r，a)表示。

(式5)：

u＝r×cos(a)

v＝r×sin(a)

式5由三维坐标系(移动半径，极角，方位角)表示。对于球体cs的表面，三维坐标系中的移动半径为“1”。使用以下式6和式7，将覆盖球面cs的表面的等距柱形投影图像从等距柱形投影转换为透视投影。在此，等距柱形投影图像由上述二维极坐标系(移动半径，方位角)＝(r，a)表示，虚拟照相机ic位于球体中心。

(式6)：

r＝tan(极角)

(式7)：

a＝方位角

在此，假设极角为t，式6可表示为：t＝arctan(r)，因此，三维极坐标(移动半径，极角，方位角)可以表示为(1，arctan(r)，a)。

使用式8，将三维极坐标系变换为直角坐标系(x，y，z)。

(式8)：

(x，y，z)＝(sin(t)×cos(a)，sin(t)×sin(a)，cos(t))

式8用于在等距柱形投影中的等距柱形投影图像ec与透视投影中的平面图像p之间进行转换。更具体地说，对应于平面图像p的对角线视角α的移动半径r用于计算变换图坐标，其指示平面图像p与等距柱形投影图像ec之间的每个像素的位置的对应关系。利用该变换图坐标，变换等距柱形投影图像ec以在透视投影中生成周边区域图像pi。

通过上述投影变换，等距柱形投影图像ec中的坐标(纬度＝90°，经度＝0°)成为透视投影中的周边区域图像pi中的中心点cp2。在将投影变换应用于等距柱形投影图像ec中的任意点作为注视点的情况下，旋转覆盖有等距柱形投影图像ec的球体cs，使得注视点的坐标(纬度，经度)配置在(90°，0°)。

可以使用用于旋转坐标的任何已知方式旋转球体cs。

(周边区域图像的确定)

接下来，参照图21a和21b，说明根据本实施例的周边区域图像p1的确定。图21a和21b是用于描述周边区域图像pi的确定的概念图。

为了使第一区域计算器552能够确定平面图像p和周边区域图像pi之间的对应关系，优选周边区域图像pi足够大以包括整个第二区域ca2。如果外围区域图像pi具有大尺寸，则第二区域ca2包括在这种大尺寸区域图像中。然而，对于大尺寸外围区域图像pi，由于存在大量经历相似度计算的像素，因此，处理所需的时间增加。因此，周边区域图像pi应该是包括至少整个第二区域ca2的最小尺寸图像区域。在该实施例中，外围区域图像pi按如下方法确定。

更具体地说，使用平面图像的35mm等效焦距确定周边区域图像pi，其是从捕获图像时记录的exif数据获得的。由于35mm等效焦距是对应于24mm×36mm胶片尺寸的焦距，因此，可以使用式9和式10从24mm×36mm胶片的对角线和焦距计算。

(式9)：

胶片对角线＝sqrt(24*24+36*36)

(式10)：

合成用图像视角/2＝arctan((胶片对角线/2)/合成用图像35mm换算焦距)

具有该视角的图像具有圆形形状。由于实际成像元件(胶片)具有矩形形状，因此，利用成像元件拍摄的图像是内接于这样的圆中的矩形。在该实施例中，确定周边区域图像pi，使得周边区域图像pi的垂直视角α等于平面图像p的对角线视角α。也就是说，图21b中所示的外围区域图像pi是围绕包含图21a中所示的平面图像p的对角线视角α的圆的矩形。使用式11和式12，根据正方形的对角和平面图像p的焦距计算垂直视角α。

(式11)：

正方形对角＝sqrt(胶片对角*胶片对角+胶片对角*胶片对角)

(式12)：

垂直视角α/2＝arctan((正方形对角/2)/平面图像的35mm换算焦距))

计算出的垂直视角α用于通过投影变换获得透视投影中的周边区域图像pi。所获得的周边区域图像pi至少包含具有平面图像p的对角线视角α的图像，同时以注视点为中心，但具有尽可能小的垂直视角α。

(位置信息的计算)

返回图16和20，第二区域计算器558计算平面图像p中的多个特征点fp2的特征值fv2，以及周边区域图像pi中的多个特征点fp3的特征值fv3。第二区域计算器558基于特征值fv2和特征值fv3之间的相似性指定图像之间的对应点。基于图像之间的对应点，第二区域计算器558计算平面图像p和周边区域图像pi之间的变换的单应性。然后，第二区域计算器558将第二单应变换应用于平面图像p(s160)。因此，第二区域计算器558获得第二(对应)区域ca2(“第二区域ca2”)，在周边区域图像pi中，对应于平面图像p(s170)。

在上述变换中，为了增加计算速度，在应用第一单应变换之前，可以改变平面图像p和等距柱形投影图像ec中的至少一个的图像尺寸。例如，假设平面图像p具有4000万像素，等距柱形投影图像ec具有3000万像素，则平面图像p的尺寸可以减小到3000万像素。或者，平面图像p和等距柱形投影图像ec都可以减小到1000万像素。类似地，在应用第二单应变换之前，可以改变平面图像p和周边区域图像pi中的至少一个的图像尺寸。

在本实施例中的单应是表示等距柱形投影图像ec和平面图像p的投影关系的变换矩阵。平面图像p的坐标系乘以单应变换矩阵,转换为等距柱形投影图像ec(全天球图像ce)的相应坐标系。

区域分割器560将图像的一部分分割为多个网格区域。参照图22a和22b，说明根据本实施例的将第二区域ca2分割为多个栅格区域的操作。图22a和22b表示根据本实施例的将第二区域分割为多个网格区域的操作的概念图。

如图22a所示，第二区域ca2是由第二区域计算器558通过第二单应变换获得的四个顶点限定的矩形。如图22b所示，区域分割器560将第二区域ca2分割为多个栅格区域la2。例如，第二区域ca2在水平方向上等分为30个网格区域，在垂直方向上等分为20个网格区域。

接下来，详细说明将第二区域ca2分割为多个栅格区域la2。

使用下式对第二区域ca2进行等分。假设连接两个点a(x1，y1)和b(x2，y2)的线被等分为“n”个，则从a第m个点pm的坐标用式13计算。

(式13)：

pm＝(x1+(x2-x1)×m/n，y1+(y2-y1)×m/n)

利用式13，该线可以被等分为多个坐标。矩形的上线和下线各自被分成多个坐标，以产生连接上线和下线的相应坐标的多条线。生成的线各自被分成多个坐标，以进一步生成多条线。在此，矩形的左上、右上、右下和左下的点(顶点)的坐标分别由tl、tr、br和bl表示。连接tl和tr的线以及连接br和bl的线均等分为30个坐标(0到30个坐标)。接下来，将连接tl-tr线的对应0至30坐标和br-bl线的每条线等分为20个坐标。因此，矩形区域被分成30×20个子区域。图22b表示左上点tl的坐标(lo00,00，la00,00)的示例情况。

返回图16和20，投影逆转换器562将施加到第二区域ca2的投影逆转换为与等距柱形投影图像ec相同的等距柱形投影。利用该投影变换，确定等距柱形投影图像ec中的与第二区域ca2对应的第三区域ca3。具体地说，投影逆转换器562确定等距柱形投影图像ec中的第三区域ca3，其包含与第二区域ca2中的多个网格区域la2对应的多个网格区域la3。图23表示图20中所示的第三区域ca3的放大图。图23是用于说明等距柱形投影图像ec中的第三区域ca3的确定的概念图。平面图像p叠加在全天球图像ce上，该全天球图像ce是由等距柱形投影图像ec生成的，以便通过映射合适地位于由第三区域ca3限定的部分中。通过投影逆转换器562的处理，生成位置参数，其指示每个网格区域la3中的每个网格点的坐标。位置参数如图17和图18b所示。在该示例中，网格点可以被称为多个点中的单个点。

如上所述，生成位置参数，其用于计算等距柱形投影图像ec和平面图像p之间的每个像素的对应关系。

尽管平面图像p在具有位置参数的正确位置处叠加在等距柱形投影图像ec上，但是这些图像ec和图像p的明度或色调可能变化，从而导致不自然的外观。提供形状转换器564和校正参数发生器566以避免这种不自然的外观，即使这些明度和色调不同的图像部分地叠加在另一个之上。

在应用颜色校正之前，形状转换器564将第二区域ca2转换为具有与平面图像p的形状相同的形状。为了使形状相等，形状转换器564映射第二区域ca2的四个顶点，在平面图像p的相应四个顶点上。更具体地说，使第二区域ca2的形状等于平面图像p的形状，使得图24a中所示的第二区域ca2中的每个网格区域la2可以包括在第二区域ca2中。如图24c所示，平面图像p中的每个网格区域la0位于相同的位置。也就是说，图24a中所示的第二区域ca2的形状转换为图24b所示的第二区域ca2'的形状。当每个网格区域la2被转换为对应的网格区域la2'时，网格区域la2'的形状与平面图像p中的对应网格区域la0的形状相同。

校正参数生成器566生成校正参数，该校正参数将应用于第二区域ca2'中的每个网格区域la2'，使得每个网格区域la2'等于平面图像p中的对应网格区域la0的明度和颜色。具体地说，校正参数生成器566指定共享一个公共网点的四个网格区域la0，并计算构成四个网格区域la0的所有像素的明度值和颜色值(r，g，b)的平均值avg＝(rave，gave，bave)。类似地，校正参数生成器566指定共享一个公共网点的四个网格区域la2'，并计算在指定的四个网格区域la2'中包含的所有像素的明度值和颜色值(r'，g'，b')的平均值avg'＝(r'ave，g'ave，b'ave)。如果指定网格区域la0的一个网格和特定网格区域la2'的对应网格对应于第二区域ca2(或第三区域ca3)的四个顶点中的一个，则校正参数生成器566计算来自角落处的一个网格区域的像素的明度和颜色的平均值avg和平均值avg'。如果特定网格区域la0的一个网格和特定网格区域la2'的对应网格对应于第二区域ca2(或第三区域ca3)的轮廓的网格，则校正参数生成器566计算来自轮廓内两个网格区域的像素的明度值和颜色值的平均值avg和平均值avg'。在该实施例中，校正参数是用于校正平面图像p的明度和颜色的增益数据。因此，通过将avg'除以avg获得校正参数pa，如下式14所示。

(式14)：

pa＝avg'/avg

在显示叠加的图像时，每个网格区域la0乘以由校正参数表示的增益。因此，平面图像p的明度和颜色基本上等于等距柱形投影图像ec(全天球图像ce)的明度和颜色。即使当平面图像p叠加在等距柱形投影图像ec上时，也能防止不自然的外观。除了平均值之外或者替代平均值，可以使用网格区域中的像素的明度和颜色的中央值或最频繁值来计算校正参数。

在该实施例中，值(r，g，b)用于计算每个像素的明度和颜色。或者，可以使用任何其他颜色空间来获得明度和颜色，例如使用yuv的明度和色差，以及根据jpeg使用sycc(ycbcr)获得明度和色差。可以使用任何期望的已知方法将颜色空间从rgb转换为yuv，或转换为sycc(ycbcr)。例如，符合jpeg文件交换格式(jfif)的rgb可以使用式15转换为ycbcr。

(式15)：

叠加显示元数据生成器570使用诸如位置参数和校正参数生成指示平面图像p叠加在全天球图像ce上的位置的叠加显示元数据，以及用于校正像素的明度和颜色的校正值。

(叠加显示元数据)

参照图17，说明根据本实施例的叠加显示元数据的数据结构。图17表示根据本实施例的叠加显示元数据的数据结构。

如图17所示，叠加显示元数据包括等距柱形投影图像信息，平面图像信息，叠加显示信息和元数据生成信息。

利用捕获的图像数据，从特殊图像捕获装置1发送等距柱形投影图像信息。等距柱形投影图像信息包括图像标识符(图像id)和捕获的图像数据的附属数据。包括在等距柱形投影图像信息中的图像标识符用于识别等距柱形投影图像。在图17中，使用图像文件名作为图像标识符的示例，也可以是用于唯一识别图像的图像id。

包括在等距柱形投影图像信息中的附属数据是与等距柱形投影图像有关的任何信息。在图17的元数据的情况下，附属数据包括等距柱形投影图像的姿势校正数据(俯仰，偏转，滚动)，其由特殊图像捕获装置1在捕获图像时获得。姿势校正数据按照标准图像记录格式，例如可交换图像文件格式(exif)存储。或者，姿势校正数据可以以由googlephotosphere模式(gpano)定义的任何期望格式存储。只要在相同位置拍摄图像，特殊图像捕获装置1就可以通过任何定位以360度捕获图像。然而，在显示这样的全天球图像ce时，应该指定定位信息和图像中心(注视点)。通常，校正全天球图像ce用于显示，使得其天顶正好在捕获图像的用户上方。通过该校正，水平线显示为直线，因此，显示的图像具有更自然的外观。

利用捕获的图像数据，从一般图像捕获装置3发送平面图像信息。平面图像信息包括图像标识符(图像id)和捕获的图像数据的附属数据。图像标识符包括在所述平面图像信息，用于识别所述平面图像p。在图17中，使用图像文件名作为图像标识符的示例，也可以是用于唯一识别图像的图像id。

包括在平面图像信息中的附属数据是与平面图像p有关的任何信息。在图17的元数据的情况下，平面图像信息包括作为附属数据的35mm换算焦距的值。对于将平面图像p叠加在全景全天球图像ce上显示来说，35mm换算焦距的值并不是必须的，然而，进行叠加显示场合，其成为用于确定显示叠加图像时的视角的参考信息，

叠加显示信息由智能手机5生成。在该示例中，叠加显示信息包括区域分割数信息，每个网格区域中网格的坐标(位置参数)，以及明度和颜色的校正值(校正参数)。区域分割数信息表示第一区域ca1在水平(经度)方向和垂直(纬度)方向上的分割数。当将第一区域ca1分割为多个网格区域时，区域分割数信息表示此时水平(经度)方向的分割数和垂直(纬度)方向的分割数。

位置参数是映射信息，其针对平面图像p的每个网格区域中的每个网格指示在等距柱形投影图像ec中的位置。例如，位置参数使得等距柱形投影图像ec中的每个网格区域中的每个网格的位置与平面图像p中的每个网格区域中的每个网格相关联。在该示例中，校正参数是用于校正平面图像p的颜色值的增益数据。由于要校正的目标可以是单色图像，因此，校正参数可以仅用于校正明度值。因此，至少使用校正参数来校正图像的明度。

用于捕获平面图像p的透视投影不适用于捕获360度全方位图像，例如全天球图像ce。广角图像例如全天球图像，通常在等距柱形投影中捕获。在等距柱形投影中，像墨卡托投影一样，水平方向上的线之间的距离远离标准平行线。这导致产生与透视投影中的一般相机拍摄的图像看起来非常不同的图像。如果显示叠加在全天球图像ce上的平面图像p，则投影不同的平面图像p和全天球图像ce看起来彼此不同。即使在这些图像之间使缩放相等，平面图像p也不适合全天球图像ce。鉴于上述情况，如上参照图20所述，生成位置参数。

参照图18a和18b，详细说明根据本实施例的位置参数和校正参数。图18a是表示根据本实施例的第二区域ca2中的多个网格区域的概念图。图18b是表示根据本实施例的第三区域ca3中的多个网格区域的概念图。

如上所述，作为等距柱形投影图像ec的一部分的第一区域ca1在透视投影中被转换为第二区域ca2，其是与平面图像p的投影相同的投影。如图18a所示，第二区域ca2在水平方向上分割为30个网格区域，在垂直方向上分割为20个网格区域，总共产生600个网格区域。仍然参照图18a，每个网格区域中每个网格的坐标可以表示为(lo00,00，la00,00)，(lo01,00，la01,00),……，(lo30,20，la30,20)。每个网格区域中每个网格的明度和颜色的校正值可以表示为(r00,00，g00,00，b00,00)，(r01,00，g01,00，b01,00)),……，(r30,20，g30,20，b30,20)。为简单起见，在图18a中，仅表示具有坐标值的四个顶点(网格点)，以及用于明度和颜色的校正值。然而，坐标值和明度及颜色的校正值分配给所有网格中的每一个。明度和颜色的校正值r，g，b分别对应于红色、绿色和蓝色的校正增益。在该示例中，针对以特定网格为中心的预定区域生成明度和颜色的校正值r，g，b。选择特定网格，使得这种网格的预定区域不与相邻特定网格的预定区域重叠。

如图18b所示，第二区域ca2在等距柱形投影中被逆转换为第三区域ca3，这是与等距柱形投影图像ec的投影相同的投影。在该实施例中，第三区域ca3在水平方向上等分为30个网格区域，在垂直方向上等分为20个网格区域，总共产生600个网格区域。参照图18b，每个网格区域中每个网格的坐标可以表示为(lo'00,00，la'00,00)，(lo'01,00，la'01,00),……，(lo'30,20，la'30,20)。每个网格区域中的每个网格的明度和颜色的校正值与第二区域ca2中的每个网格区域中的每个网格的明度和颜色的校正值相同。为简单起见，在图18b中，仅表示具有坐标值的四个顶点(网格)，以及用于明度和颜色的校正值。然而，坐标值以及明度和颜色的校正值分配给所有网格中的每一个。

返回图17，元数据生成信息包括指示叠加显示元数据的版本的版本信息。

如上所述，位置参数指示平面图像p和等距柱形投影图像ec(全天球图像ce)之间的像素位置的对应关系。如果要为所有像素提供这样的对应信息，则在一般图像捕获装置3是高分辨率数字相机的情况下需要大约4000万像素的数据。由于位置参数的数据尺寸增加，这增加了处理负荷。鉴于此种情况，在本实施例中，平面图像p分割为600(30×20)个网格区域。位置参数指示平面图像p和等距柱形投影图像ec(全天球图像ce)之间的600个网格区域中的每一个的各网格的对应关系。当通过智能手机5显示叠加图像时，智能手机5可以基于该网格区域中的每个网格的坐标内插每个网格区域中的像素。

(叠加单元的功能配置)

参照图16，说明根据本实施例的叠加单元55b的功能配置。叠加单元55b包括叠加区域生成器582，校正单元584，图像生成器586，图像叠加单元588和投影转换器590。

叠加区域生成器582指定球体cs的与第三区域ca3对应的部分，以生成部分球体ps。

校正单元584使用叠加显示元数据的校正参数校正平面图像p的明度和颜色，以匹配等距柱形投影图像ec的明度和颜色。校正单元584可以不总是对明度和颜色执行校正。在一个示例中，校正单元584可以仅使用校正参数校正平面图像p的明度。

图像生成器586将平面图像p(或平面图像p的校正图像c)叠加(映射)在部分球体ps，以生成要叠加在全天球图像ce上的图像，为简单起见，其称为叠加图像s。图像生成器586基于部分球体ps的表面区域生成掩蔽数据(maskdata)m。图像生成器586在球体cs上覆盖(附着)等距柱形投影图像ec，以生成全天球图像ce。

掩蔽数据m是能用于将叠加图像s叠加到全天球图像ce场合的透射率数据。掩蔽数据m为了使得将叠加图像s叠加到全天球图像ce场合的边界周边的明度和颜色从内侧的叠加图像s侧逐渐接近外侧的全天球图像ce，掩模周边的透明度从内侧向着外侧，从靠近叠加图像s到靠近全天球图像ce逐渐变高。由此，即使叠加图像s叠加到全天球图像ce，也能极力使得叠加变得不明显。然而，掩蔽数据m的应用是可选的，并不是必须的。

图像叠加单元588将叠加图像s和掩蔽数据m叠加在全天球图像ce上。生成图像，其中高清晰度叠加图像s叠加在低清晰度全天球图像ce上。

如图7所示，投影转换器590转换投影，使得叠加图像s叠加状态的全天球图像ce的预定区域t显示在显示器517，例如，响应用户的显示指令。基于用户的视线(虚拟照相机ic的方向，由预定区域t的中心点cp表示)和预定区域t的视角α执行投影变换。在投影变换中，投影转换器590转换预定区域t的分辨率，以与显示器517的显示区域的分辨率相匹配。具体地说，当预定区域t的分辨率小于显示器517的显示区域的分辨率时，投影转换器590放大预定区域t的尺寸，以匹配显示器517的显示区域。相反，当预定区域t的分辨率大于显示器517的显示区域的分辨率时，投影转换器590减小预定区域t的尺寸，以匹配显示器517的显示区域。因此，显示控制器56在显示器517的整个显示区域显示预定区域图像q，即预定区域t的图像。

参照图19至30，说明根据本实施例的由图像捕获系统执行的捕获图像和显示图像的操作。首先，参照图19，说明根据本实施例的由图像捕获系统执行的捕获图像的操作。图19是表示根据本实施例的捕获图像的操作的数据序列图。以下描述捕获对象的对象和周围环境的示例情况。然而，除了捕获对象之外，当正在生成捕获图像时，音频可以由音频收集单元14记录。

如图19所示，智能手机5的接受单元52接受用户指令以开始链接图像捕获(s11)。响应于开始链接图像捕获的用户指令，显示控制器56控制显示器517以显示如图15b所示的链接图像捕获装置配置屏幕。图15b的屏幕对于每个可使用的图像捕获装置包括当选择图像捕获装置作为主装置时要选择的单选按钮，以及当选择图像捕获装置作为子装置时要选择的复选框。图15b的屏幕还为每个可使用的图像捕获装置显示图像捕获装置的装置名称和接收信号强度等级。假设用户选择一个图像捕获设备作为主装置，选择其他图像捕获装置作为子装置，并按下“确认”键，智能手机5的接受单元52接受开始链接图像捕获的指令。在该示例中，可以选择多个图像捕获装置作为子装置。出于这个原因，可以选择多个复选框。

智能手机5的近距离通信单元58向一般图像捕获装置3的近距离通信单元38发送轮询查询以开始图像捕获(s12)。一般图像捕获装置3的近距离通信单元38接收该查询以开始图像捕获。

一般图像捕获装置3的判断器37根据接受单元32是否已经接受用户按下快门按钮315a来确定图像捕获是否已经开始(s13)。

一般图像捕获装置3的近距离通信单元38将基于s13的确定结果的响应发送到智能手机5(s14)。当在s13确定图像捕获已经开始时，响应指示图像捕获已经开始。在这种情况下，响应包括利用一般图像捕获装置3捕获的图像的图像标识符。相反，当在s13确定图像捕获尚未开始时，响应指示其等待开始图像捕获。智能手机5的近距离通信单元58接收该响应。

继续描述，假设确定指示图像捕获已在s13开始，并且在s14发送指示图像捕获已开始的响应。

一般图像捕获装置3开始捕获图像(s15)。在按下快门按钮315a之后执行的s15的处理包括捕获对象和周围环境，以利用图像捕获单元33生成捕获图像数据(平面图像数据)，并且用存储和读取单元39将捕获图像数据存储在存储器3000中。

在智能手机5，近距离通信单元58将请求开始图像捕获的图像捕获开始请求发送到特殊图像捕获装置1(s16)。特殊图像捕获装置1的近距离通信单元18接收图像捕获开始请求。

特殊图像捕获装置1开始捕获图像(s17)。具体地说，在s17，图像捕获单元13捕获对象和周围环境以生成捕获的图像数据，即，如图3a和3b所示的两个半球图像。然后，图像和音频处理单元15基于这两个半球图像，生成如图3c所示的等距柱形投影图像。存储和读取单元19将等距柱形投影图像的数据存储在存储器1000中。

在智能手机5，近距离通信单元58将用于发送捕获图像的请求(“捕获图像请求”)发送到一般图像捕获装置3(s18)。捕获图像请求包括在s14接收的图像标识符。一般图像捕获装置3的近距离通信单元38接收捕获图像请求。

一般图像捕获装置3的近距离通信单元38将在s15获得的平面图像数据发送到智能手机5(s19)。这时，与平面图像数据一起，也发送用于识别平面图像数据的图像标识符和附属数据。平面图像的图像标识符和附属数据是图17中所示的平面图像信息的一部分。智能手机5的近距离通信单元58接收平面图像数据，图像标识符和附属数据。

特殊图像捕获装置1的近距离通信单元18将在s17获得的等距柱形投影图像数据发送到智能手机5(s20)。与等距柱形投影图像数据一起，也发送用于识别等距柱形投影图像数据的图像标识符和附属数据。如图17所示，图像标识符和附属数据是等距柱形投影图像信息的一部分。智能手机5的近距离通信单元58接收等距柱形投影图像数据，图像标识符和附属数据。

接下来，智能手机5的存储和读取单元59将在s19接收的平面图像数据和在s20接收的等距柱形投影图像数据存储在存储器5000的相同文件夹中(s21)。

接下来，智能手机5的图像和音频处理单元55生成叠加的显示元数据，其用于显示平面图像p部分地叠加在全天球图像ce上的图像(s22)。在此，平面图像p是高清晰度图像，全天球图像ce是低清晰度图像。存储和读取单元59将叠加的显示元数据存储在存储器5000中。

参照图20至24，详细说明根据本实施例的生成叠加显示元数据的操作。即使当一般图像捕获装置3和特殊图像捕获装置1在成像元件的分辨率相等时，特殊图像捕获装置1的成像元件也捕获宽区域，以获得从360度获得的等距柱形投影图像，生成全天球图像ce。因此，利用特殊图像捕获装置1捕获的图像数据趋向于每单位面积的清晰度低。

<叠加显示元数据的生成>

首先，描述生成叠加显示元数据的操作。叠加显示元数据用于在显示器517上显示图像，其中，高清晰度平面图像p叠加在全天球图像ce上。从低清晰度的等距柱形投影图像ec生成全天球图像ce。如图17所示，叠加显示元数据包括位置参数和校正参数，每个位置参数和校正参数按如下所述生成。

参照图20，提取器550从在等距柱形投影中捕获的长方形的等距柱形投影图像ec中提取多个特征点fp1(s110)。提取器550还从透视投影中捕获的长方形的平面图像p中提取多个特征点fp2(s110)。

接下来，第一区域计算器552通过第一单应性变换，基于等距柱形投影图像ec中的特征点fp1的特征值fv1和平面图像p中的特征点fp2的特征值fv2之间的相似度，计算在等距柱形投影图像ec中，与平面图像p对应的矩形第一区域ca1(s120)。更具体地说，第一区域计算器552基于计算得到的等距柱形投影图像ec的多个特征点fp1的特征值fv1和平面图像p中的多个特征点fp2的特征值fv2之间的相似度，计算图像间的对应点，在等距柱形投影图像ec中，通过求取与平面图像p对应的单应性，得到第一单应性变换，如图20所示，在等距柱形投影图像ec中，计算与平面图像p对应的矩形第一区域ca1(s120)。执行上述处理以粗略估计平面图像p和投影方式不同的等距柱形投影图像ec之间的对应像素(网格)位置。

接下来，注视点指定器554指定等距柱形投影图像ec中的点(称为注视点)，其对应于第一单应变换之后的平面图像p的中心点cp1(s130)。

投影转换器556从等距柱形投影图像ec中提取外围区域pa，该外围区域pa是围绕注视点gp1的部分。投影转换器556将周边区域pa从等距柱形投影转换为透视投影，以生成周边区域图像pi(s140)。

提取器550从周边区域图像pi中提取多个特征点fp3，其由投影转换器556获得(s150)。

接下来，第二区域计算器558通过第二单应性变换，基于平面图像p中的特征点fp2的特征值fv2和周边区域图像pi中的特征点fp3的特征值fv3之间的相似度，计算在周边区域图像pi中，与平面图像p对应的矩形第二区域ca2(s160)。在该示例中，可以减小作为4000万像素的高清晰度图像的平面图像p的尺寸。

接下来，区域分割器560将第二区域ca2分割为多个网格区域la2，如图22b所示(s170)。

如图20所示，投影逆转换器562将第二区域ca2从透视投影转换(逆转换)到等距柱形投影，其与等距柱形投影图像ec的投影相同(s180)。如图23所示，投影逆转换器562确定等距柱形投影图像ec中的第三区域ca3，其包含与第二区域ca2中的多个网格区域la2对应的多个网格区域la3。图23是用于说明等距柱形投影图像ec中的第三区域ca3的确定的概念图。通过投影逆转换器562的处理，生成位置参数，其指示每个网格区域la3中的每个网格的坐标。位置参数如图17和图18b所示。

参照图20至24c，说明根据本实施例的生成校正参数的操作。图24a到24c是表示根据本实施例的生成校正参数的操作的概念图。

在s180之后，形状转换器564将第二区域ca2转换为具有与平面图像p的形状相同的形状。具体地说，形状转换器564映射第二区域ca2的四个顶点，如图24a所示，在平面图像p的相应的四个顶点上，获得第二区域ca2，如图24b所示。

如图24c所示，区域分割器560将平面图像p分割为多个网格区域la0，其在形状和数量上与第二区域ca2'的多个网格区域la2'相等(s200)。

校正参数生成器566生成校正参数，该校正参数将应用于第二区域ca2'中的每个网格区域la2'，使得每个网格区域la2'等于平面图像p中的对应网格区域la0的明度和颜色(s210)。

如图17所示，叠加显示元数据生成器570使用从特殊图像捕获装置1获得的等距柱形投影图像信息，从一般图像捕获装置3获得的平面图像信息，预先设置的区域分割数信息，由投影逆转换器562生成的位置参数，由校正参数生成器566生成的校正参数，以及元数据生成信息，生成叠加显示元数据(s220)。该叠加显示元数据由存储和读取单元59存储在存储器5000中。

然后，在图19的s22，生成叠加显示元数据，结束处理。与存储和读取单元59协同，显示控制器56使用叠加显示元数据进行叠加处理(s23)。

<叠加>

参照图25至30d，说明根据本实施例的叠加图像的操作。图25是表示根据本实施例的在处理或生成图像的情况下叠加图像的操作的概念图。

图14中所示的存储和读取单元59(获取器)从存储器5000读取在等距柱形投影中的等距柱形投影图像ec的数据，透视投影中的平面图像p的数据，以及叠加的显示元数据。

参照图25，使用位置参数，叠加区域生成器582指定虚拟球体cs的与第三区域ca3对应的部分，以生成部分球体ps(s310)。通过线性插值对与具有由位置参数定义的位置的网格对应的像素以外的像素进行插值。

校正单元584使用叠加显示元数据的校正参数校正平面图像p的明度和颜色，以匹配等距柱形投影图像ec的明度和颜色(s320)。已经校正的平面图像p被称为“校正平面图像c”。

图像生成器586将平面图像p的校正后的平面图像c叠加在部分球体ps上，以生成叠加图像s(s330)。通过线性插值对与具有由位置参数定义的位置的网格对应的像素以外的像素进行插值。图像生成器586基于部分球体ps生成掩蔽数据m(s340)。图像生成器586在球体cs的表面覆盖(附着)等距柱形投影图像ec，以生成全天球图像ce(s350)。图像叠加单元588将叠加图像s和掩蔽数据m叠加在全天球图像ce上(s360)。生成图像，其中，高清晰度叠加图像s叠加在低清晰度全天球图像ce上。利用掩蔽数据，两个不同图像之间的边界变得不明显。

如图7所示，投影转换器590转换投影，使得用叠加图像s叠加的全天球图像ce的预定区域t显示在显示器517，例如，响应于用户的显示指令。基于用户的视线(虚拟相机ic的方向，由预定区域t的中心点cp表示)和预定区域t的视角α执行投影变换(s370)。投影转换器590还可以根据显示器517的显示区域的分辨率改变预定区域t的尺寸。因此，显示控制器56在显示器517的整个显示区域中显示预定区域图像q，即预定区域t的图像(s24)。在该示例中，预定区域图像q包括叠加有平面图像p的叠加图像s。

参照图26至30d，详细说明根据本实施例的叠加图像的显示。图26是表示叠加有平面图像p的全天球图像ce的二维视图的概念图。平面图像p叠加在图5所示的全天球图像ce上。如图26所示，根据位置参数，高清晰叠加图像s叠加在覆盖球体cs表面的全天球图像ce上，叠加在球体cs的内侧。

图27是表示叠加有平面图像p的全天球图像ce的三维视图的概念图。图27表示全天球图像ce和叠加图像s覆盖球体cs的表面的状态，并且预定区域图像q包括叠加图像s。

图28a和28b是表示根据比较例的在不使用位置参数的情况下叠加有平面图像的全天球图像的二维视图的概念图。图29a和29b是表示在本实施例中使用位置参数叠加有平面图像p的全天球图像ce的二维视图的概念图。

如图28a中所示，假设对应于用户的视点的虚拟相机ic位于作为参考点的球体cs的中心。作为图像捕获目标的对象p1由全天球图像ce中的对象p2表示。对象p1由叠加图像s中的对象p3表示。仍然参照图28a所示，对象p2和对象p3沿着连接虚拟相机ic和对象p1的直线定位。这表示即使当叠加图像s被显示为叠加在全天球图像ce上时，全天球图像ce的坐标和叠加图像s的坐标也匹配。如图28b所示，如果虚拟相机ic远离球体cs的中心移动，则对象p2的位置停留在连接虚拟相机ic和对象p1的直线上，但对象p3的位置稍微偏移到对象p3'的位置。对象p3'是叠加图像s中的对象，其沿着连接虚拟相机ic和对象p1的直线定位。这将因对象p3和对象p3'之间的偏移量“g”，导致全天球图像ce和叠加图像s之间的网格位置的差异。因此，在显示叠加图像s时，叠加图像s的坐标偏离全天球图像ce的坐标。

鉴于上述情况，在本实施例中，生成位置参数，其指示叠加图像s中的多个网格区域相对于平面图像p的各自位置。利用该位置参数，如图29a和29b所示，叠加图像s在右侧位置叠加在全天球图像ce上，同时补偿所述移位。更具体地说，如图29a所示，当虚拟相机ic位于球体cs的中心时，对象p2和对象p3沿着连接虚拟相机ic和对象p1的直线定位。如图29b所示，即使当虚拟相机ic远离球体cs的中心移动时，对象p2和对象p3也沿着连接虚拟相机ic和对象p1的直线定位。即使当叠加图像s被显示为叠加在全天球图像ce上时，全天球图像ce的坐标和叠加图像s的坐标也匹配。

因此，本实施例的图像捕捉系统能够以高图像质量显示图像，在该图像中，高清晰度平面图像p叠加在低清晰度全天球图像ce上。这将参照图30a至30d进行说明。图30a表示当作为广角图像显示时的全天球图像ce。在此，平面图像p不叠加在全天球图像ce上。图30b表示当显示为远摄图像时的全天球图像ce。在此，平面图像p不叠加在全天球图像ce上。图30c表示当显示为广角图像时与平面图像p叠加的全天球图像ce。图30d表示当显示为远摄图像时与平面图像p叠加的全天球图像ce。图30a和30c中的每一个中的点线是为了说明方便，表示平面图像p的边界。可以在显示器517上向用户显示或不显示这样的点线。

假设如图30a所示，显示没有叠加平面图像p的全天球图像ce，接收用于放大由点线区域指示的区域的用户指令。在这种情况下，如图30b所示，向用户显示作为模糊图像的放大的低清晰度图像。如上面在本实施例中所述，假设在叠加有平面图像p的全天球图像ce的同时，如图30c所显示，接收用于放大由点线区域指示的区域的用户指令。在这种情况下，如图30d所示，向用户显示作为清晰图像的高清晰度图像。例如，假设在虚线内表示的目标对象具有带有一些字符的符号，即使用户放大该部分，如果图像模糊，用户也可能无法读取这些字符。如果高清晰度平面图像p叠加在该部分上，则将向用户显示高质量图像，使得用户能够读取这些字符。

如上所述，在本实施例中，即使当投影方式不同的一个图像叠加在另一个上时，也可以补偿由投影差异引起的网格偏移。例如，即使当透视投影的平面图像p叠加在等距柱形投影的等距柱形投影图像ec上时，这些图像也以相同的坐标位置显示。更具体地说，特殊图像捕获装置1和一般图像捕获装置3使用不同的投影方法捕获图像。在这种情况下，如果由一般图像捕获装置3获得的平面图像p叠加在由特殊图像捕获装置1获得的等距柱形投影图像ec生成的全天球图像ce上，则因为这些图像ce和p看起来彼此不同，因此，平面图像p不适合全天球图像ce。鉴于此种状况，如图20所示，根据该实施例的智能手机5在等距柱形投影图像ec中，确定与平面图像p对应的第一区域ca1，粗略地确定叠加平面图像p的区域(s120)。智能手机5从等距柱形投影图像ec中提取外围区域pa，该外围区域pa是围绕第一区域ca1中的注视点gp1的部分。智能手机5还将周边区域pa从等距柱形投影转换为作为平面图像p的投影的透视投影，以生成周边区域图像pi(s140)。智能手机5在外围区域图像pi中确定对应于平面图像p的第二区域ca2(s160)，并且将施加到第二区域ca2的投影逆转换返回应用于等距柱形投影图像ec的等距柱形投影。利用该投影变换，在等距柱形投影图像ec中确定与第二区域ca2对应的第三区域ca3(s180)。如图30c所示，高清晰度平面图像p叠加在低清晰度全天球图像ce的预定区域图像的一部分上。当向用户显示时，平面图像p适合全天球图像ce。

此外，在该实施例中，位置参数使用包括多个网格区域的第三区域ca3，指示叠加图像s叠加在全天球图像ce上的位置。因此，如图29b所示，叠加图像s在右侧位置叠加在全天球图像ce上。即使虚拟相机ic的位置发生变化，也可以补偿由于投影差异导致的网格偏移。

第二实施例

参照图31至35，说明根据第二实施例的图像捕获系统。

<图像捕获系统概述>

首先，参照图31，说明根据第二实施例的图像捕获系统的概略。图31是表示根据第二实施例的图像捕获系统的配置的示意框图。

参照图31，与上述第一实施例的图像捕获系统相比，本实施例的图像捕获系统还包括图像处理服务器7。在第二实施例中，与第一实施例中描述的元件基本相同的元件赋予相同的附图标记。出于描述方便的目的，省略其描述。智能手机5和图像处理服务器7通过诸如因特网或内联网的通信网络100互相通信。

在第一实施例中，智能手机5生成叠加的显示元数据，并处理图像的叠加。在该第二实施例中，图像处理服务器7执行这样的处理，而不是智能手机5。本实施例中的智能手机5是通信终端的一个示例，图像处理服务器7是图像处理装置或设备的一个示例。

图像处理服务器7是服务器系统，其由可以分布在网络上的多个计算机实现，以彼此协作地执行诸如图像处理的处理。

<硬件配置>

接下来，参照图32，说明根据本实施例的图像处理服务器7的硬件配置。图32表示根据该实施例的图像处理服务器7的硬件配置。由于特殊图像捕获装置1，一般图像捕获装置3和智能手机5在硬件配置上基本相同，如第一实施例中所述，因此，省略其描述。

<图像处理服务器的硬件配置>

图32是图示根据本实施例的图像处理服务器7的硬件配置的示意框图。如图32所示，由通用计算机实现的图像处理服务器7包括cpu701，rom702，ram703，hd704，hdd705，介质i/f707，显示器708，网络i/f709，键盘711，鼠标712，cd-rw驱动器714和总线710。由于图像处理服务器7作为服务器操作，因此，不必提供诸如键盘711和鼠标712的输入设备，或诸如显示器708的输出设备。

cpu701控制图像处理服务器7的整体处理。rom702存储用于控制cpu701的控制程序。ram703用作cpu701的工作区域。hd704存储诸如程序的各种数据。hdd705在cpu701的控制下控制向hd704写入各种数据或从hd704读取各种数据。介质i/f707控制相对于诸如闪存的记录介质706的数据读取或写入。显示器708显示各种信息，例如光标，菜单，窗口，字符或图像。网络i/f709是通过通信网络100控制与外部设备的数据通信的接口。键盘711是输入设备的一个示例，其具有多个键，用于允许用户输入字符，数字或各种指令。鼠标712是用于允许用户选择特定指令或执行，选择用于处理的目标或移动正在显示的光标的输入设备的一个示例。cd-rw驱动器714控制相对于作为可移动记录介质一例的可重写光盘(cd-rw)713读取或写入各种数据。

图像处理服务器7还包括总线710。总线710是地址总线或数据总线，其电连接图32中的元件，例如cpu701。

<图像捕获系统的功能配置>

参照图33和34，说明根据第二实施例的图31的图像捕获系统的功能配置。图33是表示根据第二实施例的图31的图像捕获系统的功能配置的示意框图。由于特殊图像捕获装置1，一般图像捕获装置3和智能手机5在功能配置上基本相同，如第一实施例中所述，因此，省略其描述。然而，在本实施例中，智能手机5的图像和音频处理单元55既可以具有图16中所示的所有功能单元，也可以不具有这些功能单元。

<图像处理服务器的功能配置>

如图33所示，图像处理服务器7包括远程通信单元71，接受单元72，图像和音频处理单元75，显示控制器76，判断器77，以及存储和读取单元79。这些单元是由图32中所示的任何元件根据从hd704扩展到ram703的控制程序，基于cpu701的指令而实现的功能或手段。

图像处理服务器7还包括存储器7000，其由图32所示的rom702，ram703和hd704实现。

图像处理服务器7的远程通信单元71由在cpu701的控制下操作的网络i/f709实现，如图32所示，通过诸如因特网的通信网络向其他设备(例如，其他智能手机或服务器)发送或接收各种数据或信息。

接受单元72由键盘711或鼠标712实现，键盘711或鼠标712在cpu701的控制下操作，以接收来自用户的各种选择或输入。

图像和音频处理单元75由cpu701的指令实现。图像和音频处理单元75对从智能手机5发送的各种类型的数据应用各种类型的处理。

由cpu701的指令实现的显示控制器76生成预定区域图像q的数据，作为平面图像p的一部分，用于在智能手机5的显示器517上显示。显示控制器76使用由图像和音频处理单元75生成的叠加显示元数据，将平面图像p叠加在全天球图像ce上。利用叠加显示元数据，平面图像p的每个网格区域la0放置在由位置参数指示的位置，并且调整为具有由校正参数指示的明度值和颜色值。

判断器77由图32中所示的cpu701的指令实现，执行各种确定。

存储和读取单元79由图32中所示的cpu701的指令实现，存储器7000中存储各种数据或信息，并从存储器7000中读出各种数据或信息。例如，叠加显示元数据可以存储在存储器7000中。在该实施例中，存储和读取单元79用作从存储器7000获得各种数据的获取器。

(图像和音频处理单元的功能配置)

参照图34，说明根据本实施例的图像和音频处理单元75的功能配置。图34是表示根据本实施例的图像和音频处理单元75的功能配置的框图。

图像和音频处理单元75主要包括执行编码的元数据生成器75a和执行解码的叠加单元75b。元数据生成器75a执行s44的处理，s44是用于生成叠加显示元数据的处理，如图35所示。叠加单元75b执行s45的处理，s45是使用叠加显示元数据叠加图像的处理，如图35所示。

(元数据生成器的功能配置)

首先，说明根据本实施例的元数据生成器75a的功能配置。元数据生成器75a包括提取器750，第一区域计算器752，注视点指定器754，投影转换器756，第二区域计算器758，区域分割器760，投影逆转换器762，形状转换器764，校正参数生成器766和叠加显示元数据生成器770。元数据生成器75a的这些元件在功能上基本上分别类似于元数据生成器55a的提取器550，第一区域计算器552，注视点指定器554，投影转换器556，第二区域计算器558，区域分割器560，投影逆转换器562，形状转换器564，校正参数生成器566和叠加显示元数据生成器570。因此，省略其描述。

参照图34，说明根据本实施例的叠加单元75b的功能配置。叠加单元75b包括叠加区域生成器782，校正单元784，图像生成器786，图像叠加单元788和投影转换器790。叠加单元75b的这些元件在功能上基本上分别类似于叠加单元55b的叠加区域发生器582，校正单元584，图像生成器586，图像叠加单元588和投影转换器590。因此，省略其描述。

<处理>

参照图35，捕获图像的处理由图31的根据第二实施例的图像捕获系统执行。图35是表示根据第二实施例的捕获图像的处理的数据序列图。s31至s41以与上述根据第一实施例的s11至s31所述的基本类似的方式执行，省略其描述。

在智能手机5，远程通信单元51通过通信网络100向图像处理服务器7发送请求将一个图像叠加在投影方式不同的其他图像上的叠加请求(s42)。叠加请求包括已经存储在存储器5000中的要处理的图像数据。在该示例中，要处理的图像数据包括平面图像数据和存储在同一文件夹中的等距柱形投影图像数据。所述图像处理服务器7的远程通信单元71接收要处理的图像数据。

接下来，在图像处理服务器7，存储和读取单元79将在s42接收的要处理的图像数据(平面图像数据和等距柱形投影图像数据)存储在存储器7000中(s43)。如图34中表示的元数据生成器75a生成叠加显示元数据(s44)。此外，叠加单元75b使用叠加显示元数据叠加图像(s45)。更具体地说，叠加单元75b将平面图像叠加在等距柱形投影图像上。s44和s45以与上面参照图19的s22和s23所述的基本类似的方式执行，省略其说明。

接下来，显示控制器76产生预定区域图像q的数据，该预定区域图像q对应于预定区域t，以显示在智能手机5的显示器517的显示区域中。如上所述，在该示例中，预定区域图像q被显示，以覆盖显示器517的整个显示区域。在这个例子中，该预定区域图像q包括用平面图像p叠加的叠加图像s。远距离通信单元71向智能手机5发送由显示控制器76生成的预定区域图像q的数据(s46)。智能手机5的远距离通信单元51接收预定区域图像q的数据。

智能手机5的显示控制器56控制显示器517，以显示包括叠加图像s的预定区域图像q(s47)。

因此，本实施例的图像捕获系统可以实现上述参照第一实施例描述的优点。

此外，在该实施例中，智能手机5执行图像捕获，并且图像处理服务器7执行诸如叠加显示元数据的生成和叠加图像的生成的图像处理。这导致智能手机5上的处理负荷减小。因此，智能手机5不需要高的图像处理能力。

在该实施例中，智能手机5和图像处理服务器7可以彼此协作以作为图像处理系统操作。

<校正图像明度或颜色的变化>

如图25所示，平面图像p的明度和颜色在s320校正，以匹配等距柱形投影图像ec的明度和颜色。在某些情况下，应该进行明度和颜色的校正，同时考虑曝光和白平衡。

通常，特殊图像捕获装置1生成全天球图像，使得曝光和白平衡在整个覆盖区域、这是比较宽的区域得到优化。在另一方面，一般图像捕获装置3生成平面图像，使得曝光和白平衡在聚焦区、这是比全天球图像的覆盖区域窄的区域得到优化。因此，诸如曝光和白平衡的图像特性在全天球图像ce和叠加的s(平面图像p)之间趋向于大大不同。如果要简单地校正平面图像p，以匹配全天球图像ce的明度或颜色，则这种校正可能不是所希望的，因为全天球图像倾向于具有过度曝光或暴露不足的部分。

<第三实施例>

鉴于此，在以下说明的第三实施例中，校正单元584根据在预定区域t中的该重叠图像s(平面图像p)的区域相对预定区域t的比率，校正叠加图像s的明度和颜色中的至少一个。

现在参照图36至图42，根据第三实施例描述校正平面图像p的操作。为了描述方便，以下假设校正叠加图像s(平面图像p)的明度和颜色。然而，如上所述，可以校正明度和颜色中的至少一个。

图36是示出根据该实施例的用于处理或生成图像来校正平面图像的处理的概念图。更具体地说，下面描述校正平面图像p的其它示例性操作，在图25所示的s320被执行。在此，生成第一校正平面图像c1和第二校正平面图像c2，作为校正了明度和颜色的校正平面图像c。

如图36所示，校正单元584使用叠加显示元数据中的校正参数对平面图像p应用s320的处理，以生成具有校正的明度和颜色的第一校正平面图像c1，以匹配所述等距柱形投影图像ec的明度和颜色。

校正单元584根据虚拟相机ic的成像方向(预定区域t的中心点，其对应于用户的视线)和虚拟相机ic的视角α，确定第一校正平面图像c1和未校正平面图像p的合成比率，用于生成第二校正平面图像c2。校正单元584根据确定的合成比率(s321),合成第一校正平面图像c1和平面图像p,生成第二校正平面图像c2。更具体地说，在本实施例中，校正单元584根据相对于特定平面图像p的区域的中心点和平面图像p的区域范围(大小)的视角α的、特定预定区域t的中心点和预定区域t的范围(大小)的视角α，计算在预定区域t中平面图像p的区域面积所占的比率。

校正单元584根据该叠加图像s的区域面积与预定区域t面积的比率，校正叠加图像s的明度和颜色。

在s330中，图像生成器586将第二校正图像c2映射到部分球体ps，生成叠加图像s。如上述图25所描述。

接下来，详细描述改变校正图像c1和平面图像p的合成比率的s321。图37示出当校正平面图像的明度和颜色场合(右侧)以及不校正平面图像的明度和颜色场合(左侧)的预定区域图像。在图中，p'表示已经校正的平面图像p。

参照图37右下方所示的图像，校正平面图像p的明度和颜色以匹配预定区域图像q、即全天球图像ce的预定区域t的图像的明度和颜色。如图37所示，叠加图像s叠加在预定区域图像q，这样，用户能明确把握叠加图像s叠加在预定区域图像q。

参照图37左下方所示的图像，没有校正平面图像的明度和颜色，使得它们与预定区域图像q的明度和颜色不匹配。如图37所示，显然叠加图像s是不同的图像，叠加在预定区域图像q上。

图38示出了根据叠加图像s与预定区域图像q的面积比不同地校正明度和颜色的示例叠加图像。图37仅仅示出两种情况，即，该图像已被校正的第一种情况(右侧)，以及所述图像还没有被校正的第二种情况(左侧)，而图38示出了包括第一种情况(a)至第五种情况(e)的五种情况。

具体地说，第一种情况(a)的图像是尚未校正的叠加图像s(0％校正)。也就是说，利用未校正平面图像p的明度和颜色值生成叠加图像s。

第二种情况(b)的图像是具有25％(或0.25)校正的重叠图像s，其具有通过合成预定区域图像q(等距柱形投影图像ec)的明度及颜色值的25％(0.25)和叠加图像s(平面图像p)的明度和颜色值的75％(0.75)而生成的像素值。如上面参照图36所述，合成第一校正平面图像c1的明度和颜色值的25％以及平面图像p的明度和颜色值的75％。

第三种情况(c)的图像是具有50％(或0.50)校正的叠加图像s，其具有通过合成预定区域图像q(等距柱形投影图像ec)的明度及颜色值的50％(0.50)和叠加图像s(平面图像p)的明度和颜色值的50％(0.5)而生成的像素值。如上面参照图36所述，合成第一校正平面图像c1的明度和颜色值的50％以及平面图像p的明度和颜色值的50％。

第四种情况(d)的图像是具有75％(或0.75)校正的叠加图像s，其具有通过合成预定区域图像q(等距柱形投影图像ec)的明度及颜色值的75％(0.75)和叠加图像s(平面图像p)的明度和颜色值的25％(0.25)而生成的像素值。如上面参照图36所述，合成第一校正平面图像c1的明度和颜色值的75％以及平面图像p的明度和颜色值的25％。

第五种情况(e)的图像是具有100％(或1.00)校正的叠加图像s，其具有通过合成预定区域图像q(等距柱形投影图像ec)的明度及颜色值的100％(1.00)和叠加图像s(平面图像p)的明度和颜色值的0％(0.00)而生成的像素值。如上面参照图36所述，合成第一校正平面图像c1的明度和颜色值的100％以及平面图像p的明度和颜色值的0％。

在该实施例中，由于平面图像p(叠加的s)相对于预定区域t(预定区域图像q)的面积比率变小，因此，校正单元584校正平面图像p的明度和颜色，以便更多反映预定区域图像q的明度和颜色。另一方面，由于平面图像p相对于预定区域t的面积比率变大，校正单元584趋向于不校正地保持平面图像p的明度和颜色，以便更多反映原始值。图39示出了预定区域图像的示例情况，显示具有根据叠加图像s(平面图像p')与预定区域图像q(预定区域t)的面积比率校正的明度或颜色的叠加图像s。叠加图像s(平面图像p')相对于预定区域图像q(预定区域t)的面积比率按图示例的(a)、(b)、(c)、(d)顺序减小。因此，对叠加的s(平面图像p')执行的校正的影响按(a)、(b)、(c)、(d)顺序增加，所述校正使其具有与预定区域图像q的明度和颜色相匹配的颜色和颜色。也就是说，随着叠加图像s(平面图像p')相对于预定区域图像q(预定区域t)的面积比率减小，叠加图像s(平面图像p')的明度和颜色变得更接近作为全天球图像ce的一部分的预定区域图像q的明度和颜色。

现在参照图40和图41，说明根据本实施例的虚拟相机ic的成像方向(预定区域t的中心点，其对应于用户的视线)与虚拟相机ic的视角α之间的关系，以及显示叠加图像s(平面图像p')。图40示出了预定区域t与叠加图像s的区域之间的关系，该区域根据虚拟相机ic的成像方向和视角而改变。图41示出了预定区域图像相对于叠加图像的显示变化。

在图40(a)情况中，如图41所示，所述叠加图像s在预定区域t1内，显示作为预定区域t1的图像的预定区域图像q1，其包围叠加图像s。

在图40(b)情况中，如图41所示，预定区域t2是在叠加图像s区域内，预定区域图像q2是预定区域t2的图像，显示它位于叠加图像s内。

在图40(c)情况中，如图41所示，其中大约一半的叠加图像s在预定区域t3内，因为视线方向相对于叠加图像s的中心偏移了偏移量g1，显示作为预定区域t3的图像的预定区域图像q3，其在叠加图像s内偏向左方。

在图40(d)情况中，如图41所示，预定区域t4的约三分之一包含叠加图像s，因为视线方向相对于叠加图像s的中心偏移了偏移量g2，显示作为预定区域t4的图像的预定区域图像q4。

可以以各种其他方式执行根据叠加图像s(平面图像p)相对于预定区域图像q(预定区域t)的面积比率校正叠加图像s的操作。例如，除了在生成第二校正平面图像c2时改变第一校正平面图像c1的明度及颜色值和平面图像p的明度及颜色值的合成比之外，可以预先调整校正参数。

图42是示出根据该示例的校正平面图像的处理的概念图。更具体地说，以下描述如图25所示的s320处执行的校正平面图像p的其他示例操作。

如图42所示，校正单元584将根据校正参数校正平面图像p场合设为最大校正，将不校正的平面图像p设为最小校正，基于预先设定的虚拟相机ic的视线方向(预定区域t的中心点)和视角α，根据在预定区域t中平面图像p的区域的面积所占的比率，变更校正参数(s319)。

校正单元584执行s320的处理，如上面参照图25所述，生成第二校正图像c2。

如上面参照图25所述，在s330中，图像生成器586将第二校正图像c2映射到部分球体ps，以生成叠加图像s。

<第四实施例>

虽然上述第三实施例示出了平面图像p校正为与等距柱形投影图像ec的明度和颜色更接近的示例情况，但是可以校正平面图像p和等距柱形投影图像ec两者，使得明度和颜色更接近，例如，如下所述。

此外，除了根据平面图像p(叠加图像s)的面积控制校正程度的上述实施例之外，可以以各种方式执行平面图像p或等距柱形投影图像ec的校正，在预定区域t(预定区域图像q)中显示。

图43是示出根据该实施例的用于利用已处理或生成的图像来校正平面图像和等距柱形图像的处理的概念图。与参照图25描述的操作相比，图43还包括校正等距柱形投影图像ec的颜色和明度的s400。在s400，校正单元584使用叠加显示元数据的校正参数校正等距柱形投影图像ec的明度和颜色，以匹配平面图像p的明度和颜色。在s400校正的等距柱形投影图像ec称为“校正的等距柱形投影图像d”。

再有，在s320中，图43的处理与图25的处理不同。在图43中，校正单元584根据视线方向与平面图像p的中心点之间的角度β来控制平面图像p的明度和颜色的校正量。在s400中，等距柱形投影图像ec的校正可以用大体相同的方式，根据视线方向与平面图像p的中心点之间的角度β进行校正。

再次参照图36，根据该实施例描述平面图像p的校正。

如上所述，校正单元584使用叠加显示元数据的校正参数校正平面图像p的明度和颜色，以匹配等距柱形投影图像ec的明度和颜色(即，预定区域图像q)，以产生第一校正平面图像c1(s320)。

在该实施例中，确定第一校正平面图像c1和平面图像p的合成比率的s321与上述实施例不同。更具体地说，在该实施例中，校正单元584参照虚拟相机ic的成像方向(预定区域t的中心点，其对应于用户的视线)与平面图像p的中心点之间的角度β，改变第一校正平面图像c1和平面图像p的合成比率。该处理导致生成第二校正平面图像c2。在下文中，虚拟相机ic的成像方向(其对应于用户的视线方向)被称为虚拟相机ic的视线方向。将参照图45详细描述改变合成比率的处理。

在s330，图像生成器586将第二校正平面图像c2映射到部分球体ps上，以生成叠加图像s。

图44是示出根据该实施例的用已处理或生成的图像校正等距柱形投影图像ec的处理的概念图。详细说明在图4的s400执行的等距柱形投影图像ec的校正。

在s411，校正单元584校正等距柱形投影图像ec的明度和颜色，以匹配平面图像p的明度和颜色，生成第一校正等距柱形投影图像d1。在叠加显示元数据中的校正参数包括用于校正平面图像p的明度和颜色的增益数据，以匹配等距柱形投影图像ec的明度和颜色。校正单元584能够通过将等距柱形投影图像ec与增益数据的倒数相乘来执行s411的校正。叠加显示元数据的校正参数是用于匹配叠加图像s(平面图像p')的区域中的明度和颜色的校正信息。通过将校正参数应用于等距柱形投影图像ec的整个区域，也可以校正除了叠加图像s(平面图像p')之外的区域，而不会有精度比叠加图像s(平面图像p')差的感觉。

在s412，校正单元584参照虚拟相机ic的视线方向与由用户操作定义的叠加图像s的中心点(平面图像p)之间的角度β，改变第一校正等距柱形投影图像d1与等距柱形投影图像ec的合成比率。该处理导致产生第二校正等距柱形投影图像d2。

在s350，图像生成器586将第二校正等距柱形投影图像d2映射在球体cs表面，以生成全天球图像ce。

图45是用于说明根据实施例的改变图像的合成比率的处理的图示。图45(a)表示角度β，作为虚拟相机ic的视线方向与叠加图像s(平面图像p)的中心点cm之间的位移量(或偏移量)。如图7所示，预先确定的虚拟相机ic的视线方向(即，用户的视线)等于预定区域t的中心点cp。在本说明书中，角度β定义为预定区域t的中央点cp和叠加图像s的中心点cm之间的差。角度β的值在0到180度的范围内。

图45(b)的图及图线示出了在s320对叠加图像s的校正和在s400对等距柱形投影图像ec的校正中，如何根据角度β的值改变图像的合成比率。图45的(b)的(b-1)表示角度β的范围。以预定区域t(预定区域图像q)的中心点cp为中心，区域1表示角度β等于或小于第一阈值th1的值，区域2(区域1除外)表示角度值β大于th1但等于或小于th2。区域3是预定区域t内的区域，但不包括在区域1和区域2中的任何区域中。因此，区域3表示角度β大于th2的值。第一阈值th1和第二阈值th2均可以由服务提供商或用户根据例如经验数据、用户偏好等来设置。

首先，根据实施例描述计算第一校正平面图像c1和平面图像p的合成比的处理。图45的(b)的(b-2)图线表示第一校正平面图像c1和平面图像p的合成比与角度β之间的关系。如(b-2)所示，纵轴表示叠加图像s的合成比，其值为0.0至1.0。横轴表示角度β。叠加图像s的合成比率是第一校正平面图像c1相对于平面图像p的合成比率，以产生第二校正平面图像c2，如上述参照图36所说明。第一校正平面图像c1是具有校正的明度和颜色以便匹配等距柱形投影图像ec的明度和颜色的图像。在合成比为0.3的情况下，第二校正平面图像c2具有通过合成第一校正平面图像c1的明度和颜色值的0.3以及平面图像p的明度和颜色值的0.7而生成的明度和颜色值。在合成比为0.0的情况下，第二校正平面图像c2在明度和颜色值方面变得等于平面图像p。在合成比为1.0的情况下，第二校正平面图像c2在明度和颜色值方面变得等于第一校正平面图像c1。利用合成比率，可以控制对平面图像p执行的校正程度，使其在明度和颜色上变得更接近第一校正平面图像c1。

根据图45(b)的(b-2)图线，在区域1(β等于或小于th1)中，合成比率为0.0，使得第二校正平面图像c2与平面图像p相同。在区域2(β大于th1，但等于或小于th2)中，合成比率改变。随着角度β变得更接近值th2，第一校正平面图像c1的合成比率增加。在区域3(β大于th2)中，合成比率为1.0，使得第二校正平面图像c2与第一校正平面图像c1相同。

当在预定区域t中显示叠加图像s时，若叠加图像s位于预定区域t的中心，即，叠加图像s的中心点cm变得接近预定区域t的中心点cp，则显示叠加图像s，根据合成比率，更多地反映平面图像p的明度和颜色。随着叠加图像s离开预定区域t的中心，即叠加图像s的中心点cm变得远离预定区域t的中心点cp时，显示叠加图像s，更多地反映等距柱形投影图像ec的明度和颜色。在边界处，叠加图像s在明度和颜色上与等距柱形投影图像ec匹配。

图45(b)的(b-3)图线表示第一校正等距柱形投影图像d1和等距柱形投影图像ec的合成比率与角度β之间的关系。如(b-3)所示，纵轴表示等距柱形投影图像ec的合成比率，其值在0.0到1.0的范围内。横轴表示角度β。等距柱形投影图像ec的合成比率是第一校正等距柱形投影图像d1相对于等距柱形投影图像ec的合成比率，以生成第二校正等距柱形投影图像d2，如上述参照图44所说明。

第一校正等距柱形投影图像d1是具有校正的明度和颜色以匹配平面图像p的明度和颜色的图像。在合成比率为0.3的情况下，第二校正等距柱形投影图像d2具有通过合成第一校正等距柱形投影图像d1的明度和颜色值的0.3以及等距柱形投影图像ec的明度和颜色值的0.7生成的明度和颜色值。在合成比率为0.0的情况下，第二校正等距柱形投影图像d2在明度和颜色值上变得等于等距柱形投影图像ec。在合成比率为1.0的情况下，第二校正等距柱形投影图像d2在明度和颜色值上变得等于第一校正等距柱形投影图像d1。利用合成比率，可以控制对等距柱形投影图像ec执行的校正程度，使其在明度和颜色上变得接近第一校正等距柱形投影图像d1。

图45的(b-2)和(b-3)图线，角度β区域相同，表示等距柱形投影图像ec的合成比率的图线是表示叠加图像s的合成比率的图线的反转。在区域2中，叠加图像s和等距柱形投影图像ec的合成比率之和成为1.0。

根据图45(b)的(b-3)图线，在区域1(β等于或小于th1)，图像的合成比率为1.0，因此，第二校正等距柱形投影图像d2成为第一校正等距柱形投影图像d1，在区域2(β大于th1，但等于或小于th2)，合成比率改变，随着朝区域2的外周侧(角度β接近th2)，等距柱形投影图像ec的合成比率增加。在区域3(β大于th2时)，合成比率为0.0，因此，第二校正等距柱形投影图像d2在明度和颜色值上与等距柱形投影图像ec相同。

当在预定区域t中显示叠加图像s时，随着叠加图像s显示为接近预定区域t的中心，即，叠加图像s的中心点cm变得接近预定区域t的中心点cp，根据合成比率显示等距柱形投影图像ec，作为具有校正的明度和颜色的第一校正等距柱形投影图像d1，以更多地反映平面图像p的明度和颜色。随着叠加图像s离开预定区域t的中心，即叠加图像s的中心点cm离开预定区域t的中心点cp时，显示等距柱形投影图像ec，同时保持其原始明度和颜色值的大部分，最终成为等距柱形投影图像ec的明度及颜色值的状态。

对于等距柱形投影图像ec视线方向和叠加图像s的中心的变位量越小，平面图像p的像素值的校正量越小。即，校正等距柱形投影图像ec的像素值，使得等距柱形投影图像ec的像素值接近平面图像p的像素值。由于在等距柱形投影图像ec的视线方向的线和叠加图像s的中心之间的差增加，等距柱形投影图像ec的像素值的校正量变小，其像素值保持原始值。

参照图46和图47，说明虚拟相机ic的视线方向的线(预定区域t的中心点cp)与叠加图像s的中心点cm之间的关系。图46(d)是该预定区域t(预定区域图像q)的图像，它是全天球图像ce的所设定视线方向的预定区域t。预定区域t的中心点cp对应于虚拟相机ic的视线方向，由黑点表示。叠加图像s叠加在全天球图像ce上的区域用虚线表示，其中心点cm由白点表示。应注意，仅出于说明目的表示中心点cp的黑点和中心点cm的白点，实际上它们不被显示。叠加图像s的中心点cm相对于预定区域t的中心点cp的位置可以通过用户操作自由地改变。

图46表示对于各个示例情况(a)，(b)和(c)，当对于全天球图像ce用户改变虚拟相机ic的视线方向时预定区域t的显示例。图47是分别对应于图46的示例情况(a)，(b)和(c)的图，每个表示预定区域t和叠加图像s之间的关系。

参照图46和图47的(a)，叠加图像s的中心点cm向右移动，朝着离开虚拟相机ic的视线方向(预定区域t的中心点cp)，使得中心点cm不在预定区域t内。在这种情况下，如图47所示，视线方向与叠加图像s的中心点cm之间的角度β(表示为β2)具有相对较大的值。

参照图46和图47的(b)，相对虚拟相机ic的视线方向(预定区域t的中心点cp)，叠加图像s的中心点cm在预定区域t向右偏移。在这种情况，如图47所示，视线方向与叠加图像s的中心点cm之间的角度β(表示为β1)具有相对小的值。

参照图46和图47的(c)，在预定区域t中，叠加图像s的中心点cm与虚拟相机ic的视线方向(预定区域t的中心点cp)匹配。如图47所示，视线方向与叠加图像s的中心点cm之间的角度β为0。

如图46(a)所示，叠加图像s的中心点cm相对预定区域t离开场合，用户大多正在观看全天球图像ce，因此，即使使得基于全天球图像ce的曝光的明度和颜色值优先，也难以产生不自然感。另一方面，如图46(c)所示，叠加图像s的中心点cm与预定区域t的中心点cp大体一致场合，用户大多正在观看叠加图像s，因此，通过使得基于叠加图像s的曝光的明度和颜色值优先，能阅览高质量的叠加图像s。在本实施例中，校正单元584根据合成比率校正第二校正平面图像c2和第二校正等距柱形投影图像d2的明度和颜色。当叠加图像s的中心点cm与预定区域t的中心点cp之间的差异改变时，合成比率改变。因此，在考虑用户的视点的同时，校正全天球图像ce和平面图像p的明度和颜色。

参照图48和49，说明根据实施例的校正图像的效果。图48表示将曝光过度全天球图像ce场合的校正效果，如参照图46和图47所说明，当虚拟相机ic的视线方向从(a)变化到(c)场合，如何校正预定区域t。平面图像p向全天球图像ce叠加，将平面图像p设为正确曝光的图像。

图48的(a-1)，(b-1)和(c-1)分别对应于图46和图47的(a)，(b)和(c)，每一个都是通过校正叠加图像s的明度和颜色以匹配全天球图像ce的明度和颜色而生成的。由于叠加图像s的明度和颜色被校正以匹配过度曝光的全天球图像ce的明度和颜色，因此，显示的所有图像(a-1)，(b-1)和(c-1)都曝光过度。即使虚拟相机ic的视线方向改变，即，即使当叠加图像s的中心点cm与预定区域t的中心点cp一致时，图像也看起来过度曝光。

图48的(a-2)，(b-2)和(c-2)分别对应于图46和图47的(a)，(b)和(c)，每个都通过不校正叠加图像s的明度和颜色而生成。由于没有校正叠加图像s，所以，在正确曝光的情况下以其原始明度和颜色值显示平面图像p。然而，若与图48(a-1)，(b-1)和(c-1)相比，虽然叠加图像s正确曝光，但在全天球图像ce和叠加图像s，由于明度和颜色的较大差异而看起来不同。因此，叠加图像s不适合全天球图像ce，这可能导致用户难以接受。对于图48(a-2)，(b-2)和(c-2)，正确曝光的叠加图像s显得突出。

图48的(a-3)，(b-3)和(c-3)分别对应于图46和图47的(a)，(b)和(c)，每一个都是通过根据计算的合成比率校正叠加图像s的明度和颜色而生成的。参照图48的(a-3)，由于叠加图像s的中心点cm远离虚拟照相机ic的视线方向(预定区域t的中心点cp)，因此，图像看起来与图48的(a-1)并没有多大变化。在图48的(b-3)中，随着叠加图像s的中心点cm接近虚拟相机ic的视线方向(预定区域t的中心点cp)，全天球图像ce和叠加图像s根据合成比率合成，其导致更多地反映正确曝光的平面图像p的明度和颜色。如上述参照图45所述，全天球图像ce的与平面图像p的明度和颜色匹配的第一校正等距柱形投影图像d1的合成比率增加。另一方面，对于叠加图像s，具有与等距柱形投影图像ec的明度和颜色匹配的第一校正平面图像c1的合成比率减小，使得正确曝光的平面图像p的明度和颜色更多得到反映。这降低了过度曝光的图像ce在预定区域t中的效果。

参照图48的(c-3)，叠加图像s的中心点cm变得更接近虚拟相机ic的视线方向(预定区域t的中心点cp)，从而基本上彼此一致。因此，合成比率增加到其最大值，以反映正确曝光的平面图像p的明度和颜色。基于平面图像p的明度和颜色，图像以右曝光显示在预定区域t中。

按照从(a-3)，(b-3)和(c-3)的顺序，全天球图像ce的明度和颜色变得更接近平面图像p的明度和颜色。

对于图像(a-3)，(b-3)和(c-3)，校正全天球图像ce和叠加图像s。与图像(a-2)，(b-2)和(c-2)不同，全天球图像ce和叠加图像s在明度和颜色上差别不大。因此，叠加图像s适合全天球图像ce。

图49表示当虚拟相机ic的视线方向相对参照图46和图47所描述的示例(a)至(c)改变时如何校正曝光不足的等距柱形投影图像ec。假设平面图像p要叠加在全天球图像ce，是一个正确曝光的图像。假设全天球图像ce曝光不足，使得它具有较暗的区域。

图49的(a-1)，(b-1)和(c-1)分别对应于图46和图47的(a)，(b)和(c)，每一个都是通过校正叠加图像s的明度和颜色以匹配全天球图像ce的明度和颜色而生成的。图49的(a-1)，(b-1)和(c-1)都是暗的，表明其曝光不足。由于叠加图像s的明度和颜色得到校正以匹配曝光不足的全天球图像ce的明度和颜色，因此，即使虚拟相机ic的视线方向改变，要显示的所有图像(a-1)，(b-1)和(c-1)都曝光不足。即，即使当叠加图像s的中心点cm与预定区域t的中心点cp一致时，图像也看起来曝光不足。

图49的(a-2)，(b-2)和(c-2)分别对应于图46和图47的(a)，(b)和(c)，每个都通过不校正叠加图像s的明度和颜色而生成。即使以正确曝光显示叠加图像s，由于在明度和颜色上差异大，全天球图像ce和叠加图像s看起来也不同。因此，叠加图像s不适合全天球图像ce，这可能导致用户感到不舒服。

图49的(a-3)，(b-3)和(c-3)分别对应于图46和图47的(a)，(b)和(c)，每一个都是通过根据计算的合成比率校正叠加图像s的明度和颜色而生成的。参照图49的(a-3)，由于叠加图像s的中心点cm远离虚拟相机ic的视线方向(预定区域t的中心点cp)，因此，图像看起来与图49的(a-1)并没有多大不同。参照图49的(b-3)，随着叠加图像s的中心点cm变得接近虚拟相机ic的视线方向(预定区域t的中心点cp)，全天球图像ce和叠加图像s根据合成比率合成，其导致更多地反映正确曝光的平面图像p的明度和颜色。如上面参照图45所述，对于全天球图像ce，具有与平面图像p的明度和颜色匹配的明度和颜色的第一校正等距柱形投影图像d1的合成比率增加。另一方面，对于平面图像p，具有与等距柱形投影图像ec的明度和颜色匹配的第一校正平面图像c1的合成比率减少，使得正确曝光的平面图像p的明度和颜色更多地得到反映。这降低了曝光不足的图像ce在预定区域t中的效果。

参照图49的(c-3)，叠加图像s的中心点cm变得更接近虚拟相机ic的视线方向(预定区域t的中心点cp)，从而基本上彼此一致。因此，合成比率增加到其最大值，以反映正确曝光的平面图像p的明度和颜色。基于平面图像p的明度和颜色，图像以右曝光显示在预定区域t中。因此，即使当全天球图像ce曝光不足时，预定区域t的图像也不会受到这种曝光不足图像的影响。

<第五实施例>

参照图50至52，说明根据第五实施例的使用曝光不同的至少两个等距柱形投影图像进行校正图像的操作。

图50是表示根据第五实施例的用于处理或生成图像来校正等距柱形投影图像ec的处理的概念图。图50具体表示校正在图43的s400执行的等距柱形投影图像ec的另一示例。

在该实施例中，除了生成全天球图像的等距柱形投影图像ec之外，还使用曝光不同的多个等距柱形投影图像ec1和ec2。特殊图像捕获装置1生成等距柱形投影图像，同时，仅改变曝光，例如，当捕获目标对象及其周围时，生成等距柱形投影图像ec。在本实施例中，假设至少获得曝光高于等距柱形投影图像ec的等距柱形投影图像ec1，以及曝光低于等距柱形投影图像ec的等距柱形投影图像ec2。为简单起见，将等距柱形投影图像ec1和等距柱形投影图像ec2分别称为曝光过度图像ec1和曝光不足图像ec2。或者，也可以生成曝光不同的三个或三个以上的等距柱形投影图像。

在s421，校正单元584选择要与等距柱形投影图像ec合成的图像，以产生第一校正等距柱形投影图像d1。使用叠加显示元数据的校正参数执行该图像选择。叠加显示元数据中的校正参数包括用于校正平面图像p的明度和颜色的增益数据，以匹配等距柱形投影图像ec的明度和颜色。校正单元584计算增益的倒数，其用于校正等距柱形投影图像ec以具有平面图像p的明度和颜色值。增益的倒数称为反向增益数据。当反向增益数据具有等于或大于1.0的值时，校正单元584校正等距柱形投影图像ec，以使其更亮。当反向增益数据具有小于1.0的值时，校正单元584校正等距柱形投影图像ec，以使其更暗。

在s422，校正单元584生成第一校正等距柱形投影图像d1，以匹配平面图像p的明度和颜色。在反向增益数据具有值1.0或更大的情况下，校正单元584选择曝光过度图像ec1。在反向增益数据具有小于1.0的值的情况下，校正单元584选择曝光不足图像ec2。根据在s412计算的合成比率，以与上述大体相同方式生成第二校正等距柱形投影图像d2。

图51是用于说明当使用曝光不同的多个等距柱形投影图像ec1和ec2时位置参数和校正参数之间的关系。叠加显示元数据包括平面图像p和等距柱形投影图像ec中的每一个的位置参数和校正参数。

由于通过捕获相同的目标对象和周围环境但是利用不同的曝光来生成等距柱形投影图像ec，过度曝光图像ec1和曝光不足图像ec2，所以，该位置参数对于那些图像是共同的。然而，校正参数仅适用于等距柱形投影图像ec。对于已经选择的过度曝光图像ec1和曝光不足图像ec2中的至少一个，按如下方式获得校正参数。校正单元584使用位置参数指定过度曝光图像ec1中的第三区域ca3，其对应于等距柱形投影图像ec中的第三区域ca2，以获得过度曝光图像ec1的第三区域ca3中的像素的明度和颜色值。类似地，校正单元584使用位置参数指定曝光不足图像ec2中的第三区域ca3，其对应于等距柱形投影图像ec中的第三区域ca2，以获得曝光不足图像ec2的第三区域ca3中的像素的明度和颜色值。

然后，校正单元584计算在等距柱形投影图像ec和过度曝光图像ec1之间的第三区域ca3中的明度和颜色值的比率。类似地，校正单元584计算在等距柱形投影图像ec和曝光不足图像ec2之间的第三区域ca3中的明度和颜色值的比率。

在该实施例中，等距柱形投影图像ec，过度曝光图像ec1和曝光不足图像ec2中的第三区域ca3的明度分别由y，y1和y2表示。过曝光图像ec1与等距柱形投影图像ec的明度比表示为y1/y。曝光不足图像ec2与等距柱形投影图像ec的明度比表示为y2/y。该明度比与用于校正明度的校正参数相乘，其是针对等距柱形投影图像ec计算，以获得对于过度曝光图像ec1和曝光不足图像ec2中的所选择的至少一个的校正参数。

以基本类似的方式，针对过度曝光图像ec1和曝光不足图像ec2中的至少一个，计算用于校正颜色的校正参数。

除了产生明度比(或颜色比)之外，可以以与上述针对等距柱形投影图像ec的情况基本类似的方式，为过度曝光图像ec1和曝光不足图像ec2中的所选择的至少一个生成校正参数。

再次参照图50，在s422，校正单元584使用如上所述针对过度曝光图像ec1和曝光不足图像ec2中的至少一个所计算的校正参数来生成第一校正等距柱形投影图像d1。

说明根据本实施例的生成校正图像的s422。假设等距柱形投影图像ec，过度曝光图像ec1和曝光不足图像ec2的校正参数分别是pc，pc1和pc2。校正参数pc是用于校正等距柱形投影图像ec的明度和颜色以匹配平面图像p的明度和颜色的增益数据。当校正参数是1.0时，平面图像p和等距柱形投影图像ec的明度和颜色大体相同。

在s422，校正单元584至少从过度曝光图像ec1和曝光不足图像ec2中选择一个生成第一校正等距柱形投影图像d1，以匹配平面图像p的明度和颜色。例如，假设校正参数pc，pc1和pc2分别为1.2,1.6和0.8。在这种情况下，反向增益数据是1/pc＝0.833，小于1.0。在这种情况下，在s421，校正单元584选择曝光不足图像ec2，以使等距柱形投影图像ec更暗。

接下来，在s422，校正单元584计算等距柱形投影图像ec与在s421选择的过度曝光图像ec1和曝光不足图像ec2之一的合成比。假设等距柱形投影图像ec与过度曝光图像ec1和曝光不足图像ec2中的所选择的一个的合成比率是k，其中k是范围从0.0到1.0的值，则使用式16或式17计算合成比率k。

(式16)：k/pc+(1-k)/pc1＝1.0

(式17)：k/pc+(1-k)/pc2＝1.0

当在s421选择过度曝光图像ec1时，使用式16。当在s421选择曝光不足图像ec2时，使用式17。

在选择曝光不足图像ec2的情况下，使用式17计算的合成比率k是0.60。利用0.60的合成比率，将等距柱形投影图像ec的0.60和曝光不足图像ec2的(1-k)＝0.40合成以生成第一校正等距柱形投影图像d1。这导致产生具有更接近平面图像p的明度和颜色值的第一校正等距柱形投影图像d1。由于s412的处理和s412之后的处理与上述基本相同，因此省略其描述。

图52是用于说明根据本实施例的校正了明度和颜色的校正图像c2和d2的生成的图示。图52示意性示出等距柱形投影图像ec以及平面图像p的明度值(或颜色值)的差异。向上方向值大，向下方向值小。根据确定的合成比率合成等距柱形投影图像ec和第一校正等距柱形投影图像d1，以产生第二校正等距柱形投影图像d2。根据确定的合成比率合成平面图像p和第一校正平面图像c1，以产生第二校正平面图像c2。如图45所示，作成校正图像的合成比率在等距柱形投影图像ec和叠加图像s反转(逆位相)，因此，如图52所示，第二校正等距柱形投影图像d2和第二校正平面图像c2在明度和颜色上匹配。

<第六实施例>

参照图53至58，说明根据第六实施例的校正图像的操作。在上述任何一个实施例中，一个叠加图像s叠加在等距柱形投影图像ec上。然而，在本实施例中，多个叠加图像s叠加在等距柱形投影图像ec上。

在图8所示的图像捕获系统中，一个特殊图像捕获装置1和一个一般图像捕获装置3彼此协作，基本上同时捕获一对等距柱形投影图像ec和平面图像p。在目标对象是静止对象的情况下，用户可以从相同位置改变一般图像捕获装置3的成像方向和视角中的至少一个，得到例如第二个平面图像p2。在这种情况下，假设不改变捕获目标对象的位置。除了将平面图像p叠加在等距柱形投影图像ec上之外，智能手机5还可以将另一个平面图像p2叠加在等距柱形投影图像ec上。

当在图像捕获系统中提供不止一个一般图像捕获装置3时，一般图像捕获装置3可以同时捕获具有不同成像方向和视角的目标对象的平面图像。例如，智能手机5包括前后两个摄像头，使得智能手机5能够一次捕获两个平面图像。

下面描述多个叠加图像s(平面图像p)叠加在等距柱形投影图像ec上的示例情况。

图53示出根据本实施例的当等距柱形投影图像ec与多个叠加图像s叠加时预定区域t的图像。在该示例中，在图53(d)场合，显示预定区域t，同时叠加图像s1和s2在等距柱形投影图像ec上。

图53示出了当通过全天球图像ce上的用户操作改变虚拟相机ic的视线方向时，在预定区域t中显示的图像，表示各个示例(a)，(b)和(c)。预定区域t的中心点cp由黑点表示。叠加图像s1及s2的中央点cm1和cm2由白点表示。应当指出的是，黑点表示中心点cp，且白点表示中央点cm1和cm2仅为了描述方便，实际上它们不被显示。此外，也可以显示或不显示指示叠加图像s的边界的虚线。

图54是分别对应于图53的(a)，(b)和(c)的图，每个用于说明视线方向与叠加图像s1的中心点cm1或者叠加图像s2的中心点cm2之间的关系。

即使当多个叠加图像s叠加在等距柱形投影图像ec的预定区域t中时，所有叠加图像s的明度和颜色也更接近一个等距柱形投影图像ec的明度和颜色。相反，对于等距柱形投影图像ec，存在多个平面图像，其可以是用于校正明度和颜色的目标。鉴于此，在本实施例中，使用以下第一至第三方法中的任何一种，选择平面图像之一作为校正目标。或者，可以合成多个平面图像以获得明度和颜色中的至少一个的目标值，作为校正目标。

根据第一种方法，基于视线方向(预定区域t的中心点cp)与叠加图像s(中心点cm)之间的角度β，确定目标对象。在一个示例中，校正单元584选择视线方向和叠加图像s之间具有最小角度β值的叠加图像s中的一个作为校正目标。例如，在图53和图54所示场合，叠加图像s1具有与视线方向的角度β1，叠加图像s2具有与视线方向的角度β2，其中，β1大于β2。在这种情况下，校正单元584选择具有最小角度值β的叠加图像s2作为校正目标。在图53和图54的(b)场合，由于β1小于β2，因此，校正单元584选择具有最小角度值β的叠加图像s1作为校正目标。在图53和图54的(c)场合，由于β1小于β2，因此，校正单元584选择具有最小角度值β的叠加图像s1作为校正目标。

在另一示例中，校正单元584合成叠加图像s以生成合成图像，同时，根据视线方向和叠加图像s之间的角度β改变叠加图像的合成比率。具体地说，校正单元584根据叠加图像的加权平均值计算合成比率，使得具有最小角度值β的叠加图像的合成比率变高。

假设叠加图像s1具有与视线方向的角度β1，叠加图像s2具有与视线方向的角度β2。例如，在图53和图54的(a)场合，叠加图像s1的合成比率是β2/(β1+β2)，叠加图像s2的合成比率是β1/(β1+β2)。对于图53和图54的其他情况(b)和(c)，可以以大体类似的方式计算叠加图像的合成比率。相应地，第一校正等距柱形投影图像ec1具有反映所述多个平面图像p1，p2中的明度和颜色值的明度和颜色值。根据合成比率计算明度和颜色值中至少一个作为校正目标的方法将在后面描述。

根据第二种方法，基于叠加图像的面积相对于预定区域t的比率，即，在预定区域t中，显示的叠加图像的面积。在此，根据虚拟相机ic的视线和视角的变化，例如，由于用户的操作，将显示在预定区域t中的叠加图像区域改变。通过这种面积变化，计算合成比率，以控制要显示的图像的明度和颜色。

在一个示例中，校正单元584选择具有在预定区域t中显示的叠加图像的区域的最大值的叠加图像s中的一个作为校正目标。例如，在图53和图54的(a)场合，叠加图像s1在预定区域t中具有显示的区域ss1，叠加图像s2在预定区域t中具有显示的区域ss2，其中，ss1小于ss2。在这种情况下，校正单元584选择具有最大显示的叠加图像区域的叠加图像s2作为校正目标。在图53和图54的(b)场合，由于ss1小于ss2，校正单元584选择具有最大显示区域的叠加图像s2作为校正目标。在图53和图54的(c)场合，叠加图像s2仅显示在预定区域t中，使得ss1大于ss2。在这种情况下，选择叠加图像s1作为校正目标。

在另一示例中，校正单元584合成叠加图像s以生成合成图像，同时根据在预定区域t中显示的叠加图像s的面积来改变叠加图像的合成比率。具体地说，校正单元584根据叠加图像s的区域的加权平均值计算合成比率，使得具有最大显示区域的叠加图像以高的合成比率合成。

假设叠加图像s1具有在预定区域t中显示的面积ss1，叠加图像s2具有在预定区域t中显示的面积ss2。在图53和图54的(a)场合，叠加图像s1的合成比率是ss1/(ss1+ss2)，叠加图像s2的合成比率是ss2/(ss1+ss2)。对于图53和图54的其他(b)和(c)场合，可以以大体类似的方式计算叠加图像的合成比率。相应地，第一校正等距柱形投影图像ec1具有反映多个平面图像p1、p2的明度和颜色值的明度和颜色值。根据合成比率计算明度和颜色中的至少一个值作为校正目标的方法将在后文描述。

第三种方法是上述第一种方法和第二种方法的组合。校正单元584组合第一种方法的视线方向(预定区域t的中心点cp)与叠加图像s之间的角度β以及第二种方法的显示在预定区域t的两个叠加图像s的面积所占的比率。例如，校正单元584选择角度β为所设定角度以下的叠加图像s，将在预定区域t中显示的叠加图像s的面积所占的比率为最大的叠加图像s作为目标对象。

或者，叠加图像s是角度β为所设定角度以下的叠加图像s，校正单元584根据在预定区域t中显示的叠加图像s的面积所占的比率，改变作为对象的叠加图像s的比率。第一种方法和第二种方法有各种其他合成。

接下来，说明根据本实施例的对于决定的目标对象作成等距柱形投影图像ec及平面图像p的校正图像的方法，使其接近用于校正的目标的明度和颜色的明度和颜色。

图55是示出根据本实施例的用正在处理或生成的图像校正平面图像p1和p2的处理的概念图。在图55中，使用上述选择方法中的任何一种选择平面图像p1作为校正目标。如图55左侧所示的流程(a)，以如上面参照图36所述的大体类似的方式对选择作为校正目标的平面图像p，即平面图像p1执行处理。在此，校正图像c11对应于第一校正平面图像c1，其具有与等距柱形投影图像ec的明度和颜色匹配的明度和颜色。校正图像c21对应于第二校正平面图像c2，其是通过根据在s321计算的合成比率合成第一校正平面图像c11和平面图像p1而生成的。如图55右侧所示的流程(b)，是对未被选择作为校正目标的平面图像p执行的处理。在该示例中，未选择平面图像p2。校正图像c12是平面图像p2，其具有校正的明度和颜色，以匹配等距柱形投影图像ec的明度和颜色。如上面参照图36的s320所述，以大体类似的方式从平面图像p2生成校正图像c12。校正图像c32是具有校正的明度和颜色的图像，以匹配作为校正目标的平面图像p1的明度和颜色。在s323，校正单元584根据平面图像p1的明度和颜色校正平面图像p2的明度和颜色，以产生校正图像c32。

在s322，校正单元584改变合成比率，并根据合成比率合成校正图像c12和校正图像c32，生成要叠加为叠加图像s的校正图像c22。

下面描述选择一个图像作为校正目标的示例，以及使用上述选择方法中的任何一个选择多个图像作为校正目标的示例。图56和图57是用于说明当仅存在一个叠加图像s作为校正目标时生成具有校正的明度和颜色的第二校正平面图像c2(即，c21和c22)的处理的概念图。图56表示当等距柱形投影图像ec的明度和颜色是小于平面图像p1，p2中任一个时的示例。图57表示等距柱形投影图像ec的明度和颜色是在平面图像p1，p2之间。图56的(a)表示等距柱形投影图像ec，平面图像p1和平面图像p2之间的明度和颜色的差异。纵轴表示图像的明度和颜色，向上方向增加，向下方向减小。参照图56的(a)，等距柱形投影图像ec的明度和颜色小于平面图像p1和p2中的任何一个的明度和颜色。

图56的(b)表示当选择平面图像p1作为校正目标时，从平面图像p1生成的第二校正平面图像c21和从平面图像p2生成的第二校正平面图像c22之间的关系。使用校正参数生成校正图像c21和c22，校正参数在等距柱形投影图像ec和平面图像p1和p2中的每一个之间生成。校正参数是用于校正平面图像p以具有与等距柱形投影图像ec的明度和颜色匹配的明度和颜色的增益数据。等距柱形投影图像ec与反向增益数据相乘以具有与平面图像p1，p2的明度和颜色匹配的明度和颜色。

假设平面图像p1和平面图像p2的增益数据分别是g1和g2。平面图像p1和平面图像p2的反向增益数据分别为g1(＝1/g1)和g2(＝1/g2)。在用于等距柱形投影图像ec和平面图像p2的每个处理中，按如下方法生成具有与作为校正目标的平面图像p1的明度和颜色匹配的明度和颜色的校正图像。在对等距柱形投影图像ec的处理中，将等距柱形投影图像ec与反向增益数据g1相乘，以产生具有与平面图像p1的明度和颜色匹配的第一校正等距柱形投影图像d1。在平面图像p2的处理中，平面图像p2与增益数据g2/g1相乘，以生成具有与平面图像p1的明度和颜色匹配的明度和颜色的校正图像c32。

接下来，说明根据实施例的生成具有与等距柱形投影图像ec的明度和颜色匹配的明度和颜色的第一校正平面图像c1(c11和c12)。平面图像p1与增益数据g1相乘以生成校正图像c11。平面图像p2与增益数据g2相乘以生成校正图像c12。

接下来，说明根据实施例的要用于生成叠加图像的第二校正图像的生成。校正单元584通过合成等距柱形投影图像ec和第一校正等距柱形投影图像d1生成第二校正等距柱形投影图像d2，如上面参照图44所述。在平面图像p1的处理中，平面图像p1和第一校正平面图像c11合成以产生第二校正平面图像c21，如上面参照图36所述。在平面图像p2的处理中，校正图像c32和第一校正平面图像c12合成，以产生第二校正平面图像c22，如上面参照图55所述。

图56的(c)表示当选择平面图像p2作为校正目标时，从平面图像p1生成的第二校正平面图像c21和从平面图像p2生成的第二校正平面图像c22之间的关系。在基于作为校正目标的平面图像p2生成校正图像的处理中，将等距柱形投影图像ec与反向增益数据g2相乘以生成具有与平面图像p2的明度和颜色匹配的明度和颜色的第一校正等距柱形投影图像d1。类似地，平面图像p与增益数据g1/g2相乘以产生具有与平面图像p2的明度和颜色匹配的明度和颜色的校正图像c31。在基于等距柱形投影图像ec生成校正图像的处理中，平面图像p1与增益数据g1相乘以生成具有与等距柱形投影图像ec的明度和颜色匹配的明度和颜色的校正图像c11。类似地，平面图像p2与增益数据g2相乘以产生具有与等距柱形投影图像ec的明度和颜色匹配的明度和颜色的校正图像c12。

接下来，说明根据本实施例的要用于生成叠加图像的第二校正图像的生成。校正单元584通过合成等距柱形投影图像ec和第一校正等距柱形投影图像d1生成第二校正等距柱形投影图像d2，如上面参照图44所述。在平面图像p2的处理中，平面图像p2和第一校正平面图像c12合成以产生第二校正平面图像c22，如上面参照图36所述。在平面图像p1的处理中，校正图像c31和第一校正平面图像c11合成以产生第二校正平面图像c21，如上面参照图55所述。

参照图57的(a)，等距柱形投影图像ec的明度和颜色是在平面图像p1的颜色和明度和平面图像p2的明度和颜色之间。图57的(b)表示当选择平面图像p1作为校正目标时，从平面图像p1生成的第二校正平面图像c21和从平面图像p2生成的第二校正平面图像c22之间的关系。图57的(c)表示当平面图像p2被选择作为校正目标时基于平面图像p1生成的第二校正平面图像c21和基于平面图像p2生成的第二校正平面图像c22的关系。校正图像c21和c22以与如上面参照图55所述大体类似的方式生成。

图58是用于说明当存在两个叠加图像s作为校正目标时生成具有校正的明度和颜色的第二校正平面图像c2(即，c21和c22)的处理的概念图。当存在多于一个的叠加图像s作为校正目标时，使用重叠图像s的合成比率计算明度和颜色的目标值，并且使用在等距柱形投影图像ec和平面图像p1、等距柱形投影图像ec和平面图像p2之间作成的校正参数。

参照图58的(a)，等距柱形投影图像ec的明度和颜色是在平面图像p1的明度和颜色与平面图像p2的明度和颜色之间。图58的(b)表示当平面图像p1的合成比率是“a”以及平面图像p2的合成比率是“1-a”时，基于平面图像p1生成的第二校正平面图像c21和基于平面图像p2生成的第二校正平面图像c22之间关系。

假设平面图像p1和平面图像p2的增益数据分别是g1和g2。例如，如关于选择叠加图像作为校正目标的第一种方法所述，计算合成比率“a”。

校正单元584生成具有与作为校正目标的明度和颜色匹配的明度和颜色的校正图像。等距柱形投影图像ec与a/g1+(1-a)/g2相乘，以产生第一校正等距柱形投影图像d1。平面图像p1乘以{a/g1+(1-a)/g2}*g1，以生成校正图像c31。平面图像p2乘以{a/g1+(1-a)/g2}*g2，以生成校正图像c32。因此，校正图像具有明度和颜色，作为平面图像p1的明度和颜色以及平面图像p2的明度和颜色的加权平均值，加权因子是根据平面图像p1和p2的合成比率确定。

在基于等距柱形投影图像ec生成校正图像的处理中，平面图像p1与增益数据g1相乘以生成具有与等距柱形投影图像ec的明度和颜色匹配的明度和颜色的校正图像c11。类似地，平面图像p2与增益数据g2相乘以生成具有与等距柱形投影图像ec的明度和颜色匹配的明度和颜色的校正图像c12。

接下来，说明根据本实施例的要用于生成叠加图像的第二校正图像的生成。校正单元584通过合成等距柱形投影图像ec和第一校正等距柱形投影图像d1生成第二校正等距柱形投影图像d2，如上面参照图44所述。在用于平面图像p1的处理中，校正图像c31具有接近平面图像p1的明度和颜色的明度和颜色，第一校正平面图像c11具有与等距柱形投影图像ec的明度和颜色匹配的明度和颜色，以如上面参照图55所述大体类似的方式，所述校正图像c31和所述第一校正平面图像c11合成生成第二校正平面图像c21。在用于平面图像p2的处理中，校正图像c32具有与等距柱形投影图像ec的明度和颜色匹配的明度和颜色，第一校正平面图像c12具有接近平面图像p2的明度和颜色的明度和颜色，以如上面参照图55所述大体类似的方式，所述校正图像c32和所述第一校正平面图像c12合成生成第二校正平面图像c22。

上述实施例表示在预定区域t中叠加两个叠加图像s的示例。然而，本发明并不局限于两个叠加图像s，即使叠加多于两个叠加图像也同样能执行上述处理对应。

如上所述，即使当多个叠加图像被叠加在预定区域t中显示时，校正单元584也基于多个叠加图像自动选择用于校正的目标。校正单元584分别为等距柱形投影图像ec和平面图像p生成校正图像，每个校正图像具有与校正目标的明度和颜色匹配的明度和颜色。然后，校正单元584使用校正后的图像生成全天球图像和叠加图像。因此，预定区域t的图像以明度和颜色得到充分校正的状态显示，这样，当在预定区域t中显示时，多个叠加图像合适地融入全天球图像。

<第七实施例>

然而，在一些情况下，取决于虚拟相机ic的视线方向和视角，可能没有在预定区域t中显示叠加图像s。在这种情况下，将没有校正的目标。参照图59至63，说明根据第七实施例的校正图像的处理。

图59是表示根据本实施例的用正在处理或生成的图像校正等距柱形投影图像ec的处理的概念图。在本实施例中，在预定图像q中没有叠加图像s。为简单起见，仅说明与图43的处理不同之处。在图59所示的本实施例中，校正等距柱形投影图像ec的s500与校正图43中的等距柱形投影图像ec的s400处理不同。

图60表示在图59的s500执行的校正等距柱形投影图像ec的处理。在本实施例中，除了生成全天球图像的等距柱形投影图像ec之外，还使用曝光不同的多个等距柱形投影图像ec1和ec2。此外，说明校正明度的示例。

特殊图像捕获装置1生成等距柱形投影图像，同时仅改变曝光，例如，当捕获目标对象及其周围时，生成等距矩形投影图像ec。在本实施例中，假设至少获得曝光高于等距柱形投影图像ec的等距柱形投影图像ec1(“过度曝光图像ec1”)，以及曝光低于等距柱形投影图像曝光的等距柱形投影图像ec2(“曝光不足图像ec2”)。或者，也可以生成曝光不同的三个或三个以上的等距柱形投影图像。

在图60中，图像生成器586在球体cs上映射等距柱形投影图像ec，以生成全天球图像ce。然后，投影转换器590对全天球图像ce应用投影转换以生成预定区域图像q。或者，可以在等距柱形投影图像ec中指定与预定区域t对应的区域。

在s510，图像生成器586以与上面参照s350所述大体类似的方式，在球体cs的表面上映射未校正的等距柱形投影图像ec，以生成全天球图像ce。

在s520，投影转换器590将投影转换应用于全天球图像ce，以显示由虚拟相机ic的视线方向(预定区域t的中心点cp)和视角定义的预定区域t，以如上面参照图25的s370所述大体类似的方式。这导致生成预定区域图像q。在本实施例中，生成不具有平面图像p的等距柱形投影图像ec的一部分作为预定区域图像q。

在s530，校正单元584根据预定区域图像q的明度值的平均值，选择要与等距柱形投影图像ec合成的过度曝光图像ec1或曝光不足图像ec2。

参照图61，选择根据实施例所述的过度曝光图像ec1或曝光不足图像ec2。图61是表示根据本实施例的从在不同曝光中捕获的多个等距柱形投影图像中选择要与预定区域图像q合成的等距柱形投影图像的处理的流程图。

在s531，校正单元584确定目标明度值，作为校正目标。校正单元584将整个预定区域图像q的平均明度值与目标明度值进行比较。在该示例中，预先确定目标明度值。例如，在具有256个不同颜色值(颜色级别)的8位rgb数据的情况下，目标明度值设置为128的中间值。校正单元584比较预定区域图像q的明度平均值和目标值128。更具体地说，在该示例中，像素值被归一化为具有从0到1的值，使得目标明度值由0.5表示。或者，目标明度值可以设置为256色等级的值100或150。

当预定区域图像q的平均明度值大于目标明度值时(s531的“是”)，处理进行到s532。在s532，由于预定区域图像q过度曝光，校正单元584选择曝光不足图像ec2以与预定区域图像q合成。

当预定区域图像q的平均明度值小于目标明度值时(s531的“否”)，处理进行到s533。在s533，校正单元584选择要与预定区域图像q合成的过度曝光图像ec1。当预定区域图像q的平均明度值等于目标明度值时，可以选择过度曝光图像ec1和曝光不足图像ec2中的任一个。

在上述示例中，使用整个预定区域图像q的明度平均值。然而，也可以使用预定区域图像q的一部分的明度值，例如，其中心部分。或者，也可以使用与明度有关的任何特征值，例如直方图。

再次参照图60，在s540，校正单元584将等距柱形投影图像ec与在s530选择的过度曝光图像ec1和曝光不足图像ec2中的一个进行合成，以生成校正的等距柱形投影图像d。假设预定区域图像q的明度平均值是ref(范围从0.0到1.0)，目标明度值是aim(范围从0.0到1.0)。使用式18计算校正值adj。

(式18)：

adj＝|(aim-ref)*校正系数|，0.0≤adj≤1.0

在此，校正值adj被限幅在0.0到1.0的范围内。通过限幅，将小于下限0.0的任何值校正为等于0.0。将大于上限1.0的任何值校正为等于1.0。校正系数确定要对预定区域图像q执行的校正量，以接近在明度值上过度曝光图像ec1或曝光不足图像ec2。根据预定区域图像q的明度平均值与目标明度值之间的差确定校正系数。可以通过肉眼检查图像由用户设置校正系数。或者智能手机5可以基于用于图像捕获的曝光值自动计算校正系数。或者可以预先默认设置校正系数。例如，校正系数可以设置为3.0。

当在s530选择的等距柱形投影图像(ec1或ec2)由ecs表示，等距柱形投影图像ec由ec表示时，使用式19获得校正等距柱形投影图像d的每个像素值d(u，v)。

(式19)：

d(u，v)＝ecs(u，v)*adj+ec(u，v)*(1.0-adj)

后续处理以与上面参照图43所述大体类似的方式执行。再次参照图59，在s360中，校正单元584将叠加图像s叠加在全天球图像ce上。在s370中，投影转换器590根据虚拟相机ic的视线方向和视角将投影转换应用于全天球图像ce的预定区域t。然后，显示控制器56将预定区域图像q显示在显示器517。在本实施例中，由于平面图像p没有显示在预定区域图像q，因此，平面图像p属于图45(b-1)的区域3。这导致叠加图像s和校正平面图像c的合成比率为1.0。第二校正平面图像c2等价于具有与等距柱形投影图像ec的明度匹配的明度的第一校正平面图像c1。另一方面，如图45所示，等距柱形投影图像ec和第一校正等距柱形投影图像d1的合成比率变为0.0。第二校正等距柱形投影图像d2因此具有与第一校正等距柱形投影图像d1的明度匹配的明度。因此，预定区域t的图像，即预定区域图像q，以使用校正等距柱形投影图像d得到充分校正的明度显示。

现在，说明根据其他示例的除了等距柱形投影图像ec之外，当存在多于两个曝光不同的等距柱形投影图像时校正图像的处理。具体地说，在该示例中，存在两个过度曝光图像ec1和两个曝光不足图像ec2。这导致包括用于生成全天球图像ce的等距柱形投影图像ec的五个等距柱形投影图像。这些图像的曝光值(ev)分别为-2.0，-1.0,0.0，+1.0和+2.0。曝光值(ev)为-2.0和-1.0表示图像曝光不足。曝光值(ev)为+1.0和+2.0表示图像过度曝光。等距柱形投影图像ec的ev为0.0，其与曝光值(ev)范围从-2.0到+2.0的过度曝光或曝光不足图像中的任何一个组合，以校正曝光。

在该示例中，使用式19计算表示合成比率的合成值“blend”(“混合”)。然而，要限幅的范围可以不同。如式20所示，合成值“blend”可以限幅在0.0到2.0的范围内。

(式20)：

0.0≤blend≤2.0

也就是说，当存在对于曝光过度图像和曝光不足图像中的每一个的曝光不同的多个图像时，校正单元584根据合成值“blend”改变限幅范围以切换要组合的图像。

然后用式21获得校正图像d的合成值“blend”。

(式21):

d(u,v)＝i1(u,v)*adj+i2(u,v)*(1.0-adj)

在此，i1表示选择作为校正目标的图像，i2表示要校正的图像。

下面，描述预定区域图像q变暗的示例。

在示例(i)中，0.0≤blend≤1.0，校正值“adj”等于合成值“blend”。在示例(i)这种情况下，选择曝光值(ev)为-1.0的曝光不足图像作为图像i1。等距柱形投影图像ec(预定区域图像q)ev为0.0选择为图像i2。

在示例(ii)中，1.0<blend≤2.0，校正值“adj”等于合成值“blend”-1.0。在示例(ii)这种情况下，选择具有ev为-2.0的曝光不足图像作为图像i1。选择具有ev为-1.0的曝光不足图像作为图像i2。

如上所述，当合成值“blend”大于给定值时，校正单元584将预定区域图像q和作为下一个最暗图像的曝光不足图像合成到预定区域图像q(示例(i))。当合成值“blend”小于给定值时，校正单元584组合两个曝光不足图像，其中，每个图像具有比预定区域图像q的值暗的值(示例(ii))。通过从预定区域图像q和两个曝光不足图像中选择和组合两个图像，可以使预定区域图像q变暗，如合成比率“blend”所示的期望量。

参照图62和图63，说明组合图像的具体示例。在一个示例中，图62(a)是等距柱形投影图像ec，其已经用基准曝光值捕获。由于在预定区域t的图像中亮部和暗部之间的明度差异很大，所以，预定区域t的中心部分以纯黑色显示。

在一个示例中，图62(b)是过度曝光图像ec1的预定区域t的图像，其已经在与图像(a)相同位置处被捕获，但具有更高的曝光。图像(b)的中心部分以适当的曝光值显示。图62(c)是校正等距柱形投影图像d，其是通过合成(a)的等距柱形投影图像ec和(b)的过度曝光图像ec1而生成，如上面参照图59和图60所述。

即使没有目标物体，即平面图像p，也可以通过根据由预定区域t的明度值确定的合成比率与过度曝光图像合成，补偿预定区域t的曝光不足。

在其他示例中，图63(a)是等距柱形投影图像ec，其已经用基准曝光值捕获。由于预定区域t中的亮部和暗部之间的明度差异很大，所以，预定区域t的中心部分显示有白点。

图63(b)是曝光不足图像ec2的预定区域t的图像，其已经在与图像(a)相同位置处被捕获。图像(b)的中心部分以适当的曝光值显示。图63(c)是校正等距柱形投影图像d，其是通过合成(a)的等距柱形投影图像ec和(b)的曝光不足图像ec2而生成，如上面参照图59和图60所述。

即使没有目标物体，即平面图像p，也可以通过根据由预定区域t的明度值确定的合成比率与曝光不足图像合成，补偿预定区域t的过度曝光。

当在预定区域t中没有显示叠加图像s时，校正全天球图像ce的明度和颜色中的至少一个的上述处理可以应用于显示时没有显示平面图像的广角视图图像的示例。

参照图64和图65，说明根据第八实施例校正图像的处理。图64是表示校正等距柱形投影图像ec的处理的示意图，为了简单起见，只说明与图59的处理不同之处。

校正等距柱形投影图像ec的s500以与上面参照图59描述的大体类似的方式执行。具体地说，在s500中，使用多个曝光不同的等距柱形投影图像ec1和ec2中的至少一个，生成校正等距柱形投影图像ec，显示具有基于目标值得到充分校正的明度和颜色的预定区域图像q。

在参照图59至图63的上述实施例中，即使当在预定区域t中没有显示平面图像p时，也显示明度和颜色得到充分校正的预定区域图像q。在本实施例中，在预定区域t中显示的平面图像p得到校正，以匹配等距柱形投影图像ec的明度和颜色。因此，即使当在预定区域t中显示平面图像p时，也可以在充分校正明度和颜色的情况下显示平面图像p。

参照图64，在s600，校正单元584校正平面图像p以生成校正平面图像c，其具有与校正等距柱形投影图像d的明度和颜色相匹配的明度和颜色。

图65表示校正等距柱形投影图像d和校正平面图像c之间的关系。明度值随着向上方向增加，随着向下方向减小。如上面参照图59所述，在s500，校正单元584选择要与等距柱形投影图像ec组合的过度曝光图像ec1或曝光不足图像ec2。校正单元584使用等距柱形投影图像ec与过度曝光图像ec1和曝光不足图像ec2中所选择的一个生成校正等距柱形投影图像d。

在s600，校正单元584校正平面图像p以产生校正平面图像c，其具有与校正等距柱形投影图像d的明度和颜色相匹配的明度和颜色。

下面，说明生成校正平面图像c的具体示例。通过校正等距柱形投影图像ec的明度和颜色，生成校正等距柱形投影图像d。校正单元584计算在等距柱形投影图像ec和校正等距柱形投影图像d之间的第三区域ca3的在明度和颜色上的比率。

在本实施例中，在等距柱形投影图像ec中的第三区域ca3的明度和校正等距柱形投影图像d的明度分别由y和yd表示。校正等距柱形投影图像d与等距柱形投影图像ec的明度比表示为yd/y。叠加显示元数据中的校正参数包括用于校正平面图像p的明度和颜色的增益数据，以匹配等距柱形投影图像ec的明度和颜色。校正单元584通过将该校正参数与所获得的明度比率相乘，计算用于校正平面图像p的明度以匹配校正图像d的明度的校正参数。以大体类似的方式，通过将校正参数与所获得的颜色比率相乘，计算用于校正平面图像p的颜色以匹配校正图像d的颜色的校正参数。平面图像p与计算的用于校正明度和颜色的校正参数相乘，以产生具有与校正图像d的明度和颜色相匹配的明度和颜色的校正图像。

如图65所示，将等距柱形投影图像ec与过度曝光图像ec1组合，以产生具有得到充分校正的明度和颜色的校正等距柱形投影图像d。此外，从平面图像p生成具有得到充分校正的明度和颜色的校正平面图像c。

由于校正平面图像c得到校正以匹配校正等距柱形投影图像d的明度和颜色，因此，平面图像p是否显示在预定区域t中无关紧要。因此，智能手机5基于明度和颜色得到充分校正的校正等距柱形投影图像d，显示预定区域图像q。

如上所述，通过使用校正图像d和校正图像c，预定区域图像q以在从用户观看时优化的明度和颜色显示在显示器的显示区域中。

<第八实施例>

在该第八实施例中，与第四和第五实施例相比，更灵活地校正图像的明度和颜色。在上述第四和第五实施例中的任何一个中，显示的图像的明度和颜色在等距柱形投影图像ec和平面图像p之间的范围内，如图52所述。在第八实施例中，等距柱形投影图像ec的明度和颜色接近目标明度和颜色值。同样，平面图像p的明度和颜色接近目标明度和颜色值。由于目标值不限于等距柱形投影图像ec和平面图像p之间的范围，可以更理想地校正显示的图像的明度和颜色值。

可以以各种其他方式实现上述实施例中的任何一个。例如，如图14所示，等距柱形投影图像数据，平面图像数据和叠加显示元数据可以不存储在智能手机5的存储器中。例如，等距柱形投影图像数据，平面图像数据和叠加显示元数据中任一个可以存储在网络上的任何服务器中。

在任何上述实施例中，平面图像p叠加在全天球图像ce上。或者，要叠加的平面图像p可以由全天球图像ce的一部分代替。在另一示例中，在删除全天球图像ce的一部分之后，平面图像p可以嵌入在没有图像的部分中。

此外，在第二实施例中，图像处理服务器7执行图像的叠加(s45)。例如，图像处理服务器7可以将叠加显示元数据发送到智能手机5，以指示智能手机5执行图像的叠加并显示叠加的图像。在这种情况下，在图像处理服务器7，图34中所示的元数据生成器75a生成叠加显示元数据。在智能手机5，图34中所示的叠加单元75b以与图16的叠加单元55b基本相似的方式将一个图像叠加在另一个图像上。图14所示的显示控制器56处理叠加图像的显示。

此外，除了将角度β定义为视线方向和叠加图像(平面图像)之间的差(位移或偏移)之外，角度β可以由视线方向和叠加图像(平面图像)之间的距离限定。

此外，可以使用诸如浏览器软件或应用软件的任何期望的软件来执行全天球图像的显示。

此外，可以在智能手机5上或者连接到智能手机5上，提供任何数量的成像元件，例如相机。

在本公开中，图像叠加的示例包括但不限于将一个图像完全或部分地放置在其他图像之上，将一个图像完全或部分地置于其他图像上，将一个图像完全或部分地映射到其他图像上，将一个图像完全或部分地粘贴在其他图像上，将一个图像与其他图像合成，以及将一个图像与其他图像集成。也就是说，只要用户能够感知在显示器上显示的多个图像(诸如全天球图像和平面图像)，由于它们是一个图像，对要显示的那些图像执行的处理不限于上述例子。

本发明可以以任何方便的形式实现，例如使用专用硬件，或专用硬件和软件的混合。本发明可以实现为由一个或多个联网处理设备实现的计算机软件。处理设备可以为任何适当编程的设备，例如通用计算机，个人数字助理，移动电话(例如wap或3g兼容电话)等。由于本发明可以实现为软件，因此本发明的每个方面都包含可在可编程设备上实现的计算机软件。可以使用诸如记录介质的任何常规载体介质将计算机软件提供给可编程设备。载体介质可以是瞬态载体介质，例如携带计算机代码的电、光、微波、声学、或射频信号。这种瞬态介质的示例是在ip网络(例如因特网)上承载计算机代码的tcp/ip信号。载体介质还可以包括用于存储处理器可读代码的存储介质，例如软盘、硬盘、cdrom、磁带设备、或固态存储设备。

所描述的实施例的每个功能可以由一个或多个处理电路或电路实现。处理电路包括编程处理器，因为处理器包括电路。处理电路还包括诸如专用集成电路(asic)，dsp(数字信号处理器)，fpga(现场可编程门阵列)之类的设备以及用于执行所述功能的传统电路部件。

在一个示例中，本发明可以存在于包括以下电路的图像处理设备中：获得第一图像和第二图像；控制显示器，以显示所述第一图像的预定区域的图像，所述第一图像与所述第二图像叠加；以及根据在预定区域的所述第二图像的面积相对所述第一图像的预定区域面积的比率，校正所述第二图像的明度和颜色之中的至少一个。

在一个示例中，图像处理设备接受改变所述第一图像中的预定区域的位置和大小中的至少一个的指令，其中，基于确定改变指令，使得所述第二图像的面积相对所述预定区域面积的比率变化，电路根据已改变的所述第二图像的面积相对所述预定区域面积的比率，校正所述第二图像的明度和颜色中的至少一个。

在一个示例中，随着所述第二图像的面积相对所述预定区域面积的比率的减小，校正单元增加要对所述第二图像执行的校正量，使得所述第二图像更多地反映所述预定区域的明度和颜色中的至少一个。

随着所述第二图像的面积相对所述预定区域面积的比率的增加，校正单元减少要对所述第二图像执行的校正量，使得所述第二图像较少地反映所述预定区域的明度和颜色中的至少一个。

在一个示例中，第一图像为第一投影方式，第二图像为第二投影方式，第一投影方式和第二投影方式互相不同。所述电路基于所述第二图像生成校正图像，该校正图像具有与所述第一图像的明度和颜色中的至少一个匹配的明度和颜色中的至少一个，根据所述第二图像的面积相对所述预定区域面积的比率，确定所述第二图像的明度和颜色中的至少一个相对所述校正图像的明度和颜色中的至少一个的合成比率。所述合成比率具有从第一值到第二值的值范围。所述第一值使得所述第二图像的明度和颜色中的至少一个不变，所述第二值使得所述第二图像的明度和颜色中的至少一个校正为与所述校正图像的明度和颜色中的至少一个匹配。

在一个示例中，所述电路基于相对于指示所述第二图像的中心点和大小的视角的、指示所述预定区域的中心点和大小的视角，计算所述第二图像的面积相对所述预定区域面积的比率。

在另一示例中，图像处理设备包括电路，获得第一图像和第二图像；控制显示器，以显示所述第一图像的预定区域的图像，所述第一图像与所述第二图像叠加；以及根据所述第一图像中的视线方向与所述第二图像的中心点之间的差异，校正所述第一图像和所述第二图像中的至少一个的亮度和颜色中的至少一个。

在一个示例中，随着第一图像中的视线方向与第二图像的中心点之间的差异减小，校正单元分别控制对第一图像和第二图像执行校正，使得第一图像更多地反映第二图像的明度和颜色中的至少一个，而第二图像更多地保持第二图像的明度和颜色中的至少一个。

随着第一图像中的视线方向与第二图像的中心点之间的差异增加，校正单元分别控制对第一图像和第二图像执行校正，使得第二图像更多地反映第一图像的明度和颜色中的至少一个，而第一图像更多地保持第一图像的明度和颜色中的至少一个。

在一个示例中，第一图像为第一投影方式，第二图像为第二投影方式，第一投影方式和第二投影方式互相不同。所述电路基于所述第二图像生成第一校正图像，该第一校正图像具有与所述第一图像的明度和颜色中的至少一个匹配的明度和颜色中的至少一个；根据第一图像中的视线方向与第二图像的中心点之间的差异，确定第二图像的明度和颜色中的至少一个相对于第一校正图像的明度和颜色中的至少一个的第一合成比率；以及根据第一合成比率，合成第二图像的明度和颜色中的至少一个以及第一校正图像的明度和颜色中的至少一个，以校正第二图像的明度和颜色中的至少一个。

在一个示例中，第一图像为第一投影方式，第二图像为第二投影方式，第一投影方式和第二投影方式互相不同。所述电路基于所述第一图像生成第二校正图像，该第二校正图像具有与所述第二图像的明度和颜色中的至少一个匹配的明度和颜色中的至少一个；根据第一图像中的视线方向与第二图像的中心点之间的差异，确定第一图像的明度和颜色中的至少一个相对于第二校正图像的明度和颜色中的至少一个的第二合成比率；以及根据第二合成比率，合成第一图像的明度和颜色中的至少一个以及第二校正图像的明度和颜色中的至少一个，以校正第一图像的明度和颜色中的至少一个。

在一个示例中，所述电路获得多个第一投影图像，其分别具有与第一图像的曝光值不同的曝光值，所述第一图像与所述第二图像叠加；使用多个第一投影图像中的至少一个，调整要用于生成第二校正图像的第一图像的明度和颜色中的至少一个，以补偿第一图像的过度曝光或曝光不足。

在一个示例中，当所述第二图像包括要叠加在所述第一图像上的多个第二图像时，所述校正单元配置为计算要用于校正第一图像的明度和颜色中的至少一个的明度和颜色的至少一个的目标值，该目标值基于以下之一计算：

1)多个第二图像之一的明度和颜色中的至少一个，其在第一图像中的视线方向与第二图像的中心点之间具有最小差异；

2)在预定区域中，具有第二图像的最大面积的多个第二图像之一的明度和颜色中的至少一个；

3)各差异指示第一图像中视线方向和各第二图像的中心点之间的差异，由各差异的加权平均值确定合成比例，根据该合成比例，合成多个第二图像中的至少二个，通过所述合成生成合成图像，该合成图像的明度和颜色的至少一个；以及

4)根据通过预定区域中的第二图像的面积的加权平均值确定的合成比率，通过合成多个第二图像中的至少两个生成的合成图像的明度和颜色中的至少一个。

本专利申请基于并根据35u.s.c.§119(a)要求于2016年12月28日向日本专利局提交的日本专利申请nos.2016-256581的优先权，于2017年3月16日向日本专利局提交的日本专利申请nos.2017-051838的优先权,于2017年10月27日向日本专利局提交的日本专利申请nos.2017-208677的优先权,以及于2017年12月21日向日本专利局提交的日本专利申请nos.2017-245455的优先权,其全部公开内容通过引用作为参考。

附图标记列表

1特殊图像捕获装置(第一图像捕获装置的示例)

3一般图像捕获装置(第二图像捕获装置的示例)

5智能手机(图像处理装置的示例)

52接受单元

55a元数据生成器

55b叠加单元

56显示控制器

58近距离通信单元

517显示器

550提取器

552第一区域计算器

554注视点指定器

556投影转换器

558第二区域计算器

560区域分割器

562投影逆转换器

564形状转换器

566校正参数生成器

570叠加显示元数据生成器

582属性区域生成器

584校正单元

586图像生成器

588图像叠加单元

590投影转换器

750提取器

5000存储器

5001链接图像捕获装置db