用于数据管理的装置、系统和方法以及记录介质与流程

本发明涉及用于数据管理的装置、系统和方法以及记录介质。

背景技术：

在焦距(视角)发生变化的同时通过使用同一图像捕获设备来捕获图像时，获取到宽图像捕获范围的图像和窄图像捕获范围的图像。在这两个图像具有相同数量的像素的情况下，窄图像捕获范围与宽图像捕获范围的图像相比是高分辨率图像。在一些情况下，从广角平面图像单独捕获的高分辨率平面图像重叠在广角平面图像的部分区域上(嵌入其中)来提供该部分区域的清楚图像以及整个图像。

在这样的技术中，为了将部分图像在整个图像中的位置信息作为例如元数据进行留存(retain)，期望整个图像、部分图像和元数据相互关联(例如参见专利文献1)。专利文献1公开了一种图像数据记录方法，其中准备了仅存储原数据的文件和其中针对图像数据来注册该元数据的文件，并且在仅存储元数据的文件更新的情况下，根据文件中被更新的数据来确定是否要更新针对图像数据来注册该元数据的文件。

引文列表

专利文献

专利文献1：jp-2016-96487-a

技术实现要素：

技术问题

然而，现有系统的缺点在于，为了在重叠显示中使用多个图像数据，需要无一例外地引用元数据。具体地，用户可能想要选择他们所拥有的或者根据需要而存储在服务器中的多个数据(图像、运动图像、声音等)，并且在重叠显示中使用所选择的这些数据。然而，由于在重叠显示中所使用的多个数据(图像、运动图像、声音等)有关的信息包括在元数据中，在不引用该元数据的情况下无法识别在重叠显示中所使用的多个数据(图像、运动图像、声音等)。

也就是说，为了掌握例如获取这些图像数据的场景从而重叠并且显示多个图像，也有必要引用元数据。

进一步，无法从将要在重叠显示中使用的数据(图像、运动图像、声音等)引用元数据和其他数据。因此，无法从在重叠显示中使用的任何数据(图像、运动图像、声音等)引用其他数据(图像、运动图像、声音等)。例如，当存在宽图像捕获范围的图像时，用户难以识别重叠在宽图像捕获范围的图像上的窄捕获范围的图像。

解决问题的方案

本发明的示例实施例包括一种图像处理系统，该图像处理系统包括用于执行如下操作的一个或多个处理器：获取多个数据；生成用于将所述多个数据中的第一数据与作为所述多个数据中除了第一数据以外的一个或多个数据的第二数据进行组合的元数据；将共同标识符分配给第一数据、第二数据和该元数据；并且将第一数据、第二数据和该元数据与共同标识符相关联地存储在存储器中。

本发明的示例实施例包括一种数据管理系统，其包括该信息处理系统和终端设备。该终端设备包括：处理器，该处理器用于控制显示器显示在信息处理系统处获取的多个数据，并且接受从多个数据中的将要组合的第一数据和第二数据的选择；以及通信设备，该通信设备用于通过网络向信息处理系统发送所选择的第一数据和第二数据有关的信息。

本发明的示例实施例包括数据管理方法和存储程序代码的记录介质，其中的程序代码用于使得计算机系统执行该数据管理方法。

发明的有益效果

根据本发明的至少一个实施例，能够管理将要组合的多个数据用以显示。

附图说明

附图旨在描述本发明的示例实施例，并且不应当被解释为限制本发明的范围。除非明确提到，否则不应当认为附图是按比例绘制。同时，贯穿若干视图中，相同或相似的附图标记指明相同或相似的部件。

图1是示出重叠显示元数据的示例的示意图。

图2a是示意性示出从重叠显示元数据能够识别出的图像数据的示意图。图2b是示意性示出从图像数据无法识别出重叠显示元数据或其他图像数据的状态的示意图。

图3a是示出通过使用管理表对于重叠显示使用数据和重叠显示元数据的示例管理的示意图。图3b是示出通过使用管理表对于重叠显示使用数据和重叠显示元数据的是合理管理的示意图。

图4是示出数据管理系统的示例系统配置的示意图。

图5是示出应用(ap)服务器的示例硬件配置的示意图。

图6是示出数据库(db)服务器的示例硬件配置的示意图。

图7是示出客户终端的示例硬件配置的示意图。

图8是示出数据管理系统中包括的ap服务器、db服务器和客户终端的功能的示例功能框图。

图9是示出使用ap服务器生成重叠显示元数据的操作的示例流程图。

图10是示出由重叠显示管理系统执行的响应于用户的登录操作而对用户进行认证的示例操作的时序图。

图11是示出由重叠显示管理系统执行的在客户终端上生成并显示屏幕的示例操作的时序图。

图12是示出菜单选择屏幕的示例的示意图。

图13是示出由客户终端执行的将重叠显示使用数据上传到重叠显示管理系统的示例操作的时序图。

图14a是示出数据上传屏幕的示例的示意图。图14b是示出数据上传屏幕的示例的示意图。

图15是示出由ap服务器执行的生成重叠显示元数据的示例操作的时序图。

图16a是示出由客户终端显示的重叠显示元数据生成屏幕的示例的示意图。图16b是示出由客户终端显示的重叠显示元数据生成屏幕的示例的示意图。

图17是示出由ap服务器执行的生成重叠显示元数据的示例的时序图。

图18a至图18d各自是管理id注册步骤中所使用的示例管理表。

图19是示出在客户终端处显示数据显示屏幕的示例操作的时序图。

图20是示出保存在db服务器中并且用于生成索引显示屏幕的示例管理表的示意图。

图21a是示出其中将上传到重叠显示管理系统的多个数据的列表显示为索引的索引显示屏幕的示例的示意图。图21b是示出其中将上传到重叠显示管理系统的多个数据的列表显示为索引的索引显示屏幕的示例的示意图。

图22是示出客户终端所显示的细节显示屏幕的示例的示意图。

图23是示出由客户终端执行的下载重叠显示使用数据的示例操作的流程图。

图24是示出将重叠显示使用数据从重叠显示管理系统下载到客户终端的示例操作的时序图。

图25a是示出下载屏幕的示例的示意图。图25b是示出下载设置屏幕的示例的示意图。

图26是示出下载设置栏中设置的下载数据的数据格式的模式(pattern)的示意图。

图27是示出根据来自另一用户的指令使用下载数据来访问重叠显示管理系统的操作的示例时序图。

图28是示出客户终端所显示的下载设置屏幕的示例的示意图。

图29a和图29b各自是示出示例管理表的示意图。

图30a和图30b各自是示出索引显示屏幕的示例的示意图。

图31是示出管理id选择屏幕的示例的示意图。

图32是根据第二示例实施例的数据管理系统的示例示意图。

图33是示出根据第二示例实施例用于生成管理id并且将管理id注册在数据管理系统中的流程的示例示意图。

图34是示出根据第二示例实施例的数据管理系统中包括的ap服务器、db服务器和控制器的功能的示例功能框图。

图35是示出使用图像捕获系统的方式的示意图。

图36是示出图像捕获方法的时序图。

图37a是示出示例的联动(linked)图像捕获表的示意图。图37b是示出联动图像捕获设备设置屏幕的示例的示意图。

图38是示出在上传重叠显示使用数据和重叠显示元数据时显示在控制器上的设置屏幕的示意图。

图39是示出db服务器留存的示例管理表的示意图。

图40是示出在控制器将所选择的文件传送给重叠显示管理系统的情况下在控制器上显示的设置屏幕的另一示例的示意图。

图41是示出元数据生成单元的细节的示例功能框图。

图42是示出生成重叠显示参数的过程中的图像的示意图。

图43a是示意性示出周边区域图像的确定的示意图。图43b是示意性示出周边区域图像的确定的示意图。

图44a是示意性示出将第二对应区域划分为多个网格区域的示意图。图44b是示意性示出将第二对应区域划分为多个网格区域的示意图。

图45是示意性示出等距柱状投影中的第三对应区域的示意图。

图46a、图46b和图46c各自是示意性示出生成校正参数的过程中的图像的示意图。

图47a是示意性示出第二对应区域中的网格区域的示意图。图47b是示意性示出第三对应区域中的网格区域的示意图。

图48是示出重叠显示参数生成过程的示例流程图。

图49示出使用等距柱状投影方法由特殊的图像捕获设备生成的等距柱状投影图像。

图50是示出高清晰度平面图像的示例的示意图。

图51是示意性示出平面图像重叠在球面图像上的情况的二维示意图。

图52a是示意性示出在没有重叠显示的情况下所显示的示例广角图像的示意图。图52b是示意性示出在没有重叠显示的情况下所显示的示例远摄图像。图52c是示意性示出重叠显示的情况下所显示的示例广角图像的示意图。图52d二维是示意性示出重叠显示的情况下所显示的示例远摄图像的示意图。

具体实施方式

本文所使用的术语仅用于描述特定实施例的目的，而不旨在限制本发明。除非上下文明确指出，否则如本文所使用，单数形式“一”、“一个”和“该”旨在也包括复数形式。

在描述附图示出的实施例时，为了清楚起见采用了特定的术语。然而，本说明书的公开内容并不旨在限于这样选择的特定术语，并且应当理解的是每个特定的要素包括具有相似功能、以相似方式进行操作并且实现相似结果的所有技术等同物。

此后，作为本发明的示例模式(mode)，将在使用示例实施例的同时参照附图来描述数据管理系统和由数据管理系统执行的数据管理方法。

<现有元数据的结构>

首先，参照图1描述重叠显示元数据。如图1所示，重叠显示元数据包括等距柱状投影图像信息、平面图像信息、重叠显示信息和元数据生成信息。等距柱状投影图像信息是关于广角图像数据的信息，平面图像信息是关于高清晰度图像数据的信息。

等距柱状投影图像信息和平面图像信息各自包括图像标识符。当提供重叠显示元数据时，识别出重叠并且显示的等距柱状投影图像和平面图像。重叠显示信息包括指示平面图像在等距柱状投影图像中的位置的位置参数。

图2a是示意性示出从重叠显示元数据能够识别出的多个图像数据的示例示意图。图2b是示意性示出从一个图像数据无法识别出重叠显示元数据或其他图像数据的状态的示例示意图。重叠显示元数据包括图像标识符，因此当提供重叠显示元数据时，例如用户能够识别多个重叠显示使用数据(将要用于重叠显示的等距柱状投影图像和一个或多个平面图像)，如图2a所示。更具体地，每个重叠显示使用数据是在重叠显示中所使用的图像、运动图像、声音等的数据，并且是由用户在生成重叠显示元数据时选择的数据。

然而，多个重叠显示使用数据不包括关于重叠显示的信息，因此无法从任何重叠显示使用数据来引用重叠显示元数据，如图2b所示。类似地，无法从任何重叠显示使用数据来引用其他的重叠显示使用数据。例如，即使用户知道等距柱状投影图像，用户也不能容易地识别出将要重叠在等距柱状投影图像上的平面图像。

<根据本实施例的重叠显示使用数据的管理的概述>

在本实施例中，生成管理表，并且通过使用管理id在管理表中管理多个重叠显示使用数据。在本实施例中，使用了表；然而，在管理中不必使用表。

图3a和图3b是示出通过使用管理表对于重叠显示使用数据和重叠显示元数据的示例管理的示例示意图。在图3a中，在重叠显示中所使用的两个或更多个重叠显示使用数据(等距柱状投影图像和一个或多个平面图像)和重叠显示元数据被分配共同的管理id。

图3b示出通过使用管理id能够引用的多个重叠显示使用数据。重叠显示元数据和该多个重叠显示使用数据共同具有该管理id。因此，当通过使用一个重叠显示使用数据的管理id来引用管理表时，能够获取对应关系数据列表，该对应关系数据列表指示与管理id对应的重叠显示元数据和其他的重叠显示使用数据，并且从该重叠显示使用数据能够引用重叠显示元数据。多个重叠显示使用数据共同具有管理id，因此能够从该重叠显示使用数据引用其他的重叠显示使用数据。图3b示出从重叠显示使用数据1能够引用重叠显示元数据和重叠显示使用数据2至重叠显示使用数据4的示例。

如上所述，在图4所示的根据本实施例的数据管理系统100中，管理id被分配给多个重叠显示使用数据和重叠显示元数据，使得用户能够在不理解重叠显示元数据或者没有意识到重叠显示元数据的存在的情况下，从一个重叠显示使用数据引用重叠显示元数据和其他的重叠显示使用数据。

进行组合和再现的多个数据是具有如下关系的多个数据，其中，多个数据中的一个数据(第一数据)和其他数据(第二数据)一起被再现，或者多个数据中的一个数据被再现，其他数据随后被再现。例如，在存在多个图像数据的情况下，这些图像数据包括宽图像捕获范围的图像的数据和将要重叠在宽图像捕获范围的图像上的窄图像捕获范围的图像的数据，这些数据进行组合和再现。此外，图像的类型可以包括运动图像和静止图像。图像可以基于例如分辨率上的差异或者图像捕获日期和时间上的差异来相互区分。多个数据包括宽图像捕获范围的运动图像的数据和将要重叠在该运动图像上的窄图像捕获范围的静止图像的数据，这些数据进行组合和再现，或者包括宽图像捕获范围的静止图像的数据和将要重叠在该静止图像上的窄图像捕获范围的运动图像的数据，这些数据进行组合和再现。

元数据是包括另一广角图像上重叠的图像相关的位置信息的数据。在本实施例中，元数据被描述为重叠显示元数据。

共同标识符是用于将多个图像数据相互关联的标识符。在本实施例中，共同标识符被描述为管理id。

<示例系统配置>

图4是本实施例的数据管理系统100的示例系统配置示意图。数据管理系统100包括管理重叠显示中所使用的数据的重叠显示管理系统50，以及由用户使用的客户终端10。重叠显示管理系统50和客户终端10经由网络n相互连接，网络n例如是互联网。

重叠显示管理系统50通过至少一个信息处理装置来实施，使得它可以替代地被称为信息处理系统。重叠显示管理系统50将管理id分配给重叠显示使用数据。具体地，在该实施例中，重叠显示管理系统50包括存储在处理中使用的数据的数据库服务器(此后称为db服务器40)和通过使用由db服务器40留存的数据来执行处理的应用服务器(此后称为ap服务器30)。db服务器40和ap服务器30能够实施为一个集成的服务器；然而，当db服务器40和ap服务器30相互分开时，能够通过分布式处理来提高处理速度，能够改变其中数据进行频繁更新的数据库44(见图6)的备份频率，并且能够通过复制的数据针对数据损坏采取措施，这导致数据管理系统100的安全性提高。

重叠显示管理系统50能够应用到云计算。云计算是在不了解具体硬件资源的情况下使用网络上的资源的使用形式。

客户终端10是由用户操作的信息处理装置或终端设备，并且是请求来自重叠显示管理系统50的处理从而使用重叠显示管理系统50的服务的客户端。在图4中，客户终端10是具有网络连接功能的任何期望的信息处理装置，诸如个人计算机(pc)或智能手机。期望的是，在客户终端10上运行浏览器软件。客户终端10可以是平板设备终端、个人数字助理(pda)、移动电话、可穿戴pc等。可替代地，客户终端10可以是电子白板、投影仪、视频会议终端等。

客户终端10包括用于与网络n进行连接的通信设备，用于在服务中选择项目并且输入文本信息等的输入设备，以及用于显示经由网络n提供的预定屏幕、图像和运动图像的显示器，并且至少具有如下所述的经由输入设备接受用户指令和将用户指令发送到重叠显示管理系统50的功能。

<示例硬件配置>

图5是ap服务器30的示例硬件配置。如图5所示，ap服务器30是具有通用信息处理装置(计算机)的各个功能的服务器装置。ap服务器30包括中央处理器(cpu)101、存储器102、通信设备103和存储设备104。图5仅示出了主要功能。cpu101执行在存储设备104中存储的程序从而处理数据，将ap服务器30作为整体进行控制，并且执行各种类型的确定、计算和处理。存储器102包括易失性存储元件，诸如随机存取存储器(ram)，并且是存储在存储设备104中的程序所加载到的工作区域。存储设备104由例如包括非易失性存储元件的硬盘或固态驱动器(ssd)组成。在ap服务器30的存储设备104中，存储有包括程序设置和参数的各种程序105和数据106。

通信设备103例如是网络接口卡(nic)并且与网络n进行连接从而控制与重叠显示管理系统50的通信。ap服务器30还包括总线，并且包括cpu101、存储器102、存储设备104和通信设备103的组成元件经由总线相互电连接。

图6是db服务器40的示例硬件配置示意图。在db服务器40的描述中，主要描述与ap服务器30的不同之处。db服务器40在存储设备104中包括数据库44。在数据库44中，存储有管理表、重叠显示使用数据、重叠显示元数据等。

图7是客户终端10的示例硬件配置示意图。在客户终端10的描述中，主要描述与ap服务器30的不同之处。客户终端10还包括显示器107和输入设备108。显示器107是平坦的平板显示器(显示设备)，诸如液晶显示器或有机电致发光(el)显示器。输入设备108例如是键盘、鼠标或触控板。

第一示例实施例

在第一示例实施例中，描述了数据管理系统100，其中针对分配了管理id并且已经获取到的重叠显示使用数据来生成重叠显示元数据。

<功能>

图8是示出数据管理系统100中包括的ap服务器30、db服务器40和客户终端10的功能的示例功能框图。

<<ap服务器>>

ap服务器30包括元数据生成单元31、网络(web)服务器单元32、第一通信单元33、下载数据生成单元34、管理id生成单元35和db接口单元36。包括在ap服务器30中的这些单元是通过图5所示的组成元件中的一个或多个组成元件基于从存储设备104加载到存储器102的程序、根据由cpu给出的指令进行操作而实现的功能或装置。

第一通信单元33向/从客户终端10发送/接收各种类型的数据。在第一示例实施例中，第一通信单元33从客户终端10接收重叠显示使用数据和关于指定文件的信息，并且发送由客户终端10显示的各种网页有关的屏幕信息。

网络服务器单元32具有响应于http请求而返回包括屏幕信息的超文本传输协议(http)响应的网络(web)服务器的功能和web应用的功能。屏幕信息以超文本标记语言(html)、层叠样式表(css)、javascript(注册商标)等进行描述，并且从网络服务器单元32作为网页来提供。web应用是通过以脚步语言(例如，javascript(注册商标))运行在浏览器软件上的程序和位于网络服务器中并且使用在浏览器软件上的程序的协作来运行软件，或者是这种软件的机制。

元数据生成单元31通过将从客户终端10发送的两个或更多个重叠显示使用数据进行组合，来生成图1所示的重叠显示元数据。下面将描述细节。

管理id生成单元35选择共同的(相同的)管理id并将其分配给重叠显示中使用的各个重叠显示使用数据和基于这些重叠显示使用数据而生成的重叠显示元数据。

db接口单元36控制与db服务器40的通信从而与db服务器40进行接口。例如，db接口单元36在用户认证时调用db服务器40的认证单元42。db接口单元36在上传重叠显示使用数据时向db服务器40发送重叠显示使用数据，并且获取用户指定的重叠显示使用数据和来自db服务器40的重叠显示元数据。

下载数据生成单元34生成至少包括管理id的下载数据。下载数据生成单元34可以生成除了管理id以外还包括重叠显示使用数据和重叠显示元数据的下载数据。对于下载数据，模式1至5能够用作数据格式，下面将对其进行详细描述。利用下载数据，可以分发重叠显示使用数据和重叠显示元数据，并且任何客户终端能够使用重叠显示使用数据来执行重叠显示。

<<db服务器>>

db服务器40包括数据管理单元41、认证单元42和第二通信单元43。db服务器40中包括的这些单元是通过图6所示的组成元件中的一个或多个组成元件基于从存储设备104加载到存储器102的程序、根据由cpu101给出的指令进行操作而实现的功能或装置。

数据管理单元41在数据库44中注册重叠显示使用数据和重叠显示元数据并且从数据库44获取重叠显示使用数据和重叠显示元数据。

认证单元42执行针对用户认证的处理，并且将指示认证是成功还是失败的结果返回到ap服务器30。认证方法可以是使用用户id和密码的组合、集成电路(ic)卡、或者生物测定认证信息的方法。

第二通信单元43与ap服务器30进行通信。也就是，第二通信单元43收发重叠显示使用数据和重叠显示元数据。第二通信单元43可以与客户终端10进行通信。

<<客户终端>>

客户终端10包括第三通信单元11、操作接受单元12和显示控制单元13。客户终端10中包括的这些单元是通过图7所示的组成元件中的一个或多个组成元件基于从存储设备104加载到存储器102的程序、根据由cpu101给出的指令进行操作而实现的功能或装置。

第三通信单元11向/从ap服务器30发送/接收各种类型的数据。在第一实施例中，第三通信单元11向ap服务器30发送重叠显示使用数据和关于指定文件的信息，并且从ap服务器30接收关于网页等的屏幕信息。

操作接受单元12接受在客户终端10执行的各种用户操作。例如，操作接受单元12接收重叠显示使用数据等的选择。显示控制单元13分析由第三通信单元接收到屏幕信息并且在显示器107(显示设备)上显示网页(各种屏幕)。客户终端10可以运行专门的应用而不是浏览器软件来与重叠显示管理系统50进行通信。

<总体操作>

参照图9描述与重叠显示元数据的生成相关联地注册管理id的方法。图9是示出ap服务器30生成重叠显示元数据的过程的示例流程图。例如，在已经生成重叠显示元数据之后生成管理id。

首先，用户操作客户终端10以登录到重叠显示管理系统50。重叠显示管理系统50执行用户认证(步骤s401)。

当成功完成用户认证时(用户成功登录到重叠显示管理系统50)，用户在客户终端10执行将重叠显示使用数据上传到重叠显示管理系统50的操作。因此，客户终端10将重叠显示使用数据上传到重叠显示管理系统50(步骤s402)。

重叠显示管理系统50生成重叠显示元数据(步骤s403)。在已经生成了重叠显示元数据之后，能够生成管理id。管理id可以在生成重叠显示元数据之前生成。

在重叠显示使用数据已经上传到重叠显示管理系统50的情况下，可以跳过数据上传步骤(步骤s402)。下面详细描述每个步骤中的序列。

<<用户认证>>

图10是示出重叠显示管理系统50响应于用户的登录操作而对用户进行认证的过程的示例时序图。参照图10描述登录到重叠显示管理系统50的处理。

重叠显示管理系统50和客户终端10连接到网络，并且用户能够经由网络(web)浏览器、通过向网络浏览器输入重叠显示管理系统50的统一资源定位符(url)来访问重叠显示管理系统50。

s501：当客户终端10访问重叠显示管理系统50时，客户终端10向ap服务器30发送登录屏幕请求。

s502：ap服务器30的第一通信单元33接收登录屏幕请求，并且网络服务器单元32向客户终端10发送关于登录屏幕的屏幕信息。

s503：客户终端10的第三通信单元11(网络浏览器)接收关于登录屏幕的屏幕信息，并且显示控制单元13基于接收到的屏幕信息来显示登录屏幕。

s504：用户在登录屏幕上输入他们的用户id和登录密码。操作接受单12接受所输入的用户id和登录密码。

s505：当用户按下登录屏幕上提供的“登录”按钮时，操作接受单元12接受该操作，并且第三通信单元11向ap服务器30发送登录认证请求。

s506：ap服务器30的第一通信单元33接收登录认证请求。登录认证请求包括关于用户id和登录密码的信息。当发送登录认证请求时，ap服务器30的db接口单元36请求db服务器40认证包括用户id和登录密码的该登录。

s507：db服务器40的第二通信单元43接收针对登录认证的请求，并且认证单元42通过将登录认证请求中包括的用户id和登录密码相对于数据库44中的用户表的每个记录进行检查，来执行登录认证，并且经由第二通信单元43发送登录认证的结果。

s508：ap服务器30的db接口单元36接收登录认证的结果，并且网络服务器单元32生成并且经由第一通信单元33发送登录认证后屏幕。如果认证成功，则网络服务器单元32发送登录认证后屏幕，或者如果认证失败则发送登录错误屏幕。

<<屏幕生成/显示>>

图11是示出重叠显示管理系统50生成显示在客户终端10上的屏幕的屏幕生成/显示过程的示例时序图。

s601：当用户操作安装在客户终端10上的网络浏览器时，第三通信单元11向ap服务器30发送菜单选择屏幕请求。

s602：ap服务器30的第一通信单元33接收菜单屏幕请求，并且网络服务器单元32向客户终端10发送图12所示的菜单选择屏幕301有关的屏幕信息。

s603：客户终端10的第三通信单元11接收菜单选择屏幕301有关的屏幕信息，并且显示控制单元13显示菜单选择屏幕301。图12示出菜单选择屏幕301的显示示例。当用户使用客户终端10的输入设备108在菜单选择屏幕301选择需要的菜单时，操作接受单元12接受该选择。因此，第三通信单元11向ap服务器30发送菜单选择信息。

s604：ap服务器30的第一通信单元33使得db接口单元36基于菜单选择信息来获取数据。db接口单元36根据菜单选择信息按需要从db服务器40获取重叠显示使用数据，并且网络服务器单元32生成与用户选择的菜单对应的屏幕信息。因此，具体的屏幕各不相同。下面将描述屏幕生成(步骤s604)中针对每个菜单显示的屏幕的显示示例。

s605：ap服务器30的第一通信单元33向客户终端10发送所生成的屏幕信息。

s606：客户终端10的第三通信单元11接收屏幕信息，并且显示控制单元13分析屏幕信息并显示屏幕。

图12示出菜单选择屏幕301的示例。菜单选择屏幕301是用于用户选择重叠显示管理系统50的服务的屏幕，并且在屏幕上显示用于调用重叠显示管理系统50的一些服务的按钮。在图12中，提供了数据上传按钮302、数据下载按钮303、重叠显示元数据生成按钮304、索引显示按钮305和退出按钮306。数据上传按钮302是用于将用户拥有的重叠显示使用数据上传到db服务器40的按钮。数据下载按钮303是客户终端10下载至少包括管理id的下载数据的按钮。下载数据的数据格式具有模式1至5，将参照图26对其进行描述。重叠显示元数据生成按钮304是用于使得ap服务器30生成重叠显示元数据的按钮。索引显示按钮305是客户终端10显示与相应的管理id相关联的各种类型的重叠显示使用数据的按钮。

用户能够通过使用菜单选择屏幕301经由客户终端10向ap服务器30请求各种服务。菜单选择屏幕301有关的信息是预定的并且更新的频率较低，因此，屏幕信息可以预先留存在ap服务器30中。

<<数据上传>>

图13是示出客户终端10将重叠显示使用数据上传到重叠显示管理系统50的过程的示例时序图。

s801：在步骤s801中的屏幕显示/生成中，根据参照图11描述的屏幕生成/显示的时序图来生成预定屏幕。步骤s801表示用户在菜单选择屏幕301上选择数据上传按钮302的情况。因此，生成了数据上传屏幕311。图14a和图14b中示出了数据上传屏幕311的示例。

s802：用户在数据上传屏幕311上选择用户想要上传到重叠显示管理系统50上的重叠显示使用数据。操作接受单元12接受重叠显示使用数据的选择。

s803：在用户已经将待上传的重叠显示使用数据注册在文件列表栏之后，用户按下上传按钮315。操作接受单元12接受该操作，并且第三通信单元11向ap服务器30发送数据上传请求。

s804：ap服务器30的第一通信单元33接收数据上传请求并且向客户终端10发送数据上传允许通知。在数据上传不被允许的情况下，第一通信单元33向客户终端10发送数据上传禁止通知。第一通信单元33可以向客户终端10发送用户利用其能够识别数据上传被禁止的屏幕。数据上传被禁止的情况例如是重叠显示使用数据的格式不适当的情况，文件大小过大的情况下，或者db服务器40处于异常状态的情况。

s805：当客户终端10的第三通信单元11接收数据上传允许通知时，第三通信单元11向ap服务器30发送注册在文件列表栏312中的重叠显示使用数据。

s806：当ap服务器30的第一通信单元33接收重叠显示使用数据时，db接口单元36将重叠显示使用数据发送到db服务器40。因此，数据管理单元41将重叠显示使用数据保存在数据库44中。在该时间点，未分配管理id。

s807：在数据保存完成之后，数据管理单元41经由第二通信单元43向ap服务器30发送数据保存完成通知。

s808：ap服务器30的db接口单元36接收数据保存完成通知，并且第一通信单元33向客户终端10发送数据上传完成通知。结果，数据上传处理完成。

图14a和图14b示出了数据上传屏幕311的显示示例。图14a示出图13的步骤s801中显示的数据上传屏幕311的显示示例。数据上传屏幕311包括文件列表栏312、数据选择按钮313、数据删除按钮314、上传按钮315和退出按钮316。

当用户按下数据上传屏幕311上的数据选择按钮313时，操作接受单元12接受该操作，并且显示控制单元13显示当前使用的客户终端10上存储的各个重叠显示使用数据的列表。

当用户使用客户终端10的输入设备108从数据列表选择用户想要上传的数据时，数据名称(文件名)被注册在文件列表栏312中，如图14b所示。在不要上传的重叠显示使用数据被错误地注册在文件列表栏312的情况下，用户在文件列表栏312中选择该文件并且按下数据删除按钮314。操作接受单元12接受该操作，并且显示控制单元13从文件列表栏312检测所选择的重叠显示使用数据。

上传按钮315是用于将文件列表栏312中的重叠显示使用数据上传到重叠显示管理系统50的按钮，退出按钮316是用于关闭数据上传屏幕311的按钮。

<<在没有注册管理id的情况下重叠显示元数据的生成>>

图15是示出ap服务器30生成重叠显示元数据的示例时序图。出于说明目的，未注册管理id的情况被描述为比较示例。

s1001：客户终端10和ap服务器30根据参考图11描述的屏幕生成/显示序列来生成和显示预定屏幕。在步骤s1001，假设用户在菜单选择屏幕301上选择重叠显示元数据生成按钮304，并且客户终端10显示重叠显示元数据生成屏幕321。图16a和图16b示出重叠显示元数据生成屏幕321的显示示例。

s1002：用户使用客户终端10的输入设备108勾选将要针对其生成重叠显示元数据的重叠显示使用数据的复选框324。操作接受单元12接受该选择，并且显示控制单元13在复选框324中显示勾选标记。

s1003：当数据选择完成时，用户按下重叠显示元数据生成屏幕321上的元数据生成按钮325。操作接受单元12接受该操作，并且第三通信单元11向ap服务器30发送重叠显示元数据生成请求。

s1004：ap服务器30的第一通信单元33接收重叠显示元数据生成请求。重叠显示元数据生成请求包括用于识别文件的信息，诸如所选择的重叠显示使用数据的文件名。ap服务器40的db接口单元36根据重叠显示元数据生成请求从db服务器40请求所选择的重叠显示使用数据。

s1005：db服务器40的第二通信单元43接收对于重叠显示使用数据的请求，并且数据管理单元41从数据库44获取所请求的重叠显示使用数据。第二通信单元43向ap服务器30发送重叠显示使用数据。

s1006：当ap服务器30的db接口单元36接收到重叠显示使用数据时，ap服务器30的元数据生成单元31使用这些重叠显示使用数据来生成重叠显示元数据。下面将详细描述重叠显示元数据的生成。

s1007：当重叠显示元数据被生成时，ap服务器30的db接口单元36向db服务器40发送该重叠显示元数据。db服务器40的第二通信单元43接收该重叠显示元数据，并且数据管理单元41将该重叠显示元数据保存在数据库44中。

s1008：当数据保存完成时，db服务器40的第二通信单元43向ap服务器30发送数据保存完成通知。

s1009：ap服务器30的db接口单元36接收数据保存完成通知，并且第一通信单元33向客户终端10发送重叠显示元数据生成完成通知。结果，重叠显示元数据生成处理完成。

图16a和图16b示出了客户终端10所显示的重叠显示元数据生成屏幕321的显示示例。在图16a中，显示了上传到重叠显示管理系统50的多个重叠显示使用数据的文件名323和缩略图像322。对于每个缩略图像(文件)，设置了复选框324。显示在重叠显示元数据生成屏幕321上的各个重叠显示使用数据与例如已登录用户的用户id相关联地进行管理。因此，客户终端10能够显示与用户id相关联的重叠显示使用数据的列表。

重叠显示元数据生成屏幕321上的元数据生成按钮325是用于请求ap服务器30生成复选框324被勾选的每个重叠显示使用数据的元数据的按钮，并且退出按钮326是用于关闭重叠显示元数据生成屏幕321的按钮。

图16b示出多个复选框324被勾选并且一些重叠显示使用数据被选择的状态。用户使用客户终端10的输入设备108勾选将要针对其生成重叠显示元数据的重叠显示使用数据的复选框324。设置了缩略图像322，因此用户能够易于选择等距柱状投影图像。用户选择表示等距柱状投影图像的一部分的平面图像。图16b示出了用户选择一个等距柱状投影图像和三个平面图像的状态。

<<注册管理id的情况下重叠显示元数据的生成>>

图17是示出ap服务器30生成重叠显示元数据的操作的示例时序图。参照图17描述注册管理id的情况。关于图17，主要描述与图15的不同之处。

图17与图15的不同之处在于增加了管理id注册步骤(步骤s1207)，对于管理id注册步骤(步骤s1207)进行描述。在管理id注册步骤(步骤s1207)中，管理id生成单元35针对在重叠显示元数据生成中所生成的重叠显示元数据并且针对多个重叠显示使用数据来生成和注册管理id。管理id是重叠显示中所使用的多个重叠显示使用数据和重叠显示元数据的集合的标识符，并且是于其他管理id不匹配的字符、数字、符号等的组合。管理id可以通过使用区块链技术来确定。

现在，描述用于注册重叠显示元数据和多个重叠显示使用数据的管理id的方法。图18a至图18d是示出管理id注册步骤(s1207)中使用的管理表的示意图。图18a示出了保存在db服务器40的数据库44中并且各自包括两个栏的记录形成的管理表，其中的两个栏即“文件名”栏和“管理id”栏。在管理表的“文件名”列中，注册了上传到重叠显示管理系统50的多个重叠显示使用数据。在ap服务器30将数据保存在db服务器40的数据保存步骤(s1208)中，数据管理单元41将上传的多个重叠显示使用数据的文件名注册在管理表的“文件名”列中。

在管理id注册步骤(步骤s1207)中，管理id生成单元35将重叠显示元数据生成步骤中所生成的重叠显示元数据注册在管理表的“文件名”列中，针对该重叠显示元数据的生成中所使用的多个重叠显示使用数据并且针对所生成的重叠显示元数据注册共同的管理id。

例如，在图18a中，在管理表的“文件名”列中注册了(具有jpg文件扩展名的)九个图像文件。在重叠显示元数据生成步骤中生成重叠显示元数据(aaa001.meta)的情况下，管理id生成单元35在管理id注册步骤(s1207)中，将重叠显示元数据(aaa001.meta)注册在管理表的“文件名”列中。生成的管理表如图18b所示。当假设在重叠显示元数据的生成中使用了四个重叠显示使用数据(sss001.jpg、xxx001.jpg、xxx002.jpg和xxx003.jpg)时，如图18b所示，在管理表的“文件名”中注册的重叠显示元数据和多个重叠显示使用数据中的每一个数据的记录的“管理id”栏中注册共同的管理id“a”。

图18c示出生成其他重叠显示元数据(aaa002.meta和aaa003.meta)的情况下的管理表。如所示，相同的管理id被分配给生成重叠显示元数据时引用的每个重叠显示使用数据和该重叠显示元数据。

图18d示出管理表，其中每个管理id和对应的多个重叠显示使用数据和重叠显示元数据相互关联并且显示。图18d中的管理表与图18c中的管理表包括相同的信息。利用共同的管理id能够易于识别重叠显示中所示的多个重叠显示使用数据和重叠显示元数据。

在图18b至图18d中，为了简化描述，每个管理id由简单的字母字符“a”、“b”或“c”表示。然而，管理id不限于字母字符，并且可以由多个字符或数据形成，或者可以是字符和数字的组合。管理id可以是系统地生成的，或者可以是随机生成的。考虑安全性，整个管理id或者管理id的一部分可以加密。

在第一示例实施例中，描述了如下的示例情况：每次针对重叠显示元数据和多个重叠显示使用数据注册相同的管理id。然而，本实施例不限于该情况，管理id的一部分相同的情况，和使用完全不同的管理id但是通过引用另一表或者通过使用特定的算法确定这些完全不同的管理id属于相同的群组的情况在本发明的范围内。

例如，可以使管理id的一部分是相同的。例如，假设管理id中的一个(第一管理id)是“a”，与第一管理id相关的管理id(第二管理id)被分配“a-0”。因为第二管理id包括第一管理id的一部分，所以能够确定这些管理id属于同一群组。在另一示例中，即使管理id完全不同，只要它们经由例如相同的标识符进行关联，也能够确定这些管理id属于同一群组。例如，假设第一管理id是“a”，第二管理id是“0ab％08”，经由相同的标识符“0001”相互关联，能够确定这些管理id属于同一群组。具体地，这三个不同的标识符可以使用管理表进行管理，该管理表存储指示这三个不同标识符的关联的信息。此外，只要能够利用管理表中的管理id来引用在重叠显示元数据的生成中使用的多个重叠显示使用数据和重叠显示元数据，管理id的形式不受限制。进一步，在不使用名称“管理表”和“管理id”的情况下出于相同目的来留存信息的情况也在本发明的范围内。

在重叠显示元数据生成步骤中，可能发生元数据生成失败的情况。这种情况包括在数据选择中选择不同场景的多个数据并且无法确定重叠位置的情况，以及选择相同场景的多个数据但是多个数据难以重叠的情况。在这样的情况下，针对元数据生成失败的各个数据并不注册管理id，以便能够排除不适当的重叠显示使用数据。

<使用管理id的重叠显示使用数据的显示示例>

现在，描述通过使用数据管理系统10中的管理id来显示具有相同管理id的多个重叠显示使用数据的过程。

图19是示出客户终端10显示数据显示屏幕的过程的示例时序图。参照图19来描述用于生成数据显示屏幕的过程。

s1401：在屏幕生成/显示步骤s1401中，根据参照图11描述的屏幕生成/显示序列来生成预定屏幕。在步骤s1401中用户选择菜单选择屏幕301上的索引显示按钮305的假设下进行描述。在客户终端10上显示如图21a或图21b中所示的索引显示屏幕331。

为了描述索引显示屏幕331，在图20中示出管理表。图20示出保存在db服务器40中并且在生成索引显示屏幕331时使用的示例管理表。图20中的管理表与参照图18a至图18d描述的管理表具有相同的结构。当与图18c中的管理表相比较时，图20中的管理表包括其中未注册管理id的记录。其中未注册管理id的每个记录对应于已经上传到重叠显示管理系统50但是在重叠显示元数据的生成中未被使用的数据。

图21a和图21b示出上传到重叠显示管理系统50的各个数据的列表被显示为索引的索引显示屏幕331的示例。在索引显示屏幕331上，针对各个重叠显示使用数据来显示缩略图像332和文件名333，并且以矩阵形式显示缩略图像332。

在图21a中，对于每个重叠显示使用数据，在缩略图像上显示对应的管理id。对于在管理表中注册管理id的重叠显示使用数据，显示管理id，对于在管理表中未注册管理id的重叠显示使用数据，什么都显示。因此，用户一眼就能够知道重叠显示中的各个重叠显示使用数据的使用状态和各个数据的关系。显示方法不限于图21a中所示的直接显示管理id的方法，可以采用对于具有共同管理id的各个数据显示相同的符号的显示方法或者以相同颜色来描画具有共同管理id的各个数据的缩略图像的轮廓的显示方法。基本上，用户需要能够识别具有共同的管理id的各个数据(用于相同重叠显示元数据的多个重叠显示使用数据)。例如，可以采用如下显示方法，其中在具有管理id的缩略图像后面，指示共同具有该管理id的多个重叠显示使用数据的存在。

在图21b中，在一些缩略图像上重叠并且显示多个重叠显示使用数据的总数量334。对于在管理表中注册管理id的重叠显示使用数据，显示共同注册该管理id的多个重叠显示使用数据的总数量334。对于在管理表中未注册管理id的重叠显示使用数据，什么都不显示。例如，对于图21b中的“xxx001.jpg”，在图20的管理表中“a”被注册为管理id，针对三个重叠显示使用数据(sss001.jpg、xxx002.jpg和xxx003.jpg)共同注册了该管理id，包括“xxx001.jpg”总数量为四。因此，在“xxx001.jpg”的缩略图像上显示“4”。相应地，用户在引用重叠显示元数据的情况下从每个重叠显示使用数据就能够知道重叠显示使用数据的数量。

s1402：参照回到图19，进一步进行描述。在数据选择时，用户在索引显示屏幕331上选择一个重叠显示使用数据。作为用于在索引显示屏幕331上选择一个重叠显示使用数据的方法，例如，用户使用客户终端10的输入设备108在索引显示屏幕331上选择缩略图像。可以使用在用户设备108是鼠标的情况下用户点击缩略图像来选择缩略图像的方法，或者在输入设备108是触控板的情况下用户触摸缩略图像来选择缩略图像的方法。对于操作接受单元12接受选择的重叠显示使用数据，显示控制单元13用粗线描画缩略图像的轮廓或者改变轮廓的颜色，使得用户能够易于从其他未被选择的数据区分出该数据。

s1043：当数据被选择时，客户终端10向ap服务器30发送所选择的数据显示请求。所选择的数据显示请求包括文件标识符，文件标识符例如是所选择的重叠显示使用数据的文件名。在第一示例实施例中，假设文件名被发送，并且进一步进行描述。

s1404：当ap服务器30的第一通信单元33接收该所选择的数据显示请求时，ap服务器30的db接口单元36将文件名发送到db服务器40，从而请求与用户选择的文件具有相同管理id的多个重叠显示使用数据。db服务器40的数据管理单元从数据库44获取具有用户所选择的文件名的重叠显示使用数据。进一步，数据管理单元41从数据库44获取与该重叠显示使用数据的管理id相同的管理id所关联的所有重叠显示使用数据。数据管理单元41经由第二通信单元43向ap服务器30发送两个或更多个重叠显示使用数据。

ap服务器30的网络服务器单元32使用多个重叠显示使用数据生成细节显示屏幕341。图22中示出了细节显示屏幕341的示例。

s1405：当细节显示屏幕341的生成完成时，ap服务器30的第一通信单元33向客户终端10发送细节显示屏幕341。

s1406：客户终端10的第三通信单元11接收细节显示屏幕341，并且显示控制单元13显示细节显示屏幕341。

图22示出客户终端10显示的细节显示屏幕341的示例。图22示出在索引显示屏幕331上选择“xxx001.jpg”的示例情况下的细节显示屏幕341的示例。在细节显示屏幕341上，显示了用户所选择的重叠显示使用数据的缩略图像342、具有共同的管理id的重叠显示使用数据的多个缩略图像343、以及返回按钮344。

如上所述，当用户仅选择一个重叠显示使用数据时，用户能够查看与该重叠显示使用数据的管理id相同的管理id所关联的所有重叠显示使用数据。用户能够每次选择多个重叠显示使用数据。

为了清楚地区分用户所选择的重叠显示使用数据与其他的重叠显示使用数据，显示控制单元13可以改变缩略图像的大小(增加所选择的重叠显示使用数据的大小)并且使得所选择的数据的缩略图像的轮廓更粗(对于所选择的重叠显示使用数据使得轮廓较粗)，如图22所示。

如上所述，当用户仅选择一个重叠显示使用数据时，客户终端10能够显示具有相同管理id的多个重叠显示使用数据，因此用户能够易于查看在重叠显示元数据的生成中使用的多个重叠显示使用数据。

<在下载中添加管理id>

已经参照图22描述了将具有相同管理id的多个重叠显示使用数据显示为缩略图像的示例。用户可能想要下载多个重叠显示使用数据。然而，管理id由db服务器40管理并且未被添加到下载的多个重叠显示使用数据，并且除非客户终端10引用重叠显示元数据，否则客户终端10无法识别在重叠显示中使用的多个重叠显示使用数据。相应地，描述用于将重叠显示管理系统50中的管理id添加到下载的一个重叠显示使用数据中的处理。

图23是示出客户终端10下载重叠显示使用数据的过程的示例流程图。

首先，用户登录到重叠显示管理系50(步骤s1801)。登录处理与参照图10所描述的相同。

在用户认证成功完成之后，客户终端10下载重叠显示使用数据(步骤s1802)。下面将详细描述下载步骤s1802中的序列。

图24是示出客户终端10从重叠显示管理系统50下载重叠显示使用数据的过程的示例时序图。

图24是示出客户终端10从重叠显示管理系统50下载重叠显示使用数据的过程的示例时序图。

s1901：在步骤s1901中的屏幕生成/显示步骤中，根据参照图11描述的屏幕生成/显示序列来生成预定屏幕。假设用户在步骤s1901中按下屏幕选择屏幕301上的数据下载按钮303。相应地，客户终端10显示下载屏幕。

图25a示出下载屏幕351的示例。图25a所示的屏幕与参照图21b所描述的索引显示屏幕331相似，并且在屏幕上显示缩略图像352和文件名353。针对每个重叠显示使用数据来显示在图20的管理表中注册共同的管理id的重叠显示使用数据的总数量354。对于在管理表中注册管理id的数据，显示重叠显示使用数据的总数量354。对于未注册管理id的重叠显示使用数据，什么都不显示。在步骤s1901中，管理id生成单元35获取并且留存在随后步骤s1912中添加的管理id。

s1902：返回参照图24，进一步进行描述。用户在下载屏幕351上选择重叠显示使用数据。作为在下载屏幕351上选择重叠显示使用数据的方法，例如，用户使用客户终端10的输入设备108来选择缩略图像中的一个作为索引。可以使用在输入设备108是鼠标的情况下用户点击缩略图像来选择缩略图像的方法，或者可以使用在输入设备108是触控板的情况下用户触摸缩略图像来选择缩略图像的方法。对于在下载屏幕351上选择的数据，显示控制单元13使得缩略图像的轮廓较粗或者改变轮廓的颜色，以便用户能够易于区分该数据与其他未被选择的数据。

s1903：当重叠显示使用数据被选择时，客户终端10的第三通信单元11向ap服务器30发送所选择的数据显示请求。所选择的数据显示请求包括文件标识符，文件标识符例如是所选择的重叠显示使用数据的文件名。

s1904：ap服务器30的第一通信单元33接收所选择的数据显示请求，并且ap服务器30的db接口单元36从db服务器40获取通过使用例如是文件名的文件标识符而识别出的多个重叠显示使用数据。获取方法与图19的步骤s1404中所使用的相同。网络服务器单元32使用获取到的多个重叠显示使用数据来生成图25b所示的下载设置屏幕361。

s1905：ap服务器30的第一通信单元33向客户终端10发送下载设置屏幕361。

s1906：客户终端10的第三通信单元11接收下载设置屏幕361，并且显示控制单元13显示下载设置屏幕361。

图25b示出了客户终端10所显示的下载设置屏幕361的示例。假设在步骤s1902在数据选择中选择“xxx005.jpg”。下载设置屏幕361是与参照图22所描述的细节显示屏幕341相似的显示屏幕并且包括所选择的重叠显示使用数据的缩略图像362、具有相同管理id的重叠显示使用数据的缩略图像362、下载设置栏365、下载按钮366和返回按钮367。

下载设置栏365是用于设置下载管理id和重叠显示使用数据中所使用的数据格式的栏。

参照图26描述下载设置栏365。图26示出了在下载设置栏365中设置的下载数据的数据格式的模式(数据格式标识符的示例)。数据格式具有五个模式。对于图26中使用的术语进行描述。管理id是通过第一示例实施例的管理id生成单元35注册的管理id。重叠显示元数据是参照图17描述的重叠显示元数据生成序列中在重叠显示元数据生成步骤(步骤s1206)中生成的数据。所选择的数据是在图25a所示的下载屏幕351上选择的一个重叠显示使用数据。重叠显示使用数据是其共同注册的管理id与所选择的数据的管理id相同的重叠显示使用数据，并且是在重叠显示中使用的数据，并且与所选择的数据一起显示在图25b的下载设置屏幕361上。重叠显示使用数据的数量根据所选择的数据而变化，并且所选择的数据是多个重叠显示使用数据中的一个。在图26所示的示例中，存在三个重叠显示使用数据，并且假设重叠显示使用数据1是所选择的数据。

现在，描述下载数据的数据格式的模式。模式1的数据格式是所选择的数据、每个重叠显示使用数据和重叠显示元数据存储在相应的文件中的模式，并且在图26中设置四个文件。对于每个文件，添加管理id。作为用于将管理id添加到重叠显示使用数据的方法，在重叠显示使用数据是联合图像专家组(jpeg)格式的数据，管理id被记录在以jpeg格式新提供的区域、记录图像捕获信息等的可交换图像文件格式(exif)区域、制造商能够存储他们自己的数据的制造商注释区域，或者管理id的添加不影响文件结构的区域。同样适用于其他格式。模式1的数据格式的数据能够利用通用的数据浏览器软件进行查看。利用模式1，客户终端10接收多个文件，因此考虑便利性，在下载时多个文件可以转换为一个压缩文件(例如，一个zip文件或lzh文件)。

模式2的数据格式是所选择的数据、每个重叠显示使用数据和重叠显示元数据组合为一个文件的模式。管理id添加至作为组合的结果而获得的一个文件中。模式2中的文件存储组合了多个重叠显示使用数据的数据。模式2中的文件处于利用通用数据浏览器软件仅能够查看所选择的数据的格式。关于组合数据中除了所选择的数据以外的多个重叠显示使用数据，仅允许登录到重叠显示管理系统50中的客户终端10查看其他的多个重叠显示使用数据。在不允许除了所选择的数据以外的多个重叠显示使用数据利用通用数据浏览器软件进行显示的情况下，仅允许登录到重叠显示管理系统50中的客户终端10查看组合数据中的其他多个重叠显示使用数据，或者向用户分发专用数据浏览器软件以允许查看。

模式3的数据格式是仅将所选择的数据存储在文件中的模式。管理id添加到所选择的数据。模式3中的文件处于允许利用通用数据浏览器软件进行查看的格式。

模式4的数据格式是仅涉及重叠显示元数据的模式。管理id添加到重叠显示元数据中。模式4的数据格式的数据能够利用通用数据浏览器软件进行查看。

模式5的数据格式是仅涉及管理id的模式。因为仅涉及管理id，因此模式不需要是文件格式，并且可以包括重叠显示管理系统50有关的地址信息。例如，可以使用模式5的信息能够经由电子邮件或者社交网络服务(sns)分享的使用方法。

s1907：返回参照图24，进一步进行描述。用户在下载设置屏幕361上执行下载设置以选择用户想要下载数据所具有的数据格式，并且按下下载设置屏幕361上的下载按钮366。操作接受单元12接受下载设置和按下下载按钮366的操作。

s1908：客户终端10的第三通信单元向ap服务器30发送下载请求。下载请求例如包括用户在下载设置中设置的数据格式的模式编号和所选择的重叠显示使用数据的文件名。

s1909：ap服务器30的第一通信单元33接收下载请求，并且db接口单元36从db服务器40请求所选择的数据。db服务器40的第二通信单元43接收包括所选择的重叠显示使用数据的文件名的针对所选择数据的请求，并且数据管理单元41从数据库44获取重叠显示使用数据。

-在模式1的情况下，数据管理单元41获取所选择的数据、一个或多个重叠显示使用数据和重叠显示元数据。

-在模式2的情况下，数据管理单元41获取所选择的数据、一个或多个重叠显示使用数据和重叠显示元数据。

-在模式3的情况下，数据管理单元41获取所选择的数据。

-在模式4的情况下，数据管理单元41获取重叠显示元数据。

-在模式5的情况下，数据管理单元41不获取上述数据，因此ap服务器30不需要访问db服务器40。

s1910：db服务器40的第二通信单元43向ap服务器30发送获取到的数据。

s1911：ap服务器30的db接口单元36接收模式1至5中的一个模式的数据格式的数据，并且下载数据生成单元34生成下载数据。下载数据的数据格式处于在下载设置步骤s1907中设置的模式。

-在模式1的情况下，下载数据生成单元34针对所选择的数据、一个或多个重叠显示使用数据和重叠显示元数据中的每一个数据生成文件，将这些文件进行压缩并生成一个压缩文件。

-在模式2的情况下，下载数据生成单元34将所选择的数据、一个或多个重叠显示使用数据和重叠显示元数据转换为利用通用数据浏览器软件仅能够查看所选择的数据的格式的一个文件。

-在模式3的情况下，下载数据生成单元34将所选择的数据转换为利用通用数据浏览器软件能够查看所选择的数据的格式的文件。

-在模式4的情况下，下载数据生成单元34将重叠显示元数据转换为利用通用数据浏览器软件能够查看重叠显示元数据的格式的文件。

-在模式5的情况下，下载数据生成单元34不需要生成数据文件但是可以针对管理id生成文件。

s1912：在生成下载数据之后，下载数据生成单元34将管理id添加到由用户从图26中所示的模式1至5之中选择的模式的数据格式的下载数据中。在步骤s1901中获取和留存管理id。

在模式1至4的情况下，管理id添加到在步骤s1911中生成的下载数据。在模式5的情况下，可以生成将管理id存储为数据的文件，或者管理id可以进行转换从而具有经由电子邮件或sns能够发送该管理id的数据格式。针对管理id的文件可以在步骤s1911中生成。

s1913：ap服务器30的db接口单元36在db服务器40上保存添加了管理id的下载数据。

s1914：当数据保存完成时，db服务器40的第二通信单元43向ap服务器30发送数据保存完成通知。

s1915：当ap服务器30的db接口单元36接收数据保存完成通知时，第一通信单元33向客户终端10发送下载数据。

客户终端10使用下载数据将平面图像重叠在等距柱状投影图像上以显示这些图像。

当如上所述获得添加了管理id的下载数据时，下载数据能够分发到其他用户(其他人)。

<下载数据的分发>

现在，描述下载数据的分发。可能存在用户将从重叠显示管理系统50下载的下载数据分发到其他用户的情况。从重叠显示管理系统50下载的下载数据的数据格式具有多个模式。例如，在参照图26描述的模式1和2的情况下，当下载数据分发到其他人时，如其他人获取重叠显示中所使用的数据的完整集合(多个重叠显示使用数据和重叠显示元数据)一样。

模式3至5的情况的有益之处在于，数据量小于模式1和2的情况；然而，没有分发重叠显示中使用的所有数据，因此，其他人需要从重叠显示管理系统50获取省略的数据。在模式1的情况下，多个重叠显示使用数据存储在相应的文件中并进行下载，因此，在由于某个原因一些数据丢失的情况下，其他人需要从重叠显示管理系统50获取丢失的数据。

在其他人尝试从重叠显示管理系统50获取省略的或丢失的数据的情况下，如果没有重叠显示管理系统50中的用户注册不允许其他人获取数据，则被分发给数据的其他人无法从重叠显示管理系统50获取省略的或丢失的数据。能够通过使用管理id来避免这样的不便。

图27是示出根据来自其他用户(其他人)的指令，使用下载数据访问重叠显示管理系统50的操作的示例时序图。参照图27描述使用下载数据访问重叠显示管理系统50的过程。图27所示的过程是数据被省略或丢失的情况下执行的序列。

s2201：另一个人将重叠显示管理系统50的url输入到客户终端10以使客户终端10访问重叠显示管理系统50。即使在客户终端10访问重叠显示管理系统50但是另一个人未登陆到重叠显示管理系统50的情况下，当另一个人选择被显示的数据选择屏幕请求时，客户终端10的第三通信单元11向ap服务器30发送数据选择屏幕请求。

s2202：ap服务器30的第一通信单元33接收数据选择屏幕请求，并且网络服务器单元经由第一通信单元33向客户终端10发送数据选择屏幕。

s2203：客户终端10的第三通信单元11接收数据显示屏幕，并且显示控制单元13显示该数据显示屏幕。

s2204：另一个人在数据显示屏幕上选择客户终端10上存储的下载数据。待选择的数据是参照图24描述的从重叠显示管理系统50下载到客户终端10的下载数据。如参照图26所述，从重叠显示管理系统50下载的数据能够具有多个模式的数据格式；然而，无论数据格式如何，管理id信息都在数据从重叠显示管理系统50下载时添加到该数据。因此，在步骤s2204，做出选择的客户终端10从下载数据获取管理id信息。

s2205：客户终端10的第三通信单元11向ap服务器30发送包括管理id的管理id引用请求。管理id引用请求包括从下载数据获取的管理id信息。

s2206：ap服务器30的第一通信单元33接收管理id引用请求，并且db接口单元36向db服务器40发送管理id从而请求与管理id对应的重叠显示使用数据和重叠显示元数据。当管理id包括在管理id引用请求中并且被发送时，认证单元42针对该管理id搜索数据库44。在数据库44中包括管理id引用请求中所包括并且被发送的管理id的情况下，用户认证被认为成功。

s2207：在用户认证成功的情况下，db服务器40的第二通信单元43向数据管理单元41发送接收到的管理id，并且数据管理单元41获取与管理id相关联的重叠显示使用数据和重叠显示元数据。第二通信单元43向ap服务器30发送重叠显示使用数据和重叠显示元数据。ap服务器30的db接口单元36接收重叠显示使用数据和重叠显示元数据，并且网络服务器单元32使用获取到的数据来生成下载设置屏幕361。

s2208：ap服务器30的第一通信单元33向客户终端10发送下载设置屏幕361。

s2209：客户终端10的第三通信单元11接收下载设置屏幕361，并且显示控制单元13显示下载设置屏幕361。

图28示出了客户终端10显示的下载设置屏幕361的示例。下载设置屏幕361包括管理表中注册的在管理id引用步骤(步骤s2206)中所引用的管理id的多个重叠显示使用数据的缩略图像363、下载设置栏365、下载按钮366和退出按钮368。

在下载设置栏365中，仅显示数据格式的模式1和模式2以便能够选择，这两个模式利用其能够获取重叠显示中所使用的数据的完整集合的模式。相应地，其他人能够选择获取重叠显示中使用的数据的完整集合所利用的模式。

s2210：返回参照图27，进一步进行描述。另一个人在下载设置屏幕361上执行下载设置从而设置该另一个人想要下载数据所使用的数据格式，并且按下下载设置屏幕361上的下载按钮366。操作接受单元12接受下载设置和按下按钮的操作。

s2111：客户终端10的第三通信单元11向ap服务器30发送下载请求。步骤s2212中的序列和随后步骤与步骤s1909中的序列和图24中的随后步骤相同，因此将省略对其的描述。

如上所述，当客户终端10在引用下载数据中的管理id的同时访问重叠显示管理系统50时，即使未在重叠显示管理系统50中注册的用户也能够使用重叠显示管理系统50下载将要用于重叠显示的数据。

<多个管理id的处理>

现在，描述针对一个重叠显示使用数据注册多个管理id的情况。当ap服务器30在图17所示的重叠显示元数据生成序列的管理id注册步骤(s1207)中注册管理id时，可以会存在针对该重叠显示使用数据已经注册了另一管理id的情况。

图29a和图29b示出了示例管理表。例如，图29a示出了在重叠显示元数据生成步骤(步骤s1206)中生成重叠显示元数据(aaa004.meta)并且在管理id注册步骤(步骤s1207)中管理id(d)将要被注册在多个重叠显示使用数据(sss004.jpg、xxx005.jpg和xxx007.jpg)的记录中的状态。即使在已经注册了管理id的情况下，在管理id注册步骤(步骤s1207)中如图29b所示另外地增加新的管理id(d)。当ap服务器30生成索引显示屏幕331时，如图30a显示多个管理id，或者如图30b所示显示重叠显示使用数据的总数量334。

在图24所示的从重叠显示管理系统50进行下载的数据下载数据中，在数据选择(步骤s102)中，屏幕从图25a所示的下载屏幕351转变到图25b所示的下载设置屏幕361。在数据选择(步骤s1902)中选择了在管理表中注册多个管理id的数据的情况下，例如，生成如图31所示的用于选择管理id的屏幕(此后称为管理id选择屏幕371)来提示用户选择管理id。

图31是示出管理id选择屏幕371的示例的示意图。在管理id选择屏幕371上，显示有在数据选择(步骤是1902)中所选择的重叠显示使用数据的缩略图像372，以及多个重叠显示使用数据的缩略图像373，这些重叠显示使用数据各自的管理id与所选择的重叠显示使用数据的多个管理id中的一个管理id相同。针对所选择的数据注册有多个管理id，因此，在管理id选择屏幕371上，针对管理表中注册的每个管理id来配置重叠显示使用数据的缩略图像。相应地，在管理id选择屏幕371上，配置用于选择相应的管理id的复选框374和选择按钮375。当用户使用复选框374选择管理id并且按下选择按钮375时，显示如图25b所示的下载设置屏幕361。仅针对所选择的管理id执行从下载设置(步骤s1907)开始的随后处理。

如上所述，在根据第一示例实施例的数据管理系统100中，注册有管理id，使得能够在不引用重叠显示元数据的情况下使用一个重叠显示使用数据来引用重叠显示元数据和其他重叠显示使用数据。在现有系统中，重叠显示使用数据需要使用重叠显示元数据来取得。

从重叠显示管理系统50下载到客户终端10的数据具有添加到其的管理id。因此，添加到下载数据的管理id能够用于访问重叠显示管理系统50并且获取将要使用的重叠显示使用数据和重叠显示元数据。进一步，只要其他人获取具有添加了管理id的下载数据，即使不是重叠显示管理系统50的注册用户的另一个人在不登录的情况下也能够从重叠显示管理系统50获取将要使用的数据。在下载数据改变并且无法正确获取管理id信息的情况下，重叠显示管理系统50无法正确地引用管理id，可以防止非授权使用并且可以不保证重叠显示运转，这使得重叠显示系统能够稳定运转。

第二示例实施例

在第二示例实施例中，描述了紧接在获取重叠显示使用数据之后能够注册管理id的数据管理系统100。

图32是根据第二示例实施例的数据管理系统100的示例示意图。如图32所示，数据管理系统100包括管理在重叠显示中使用的数据的重叠显示管理系统50和由用户使用的客户终端10，并且还包括控制多个图像捕获设备的控制器60和向控制器60发送重叠显示使用数据的图像捕获系统2。控制器60、ap服务器30和客户终端10经由网络n相互关联，网络n例如是互联网。

假设重叠显示管理系统50和客户终端10分别具有与第一示例实施例中的重叠显示管理系统50和客户终端10相同的配置。然而，如下所述，在第二示例实施例中，控制器60生成管理id。

图像捕获系统2包括诸如数码相机的普通图像捕获设备(此后称为普通图像捕获设备3)和能够捕获球面图像的特殊图像捕获设备1，以及控制使用多个图像捕获设备进行图像捕获的控制器60。控制器60控制多个图像捕获设备进行的图像捕获，从而将由图像捕获系统2中的普通图像捕获设备3捕获的平面图像重叠在由特殊图像捕获设备1捕获的球面图像上。普通图像捕获设备3和特殊图像捕获设备1在相互通信的同时或者根据基本同时或者没有时差地来自控制器60的控制信号连续地捕获图像(此后称为连续图像捕获)。

控制器60例如是信息处理装置或信息终端，诸如智能手机或pc。专用应用在控制器60上运行从而与图像捕获系统2通信并且接受重叠显示使用数据。

<根据第二示例实施例的数据管理系统100的总体操作>

图33是示出生成管理id并且将管理id注册在数据管理系统100中的流程的示意图。

s1：控制器60控制图像捕获设备响应于从用户接受的连续图像捕获请求来执行连续图像捕获。将参照图35和图36来描述细节。

s2：在图像捕获之后，控制器60针对在连续图像捕获中捕获到的多个图像(重叠显示使用数据)生成管理id。控制器60可以在生成管理id之前生成重叠显示元数据。

s3：控制器60将重叠显示使用数据、重叠显示元数据和管理id发送到重叠显示管理系统50。该发送通过使用第一示例实施例中的数据上传过程来执行。

s4：重叠显示管理系统50接收重叠显示使用数据、重叠显示元数据和管理id，并且ap服务器30将重叠显示使用数据、重叠显示元数据和管理id注册在db服务器40中。

s5：在注册完成之后，用户操作客户终端10来指定管理id，使得用户能够从重叠显示管理系统50获取和查看重叠显示使用数据或者能够从重叠显示管理系统50下载重叠显示使用数据。

<功能>

图34是将根据第二示例实施例的数据管理系统100中包括的ap服务器30、db服务器40和控制器60作为块(block)示出的示例功能框图。在图34的描述中，主要描述与图8的不同之处。控制器60的硬件配置与客户终端10的类似。

如图34所示，控制器60包括第三通信单元11、操作接受单元12、显示控制单元13、管理id确定单元14、短距离通信单元15、图像捕获单元16、元数据生成单元17和位置检测单元18。控制器60中包括的这些单元是基于从存储设备104加载到存储器102的程序、根据由cpu101给出的指令进行操作的如图7所示的一个或多个组成元件来实现的功能或装置。

第三通信单元11、操作接受单元12、显示控制单元13与客户终端10的相似。第三通信单元11向/从ap服务器30发送/接收各种类型的数据。在第二示例实施例中，第三通信单元11向ap服务器30发送重叠显示使用数据和特定文件有关的信息并且从ap服务器30接收网页等有关的屏幕信息。

操作接受单元12接受在控制器60处执行的各种用户操作。例如，操作接受单元12接受重叠显示使用数据等的选择。显示控制单元13分析由第三通信单元11接收的屏幕信息并且在显示器107(显示设备)上显示网页(各种屏幕)。控制器60可以运行专门的应用而不是浏览器软件以与重叠显示管理系统50进行通信。

管理id确定单元14根据日期和时间、位置信息等生成唯一的管理id。短距离通信单元15使用诸如wi-fi或蓝牙(注册商标)的短距离无线通信技术与特殊图像捕获设备1和普通图像捕获设备3进行通信。图像捕获单元16控制特殊图像捕获设备1和普通图像捕获设备3进行图像捕获。

元数据生成单元17将平面图像重叠在等距柱状投影图像上，并且生成重叠显示元数据，这些图像由特殊图像捕获设备1和普通图像捕获设备3进行捕获。元数据生成单元17的功能与ap服务器30的元数据生成单元31的功能相似。

位置检测单元18与例如全球定位系统(gps)卫星进行通信以检测当前的位置信息。

控制器60还包括被配置为图7所示的存储器102的存储单元19。在存储单元19中，存储各种类型的图像数据。

<通过图像捕获系统2进行图像捕获>

图35是示出使用图像捕获系统2的方式的示意图。如图35所示，用户将控制器60放置在衣服的口袋总，并且使用普通图像捕获设备3捕获物体等的图像，其中特殊图像捕获设备1经由适配器9附接到普通图像捕获设备3。控制器60不需要放在衣服的口袋中，而是可以放置在能够与特殊图像捕获设备1和普通图像捕获设备3进行无线通信的范围内。

图36是示出图像捕获的时序图。下面给出捕获物体、场景等的图像的情况的描述。在图像捕获的同时，可以使用麦克风记录周围的声音。

控制器60接受来自用户的开始联动图像捕获的指令(步骤s3011)。在此情况下，控制器60基于图37a所示的联动图像捕获设备表中存储的信息，在显示器107上显示图37b所示的联动图像捕获设备设置屏幕。在该屏幕上，针对各个图像显示设备显示用于指定联动图像捕获中的主图像捕获设备的单选按钮和用于指定(选择)联动图像捕获中的一个或多个子图像捕获设备的复选框。另外，针对相应的图像显示设备显示图像捕获设备的设备名称和接收到的信号强度水平。当用户指定(选择)期望的图像捕获设备作为主图像捕获设备和子图像捕获设备并且按下“确认”按钮时，操作接受单元12接收用户开始联动图像捕获的指令。多个图像捕获设备可以作为子图像捕获设备来使用，因此，设置复选框来允许多个图像捕获设备的指定(选择)。

控制器60通过执行轮询以询问普通图像捕获设备3是否开始图像捕获，来向通用捕获设备3发送图像捕获开始检查信息(步骤s3012)。普通图像捕获设备3接收图像捕获开始检查(询问)信息。

接着，通用捕获设备3通过确定通用捕获设备3是否接受按下快门按钮的用户操作，来确定是否执行图像捕获开始操作(步骤s3013)。

接着，通用捕获设备3基于步骤s3013的确定结果向控制器发送指示相应的细节的响应信息(步骤s3014)。在步骤s3013确定图像捕获开始的情况下，响应信息包括指示图像捕获的开始的图像捕获开始信息。在这种情况下，响应信息还包括来自通用捕获设备3的图像标识符。另一方面，在步骤s3013中确定图像捕获未开始的情况下，响应信息包括指示等待图像捕获的图像捕获等待信息。控制器60接收响应信息。

现在，描述在步骤s3013中确定图像捕获开始并且在步骤s3004中接收到的响应信息包括图像捕获开始信息的情况。

首先，通用捕获设备3开始图像捕获(步骤s3015)。该图像捕获处理是开始于快门按钮的按下并且包括捕获物体、场景等的图像从而获取捕获到的图像数据(在此，平面图像数据)并且存储捕获到的图像数据的处理。

控制器60向特殊图像捕获设备1发送请求图像捕获开始的图像捕获开始请求信息(步骤s3016)。特殊图像捕获设备1开始图像捕获(步骤s3007)。相应地，生成等距柱状投影图像。

接着，控制器60向通用捕获设备3发送请求捕获到的图像的捕获图像请求信息(步骤s3018)。捕获图像请求信息包括在步骤s3014接收到的图像标识符。通用捕获设备3接收捕获图像请求信息。

接着，通用捕获设备3向控制器60发送在步骤s3015中获取到的平面图像数据(步骤s3019)。此时，还发送用于识别所发送的平面图像的图像标识符和属性数据。控制器60接收平面图像数据、图像标识符和属性数据。

特殊图像捕获设备1向控制器60发送在步骤s3017中获取到的等距柱状投影图像数据(步骤s3020)。此时，还发送用于识别所发送的等距柱状投影图像数据的图像标识符和属性数据。控制器60接收等距柱状投影数据、图像标识符和属性数据。

接着，控制器60将在步骤s3019中接收到的平面图像数据的电子文件和在步骤s3020中接收到的等距柱状投影图像的电子文件保存在同一电子文件夹中进行存储(步骤s3021)。

接着，控制器60生成重叠显示元数据，该重叠显示元数据在将作为高清晰度图像的平面图像重叠并且显示在作为低清晰度图像的等距柱状投影图像的部分区域时使用(步骤s3022)。

管理id确定单元14使用当前日期和时间、位置信息等生成管理id(步骤s3022-2)。管理id确定单元14将管理id、平面图像、等距柱状投影图像和重叠显示元数据存储在存储单元19中。

控制器60执行重叠显示的处理(步骤s3023)。控制器60向重叠显示管理系统50发送管理id、平面图像、等距柱状投影图像和重叠显示元数据。

如上所述，在第二示例实施例中，控制器60能够生成重叠显示元数据，因此能够紧接图像捕获之后注册管理id。

管理id可以响应于用户操作而生成并且不需要继重叠显示元数据的生成之后而生成。重叠显示元数据不需要由控制器60生成并且可以由ap服务器30生成。

图36中的序列开始于普通图像捕获设备3(通用相机，诸如单镜头反射相机或者内置在智能手机中的相机)的图像获取。在序列中，给予普通图像捕获设备3的快门定时优先级，在主要对象处于焦点对准的时刻捕获球面图像从而获取现实感增强的重叠图像。然而，即使特殊捕获图像设备1(例如，全景球面图像捕获设备)首先捕获图像，图36中的序列也类似地进行。

<第二示例实施例中的管理id>

图38是示出当上传重叠显示使用数据和重叠显示元数据时显示在控制器60上的设置屏幕381的示例的示意图。在连续的图像捕获之后，控制器60显示如图38所示的设置屏幕381。例如，以与图13中的步骤s801类似的处理来显示图38所示的设置屏幕381。

设置屏幕381包括信息栏382、位置信息获取按钮383、位置信息校正按钮384、管理id生成按钮385和发送按钮386。

当用户按下位置信息获取按钮383时，位置检测单元18检测位置信息，并且显示控制单元13如图38所示在信息栏382中显示纬度和经度。用户可以按下位置信息校正按钮384来手动输入位置信息或者校正所显示的位置信息。

用户可以按下位置信息校正按钮384从而在信息栏382中不仅设置位置信息而且设置指示地点的标识符，也就是指示例如建筑物的特定楼层的名称或地址。在图38中，输入“地点：新横滨大楼3层(shin-yokohamabldg.3rdfloor)”。

管理id生成按钮385是管理id确定单元14生成管理id的按钮。如图38所示，管理id显示在信息栏382中。图38中所示的管理id是通过将屏幕的右上部分显示的当前日期和时间、纬度、经度和地点作为字符串进行连接而生成的示例。

作为位置信息的示例，在描述中使用了纬度和经度。利用gps能够检测的信息的其他示例包括海拔、位置信息的精度等，并且这些信息可以显示或者用于生成管理id。除了gps以外，位置信息可以通过利用wi-fi进行定位、基于到移动电话基站的距离、通过确定使用蓝牙低功耗(注册商标)的信号轻度等来获取。显示控制单元13可以在信息栏382中显示通过使用这些方法中的任何方法而获取的位置信息。管理id确定单元14可以基于通过使用这些方法中的任何方法而获取到的位置信息等来确定管理id。

管理id的生成中所使用的信息的连接顺序不限于图38所示的示例。管理id的生成中所使用的信息可以转换为通过使用可逆算法生成的字符串，其中的可逆算法例如是里维斯特-沙米尔-阿德尔曼(rivest-shamir-adleman，rsa)算法，并且所生成的字符串可以作为管理id来使用。可替代地，通过使用诸如通用唯一标识符(uuid)或哈希函数的不可逆算法生成的字符串可以作为管理id来使用。

在图33的步骤s3中，控制器60向重叠显示管理系统50发送重叠显示使用数据。在通过使用不可逆算法生成管理id的情况下，控制器60除了管理id以外，还发送管理id的生成中使用的位置信息和时间信息。在通过使用可逆算法生成的管理id的情况下，控制器60可以向重叠显示管理系统50仅发送管理id，或者在通过使用不可逆算法生成的管理id的情况下可以还发送管理id的生成中使用的位置信息和时间信息。

<管理表>

图39示出了第二示例实施例中由db服务器40留存的示例管理表。第二示例实施例中的管理表具有管理id、日期与时间、纬度、经度、地点和文件名称多个项目。

如参照图33中步骤s4所描述的，ap服务器30接受从控制器60发送的重叠显示使用数据、重叠显示元数据和管理id。管理id包括多个信息，即按顺序的日期与时间、纬度、经度和地点，并且数据管理单元41将这些信息相互分开并且将信息注册在图39所示的管理表中。当使用图39所示的管理表时，db服务器40能够从管理id识别重叠显示使用数据的文件名，并且还能够从日期与时间和位置信息识别文件名称。

相应地，根据在重叠显示管理系统50中已经注册的重叠显示使用数据之中没有位置信息的图像，通过使用管理id能够获取关于该图像的位置信息和捕获特定图像时的日期与时间。

<选择并且发送文件的情况>

控制器60不仅能够紧接图像捕获(在连续图像捕获的情况下)之后发送重叠显示使用数据，而且能够将保存在存储单元19中的重叠显示使用数据发送到重叠显示管理系统50。

图40是示出在控制器60将选择的文件发送到重叠显示管理系统50的情况下在控制器60上显示的设置屏幕381的另一示例的示意图。图40所示的设置屏幕381包括图像列表栏387。用户能够在图像列表栏387中选择重叠显示使用数据。在图像列表栏387中，显示了存储在特定文件夹中的重叠显示使用数据(主要由图像捕获系统2获取的图像数据)。

仅将由用户选择的重叠显示使用数据发送到重叠显示管理系统50，因此，能够防止错误地发送用户捕获的图像的情况。

如上所述，根据第二示例实施例，除了能够获得重叠显示使用数据和重叠显示元数据分配了共同的管理id的第一示例实施例所取得的效果以外，还取得了如下效果：与不具备位置信息的重叠显示使用数据相关的管理id能够用于获取位置信息。

此外，控制器60自动发送被分配了共同的管理id的重叠显示使用数据，所以用户不需要做出选择，提高了便利性。用户能够选择待发送的重叠显示使用数据，使得不发送不正确的重叠显示使用数据。

<重叠显示元数据的生成>

下面详细描述元数据生成单元17和31的功能。图41是元数据生成单元17和31的细节的功能框图。

元数据生成单元17和31各自包括球面图像生成器550、提取器551、对应区域计算器552、注视点(point-of-gaze)确定器553、投影转换器554、区域划分器555、投影逆转换器556、形状转换器558、校正参数生成器559和重叠显示元数据生成器560。在亮度或颜色不需要校正的情况下不需要包括形状转换器558和校正参数生成器559。下面描述的图像和区域的附图标记见于图42中。图42是示意性示出生成重叠显示元数据的处理中的图像的示意图。

球面图像生成器550使用嵌入系统的开放图形库(opengles)来放置等距柱状投影图像ec以覆盖球形表面，从而生成球面图像ce。

提取器551提取通过使用等距柱状投影方法而获取到的作为矩形图像的等距柱状投影图像ec中的多个特征点和通过使用透视投影方法而获取到的作为矩形图像的平面图像p中的多个特征点。每个特征点由照度(luminance)值变化达到预定值或更多的边界上的像素来表示。此外，提取器551提取所获取到的周边区域图像pi中的多个特征点作为通过投影转换器554的转换结果。

对应区域计算器552基于等距柱状投影图像ec中的多个特征点与平面图像p中的多个特征点之间的相似度，计算等距柱状投影图像ec中的作为与平面图像p对应的矩形区域的第一对应区域ca1，从而执行第一单应变换。这里，由平面图像p的四个顶点定义的矩形的中心点cp1通过第一单应变换转换为等距柱状投影图像ec中的注视点gp1。对应区域计算器552基于平面图像p中的多个特征点与周边区域图像pi中的多个特征点之间的相似度，计算周边区域图像pi中的作为与平面图像p对应的矩形区域的第二对应区域ca2，从而执行第二单应变换。

平面图像p和等距柱状投影图像ec中的至少一个图像可以在第一单应变换之前调整大小以缩短计算第一单应所花费的时间。例如，在平面图p具有4000万像素并且等距柱状投影图像ec具有3000万像素的情况下，例如，平面图像p可以调整大小至具有3000万像素，或者平面图像p和等距柱状投影图像ec可以都调整大小至具有1000万像素。类似地，平面图像p和周边区域图像pi可以在第二单应变换之前调整大小。

本实施例中的单应是表示等距柱状投影图像ec和平面图像p之间的映射关系的变换矩阵。当平面图像p上的点的坐标乘以单应计算处理中计算的单应变换矩阵时，能够计算等距柱状投影图像ec(球面图像ce)上的对应点的坐标。

注视点确定器553确定在等距柱状投影图像ec上、平面图像p的中心点cp1在第一单应变换之后所位于的点(在本实施例中称为“注视点”)。

注视点gp1的坐标是等距柱状投影图像ec上的点的坐标，因此期望的是，将注视点gp1的坐标转换为由纬度和经度来表示并且标准化。具体地，等距柱状投影图像ec的垂直方向由从-90°(-0.5π)延伸到+90°(+0.5π)的纬度坐标来表示，其水平方向由-180°(-π)延伸到+180°(+π)的经度坐标来表示。相应地，能够根据纬度和经度坐标来计算与等距柱状投影图像ec的图像大小对应的像素位置的坐标。

投影转换器554将等距柱状投影图像ec中以注视点gp1为中心的周边区域pa转换为透视投影的图像，从而生成周边区域图像pi，其中的透视投影是用于平面图像p的投影方法。这里，确定执行投影转换的周边区域pa，使得最终能够生成具有方形的周边区域图像pi，周边区域图像pi通过中心点2和垂直视角(或水平视角)来定义，其中的中心点2是作为注视点gp1的转换结果而获取的点，垂直视角(或水平视角)等于平面图像p的对角线视角α。下面进一步详细描述该处理。

(投影方法的转换)

首先，描述投影方法的转换。等距柱状投影图像ec被放置为覆盖球体cs，从而生成球面图像ce。因此，等距柱状投影图像ec的每个像素的数据能够与球体cs的表面上三维球面图像ce的对应像素的数据相关联。相应地，当等距柱状投影图像ec上的点的坐标由(纬度，经度)＝(e，a)来表示并且三维球体cs上的点的坐标由直角坐标(x，y，z)来表示时，通过下面的等式1来表示通过投影转换器554执行的转换。

(x,y,z)＝(cos(e)×cos(a),cos(e)×sin(a),sin(e))等式1

这里，假设球体cs的半径等于1。

同时，作为透视投影图像的平面图像p是二维图像。当平面图像p上的点由二维极坐标(半径向量，幅角)＝(r，a)来表示时，半径向量r对应于对角线视角α并且能够在范围0≦r≦tan(对角线视角/2)内取值。当平面图像p上的点由二维直角坐标(u，v)来表示时，与极坐标(半径向量，幅角)＝(r，a)的转换关系由下面的等式2来表示。

u＝r×cos(a),v＝r×sin(a)等式2

接着，将等式2应用到三维坐标(半径向量，极角，方位角)。这里，仅考虑球体cs的表面，因此三维极坐标中的半径向量等于1。当使用上述二维极坐标(半径向量，幅角)＝(r，a)时，在虚拟相机ic位于球体cs的中心的假设之下，放置在球体cs表面上的等距柱状投影图像ec的投影被转换为通过下面的等式3和等式4表示的透视投影图像。

r＝tan(极角)等式3

a＝方位角等式4

这里，当极角表示为t时，t由t＝arctan(r)来表示。

因此，三维极坐标(半径向量，极角，方位角)由(半径向量，极角，方位角)＝(1，arctan(r)，a)来表示。

进一步，从三维极坐标到直角坐标(x，y，z)的转换由下面的等式5来表示。

(x,y,z)＝(sin(t)×cos(a),sin(t)×sin(a),cos(t))等式5

上面的等式5用于使得能够在等距柱状投影中的等距柱状投影图像ec与透视投影中的平面图像p之间进行转换。也就是说，与待生成的平面图像p的对角线视角α对应的半径向量r能够用于计算指示平面图像p的每个像素和等距柱状投影图像ec上的对应点的坐标的变换映射坐标。基于变换映射坐标，能够从等距柱状投影图像ec生成作为透视投影图像的周边区域图像pi。

在上述投影转换中，等距柱状投影图像ec中由(纬度，经度)＝(90°，0°)表示的位置被转换为作为透视投影图像的周边区域图像pi的中心点cp2。因此，在执行透视投影转换同时假设等距柱状投影图像ec的特定点是注视点的情况下，旋转等距柱状投影图像ec所放置在的球体cs以执行坐标旋转，使得由坐标(纬度，经度)表示的注视点位于位置(90°，0°)。

作为球体cs的该旋转的变换公式，能够使用通用的坐标旋转公式，因此将省略对其的描述。

(周边区域图像的确定)

接下来，参照图43a和图43b来描述用于确定周边区域图像pi的区域的方法。图43a和图43b是示意性输出周边区域图像pi的确定的示意图。

对于对应区域计算器552确定平面图像p中的多个特征点与周边区域图像pi中的多个特征点之间的相似度，尽可能使得周边区域图像pi中包括的第二对应区域宽阔。如果周边区域图像pi被设置为面积大，则周边区域图像pi包括第二对应区域ca2。然而，如果周边区域图像pi被设置得过大，则将要计算相似度的像素数量相应地增加，导致处理时间增加。因此，周边区域图像pi包括第二对应区域ca2并且尽可能具有较小的面积。相应地，在本实施方式中，利用下面所述的方法来确定周边区域图像pi。

在本实施例中，通过使用平面图像的35mm等效焦距来确定周边区域图像pi。从图像捕获时记录的exif数据获得该35mm等效焦距。35mm等效焦距即基于24mm×36mm的胶卷尺寸的焦距，因此该胶卷的对角、焦距能够用来通过使用下面的等式6、等式7来计算相对应的对角线视角。

胶卷对角＝sqrt(24*24+36*36)等式6

组合图像的视角/2＝arctan((胶卷对角/2)/合成用图像35mm等效焦距)等式7

这里，覆盖该视角的图像为圆形；然而，实际的成像元件(胶卷)为长方形。因此，成像元件所捕获的图像是圆内接的矩形图像。在本实施例中，将周边区域图像pi的垂直视角α设定为与平面图像p的对角线视角α相同。相应地，如图43b所示的周边区域图像pi成为以覆盖图43a所示的平面图像p的对角线视角α的圆的外接正方形，如下面的等式8和等式9所示，垂直视角α可以根据正方形的对角长度和平面图像p的焦点距离来计算。

正方形对角线＝sqrt(胶卷对角*胶卷对角+胶卷对角*胶卷对角)等式8垂直视角α/2＝arctan((正方形对角/2)/(平面图像的35mm等效焦距))等式9

使用这样计算的垂直视角α来执行映射转换，从而能够生成以对角线视角α尽可能宽阔地覆盖以注视点为中心的平面图像p并且垂直视角α不是过大的周边区域图像pi(透视映射图像)。

返回参考图41，区域划分器555将图像中的部分区域划分为多个网格区域。参照图44a和图44b详细描述将第二对应区域ca2划分为多个网格区域的方法。图44a和图44b是示意性示出将第二对应区域ca2划分为多个网格区域的示意图。

区域划分器555将图44a所示的矩形划分为图44b所示的多个网格区域la2，其中所述矩形是通过对应区域计算器552执行第二单应变换而计算出的第二对应区域ca2的顶点坐标所指示的四个顶点来定义的。例如，区域划分器555将矩形在水平方向上等分为30个网格区域，在垂直方向上等分为20个网格区域。

现在，描述划分为多个网格区域la2的特定方法。

描述用于等分第二对应区域ca2的计算等式。在将连接两个点a(x1，y1)和b(x2，y2)的线段等分为n段的情况下，作为从点a开始的第m个点的点pm的坐标通过使用下面的等式10来计算。

pm＝(x1+(x2-x1)×m/n,y1+(y2-y1)×m/n)等式10

利用上面的等式10，能够计算将线段等分而得到的每个点的坐标。因此，能够得到通过划分矩形的上边和下边而获取到的每个点的坐标，并且此后，进一步划分作为划分结果而得到的对应坐标所指示的每个线段。当矩形的左上、右上、右下和左下顶点分别由tl、tr、br和bl来表示时，计算通过将线段tl-tr和线段br-bl中的每个线段等分为30段而获得的每个点的坐标。接着，获取计算出的坐标所指示的第0点至第30点作为划分结果。随后，按顺序在相同位置通过对应的点来定义的每个线段被等分为20段，以获取产生的点的坐标。相应地，能够计算矩形区域被划分为30×20个小区域所基于的坐标。图44b示出了例如tl(lo00,00，la00,00)的坐标。

投影逆转换器556将第二对应区域ca2的投影方法逆向转换为等距柱状投影，即等距柱状投影图像ec的投影方法，从而计算等距柱状投影图像ec中的与第二对应区域ca2对应的第三对应区域ca3。具体地，投影逆转换器556计算等距柱状投影图像ec中的、由与第二对应区域ca2中的多个网格区域la2对应的网格区域la3组成的第三对应区域ca3。图45示出了第三对应区域ca3。图45是示意性示出了等距柱状投影图像ec中的第三对应区域ca3的示意图。相应地，平面图像p最终重叠并且显示在根据等距柱状投影图像ec生成的球面图像ce上，从而适配(映射到)第三对应区域ca3。

利用投影逆转换器556的该处理，生成了指示每个网格区域la3的每个网格点的坐标的位置参数。图1中示出了位置参数。

这样生成的位置参数用于使得能够计算等距柱状投影图像ec与平面图像p之间的位置关系。

在计算位置参数并且执行重叠显示而不执行任何其他处理的情况下，如果等距柱状投影图像ec和平面图像p在亮度或色调上彼此显著不同，则产生的重叠显示可能不自然。因此，下面描述的形状转换器558和校正参数生成器559提供了防止在亮度或色调显著不同的的情况下发生不自然的重叠显示的功能。

在下面描述的颜色校正之前，形状转换器558将第二对应区域ca2的四个顶点映射到平面图像p的四个顶点从而将第二对应区域ca2的形状转换为与平面图像p的形状相同的形状。具体地，形状转换器558将第二对应区域ca2的形状转换为与平面图像p的形状相同的形状，以便图46a所示的第二对应区域ca2的网格区域la2与图46c所示的平面图像p的网格区域la0相匹配。作为结果，图46a所示的第二对应区域ca2的形状被转换为图46b所示的第二对应区域ca2’的形状。相应地，网格区域la2被转换为网格区域la2’，从而具有与平面图p的网格区域la0的形状相同的形状。

校正参数生成器559针对作为转换为相同形状的结果而获取到的第二对应区域ca2’的网格区域la2’的颜色，生成用于调整平面图像p的网格区域la0的亮度和颜色的校正参数，网络区域la0的形状与网格区域la2’的形状相同。具体地，校正参数生成器559计算组成四个网格区域la0的所有像素的亮度和颜色值(r，g，b)的平均值a，其中的四个网格区域la0共享一个共同的网格点，并且校正参数生成器559还计算组成四个网格区域la2’的所有像素的亮度和颜色值(r’，g’，b’)的平均值a’，其中的四个网格区域la2’共享一个共同的网络点。在网格区域la0的一个网格点和网格区域la2’的一个网格点对应于第二对应区域ca2的四个拐角中的一个拐角和第三对应区域ca3的四个拐角中的一个拐角的情况下，校正参数生成器559计算来自对应的一个网络区域la0的亮度和颜色的平均值a和来自对应的一个网络区域la2’的亮度和颜色的平均值a’。在网格区域la0的一个网格点和网络区域la2’的一个网格点对应于第二对应区域ca2的边界上的点和第三对应区域ca3的边界上的点的情况下，校正参数生成器559计算来自两个内部网格区域la0的亮度和颜色的平均值a和来自两个内部网络区域la2’的亮度和颜色的平均值a’。在本实施例中，校正参数是用于校正平面图像p的亮度和颜色的增益数据，因此，由pa表示的校正参数通过将平均值a’除以平均值a来计算，如下面的等式11所表示。

pa＝a’/a等式11

相应地，校正参数所指示的增益值用于执行上述重叠显示中的每个网格区域la2’的乘法运算，平面图像p的色调和照度值变得更接近等距柱状投影图像ec(球面图像ce)的像素值所指示的色调和照度值，从而使得重叠显示感觉自然。校正参数不需要根据平均值进行计算，可以通过除了平均值以外或者代替平均值使用例如中值和/或众数来进行计算。

重叠显示元数据生成器560使用位置参数、校正参数等来生成重叠显示元数据，该重叠显示元数据指示平面图像p重叠在球面图像ce上的位置以及亮度和颜色的校正值。

(重叠显示元数据)

现在，参照图1描述重叠显示元数据的数据结构。图1示出了重叠显示元数据的数据结构。

如图1所示，重叠显示元数据包括等距柱状投影图像信息、平面图像信息、重叠显示信息和元数据生成信息。

在这些信息之中，等距柱状投影图像信息是从特殊图像捕获设备1与捕获到的图像数据一起发送的信息。等距柱状投影图像信息包括图像标识符和属性数据。等距柱状投影图像信息中包括的图像标识符是用于识别等距柱状投影图像信息的图像标识符。在图1中，等距柱状投影图像信息中的图像标识符例如是图像的文件名；然而，图像标识符可以是用于识别图像的图像id。

等距柱状投影图像信息中包括的属性数据是添加到等距柱状投影图像信息的关联信息。在图1中，属性数据包括例如在特殊图像捕获设备1进行图像捕获时获取到的等距柱状投影图像数据相关的定位校正数据(俯仰，偏航，滚转)。定位校正数据可以以exif格式存储，exif格式被指定为在特殊图像捕获设备1中使用的图像记录格式，或者可以通过谷歌图片球体图式(gpano)定义的任何其他格式来存储。当在相同位置捕获球面图像时，即使定位不相同也能够捕获360°全向图像。在显示球面图像ce的情况下，指定定位信息和图像的中心(注视点)的位置以便确定显示位置。相应地，一般来说，球面图像ce被校正为最高点(zenith)位于捕获图像的用户的正上方并且进行显示，这使得能够进行地平线被校正为直线的自然显示。

平面图像信息是从普通图像捕获设备3与捕获到的图像数据一起发送的信息。平面图像信息包括图像标识符和属性数据。平面图像信息中包括的图像标识符是用于识别平面图像的标识符。在图1中，图像标识符例如是图像的文件名；然而，图像标识符可以是用于识别图像的图像id。

平面图像信息中包括的属性数据是添加到平面图像信息的关联信息。在图1中，平面图像信息中的属性数据包括例如35mm等效焦距的值。在将平面图像p重叠并显示在球面图像ce中不需要使用该35mm等效焦距的值；然而，包括35mm等效焦距的值，例如作为用于确定在重叠显示的情况下显示的视角的参考信息。

重叠显示信息是由控制器60生成的信息并且包括区域划分数量信息、每个网格区域的网格点的坐标(位置参数)、以及亮度和颜色的校正值(校正参数)。在这些信息之中，在将第一对应区域ca1划分为多个网格区域的情况下，区域划分数量信息包括在水平(经度)方向和在垂直(纬度)方向上划分的数量。

位置参数是指示通过将平面图像pc划分为多个网格区域而获取到的每个网格点在等距柱状投影图像ec(球面图像ce)中所处的位置。在本实施例中，校正参数是用于校正平面图像p的颜色的增益数据。待校正的目标可以是单色图像图像，因此校正参数是用于至少调整亮度和颜色中的亮度的参数。

在通过使用作为平面图像p的投影方法的透视投影来捕获球面图像ce的情况下，获取不到360度全向图像。因此，经常使用作为现有投影方法之一的等距柱状投影来生成宽视角图像，诸如球面图像。当诸如墨卡托(mercator)投影的等距柱状投影用于图像时，水平方向上的长度随着与标准平行线的距离增大而增加，导致图像明显不同于使用普通相机中所采用的透视投影而生成的图像。即使图像的缩放针对重叠而发生变化，但是图像不匹配，并且平面图像p并没有令人满意地适配在球面图像ce中。相应地，在将与球面图像ce分开捕获的平面图像p重叠在球面图像ce的部分区域上的情况下，由于等距柱状投影图像ec和平面图像p使用不同的投影方法生成，所以等距柱状投影图像ec(球面图像ce)和平面图像p不匹配，并且平面图像p并没有令人满意地适配在球面图像ce中。在本实施例中，在图48所示的处理中生成位置参数。

现在，参照图47a和图47b详细描述位置参数和校正参数。图47a是示意性示出第二对应区域ca2中的网格区域的示意图，图47b是示意性示出第三对应区域ca3中的网格区域的示意图。

如图47a所示，在本实施例中，通过将作为等距柱状投影图像ec的一部分区域的第一对应区域ca1转换为作为平面图像p的投影方法的透视投影下的图像而获取到的第二对应区域ca2被划分为多个网格区域，即水平方向上的30个区域和垂直方向上的20个区域。在图47a中，发现每个网格区域的网格点的坐标(lo00,00,la00,00),(lo01,00,la01,00),...,(lo30,20,la30,20)和每个网格区域的网格点的亮度和颜色的校正值(r00,00,g00,00,b00,00),(r01,00,g01,00,b01,00),...,(r30,20,g30,20,b30,20)。为了简化图表，仅指示出四个顶点处的网格点的坐标以及亮度和颜色的校正值；然而，实际上所有的网格点都存在亮度和颜色的校正值。亮度和颜色的校正值r，g，b分别指示红色、绿色和蓝色的校正增益。此外，亮度和颜色的校正值r，g，b实际上指示以坐标所指示的每个网格点为中心的预定范围(与以相邻网格点为中心的预定范围不重叠的范围)内的图像的亮度和颜色的校正值。

如图47b所示，在本实施例中，通过将第二对应区域ca2逆转换为作为等距柱状投影图像ec的投影方法的等距柱状投影下的图像而获取到的第三对应区域ca3被类似地划分为多个网格区域，即水平方向上的30个区域和垂直方向上的20个区域。在图47b中，发现每个网格区域的网格点的坐标(lo'00,00,la'00,00),(lo'01,00,la'01,00),...,(lo'30,20,la'30,20)以及亮度和颜色的校正值，校正值等于第二对应区域ca2的校正值。同样在图47b中，为了简化图表，仅示出了四个顶点处的网格点的亮度和颜色的修正值；然而，实际上所有网格点都存在亮度和颜色的校正值。

返回参照图1，元数据生成信息包括指示重叠显示元数据的版本的版本信息。

如上所述，位置参数指示平面图像p与等距柱状投影图像(球面图像ce)之间的位置对应关系。如果位置参数用于指示平面图像p的每个像素的位置和等距柱状投影图像(球面图像ce)上的对应点的坐标，在普通图像捕获设备3是具有大量像素的数码相机的情况下，位置参数包括大约4000万像素的信息。因此，位置参数的数据量增大，并且由于例如数据存储的处理负担增加。在本实施例中，平面图像p被划分为600(30×20)个区域，位置参数包括仅指示平面图像p上的网格点的坐标和等距柱状投影图像ec(球面图像ce)上的对应位置的数据。在重叠显示的情况下，控制器60使用网格点的坐标对于每个区域中的图像进行内插值从而实现重叠显示。

<<根据第二示例实施例的处理或操作>>

现在，参照图48等描述根据第二示例实施例的处理或操作。首先，参照图48描述由图像捕获系统2执行的图像捕获方法。图48是示出重叠显示参数生成处理的流程图。图49示出了由特殊图像捕获设备1使用等距柱状投影方法生成的等距柱状投影图像。图50示出了由普通图像捕获设备3使用透视投影方法生成的的平面图像。

即使普通图像捕获设备3的成像元件和特殊图像捕获设备1的成像元件相同，由特殊图像捕获设备1捕获的图像的单位面积的清晰度也变低。这是因为特殊图像捕获设备1的成像元件捕获完全覆盖360度场景的等距柱状投影图像，根据该等距柱状投影图像来生成球面图像ce。

此后，描述用于生成重叠显示元数据的处理。重叠显示元数据用于将图50所示并且具有高清晰度的平面图像重叠在球面图像ce上，从而在显示器107上显示生成的图像，其中的球面图像ce根据图49所示并且具有低清晰度的等距柱状投影图像ec来生成。重叠显示元数据包括位置参数和校正参数，如图1所示，因此，主要描述用于生成位置参数和校正参数的方法。

首先，提取器551提取等距柱状投影图像ec中的多个特征点和平面图像p中的多个特征点，其中的等距柱状投影图像ec是通过使用等距柱状投影而获取到的矩形图像，平面图像p是通过使用透视投影而获取到的矩形图像(步骤s101)。

随后，对应区域计算器552基于等距柱状投影图像ec中的多个特征点与平面图像p中的多个特征点之间的相似度，执行第一单应变换并且计算如图42所示的等距柱状投影图像ec中的作为与平面图像p对应的矩形区域的第一对应区域ca1(步骤s102)。在该处理中，无法将作为不同投影方式下的图像的平面图像p精确地映射到等距柱状投影图像ec上；然而，该处理是试验性且粗略地估计对应位置的处理(试验性确定处理)。

随后，注视点确定器553确定平面图像p的中心点cp1在第一单应变换后在等距柱状投影图像ce中所位于的点(注视点gp1)(步骤s103)。

随后，投影转换器554将等距柱状投影图像ec上以注视点gp1为中心的周边区域pa的投影方法转换为透视投影，透视投影是平面图像p的投影方法，从而最终生成周边区域图像pi，其中如图43a和图43b所示，周边区域图像pi的垂直视角α等于平面图像p的对角线视角α(步骤s104)。

随后，提取器551提取通过投影转换器554获取到的周边区域图像pi中的多个特征点(步骤s105)。

随后，对应区域计算器552基于平面图像p中的多个特征点与周边区域图像pi中的多个特征点之间的相似度，执行第二单应变换并且计算周边区域图像pi中作为与平面图像p对应的矩形区域的第二对应区域ca2(步骤s106)。平面图像p是具有例如4000万像素的高清晰度图像，因此被预先调整为适当的大小。

随后，区域划分器555将第二对应区域ca2划分为多个网格区域la2，如图44b所示(步骤s107)。

随后，投影逆转换器556将第二对应区域ca2的投影方法转换(逆转换)为作为等距柱状投影图像ec的投影方法的等距柱状投影，如图42所示(步骤s108)。接着，投影逆转换器556计算等距柱状投影图像ec中的由与第二对应区域ca2中的多个网格区域la2对应的网格区域la3组成的第三对应区域ca3，如图45所示。图45是示意性示出等距柱状投影图像ec中的第三对应区域ca3的示意图。利用由投影逆转换器556执行的该处理，生成指示每个网格区域la3的每个网格点的坐标的位置参数。如上所述，位置参数见于图1和图47中。

参照图46a至图46c描述用于生成校正参数的处理。图46a至图46c是示意性示出生成校正参数的处理中的图像的示意图。

在步骤s108的处理之后，形状转换器558将如图46a所示的第二对应区域ca2的四个顶点映射到平面图像p的四个顶点，从而将第二对应区域ca2的形状转换为与平面图像p的形状相同的形状并且获取如图46b所示的第二对应区域ca2’(步骤s109)。

随后，区域划分器555将平面图像p划分为多个网格区域la0，网格区域la0的形状与作为转换结果而获取到的第二对应区域ca2’中的网格区域la2’相同，如图46c所示，网格区域la0的数量与网格区域la2’的数量相等。(步骤s110)。

随后，校正参数生成器559针对第二对应区域ca2’中的网格区域la2’的亮度和颜色，生成用于调整平面图像p中的网格区域la0的亮度和颜色的校正参数，网格区域la0对应于网格区域la2’(步骤s111)。

最后，重叠显示元数据生成器560基于从特殊图像捕获设备1获取到的等距柱状投影图像信息、从普通图像捕获设备3获取到的平面图像信息、预定的区域划分数量信息、通过投影逆转换556生成的位置信息、通过校正参数生成器559生成的校正参数、以及元数据生成信息，来生成重叠显示元数据(步骤s112)。

现在，参照图51和图52a至图52d详细描述重叠显示的状态。图51是示意性示出平面图像p重叠在球面图像ce的情况的二维示意图。这里，示出了平面图像p重叠在等距投影图像上的情况。如图51所示，高清晰度的重叠图像s根据位置参数重叠在具有低清晰度并且位于球体cs上的球面图像ce上，从而位于面对虚拟相机ic的内表面上。

图52a、图52b、图52c和图52d是分别示意性示出了没有重叠显示的情况下显示的示例广角图像、没有重叠显示的情况下显示的示例远摄图像、重叠显示的情况下显示的示例示例广角图像、重叠显示的情况下显示的示例远摄图像。图52a和图52c中的虚线是为了便于描述而示出，并且可以实际上显示或不显示在显示器107上。

如图52a所示，在没有平面图像p重叠在其上而显示球面图像ce的情况下，当通过图52a中的虚线描绘轮廓的区域被放大至全屏时，低清晰度的图像被原样显示，并且用户看到不清楚的图像，如图52b所示。另一方面，在如图52c所示平面图像p重叠在其上而显示球面图像ce的情况下，当通过图52c中的虚线描绘轮廓的区域被放大至全屏时，显示高清晰度的图像，并且用户能够看到清楚的图像，如图52d所示。

具体地，在例如由虚线描绘轮廓的区域中存在其上有文本的广告牌并且没有重叠高清晰度的平面图像p的情况下，当图像被放大时，文本是模糊并且无法辨认的。在重叠并且显示高清晰度的平面图像p的情况下，即使图像被放大，文本对于用户来说仍然是清楚且能够辨认的。

<其他示例应用>

上述实施例是示例性的并且不限制本发明。因此，鉴于上述教导可以进行很多另外的变型和改变。例如，在本发明的范围内，不同示例性实施例的要素和/或特征可以相互组合和/或相互替代。

例如，在一个或多个本实施例中，假设图像数据是重叠显示使用数据；然而音频数据或运动图像数据可以嵌入到等距柱状投影图像中。例如，当用鼠标等点击嵌入音频数据的位置，则通过客户终端再现该音频数据。

在本实施例中的任何一个中，生成元数据主要用于将待重叠的多个图像数据进行关联。作为元数据的另一示例使用，元数据能够使用在例如间隔摄影(延时摄影)中以预定间隔获取到的多个图像数据的显示中。

此外，在上述第二示例实施例总，由于元数据生成单元17和管理id确定单元14设置在控制器60中，元数据生成单元31和/或管理id生成单元25不必设置在ap服务器30中。在这种情况下，由重叠显示管理系统50提供的部分功能可以在控制器60处执行。具体地，获取第一数据和第二数据、生成用于将第一数据和第二数据进行组合的元数据、以及生成管理id在控制器60处执行。

此外，在上述第二示例实施例中，控制器60可以作为客户终端60进行操作，其使得显示器显示例如允许用户选择第一数据和第二数据的屏幕。在这种情况下，由客户终端10提供的部分功能可以在控制器60处执行。相应地，在第二示例实施例中，不必设置客户终端10。

在一个实施例中，本发明驻留在如下装置中：一种信息处理装置(重叠显示管理系统50)包括：用于获取多个数据的获取单元(例如，第二通信单元43)；用于生成元数据的生成单元(例如，元数据生成单元31)，其中的元数据用于将多个数据中的第一数据与作为多个数据中的除了第一数据以外的一个或多个数据的第二数据进行组合；用于将共同标识符分配给第一数据、第二数据和元数据的标识符分配单元(例如，管理id生成单元35)；以及用于将第一数据、第二数据和元数据与共同标识符相关联地存储在存储单元(例如，数据库44)中的数据管理单元(数据管理单元41)。

在一个实施例中，在信息处理装置中，数据管理单元用于使用所获取到的管理id，从存储单元获取第一数据、第二数据和元数据中的任何一个。在一个示例中，数据管理单元从存储单元获取与关联于第一数据的共同标识符相关联的第二数据和元数据。在另一示例中，数据管理单元从存储单元获取与关联于第二数据的共同标识符相关联的第一数据和元数据。

在一个实施例中，数据管理系统(100)包括通过网络进行连接的信息处理装置(50)和终端设备(10)。终端设备包括：用于显示多个数据的显示控制单元(显示控制单元13)；用于接受待组合的第一数据和第二数据的选择的接受单元(例如，操作接受单元12)；以及用于将接受单元所接受的第一数据和第二数据相关的信息发送到信息处理装置的第一通信单元(例如，第三通信单元11)。信息处理装置还包括用于接收图像数据和第二数据有关的信息的第二通信单元(例如，第一通信单元33)。

在一个实施例中，多个数据是多个图像数据并且存储在存储单元(例如，数据库44)中。第二通信单元用于向终端设备发送存储在存储单元中的多个图像数据的文件名和缩略图像。在终端设备处，显示控制单元(例如，显示控制单元13)在显示器上显示图像数据的文件名和缩略图像。接受单元用于接受从多个图像数据中的第一图像数据和第二图像数据的选择。第一通信单元用于发送所选择的第一图像数据和第二图像数据相关的信息。生成单元用于使用从终端设备发送的第一图像数据和第二图像数据相关的信息来生成元数据。

在一个实施例中，在数据管理系统中，一个或多个共同标识符与存储器中的一个第二图像数据相关联。

在一个实施例中，数据管理系统还包括连接到网络的信息终端，该信息终端包括：生成单元，该生成单元用于从生成第一图像数据的第一图像捕获设备(例如，特殊图像捕获设备1)获取第一图像数据，并且从生成第二图像数据的第二图像捕获设备(例如，普通图像捕获设备3)获取第二图像数据，从而生成元数据；以及用于将共同标识符分配给获取到的第一图像数据和第二图像数据并且分配给元数据的第二标识符分配单元(例如，管理id确定单元14)。信息终端将第一图像数据、第二图像数据、元数据和共同标识符注册在信息处理装置中。

在一个实施例中，在数据管理系统中，第二标识符分配单元对于共同标识符进行分配，该共同标识符包括捕获图像时的日期与时间和关于信息终端的位置信息。

在一个实施例中，在数据管理系统中，信息处理装置还包括用于生成屏幕数据的屏幕信息生成单元(例如，网络服务器单元32)，屏幕数据用于显示第一图像和第二图像以及共同标识符，每个共同标识符与通过数据管理单元从存储单元获取到的对应的第一图像数据、第二图像数据和元数据相关联。第二通信单元用于将屏幕数据发送到终端设备，并且终端设备的显示控制单元用于基于该屏幕数据来显示第一图像数据、第二图像数据以及对应的一个共同标识符。

在一个实施例中，在数据管理系统中，屏幕信息生成单元用于生成屏幕数据，屏幕数据用于显示每个第一图像数据或第二图像数据以及与关联于第一或第二图像数据的共同标识符相关联的第一图像数据和第二图像数据的数量，并且显示控制单元用于基于屏幕数据，来显示每个第一图像数据和第二图像数据以及与共同标识符相关联的第一图像数据和第二图像数据的数量。

在一个实施例中，在数据管理系统中，在接受单元接受第一图像数据或第二图像数据的选择的情况下，第一通信单元用于向信息处理装置发送所选择的第一图像数据或所选择的第二图像数据有关的信息。数据管理单元用于从存储单元获取具有与所选择的第一图像数据或所选择的第二图像数据相关联的共同标识符的所有第一图像数据和第二图像数据。屏幕信息生成单元用于生成屏幕数据，该屏幕数据用于显示通过数据管理单元所获取的第一图像数据和第二图像数据的文件名和缩略图像。第二通信单元用于向终端设备发送屏幕数据，该屏幕数据包括通过数据管理单元获取的第一图像数据和第二图像数据的文件名称和缩略图像。显示控制单元用于基于屏幕数据，在显示器上显示第一图像数据和第二图像数据的文件名称和缩略图像。

在一个实施例中，在数据管理系统中，当从终端设备接收用于下载第一图像数据、第二图像数据和元数据的请求时，屏幕信息生成单元用于生成屏幕数据，该屏幕数据包括用于指定当下载第一图像数据、第二图像数据和元数据时使用的数据格式的数据格式标识符。第二通信单元用于向终端设备发送屏幕数据。显示控制单元用于基于屏幕数据来显示数据格式标识符以及第一图像数据和第二图像数据的文件名和缩略图像。接受单元用于接受数据格式标识符的选择。

在一个实施例中，数据格式标识符用于指定以下数据格式中的一个：将第一图像数据、第二图像数据和元数据存储在分开的文件中并且将共同标识符添加到每个文件中的数据格式；将第一图像数据、第二图像数据和元数据存储在一个文件中并且将共同标识符添加到该文件中的数据格式；将在终端设备处接受了选择的第一图像数据或第二图像数据存储在一个文件中并且将共同标识符添加到该文件中的数据格式；将关联于与在终端设备处接受了选择的第一图像数据或第二图像数据的共同标识符相同的共同标识符的元数据存储在一个文件中并且将共同标识符添加到该文件中的数据格式；以及不是将第一图像数据、第二图像数据和元数据而是将共同标识符存储在文件中的数据格式。

在一个实施例中，在数据管理系统中，信息处理装置还包括下载数据生成单元(例如，下载数据生成单元34)，下载数据生成单元用于生成从终端设备发送的数据格式标识符所指定的数据格式的下载数据。下载数据包括关联于与在终端设备处接受了选择的第一图像数据或第二图像数据的共同标识符相同的共同标识符的第一图像数据、第二图像数据和元数据中的至少一个。第二通信单元用于向终端设备发送下载数据。

在一个实施例中，在数据管理系统中，在留存下载数据的另一终端设备指定下载数据的共同标识符以请求第一图像数据或第二图像数据的情况下，信息处理装置用于基于共同标识符是否保存在存储单元中来执行用户认证。在认证成功的情况下，屏幕信息生成单元用于生成包括数据格式标识符的屏幕数据，并且第二通信单元用于向其他的终端设备发送屏幕数据。

在一个实施例中，在数据管理系统中，屏幕信息生成单元用于生成屏幕数据，利用该屏幕数据，允许选择数据格式标识符，该数据格式标识符用于仅指定包括第一图像数据、第二图像数据和元数据的数据格式的下载数据。

在本公开中，第一图像是与第二图像重叠的图像，并且第二图像是将要重叠在第一图像上的图像。例如，第一图像是覆盖区域比第二图像的覆盖区域大的图像。在另一示例中，第二图像是图像质量高于第一图像的图像质量的图像，例如在图像分辨率方面。例如，第一图像可以是低清晰度图像，第二图像可以是高清晰度图像。在另一示例中，第一图像和第二图像是以不同投影方式(投影空间)表示的图像。第一投影中的第一图像的示例包括等矩形柱状投影图像，诸如球面图像。第二投影中的第二图像的示例包括透视投影图像，诸如平面图像。在本公开中，将诸如利用普通图像捕获设备捕获的平面图像的第二图像，视为第二投影(即，第二投影空间)中的第二图像的一个示例。如果需要，第一图像和甚至第二图像能够由通过不同的镜头或者使用不同的图像传感器或者在不同的时间获取到的多个图像数据组成。

此外，在本公开中，球面图像不必是全视图球面图像。例如，球面图像可以是在水平方向上角度约为180度至360度的广角视图图像。如下所述，期望的是，球面图像是至少有一部分不完全显示在预定区域t的图像数据。预定区域t是将要向用户显示的区域。

在本公开中，将一个图像重叠在另一图像上是将一个图像与另一图像进行组合的示例。将图像进行组合的其他示例包括但不限于将一个图像完全或部分地放置在其他图像的顶部，将一个图像完全或部分地放置在另一个图像上方，将一个图像完全或部分地映射在另一个图像上，将一个图像完全或部分地粘贴在另一个图像上，以及将一个图像完全或部分地与另一个图像整合。也就是，只要用户能够感知多个图像(诸如，球面图像和平面图像)在显示器上如同它们是一个图像来进行显示，则对于那些图像执行的用于显示的处理不限于上述示例。

本发明能够通过任何便利的形式来实现，例如使用专用硬件或者专用硬件和软件的组合。本发明可以作为通过一个或多个联网处理装置来实施的计算机软件来实现。处理装置可以包括任何适当的经过编程的装置，诸如通用计算机、个人数字助理、移动电话(诸如，wap或3g兼容电话)等。因为本发明能够作为软件来实现，因此本发明的各个和每个方面包含可编程设备上能够实施的计算机软件。计算机软件能够使用任何常规的载体介质(载体装置)来提供可编程设备。载体介质能够包含瞬态载体介质，诸如搭载计算机代码的电、光、微波、声或射频信号。这样的瞬态介质的示例在诸如互联网的ip网络上搭载计算机代码的tcp/ip信号。载体介质还能够包括用于存储处理器可读代码的存储介质，诸如软盘、硬盘、cdrom、磁带设备或固态存储设备。

所述实施例的每个功能可以通过一个或多个处理电路或线路来实施。处理线路包括经过编程的处理，因为处理器包括线路。处理电路还包括诸如专用集成电路(asic)、数字信号处理器(dsp)、现场可编程门阵列(fpga)的设备以及用被配置为执行所述功能的常规电路部件。

本专利申请基于并要求于2018年3月15日在日本特许厅提交的第2018-048369号日本专利申请的优先权，其全部公开内容通过引用合并于此。