图像管理设备、图像管理方法、图像管理程序和呈现系统与流程

本发明涉及图像管理设备、图像管理方法、图像管理程序和呈现系统。

背景技术：

由于近年来计算机设备的性能的提高，可以使用采用三维坐标的计算机图形(以下简称为3dcg)容易地呈现图像。此外，在3dcg中，通常将规则或随机的运动设置为在三维坐标空间中呈现的每个对象，并且将其呈现为运动图像。在这种类型的运动图像中，可以进行仿佛每个对象在三维坐标空间中依赖地运动那样的呈现。

此外，专利文献1公开了关于使用3dcg的屏幕的技术，其中向由于动画师手绘创建的图像赋予运动，并且通过与准备的背景图像组合来对其进行呈现。

技术实现要素：

技术问题

此外，需要用于使用3dcg在屏幕上容易地呈现由于典型用户的书写而生成的用户图像等的技术。此外，在使用3dcg在屏幕上呈现用户图像的情况下，需要用于使得典型用户能够容易地管理由用户生成的用户图像的技术。例如，存在用于通过由典型用户每次在数据库中注册由该用户生成的用户图像来管理用户图像的可能方法。然而，此方法需要某些计算机操作的技能，并且有可能能够使用它的用户是有限的。

因此，需要以更容易的方式管理由用户呈现的用户图像。

问题的解决方案

根据实施例，提供了一种图像管理设备，其包括：图像获取单元，被配置为获取薄板(sheet)的图像，在所述薄板上放置了呈现包括识别信息的识别图像的介质，所述薄板包括由用户呈现的用户图像；第一识别信息获取单元，被配置为从由图像获取单元获取的图像获取识别信息；图像提取单元，被配置为从由图像获取单元获取的图像中提取用户图像；第二识别信息获取单元，被配置为仅从所述介质获取所述识别信息；以及管理单元，被配置为在第一存储单元中与所述识别信息相关联地存储用户图像，并且从第一存储单元获取该第一存储单元中存储的用户图像之中的一用户图像，使得与该用户图像相关联的识别信息与由第二识别信息获取单元获取的识别信息相匹配。

发明的有益效果

根据本发明，产生使得可以以更容易的方式管理由用户呈现的用户图像的优点。

附图说明

图1是显示了根据第一实施例的呈现系统的配置的示例的图。

图2是显示了适用于第一实施例的薄板的示例的图。

图3是显示了根据第一实施例的介质的呈现示例的图。

图4是显示了放置在图像获取设备中的薄板的示例的图。

图5是显示了根据第一实施例的投影到被投影介质上的图像的示例的图。

图6是显示了根据第一实施例的进一步添加用户对象的图像的示例的图。

图7是显示了根据第一实施例的呈现图标图像的图像的示例的图。

图8是显示了根据第一实施例的执行运动(motion)以在图像中呈现图标图像的情况的示例的图。

图9是显示了根据第一实施例的突出显示的另一示例的图。

图10是显示了根据第一实施例的在行动坐标的位置处指示屏幕截图的图标图像的呈现的示例的图。

图11a是显示了根据第一实施例的图像的结构的示例的图。

图11b是显示了根据第一实施例的图像的结构的示例的图。

图12是显示了适用于第一实施例的pc的配置的示例的框图。

图13是显示了适用于第一实施例的pc的功能的功能框图的示例。

图14是显示了根据第一实施例的图像分析单元的功能的功能框图的示例。

图15是显示了根据第一实施例的呈现控制单元的功能的功能框图的示例。

图16是示意性地显示了根据第一实施例的、在呈现由图像获取设备获取的图像的情况下的操作的流程图的示例。

图17是示意性地显示了根据第一实施例的、在由识别图像读取设备获取识别图像的情况下的操作的流程图的示例。

图18是显示了根据第一实施例的响应于运动检测呈现图标图像的操作的流程图的示例。

图19是显示了根据第一实施例的图像分析单元的操作的流程图的示例。

图20是显示了根据第一实施例的从薄板提取每个图像的操作的图。

图21是显示了根据第一实施例的在用户图像db中注册识别信息、属性信息和用户图像的操作的流程图的示例。

图22是显示了通过将属性信息和用户图像与识别信息相关来生成管理信息的图。

图23是显示了根据第一实施例的显示用户图像db的文件夹结构的显示屏幕的示例的图。

图24是显示了根据第一实施例的存储属性信息的文件的结构的示例的图。

图25是显示了根据第一实施例的日志信息的示例的图。

图26是显示了根据第一实施例的通过使用日志信息来检索用户图像的操作的流程图的示例。

图27是显示了根据第一实施例的第一修改示例的控制呈现系统的操作的pc的功能的功能框图的示例。

图28是示意性地显示了根据第一实施例的第一修改示例的、在呈现由图像获取设备获取的图像的情况下的操作的流程图的示例。

图29是显示了根据第一实施例的第二修改示例的将标志图像与识别图像一起呈现的介质的示例的图。

图30是显示了根据第一实施例的第二修改示例的控制呈现系统的操作的pc的功能的功能框图的示例。

图31是示意性地显示了根据第一实施例的第二修改示例的、在呈现由图像获取设备获取的图像的情况下的操作的流程图的示例。

图32是示意性地显示了根据第一实施例的第二修改示例的、在由识别图像读取设备获取介质的图像的情况下的操作的流程图的示例。

图33是显示了根据第二实施例的呈现系统的配置的示例的图。

图34是显示了根据第二实施例的依据麦克风的位置控制用户对象的运动的图。

图35是显示了根据第二实施例的pc的功能的功能框图的示例。

图36是显示了根据第二实施例的呈现控制单元的功能的功能框图的示例。

图37是显示了根据第二实施例的用于由用户指定声音模式(pattern)的格式的示例的图。

图38是显示了根据第二实施例的在呈现由图像获取设备获取的图像的情况下的操作的流程图的示例。

图39是示意性地显示了根据第二实施例的基于声音模式呈现用户图像的操作的流程图的示例。

图40是显示了根据第二实施例的、在图像中已经呈现由于与声音模式相关的用户图像导致的用户对象的情况下的呈现操作的流程图的示例。

图41是显示了根据第二实施例的第一修改示例的呈现系统的配置的示例的图。

图42是示意性地显示了第二实施例的第一修改示例的操作的流程图的示例。

图43是显示了根据第二实施例的第二修改示例的提供用于操作指南的pc的呈现系统的配置的示例的图。

具体实施方式

参考附图，下面给出对图像管理设备、图像管理方法、图像管理程序和呈现系统的实施例的详细说明。

根据第一实施例的示意性配置

图1显示了根据第一实施例的呈现系统的配置的示例。在图1中，呈现系统1a包括计算机(pc)10a、投影仪(pj)11、数据库(db)12a、传感器13、图像获取设备20和识别图像读取设备21。pc10a配备有根据第一实施例的图像管理程序，并且，pc10a根据图像管理程序控制呈现系统1a的操作。pj11根据从pc10a输出的图像信号将图像100投影到被投影介质14上。

传感器13检测对象的位置。例如，传感器13配备有内置相机，使得其能够基于包括在由相机获取的捕获图像中的目标对象的图像，来检测到目标对象的距离或目标对象的位置。传感器13设置在被投影介质14的被投影表面上。传感器13可以设置在被投影介质14的上部或下部上，或者可以设置在其左、右、顶或底，只要它设置在被投影介质14的被投影表面上即可。将传感器13的检测结果馈送到pc10a。

例如，可以使用美国的微软公司的kinect(注册商标)作为传感器13。该示例不是限制，并且，传感器13可以通过使用捕获单元和图像处理单元的组合，来检测作为目标的运动体的位置(其中图像处理单元分析捕获图像)，或者传感器13可以通过使用红外线、超声波等来检测所述位置。

db12a包括多个数据库，并且，db12a例如存储图像(图像数据)，pc10a通过该数据使得pj11进行在被投影介质14上的投影。

图像获取设备20例如包括相机，并且，图像获取设备20通过使用相机捕获以预定方式放置的薄板50并获取薄板50的图像。作为更具体的示例，图像获取设备20包括相机、其上放置薄板50的图像捕获台、以及用于将相机固定在相对于图像捕获台的预定距离和位置的夹具。例如，当将薄板50放置在图像捕获台上并且对图像获取设备20执行预定操作时，薄板50的图像被相机捕获，并且从相机输出捕获图像。图像获取设备20将所获取的图像馈送到pc10a。图像获取设备20不仅可以是相机，而且可以是通过在使用图像传感器的同时扫描图像而获取图像的扫描仪设备。

识别图像读取设备21获取介质40的图像，从所获取的图像读取介质40上呈现的识别图像41，并将其馈送到pc10a。

这里，可以使用诸如纸或树脂膜这样的可打印的打印介质作为介质40。例如，使用呈现系统1a提供服务的服务提供商使用pc30基于根据预定格式设置的识别信息生成识别图像，并使用打印机31将生成的识别图像打印在介质40上。在这种情况下，可以生成其上打印了不同的识别图像41的多个介质40、40、......

此外，介质40不限于打印介质。作为介质40，例如，可以使用所谓的平板设备，其包括中央处理单元(cpu)或数据通信功能，并且能够在与机架一体地形成的薄显示器上呈现图像。在这种情况下，通过使用数据通信功能来接收例如从外部发送的识别图像，并且根据所接收的识别图像在显示器上呈现识别图像。

例如，可以使用从包括字符串的识别信息编码的图像作为识别图像41。例如，可以使用二维码(例如qr码(注册商标))作为识别图像41。这不是限制，并且指示识别信息的字符串可以被直接打印，以便用作识别图像41，或者可以使用通过使用与qr码(注册商标)不同的方法生成作为图像的识别信息而获得的代码。

可以通过使用例如下面的等式(1)来生成用于识别图像41中的识别信息。这里，在等式(1)中，加法符号“+”指示字符串的连接。

识别信息＝(固定码)+(指示生成识别信息的时间的时间信息)(1)

其中，固定码例如是为每个服务提供商定义的代码。这不是限制，并且可以通过使用第一固定码和第二固定码的组合来配置固定码。在这种情况下，例如，第一固定代码可以是指示呈现系统1a的提供商的代码，并且第二固定代码可以是为每个服务提供商定义的代码。在这种情况下，可以由pc30将第二固定码预先通知给pc10a。

此外，用于生成识别图像41的环境中的时间(例如，由pc30测量的时间)可以用作时间信息。例如，如果识别图像41被打印并形成在介质40上，则pc30可以获取指示在每个操作期间在介质40上打印识别图像41的时间的时间信息。在这种情况下，获取时间信息以作为至少包括小时、分钟和秒的6位数信息。时间信息可以包括更详细的单位，并且，时间信息可以包括日、月等的单位。

此外，识别信息不限于等式(1)的示例。例如，可以仅使用指示生成识别信息的时间的时间信息来配置识别信息。

在此示例中，薄板50呈现用于用户2手绘图画的手绘区域43和用于设置在手绘区域43上绘制的图画的属性的属性设置区域42。此外，薄板50配备有可以放置介质40而不与属性设置区域42和手绘区域43重叠的区域。

图2显示了适用于第一实施例的薄板50的示例。在图2所示的薄板50上提供用于手绘图画的绘图区域43、用于设置绘制在绘图区域43上的图画的属性的属性设置区域42、和其上放置介质40的放置区域44。在图2的示例中，放置区域44呈现框架边框，其使得用户更容易辨识它。此外，在图2的示例中，可以在属性设定区域42上设置六个属性，即“行走”、“前进”、“跳跃”、“种植”、“建设”和“游泳”。

此外，标记511、512和513设置在薄板50的四个角中的三个角上。从由图像获取设备20从薄板50的图像获取的文档图像检测标记511、512和513，使得可以确定薄板50的取向和尺寸。

图3显示了根据第一实施例的介质40的呈现示例。以此方式，识别图像41呈现在介质40上。在图3的示例中，识别图像41呈现在介质40的几乎中间；然而，此示例不是限制，并且识别图像41可以呈现在介质40的任何位置中。此外，根据第一实施例，仅识别图像41可以呈现在介质40上；然而，不同的信息(例如，标志图像)可以与识别图像41一起呈现在介质40上。

根据第一实施例的呈现系统的示意性操作

接下来，参考图1示意性地说明根据第一实施例的呈现系统1a的操作。这里，为了进行说明，将呈现系统1a安装在由服务提供商主管的事件现场中。服务提供商使用pc30和打印机31事先或在现场准备介质40、40、…...(将在其上基于不同的识别信息打印识别图像41)。此外，服务提供商还准备薄板50、50、......

当用户2到达现场时，用户2从服务提供商接收介质40和薄板50。用户2在薄板50的手绘区域43上绘制图画，并且在属性设置区域42上设置绘制的图画的属性。然后，薄板50被放置在图像获取设备20上，并且介质40被放置在薄板50的放置区域44上，使得识别图像41呈现在前侧。

图4显示了放置在图像获取设备20中的薄板50的示例。在图4中，在薄板50的手绘区域43上绘制图画45。这里，图画45不总是直接手绘在薄板50上，而是可以附着或放置其上已经绘制了图画45的印章等，或者由不同的pc等生成的图像可以被印在薄板50的手绘区域43上。

此外，在图4的示例中，应理解，上部的第二属性“前进”的框架被涂在属性设置区域42上，并且为图画45设置属性“前进”。此外，将介质40放置在放置区域44上。

以此方式，当薄板50被放置在图像获取设备20中时，例如，用户2执行用以指示图像获取设备20获取薄板50的图像的操作。响应于此操作，图像获取设备20捕获薄板50的图像，并输出在捕获期间获取的薄板50的图像。在从图像获取设备20输出图像之后，将其馈送到pc10a。

pc10a分析从图像获取设备20馈送的图像，并且获取包括在图像中的识别图像41、属性设置区域42的图像和手绘区域43的图像。pc10a分析所获取的识别图像41以从识别图像41提取识别信息。此外，pc10a分析属性设置区域42的图像以获取设置的属性。此外，pc10a从手绘区域43中提取图画45的图像。此后，将图画45的图像称为用户图像。

pc10a在db12a中与从薄板50的图像中提取的识别信息相关联地存储从薄板50的图像获取的用户图像和属性。而且，pc10a将用户图像发送到投影仪11，使得用户图像被投影到被投影介质14上。在这一点上，pc10a基于该属性向用户图像应用运动或坐标的参数。此外，pc10a基于用户图像本身向用户图像应用进一步的运动和坐标的参数。

不同的图画45被绘制在薄板50上，并且通过上述图像获取设备20对每个薄板50重复地执行用以获取薄板50的图像的操作和后续操作，由此用户2可以在被投影介质14上呈现多个用户图像。这里，由于从放置在薄板50上的介质40获取识别图像41，因此可以从不同的薄板50获取相同的识别图像41。因此，共同的识别信息可以与多个用户图像相关联。

用户图像的呈现示例

接下来，给出对可共同应用于每个实施例的用户图像的呈现的示例进行说明。图5显示了根据第一实施例的投影到被投影介质14上的图像的示例。在图5中，图像100被投影到被投影介质14上。在此示例中，图像100包括背景图像110和包括固定对象的图像(固定对象)111。

此外，在图5的示例中，背景图像110包括天空区域110a和陆地区域110b，并且陆地区域110b是具有深度的图像，该深度是从图像100的下端朝向陆地区域110b与天空区域110a之间的边界。具体地，图像100具有各自指示水平方向上和垂直方向上的位置的坐标轴(轴x和轴y)，并且具有作为指示深度方向上的位置的坐标轴的轴z。因此，通过使用沿着三个坐标轴(轴x、轴y和轴z)的坐标(x，y，z)来表示在图像100中呈现的每个图像的位置。

此外，在图5中，提供呈现在图像100的左上角的图标图像112，以获取图像100的屏幕截图。

图像100还可以基于用户图像呈现图像1201至1204。此后，将基于用户图像呈现在图像100中的图像称为用户对象。在此示例中，用户对象1201至1204与相同的识别信息相关联。此外，用户对象1202和1203被呈现在图像100中，使得它们基于从属性设置区域42获取的属性被固定地定位。相反，用户对象1201和1204被呈现在图像100中，使得它们基于属性以预定速度在陆地区域110b上运动。

如图6所示，在如上所述的用户对象1201至1204被呈现在图像100中的状态中，可以进一步添加用户对象。对于图6中的图像100，将用户对象12010至12013添加到图5中的图像100。

例如，与呈现上述用户对象1201至1204的用户(第一用户)不同的用户(第二用户)使用介质40，该介质40呈现与在由第一用户拥有的介质40上呈现的识别信息41不同的识别信息41，以使得图像获取设备20获取其上绘制了图画45的薄板50、50、...的图像。因此，基于图像100中的用户图像呈现用户对象12010至12013，并且与识别信息41相关联地将每个用户图像和属性另外存储在db12a中。

在图6的示例中，将用户对象12010呈现在图像100中，使得用户对象12010基于从薄板50的属性设置区域42获取的属性以预定速度在天空区域110a中运动。此外，将用户对象12012和12013呈现在图像100中，使得它们基于该属性以预定速度在陆地区域110b中运动。此外，将用户对象12011呈现在图像100中，使得用户对象12011基于该属性被固定地定位。此外，在图6中，将用户对象1201和1204呈现在图像100中，使得它们的位置相对于图5中的状态而运动。

此外，如上所述，由图像获取设备20获取薄板50的图像，使得基于薄板50中包括的用户图像，将该图像呈现在图像100中。根据第一实施例，还可以基于存储在db12a中的用户图像在图像100中进一步呈现图像。

例如，预先将识别信息与对应于上述第二用户的用户对象12010至12013的用户图像和属性相关联地存储在db12a中。此外，如图5所示，第一用户的用户对象1201至1204已经被呈现在图像100中。

在此状态中，第二用户将介质40放置在识别图像读取设备21上，所述介质40是当从薄板50获取与用户对象12010至12013对应的图像的每个时使用的，并且指示识别图像读取设备21读取识别图像41。根据指令，识别图像读取设备21读取介质40上的识别图像41，并将其发送到pc10a。

pc10a分析从识别图像读取设备21发送的识别图像41，以获取识别信息。pc10a基于所获取的识别信息来搜索(search)db12a，以获取与所获取的识别信息相关联的用户图像和属性。pc10a根据该属性，将从如上所述的db12a获取的用户图像呈现在图像100中。因此，在图像100中，如图6的情况那样，将第二用户的用户对象12010至12013添加到第一用户的用户对象1201至1204。

因此，因为第二用户存储当用户图像被存储在db12a中时使用的识别图像41，所以可以从db12a读取预先生成的用户图像并将其呈现在图像100中。

也就是说，利用根据第一实施例的呈现系统1a，呈现识别图像41的介质40的图像被放置在薄板50上，并且获取包括介质40的薄板50的图像，由此，基于由用户提供的图画的用户图像可以通过与由识别图像41指示的识别信息相关联来进行管理。此外，因为识别图像41呈现在作为与薄板50分离的组件的介质40上，所以，用户可以顺序地将介质40应用于薄板50，并且可以通过使用识别信息来将组中的许多图画作为用户图像管理。

根据用户的行动的操作的示例

接下来，给出对根据用户的行动而改变呈现的说明，其可通常应用于每个实施例。根据第一实施例，当呈现图像100时，用户使得传感器13检测某种运动，使得可以对图像100中的每个用户对象和图像100的状态进行改变。

例如，用户在传感器13的检测范围内执行用以让对象的位置运动的操作，例如，将他/她的手臂在正在呈现图像100的被投影介质14伸出或者挥动他/她的手臂。此操作被称为行动(motion)。传感器13检测该行动，即，检测在检测范围内的对象，并输出指示在检测到该行动的位置处的位置信息。位置信息被馈送到pc10a。pc10a基于从传感器13馈送的位置信息来生成图像100中的坐标。此后，坐标被称为行动坐标。此外，pc10a可以根据传感器13的检测结果将行动分成多种类型的动作(action)。

此外，db12a预先存储根据用户的行动要呈现在图像100中的图像。此后，如果没有另外指定，则图像被称为图标图像。例如，图标图像与图像100中的每个区域相关联并且存储在db12a中。例如，参考图5说明的天空区域110a和陆地区域110b可以应用于图像100的每个区域。区域不限于天空区域110a或陆地区域110b，而是还可以添加诸如对应于海滨的水域等的其它区域。图标图像可以与多个区域相关联。

pc10a确定图像100中的区域之中的哪个区域包括生成的行动坐标。根据确定结果，pc10a从db12a读取与包括行动坐标的区域相关联的图标图像。然后，pc10a将从db12a读取的图标图像呈现在由图像100中的行动坐标指示的位置处。

图7显示了呈现如上所述的图标图像的图像100的示例。在图7的示例中，将图标图像1301和1302呈现在图像100的左上角且在中心附近。具体地，根据用户在图像100的左上角的行动，呈现与天空区域110a相关联的图标图像1301。以相同的方式，根据用户在图像100的中心附近的行动，呈现与陆地区域110b相关联的图标图像1302。

此外，图标图像1301和1302优先于背景图像110、固定对象111和用户对象1201至1204和12010至12013而被呈现。

此外，如果包括行动坐标的区域与多个图标图像相关联，则pc10a根据预定用户行动随机地从图标图像中选择单个图标图像，并将其呈现在图像100中。如果用户期望将所呈现的图标图像切换到另一个图标图像，则用户在相同位置再次执行行动。pc10a随机地从与该区域相关联的图标图像中选择单个图标图像，删除当前呈现的图标图像，并呈现所选择的图标图像。这里，可以测量在相同位置执行预定行动的次数，并且可以在每个预定时间仅执行用以删除图标的操作。此外，如果在某个时间段期间连续执行行动，则可以让图标图像运动。

根据图标图像相对于图像100的呈现，可以改变已经在图像100中呈现的用户对象的状态。参考图8和上述图6，给出对根据图标图像的呈现来改变用户对象的状态的说明。

假设，对于图6的状态中的图像100，用户执行行动以将图标图像呈现在图像100的期望位置处。此行动由传感器13检测。pc10a基于传感器13的检测结果生成行动坐标，并且在所生成的行动坐标的位置处呈现对应于包括行动坐标的区域的图标图像。

这里，如果在行动坐标附近存在用户对象，则pc10a根据图标图像的呈现来控制用户对象的呈现，使得用户对象运动到行动坐标。图8显示了一种情况的示例，在图6的状态中执行行动以将图标图像呈现在图像100的中心的左侧的位置上。在图8的示例中，应理解，在图像100的中心的左侧的位置上呈现图标图像1303，并且在图6的状态中在图标图像1303的位置附近呈现的用户对象1201、1204和12013已经运动到图标图像1303的位置。

根据行动对用户对象的状态进行改变不限于用户对象的呈现位置的运动。例如，如果行动坐标包括在用户对象的图像区域中，则pc10a可以突出显示用户对象。可以通过使用例如用户对象的上端和下端的y坐标和左端和右端的x坐标来定义用户对象的图像区域。例如，pc10a基于行动坐标确定行动是否命中(hit)用户对象，并且如果确定该行动命中用户对象，则突出显示用户对象。对用户对象的可能的突出显示包括用户对象的放大或振动。

此外，作为突出显示的另一示例，如图9所示，例如，如果用户对象1201的图像区域包括行动坐标，则pc10a可以在行动坐标的位置处呈现图标图像1304，并且还在图标图像1304附近呈现效果图像1321。在图9的示例中，表示将星形图像散布在图标图像1304周围的状态的图像被用作效果图像1321。效果图像1321被预先存储在例如db12a中。

pc10a可以根据用户的行动存储图像100的屏幕截图。例如，pc10a确定与用户的行动对应的行动坐标是否被包括在用于屏幕截图的图标图像112的图像区域中，其被在图像100的左上角的位置处。如果确定行动坐标被包括在图标图像112的该图像区域中，则pc10a在行动坐标的位置处呈现指示屏幕截图的图标图像131，如图10所示。然后，pc10a将图像100作为屏幕截图图像或之类的存储在存储器中，所述图像包括当确定行动坐标被包括在图标图像112的图像区域中时的每个用户对象和图标图像112。

如上所述，pc10a被提供关于投影到被投影介质14上的图像100的信息，作为与深度方向上的轴z相关联的坐标信息。也就是说，图像100是通过将由轴x、轴y和轴z表示的三维空间上的信息投影到由轴x和轴y表示的二维空间(平面)上而获得的图像。

参考图11a和图11b，给出对pc10a中的图像100的配置的示例的说明。例如，将图像100呈现在被投影介质14上，如图11a所示。在图11a的示例中，图像100包括背景图像110(其包括天空区域110a和陆地区域110b)、固定对象111、用户对象12020、12021、12022、12023、12024、12025、12026、12027、......、图标图像1305和效果图像1322。

这里，图11a所示的图像100通过仅使用轴x、轴y和轴z之中的轴x和轴y来表示，并且轴z被忽略。

在图11a中，由于例如包括在陆地区域110b中的用户对象12020、12021和12022彼此重叠的程度，看起来仿佛用户对象12020被呈现在前面而用户对象12022被呈现在后面。以相同的方式，对于包括在陆地区域110b中的用户对象12023和12024，看起来仿佛用户对象12023被呈现在前面而用户对象12024被呈现在后面。

此外，对于第一组用户对象12020、12021和12022以及第二组用户对象12023和12024，基于第一组和第二组在陆地区域110b中的位置，看起来仿佛第二组被呈现在第一组的后面。

此外，对于包括在天空区域110a中的用户对象12026和用户对象12027以及包括在陆地区域110b中的用户对象12025，它们在图11a的状态中不彼此重叠；因此，难以基于图像100的呈现来确定视角。

图11b是从图像100的右上前方的虚拟视角的、通过将关于轴z的信息添加到图11a的图像100而获得的三维空间的顶视图。在图11b中，垂直方向对应于轴y，从左上向右下的方向对应于轴x，并且从左到右的稍微右斜向上的方向对应于轴z。这里，天空区域110a被表示为xy平面，其中z坐标＝0；并且，陆地区域110b被表示为xz平面，其中y坐标＝0。此外，在图11b中，天空区域110a和陆地区域110b之间的相交线的最左端是x坐标＝0。

此外，图11a的图像100等效于通过利用在沿着轴z的方向上定义的视线(如图中的箭头a所示)观察三维空间而获得的图像。此外，pc10a预先定义了关于通过使用轴x、轴y和轴z表示的三维空间的可呈现区域。被定义为可呈现区域的区域被称为定义区域。

此外，对于包括在陆地区域110b中的用户对象12020至12025，例如，将图像区域的下端的z坐标的值固定为0。相反，对于包括在天空区域110a中的用户对象12026和12027，xyz每一个的坐标值在定义区域内可以是任意的。

这里，在图11b中，z坐标在图中从左到右增大。如图11b所示，对于用户对象12020、12021和12022，用户对象12020具有z坐标的最小值，并且用户对象12022具有最大值。因此，如果用户对象12020、12021和12022在xy平面上彼此部分地重叠，则用户对象12022、用户对象12021以及用户对象12020以此次序顺序地叠加在图像100上以用于呈现。

此外，与用户对象12020至12022的组(第一组)相比，用户对象12023和12024的组(第二组)具有较大值的z坐标，并且其呈现在xz平面的更后面。因此，对于定义区域的xz平面，如果在由箭头a指示的方向上观察三维空间，则其呈现在图像100的上侧(天空区域110a与陆地区域110b之间的边界的一侧)。

此外，对于用户对象12025至12027，用户对象12026具有最小值的z坐标，使得其呈现在前侧，并且，用户对象12027具有最大值的z坐标，使得它呈现在后侧。此外，如果用户对象具有相同的尺寸，则具有较小值的z坐标的用户对象被呈现为较大(例如，用户对象12023和12024)。

此外，包括在陆地区域110b中的用户对象12020至12025可以在xz平面上的定义区域内任意运动。此外，包括在天空区域110a中的用户对象12026和12027可以在xyz空间中的定义区域内任意运动。这里，包括在天空区域110a中的用户对象12026和12027的y坐标的值可以被限制为等于或大于某个值的值。

适用于第一实施例的配置

图12显示了适用于第一实施例的pc10a的配置的示例。在图12的pc10a中，总线1000连接到中央处理单元(cpu)1001、只读存储器(rom)1002、随机存取存储器(ram)1003和呈现信号生成单元1004。在pc10a中，总线1000还连接到存储装置1006、数据i/f1007和通信i/f1008。

cpu1001根据预先存储在rom1002和存储装置1006中的程序，通过使用ram1003作为工作存储器来执行对pc10a的整体控制。呈现信号生成单元1004连接到监视器1005，并且呈现信号生成单元1004将由cpu1001生成的呈现控制信号转换成可由监视器1005呈现的信号并将其输出。此外，呈现信号生成单元1004可以将呈现控制信号转换为可由投影仪(pj)11呈现的信号并将其输出。

存储装置1006是能够以非易失性方式存储数据的存储介质，并且，例如使用硬盘驱动器。这不是限制，并且诸如闪存的非易失性半导体存储器可以用作存储装置1006。存储装置1006存储由上述cpu1001执行的程序和各种类型的数据。

数据i/f1007控制利用外部设备的数据的输入/输出。例如，数据i/f1007被用作图像获取设备20的接口。此外，数据i/f1007从诸如鼠标或未绘出的键盘(kbd)这样的指点设备接收信号。此外，数据i/f1007可以输出由cpu1001生成的呈现控制信号，并将其馈送到例如投影仪11。诸如通用串行总线(usb)或蓝牙(注册商标)的接口可以用作上述数据i/f1007。

通信i/f1008控制通过诸如因特网或局域网(lan)的网络的通信。

图13是显示了适用于第一实施例的pc10a的功能的功能框图的示例。在图13中，pc10a包括图像分析单元200a、注册单元201、呈现控制单元210a和行动分析单元220。图像分析单元200a、注册单元201、呈现控制单元210a和行动分析单元220由在cpu1001上执行的程序来实施。这不是限制，图像分析单元200a、注册单元201、呈现控制单元210a和行动分析单元220的部分或全部可以通过使用独立硬件来配置。

此外，pc10a连接到用户图像db230和呈现图像db231。用户图像db230和呈现图像db231包括在上述db12a中。用户图像db230和呈现图像db231通过使用外部连接到pc10a的存储介质、或pc10a中的存储装置1006的预定区域来配置。

由图像获取设备20获取的图像被馈送到图像分析单元200a。图像分析单元200a分析从图像获取设备20馈送的图像，并且从图像来获取识别信息、用户图像和指示属性的信息。注册单元201将由图像分析单元200a获取的识别信息、用户图像和属性信息彼此相关联地存储在用户图像db230中。此外，除了用户图像之外，用户图像db230还可以存储例如图标图像和效果图像。

从传感器13输出的检测结果被馈送到行动分析单元220。行动分析单元220根据所馈送的检测结果输出行动信息。行动信息包括例如基于传感器13的检测结果的坐标信息。行动分析单元220还可以在行动信息中包括指示与检测坐标信息的时刻对应的时间的时间信息。

识别图像41从识别图像读取设备21馈送到呈现控制单元210a。呈现控制单元210a从所馈送的识别图像41获取识别信息。此外，呈现控制单元210a从用户图像db230获取用户图像，将其与背景图像110组合，生成图像100，并输出图像100。从呈现控制单元210a输出的图像100被馈送到例如投影仪(pj)11并被投影到被投影介质14上。

在这一点上，呈现控制单元210a顺序地获取通过注册单元201存储在用户图像db230中的用户图像。此外，呈现控制单元210a基于从识别图像读取设备21馈送的识别图像41，从用户图像db230获取与识别信息相关联的用户图像。呈现控制单元210a在呈现图像db231中与识别信息相关联地存储所获取的用户图像。呈现控制单元210a将存储在呈现图像db231中的每个用户图像与背景图像110组合并将其输出。

呈现控制单元210a还可以基于从行动分析单元220馈送的行动信息，将预定图标图像或效果图像与图像100组合。此外，呈现控制单元210a可以基于从行动分析单元220馈送的行动信息，改变包括在图像100中的每个用户图像。

此外，包括在上述pc10a中的图像分析单元200a、注册单元201、呈现控制单元210a和行动分析单元220通过例如存储在存储装置1006中并且在cpu1001上执行的程序来实施。通过以可安装和可执行的文件的形式记录在计算机可读的记录介质(诸如光盘(cd)、软盘(fd)或数字通用盘(dvd))中来提供该程序。

此外，配置可以使得：根据第一实施例的要由pc10a执行的程序被存储在通过诸如因特网的网络连接的计算机中，并且通过经由网络下载来提供该程序。此外，配置可以使得：通过诸如因特网的网络来提供或分发根据第一实施例的要由pc10a执行的程序。而且，配置也可以使得：提供根据第一实施例的程序，以使得其被预先安装在rom1002等中。

根据第一实施例的要由pc10a执行的程序具有包括上述单元(图像分析单元200a、注册单元201、呈现控制单元210a和行动分析单元220)的模块化配置。在实际硬件方面，cpu1001从诸如存储装置1006或rom1002的存储介质读取程序，并执行程序以便将上述单元加载到诸如ram1003的主存储设备中，使得在主存储设备中生成图像分析单元200a、注册单元201、呈现控制单元210a和行动分析单元220。

图14是显示了根据第一实施例的图像分析单元200a的功能的功能框图的示例。在图14中，图像分析单元200a包括图像获取单元2001、用户图像提取单元2002、识别信息获取单元2003和属性信息获取单元2004。

图像获取单元2001获取从图像获取设备20馈送的图像。用户图像提取单元2002从由图像获取单元2001获取的图像中检测手绘区域43，并从所检测的手绘区域43的图像中提取用户图像。识别信息获取单元2003从由图像获取单元2001获取的图像中提取识别图像41，并对所提取的识别图像41进行解码以获取识别信息。此外，属性信息获取单元2004从由图像获取单元2001获取的图像中检测属性设置区域42，并从所检测的属性设置区域42获取属性信息。

图15是显示了根据第一实施例的呈现控制单元210a的功能的功能框图的示例。在图15中，呈现控制单元210a包括图像管理单元2101、识别信息获取单元2102、图像控制单元2103a、行动信息获取单元2104、3d空间生成单元2105、区域设置单元2106、组合单元2107和呈现图像获取单元2120。

识别信息获取单元2102对从识别图像读取设备21馈送的识别图像41进行解码以获取识别信息。图像管理单元2101从用户图像db230获取与识别信息相关联的用户图像和属性信息，将识别信息、用户图像和属性信息馈送到图像控制单元2103a，并且将它们存储在呈现图像db231中。此外，响应于通过注册单元201将用户图像存储在用户图像db230中，图像管理单元2101从用户图像db230获取用户图像、以及与用户图像相关联的识别信息和属性信息，并且将它们馈送到图像控制单元2103a。

行动信息获取单元2104获取从行动分析单元220输出的行动信息，并将其馈送到图像控制单元2103a。

由图像管理单元2101获取的用户图像、属性信息和识别信息被馈送到图像控制单元2103a。例如，基于用户图像和属性信息，图像控制单元2103a生成用于控制用户图像的呈现的参数，并将所生成的参数应用于用户图像。将被应用了参数的用户图像馈送到组合单元2107。

当例如从行动信息获取单元2104馈送行动信息时，图像控制单元2103a根据行动信息改变应用于用户图像的参数。此外，当从行动信息获取单元2104馈送行动信息时，图像控制单元2103a例如从用户图像db230获取图标图像，并将所获取的图标图像与包括在行动信息中的坐标信息相关联地馈送到组合单元2107。

3d空间生成单元2105在通过使用参考图11a和图11b说明的轴x、轴y和轴z表示的三个维度中生成图像数据空间。3d空间生成单元2105生成例如作为ram1003中的地址空间的三维图像数据空间。区域设置单元2106根据与轴x、轴y和轴z中的每一个关联的预定值来设置三维图像数据空间中的定义区域。定义区域内的图像被呈现为图像100。如果坐标落在定义区域内，则在图像100中呈现用户图像或图标图像。区域设置单元2106将指示定义区域的信息馈送到组合单元2107。

基于定义区域，在沿轴线z的作为视线的方向上观察定义区域的情况下，组合单元2107将事先准备的背景图像110和固定对象111、与从图像控制单元2103a馈送的用户图像或图标图像相组合为二维图像，并将其作为图像100输出(参见图11a和图11b)。

此外，背景图像110和固定对象111可以被预先存储在db12a的预定区域中。此外，它们可以存储在存储装置1006的预定区域中。

呈现图像获取单元2120在图像控制单元2103a的控制下获取从组合单元2107输出的图像100。例如，图像控制单元2103a根据预定行动信息指示呈现图像获取单元2120获取图像100。呈现图像获取单元2120根据指令获取图像100并将其存储在例如存储装置1006中。

图16是示意性地显示了根据第一实施例的在呈现由图像获取设备20获取的图像的情况下的操作的流程图示例。在图16的流程图中的操作之前，用户准备其上呈现识别图像41的介质40、以及薄板50。然后，用户在薄板50的手绘区域43上绘制图画45，选中(check)属性设置区域42上的期望属性，将薄板50放置在图像获取设备20上，将介质40放置在放置区域44上，并使得图像获取设备20开始获取图像的操作。图像获取设备20将所获取的图像发送到pc10a。

在将图像从图像获取设备20发送到pc10a之后，该图像由pc10a接收并被馈送到分析单元200a。图像分析单元200a获取所馈送的图像(步骤s10)。在下个步骤s11，图像分析单元200a从所馈送的图像中检测手绘区域43和属性设置区域42中的每一个，并从每个经检测的区域中提取用户图像和属性信息。此外，图像分析单元200a从所馈送的图像中提取识别图像，并且对所提取的识别图像进行解码以获取识别信息。

在下个步骤s12，注册单元201将在步骤s11提取的用户图像和属性信息与识别信息相关联地存储在用户图像db230中，以便注册用户图像。操作进行到步骤s13，并且，在步骤s13，呈现控制单元210a设置用于控制关于用户图像的呈现的参数p。

这里，给出对适用于第一实施例的参数p的说明。呈现控制单元210a例如针对每个用户图像(即，每个用户对象)确定以下8种类型的参数p0至p7。

(1)p0：运动方向上的最大速度vmax

(2)p1：运动方向上的加速度a

(3)p2：水平方向上的角加速度的最大值αhmax

(4)p3：垂直方向上的角加速度的最大值αvmax

(5)p4：在向上的方向上的一角度的随机数范围的最大值drumax(最大随机数范围)

(6)p5：在向下的方向上的一角度的最大随机数范围drdmax

(7)p6：在向右的方向上的一角度的最大随机数范围drrmax

(8)p7：在向左的方向上的一角度的最大随机数范围drlmax

其中，参数p0和p1中的在运动方向上的最大速度vmax和在运动方向上的加速度a是用于控制在定义空间内用户对象在运动方向上的速度的参数。此外，参数p2和p3中的水平方向上的角加速度的最大值αhmax和垂直方向上的角加速度的最大值αvmax是用于在水平方向上和在垂直方向上向用户物体施加旋转的参数。

参数p4和p5中的在向上和向下的方向上的最大随机数范围drumax和drdmax是用于提供与用户对象在垂直方向上(即，在相对于运动方向的向上和向下的方向上)的旋转操作有关的角加速度范围的参数。通过使用参数p4和p5提供的角加速度由参数p3中的垂直方向上角加速度的最大值αvmax限制。

参数p6和p7中的在向右的方向和向左的方向上的最大随机数范围drrmax和drlmax是用于提供与用户对象在水平方向上(即，在相对于运动方向的左右方向上)的旋转操作有关的角加速度的范围的参数。

例如，呈现控制单元210a基于用户图像和属性信息，生成用于确定与因用户图像而导致的用户对象的运动有关的性能的参数p0至p7。例如，呈现控制单元210a基于与用户图像对应的属性信息来确定参数p0至p7的值，并且还基于用户图像中使用的颜色、用户图像的形状或尺寸等，设置所确定的参数p0至p7中每一个的可变范围。

在下个步骤s14，呈现控制单元210a设置与已经设置了参数p的用户图像有关的定义区域中的坐标，并将该用户图像与背景图像110相组合以生成图像100。因此，用户图像作为用户对象呈现在被定义为定义区域的3d空间中。此外，用户对象在初始位置处的坐标可以是固定的，或者可以基于属性信息而随机地确定。

图17是示意性地显示了根据第一实施例的在由识别图像读取设备21获取识别图像41的情况下的操作的流程图示例。在图17的流程图中的操作之前，例如，用户将用户图像与识别信息相关联，并且根据图16的上述流程图在用户图像db230中注册用户图像。

用户将其上呈现识别图像41的介质40放置在识别图像读取设备21上，并且由于用户对识别图像读取设备21的操作等而给出用以读取识别图像41的指令。响应于该指令，识别图像读取设备21读取识别图像41并将其发送到pc10a。此外，识别图像读取设备21可以自动地辨识和读取识别图像41。

在将识别图像41从识别图像读取设备21发送到pc10a之后，识别图像41被pc10a接收，并被馈送到呈现控制单元210a。呈现控制单元210a获取所馈送的识别图像41(步骤s20)。在下个步骤s21，呈现控制单元210a对识别图像41进行解码以获取识别信息，并从用户图像db230中检索(retrieval)与所获取的识别信息相关联的用户图像。

在下个步骤s22，呈现控制单元210a基于从用户图像db230检索的每个用户图像来确定参数p0至p7，如在步骤s13的上述操作的情况那样，并且将其设置到每个用户图像。

在下个步骤s23，呈现控制单元210a在与已经设置了参数p的用户图像有关的定义区域中设置坐标，并将该用户图像与背景图像110相组合以生成图像100。因此，用户图像db230中的与基于识别图像41的识别信息相关联的每个用户图像被作为用户对象而呈现在被定义为定义区域的3d空间中。

图18是显示了根据第一实施例的用以响应于行动检测而呈现图标图像的操作的流程图示例。此外，假设在图18的流程图中的操作之前，根据上述图16或图17的流程图，用户对象已经被呈现在图像100中。

呈现控制单元210a基于根据来自传感器13的检测结果而从行动分析单元220输出的行动信息，判断是否检测到对象(步骤s30)。如果确定未检测到对象，则呈现控制单元210a将操作返回到步骤s30。相反，如果确定检测到对象，则呈现控制单元210a进行到在步骤s31的操作。

在步骤s31，呈现控制单元210a基于行动信息获取与所检测的对象的位置对应且在图像100中的坐标。在下个步骤s32，呈现控制单元210a基于在步骤s31获取的坐标来确定是否检测到对象的预定行动。如果确定未检测到对象的预定行动，则呈现控制单元210a将操作返回到步骤s30。相反，如果确定检测到对象的预定行动，则呈现控制单元210a进行到在步骤s33的操作。

例如，呈现控制单元210a存储在步骤s31获取的坐标，并且每次重复从步骤s30到步骤s32的循环时，将新获取的坐标与所存储的坐标进行比较。然后，如果根据比较的结果在坐标中检测到存在多于一定的差异，则呈现控制单元210a可以确定检测到预定行动。

在步骤s33，当在步骤s32已经检测到预定行动时，呈现控制单元210a基于坐标信息来确定图像100内包括已经检测到行动的坐标的区域。例如，参考图5的示例，呈现控制单元210a确定天空区域110a和陆地区域110b中的哪一个包括已经检测到行动的坐标。

在下个步骤s34，呈现控制单元210a从db12a获取例如与在步骤s33确定的区域对应的图标图像。这里，如果多种类型的图标图像与在步骤s33确定的区域相关联，则呈现控制单元210a可以随机地或根据预定次序选择并获取多种类型的图标图像。呈现控制单元210a根据已经检测到行动的坐标，将所获取的图标图像呈现在图像100中(步骤s35)。

在下个步骤s36，呈现控制单元210a确定在步骤s35呈现的图标图像是否命中图像100中呈现的每个用户对象。

呈现控制单元210a例如基于在步骤s35呈现的图标图像的坐标和尺寸，获取指示图像100中的图标图像的范围的坐标。此外，呈现控制单元210a基于已经在图像100中呈现的每个用户对象的位置和尺寸，获取指示图像100中的每个用户对象的范围的坐标。

然后，基于指示所获取的图标图像和用户对象的范围的坐标，呈现控制部210a确定图标图像的范围是否与用户对象的范围重叠。如果根据确定结果确定图标图像的范围与用户对象的范围重叠，则呈现控制单元210a确定图标图像正命中用户对象(存在命中)。如果确定没有命中，则呈现控制单元210a进行到在步骤s38的操作。

相反，如果在步骤s36确定存在命中，则呈现控制单元210a进行到在步骤s37的操作。在步骤s37，呈现控制单元210a从例如db12a获取效果图像，并且基于确定存在命中的图标图像的坐标，在图像100中呈现所获取的效果图像(效果)。在进行效果呈现之后，呈现控制单元210a进行到在步骤s38的操作。

在步骤s38，呈现控制单元210a基于图标图像和图标图像的坐标来控制呈现在图像100中的用户对象的运动。例如，如果在步骤s36确定没有命中，则呈现控制单元210a可以将在图像100中的图标图像附近呈现的用户对象以预定速度朝向图标图像运动。此外，例如，如果在步骤s36确定存在命中，则呈现控制单元210a可以突出显示由图标图像命中的用户对象。

参考图19和图20，给出对用以从薄板50获取用户图像和各种类型的信息的操作的更详细说明。图19是显示了根据第一实施例的图像分析单元200a的操作的流程图示例。此外，图20是显示了根据第一实施例的用以从薄板50提取每个图像的操作的图。这里，在图20中，对与上述图2和图4中的部分相同的部分应用相同的附图标记，并且省略详细说明。

在图19的流程图中，在步骤s40，图像分析单元200a通过使用图像获取单元2001获取从图像获取设备20馈送的薄板50的图像。图像获取单元2001将所获取的图像馈送到用户图像提取单元2002、识别信息获取单元2003、和属性信息获取单元2004。此外，这里，图像获取单元2001辨识薄板50的三个角上提供的标记511至513(见图20的左侧部分)，以便校正所获取的薄板50的图像的取向等。

在步骤s41，识别信息获取单元2003确定识别图像41是否包括在薄板50的图像中。如果确定识别图像41被包括在图像中，则识别信息获取单元2003进行到在步骤s42的操作，以从图像中提取识别图像41，并且在下个步骤s43，对所提取的识别图像41进行解码以获取识别信息。然后，操作进行到步骤s45。

相反，如果在步骤s41确定不包括识别图像41，则识别信息获取单元2003进行到在步骤s44的操作。在步骤s44，识别信息获取单元2003例如将预定默认识别信息设置为所获取的识别信息。然后，操作进行到步骤s45。

在步骤s45，属性信息获取单元2004从薄板50的图像中提取属性设置区域42的图像，并且基于属性设置区域42上所提取的图像来确定属性是否被指定。

例如，如图20的左侧部分所示，六个属性设置区域421至426被设置在属性设置区域42上。属性设置区域421至426的内部通过进行涂抹而被选中，使得期望的属性被指定。在图20的示例中，属性“行走”、属性“前进”、属性“跳跃”、属性“种植”、属性“建设”和属性“游泳”被设置在属性设置区域421至426上。此外，设置在属性设置区域421至426上的属性是属性类型#1、属性类型#2、属性类型#3、属性类型#4、属性类型#5和属性类型#6。

属性信息获取单元2004确定是否以预定次序逐一选中了属性设置区域421至426。然后，如果确定所选中的属性设置区域，则获取指示与属性设置区域对应的属性的属性信息(步骤s46)。在图20的示例中，属性设置区域422被选中，并且获取指示属性类型#2的属性信息。在获取属性信息之后，操作进行到步骤s48。

相反，如果确定所有属性设置区域421至426未被选中，则属性信息获取单元2004进行到在步骤s47的操作，并将例如预定默认值设置为属性信息。然后，操作进行到步骤s48。

此外，当首先确定属性设置区域421至426被选中时，属性信息获取单元2004停止有关是否选中属性设置区域的确定。因此，即使在属性设置区域421至426之中选中了多个属性设置区域，也仅获取单个属性信息。

在步骤s48，用户图像提取单元2002从薄板50的图像中检测手绘区域43，并从手绘区域43中提取用户图像。这里，在手绘区域43的图像上，用户图像提取单元2002执行用以提取用户对象的操作。例如，对于手绘区域43中的图像，用户图像提取单元2002进行有关每个像素是白色(薄板50的原始颜色)、还是除了白色以外的颜色的二元确定，以便提取图画45的部分作为用户对象。用户图像提取单元2002确定用户图像是最小矩形区域46的图像，该最小矩形区域46包括图画45的所提取的部分，并且具有在与手绘区域43的基底(base)的方向平行的方向上的基底。

在步骤s48提取用户图像之后，图像分析单元200a请求注册单元201在用户图像db230中注册在从步骤s40至步骤s48的操作期间获取或提取的识别信息、属性信息和用户图像(步骤s49)。

在上述说明中，串行地(serially)执行用户图像提取单元2002、识别信息获取单元2003和属性信息获取单元2004的操作；然而，此示例不是限制。也就是说，可以并行地执行用户图像提取单元2002、识别信息获取单元2003和属性信息获取单元2004的操作。

图21是显示了根据第一实施例的、用以由注册单元201注册用户图像db230中的识别信息、属性信息和用户图像的操作的流程图示例。在步骤s60，注册单元201确定用以从图像分析单元200a而来的在用户图像db230中的注册识别信息、属性信息和用户图像存在或不存在的指令。如果确定没有注册请求，则注册单元201将操作返回到步骤s60。

相反，如果确定存在用于用户图像db230中的识别信息、属性信息和用户图像的注册请求，则注册单元201进行到在步骤s61的操作。在步骤s61，注册单元201从图像分析单元200a接收已经请求注册的识别信息、属性信息和用户图像。

在下个步骤s62，注册单元201生成用于管理在步骤s61接收的识别信息、属性信息和用户图像的管理信息。注册单元201基于例如识别信息来生成管理信息。这里，注册单元201通过将属性信息和用户图像与识别信息相关联而生成管理信息，如图22所示。如图22所示，用户图像和属性信息以一对一的对应关系相关联。相反，识别信息在一对多的基础上与用户图像和属性信息的组合相关联。也就是说，单个识别信息可以与用户图像和属性信息的多个组合相关联。

在下个步骤s63，对于用户图像db230，注册单元201生成用于存储在步骤s61接收的识别信息、属性信息和用户图像的管理区域。注册单元201基于在上述步骤s62生成的管理信息来生成管理区域。

在此示例中，注册单元201通过使用计算机的文件系统中的层级结构来生成管理区域。参考图23，给出对通过使用由注册单元201生成的文件系统中的文件夹结构来生成管理区域的情况的说明。图23显示了根据第一实施例的显示用户图像db230的文件夹结构的显示屏幕的示例。在图23中，显示屏幕300包括显示区域301和302。显示区域301显示文件夹结构，而显示区域302呈现在显示区域301上指定的文件夹的内容。

在文件夹结构中，某层中的文件夹可以在下方包括下一层中的文件夹，并且通过使用从顶层中的文件夹到底层中的文件夹的文件夹来顺序地构建层。在图23的显示区域301上，第一层中的文件夹320(文件夹“数据库”)包括第二层中的多个文件夹3211、3212、3213、......、321m、321m+1、321m+2、......(第一区域)。这里，第二层中的每个文件夹3211、3212、......对应于识别信息，并且将识别信息的字符串用作文件夹的名称。

第二层中的文件夹还包括第三层中的文件夹(第二区域)。例如，在图23中，第二层中的文件夹321m包括第三层中的多个文件夹3221至3225。第三层中的文件夹3221至3225存储用户图像和属性信息的组合。此外，对于第三层中的文件夹，使用指示当存储在文件夹中的用户图像和属性信息被图像分析单元200a获取时的时间的时间信息，作为文件夹的名称。

以此方式，基于时间信息确定第三层中的文件夹的名称，使得确保与相同识别信息相关联的用户图像和属性信息的组合的唯一性。此外，由于通过使用识别信息来确定第二层中的文件夹的文件夹名称，所以与和第二层中的文件夹的识别信息相同的识别信息相关联的用户图像和属性信息的组合被另外存储在文件夹中。

由于管理区域如上所述地配置，所以可以通过使用安装在pc10a中的操作系统(os)的文件系统来管理识别信息、用户图像和属性信息，并且可以容易地获取与所指定的识别图像相关联的用户图像和属性信息的多个组合。

在图23中，显示区域302呈现第三层中的文件夹3221的内容。在此示例中，显示区域302呈现出第三层中的文件夹3221存储文件310和文件311，其中，文件310存储用户图像，文件311存储属性信息。

图24显示了根据第一实施例的存储属性信息的文件311的结构的示例。在此示例中，文件311存储属性信息312和与属性信息312相关联的识别信息313。

回头参考图21，在注册单元201如上所述在步骤s63在用户图像db230中生成管理区域之后，注册单元201在下个步骤s64将在步骤s61从图像分析单元200a接收的用户图像、属性信息和识别信息存储在所生成的管理区域中。

这里，在步骤s64存储在管理区域中的用户图像、属性信息和识别信息被呈现控制单元210a读取以用于呈现。呈现控制单元210a从用户图像db230读取新注册的用户图像、属性信息和识别信息。此外，呈现控制单元210a在呈现图像db231中生成呈现队列区域(步骤s65)。此外，与在步骤s63生成的管理区域的结构相同的结构可以应用于呈现队列区域；因此，这里省略说明。

呈现控制单元210a将从用户图像db230读取的用户图像、属性信息和识别信息存储在所生成的呈现队列区域231中(步骤s66)。呈现控制单元210a使用存储在呈现队列区域中的用户图像来呈现图像100中的用户对象。

在下个步骤s67，呈现控制单元210a对存储在呈现队列区域中的用户图像的数量进行计数。例如，对于呈现队列区域，呈现控制单元210a针对第二层中对应于识别信息的每个文件夹，对第三层中存储用户图像和属性信息的组合的文件夹的数量进行计数，以获得一值并将其计数为存储在呈现队列区域中的用户图像的数量。在下个步骤s68，呈现控制单元210a确定在步骤s67计数的用户图像的数量是否超过预定数量。如果确定未超过，则呈现控制单元210a将操作返回到步骤s60。

相反，如果确定所计数的用户图像的数量超过预定数量，则呈现控制单元210a进行到在步骤s69的操作，以从呈现队列区域中删除一个用户图像。例如，呈现控制单元210a删除呈现队列区域中在第三层的文件夹之中最早生成的文件夹。因此，呈现在图像100中的用户对象的数量可以被限制为某个数量。此外，在步骤s69删除的用户图像的数量不总是一个，但是要删除的用户图像的数量可以是2个或更多个。

此外，可以禁止删除呈现队列区域中存储的用户图像之中的指定用户图像。例如，在呈现队列区域中，生成在第二层中具有预定文件夹名称的文件夹，并且需要禁止被删除的用户图像以及与用户图像对应的属性信息存储在在上述文件夹中生成的第三层中的文件夹中。例如，作为服务提供商的标志等的图像作为用户图像存储在上述文件夹中，即使用户图像被顺序地存储在呈现队列区域中，标志的图像也不被删除并且被连续呈现在图像100中。

接下来，对日志记录进行说明。根据第一实施例的呈现系统1a可以将关于系统的使用信息存储在日志信息中。更具体地，当图像分析单元200a和呈现控制单元210a获取识别图像41时，pc10a将使用信息作为日志信息，所述使用信息中至少在获取识别图像41时的时间与从识别图像41解码的识别信息相关联。

图25显示了根据第一实施例的日志信息的示例。这里，在图25中，为了说明，行号被附加至每行的开头，由日志信息的主体和冒号(:)分开。在图25中，日志信息330例如分别在第一行和第十行中存储根据第一实施例的程序的开始和结束时间。在开始时间和结束时间之间，针对每个用户图像来存储使用信息(例如，第二行到第九行)。

在图25的示例中，使用信息包括“使用时间和日期”(date)、“事件”(event)、“文件夹名称”(basename))(即，存储用户图像和属性信息的第三层)、“识别信息”(id)和“属性类型”(type)的项。这里，“事件”项具有例如“添加(addition)”和“检索(retrieval)”中的任何一个的值。在这种情况下，如果“事件”项的值是值“添加”，则指示使用信息是与新添加的用户图像相关联的使用信息，并且，如果它是“检索”值，则指示使用信息与从用户图像db230检索并获取的用户图像相关联。此外，通过使用包括在使用信息中的“文件夹名称”项的信息和“识别信息”项的信息，可以确定用户图像db230或呈现图像db231中的文件夹。

通过收集日志信息330中的每条使用信息，可以分析系统的利用率等。此外，日志信息330存储在例如存储装置1006中。这不是限制，并且日志信息330可以存储在用户图像db230或呈现图像db231的预定区域中。

根据第一实施例，日志信息330可以用于检索用户图像。图26是显示了根据第一实施例的用以通过使用日志信息330来检索用户图像的操作的流程图的示例。在步骤s80，在呈现控制单元210a中，识别信息获取单元2102对从识别图像读取设备21馈送的识别图像41进行解码，以获取识别信息。在下个步骤s81，在呈现控制单元210a中，图像管理单元2101从日志信息330中检索使用信息，其具有与所获取的识别信息相匹配的“识别信息”项的值。

在下个步骤s82，图像管理单元2101通过使用例如当天的日期来缩减(narrowdown)在步骤s81检索的使用信息的条数。然后，在下个步骤s83，图像管理单元2101获取缩减的使用信息的条数。例如，图像管理单元2101参考使用信息中的“事件”项，提取“事件”项值为“检索”的使用信息，并且基于“使用时间和日期”项的值，获取所提取的多条使用信息之中具有当天的日期和具有不同时间的使用信息的条数。

在下个步骤s84，图像管理单元2101确定获取的使用信息的条数是否超过阈值。如果确定使用信息的条数超过阈值，则图像管理单元2101确定存在错误并且进行到在步骤s86的操作，以便例如请求图像控制单元2103a进行指示错误的显示。

相反，如果在步骤s84确定使用信息的条数等于或小于阈值，则图像管理单元2101进行到在步骤s85的操作。在步骤s85，图像管理单元2101基于在步骤s82缩减的每条使用信息中的“识别信息”项和“文件夹名称”项的信息来搜索用户图像db230，并且在下个步骤s87确定用户图像作为检索结果。

在下个步骤s88，图像管理单元2101确定在所确定的用户图像之中是否存在包括在呈现队列区域中的用户图像。例如，图像管理单元2101基于在步骤s82缩减的每条使用信息中的“识别信息”项和“文件夹名称”项来搜索呈现图像db231，并检查是否存在与项相匹配的文件夹。

如果确定所确定的用户图像不包括在呈现队列区域中，则图像管理单元2101进行到在步骤s89的操作。在步骤s89，图像管理单元2101指示图像控制单元2103a从用户图像db230获取在步骤s87确定的用户图像，并将每个获取的用户图像呈现在图像100中。在图像管理单元2101在步骤s89给出用以在图像100中呈现用户图像的指令之后，进行到在步骤s92的操作。

相反，如果在步骤s88确定在所确定的用户图像之中存在包括在呈现队列区域中的用户图像，则图像管理单元2101进行到在步骤s90的操作。在步骤s90，图像管理单元2101从所确定的用户图像中提取包括在呈现队列区域中(即，已经作为用户对象呈现在图像100中)的用户图像。然后，图像管理单元2101指示图像控制单元2103a使用每个所提取的用户图像突出显示用户对象。

在下个步骤s91，图像管理单元2101确定在步骤s87确定的用户图像之中关于包括在呈现队列区域中的用户图像的不同用户图像，即，在步骤s87确定的且不包括在呈现队列区域中的用户图像。然后，图像管理单元2101指示图像控制单元2103a从用户图像db230获取所确定的用户图像，并将所获取的用户图像呈现在图像100中。

操作进行到步骤s92，使得图像管理单元2101将在步骤s91或步骤s89呈现在图像100中的用户图像与识别信息和属性信息相关联地存储在呈现队列区域中。在这一点上，图像管理单元2101再次将在上述步骤s90被确定为包括在呈现队列区域中的用户图像存储在呈现队列区域中。这是因为，应防止由于对呈现的数量的限制而导致已经呈现在图像100中的用户对象被删除。

然后，在下个步骤s93，图像管理单元2101在日志信息330中存储带有具有“检索”值的“事件”项的使用信息，即，指示已经通过使用识别信息而被检索的用户图像的使用信息，。

此外，在上述步骤s84，如果确定所获取的使用信息的数量超过阈值，则执行操作以确定这是错误；然而，此示例不是限制。例如，可以不执行对使用信息的条数的阈值确定。此外，对使用信息的条数的阈值确定的确定结果不限于限制使用检索的次数的目的，并且可以向用户呈现某个消息，例如，对于频繁使用，呈现预定的效果图像。

此外，如果未进行在步骤s84对使用信息的条数的阈值确定，则存在太多在步骤s82的检索期间被缩减的使用信息，并且存在以下可能性：在图像100中呈现的用户对象由使用在检索期间获取的用户图像的用户对象所主导。因此，与上述图21的流程图中的操作的情况那样，在图26的流程图中的操作期间，呈现队列区域中的用户图像的数量可能被限制。

第一实施例的第一修改示例

接下来，给出对第一实施例的第一修改示例的说明。在第一实施例的第一修改示例中，可以将添加操作添加到根据上述第一实施例的用以呈现用户对象的操作。可能的添加操作包括例如用以基于由用户在薄板50上绘制的图画45将制造商的标志图像或吉祥物角色的图像添加到用户图像并将其呈现的操作。

根据第一实施例的第一修改示例，为了实施添加操作的添加，例如，生成添加操作识别信息，其通过将指示添加操作的信息包括在识别信息中而获得，添加操作识别信息被编码为图像以生成识别图像41，并且将其呈现在介质40上。

根据第一实施例的第一修改示例，通过使用上述等式(1)表示的识别信息被改变为如以下等式(2)中的管理识别信息。此外，根据第一实施例的第一修改示例，例如，以下等式(3)的结构也可以用于添加操作识别信息。

管理识别信息＝(固定码)+(管理码)+(时间信息)(2)

添加操作识别信息＝(固定码)+(操作码)+(预定值)(3)

在等式(2)中，“管理码”指示识别信息是用于识别存储在用户图像db230中的每个用户图像的管理识别信息。“固定码”和“时间信息”与上述等式(1)中的“固定码”和“时间信息”相同。

相反，在等式(3)中，“操作码”指示识别信息是用于将添加操作添加到用以呈现用户对象的操作的添加操作识别信息。此外，例如，“预定值”可以用于选择或指定要添加的添加操作。

由于管理识别信息包括指示当生成识别图像41时的时间的时间信息，所以其根据每个用户图像而具有不同值。具体地，如果使用管理识别信息，则在每个介质40上呈现唯一的识别图像41。相反，对于例如相同的添加操作，将相同值用于添加操作识别信息。在这种情况下，为多个介质40呈现相同的识别图像41。

图27是显示了根据第一实施例的第一修改示例的控制呈现系统的操作的pc的功能的功能框图的示例。这里，在图27中，对与上述图13中的部分相同的部分应用相同的附图标记，并且省略详细说明。此外，由于图1所示的根据第一实施例的呈现系统1a的结构可以直接应用于呈现系统，所以这里省略说明。

在图27中，与图13所示的pc10a相反，pc10b另外连接到添加操作db232。添加操作db232可以例如被包括在图12的db12a中。在添加操作db232中，将要作为添加操作而添加的信息与例如包括在添加操作识别信息中的“预定值”相关联地存储。要作为添加操作而添加的信息(添加操作信息)未被特别限制，并且，例如可以应用预定图像(附加图像)。

此外，与图13的图像分析单元200a和呈现控制单元210a相反，pc10b中包括的图像分析单元200b和呈现控制单元210b另外设置有执行添加操作的功能。

图28是示意性地显示了根据第一实施例的第一修改示例的、在呈现由图像获取设备20获取的图像的情况下的操作的流程图示例。这里，在图28中，对与上述图16中的操作相同的操作应用相同的附图标记，并且省略详细说明。在图28中的操作之前，用户准备介质40(在其上根据操作识别信息而呈现识别图像41)以及薄板50，在薄板50上进行期望的绘图等，将薄板50放置在图像获取设备20上，将介质40放置在薄板50的放置区域44上，并使得图像获取设备20开始用以获取图像的操作。图像获取设备20将所获取的图像发送到pc10b。

pc10b接收从图像获取设备20发送的图像，并将其馈送到图像分析单元200b。图像分析单元200b获取所馈送的图像(步骤s10)。在下个步骤s11，图像分析单元200b从所馈送的图像中检测手绘区域43和属性设置区域42的每个，并从每个检测的区域中提取用户图像和属性信息。此外，图像分析单元200b从所馈送的图像中提取识别图像，并对所提取的识别图像进行解码以获取识别信息。

在下个步骤s12，注册单元201将在步骤s11提取的用户图像和属性信息与识别信息相关联地存储在用户图像db230中，以便注册用户图像。在下个步骤s13，如上所述，呈现控制单元210b将用于控制呈现的参数p0至p7到用户图像。

在下个步骤s100，呈现控制单元210b确定识别信息是否被设计用于添加操作。具体地，如果识别信息包括用于添加操作的代码，则呈现控制单元210b确定识别信息是添加操作识别信息。如果确定识别信息不是添加操作识别信息，则呈现控制单元210b进行到在步骤s12的操作，以将在步骤s11提取的用户图像和属性信息与识别信息相关联地存储在用户图像db230中，以便注册用户图像。然后，操作进行到步骤s14。

相反，如果确定识别信息是添加操作识别信息，则呈现控制单元210b进行到在步骤s101的操作。在步骤s101，呈现控制单元210b基于添加操作识别信息从添加操作db232检索添加信息，并根据所检索的添加操作信息执行操作。例如，如果添加操作信息是附加图像，则呈现控制单元210b将作为用户图像和附加图像的组合的用户对象呈现在图像100中。然后，操作进行到步骤s14。

在步骤s14，呈现控制单元210b针对已经设置了参数p的用户图像而设置定义区域的坐标，并将其与背景图像110组合以生成图像100。因此，用户图像作为用户对象而被呈现在定义为定义区域的3d空间中。

如上所述，根据第一实施例的第一修改示例，由于基于识别信息(其包括用于添加操作的添加操作信息)的识别图像41被共同地呈现在介质40上，所以可以在介质40上执行相同的添加操作。因此，例如，服务提供商可以向多个用户共同提供服务提供商的唯一添加操作。因此，例如，服务提供商可以通过使用其自己的品牌容易地开发事件。

第一实施例的第二修改示例

接下来，给出对第一实施例的第二修改示例的说明。在上述第一实施例的第一修改示例中，由于识别信息对于介质40是共同的，所以对于介质40来说添加操作可以是共同的；然而，这不适于基于识别信息来管理用户图像的目的。因此，根据第一实施例的第二修改示例，可以向介质40共同提供添加操作，并且还可以基于识别信息来管理用户图像。

更具体地，根据第一实施例的第二修改示例，不同的值被用于介质40每一个，作为通过使用上述等式(1)或等式(2)表示的识别信息。此外，将例如由服务提供商指定的图像(标志图像)与识别图像41一起呈现在介质40上。这里，共同的标志图像被呈现在介质40上。此外，将标志图像与添加操作信息相关联地预先存储在数据库等中。从介质40获取标志图像以及识别图像41，并且基于所获取的标志图像，检索与标志图像相关联的添加操作信息。因此，可以将服务提供商的唯一添加操作共同地提供给多个用户，并且还可以基于识别信息来管理用户图像。

图29显示了根据第一实施例的第二修改示例的将标志图像与识别图像一起呈现的介质40’的示例。在介质40’上，将标志图像60与识别图像41一起呈现。识别图像41和标志图像60的位置关系和尺寸未被特别限制。

图30是显示了根据第一实施例的第二修改示例的控制呈现系统的操作的pc功能的功能框图示例。这里，在图30中，对与上述图27中的部分相同的部分应用相同的附图标记，并且省略详细说明。此外，由于图1所示的根据第一实施例的呈现系统1a的配置可以直接应用于呈现系统，所以这里省略说明。

在图30中，与图27所示的pc10b相反，pc10c另外连接到标志图像db233。标志图像db233可以包括在例如图1的db12a中。标志图像db233将指示标志图像60的信息(例如，指示标志图像60的特征的特征信息)与添加操作信息彼此关联地存储。可以将标志图像60本身与添加操作信息相关联地存储在标志图像db233中。

此外，与图27的图像分析单元200b和呈现控制单元210b相反，包括在pc10c中的图像分析单元200c和呈现控制单元210c另外配备有对标志图像执行操作的功能。例如，图像分析单元200c具有从图像(其是从图像获取设备20馈送的)上的介质40的区域来获取识别图像41和标志图像60的功能。

此外，根据第一实施例的第二修改示例，识别图像读取设备21将介质40本身的图像发送到pc10c。呈现控制单元210c可以从图像(其是从识别图像读取设备21馈送的)获取识别图像41和标志图像60。此外，呈现控制单元210c可以基于所获取的标志图像60搜索标志图像db233，以获取对应的添加操作信息。例如，呈现控制单元210c分析所获取的标志图像60以提取特征信息，并在标志图像db233中检索与所提取的特征信息对应的特征信息。然后，呈现控制单元210从标志图像db233获取与由于检索而获得的特征信息相关联的添加操作信息。

图31是示意性地显示了根据第一实施例的第二修改示例的在呈现由图像获取设备20获取的图像的情况下的操作流程图示例。这里，在图31中，对与上述图28中的操作相同的操作应用相同的附图标记，并且省略详细说明。

在图31中的操作之前，用户准备介质40(在其上基于管理识别信息而呈现识别图像41)以及薄板50，在薄板50上进行所需的绘图等，将薄板50放置在图像获取设备20上，将介质40放置在薄板50的放置区域44上，并使得图像获取设备20开始用以获取图像的操作。图像获取设备20将所获取的图像发送到pc10c。

pc10c接收从图像获取设备20发送的图像，并将其馈送到图像分析单元200c。图像分析单元200c获取所馈送的图像(步骤s10)。在下个步骤s11，图像分析单元200c从所馈送的图像中检测手绘区域43和属性设置区域42的每个，并从每个检测的区域中提取用户图像和属性信息。此外，图像分析单元200c从所馈送的图像中提取识别图像，并对所提取的识别图像进行解码以获取识别信息。

在下个步骤s12，注册单元201将在步骤s11提取的用户图像和属性信息与识别信息相关联地存储在用户图像db230中，以便注册用户图像。在下个步骤s13，如上所述，呈现控制单元210c将用于控制呈现的参数p0至p7设置到用户图像。

在下个步骤s120，呈现控制单元210c基于在步骤s11的操作结果，确定是否从图像(其是从图像获取设备20发送)上的介质40的区域检测到并非识别图像41的图像。如果确定未检测到，则呈现控制单元210c进行到在步骤s14的操作。

相反，如果在步骤s120确定从介质40的区域检测到并非识别图像41的图像，则呈现控制单元210c进行到在步骤s121的操作以获取图像。在下个步骤s122，呈现控制单元210c基于图像搜索标志图像db233。

在下个步骤s123，呈现控制单元210c基于在步骤s122的检索结果，确定是否在标志图像db233中注册了与步骤s121获取的图像相匹配的标志图像。如果确定未注册，则呈现控制单元210c进行到在步骤s14的操作。

相反，如果在步骤s123确定在标志图像db233中注册了与在步骤s121获取的图像相匹配的标志图像，则呈现控制单元210c进行到在步骤s124的操作。在步骤s124，呈现控制单元210c从标志图像db233获取与所检索的标志图像相关联的添加操作信息。然后，在下个步骤s125，呈现控制单元210c根据所获取的添加操作信息执行操作。然后，操作进行到步骤s14。

在下个步骤s14，呈现控制单元210c针对已经设置了参数p的用户图像而设置定义区域中的坐标，并将其与背景图像110组合以生成图像100。因此，用户图像作为用户对象而被呈现在定义为定义区域的3d空间中。

图32是示意性地显示了根据第一实施例的第二修改示例的、在由识别图像读取设备21获取介质40’的图像的情况下的操作流程图示例。这里，在图32中，对与上述图17和图31中的操作相同的操作应用相同的附图标记，并且省略详细说明。在图32的流程图中的操作之前，根据例如上述图16的流程图，用户将用户图像与识别信息相关联地注册在用户图像db230中。

用户将呈现识别图像41和标志图像60的介质40’放置在识别图像读取设备21中，并且，由于用户对识别图像读取设备21的操作等而给出读取介质40’的图像的指令。根据该指示，识别图像读取设备21读取介质40'的图像，并将其发送到pc10c。

pc10c接收从识别图像读取设备21发送的图像，并将其馈送到呈现控制单元210c。呈现控制单元210c从所馈送的图像获取识别图像41(步骤s20)。在下个步骤s21，呈现控制单元210a对识别图像41进行解码以获取识别信息，并从用户图像db230检索与所获取的识别信息相关联的用户图像。在下个步骤s22，呈现控制单元210c如在图16的步骤s13的操作的情况那样，基于从用户图像db230检索的每个用户图像来确定参数p0至p7，并将其设置到每个用户图像。

从步骤s120到步骤s125的以下操作与图31中的操作相同。具体地，在步骤s120，呈现控制单元210c基于在步骤s21的操作结果，确定是否从图像(其是识别图像读取设备21发送的)上的介质40’的区域检测到并非识别图像41的图像。如果确定未检测到，则呈现控制单元210c进行到在步骤s23的操作。

相反，如果在步骤s120确定从介质40’的区域检测到并非识别图像41的图像，则呈现控制单元210c进行到在步骤s121的操作以获取图像，并基于所获取的图像搜索标志图像db233(步骤s122)。在下个步骤s123，呈现控制单元210c基于在步骤s122的检索结果，确定是否在标志图像db233中注册了与在步骤s121获取的图像相匹配的标志图像。如果确定未注册，则呈现控制单元210c进行到在步骤s23的操作。

相反，如果在步骤s123确定在标志图像db233中注册了与在步骤s121获取的图像相匹配的标志图像，则呈现控制单元210c进行到在步骤s124的操作。在步骤s124，呈现控制单元210c从标志图像db233获取与所检索的标志图像相关联的添加操作信息，并且，在下个步骤s125，呈现控制单元210c根据所获取的添加操作信息执行操作。然后，操作进行到步骤s23。

在下个步骤s23，呈现控制单元210c针对已经设置了参数p的用户图像而设置定义区域中的坐标，并将其与背景图像110组合以生成图像100。因此，将用户图像db230中与基于识别图像41的识别信息相关联的每个用户图像作为用户对象而呈现在定义为定义区域的3d空间中。

第二实施例

接下来，说明第二实施例。根据第二实施例，获取声音信息，并且基于所获取的声音信息对呈现在图像100中的用户对象进行改变。图33显示了根据第二实施例的呈现系统的配置的示例。这里，在图33中，对与上述图1中的部分相同的部分应用相同的附图标记，并且省略详细说明。

此外，从图33中省略了图1所示的图像获取设备20和识别图像读取设备21。此外，参考图12说明的配置可以直接应用于图33所示的pc10d。

在图33中，在呈现系统1d中，麦克风15被设置在被投影介质14附近以采集声音，并且从麦克风15输出的声音信号被馈送到pc10d。这里，如果声音信号以模拟形式从麦克风15输出，则声音信号通过a/d转换器而被转换为数字形式的声音信号，并被馈送到pc10d。数字形式的声音信号被输入到例如包括在pc10d中的数据i/f1007。

与上述db12a相反，db12d还存储与声音相关联的信息。例如，db12d可以将声音模式和用户图像彼此相关联地存储。

利用上述配置，用户将用户图像和属性信息与识别信息相关联地存储在db12d中。此外，用户指定声音模式，并将所指定声音模式与识别信息相关联地存储在db12d中。在这种情形下，用户在例如麦克风15能够采集声音的位置处根据所注册的声音模式生成声音。声音模式例如是某个节奏模式，并且其可以通过利用拍手等来表达。

根据声音模式的声音由麦克风15采集，被转换为声音信号，并被馈送到pc10d。pc10d分析所馈送的声音信号以提取声音模式，并且pc10d从db12d检索与所提取的声音模式相匹配的声音模式。如果作为结果从db12d检索与所提取的声音模式相匹配的声音模式，则pc10d获取与所检索的声音模式相关联的识别信息。

如果由于与所获取的识别信息相关联的用户图像导致的用户对象已经呈现在图像100中，则将每个用户对象朝向生成声音的位置(即，麦克风15的位置)运动。这里，例如如图34所示，对于在图像100中的并且与麦克风15的位置对应的位置16，呈现在图像100的预定范围17内的用户对象被选择性地控制以便朝向位置18运动。

此外，如果由于与所获取的识别信息相关联的用户图像导致的用户对象未呈现在图像100中，则pc10d从db12d获取与识别信息相关联的用户图像，并将其作为用户对象呈现在图像100中。这里，可以预先确定用户对象的出现位置。例如，出现位置可能在图像100的右侧或左侧的边缘部分。

图35是显示了根据第二实施例的pc10d的功能的功能框图示例。这里，在图35中，对与上述图13中的部分相同的部分应用相同的附图标记，并且省略详细说明。在图35中，与图13所示的pc10a的配置相反，向pc10d添加声音处理单元240。与图13所示的图像分析单元200a、注册单元201和呈现控制单元210a相反，图像分析单元200d、注册单元201d以及呈现控制单元210d具有与声音信息的处理相关联的附加功能。此外，用户图像db230还可以将声音信息与识别信息或用户图像相关联地存储。

图36是显示了根据第二实施例的呈现控制单元210d的功能的功能框图的示例。这里，在图36中，对与上述图15中的部分相同的部分应用相同的附图标记，并且省略详细说明。在图36中，与图15所示的呈现控制单元210a相反，声音模式检测单元2108被添加到呈现控制单元210d。此外，与上述图像管理单元2101和图像控制单元2103a相反，图像管理单元2101d和图像控制单元2103d具有基于声音信息执行处理的附加功能。

在声音信号从麦克风15输出并被转换为数字模式信号之后，其被馈送到声音处理单元240。声音处理单元240对所馈送的声音信号执行预定信号处理，并将其作为声音信息而馈送到呈现控制单元210d。声音信息由呈现控制单元210d馈送到声音模式检测单元2108。声音模式检测单元2108基于所馈送的声音信息来检测声音模式。所检测的声音模式被馈送到图像管理单元2101d。图像管理单元2101d基于所馈送的声音模式来搜索用户图像db230，并且向图像控制单元2103d馈送作为检索的结果而获得的、指示用户图像的信息或识别信息。

图37显示了根据第二实施例的用于由用户指定声音模式的格式的示例。如图37(a)所示，声音模式指定区域420设置有用于指定声音模式的模式指定区域421。在此示例中，通过布置8个复选框来形成模式指定区域421。8个复选框可以对应8个节拍，其中可以认为空白复选框是休止符，而已涂上和选中的复选框是音符。图37(b)显示了一部分复选框被涂上的模式指定区域421’的示例。例如，根据在模式指定区域421’中指示的音符和休止符，以恒定的速度生成声音，由此可以生成在模式指定区域421’中指定的声音模式。

除了属性设置区域42、手绘区域43以及放置区域44之外，图37(a)所示的声音模式指定区域420也被设置在例如薄板50上。在这种情况下，在声音模式指定区域420中指定的声音模式与用户图像相关联。这不是限制，并且声音模式指定区域420可以被设置在与其上提供属性

设置区域42、手绘区域43和放置区域44的薄板50不同的薄板上。在这种情况下，在声音模式指定区域420中指定的声音模式可以与例如识别信息相关联。

在下文中，为了说明，声音模式指定区域420与属性设置区域42、手绘区域43和放置区域44一起设置在薄板50上。也就是说，声音模式与用户图像相关联。

此外，在这种情况下，包括例如声音模式指定区域420的薄板也与薄板50分开准备，并且以与介质40相同的方式放置在薄板50上，由此，相同的声音模式可以与多个用户图像相关联。

此外，在上述说明中，通过使用声音模式指定区域420直接指定声音模式；然而，此示例不是限制。例如，可以从多个准备的声音模式中选择期望的声音模式。

此外，在上述说明中，通过选中声音模式指定区域420注册声音模式；然而，此示例不是限制。例如，可以基于由用户实际生成的声音模式来注册声音模式。例如，麦克风15采集通过利用例如用户的拍手而生成的声音模式，并将其作为声音信号馈送到pc10d。pc10d分析所馈送的声音信号以检测声音模式，并将其与从介质40上呈现的识别图像41获取的识别信息相关联地注册在用户图像db230中。

在这种情况下，优选的是，pc10d等呈现提示声音模式的注册的消息和用于指定注册开始(记录开始)的用户界面。此外，通过生成以恒定间隔产生声音的点击声音等，可以更容易地进行声音模式的注册。

图38是示意性地显示了根据第二实施例的在呈现由图像获取设备20获取的图像的情况下的操作的流程图的示例。这里，在图38中，对与上述图16中的操作相同的操作应用相同的附图标记，并且省略详细说明。

在图38中的操作之前，用户准备基于操作识别信息在其上呈现识别图像41的介质40、以及薄板50，在薄板50上进行期望的绘图等，或者在设置在薄板50上的声音模式指定区域420上指定声音模式。之后，将薄板50放置在图像获取设备20上，将介质40放置在薄板50的放置区域44上，并且开始用以由图像获取设备20获取图像的操作。图像获取设备20将所获取的图像发送到pc10d。

pc10d接收从图像获取设备20发送的图像，并将其馈送到图像分析单元200b。图像分析单元200b获取所馈送的图像(步骤s10)。在下个步骤s210，图像分析单元200b从所馈送的图像中检测手绘区域43、属性设置区域42和声音模式指定区域420的每个，并从每个检测的区域中提取用户图像、属性信息和声音模式信息。此外，图像分析单元200b从所馈送的图像中提取识别图像，并对所提取的识别图像进行解码以获取识别信息。

在下个步骤s12，注册单元201将在步骤s210提取的用户图像、属性信息和声音模式信息与识别信息相关联地存储在用户图像db230中，以便注册用户图像。例如，注册单元201将声音模式信息与用户图像和属性信息一起存储在参考图23说明的第三层的文件夹中。此外，声音模式信息被直接存储在第二层的文件夹中，使得相同的声音模式信息可以与存储在第三层的每个文件夹中的每个用户图像相关联。

在下个步骤s13，如上所述，呈现控制单元210d就用于控制呈现的参数p0至p7设置到用户图像。然后，在下个步骤s14，呈现控制单元210d针对已经设置了参数p的用户图像而设置定义区域中的坐标，并将其与背景图像110组合以生成图像100。因此，用户图像作为用户对象而被呈现在定义为定义区域的3d空间中。

图39是示意性地显示了根据第二实施例的用以基于声音模式呈现用户图像的操作流程图示例。在图39的流程图中的操作之前，根据例如上述图38的流程图，用户将用户图像、属性信息和声音模式信息与识别信息相关联地注册在用户图像db230中。

用户通过利用例如朝向麦克风15拍手而在薄板50的声音模式指定区域420上生成指定的声音模式。在声音信号从麦克风15输出之后，声音信号被输入到pc10d并且通过声音处理单元240作为声音信息而被馈送至呈现控制单元210d。呈现控制单元210d通过使用声音模式检测单元2108，基于所馈送的声音信息来分析声音模式。例如，声音模式检测单元2108可以基于声音信息对声音信号的电平进行归一化(normalize)，对经归一化的电平进行阈值确定，并且检测声音模式。

在下个步骤s201，呈现控制单元210d基于所检测的声音模式搜索用户图像db230，并且从用户图像db230获取与声音模式相关联的用户图像。在下个步骤s202，呈现控制单元210d以与在图16的步骤s13的操作相同的方式，确定用于在步骤s201获取的用户图像的参数p0至p7，并将其设置到每个用户图像。

然后，在下个步骤s203，呈现控制单元210d关于针对设置了参数p的用户图像而设置定义区域中的坐标，并将其与背景图像110组合以生成图像100。因此，与声音模式相关联的每个用户图像作为用户对象而呈现在定义为定义区域的3d空间中。

此外，在步骤s203，每个用户对象重新出现以呈现在图像100中。这里，可以预先确定用户对象的出现位置。例如，出现位置可能在图像100的右侧或左侧的边缘部分。

图40是显示了根据第二实施例的、在图像100中已经呈现由于与声音模式相关的用户图像导致的用户对象的情况下的呈现操作流程图示例。在pc10d中，呈现控制单元210d开始通过使用麦克风15采集声音(步骤s220)。

在下个步骤s221，呈现控制单元210d确定在某个时间段期间是否未检测到声音。例如，呈现控制单元210d使用ram1003作为缓冲存储器来存储具有等同于所假定的声音模式的长度的声音信号，并且，呈现控制单元210d基于所存储的声音信号来确定声音的存在或不存在。如果确定在某个时间段期间未检测到声音，则呈现控制单元210d返回到在步骤s221的操作。

此外，随着时间逐渐推移(shift)，重复执行在步骤s221的操作。此外，缓冲存储器通过逐渐推移时间直到声音采集结束为止，一直存储某个时间段的声音信号。

如果确定在某个时间段期间检测到声音，则呈现控制单元210d进行到在步骤s222的操作。在步骤s222，获取在图像100中并且与检测到声音的位置对应的坐标。

在上述图33的示例中，由于仅提供单个麦克风15，所以检测到声音的位置对应于麦克风15的位置。这不是限制，并且可以在被投影介质14的每端上提供单个麦克风，使得通过使用立体声采集声音。在使用立体声的声音采集的情况下，被投影介质14的水平方向上的任何位置可以是声音检测位置。

在下个步骤s223，呈现控制单元210d基于存储在缓冲存储器中的声音信号来分析声音模式。在下个步骤s224，呈现控制单元210d将在步骤s223分析和获取的声音模式与注册在用户图像db230中的声音模式进行比较。然后，在下个步骤s225，呈现控制单元210d确定在用户图像db230中是否存在与在步骤s223获取的声音模式相匹配的声音模式。如果确定没有匹配的声音模式，则呈现控制单元210d返回到在步骤s221的操作。

相反，如果确定存在匹配的声音模式，则呈现控制单元210d进行到在步骤s226的操作。在步骤s226，呈现控制单元210d从呈现队列区域获取与匹配的声音模式相关联的用户图像。在下个步骤s227，呈现控制单元210d将与从呈现队列区域获取的用户图像对应的用户对象朝向已被检测到声音且在步骤s222获取的坐标运动。然后，呈现控制单元210d返回到在步骤s221的操作。

如上所述，根据声音的检测来控制用户对象的运动，使得可以向用户对象的运动提供交互性质。

此外，在上述描述中，基于由麦克风15采集的声音来检测声音模式；然而，此示例不是限制。例如，可以通过使用如仪器这样的设备来检测声音模式。例如，可以使用具有开关的设备(例如，诸如响板的打击乐器)，其在演奏时输出信号。从设备输出的信号被馈送到pc10d。pc10d分析从设备馈送的信号以检测声音模式。这里，设备的输出信号包括设备上的位置信息，使得可以根据在步骤s227的坐标执行控制。可以对设备预先设置设备上的位置信息。传感器13可以检测设备上的位置信息。

第二实施例的第一修改示例

接下来，给出对第二实施例的第一修改示例的说明。第二实施例的第一修改示例是根据上述第一实施例通过使用识别图像41对用户图像的获取和根据第二实施例通过使用声音对用户对象的控制的组合。

图41显示了根据第二实施例的第一修改示例的呈现系统的配置的示例。这里，在图41中，对与上述图1和图33中的部分相同的部分应用相同的附图标记，并且省略详细说明。此外，在图41中，省略了图1所示的图像获取设备20和识别图像读取设备21。

在图41中，在呈现系统1e中，识别图像读取设备16被设置在被投影介质14附近，优选地在麦克风15附近。识别图像读取设备16具有与上述识别图像读取设备21的功能相同的功能，并且，识别图像读取设备16获取介质40的图像，从获取的图像读取介质40上呈现的识别图像41，并将其馈送到pc10e。

识别图像读取设备16可以被提供为与识别图像读取设备21分离的设备，或者，识别图像读取设备16可以是与识别图像读取设备21共同的。此外，参考图12说明的pc10a的配置、以及参考图35说明的功能可以直接应用于pc10e的配置和功能；因此，这里省略说明。例如，识别图像读取设备16的输出被馈送到pc10e的呈现控制单元(其等同于图35中的呈现控制单元210d)。

此外，db12e可以以与根据上述第二实施例的db12d相同的方式，彼此关联地存储声音模式和用户图像。更具体地，db12e包括用户图像db230和呈现图像db231，并且用户图像db230将用户图像、属性信息和声音模式信息与识别信息相关联地存储。

图42是示意性地显示了第二实施例的第一修改示例的操作流程图示例。在图42中的流程图的操作之前，根据例如上述图38的流程图，用户将用户图像、属性信息和声音模式信息与识别信息相关联地注册在用户图像db230中。

在步骤s240，pc10e基于从由识别图像读取设备16读取的介质40的图像中获取的识别信息，搜索db12e，并且确定与识别信息相关联的用户图像。

例如，用户将呈现识别图像41的介质40放置在识别图像读取设备16中。响应于由于用户的操作等导致的指令，识别图像读取设备16读取介质40的图像，并将所读取的图像发送到pc10e。pc10e对包括在从识别图像读取设备16发送的图像中的识别图像41进行解码以获取识别信息。然后，pc10e基于所获取的识别信息搜索包括在db12e中的用户图像db230，并确定与识别信息相关联的用户图像。

接下来，在步骤s241，pc10e基于从麦克风15馈送的声音信号获取声音模式，基于所获取的声音模式搜索db12e，并且确定与声音模式相关联的用户图像。

例如，用户通过利用例如朝向麦克风15拍手来生成通过与用户图像相关联而预先注册的声音模式。在声音信号从麦克风15输出之后，声音信号被输入到pc10e。如在图39的步骤s201所说明的，pc10e从所输入的声音信号中检测声音模式。然后，pc10e基于所检测的声音模式搜索包括在db12e中的用户图像db230，并确定与声音模式相关联的用户图像。

在下个步骤s242，根据在步骤s240和步骤s241的处理结果，pc10e将图像100中的通过共同使用识别信息和声音模式而确定的用户图像作为对象而呈现在3d空间中。

例如，pc10e将通过共同使用识别信息和声音模式而确定的用户图像、与来自包括在db12e中的用户图像db230的对应的属性信息一起获取。pc10e以与在图16的步骤s13的操作中相同的方式，基于属性信息来关于所获取的用户图像而确定参数p0至p7。然后，pc10e关于已经设置了参数p的用户图像而设置定义区域中的坐标，并将其与背景图像110组合以生成图像100。因此，与识别信息和声音模式共同相关联的每个用户图像作为用户对象而呈现在定义为定义区域的3d空间中。

示意性地说明了第二实施例的第一修改示例的应用的示例。假设使用根据第二实施例的第一修改示例的呈现系统1e的用户是例如父母和孩子用户(父母是用户a，而孩子是用户b)。用户a将呈现识别图像41的介质40放置在识别图像读取设备16中，并使得识别图像读取设备16读取介质40的图像。这里，优选的是，识别图像读取设备16被配置为检测到介质40被放置并且自动开始读取图像。

用户b通过利用例如在麦克风15附近拍手来生成预先注册的声音模式。因此，由于通过共同使用基于识别图像41的识别信息和声音模式而确定的用户图像导致的用户对象出现在图像100中。

利用此配置，作为父母的用户a可以看管作为孩子的用户b，并且，呈现系统1e可以基于介质40上的识别图像41确定与识别信息相关联的用户图像。因此，如果通过利用例如在麦克风15前面拍手等生成节奏，则可以确定与节奏相关联且与识别信息相关联的用户图像，并将其作为用户对象而呈现在图像100中。

例如，图像100的部分(优选地，右端和左端中的任一个)被预先设置为用户对象的重新进入区域。然后，为了使已经从图像100退出(例如，已经从图像100移出)的用户对象再次进入图像100，请求操作，例如，用户a将呈现识别图像41的介质40放置在识别图像读取设备16中，并且用户b以预先注册的节奏进行拍手；因此，可以引入游戏元素并且还可以培养用户b的节奏感。

第二实施例的第二修改示例

更优选的是，在图41所示的根据第二实施例的第一修改示例的呈现系统1e中，提供操作指南的pc被设置在识别图像读取设备16附近。图43显示了根据第二实施例的第二修改示例的提供用于操作指南的pc的呈现系统的配置的示例。这里，在图43中，对与上述图1和图41中的部分相同的部分应用相同的附图标记，并且省略详细说明。此外，从图43中省略了图1所示的图像获取设备20和识别图像读取设备21。

在图43中，通过将pc70添加到图41的呈现系统1e而获得呈现系统1e’。以与pc10e相同的方式，pc70可以基于从识别图像读取设备16输出的图像获取识别信息。此外，pc70可以从包括在db12e中的用户图像db230获取与识别信息相关联的用户图像、属性信息和声音模式信息的组合。

此外，由于参考图12说明的pc10a的配置可以直接应用于pc70，因此这里省略说明。

pc70可以从db12e获取与基于从识别图像读取设备16输出的图像的识别信息相关联的用户图像，并且可以将所获取的用户图像显示在包括在pc70中的监视器上。这里，pc70可以减小所获取的用户图像的尺寸以生成缩略图，并在监视器上显示缩略图的列表。

此外，例如，如果薄板50具有用于输入手绘区域43中的图像的名称的名称输入区域，则可以在监视器上显示在名称输入区域中输入的名称信息。例如，pc10e还从由图像获取设备20获取的薄板50的图像中提取名称输入区域的图像，并将所提取的图像作为名称信息，与用户图像、属性信息和声音模式信息一起与识别信息相关联地存储在db12e的用户图像db230中。pc10e可以对名称输入区域中的图像进行字符辨识，并使用所获取的字符串作为名称信息。pc70基于从识别图像读取设备16输出的图像，从db12e获取与识别信息相关联的名称信息，并在监视器上显示名称信息的列表。

此外，pc70可以从db12e获取与根据用户的操作从上述的缩略图或名称信息的列表指定的缩略图或名称信息对应的声音模式信息，并且向用户呈现所获取的声音模式信息作为要生成的声音模式的指南。声音模式的指南可以通过作为诸如音符的视觉信息而显示在监视器上来呈现给用户，或者，声音模式的指南可以通过根据声音模式生成声音来作为音频信息而呈现给用户。

此外，例如，传感器13可能检测用户b的位置，并且，在图像100中且对应于与识别信息相关联的用户图像的用户对象根据所检测的位置而运动。例如，如果用户b在图像100(被投影介质14)的前面向右或向左运动，则根据运动在行中运动由于与识别信息相关联的用户图像导致的用户对象。

此外，尽管上述实施例中的每个都是本发明的优选实施例，但这不是限制，并且在不脱离本发明的范围的情况下可以在范围内进行各种修改。

附图标记列表

1a、1d、1e、1e’呈现系统

10a、10b、10c、10d、10epc

11投影仪

12a、12ddb

13传感器

14被投影介质

15麦克风

16、21识别图像读取设备

20图像获取设备

40、40’介质

41识别图像

42属性设置区域

43手绘区域

44放置区域

45图画

50薄板

100图像

110背景图像

110a天空区域

110b陆地区有

111固定对象

112、1301至1303、131图标图像

1201至1204、12010至12013、12020至12027用户对象

200、200b、200c、200d图像分析单元

201注册单元

210a、210b、210c、210d呈现控制单元

230用户图像db

231呈现图像db

232添加操作db

233标志图像db

320第一层中的文件夹

3211、3212、3213、......、321m、321m+1、321m+2、......第二层中的文件夹

3221至3225第三层中的文件夹

330日志信息

420声音模式指定区域

421、421’模式指定区域

1001cpu

1003ram

1006存储装置

2001图像获取单元

2002用户图像提取单元

2003、2102识别信息获取单元

2004属性信息获取单元

2101、2101d图像管理单元

2103a、2103d图像控制单元

2104行动信息获取单元

2107组合单元

2108声音模式检测单元

2120呈现图像获取单元

引用列表

专利文献

ptl1：日本专利第4161325号