信息处理设备、信息处理系统、块系统和信息处理方法

信息处理设备、信息处理系统、块系统和信息处理方法
【专利摘要】信息处理设备(10)的核心信息接收区段(20)从用户所组装的块集合(120)中的第一块(142a)接收与核心的状态有关的信息。结构分析区段(22)基于由相机(122)所拍摄的图像以及与核心的状态有关的信息来标识块集合(120)的形状、姿态和位置。信息处理区段(30)根据块集合(120)的形状、姿态和位置或用户在输入设备(14)上进行的操作来执行预定信息处理。显示处理区段(32)生成将要作为信息处理的结果而显示的图像，并且将图像输出到显示设备(16)。驱动控制区段(34)发送用于控制块集合(120)的操作的信号。
【专利说明】
信息处理设备、信息处理系统、块系统和信息处理方法
技术领域
[0001]本发明涉及一种使用真实空间中的对象的信息处理技术。
【背景技术】
[0002]在各种领域中使用以下技术:通过一些手段测量与真实空间中的对象(例如，人、事物等)有关的参数、捕获参数作为进入计算机的输入值并且分析输入值且将输入值显示为图像。在计算机游戏的领域中，通过获取用户他本身/她本身或用户所握持的标记物的移动并且相应地在显示屏幕内移动虚拟世界中的角色来实现直观和容易的操作(例如，参见PTL I)。因此，期望将在屏幕显示器中反映真实空间中的对象的形状的移动或改变的技术不仅应用于游戏而且还应用于玩具、学习材料等(例如，参见NPL I)。
[0003][引文列表]
[0004][专利文献]
[0005][PTL IJffO 2007/050885 A2[000?][非专利文献]
[0007][NPL I]Posey:1nstrumenting a Poseable Hub and Strut Construct1n Toy,Michael Philetus Weller,Ellen Y1-Luen Do,Mark D Gross，Proceedings of theSecond Internat1nal Conference on Tangible and Embedded Interact1n，2008，pp.39-46

【发明内容】

[0008][技术问题]
[0009]为了产生现实的感觉并且使能在通过使用除了执行主操作的信息处理层之外的另一对象来使得信息处理得以进展的模式下的直观操作，如上所述，提供感知式供给是重要的。可以提供具有接近真实事物的形状(诸如例如，汽车的方向盘的形状、手枪的形状等)并且可以执行相似操作的设备，但该设备在使用方面受限。当设备的形状可变时，使用的范围加宽。然而，用于测量形状或移动的改变的发明物相应地变得必要。
[0010]在NPLI中所公开的技术中，例如，在部件的耦合部段中包括红外LED和接收红外LED的光的光电传感器，以测量部件的旋转角度，并且标识部件的形状。在此情况下，可测量的旋转角度是有限的，并且因而形状的可变范围也是有限的。此外，所有部件需要包括元件，使得制造成本增加。因此，设备的形式越灵活，用于测量设备的形式的机制就越复杂。因此，制造成本和处理成本倾向于增加。
[0011]已经鉴于这些问题而进行本发明。本发明的目的在于通过使用可以自由地形成的设备来实现不同且高级的表达。
[0012][问题的解决方案]
[0013]本发明的模式涉及一种信息处理设备。所述信息处理设备包括:结构信息接收区段，其从通过将单独制备的各块彼此耦合所形成的组装设备获取与通信块的结构有关的信息，所述组装设备包括具有通信机构并且被配置为能够发送与连接状态有关的信息的通信块以及与所述通信块不同的非通信块;结构分析区段，其通过以下操作来生成包括组装设备的整体的形状、位置和姿态的状态信息:从通过拍摄组装设备所获取的图像中获取组装设备的整体图像和位置，并且将组装设备的整体图像和位置和与通信块的结构有关的信息进行整合；以及信息处理区段，其基于状态信息来执行信息处理。
[0014]本发明的另一模式涉及一种信息处理系统。所述信息处理系统是一种包括以下的信息处理系统:组装设备，包括能够彼此耦合的多个块；以及信息处理设备，其基于来自组装设备的输入信号来执行信息处理;所述组装设备包括具有通信机构并且被配置为能够发送与各块之间的连接状态有关的信息的通信块以及与所述通信块不同的非通信块，并且所述信息处理设备包括:结构信息接收区段，其从组装设备获取与通信块的结构有关的信息，结构分析区段，其通过从通过拍摄组装设备所获取的图像中获取组装设备的整体图像和位置并且将组装设备的整体图像和位置和与通信块的结构有关的信息进行整合来生成包括组装设备的整体的形状、位置和姿态的状态信息；以及信息处理区段，其基于状态信息来执行信息处理。
[0015]本发明的又一模式涉及一种块系统。所述块系统是一种包括能够彼此耦合的多个块的块系统，所述多个块包括:通信块，其具有能够向和从另一块发送和接收与各块之间的连接状态有关的信息的通信机构；以及与所述通信块不同的非通信块，所述通信块中的至少一个还包括将与通信块的结构有关的信息发送到外部信息处理设备的通信机构，所述与通信块的结构有关的信息是通过整合与连接状态有关的信息而形成的，以便所述信息处理设备通过整合所述与通信块的结构有关的信息和从所述块系统的拍摄的图像中所获取的信息来生成包括所述块系统的形状、位置和姿态的状态信息。
[0016]本发明的又一模式涉及一种信息处理方法。所述信息处理方法包括以下步骤:从通过将单独制备的各块彼此耦合所形成的组装设备获取与通信块的结构有关的信息，所述组装设备包括具有通信机构并且被配置为能够发送与连接状态有关的信息的通信块以及与所述通信块不同的非通信块;通过以下操作来生成包括组装设备的整体的形状、位置和姿态的状态信息:从通过拍摄组装设备所获取的图像中获取组装设备的整体图像和位置，并且将组装设备的整体图像和位置和与通信块的结构有关的信息进行整合，并且将状态信息存储在存储器中；以及从存储器读取状态信息，并且基于状态信息来执行信息处理。
[0017]注意，通过在方法、设备、系统、计算机程序、记录计算机程序的记录介质等之间转换本发明的表达而获取的以上构成要素和模式的任何组合作为本发明的模式也是有效的。
[0018][本发明的有利效果]
[0019]根据本发明，能够使用可以自由地形成的设备来实现不同且高级的表达。
【附图说明】
[0020]图1是描绘可以应用本实施例的信息处理系统的配置的示例的图。
[0021]图2是描绘本实施例中的块集合的外部外观的示例的图。
[0022]图3是仅描绘图1中所描绘的块集合中的通信块的结构的图。
[0023]图4是示意性地描绘本实施例中的核心的中心轴(该中心轴是推导的)的图。
[0024]图5是示意性地描绘本实施例中的块集合中所包括的通信块的内部配置的示例的图。
[0025]图6是详细描绘本实施例中的块集合和信息处理设备的配置的图。
[0026]图7是示意性地描绘本实施例中的块集合中的信息发送路径和所发送的信息的示例的图。
[0027]图8是描绘本实施例中的关于通信块的基本信息的数据的结构的示例的图。
[0028]图9是辅助解释本实施例中的标识包括非通信块的块集合的状态的基本处理的图。
[0029]图10是描绘本实施例中的关于非通信块的基本信息的数据的结构的示例的图。
[0030]图11是辅助解释本实施例中的以时间演进方式标识块集合的形状的处理的图。
[0031]图12是辅助解释本实施例中的标识其结构发生改变的块集合的形状的处理的图。
[0032]图13是辅助解释本实施例中的标识由于核心的接头角度的改变而修改的块集合的形状的处理的图。
[0033]图14是描绘本实施例中的用于标识包括非通信块的块集合的状态的处理过程的流程图。
[0034]图15是示出可以在本实施例中实现的块集合与显示器之间的关系的图。
[0035]图16是示出本实施例中的在对块集合设置外部外观的情况下的块集合与显示器之间的关系的图。
[0036]图17是示出在本实施例中的在一个3D对象与组装的块集合关联的情况下的块集合与显示器之间的关系的图。
[0037]图18是示出本实施例中的对于将块集合和3D对象的移动彼此关联所必需的信息的图。
[0038]图19是描绘在本实施例中的信息处理设备将块集合的移动和3D对象的移动彼此关联的处理过程的流程图。
[0039]图20是描绘被显示在显示设备上以在图19中的S46中接收由用户输入的模型选择的屏幕的示例的图。
[0040]图21是描绘被显示在显示设备上以在图19中的S48中设置对于块集合和所选择的模型共用的坐标系统的屏幕的示例的图。
[0041 ]图22是描绘在本实施例中的当由两个块创建对象时的块集合以及在注册的时间的显示屏幕的过渡的示例的图。
[0042]图23是示出在本实施例中的彼此关联的接头在一对一的基础上按相同角度移动的情况的图。
[0043]图24是描绘在本实施例中的在两个分组的接头与一个接头关联的情况下的各个接头的角度之间的对应的示例的图。
[0044]图25是描绘在本实施例中的在两个接头被分组并且与一个接头关联的情况下的各个接头的角度之间的对应的另一示例的图。
[0045]图26是示出在本实施例中的使得在一对一的基础上彼此关联的接头的角度的改变不同的情况的图。
[0046]图27是描绘在本实施例中的块集合的一个接头与3D对象的多个接头关联的示例的图。
[0047]图28是描绘被显示在显示设备上以在图19中的S52中设置块集合和3D对象的移动之间的对应的屏幕的示例的图。
[0048]图29是描绘在本实施例中的关于块集合和3D对象的对应位置以及各个对应位置的移动之间的对应的信息的数据结构的示例的图。
[0049]图30是描绘在本实施例中的用于设置3D对象和块集合的移动之间的对应的处理过程的流程图。
[0050]图31是辅助解释本实施例中的与块集合的轮有关的设置扩展为合成链路的情况的图。
【具体实施方式】
[0051]在本实施例中，组装或修改多个块，并且块的形状、姿态和位置被用作用于信息处理的输入值。也就是说，这些块可以看作用于信息处理设备的输入设备。此外，存在这样的情况:改变所组装的块的形状、姿态和位置，以便反映由信息处理设备所执行的处理的结果。在此情况下，块被看作用于信息处理设备的输出设备。虽然由信息处理设备所执行的处理在此情况下并非特别地受限，但稍后将示出其优选模式。这些块的联合或块的组装将在下文中统称为“块集合”。此外，如稍后将描述的那样，块集合可以包括与一般意义上的块不同的对象(诸如，模仿服装饰品、粘土工件等的事物)，并且对象的形状和材料不受限。包括这些对象的块将在下文中被称为“±夬”。
[0052]图1描述可以应用本实施例的信息处理系统的配置的示例。信息处理系统2包括:块集合120;相机122，对块集合120进行成像;信息处理设备10，其作为输入设备或输出设备执行与块集合120的预定信息处理;输入设备14，其接收对于信息处理设备10的用户操作；以及显示设备16，其将信息处理设备所输出的数据作为图像进行显示。
[0053]信息处理设备10可以是例如游戏设备或个人计算机，并且可以通过加载必要的应用程序来实现信息处理功能。显示设备16可以是普通显示器(诸如，液晶显示器、等离子体显示器、有机EL显示器等)。显示设备16也可以是包括这些显示器之一以及扬声器的电视机。输入设备14可以是普通输入设备之一(诸如，游戏控制器、键盘、鼠标、操纵杆、显示设备12的屏幕上所安置的触摸板，或其任何组合)。
[0054]信息处理设备10对相机122、输入设备14和显示设备16的连接可以通过有线或无线电来进行，并且可以经由各种网络来进行。可替换地，可以整体地组合并且提供相机122、信息处理设备10、输入设备14和显示设备16中的两个或更多个或全部。此外，相机122并不一定需要安装在显示设备16上。取决于由信息处理设备10所处理的内容，可以存在多个块集合120。块集合120和信息处理设备10使用蓝牙(注册商标)协议、IEEE 802.11协议等来建立无线连接。可替换地，块集合120中的一个块和信息处理设备10可以经由缆线彼此连接。
[0055]如上所述，根据本实施例的块集合120可以用作用于信息处理设备10的输入设备，或可以用作用于信息处理设备10的输出设备。具体地，在前一情况下，信息处理设备10使用用户改变块集合120的位置、姿态或形状的结果作为输入值来执行信息处理，并且将处理的结果作为图像显示在显示设备16上。在后一情况下，信息处理设备10根据由用户进行的输入设备14的操作来执行信息处理，并且作为信息处理的结果而移动块集合120本身。本实施例可以被配置为能够实现这两个模式，或可以被配置为仅能够实现模式之一。
[0056]图2描述构成块集合的个体块的外部外观的示例。在本实施例中，块粗略地分类为两个种类。一种是被配置为能够与另一块或信息处理设备10进行通信的块。另一种是没有通信装置的块。下文中，前者将被称为“通信块”，而后者将被称为“非通信块”。除了用于与另一块进行通信的机制之外，通信块还可以包括测量物理量(诸如，块的取向、角度、位置等)的各个种类的传感器。
[0057]无论块是通信块还是非通信块，如附图中所描述的那样，块都可以具有各种形状(诸如，四边形棱柱块102a、102b和102c、立方体块102d、圆形圆柱块102f和102k、球形块102e、板形块1021、矩形平行六面体块102j等的形状)。每个块配备有预定尺寸和形状的突出部段104和凹入部段106。通过将突出部段104插入到凹入部段106中，可以在期望的位置处将各块彼此耦合。可替换地，至于矩形平行六面体块102j、圆形圆柱块102k等，块可以配备有具有可以将另一块本身装配进去并且由此能够包含所述另一块的形状的凹入部段
107。
[0058]块集合还可以包括接头块102g和102h，其具有可以插入到不同块的凹入部段106中以调整彼此耦合的各块之间的间隔的两末端。此外，接头块可以能够通过旋转等来改变彼此连接的各块之间的位置和姿态关系。
[0059]通信块的突出部段104和凹入部段106还具有使得能够在各块之间进行信号传输的终端的作用。为此，相应部段的末端配备有具有符合块内所提供的标准或总线等的结构的连接器。可以通过采用一般使用的各个种类的连接器或提供专用特殊连接器来同时实现各块之间的信号传输和物理耦合。此外，当可以分开地制备信号传输的路径并且可以分开地标识耦合位置时，用于将各块彼此连接的手段不限于突出部段104与凹入部段106之间的耦合，而是可以通过钩环紧固器、磁体、粘接带、粘合剂等得以实现。分开地制备路径的信号传输的路径可以是无线电通信的机制。
[0060]此外，通信块的某些块(在图2的情况下，四边形棱柱块102b)可以包括两个块:弯曲和伸展杆110，其使得两个块能够弯曲且伸展；以及电位计，其检测各块之间所形成的角度。顺便一提，除了如附图中所描述的穿透一个块的弯曲和伸展杆110的两末端与另一块的突出接合的形式之外，弯曲和伸展机构可以是两个块通过铰链、能够弯曲且伸展的金属等彼此耦合的形式，或可以是具有多个自由度的机构(该机构类似于球体接合玩偶等中的接头)，并且并非特定地受限于此。可以使得各块之间的角度可连续地改变，或可以使得其可按多个步长改变。此外，杆的取向不限于附图中所描述的取向。
[0061]甚至在用户将手从块拿开之后，也优选地保持作为构成元件的各块之间的角度。顺便一提，可以通过与电位计不同的角度传感器来测量各块之间的角度。例如，当一块在其内包括测量对于另一块的相对角度的传感器时，块并不一定需要彼此连接。此外，如稍后所描述的，一个块可以被配置为:能够弯曲且伸展，或能够旋转，并且可以测量块的弯曲和伸展角度或旋转角度。
[0062]下文中，用于这样使得角度可变的机构可以被称为“接头”，并且其相对角度根据接头的移动而改变的两个块可以被称为“链接”。此外，可以根据来自信息处理设备10的请求使得这样具有接头的通信块的接头角度可控制。在此情况下，通信块配备有用于控制接头角度的致动器(诸如，伺服电机等)。
[0063]此外，通信块的某些块(在图2的情况下，板形块102i)可以具有从侧表面突出的可旋转杆109。安装在多个杆109上的轮使得块能够如在车辆的情况下那样移动。可以通过由用户推动块来实现移动，或可以根据来自信息处理设备10的请求来实现移动。在后一情况下，通信块配备有用于旋转杆的致动器(诸如电机等)。在杆109为轮轴的情况下，可以提供用于改变轮的取向的机构(诸如齿条或齿轮等)，并且还根据来自信息处理设备10的请求使得该机构可由致动器控制。
[0064]此外，通信块的某些块在其内包括加速度传感器、陀螺仪传感器、地磁传感器等之一或多个加速度传感器、陀螺仪传感器、地磁传感器等的组合以及运动感测功能(诸如，使用相机和附接到对象的标记物或对象的形状本身等来跟踪姿势的方法)。根据将要通过使用块集合实现的信息处理来确定要包括传感器的块以及要被包括的传感器的种类和组合。可替换地，在组装之时用户从各种变型中选择要包括传感器的块以及要被包括的传感器的种类和组合。
[0065]此外，通信块的某些块(在图2的情况下，四边形棱柱块102a)可以配备有标记物
108。标记物108用于在待稍后描述的相机所拍摄的图像中根据标记物108的位置和尺寸标识三维空间中的位置。因此，标记物108被形成为如下这样:具有可以通过匹配处理等从所拍摄的图像检测出的尺寸、形状和色彩。例如，标记物108可以是包含光学透明球形树脂内的普通发光主体(诸如发光二极管、电灯泡等)的球形主体，或者标记物108可以是条形码、二维码等。当多个块配备有标记物108时，标记物108可以在色彩方面随着块而变化。
[0066]典型地通过合成树脂来形成通信块和非通信块的外壳。然而，通信块和非通信块的外壳的材料并不受限，且可以是金属、玻璃等。因为非通信块具体地不包括通信机构等，所以可以自由地确定非通信块的材料、形状和尺寸。例如，非通信块可以是各个种类的部件(诸如，使用布料创造的衣服、使用橡胶创造的玩偶的头等)，或可以是附加事物(诸如，武器、饰物等)。用户他本身/她本身可以制作非通信块。非通信块可以是例如通过切削橡皮擦、粘土工件、以纸张制成的工件、以折叠纸张制成的工件等所形成的实心主体。此外，非通信块可以是例如具有通过从通信块或显示图像的显示设备受激励而发射预定色彩的光的LED的块。
[0067]根据本实施例的信息处理设备10通过互补地使用关于块集合的骨架形状、姿态等的信息(该信息可以通过与通信块的通信来获取)以及关于由相机122所拍摄的外部形状的信息以高准确度标识块的状态。因此，可以通过使用非通信块来自由地表示块集合的外部外观。例如，具有包括通信块的形状的块(诸如，图2中的矩形平行六面体块102j或圆形圆柱块102k)可以被实现为非通信块。
[0068]图3仅描述图1中所描述的块集合120的通信块的结构。具体地，通过从图1的块集合120排除作为非通信块的矩形平行六面体块102j和圆形圆柱块102k并且由图2中所描述的四边形棱柱块102a和102b、立方体块102d以及接头块102h来形成附图中的块集合120a。在各块中，四边形棱柱块102b中的较低块和立方体块102d分别被图1中的块集合120中的作为非通信块的矩形平行六面体块102j和圆形圆柱块102k所包含。因而四边形棱柱块102b中的较低块和立方体块102d从外部不可见。这些通信块所构成的结构也可以被看作构成整个块集合120的骨架。由所组装的块集合120中的通信块构成的部件将在下文中被称为“核心(core)，，。
[0069]本实施例通过由构成核心的通信块中所包括的运动传感器和电位计检测必要参数，来高效地计算块集合120的姿态和形状。例如，在图3中的块集合102a的情况下，可以基于以下而推导每个块的取向并且进而推导块集合120的中心轴的形状和姿态:(I)每个块的耦合位置以及块的种类；(2)四边形棱柱块102a或102b的倾斜矢量ml; (3)构成四边形棱柱块10213的两个块之间的角度0;以及(4)相应块的长度1^、1^丄3丄4和1^5。
[0070]假定在各块之间由信号传输标识上述(I)和(4)并且可以由电位计测量上述(3)，那么在四边形棱柱块102a或102b中包括运动传感器以测量上述(2)是必要且充分的。可替换地，选择包括运动传感器的块作为四边形棱柱块102a或102b是充分的。
[0071]此外，通过使用由相机122所拍摄的图像来标识真实世界的三维空间中的块集合的位置坐标。在此，当相机122是立体相机时，可以获取相对于相机122的深度方向以及相机的场平面所形成的三维空间中的块集合的绝对位置。通过使用由立体相机从彼此不同的左视点和右视点所拍摄的图像中的视差根据三角测量原理来获取三维空间中的对象的位置的技术是众所周知的。可以使用与双目立体影像不同的深度或三维信息获取装置来替代立体相机。例如，可以使用视点移动相机，或可以通过使用红外辐射机制和检测反射光的红外传感器的飞行时间(TOF)的方法来标识块集合的位置。可以在放置块集合120的台座的顶部表面上提供触摸面板，并且可以由触摸面板来检测块集合120被放置的位置。
[0072]可替换地，如附图中所描述的，当使用配备有标记物108的四边形棱柱块102a时，可以基于由单目相机122所拍摄的静止图像或运动图像的帧图像来标识位置。当标记物108是具有已知的色彩、亮度和尺寸的发光主体时，如上所述，可以从所拍摄的图像中容易地检测出标记物的图像。然后，可以从所拍摄的图像中的标记物的图像的位置和尺寸来标识三维空间中的标记物的位置坐标(Xl，yl，zl)。在采用其它标记物的情况下，可以应用普通图像识别技术(诸如模式匹配、特征点提取等)。在块集合120移动并且移动的块集合120被拍摄为移动图像的情况下，可以通过应用现有跟踪技术来执行有效率的检测。
[0073]顺便一提，标记物108可以是发射不可见光(诸如红外线等)的设备。在此情况下，分开地引入检测不可见光的设备以检测标记物108的位置。相似地，可以使用深度传感器、超声传感器、声音传感器等。可以通过组合上述绝对位置检测方法中的两个或更多个来计算最终位置坐标。图4示意性地描述这样推导的核心的中心轴。如附图中所描述的，标识三维空间中的中心轴124的位置、姿态和形状。三维空间可以是相机122的相机坐标系统，或可以是相机122的相机坐标系统所转换的期望坐标系统。核心或块集合的位置、姿态和形状可以在下文中统称为“状态”。
[0074]图5示意性地描述通信块的内部配置的示例。可以通过提供各种变型作为块的内部配置而根据用途来正确地使用块，如上所述。此外，当提供被假设为对于标识核心的状态是必要的传感器以便分布在多个块中时，可以避免过多包括传感器，并且因而可以减少制造成本。
[0075]在图5的示例中，块126a包括电池128a、通信机构130a、存储器132a、位置传感器134以及运动传感器136a。假设在此情况下，通信机构130a不仅包括经由连接终端从另一块接收信号的有线通信机构，而且还包括执行与信息处理设备10的无线电通信的机构。存储器132a保存块126a的标识编号。标识编号与信息处理设备10中的信息(诸如块126a的尺寸、块126a的凹入部段或突出部段的位置等)关联。对相同种类的块可以给出相同的标识编号。可替换地，标识编号可以是对于每个块唯一设置的，以便可用于所组装的块集合内的信号传输的路由等。
[0076]位置传感器134是用于获取块126a的绝对位置的传感器。位置传感器134还包括用于图像识别的标记物。然而，在标记物的情况下，由标记物和安装在外部的相机122的组合来检测绝对位置，如上所述。运动传感器136a是加速度传感器、陀螺仪传感器和地磁传感器以及使用相机的方法等之一或其中的两个或更多个的组合，如上所述。
[0077]块126b包括电池128b、通信机构130b、存储器132b以及运动传感器136b。该机构可以与块126a的上述机构相似。然而，可以仅通过从另一块接收信号的有线通信机构来形成通信机构130b。这样的块与能够与信息处理设备10进行通信的块126a结合使用。同样的情况对于其它块的通信机构成立。
[0078]块126c包括电池128c、通信机构130c、存储器132c、角度传感器138以及致动器139a。块126c是具有接头的通信块(诸如图2中的四边形棱柱块102b)。角度传感器138是检测接头角度的传感器(诸如电位计等)。致动器139a根据来自信息处理设备10的控制信号来改变接头角度。与致动器的种类对应的普通技术可以适用于根据控制信号来驱动致动器。
[0079]块126d包括电池128d、通信机构130d、存储器132d、旋转式编码器141以及致动器139b。块126d是具有向外突出的可旋转杆的通信块(诸如图2中的板形块102i)。当块126d与轮装配时，块126d本身可以手动或自动地推进。可替换地，可以提前整体地提供杆和轮。
[0080]旋转式编码器141是检测轮的旋转量的传感器。致动器139b是根据来自信息处理设备10的控制信号来旋转轮的电机等。块126e包括通信机构130e和存储器132e。也就是说，块126e既不包括电池，也不包括传感器。因此，块126e与包括电池的另一块126a或126b组合来进行使用。
[0081]顺便一提，图5的通信块仅为示例，并且可以通过任何方式组合各个种类的传感器或其它机构。例如，可以不仅提供接头和轮轴而且还提供改变转向方向并且移置(displace)块的一部分的机构作为块集合的移动部件。可以由根据来自信息处理设备10的控制信号而驱动的致动器来移动这些机构。此外，可以提供LED或显示设备。可以提供对所连接的非通信块进行激励的机构。另外，除了附图中所描述的传感器之外，还可以包括实际使用中的任何传感器。
[0082]以如图2中所描述的各种形状来制备具有这些各种内部配置的通信块。可以制备相同种类的多个块。可替换地，所有块可以具有统一的形状和统一的尺寸，或可以具有统一的内部配置。当形状和内部配置变化时，可以单独地购买各个种类的块，可以根据每个个体用户的使用以最小成本来灵活地组装期望的块集合。可以首先提供能够组装的基本块集合，并且此后可以购买附加块。
[0083]图6详细描述块集合120和信息处理设备10的配置。待描述为执行图6中的各种处理的功能块的元件可以在硬件方面由中央处理单元(CPU)、存储器或另一 LSI来配置，或在软件方面由加载到存储器等中的程序来实现。此外，如上所述，块集合120中的块包括通信机构、存储器、各个种类的传感器以及致动器。因此，本领域技术人员应当理解，这些功能块可以通过仅硬件、仅软件或其组合以各种形式实现，并且不限于任何形式之一。
[0084]如上所述，由用户通过选择和组装每个块来形成块集合120。图6描述所组装的块集合中的核心的部件的功能块。构成核心的通信块被设置为第一块142a、第二块142b、第三块142c……等。为了防止信息的复杂化，在形成块集合120的通信块当中，基本上仅一个块建立与信息处理设备10的通信。相应地对第一块142a赋予集线器的作用。然后，以至第一块142a的最远连接关系中的通信块开始来传输信息，并且在第一块142a中聚合关于整个核心的信息。
[0085]下文中，在块的连接中相对靠近第一块142a的块将被称为“较高级别”块，在块的连接中相对远离第一块142a的块将被称为“较低级别”块。可以提前确定要被设置为第一块142a的一个块。可替换地，具有与信息处理设备10进行通信的机构的块可以配备有附图中未描述的开关等，并且其开关由用户打开的块可以被设置为第一块142a。可替换地，在组装级中首先建立与信息处理设备10的通信的块可以被设置为第一块142a。
[0086]当用户将另一通信块耦合到这样确定的第一块142a时，该块变为第二块142b。当又一通信块耦合到第二块142b时，该块变为第三块142c。顺便一提，虽然附图仅描述三个通信块，但构成核心的通信块的数量并不受限。可以以相似的方式来考虑一个通信块或四个或更多个通信块的配置和操作。
[0087]第一块142a、第二块142b和第三块142c分别包括第一通信区段143a、143b和143c、元件信息获取区段144a、144b和144c以及第二通信区段146a、146b和146c。第二块142b还包括驱动区段148。然而，可以在任何其它通信块中提供驱动区段148。第一通信区段143a、143b和143c接收从直接连接到第一通信区段143a、143b和143c的较低级别块所发送的信息。在此情况下接收到的信息包括在比对应块更低的级别处连接的块的标识编号、耦合位置的标识编号以及由内置传感器进行的测量的结果。当多个块彼此耦合时，信息沿着从最低级别块通过块的每个通路而叠加。
[0088]元件信息获取区段144a、144b和144c包括对应块中内置的传感器以及在用于连接其它块的位置处所设置的终端。元件信息获取区段144a、144b和144c获取与传感器进行的测量的结果以及较低级别块连接到的位置有关的信息。第二通信区段146a、146b和146c将由对应块的元件信息获取区段144a、144b和144c所获取的信息添加到由第一通信区段143a、143b和143c所接收的信息，由第一通信区段143a、143b和143c所接收的信息包括较低级别块的标识编号、耦合位置的标识编号以及由内置传感器进行的测量的结果。第二通信区段146a、146b和146c将所得的信息作为信号发送到直接连接的较高级别块。然而，第一块142a的第二通信区段146a将信息发送到信息处理设备10。此外，第二通信区段146a例如通过从信息处理设备10接收处理开始和结束请求信号、建立通信所必需的各个种类的信号、用于驱动块集合的致动器的控制信号等来用作与信息处理设备10的接口。
[0089]当从信息处理设备10发送用于驱动致动器的控制信号时，信号依次从第一块142a传送到较低级别块。具体地，相应块的第一通信区段143a、143b和143c将信号发送到直接连接的较低级别块。相应块的第二通信区段146b和146c从直接连接的较高级别块接收信号。第二块142b的驱动区段148包括改变接头角度或使轮轴旋转的致动器。当在从较高级别块发送的控制信号中将第二块142b指定为待驱动的对象时，驱动区段148以与控制信号对应的量来移动致动器。
[0090]信息处理设备10包括:核心信息接收区段20，其从块集合120中的第一块142a接收与核心的状态有关的信息;结构分析区段22，其基于由相机122所拍摄的图像以及与核心的状态有关的信息来标识块集合120的形状、姿态和位置;信息处理区段30，其根据块集合120的形状、姿态和位置或输入设备14上的用户操作来执行预定信息处理;显示处理区段32，其生成待显示为信息处理的结果的图像，并且将图像输出到显示设备16;以及驱动控制区段34，其发送用于控制块集合120的操作的信号。信息处理设备10还包括:块信息存储区段24，其存储与个体块有关的信息;模型数据存储区段26，其存储待显示在显示设备16上的3D对象的模型数据；以及对应信息存储区段28，其存储块集合和3D对象的部件与移动之间的对应信息。
[0091]核心信息接收区段20接收包括与构成核心的通信块的标识编号、通信块的耦合位置以及由内置传感器进行的测量的结果有关的信息的信号，所述信息由块集合120中的第一块142a聚合。结构分析区段22从相机122获取通过对块集合120进行拍摄所获取的运动图像或静止图像的数据。然后，将由核心信息接收区段20接收到的信息以及从所拍摄的图像获取的信息进行整合，以标识整个块集合120的位置、姿态和形状。来自块集合120的信号以及来自相机122的图像数据是瞬时输入的。因此，假设在来自块集合120的信号与来自相机122的数据之间建立时间上(temporal)的对应。然而，取决于必要的时间上的分辨率，可以执行同步处理等。
[0092]结构分析区段22基于来自核心信息接收区段20的信息来标识块集合120的核心的形状和姿态。例如，基于构成核心的通信块的标识编号来推导关于图3中的LI至L5的信息。此外，根据真实耦合位置的标识编号以及角度传感器的信息来标识各块之间所形成的耦合位置和角度。此外，从运动传感器的信息推导图3中的矢量ml。基于从相机122发送的所拍摄的图像、从所拍摄的图像生成的深度图像等，来标识与三维空间中的块集合120的位置以及包括非通信块的块集合120的表面形状有关的信息。
[0093]此时，从图像中检测核心中所包括的通信块的图像(诸如例如图3中的标记物108等)。将标记物108设置为基准部件，并且从深度图像等推导标记物108的位置。然后，可以根据从基准部件连接的核心的结构(诸如图4中的中心轴124)以及非通信块的图像与基准部件的图像的位置关系，来标识核心与非通信块之间的位置关系并且进而标识整个块集合的位置、姿态和形状。当以预定频率执行该处理时，甚至可以实时地识别处于正在被用户组装的过程中的块集合的结构。
[0094]块信息存储区段24存储关于用作块集合的各块的基本信息。在通信块的情况下，基本信息是将提前给予块的标识编号关联于与形状、尺寸和其它块可以连接的位置有关的信息的信息。在非通信块的情况下，基本信息是将提前给予块的标识编号关联于外部特征(诸如色彩、图案、材料、纹理等)的信息。在非通信块的情况下，这些外部特征越详细，标识块的准确度就越高。然而，当由信息处理设备10所执行的信息处理不要求标识每个非通信块时，无需存储关于非通信块的信息。
[0095]信息处理区段30执行将要根据块集合120的状态而执行的处理，该状态由结构分析区段22或经由输入设备14的用户操作来标识。例如，在组装块集合120之后，显示表示块集合的形状的3D对象或与块集合关联的模型的3D对象。然后，使得所显示的3D对象根据块集合120的移动而移动。可替换地，开始计算机游戏，并且使其根据经由输入设备14的用户操作而进展，并且块集合120根据计算机游戏的进展而移动。
[0096]为此，模型数据存储区段26存储由信息处理区段30呈现在显示设备16上所显示的对象模型所需的数据。该对象模型可以是提前设计的(诸如游戏中出现的角色等)，或可以由用户根据所组装的块集合来创建。信息处理区段30进一步执行用于将块集合与对象的部件(诸如接头、轮等)彼此关联并且进一步将块集合和对象二者的部件的移动彼此关联的处理。此时，信息处理区段30可以设置所有对应，或可以显示允许用户建立关联并且接收设置输入的设置屏幕。可替换地，它们可以酌情地彼此组合。对应信息存储区段28存储与部件和移动的这样设置的对应关系有关的信息。
[0097]因此，甚至当用户自由地创建块集合时，不仅块集合的位置而且还有形状和姿态可以与屏幕上的对象互锁(interlock)。例如，可以在真实世界中的块集合中反映游戏的世界，或可以在虚拟世界中的角色中反映块集合的移动。此时，块集合和对象二者的移动并不一定需要彼此完全相同，而是允许通过关联移动来设置各种改变。此外，并不需要实时地反映移动。例如，当存储由用户随时间的流逝而移动的块集合的状态的改变时，可以实现对应对象再现任意时刻的移动的模式。反过来，可以通过简单的操作来创建计算机游戏或动画中的角色的移动。
[0098]在信息处理设备10移动块集合120的模式下，驱动控制区段34根据来自信息处理区段30的请求将控制信号发送到块集合120。具体地，所发送的信号取决于控制系统而变化，并且可以酌情地采取机器人等领域中所普遍使用的技术。所发送的控制信号由块集合120中的第一块142a的第二通信区段146a接收，并且通过块集合120内的信号传输反映在目标块(在图6的情况下，第二块142b)中的驱动区段148的操作中。可替换地，控制信号可以通过无线电通信等直接发送到目标块。
[0099]显示处理区段32创建图像数据以作为信息处理区段30所执行的处理的结果，并且将图像数据显示在显示设备16上。在显示根据块集合120的移动而移动的对象的示例中，以显示设备16的输出帧速率呈现对象以便与块集合120的移动对应，并且输出对象作为显示设备16上的视频信号。可以将普通计算机图形技术应用于呈现处理本身。显示处理区段32进一步在显示设备16上显示用于设置块集合120和对象的部件和移动的彼此的关联的屏幕。在信息处理区段30进行所有关联的情况下，可以显示用于用户检查或校正所设置的对应的屏幕。此外，显示处理区段32酌情地显示与信息处理区段30正在执行的信息处理对应的图像(诸如游戏屏幕等)。
[0100]图7示意性地描述块集合120中的信息传输路径以及所发送的信息的示例。在信息传输路径150中的在其内写入数字的每一个圆圈表示块。各圆圈之间的直线表示块彼此耦合的状态。此外，将圆圈内的数字设置为相应块的标识编号。具有标识编号“I”的块与图6中的第一块142a对应，并且建立与信息处理设备10的通信。此外，图7中的具有标识编号“2”和“3”的块与具有标识编号I的块串行连接，并且可以因此被看作分别与图6中的第二块142b和第三块142c对应。
[0101]另一方面，多个块可以耦合到一个块。在图7的示例中，具有标识编号“2”的块和具有标识编号“5”的块连接到具有标识编号“I”的块。如上所述，具有标识编号“3”的块和具有标识编号“4”的块与具有标识编号“2”按此顺序串行连接。具有标识编号“6”的块和具有标识编号“7”的块彼此与具有标识编号“5”的块并行连接。在本示例中，没有标识编号的块进一步连接到具有标识编号“6”的块，并且具有标识编号“8”的块连接到没有标识编号的块。没有标识编号的块在此情况下与非通信块对应。
[0102]如上所述，信息基本上从较低级别块发送到较高级别块。图7描述所发送的信息的内容以及指示发送方向的箭头。从具有标识编号“3”的块发送到具有标识编号“2”的块的信息例如被表达为[3: J2(4)]。这是采用格式“自己的标识编号:提供给块的连接位置的标识编号(被连接到连接位置的块的标识编号)”所形成的信号，并且指示将具有标识编号“4”的块连接到标识编号“3”的连接位置当中的具有标识编号“J2”的位置。然而，附图既不限制信息的格式也不限制内容。
[0103]可以通过由具有集线器的作用的块通过搜索将块彼此耦合所形成的网络而执行的排序等，来确定与较高级别的块对应的方向。可以将构成普通信息处理系统的设备树中的连网技术应用于该过程。
[0104]图7中具有标识编号“4”的块在具有标识编号“4”的块所属的连接序列中处于最低级别。因此具有标识编号“4”的块将信息发送到紧接上方的级别处的具有标识编号“3”的块。假设没有其它块连接到具有标识编号“4”的块、具有标识编号“4”的块的连接位置唯一地标识、并且具有标识编号“4”的块不包括任何传感器，那么所发送的信息仅为标识编号“4”的块本身，并且因此所发送的内容被表达为“[4。指示既不存在传感器测量结果也不存在连接的块。
[0105]当具有标识编号“3”的块已经从标识编号“4”接收到信号时，具有标识编号“3”的块向紧接上方的级别处的具有标识编号“2”的块发送通过将作为连接位置的标识编号的、已经从标识编号“4”等接收到信号的终端的编号关联于标识编号“4”并且进一步将块本身的标识编号“3”关联于标识编号“4”而获取的信号。该信号的所发送的内容是[3: J2(4)]，如上所述。具有标识编号“2”的块类似地生成通过将自己的标识编号关联于连接位置的标识编号(在附图的示例中，“J5”)和所连接的块的标识编号“3”而获取的信号(S卩[2: J5(3)])。此外，假设具有标识编号“2”的块包括传感器，那么具有标识编号“2”的块还生成通过将指示传感器的测量的结果的信号关联于自己的标识编号而获取的信号。在附图的示例中，测量结果被表达为“结果”。然而，实际上，根据传感器的类型来替换具体数值。
[0106]具有标识编号“2”的块将这样生成的数据以及从较低级别块发送的数据(S卩[3:J2
(4)])发送到紧接上方的级别处的具有标识编号“I”的块。然而，不一定总是同时发送这些信号。例如，当曾经发送的信号的内容改变时，可以仅发送关于改变的信息。同时，假设连接到具有标识编号“5”的块的具有标识编号“6”和“7”的块不包括传感器、并且具有标识编号“6”和“7”的连接位置唯一地标识，那么从这些块将信号[6:-]和[7:-]分别发送到具有标识编号“5”的块，如具有标识编号“4”的块的情况。具有标识编号“6”的块与又一块连接。然而，该块是非通信块，并且因此从非通信块不获取信息。
[0107]具有标识编号“5”的块生成通过将自己的标识编号关联于连接位置的标识编号和所连接到的块的标识编号而获取的信号，并且将该信号发送到紧接上方的级别处的具有标识编号“I”的块。当如附图中所描述的多个块连接时，这些块共同由[5: J3(6)，J8(7)]等指示。在此，“J3”和“J8”是具有圆括号中的标识编号的块所连接到的连接位置的标识编号。
[0108]关于块集合的核心的信息被这样聚合在具有标识编号“I”的块中。至于其它块，具有标识编号“I”的块生成通过将自己的标识编号关联于连接位置的标识编号和连接到连接位置的块的标识编号而获取的信号。然后，具有标识编号“I”的块将该信号连同从较低级别块发送的信号一起发送到信息处理设备10。信息处理设备10可以因此连续地获取构成核心的块的标识编号、每个块的连接关系以及包括传感器的块中的测量结果。
[0109]当一个块被这样设置为具有集线器的作用的块并且信息被这样聚合且然后被发送到信息处理设备10时，可以防止信息的复杂性以及不必要的通信处理。另一方面，在一些情况下，可以执行从多个块到信息处理设备10的通信。例如，在图7的示例中，具有标识编号“8”的块经由非通信块耦合到具有标识编号“6”的块。
[0110]在此情况下，具有标识编号“8”的块可以将自己的数据直接发送到信息处理设备10。当所讨论的块包括位置传感器时，例如，块自己的标识编号以及由位置传感器进行的测量的结果被直接发送到信息处理设备10。信息处理设备10可以因此比具有标识编号“6”的块更快地掌握所親合的块的存在，进一步估计所讨论的块的形状，而且近似(approximate)所讨论的块的连接情况。具有标识编号“8”的块中所包括的传感器的数量越大，信息的准确度就越高。当可以获取多个位置信息的块彼此组合时，也可以准确地标识来自相机122的盲点中的块的结构。
[0111]图8描述通信块的基本信息的数据结构的示例，所述基本信息存储在信息处理设备10的块信息存储区段24中。通信块信息表160包括标识编号字段162、形状字段164、尺寸字段166以及连接位置字段168。标识编号字段162描述提前给予形成块集合的通信块的标识编号。形状字段164描述每个通信块的形状的种类(S卩，图2所示的块的类型，诸如“四边形棱柱”、“立方体”等))。尺寸字段166描述每个通信块的水平宽度、深度以及垂直长度。
[0112]连接位置字段168描述与连接位置的标识编号关联的被提供给每个通信块的连接位置。在图8的示例中，以格式“连接位置的标识编号(面(face)编号、面内的X坐标、面内的y坐标)”中描述连接位置。提前对于块的每个面唯一地确定面编号。例如，具有标识编号“I”的通信块是具有4cm的水平宽度、4cm的深度以及8cm的垂直长度的四边形棱柱块。具有标识编号“J1”的连接位置位于第一面中的坐标(2，2)的位置处。具有标识编号“J2”的连接位置位于第二面中的坐标(I，2)的位置处。然而，只是表示这些信息，注释的格式并非特定地受限。
[0113]当信息处理设备10保存这样的通信块信息表160时，基于从块集合120发送的信号对于核心标识出图3中所表达的参数。结构分析区段22基于这样标识出的核心的状态以及由相机122所拍摄的图像，来标识包括非通信块的整个块集合120的位置、姿态和形状。图9是辅助解释用于标识包括非通信块的块集合的状态的基本处理的图。附图的左上方描述核心170的状态，该状态是基于由核心信息接收区段20所接收的信息而标识的。根据该信息所标识的是各通信块的连接关系以及核心的形状(该形状基于各通信块的连接关系)。然而，当在内部提供位置传感器时，还标识真实空间中的位置。
[0114]同时，结构分析区段22从相机122所拍摄的图像生成深度图像172。深度图像是示出以距相机的距离作为像素值的在相机122的视场内的对象的图像。可以使用立体相机等作为相机122来生成深度图像，如上所述。图中的深度图像172示意性地表示距离越大亮度越低的图像。在深度图像172中示出整个块集合120的图像，且通信块与非通信块之间没有区别。当在深度图像中检测到属于核心的块的至少一部件(诸如例如标记物等)的图像时，可以标识出该部件在三维空间中的位置坐标(包括该部分距相机的距离)。然后，设置相对于核心170的相机坐标系统，使得在核心170的先前所标识的状态下的图像中所检测的部件存在于位置坐标处。
[0115]顺便一提，当检测到核心的图像时，可以使用由相机122所拍摄的色彩图像。然后，可以通过获取从相机122侧观看的核心170与显现为深度图像172的图像的块集合之间的体积差，来标识排除块集合中的核心的部件的非通信块的状态。图9的右边所描述的块集合120的阴影部分是作为差而获取的非通信块。因此，如附图中所描述的，可以标识出包括核心和非通信块的整个块集合120的位置、姿态和形状。此外，当可以通过背景分离等来标识块集合120的图像并且可以基于核心的外表尺寸等来定位图像和核心时，可以仅使用普通拍摄的图像，而不依赖于深度图像。
[0116]顺便一提，在图9中所描述的基本处理中，关于非通信块所获取的信息仅为相机的场平面中的二维信息。相应地，当非通信块的基本信息存储在块信息存储区段24中并且对于与场平面中的外表形状和尺寸一致的块进行搜索时，可以提高标识包括深度方向的三维形状的准确度。图10描述信息被存储在信息处理设备10的块信息存储区段24中的非通信块的基本信息的数据结构的示例。
[0117]非通信块信息表180包括标识编号字段182、形状字段184、尺寸字段186和色彩字段188。标识编号字段182描述提前给予形成块集合的非通信块的标识编号。形状、尺寸和色彩相同的块可以具有相同的标识编号。形状字段184描述每个非通信块的形状的种类(SP，图2所示的块的类型，诸如“矩形平行六面体”、“圆形圆柱”等))。尺寸字段186描述每个非通信块的水平宽度、深度(或直径)以及垂直长度。色彩字段188描述每个非通信块的色彩。
[0118]形状字段184、尺寸字段186和色彩字段188的信息可以是关于多边形、纹理等的信息，如关于3D图形的对象模型的数据的情况。此外，由非通信块信息表180所保存的信息不限于附图中所描述的信息。例如，当凹入部段等的形状限制了可连接的通信块并且可连接的通信块的标识编号被保存时，可以基于通信块来缩窄可以连接到属于已经标识的核心的通信块的非通信块。结构分析区段22参照非通信块信息表180，并且标识与除了图9中所描绘的深度图像172中的核心之外的部件的图像个体地一致的非通信块。
[0119]顺便一提，被另一块隐藏的并且因此不能看见的块的准确形状通过在假设该块在初始状态下不存在之后跟踪块集合的移动而以时间演进方式来标识。当部件被隐藏并且甚至当参照非通信块信息表180时也不能确定该部件的形状时，仅对于所隐藏的部件假设某种候选形状，或假设某个面，并且在稍后的时间逐渐地进行校正，以增加形状识别的准确度。
[0120]图11是辅助解释以时间演进方式标识块集合的形状的处理的图。图中的纵坐标的轴指示时间。假设时间从时间“Tl”流逝到“T2”。此外，作为示例，如附图中的最上行中所描绘的，通过将配备有(勾勒描绘的)标记物的四边形棱柱类型的通信块的下一半与(阴影描绘的)圆形圆柱类型的非通信块进行装配来形成块集合190。首先，假设在时间Tl，如在附图中，相机122从前面拍摄放置在水平表面上的块集合190。在此情况下，如附图中所描绘的，每个块的侧表面仅显现为所拍摄的图像192a中的图像。
[0121]当如上所述从该图像生成深度图像并且分离地获取与形状被标识的核心的体积差时，剩余部件显然是四边形，其为非通信块的侧表面的图像(深度图像198a)。也就是说，存在这样的可能性:在时间Tl无法标识非通信块的三维形状。然而，取决于深度图像的分辨率，可以通过前表面的曲线的存在或不存在来使得圆形圆柱与矩形平行六面体之间的区别变得清楚。此外，在非通信块信息表180中所注册的块当中仅存在一个尺寸、宽高比等一致的非通信块的情况下，可以标识出非通信块的形状。顺便一提，深度图像198a表示通过获取从所拍摄的图像中获取的深度图像中的块集合的图像与核心之间的体积差而生成的体积数据，并且不一定生成为图像。同样情况对于随后附图成立。
[0122]在其它情况下，结构分析区段22从非通信块信息表180检测候选非通信块，并且假设候选非通信块之一耦合到核心。可替换地，将与形状被标识的通信块的平面相同的平面假设为非通信块的不定型(indefinite)面。作为前一情况的示例，附图描绘了当非通信块假设为矩形平行六面体时的块集合的形状200。顺便一提，附图中所描绘的块集合的形状200是在信息处理设备10中在时间Tl的时间点识别的形状，并且不一定意图用于显示。例如，在运行将块集合的状态照原样地显示为3D对象的应用期间，可以照原样地呈现附图中所描述的所假设的形状。可替换地，所假设的形状可以不以任何方式进行显示，而是可以仅作为当在下一时间步骤中校正形状时的基础。
[0123]为了无论是否进行非通信块的显示都以时间演进方式标识其形状，或使得用户能够实时并且高效地在组装的处理中识别块集合的形状的改变，在至少预定时段内存储与所假设的形状有关的信息，并且该信息用于稍后处理。通过将结构标识编号(下文中称为“元件编号”)给予构成块集合的通信块和非通信块来管理块集合的形状。在附图中，块集合中的通信块被给予块元件编号“#C1”，块集合中的非通信块被给予元件编号“#N1”。在该示例中，通信块和非通信块通过字母表的“C”和“N”彼此区分。然而，这并不限制元件编号的格式。
[0124]这些元件编号与提前给予各个块的标识编号关联(标识编号描述于图8和图10中)，并且将这些元件编号连同与非通信块与通信块之间的连接关系有关的信息(所连接的面、所连接的位置和取向)一起记录。这些与块集合的整体的结构有关的信息将在下文中被称为“结构数据”。由于在图像中显现为一个主体的块集合可以划分为能够由用户附接和拆卸的单元，因此管理每个块的结构不仅使得能够如上所述进行显示，而且还可以改进标识受组装的处理中的块集合的形状或已经修改的块集合的形状的效率。在照原样地呈现块集合的形状的情况下，可以在该时间点生成用于呈现的多边形和纹理。然后，在随后形状标识处理中，可以校正该3D模型，或可以添加或删除块。
[0125]于在时间Tl识别块集合的形状(诸如形状200)等之后，继续拍摄和形状标识处理。此时，当用户将块集合190的顶点倾斜到相机122的一侧时，如附图中所描绘的，通信块194和非通信块196的顶部表面在时间Τ2稍微有点被包括在所拍摄的图像192b中。当从该图像生成深度图像并且获取该时间点的状态下与核心的体积差时，剩余部件包括非通信块的圆形圆柱的顶部表面(深度图像198b)。可以从图像的形状确定非通信块很有可能是圆形圆柱，而不是在时间Tl所假设的矩形平行六面体。通过随着块集合的姿态改变而重复这些校正，来增加块集合的形状的识别的可靠性。
[0126]在非通信块被发现为圆形圆柱的时间点，结构分析区段22用圆形圆柱来替换在时间Tl被假设为矩形平行六面体的非通信块的形状。块集合的准确形状202由此得以识别。该处理实际上是将与元件编号#N1关联的矩形平行六面体类型的块的标识编号校正为圆形圆柱类型的块的标识编号的处理。可替换地，可以校正多边形模型。图11的示例示出具有非常简单的结构的块集合，以便方便理解。然而，实际上，例如，另一非通信块可以连接在一非通信块的后面，或者在非通信块和另一块彼此重叠的情况下，可以看见非通信块的仅仅一部分。
[0127]在此情况下，除了假设每个非通信块的形状并且逐渐标识随着用户握持块集合以及倾斜块集合或者改变块集合的取向而标识的仅仅一部分的方法之外，如上所述，还可以进行显示以向用户提示相对于相机122旋转块集合，以便可以从多个方向拍摄块集合。此夕卜，可以基于未隐藏的一部分的形状和色彩从非通信块信息表180提取候选非通信块，并且将其显示在列表中，使得用户可以指定真实的块。此外，当指示图的形状或标记物的二维条形码附着到每个非通信块时，可以从所拍摄的图像标识形状。
[0128]图12是辅助解释标识在组装等期间在结构方面改变的块集合的形状的处理的图。附图的表示方式与图11相似。从具有作为时间轴的纵坐标的轴的左边按顺序描绘的是在各个时间所拍摄的图像192b至192d、排除核心的部件的图像的深度图像198b至198d以及识别出的块集合的形状202、210和216。在附图中的最上行中的时间T2与图11中的时间T2对应。块集合的所拍摄的图像192b、深度图像198b以及所识别的形状202也是同样的。假设从该状态，在随后时间T3，用户连接新的非通信块204(所拍摄的图像192c)。在该时间的深度图像198c与在先前时间T2的深度图像198b的比较指示添加新的非通信块的图像206。
[0129]结构分析区段22通过将在先前时间T2的深度图像198b与在当前时间T3的深度图像198c相比较来识别新的非通信块204的连接。在此，也在先前时间出现的非通信块196可以相对于相机在取向上改变，或者非通信块196可以不与新连接的块区分。相应地，通过继续跟踪曾经识别的非通信块的位置和姿态，结构分析区段22甚至在块的位置和姿态改变时也可以将同一块识别为相同的。可以应用使用有效轮廓模型等的普通跟踪技术作为位置和姿态的跟踪。可替换地，可以从位置和姿态能够由来自核心的信号进行标识的核心的位置和姿态的改变来推导在连接到核心的状态下的非通信块的取向的改变。
[0130]作为在体积差之后的图像的比较的结果，可以因而检测出新的非通信块204的连接，在此之后，通过例如以与参照图11所描述的相似方式来参照非通信块信息表180来标识非通信块的形状。然后，在相同的时间基于核心的形状和姿态来标识对核心的连接关系。因此，可以如附图中所描绘地识别块集合在时间T3的形状210。此时，通过以下操作来更新结构数据:将新的元件编号“#N2”给予所添加的非通信块，将新的元件编号“#N2”与提前给予所讨论的块的标识编号关联，并且记录对通信块的连接关系。
[0131]顺便一提，为了确定出现在相机的视场中的非通信块是连接的还是尚未连接的，可以监控包括核心的块集合与出现在视场中的块之间的相对速度。在此情况下，当相对速度为零时，确定新的块是连接的。假设在时间T3随后的时间T4，用户使用另一形状的非通信块214来替换先前所连接的非通信块196(所拍摄的图像192d)。在该时间的深度图像198d与在先前时间T3的深度图像198c的比较指示非通信块的图像215的形状改变。
[0132]当可以检测出用另一形状的另外非通信块来替换该非通信块以作为在体积差之后的图像彼此这样比较的结果时，通过与至此所描述的相似方式参照非通信块信息表180来标识新的非通信块的形状。对核心的连接关系与先前所连接的非通信块对核心的连接关系相同。因此，可以照原样地使用先前信息。因此，通过仅将结构数据中的与相同元件编号“#N1”关联的先前连接的块的标识编号更新为此时标识的块的标识编号，由此如附图中所描述的识别块集合在时间Τ4的形状216。
[0133]作为在除了连接另一形状的非通信块之外的情况下修改非通信块的示例，可以存在这样的情况:非通信块中所包括的核心的接头角度发生改变。图13是辅助解释标识由于核心的接头角度的改变而修改的块集合的形状的处理的图。附图的表示方式与图11和图12相似。从具有作为时间轴的纵坐标的轴的左边按顺序描绘的是在各个时间所拍摄的图像192e至192g、深度图像198e至198g以及所识别的块集合的形状218、222和224。然而，假设块集合的形状与图11和图12中所描绘的不同，并且分别装配非通信块228和230以便包括具有标记物和接头的通信块226的上链接和下链接。
[0134]非通信块在体积差之后在深度图像198e中显然显现为一个主体，所述深度图像是基于在接头未弯曲的时间tl所拍摄的图像192e而生成的。因此，结构分析区段22如附图中所描绘的通过以下操作识别块集合的形状218:分别将元件编号“#C1”和“#N1”给予被假设为一个块的一个(系列)通信块和非通信块，将元件编号与各个块的标识编号关联，并且记录通信块与非通信块之间的连接关系作为结构数据。
[0135]假设在时间t2，用户接下来弯曲核心的接头(所拍摄的图像192f)。在该时间的深度图像198f与在先前时间tl的深度图像198e的比较指示非通信块的形状改变。根据关于核心的信息，结构分析区段22已经获取到被非通信块所包含的核心的状态，其中所述信息已经从块集合分离地传输。也就是说，结构分析区段22还掌握通信块的接头角度。因此，当存在于内部的通信块的接头角度按与非通信块的修改对应的角度改变时，可以确定由核心的弯曲导致非通信块的修改。
[0136]因此可以确定实际上存在起初已经被识别为一个块的多个块，而不是确定重新连接了另一块。在此情况下，例如，通过将新的元件编号“#N2”给予其倾斜度已经改变的非通信块(附图中的上块)并且对于其倾斜度尚未改变的块照原样地使用元件编号“#N1”，由此校正结构数据。当元件编号受到校正时，适当地校正对核心的连接关系。从而可以如附图中所描绘地识别块集合在时间t2的形状222。
[0137]在附图的示例中，根据块的倾斜角度和形状，上块与下块之间的区别是清楚的。然而，当倾斜角度很小或者各块具有使得其间的间隙即使在角度改变时也不显眼的形状或材料时，可能并不容易检测各块之间的分裂。在此情况下，可以通过例如设置当接头在接头的位置处不弯曲时与核心的轴垂直的划分平面220并且通过划分平面对块进行划分，来将起初被看作一个块的块划分为两个块。在此情况下，划分平面220的平坦表面被假设为下块的上表面和上块的底表面(下块的上表面和上块的底表面起初彼此接触)，并且在随后的形状标识处理中进行校正。
[0138]作为时间t2的处理的结果，非通信块被识别为由两个块构成。因此，即使当在随后时间t3恢复到在时间tl的块集合的接头不弯曲的状态时(所拍摄的图像192g和深度图像198g)，信息处理设备10也可以将该状态识别为两个非通信块彼此链接的状态(块集合224)。由于个体地管理包括链接的非通信块，因此即使当核心的接头随后弯曲且伸展时，也无需重新标识形状等的处理。
[0139]在多个块被组装为一个主体而因此在取向或间隔方面没有时间上的改变的情况下，可以通过将这些块共同地看作一个块来简化数据管理。另一方面，即使在多个块被组装为一个主体的情况下，当多个块在色彩或纹理方面彼此不同并且可以因此识别为不同的块时，可以基于关于块的颜色或纹理的信息而个体地管理块。当甚至用户附接和拆卸块的处理也需要被正确地识别时，通过个体地管理每个块，具体地，可以将结构数据的校正限制到发生改变的部件。因此这在处理效率方面是有利的。
[0140]此外，当所获取的块集合的状态在显示设备16上显示为对象时，或者当结构数据被保存为关于多边形和纹理的信息时，可以执行使分辨率粗糙化的低多边形建模，以减少处理负载或存储器消耗，而不是照原样地反映所标识的形状。可替换地，每个非通信块可以进一步与非通信块信息表中的另一对象模型关联，并且可以呈现与非通信块的部件关联的对象模型，以便在显示的时候替换非通信块的部件。因此，即使当块具有粗糙形状(诸如矩形平行六面体等)时，在显示的时候也将块转换为现实对象并且显示该对象。利用块集合的状态、信息处理设备10的处理性能、存储器容量等，根据将要由信息处理区段30执行的处理，来酌情地进行关于是否如此使得信息的细节的级别低于、等于或高于真实块集合的细节的级别的设置。
[0141]顺便一提，如图11至图13所描绘的，该实施例获取关于核心和非通信块二者的在块集合中的时间上的改变。因此，可以通过在预定时间内将时间上的改变存储为历史并且根据需要读出和使用历史，来实现各种模式。例如，当用户期望将正在组装的处理中的块集合恢复到几个阶段之前的状态，并且用户经由输入设备14进行请求时，对应阶段中的块集合的状态被显示为3D对象。用户可以在浏览3D对象的同时将真实块集合恢复到先前状态。当通过输入设备14改变相对于被呈现为3D对象的块集合的虚拟视点时，可以从多个方向检查块集合的先前状态。当长时间存储历史时，过去所创建的块集合可以显示为每个进行阶段中的对象，并且可以根据对象通过组装来再现真实块集合。
[0142]此外，关于曾经拆卸的块(诸如图12中的圆形圆柱类型的非通信块196)的信息可以保持具备先前元件编号而不立即从结构数据中删除，并且可以由指示块被拆卸的标志等进行管理。在此情况下，当另一块附接到相同位置时，相同元件编号被给予多个非通信块。然而，标志可以将该信息与过去信息进行区分。当用户后来进行请求以将块集合恢复到先前状态时，可以通过从结构数据中检测并且恢复先前块来显示先前状态下的块集合的对象。
[0143]接下来将进行与块集合的状态的标识有关的信息处理设备的操作的描述，所述操作可以由至此所描述的配置来实现。图14是描绘用于标识包括非通信块的块集合的状态的处理过程的流程图。例如，当用户对块集合120中的块当中的具有电池的块打开电源并且通过选择信息处理设备10上的应用经由输入设备14输入指令以开始处理时，流程图开始。
[0144]顺便一提，假设:与以下将要描述处理的信息处理设备10的处理并行地，从用户正在组装或举起的块集合以预定时序发送指示核心的状态的信号。此外，该流程图关注于非通信块的改变，并且假设从指示核心的状态等的信号分离地获取核心的状态的改变。首先，结构分析区段22使得相机122开始拍摄块集合(SlO)。同时，通过信息处理区段30与显示处理区段32之间的协作在显示设备16上显示预定初始图像(S12)。此时所显示的图像可以是相机112所拍摄的直播视频、作为应用的一部分的提前创建的图像(诸如游戏图像)等。
[0145]在时间步骤t= 0(t为按升序指示时间的流逝的整数)中，当核心信息接收区段20接收从块集合发送的信息时，结构分析区段22基于该信息标识核心在三维空间中的姿态和形状(S14和S16)。当借助于除了拍摄的图像之外的手段来标识核心的位置时，也可以标识出核心的位置。同时，结构分析区段22通过例如从相机122获取所拍摄的图像并且基于所拍摄的图像而生成深度图像来获取块集合的整个图像和位置(S18)。除了块集合、背景、用户的手等之外的事物可能显现在所拍摄的图像中。因此，在某阶段中执行移除这些图像的处理。
[0146]普通方法(诸如前景提取、同时定位和映射(SLAM)方法、色彩分割、基于字典的对象识别等)可以用于该处理。标识核心相对于这样提取的块集合的整体图像如何定位(S20)。具体地，如上所述，从块集合的图像检测具有特征形状、色彩或图案等(诸如核心的标记物等)的部件，并且参照该部件确定核心的位置。然后，基于在S16中标识形状和姿态的核心的形状和姿态而标识如何从相机看见核心。当不存在非通信块时，这是块集合的图像。因此，通过取得在不存在非通信块的情况下的块集合的图像与真实块集合的整体图像之间的体积差来获取非通信块的图像和位置(S22)。
[0147]当在先前时间步骤t-Ι中获取非通信块的状态时，将先前时间步骤t-Ι中的非通信块的状态与非通信块的当前图像彼此进行比较(S24)，以检查是否存在改变(S26)。当存在图像的形状的改变(S26中的Y)时，执行标识非通信块的形状并且更新块集合的结构数据的处理(S30)。顺便一提，在时间步骤t = 0，非通信块的状态本身(在S22中获取的状态)被看作改变，并且基于非通信块的状态来新创建结构数据。
[0148]至于S30的处理，如参照图11至图13所描述的，将S30的处理分类为在添加或移除非通信块的情况下的处理、在以另一非通信块进行替换的情况下的处理、以及在由于核心的接头的弯曲而导致非通信块的形状的改变的情况下的处理，并且执行将要对于每种情况执行的处理。具体地，当添加非通信块时，元件编号被给出并且各自与形状、连接方向等关联，并且记录对核心的连接关系。例如，当移除非通信块时，通过从结构数据中删除非通信块或设置指示非通信块被移除的标志来管理非通信块。当执行以另一非通信块进行替换时，更新与对应元件编号对应的块的形状、连接方向等。
[0149]在归因于核心的接头的弯曲而产生形状的改变时，当并未通过与具有其间所插入的接头的各个链接对应的方式来管理非通信块时，这些块设置为分离的块，新的元件编号给予块之一，并且各个块的形状和连接方向得以更新。因此个体地管理非通信块。此外，甚至当核心或非通信块的形状不改变时，非通信块的图像根据位置或姿态的改变而改变。在此情况下，检查是否可以标识因为归因于部件的隐藏等而无法确定的部件的形状所假设的部件的形状的至少一部分。当标识所假设的部件的形状的一部分时，相应地更新结构数据。因此以时间演进方式标识形状。如上所述，结构数据可以表示为3D图形的模型数据。
[0150]当在S26中不存在图像的形状的改变时(S26中的N)，至少非通信块的状态不改变，并且因此，不执行S30的处理。直到用户执行用于结束处理的输入为止，在时间步骤t增加的同时依次重复从S16到S30的处理(S32和S28中的N)。例如，当通过对块集合关闭电源来执行用于结束处理的指令输入时，处理结束(S32中的Y)。顺便一提，在S20的处理中，当从相机观看时，整个核心被非通信块隐藏时，无法执行核心的定位。在此情况下，可以进行向用户提示改变块集合的取向的显示，以使得核心进入相机的视场。可替换地，相对于核心的相机坐标系统可以被假设为这样:核心的整体图像不从块集合的整体图像突出，并且可以在随后时间步骤中进行校正。
[0151]顺便一提，在至此的描述中主要关注于非通信块的形状的改变。在非通信块的色彩或纹理改变的情况下，也可以通过相似的处理来更新结构数据。然而，在此情况下，首先通过定位整体图像以及深度图像中的核心，由此从块集合的整体图像中移除核心的部件，然后通过将剩余非通信块的图像的区域反馈到所拍摄的彩色图像来标识色彩或纹理的改变。
[0152]图15示出能够通过至此所描述的模式来实现的块集合与显示器之间的关系。在附图的示例中，包括通信块和非通信块的块集合240被呈现为如信息处理设备10所识别的3D对象242，并且显示在显示设备16上。因为相机122获取非通信块的形状、姿态、色彩等，所以可以识别未在非通信块信息表中注册的事物(例如用户他本身/她本身制作的事物)ο例如，即使当用户通过毡尖笔在附图中写入组装为块集合240的玩偶的面部或将不干胶粘贴到玩偶时，具有与所写入的面部相似的面部的玩偶或不干胶粘贴到的玩偶也被呈现为3D对象。
[0153]在该示例中，存在于真实相机122的视场中的块集合通过镜面处理水平地翻转，并且被表示为对象。因为块集合240面向显示设备16上的相机122，所以显示器上的3D对象242得以显示，使得块集合240显现在镜中。另一方面，信息处理设备10如上所述识别块集合240的三维形状，并且可以因此自由地改变相对于3D对象242的虚拟视点。因此，即使是玩偶的背侧(该侧在该时间点从相机122看是盲点)上的图像，也可以在不旋转块集合240的情况下进行显示。然而，取决于至此的形状标识处理，无法确定背侧上的形状的细节。
[0154]至此的描述基于识别实际上所组装的块集合的状态。然而，可以允许虚拟地连接实际上未连接的事物。图15中所示的屏幕显示将要与反映块集合240的3D对象242—起提供的物品的选项的图像244和246。当用户选择一个图像并且经由输入设备14或通过移动块集合240来使得屏幕上的3D对象242具有对应物品时，例如，信息处理设备10可以更新结构数据，以便指示对应物品连接到已经识别的块集合的对应位置。
[0155]作为选项的物品的三维形状保存在信息处理设备10的块信息存储区段24或模型数据存储区段26中。因此，在随后处理中，无论屏幕上的物品是实际上连接到块集合还是虚拟地连接的，物品都可以被表示，以便根据块集合在真实空间中的移动在被3D对象242握持的状态下在虚拟世界中移动。当通过凭借3D扫描器捕获由用户他本身/她本身制作的真实事物等来获取三维形状信息时，三维形状信息充当对于上述物品的替代品。也就是说，即使当非通信块的真实事物实际上未连接时，非通信块也可以显示得如同非通信块在屏幕上连接一样。
[0156]可以以相似的方法在显示器上在虚拟世界中创建块集合的外部外观本身。图16示出当对块集合设置外部外观时块集合与显示器之间的关系。在该示例中，与图15的情况相比，块集合248本身是简单配置(诸如例如仅通信块等)。当识别出该块集合248的状态时，在水平地翻转块集合之后，信息处理设备10在显示设备16上照原样地显示所识别的块集合的状态或作为3D对象250。然后，如在图15的物品的情况下，对于每个部件(诸如例如面部等)显示作为候选的3D对象的选项的图像252a、252b和252c。
[0157]用户对于块集合中的每个块或由多个块形成的每个部件执行从图像252a、252b或252c选择输入，并且从而虚拟地进行对3D对象250的连接。外部外观因而是完整的。因此可以自由地创建具有各种外部外观的3D对象，并且进一步根据真实块集合248的移动来移动3D对象或改变虚拟视点。此外，可以通过连接这样创建其虚拟外观的多个块来将虚拟3D对象彼此耦合在显示器上。
[0158]例如，可以实现这样的模式:当对于作为目标的3D对象的完整形式中的每个部件创建块集合和与块集合对应的外部外观并且最终连接块集合时，显示具有其中甚至详细部件也被设置的外部外观的完整形式。可替换地，可以重复存储具有曾经创建的虚拟外部外观的3D对象并且使用相同块集合来创建具有另一外部外观的3D对象的过程，并且这样所创建的多个3D对象可以仅在虚拟世界中彼此耦合。在此情况下，由于最终与块集合关联的3D对象与块集合互锁，因此可以实现彼此耦合的所有3D对象根据块集合移动的模式。
[0159]在图15和图16的示例中，在虚拟世界中的3D对象中反映块集合的移动。反之，可以在块集合的移动中反映3D对象的移动。例如，将表示由用户所组装的块集合的3D对象或由用户虚拟地创建以便与块集合对应的3D对象显现为信息处理区段30所运行的游戏中的角色。当用户使用输入设备14执行游戏操作并且3D对象相应地移动时，也使得真实块集合移动。在此情况下，驱动控制区段34发送用于以与3D对象的移动对应的方式控制块集合的驱动区段148的信号。
[0160]在图16的示例中，假设一种用户应用一个或多个块的单元中的3D对象的模式。因此，真实块与虚拟对象之间的对应关系与非通信块相似，并且也可以以相似的方式来执行管理。也就是说，当真实块集合的接头角度改变时，由改变而导致修改的位置在3D对象中也是清楚的，并且因此，可以容易地在屏幕显示器上反映改变。同样情况对于在块集合中反映3D对象的移动的情况是成立的。另一方面，当一个3D对象与所组装的块集合的整体关联时，需要适当地设置块集合和3D对象的对应位置，以便合适地将块集合和3D对象彼此互锁。
[0161]图17示出在一个3D对象与所组装的块集合关联的情况下的块集合与显示器之间的关系。该示例假设这样的情况:用户创建被假设为表示升降机货车的块集合260，并且选择升降机货车262作为显示器上的3D对象。块集合260包括被提供给假设为表示升降机的块的多个接头264a、264b和264c，并且还包括装配到充当平台的块的轮266a、266b、266c和
266do
[0162]当用户弯曲和伸展块集合260的接头并且以相同方式在屏幕上移动升降机货车262时，例如，需要设置将要在该位置处反映接头264a、264b和264c的弯曲和伸展的、升降机货车262的位置。此外，当将要在块集合260的实际移动中反映显示器上的升降机货车262的移动时，需要根据显示器上的移动来确定每个轮的作用、旋转速度、转向角度等。该实施例中的块集合260由用户自由地组装。因此，期望作为升降机的部件而移动的部件、升降机货车的前后关系等极大地取决于用户的意图。相应地，将描述设置这样自由组装的事物的移动与提前制备的3D对象的移动之间的对应关系的方法。
[0163]图18示出对于将块集合和3D对象的移动彼此关联所必需的信息。附图中的左侧是与图17中的块集合260对应的块集合270的示意图。附图中的右侧是与图17中的3D对象的升降机货车262对应的升降机货车272的示意图。如附图中所描绘的，对于块集合270设置在信息处理设备10识别形状时所使用的坐标系统，并且对于升降机货车262设置相对于3D模型的局部坐标系统。两个坐标系统是彼此无关地设置的。因此块集合270和升降机货车272在相应坐标系统中的取向发生变化。
[0164]为了便于理解，图18的示例示出由X轴和y轴所形成的二维平面中的形状，S卩，当在与相应坐标系统的X轴平行的状态下定义块集合270和升降机货车272时的侧表面形状。然而，块集合270和升降机货车272相对于相应坐标系统的取向相对于X轴彼此相反。在此，块集合270的三个接头被表示为RJl、RJ2和RJ3，升降机货车272的三个接头被表示为VJl、VJ2和VJ3。此外，块集合270的四个轮被表示为RA1、RA2、RA3和RA4，并且升降机货车的履带轨道被表示为VAl和VA2。顺便一提，轮RA3和RA4以及履带轨道VA2处于与显示表面相对的侧表面上，并且正常地被隐藏。然而，在图18中，轮RA3和RA4以及履带轨道VA2如虚线所指示地被描绘为有所偏移，并且附图标号被描绘于圆括号中。
[0165]用于将该块集合270与该升降机货车272彼此互锁的最简单的方法可以是:分别将块集合270的接头RJ1、RJ2和RJ3与升降机货车272的接头VJ1、VJ2和VJ3关联，将轮RAl和RA2与附图中未描绘的履带轨道VA2关联，而且将轮RA3和RA4与履带轨道VAl关联。然而，在该示例中，升降机的接头的位置在块集合270与升降机货车272之间有所不同。因此，例如，当以相同角度个体地弯曲块集合270和升降机货车272的对应接头时，可能不发生用户所期待的移动。
[0166]此外，通常，块集合270的接头角度具有物理可移动范围，并且作为模型的升降机货车272的接头也具有可移动范围。当不考虑这些约束条件时，可能存在3D模型以不可能的角度弯曲的情况或者块集合的接头角度达到极限并且块集合没有进一步移动的情况。此夕卜，由于相对于坐标系统的取向不同，可能存在当块集合270前进时而显示器上的升降机货车272后退的情况。为了防止该问题，通过执行以下处理:设置共用坐标系统、设置对应位置以及将对应位置的具体移动彼此关联，来协调真实事物与虚拟世界中的事物的互锁。
[0167]图19是描绘信息处理设备10将块集合和3D对象的移动彼此关联的处理过程的流程图。首先，在用户将块集合组装成期望的形状之后，用户经由输入设备14输入指令请求以开始与3D对象的关联。当信息处理设备10的信息处理区段30接收到该请求时(S40)，信息处理区段30从结构分析区段22获取与所组装的块集合的结构有关的信息(S42)。然后，基于块集合的形状等从已经在模型数据存储区段26中准备好呈现数据的3D对象当中提取合适的模型作为候选(S44)。
[0168]模型数据存储区段26将各个种类的对象模型(诸如升降机货车等)与指示每个模型的特征的元数据关联，并且存储彼此关联的呈现数据和元数据。当粗略地分类时，元数据包括作为事物的特征、结构特征以及外部特征。作为事物的特征包括例如物品(诸如人、动物、车辆、食物等)、专有名词(诸如电影、动画或角色显现的游戏的名称、角色的名称等)以及相关的时段(诸如原始年龄、中间年龄、当前年龄、未来、特定年份等)ο结构特征包括接头的数量、每个接头的可移动角度和自由度、链接的长度和厚度、接头的连接关系、驱动力、轮胎直径等。
[0169]外部特征包括非通信块的色彩、表面形状、数量或体积、块集合中的非通信块的覆盖比例、当提供LED或显示设备时的LED或显示设备的数量、显示设备的种类等。在模型数据存储区段26中，这些各种特征与每个模型关联。关联的特征越多，提取合适的候选的准确度就越高。然而，并不是意图关联所有特征。在S44中，信息处理区段30基于结构特征和外部特征从与块集合的形状或结构有关的信息(在S42中获取该信息)中提取具有与真实块集合的高相似度的候选模型。
[0170]例如，假定Nrj是块集合的接头的数量，Nra是块集合的轮的数量，Nvj是3D对象的接头的数量，Nva是3D对象的轮的数量，通过以下公式来计算相似度估计值。
[0171]相似度估计值=(Nrj—Nvj)Xwj+(Nra—Nva) Xwa
[0172]其中，胃和WA是用于接头的数量的估计和轮的估计的权重，并且是根据接头的数量的估计和轮的估计的重要性来确定的。估计值越接近零，相似度就越高。此外，当估计值为正时，估计值指示块集合具有大量的接头或轮的趋势。当估计值为负时，估计值指示3D对象具有大量的接头或轮的趋势。当存在使得估计值为零的3D对象时，将该3D对象提取作为最可能的候选模型。
[0173]此外，当存在获取具有相同绝对值但在符号上彼此不同的估计值的多个3D对象时，优选地提取提供负估计值的3D对象。这是因为，随着3D对象的接头或轮的数量增加，可以在屏幕上表达更详细的移动，并且块集合的移动可以表达得更丰富。在这种相似度的估计之前，可以基于用户从作为事物的特征当中所选择的特征来缩窄候选。作为事物的特征、结构特征和外部特征可以酌情地彼此组合以提取候选，或者可以允许用户还指定除了作为事物的特征之外的特征。
[0174]信息处理区段30将这样提取的多个候选模型显示在显示设备16上，并且接收用户经由输入设备14等执行的选择输入(S46)。由此所选择的模型的示例是图18中所描绘的升降机货车272。接下来，设置对于块集合和图像中的对象共用的坐标系统(S48)。因此，在3D对象中也可以相似地处置确定块集合的姿态和行进方向的参数。例如，当图18中的块集合270在X轴的负方向上前进时，设置坐标系统使得3D对象的升降机货车272也在X轴的负方向上前进。此外，共用坐标系统使得可以进行接头角度的共用限定，并且当接头角度改变时正确地确定哪个链接相对于接头移动。
[0175]在共用坐标系统中所定义的各个种类的参数经过坐标变换成为起初对3D对象所设置的局部坐标系统中的值，并且从而反映在3D对象的呈现中。当块集合和3D对象的形状彼此相似并且其前面和后面等是清楚的时候，信息处理区段33设置共用坐标系统，使得块集合和3D对象两者具有相同的取向。可替换地，用户可以调整3D对象在屏幕上的取向，使得3D对象的取向变为与块集合的取向相同，并且信息处理区段30可以设置具有该取向的坐标系统作为基准。因此，在用户意图的取向上，即使是前面和后面不清楚的块集合，也可以与3D对象互锁。
[0176]接下来，设置块集合和3D对象的对应位置(S50)。当接头的数量以及块集合和3D对象的链接的连接关系彼此一致时，可以由信息处理区段30联合地执行该处理。具体地，基于在S42中获取的块集合的结构以及S46中所选择的对象模型的结构，信息处理区段30在几何上推导块集合和对象模型的对应接头，并且将块集合和对象模型的对应接头彼此关联。可替换地，显示设置屏幕以允许用户进行设置。在此情况下所关联的位置典型地是图18中的接头或轮。然而，对于期望反映块集合的改变(诸如弯曲、旋转、移置等)的位置，允许用户自由地在3D对象侧上设置对应点。这使得可以移动没有任何接头的动物(诸如软体动物等)，或使得不弯曲的事物处于现实弓形(actuality bow)中。
[0177]随便一提，所关联的位置不一定需要处于一对一关系中。也就是说，块集合的多个接头可以与3D对象的一个接头关联，或3D对象的多个接头可以与块集合的一个接头关联。同样情况对于轮成立。在即使当块集合和3D对象具有不同数量的接头时也可以通过将多个接头看作一个接头来使得块集合和3D对象的总体结构彼此一致的情况下，信息处理区段30可以以该方式对接头进行分组。
[0178]在该情况下，例如，块集合和3D对象中的一者的接头的一个分组与块集合和3D对象中的另一者的一个接头关联。此时，后者的接头角度的改变被分配为前者的接头的一个分组的移动。稍后将描述具体示例。无论接头是否分组，信息处理区段30不仅考虑块集合和3D对象的总体结构而且还考虑各个接头的可移动角度来设置对应。例如，具有相同可移动角度的接头彼此关联。因此，可以从各种视点(诸如总体结构、可移动角度等)估计各接头之间的相似度，并且估计值高于阈值的接头可以彼此关联。将关于由信息处理区段30或用户所设置的对应位置的信息存储在对应信息存储区段28中。
[0179]接下来，对于这样所关联的位置设置移动对应(S52)。也就是说，关于是否照原样地反映接头角度的改变来进行设置，或者当接头没有基于一对一进行关联时，设置一比例，其中以该比例分配接头角度的改变等。当块集合和3D对象的结构彼此一致并且对应接头的可移动角度彼此相等时，接头角度可以基本上看作彼此相似，并且因而信息处理区段30以此方式进行设置。当通过对接头角度进行分组来使得结构彼此相似时，一个接头角度的改变被分配给属于一个对应分组的接头的移动，如上所述。此时，可以根据相应接头的可移动角度之间的比例来确定分配比例。
[0180]当可以这样以提前设置的规则来设置移动对应时，信息处理区段30可以进行设置。此外，显示设置屏幕，以允许用户自由地设置移动对应，或者校正已经设置的对应关系。此外，当3D对象的车辆的移动被反映在块集合的车辆的移动中时，显示器上的3D对象的车辆的速度和块集合的轮轴的旋转速度彼此关联。这种关系根据连接到块集合的轮的直径来进行改变。因此，当轮的直径是已知时，信息处理区段30可以通过操作来确定块集合的轮轴的旋转速度。当轮的直径是未知时，在用户实际上移动块集合时获取必要的参数，如稍后将描述的。对于将要关联的所有位置，重复S50至S52的处理(S54中的N)。当所有位置关联时，处理结束(S54中的Y)。
[0181]图20描绘被显示在显示设备16上以在图19中的S46中接收由用户进行的模型选择输入的屏幕的示例。模型选择接收屏幕280包括多个模型(即“模型I”、“模型2”和“模型3” )的图像、对于选择输入进行提示的字符串282以及由输入设备14可移动的光标284。“模型I”、“模型2”和“模型3”是在图19中的S44中提取的候选模型，并且是作为通过作为事物的特征、结构特征和外部特征中的至少一个进行过滤的结果，如上所述。当用户将“升降机货车”指定为作为事物的特征时，例如，所提取的模型都是升降机货车。在此情况下，在显示模型选择接收屏幕280之前，还显示用于接收“升降机货车”的选择的屏幕。
[0182]所提取的数量不限于三个。可以提取匹配条件的所有事物。可替换地，通过使用以上所述的相似度估计值来对模型进行排名，并且可以提取排名高的预定数量的模型。在此情况下，模型选择接收屏幕280可以从左边按排名的降序来布置模型的图像。在图20中，模型I”、“模型2”和“模型3”均是升降机货车，但模型的升降机部件的形状(诸如接头的数量等)彼此不同。例如，用户通过凭借光标284指示期望的模型或与块集合相似的模型以及凭借输入设备14执行确定输入来选择模型。
[0183]此外，除了用于经由光标284选择输入的手段之外的手段可以用于选择模型。例如，提出这样一种技术:由相机122拍摄用户，并且从深度图像等中检测用户的指尖的位置并且进而检测显示屏幕上所指示的位置。当使用该技术并且用户指示待选择的模型时，信息处理设备10可以识别所选择的模型。可以以相似的方式来实现用户在图21和图22中所描绘的相应设置屏幕上进行的输入。
[0184]图21描绘被显示在显示设备16上以在图19中的S48中设置对于块集合以及所选择的模型共用的坐标系统的屏幕的示例。在该示例中，用户通过根据块集合的取向调整屏幕上的3D对象的取向来指定共用坐标系统。因此，如上所述，可以将总体结构的前后取向、每个链接相对于接头的位置关系、接头角度的限定等进行统一。模型显示取向设置接收屏幕290包括:图像292，其中升降机货车的前部取向为左；图像294，其中升降机货车的前部取向为右;字符串296，其提示取向的说明；以及光标298，可由输入设备14移动。
[0185]该示例假设用户在图20中的模型选择接收屏幕280上选择“模型I”。显示从左右两个方向观看相同的模型的对象的图像。例如，用户将块集合260放置得如附图中所描绘的那样，通过光标298来指示描绘与块集合相似的取向或描绘用户认为与块集合的取向相同的取向的图像，并且通过输入设备14执行确定输入。在附图的示例中，选择左取向的图像292。然后，信息处理区段30对块集合260和3D对象设置坐标系统，使得块集合260的取向(该取向由结构分析区段22获取)以及3D对象在所选择的图像中的取向被限定为相同取向。顺便一提，如在该示例中，当可以基于结构(诸如升降机相对于平台车辆等的位置)估计块集合260和3D对象前部和后部时，信息处理区段30可以如上所述地设置坐标系统。
[0186]图22描绘被显示在显示设备16上以在图19中的S50中设置块集合和3D对象的对应位置的示例。对应位置设置屏幕300包括:3D对象的图像302 ；命令列表区段304 ；字符串306，其提示设置输入；以及光标308，可由输入设备14移动。屏幕上的3D对象在经过模型显示取向设置接收屏幕290之后处于与块集合相同的取向中。因此，用户容易理解与块集合的对应。对应位置设置屏幕300可以进一步显示块集合260的图像310。
[0187]图像310是由相机122所拍摄的图像或者其中块集合260的状态(该状态由信息处理设备10识别)被呈现为3D对象的图像。在前一情况下，当用户和相机122相对于块集合260处于彼此相对的侧上时，将所拍摄的图像水平地翻转以再现从用户观看的块集合260。在后一情况下，当非通信块使得难以确认核心的结构时，可以仅显示核心的图像。
[0188]首先，用户通过例如弯曲和伸展接头来移动块集合260中期望关联的接头(例如箭头A)。由结构分析区段22识别移动。由此实现指定块集合侧上待关联的接头(例如RJ2)的输入。接下来，用户通过光标308在3D对象的图像302中指示3D对象侧上待关联的接头(例如VJ3)，并且通过输入设备14执行确定输入。块集合260的接头RJ2和3D对象的接头VJ3由此彼此关联。信息处理区段30记录这些接头的对应关系并且将其存储在对应信息存储区段28中。
[0189]对于用户期望移动接头的块集合260的所有接头进行这种设置。此外，可以对于轮进行相似的设置。当实际上基于这样所设置的对应关系来移动块集合260时，可以允许用户检查3D对象的移动。然后，可以允许根据需要进行校正。为此，命令列表区段304显示GUI(诸如，用于取消对应位置的紧接在前的设置并且再次进行设置的“向前(prev)”按钮、用于确认当前设置并且设置下一对应位置的“向后(next)”按钮、用于在当前时间存储所有设置并且结束设置处理的“停止”按钮等)。此外，还显示用于对显示各个种类的设置屏幕作为菜单的屏幕进行过渡的“菜单(menu)”按钮。此外，在设置待稍后描述的移动对应之后，可以执行移动确认处理，并且可以通过“向前”按钮或“向后”按钮相应地确认是否取消设置。
[0190]顺便一提，当能够根据接头的可移动角度或结构约束条件来自动地缩窄可以与块集合260的指定接头关联的3D对象的接头时，信息处理区段30可以对用户建议所述接头作为候选。也就是说，在指定块集合侧上的待关联的接头的时间点，在对应位置设置屏幕300上所显示的3D对象的图像302中的用于关联的作为候选的接头在色彩等方面进行改变，并且允许用户选择接头之一。因此，即使当允许用户进行自由的对应设置时，也可以避免不可能的关联。
[0191]此外，如上所述，允许块集合的多个接头与3D对象的一个接头关联，或允许块集合的一个接头与3D对象的多个接头关联。在图22的示例中，指示块集合的两个接头与3D模型的接头VJ3关联的两个标记312被提供给3D模型的接头VJ3。例如，通过凭借移动块集合260的接头RJl将块集合260的接头RJl与3D对象的接头VJ3关联并且进一步通过移动接头RJ2将接头RJ2与3D对象的同一接头VJ3关联的操作来实现该情况。
[0192]另一方面，3D对象的接头VJl和VJ2被分组为一个分组并且被椭圆314包围，该椭圆314指示3D对象的接头VJl和VJ2与块集合的一个接头关联。为了这样将3D对象的多个接头分组为一个分组，命令列表区段304还显示“分组”按钮的GUI，以用于呈现指示分组的椭圆314。例如，用户移动块集合260的接头RJ3。然后，通过光标308选择屏幕上的“分组”按钮，并且绘制椭圆314以便包围3D对象的接头VJ2和VJl。块集合260的接头RJ3由此与3D对象的接头VJ2和VJl关联。
[0193]信息处理区段30可以从3D对象的块集合的总体结构、可移动角度等视点确定一些合适的分组图案，并且在对应位置设置屏幕300上显示分组图案作为候选。在此情况下，用户通过从候选中选择一个图案来确定分组。可替换地，分组图案候选可以被创建为3D对象的元数据，并且被显示在对应位置设置屏幕300上以便用户进行选择。顺便一提，当将块集合的图像310显示在对应位置设置屏幕300上时，可以通过光标308在图像310上指定块集合的接头。此外，在3D对象的图像302和块集合的图像310中可以以相同的色彩显示关联的接头，或者可以通过凭借直线将关联的接头彼此连接来清楚地指示其对应关系。
[0194]接下来将描述这样所关联的接头的移动对应。在图19中的S52中，通过信息处理区段30、用户或信息处理区段30和用户二者的协作来设置对应。作为基本模式，图23描绘块集合和3D对象的接头在一对一的基础上彼此关联并且接头移动到相同角度的情况。图23的左边描绘块集合的接头部件320a，图23的右边描绘3D对象的对应接头部件322a。也就是说，当块集合的接头部件320a从接头不弯曲的状态按角度Θ弯曲时，3D对象的对应接头部件322a也按角度Θ弯曲。取决于由信息处理区段30所执行的处理，当3D对象的接头部件322a按角度Θ弯曲时，对应接头322a可以通过经由驱动控制区段34驱动作为块集合的驱动区段148的致动器等按角度Θ弯曲。
[0195]基于该模式，根据约束条件(诸如可移动角度、待关联的接头的数量等)、用户的意图等来实现各种设置。图24描绘在两个分组的接头与一个接头关联的情况下的各个接头的角度之间的对应的示例。图24的左边描绘块集合的接头部件320b，图24的右边描绘3D对象的对应接头部件322b。在该示例中，块集合的两个接头部件320b与3D对象的一个接头部件322b关联。然后，当块集合的接头之一按角度01弯曲并且另一接头按角度02弯曲时，3D对象的对应接头部件322b按角度(θ1+θ2)弯曲，其为角度Q1和角度θ2之和。也就是说，通过3D对象的一个接头来实现由块集合的两个接头所进行的接头角度的改变。
[0196]当块集合的每个接头的可移动角度小于3D对象的对应接头要求改变的接头角度的改变时，该模式是有效的。可以合计块集合的三个或更多个接头角度的改变。角度对应关系在3D对象的多个接头被分组并且与块集合的一个接头关联的情况下也是相似的。当块集合的接头的数量小于3D对象的接头的数量时，该模式是有效的。
[0197]此外，反之，当3D对象的接头部件322b按角度(θ1+θ2)弯曲时，块集合的两个对应接头部件320b可以按相应角弯曲。在此情况下，信息处理区段30可以根据约束条件(诸如相应接头的可移动角度、块集合被假设所表示的事物的实际移动(即3D对象所表示的事物)等)来确定角度91与02之间的比例。当块集合的两个接头的可移动角度处于1:2的比例中时，例如，角度θι和Θ2也设置在1:2的比例中。
[0198]同样情况对于块集合的一个接头的角度的改变被分配给3D对象的多个接头的角度的情况成立。当假设图22中所描绘的升降机货车时，例如，自然的是，连接到3D对象的接头VJl的挂钩在所有时间向下垂直地取向。因此，信息处理区段30计算角度01和02，以便保持该状态。这种分配规则与3D对象的数据一起创建。顺便一提，当块集合和3D对象中的一者的角度的改变之和被反映在另一者的角度的改变中的模式以及块集合和3D对象中的一者的角度的改变被反映以便分配给另一者的多个角度的改变的模式彼此组合时，块集合的多个接头也可以与3D对象的多个接头关联。
[0199]图25描绘在两个接头被分组并且与一个接头关联的情况下的各个接头的角度之间的对应的另一示例。图25的左边描绘块集合的接头部件320c，图25的右边描绘3D对象的对应接头部件322c。在该示例中假设块集合的两个接头具有彼此不同的旋转轴，两个接头之一关于与附图的平面垂直的轴在角度上改变，并且两个接头中的另一个关于链接的轴在角度上改变。另一方面，假设其接头与块集合的两个接头关联的3D对象的一个接头是具有使得角度能够关于与块集合的轴对应的两个轴进行改变的两个自由度的接头。
[0200]于是，当块集合的接头部件320c的一个接头按角度Θ改变并且另一接头按角度φ改变时，3D对象的对应接头部件322c关于相应轴按角度Θ和φ改变。此外，反之，当3D对象的接头部件322c关于相应轴按角度Θ和φ改变时，块集合的两个对应接头320c可以分别按Θ和φ改变。
[0201]图26示出使得在一对一的基础上彼此关联的接头的角度的改变彼此不同的情况。图26的左边描绘块集合的接头部件320d，图26的右边描绘3D对象的对应接头部件322d。在该示例中，当块集合的接头按角度Θ改变时，3D对象的对应接头按角度3Θ改变，其为角度Θ的三倍。当块集合的接头的可移动角度小于3D对象的对应接头要求改变的角度的改变时，例如，即使当块集合移动到极限时，3D对象也不能如期望地移动。还存在期望3D对象动态地移动而没有移动块集合的很多工作量的情况。
[0202]该问题可以通过以下来解决:按通过将块集合的接头角度的改变乘以大于I的预定值而获取的角度来改变3D对象的接头角度，如附图中所描绘的。可替换地，通过将块集合的角度的改变乘以小于I的预定值，可以按小于块集合的角度来改变3D对象的接头角度。例如，当如在例如操控器的操作中那样地期望3D对象以比移动块集合的手的移动更高的精准度微小地移动时，该模式是有效的。在3D对象的接头的角度的改变被反映在块集合的角度的改变中的情况下，进行相似设置也是足够的。顺便一提，接头之一的角度的改变乘以预定值以获取另一个接头的角度的改变的模式可以与图24和图25中所描绘的模式相组合。在此情况下，对于所有分组的接头可以乘以相同值，或可以乘以根据接头而不同的值。
[0203]图27描绘将块集合的一个接头与3D对象的多个接头关联的另一示例。图27的左边描绘块集合的接头部件320e。图27的右边描绘3D对象的对应接头部件322e。在该示例中，块集合的一个接头部件320e与3D对象的三个接头部件322e关联。于是，当块集合的接头按角度Θ弯曲时，3D对象的三个对应接头各自按相同角度Θ弯曲。
[0204]因此，即使在块集合具有简单配置的情况下，块集合的移动也可以被反映在3D对象的宽区域中。例如，当块集合的一个接头与具有通过进一步连接3D对象的多个接头部件322e所形成的形状的大蛇形物(snake)的所有接头关联时，大蛇形物的移动(诸如前进移动)可以甚至由仅由图27中的接头部件320e所构成的块集合来表示。如上所述，当存储其中以各种方式使得大蛇形物移动的移动图像时，大蛇形物可以在稍后的任意时序中用作游戏或动画中的角色。可以通过具有接头部件320e的这种简单的块集合来实现这种前进的图像表达。顺便一提，在该模式下，3D对象中的关联的接头不限于附图中所描绘的彼此的相邻关系，而可以是存在于3D对象的远距离位置处的多个接头。
[0205]图28描绘显示在显示设备16上以在图19中的S52中设置块集合与3D对象之间的移动对应的示例。移动对应设置屏幕330是通过每当用户在屏幕上设置对应位置时就在图22所描绘的对应位置设置屏幕300上进行用于输入移动对应的对话框332的覆盖显示而获取的屏幕。该示例假设，在块集合的接头RJl和RJ2被分组并且与3D对象的接头VJ3关联之后，设置在VJ3的角度的改变被分配给块集合的RJI和RJ2的角度的改变的情况下的分配比例。为此，对话框332显示提示输入比例的字符串334以及用于输入比例的每个数值的文本框336。
[0206]当用户经由输入设备14等将具体数值输入到文本框时，信息处理区段30进一步将比例关联于块集合的接头RJl和RJ2与3D对象的接头VJ3的关联，并且存储在对应信息存储区段28中。对话框332中所设置的信息不限于此。允许根据接头是否被分组来依次设置如图23至图27中的关联当中的必要信息。然而，如上所述，当信息处理区段30可以通过提前设置的规则来关联移动时，可以省略由用户进行的设置。可替换地，可以允许用户在相似的对话框中校正由信息处理区段30所执行的关联。
[0207]图29描绘关于块集合和3D对象的对应位置以及各个对应位置的移动之间的对应的信息的数据结构的示例，所述信息存储在对应信息存储区段28中。对应信息表340包括:块集合信息区段342，描绘块集合侧的对应位置和移动；以及3D对象信息区段344，描绘3D对象侧的对应位置和移动，3D对象侧的对应位置和移动与块集合的位置和移动相对应，块集合的位置和移动是在区段中录入(enter)的。在该示例中，块集合的接头与3D对象的接头关联，并且这些接头的角度的改变之间的其它对应得以设置。
[0208]对应基本上是以行为单位录入的。块集合信息区段342和3D对象信息区段344的相应“接头”区段例如示出:块集合的接头RJl和RJ2与3D对象的接头VJ3关联。当块集合的移动在该对应中被反映在3D对象中时，接头RJl和RJ的角度的改变之和被定义为表示3D对象的接头VJ3的角度的改变。
[0209]块集合信息区段342和3D对象信息区段344的相应“角度改变”区段示出:当3D对象的移动相反地反映在块集合中并且3D对象的接头VJ3的角度按Θ改变时，接头RJl和RJ2的角度各自按Θ/2改变，也就是说，分配比例是I: 1。块集合的接头耵3与30对象的接头￥12和￥了1关联，并且当块集合的移动被反映在3D对象中时，角度改变分配比例是1:2。在下面的区段中，参照图23至图27所描述的任何移动之间的对应与对应位置一起被相似地录入。
[0210]至此已经主要进行与接头的移动之间的对应有关的具体示例的描述。接下来将进行轮的移动的关联的描述。在接头的情况下，虽然块集合和3D对象都具有约束条件(诸如可移动角度、总体结构等)，但接头基本上是彼此独立的，并且因此，块集合的接头和3D对象的接头可以等效地关联。另一方面，在轮的情况下，实际上存在这样的困难:即使当轮的移动并未精准地定义时，块集合也具有比在接头的情况下更多的约束条件，而3D对象可以被表达得如同3D对象正在行驶。也就是说，为了使得块集合和3D对象显现为与彼此互锁，将行进方向和近似速度彼此关联是足够的。通过在图19中的S48中设置共用坐标系统来获取这些对应关系。
[0211]当用户移动块集合260并且该移动被反映在3D对象中时，可以仅基于这些对应关系而容易地实现块集合的移动在3D对象中的反映。具体地，从相机122的拍摄的图像等获取块集合的移动量和行进方向并且表达3D对象使得3D对象也基于块集合的移动量和行进方向而相似地移动是足够的。另一方面，当3D对象的移动待反映在块集合中时，根据约束条件的设置是必要的。例如，当轮不执行协作操作时，无法使得车辆行驶。此外，用于获取期望的速度的轮的旋转速度根据轮的直径而改变。因此，例如，当不进行适当调整时，车辆可能达到过高的速度，并且与墙壁碰撞。
[0212]因此，在关联轮的移动时，由于在块集合侧上存在更多的约束条件，因此对于由用户进行的自由设置比在接头的情况下存在更少的空间。因此，信息处理区段30主要对移动进行关联。具体地，在块集合的前后左右变得清楚的时间点，根据提前设置的驱动系统来确定驱动轮、从动轮以及转向轮。此外，执行分组，以便满足左右驱动轮和左右转向轮具有相同旋转速度和相同转向角度的约束条件。此外，块集合的轮的旋转速度和转向角度与3D对象的虚拟速度和方向改变关联，使得块集合以与虚拟世界中所表达的3D对象的速度和方向改变对应的合适的速度和合适的方向改变来行驶。
[0213]图30是描绘用于在3D对象的移动被反映在块集合中的模式下设置3D对象的移动和块集合的移动之间的对应的处理过程的流程图。该处理与图19中的S50和S52的处理对应。当信息处理区段30首先基于来自结构分析区段22的信息而检测到轮被装配到块集合时，信息处理区段30根据块集合的前后左右取向和驱动系统将轮的作用(诸如驱动轮、转向轮等)分配给前轮或后轮(S58)。另外，至少两个轮被布置为彼此平行，其中所述轮被分配了驱动轮或转向轮的作用并且被分组成一个分组，从而使得所述轮执行协作操作(S60)。
[0214]顺便一提，当彼此平行布置的两个轮关于一个轮轴旋转时，这两个轮自然地执行协作操作，并且因此可以省略S60的处理。接下来，获取用于获取反映3D对象的虚拟行驶的合适的移动速度和合适的方向改变的控制参数。控制参数在此情况下是使驱动轮的轮轴旋转的致动器的旋转速度、使转向轮的转向角度改变的致动器的移动量等。顺便一提，对控制在S60中所分组的驱动轮和转向轮的多个致动器进行控制，使得根据来自信息处理设备10的控制信号执行相同操作。
[0215]为了获取控制参数，首先，使得用户实际上在预定方向上移动块集合。测量块集合的移动量，并且测量在移动之时的轮轴的旋转量和转向角度(S62、S64和S66)。例如，用户可以通过分离地制备的控制机构来电子地驱动块集合，或可以通过用手推动块集合的主体来手动地移动块集合。在后一情况下，轮轴以及用于改变转向角度的机构不受致动器的控制。可以从相机122的拍摄的图像或根据相机122的拍摄的图像而生成的深度图像中获取块集合的移动量。可以从来自被提供给轮的旋转式编码器的信号获取旋转量。可以由被提供给轮的转向角度传感器来获取转向角度。顺便一提，当不提供传感器(诸如旋转式编码器等)时，例如，可以基于轮的直径、行进距离以及行进方向来计算旋转量和转向角度。
[0216]然后，基于关于包括方向改变的移动量的实际旋转量和实际转向角度，获取用于获取移动量的控制量(诸如电机的旋转量、致动器的移动量等)(S68)。将该对应关系转换为每单位时间或每单位角度的值。由此将移动速度和单位转向角度与控制参数的值关联(S70)。在该情况下的移动速度是块集合本身的合适的移动速度。然而，当块集合与屏幕上的3D对象互锁时，移动速度是通过虚拟世界中的移动速度所确定的值。同样情况对于转向角度成立。因此，通过S70的处理，3D对象的移动与块集合的移动关联。
[0217]顺便一提，当根据连接到块集合的轮的标识编号获知所述轮的直径时，可以通过操作来获取移动速度与控制参数之间的对应关系。因此，可以省略S62至S68的处理。此外，至此所描述的示例假设:被假设为表示升降机货车的块集合和升降机货车的3D对象彼此关联。因此已经进行轮的移动的关联的描述。然而，即使当3D对象没有轮时，也相似地应用图28中所描绘的流程图。
[0218]也就是说，即使在3D对象是人、动物、昆虫、除了汽车之外的车辆等的情况下，当虚拟世界中的移动被反映在块集合的移动中时，通过凭借图28的处理过程将移动速度和转向角度与控制参数关联，可以按与3D对象的虚拟移动对应的速度和方向来移动块集合。此外，这可不仅应用于反映3D对象的移动的模式，而且还应用于根据由信息处理设备10所执行的处理的结果来简单地移动块集合的模式。
[0219]图31是辅助解释与块集合的轮有关的上述设置扩展到合成链接的情况的图。在附图中所描绘的合成链接350中，接头并非完全彼此独立，而是链接彼此互锁。也就是说，当合成链接350的一个接头如箭头所指示的那样移动时，四个接头都移动(合成链接352)。在此情况下，致动器不可能仅移动一个接头。因此，如在驱动轮的情况下，将四个接头进行分组并且使其执行协作操作。当将合成链接并入到块集合中时，用户在对应设置屏幕等上清楚地指示合成链接的存在性，或者当块集合的真实事物中的合成链接移动时，信息处理区段30识别合成链接的存在性。然后，当设置与3D对象的移动对应时，将合成链接中所包括的所有接头进行分组。
[0220]根据上述该实施例，能够自由组装的块被用作输入设备或输出设备，以用于信息处理设备中的处理。通过使用用于获取位置和姿态的各个种类的传感器以及具有通信功能的通信块来获取在组装之后的块的细节(诸如块的骨架和位置)等。此外，通过使用用于检测块在真实空间中的存在性的手段(诸如相机所拍摄的图像等)来获取在组装之后的块的表面形状。即使当没有通信功能的非通信块被用作块的部件时，也可以通过整合这些信息来以高准确度标识在组装之后的块的位置、姿态和形状。
[0221]因此，块的形状、材料、色彩等不受限，甚至可以使用用户他本身/她本身制作的事物，并且可以自由地创建具有服务于用户的意图的外部外观的对象。此外，无论外部外观如何，信息处理设备都可以通过高准确度来获取位置、姿态和形状。因此，可以利用由用户作为输入信息进行的组装或移动动作来执行各个种类的信息处理。此外，作为信息处理的结果，可以移动所组装的块。
[0222]例如，可以显示具有与所组装的块相同的外部外观的3D对象，或者可以显示具有更真实的外部外观的3D对象(该3D对象与所组装的块对应)。在后一情况下，用户可以通过对于块的每个部件指定3D对象的部件来形成3D对象本身，或者可以使得整个块与一个3D对象对应。此时，通过关联待互锁的接头的位置等，可以不仅相互反映位置的改变而且还相互反映姿态或形状的改变。可以基于约束条件(诸如块集合和3D对象的形状、接头的数量、接头的可移动角度、轮的协作操作等)来对设置对应位置和移动关联进行设置。由信息处理设备自动建立这些关联，或者提供允许用户进行设置的环境。由此可以在减少对用户的负载的同时自由地形成真实世界与虚拟世界之间的链接。
[0223]以上已经基于本发明实施例描述了本发明。前述实施例是说明性的，并且本领域技术人员应当理解，实施例的构成要素和处理过程的组合易受各种修改，并且这些修改也落入本发明的范围内。
[0224]例如，参照图22所描述的对应位置设置屏幕300假设块集合作为将要与屏幕上的3D对象关联的对象。然而，除了块集合之外的事物(诸如例如用户他本身/她本身等)可以相似地关联。当关联用户时，相机122拍摄用户，例如基于所拍摄的图像而生成深度图像，并且估计骨架的位置。可以通过应用传统技术(诸如骨架跟踪等)来跟踪骨架的位置。当用户接着关于期望待关联的接头(诸如肩部、肘部等)移动部件(诸如手臂等)时，信息处理设备10如在块集合的情况下那样识别接头。此外，在屏幕上指定3D对象的接头，从而用户和3D对象的接头可以彼此关联。
[0225]可以由此实现3D对象根据用户的移动而移动的模式。可替换地，当如在该实施例中的将块集合组装为人的形式并且与3D对象关联时，用户的接头和块集合的接头间接地经由3D对象的接头彼此关联。当在该实施例中该状态得以利用并且与将3D对象的移动反映于块集合中的模式组合时，也可以实现根据用户的移动而移动块集合的模式。
[0226]作为该模式的修改，可以从所拍摄的图像实时地生成用户的图像和描绘骨架的位置的图像，并且将其显示在对应位置设置屏幕上，使得用户的接头和3D对象的接头在屏幕上彼此关联。此时，这两个图像可以同时显示或交替地显示，以接收其对应将要被逐一设置的接头的说明。顺便一提，这些修改假设用户将用户他本身/她本身的接头与3D对象的接头关联。然而，当3D对象是人、机器人等并且与用户的接头的对应是明显的时候，可以省略由用户进行的设置，并且信息处理设备可以进行所有设置。
[0227]此外，在该实施例中，在车辆的前部和后部为已知的状态下，将轮装配到轮轴，并且信息处理设备相应地确定驱动轮、从动轮和转向轮的作用。然后，根据这些作用来改变控制车辆的操作的致动器的移动。这种模式可以扩展为实现包括根据所连接的事物而改变其移动的致动器的块。例如，当装配由轮轴和轮构成的部件时，通过旋转轮轴来移动块集合的车辆。当装配由凸轮和弹簧等构成的部件时，通过凸轮的旋转来释放弹簧，并且在所设置的状态下的箭头等弹射。当装配包括上述接头的部件时，使得该部件操作为接头。
[0228]在此情况下，信息处理设备10通过从所拍摄的图像识别所连接的事物的种类并且将与所连接的事物的种类对应的控制信号发送到块集合来适当地改变致动器的移动。因此，包括致动器的块的多样性增加，并且可以通过比对于不同的种类制备不同的块更低的成本来实现广泛的块集合。
[0229][标号列表]
[0230]2信息处理系统、10信息处理设备、14输入设备、16显示设备、20核心信息接收区段、22结构分析区段、24块信息存储区段、26模型数据存储区段、28对应信息存储区段、30信息处理区段、32显示处理区段、34驱动控制区段、102a四边形棱柱块、122相机、120块集合、126a块、128a电池、130a通信机构、132a存储器、134位置传感器、136a运动传感器、138角度传感器、139a致动器、141旋转式编码器、142a第一块、143a第一通信区段、144a元件信息获取区段、146a第二通信区段、148驱动区段。
[0231][工业应用性]
[0232]如上所述，本发明可应用于玩具、游戏设备、组装式设备、学习材料、内容显示终端、信息处理设备、机器人等。
【主权项】
1.一种信息处理设备，包括: 结构信息接收区段，其从通过将单独制备的各块彼此耦合所形成的组装设备获取与通信块的结构有关的信息，所述组装设备包括具有通信机构并且被配置为能够发送与连接状态有关的信息的通信块以及与所述通信块不同的非通信块； 结构分析区段，其通过以下操作来生成包括组装设备的整体的形状、位置和姿态的状态信息:从通过拍摄组装设备所获取的图像中获取组装设备的整体图像和位置，并且将组装设备的整体图像和位置和与通信块的结构有关的信息进行整合;以及 信息处理区段，其基于状态信息来执行信息处理。2.如权利要求1所述的信息处理设备， 其中，结构分析区段通过基于与结构有关的信息标识整体图像中的通信块的部件来提取非通信块的图像，所述通信块的部件包括所述通信块的隐藏部件，基于提取的结果来标识非通信块和通信块的形状之间的位置关系，所述非通信块和所述通信块彼此连接，并且生成状态?目息。3.如权利要求2所述的信息处理设备， 其中，结构分析区段按预定频率生成状态信息，当图像中不包括连接的非通信块的部件的图像时按预定规则假设该部件的形状，并且在后续时间步骤中当图像中包括该部件时校正所假设的形状。4.如权利要求2或3所述的信息处理设备， 其中，结构分析区段按预定频率生成状态信息，并且当连接的非通信块的数量随着时间的流逝而改变时，结构分析区段识别非通信块的附接和拆卸，并且更新状态信息。5.如权利要求2至4中的任一项所述的信息处理设备， 其中，结构分析区段通过搜索基于所提取的非通信块的图像而记录每个非通信块的特征的非通信块基本信息来标识连接的非通信块的形状。6.如权利要求2至5中的任一项所述的信息处理设备， 其中，结构分析区段在状态信息中个体地管理连接的非通信块，并且当通信块在形状上改变时受到连接到通信块的非通信块的划分的触发，结构分析区段更新状态信息以管理两个非通信块，以便将两个非通信块彼此区分。7.如权利要求1至6中的任一项所述的信息处理设备， 其中，信息处理区段基于状态信息来呈现组装设备的外部外观作为对象，并且在显示设备上显示所述对象。8.如权利要求1至7中的任一项所述的信息处理设备， 其中，结构分析区段在状态信息中保存关于先前移除的非通信块的信息，以及 信息处理区段根据来自用户的请求通过参照状态信息在先前移除的非通信块恢复到原始位置时呈现组装设备的外部外观作为对象，并且在显示设备上显示所述对象。9.如权利要求1至7中的任一项所述的信息处理设备， 其中，信息处理区段在显示设备上显示组装设备的外部外观作为对象，从用户接收连接屏幕上的另一对象模型的输入，并且在状态信息中反映由于所述输入而导致的虚拟连接。10.一种信息处理系统，包括: 通过将单独制备的各块彼此耦合而形成的组装设备；以及 信息处理设备，其基于来自组装设备的输入信号来执行信息处理； 所述组装设备包括: 具有通信机构并且被配置为能够发送与各块之间的连接状态有关的信息的通信块，以及与所述通信块不同的非通信块，并且所述信息处理设备包括: 结构信息接收区段，其从组装设备获取与通信块的结构有关的信息， 结构分析区段，其通过以下操作来生成包括组装设备的整体的形状、位置和姿态的状态信息:从通过拍摄组装设备所获取的图像中获取组装设备的整体图像和位置，并且将组装设备的整体图像和位置和与通信块的结构有关的信息进行整合，以及信息处理区段，其基于状态信息来执行信息处理。11.一种包括能够彼此耦合的多个块的块系统， 所述多个块包括:通信块，其具有能够向和从另一块发送和接收与各块之间的连接状态有关的信息的通信机构；以及与所述通信块不同的非通信块， 所述通信块中的至少一个还包括将与通信块的结构有关的信息发送到外部信息处理设备的通信机构，所述与通信块的结构有关的信息是通过整合与连接状态有关的信息而形成的，以便所述信息处理设备通过整合所述与通信块的结构有关的信息和从所述块系统的拍摄的图像中所获取的信息来生成包括所述块系统的形状、位置和姿态的状态信息。12.—种信息处理设备的信息处理方法，所述信息处理方法包括以下步骤: 从通过将单独制备的各块彼此耦合所形成的组装设备获取与通信块的结构有关的信息，所述组装设备包括具有通信机构并且被配置为能够发送与连接状态有关的信息的通信块以及与所述通信块不同的非通信块； 通过以下操作来生成包括组装设备的整体的形状、位置和姿态的状态信息:从通过拍摄组装设备所获取的图像中获取组装设备的整体图像和位置，并且将组装设备的整体图像和位置和与通信块的结构有关的信息进行整合，并且将状态信息存储在存储器中；以及从存储器读取状态信息，并且基于状态信息来执行信息处理。13.—种用于使得计算机实现以下功能的计算机程序: 从通过将单独制备的各块彼此耦合所形成的组装设备获取与通信块的结构有关的信息，所述组装设备包括具有通信机构并且被配置为能够发送与连接状态有关的信息的通信块以及与所述通信块不同的非通信块； 通过以下操作来生成包括组装设备的整体的形状、位置和姿态的状态信息:从通过拍摄组装设备所获取的图像中获取组装设备的整体图像和位置，并且将组装设备的整体图像和位置和与通信块的结构有关的信息进行整合;以及基于状态信息来执行信息处理。14.一种在其上记录计算机程序的计算机可读记录介质，所述计算机程序使得计算机实现以下功能: 从通过将单独制备的各块彼此耦合所形成的组装设备获取与通信块的结构有关的信息，所述组装设备包括具有通信机构并且被配置为能够发送与连接状态有关的信息的通信块以及与所述通信块不同的非通信块； 通过以下操作来生成包括组装设备的整体的形状、位置和姿态的状态信息:从通过拍摄组装设备所获取的图像中获取组装设备的整体图像和位置，并且将组装设备的整体图像和位置和与通信块的结构有关的信息进行整合;以及基于状态信息来执行信息处理。
【文档编号】G06T13/40GK105917386SQ201580004639
【公开日】2016年8月31日
【申请日】2015年1月14日
【发明人】外川圭司, 平田真, 平田真一, 沼口直纪, 山岸建, 大泽洋
【申请人】索尼互动娱乐股份有限公司