用于增强现实的玩具搭建系统的制作方法

用于增强现实的玩具搭建系统的制作方法
【专利摘要】一种玩具搭建系统，包括玩具搭建元件，玩具搭建元件包括用于可释放地令玩具搭建元件互连的联接器件，包括一个或多个标记搭建元件，所述标记搭建元件包括这样的联接器件且每一个具有通过图像处理器件可识别的视觉外观，且数据处理系统包括图像捕获器件、图像处理器件和显示器件，其中数据处理系统适于捕获用玩具搭建元件搭建的玩具搭建模型的图像，处理被捕获图像，以至少检测被捕获图像中至少一个标记搭建元件的存在；响应于被检测的标记搭建元件产生计算机产生的图像；和在所述显示器件上显示复合图像，其包括被捕获图像，其叠加有所产生的计算机产生图像。
【专利说明】用于增强现实的玩具搭建系统
【技术领域】
[0001]本发明涉及玩具搭建系统，其包括具有联接器件的搭建元件，所述联接器件用于可释放地互连搭建元件。
【背景技术】
[0002]这种玩具搭建系统已经存在数十年。特别地，玩具搭建系统包括具有联接器件的玩具搭建元件，所述联接器件用于可释放地将搭建元件彼此互连，玩具搭建系统具有很高的流行度。简单的构建块与专用搭建元件互补，所述专用搭建元件具有机械或电的功能以增强游戏价值。这种功能包括例如电动机、开关和灯。
[0003]通常期望的是增强物理搭建模型的游戏价值，和允许用户经由计算机与物理搭建模型互动。为此，已经公开的物理搭建模型包括可编程的处理器，其从传感器接收输入且可响应于接收的传感器输入而启动功能元件，且其可以被用户通过合适的编程计算机而编程。
[0004]例如，W009047225公开了玩具搭建系统，其包括具有联接器件的搭建元件，所述联接器件可释放地令搭建元件互连。玩具搭建系统进一步包括数据处理系统，其被编程为提供用于产生一个或多个逻辑命令以用于控制搭建系统的一个或多个功能元件的编程环境。为此，玩具搭建系统包括接口搭建元件，其允许将玩具搭建模型电连接到计算机，且允许计算机检测哪个功能元件被包括在玩具搭建模型中。
[0005]即使上述现有技术系统允许用户通过计算机与物理搭建模型互动，但是仍然期望的是提供物理搭建模型与在计算机上产生的虚拟现实的更紧密整合。
[0006]在图像辨识和计算机图形学的不同【技术领域】中，利用增强现实(AR)的系统已经吸引了大量的关注。增强现实(AR)是这样的技术，其中一个或多个物理物品、真实世界环境的被捕捉的实时视图(live view)被计算机产生的图形增强，即其中用户被提供复合的视图，其包括实时视图和计算机产生的图形，例如是实时视图与计算机图形的重叠/重合的形式。
[0007]在这些系统中，图像特征在被捕获的视图中被检测，且系统可以随后依赖于指定的图像特征产生计算机产生的图像，且使得计算机产生的图像在被捕获的视图上叠加。另夕卜，计算机产生的图像在视频图像上的叠加是已知的，所述视频图像包括预定的增强现实标记或标签，所述标记或标签有助于检测图像特征。
[0008]增强现实已经用于为用户提供计算机产生的玩具搭建模型的图像，所述玩具搭建模型可用盒装出售的玩具搭建元件构造。为此，盒包括在其外侧上的增强现实标记。在用户将盒保持在商店内售货亭系统的视频摄像头前时，售货亭系统显示被捕获的盒的视频图像，其通过计算机产生的搭建模型的图像来增强，所述搭建模型的图像被显示为仿佛构造在盒的顶部上。在用户在摄像头前让盒运动或旋转时，计算机产生的搭建模型的图像跟随这些运动。
[0009]然而，仍然期望提供物理搭建模型与在计算机上产生的虚拟现实的更紧密整合。[0010]由此存在的问题是提供这样的玩具搭建系统，其允许小孩子们(例如学前孩子)将物理玩具搭建模式与虚拟的、计算机产生的游戏体验结合。
[0011]还通常期望的是提供一种玩具搭建系统，其适用于不详细理解编程技术、控制系统等的孩子们。
[0012]通常还期望的增强玩具搭建系统的教育和游戏价值。

【发明内容】

[0013]本文公开一种玩具搭建系统，包括具有联接器件的玩具搭建元件，联接器件用于可释放地互连玩具搭建元件。玩具搭建系统的实施例包括一个或多个标记搭建元件，其具有这样的联接器件且每一个具有在标记搭建元件的被捕获图像中通过图像处理可识别的视觉外观，且数据处理系统包括图像捕获器件、处理器件和显示器件，其中数据处理系统适于
[0014]-捕获用所述玩具搭建元件搭建的玩具搭建模型的图像；
[0015]-处理被捕获的图像，以至少检测被捕获图像中至少一个标记搭建元件的存在；
[0016]-响应于检测的标记搭建元件，产生计算机产生的图像；和
[0017]-在所述显示器件上显示复合图像，其包括被捕获图像，其叠加有所产生的计算机产生图像。
[0018]通过提供包括与玩具搭建系统兼容的联接器件的标记搭建元件，标记搭建元件可释放地连接到玩具搭建系统的其他搭建元件。通常，标记搭建元件是包括与玩具搭建系统兼容的联接器件的玩具搭建元件，且包括在标记搭建元件的被捕获图像中通过图像处理系统可识别的视觉外观，例如在标记搭建元件的被捕获图像上可被容易地检测的标识。联接器件可以是任何合适的器件，用于机械地将玩具搭建元件彼此连接，例如通过摩擦连接、闩锁或卡扣功能、和/或任何其他机械、非粘接的连接器。因此，用户可以重复和可释放地将一个或多个标记元件连接到玩具搭建模型，由此形成可通过AR系统检测的玩具搭建模型的特征，所述AR系统适于在玩具搭建模型的被捕获图像中识别标记搭建元件。因此，用户可以容易地将用玩具搭建元件搭建的任何玩具搭建模型转换到AR实现的模型中，即允许数据处理系统响应于检测的标记搭建元件的存在和可选的其他性能而产生和叠加计算机产生的图像。用户可以由此仅仅通过使用作为接口的玩具搭建系统的搭建元件而控制AR应用。
[0019]本文所述的玩具搭建系统的实施例的进一步优势是，标记搭建元件可容易地被给定玩具结构中其他标记搭建元件替换，由此允许在AR系统中实现各种不同的可能的互动。
[0020]在一些实施例中，联接器件适于限定连接方向且允许每一个搭建元件与另一搭建元件以相对于搭建元件的一些预定相对取向互相连接；和所有标识布置为在标记搭建元件联接到玩具搭建系统的至少一个其他玩具搭建元件时从相对于被限定的连接方向的至少一个预定方向可见。因此，这样的玩具搭建系统允许玩具结构的搭建中标记搭建元件互连到玩具搭建系统的其他搭建元件，使得标识的能见度可被容易地保证，甚至在不同标记搭建兀件彼此更换时。
[0021]在一些实施例中，玩具搭建系统包括至少两个标记搭建元件，其中两个标记搭建元件经由联接器件可释放地彼此连接，以便形成复合标记元件。标记搭建元件可以直接地彼此连接和/或间接地彼此连接，例如通过用共同的第三玩具搭建元件(或搭建元件组)连接两个标记搭建元件。计算机系统可以适于检测复合标记元件和响应于复合标记元件的检测而选择性地产生计算机产生的图像。因此，通过以不同方式互连标记搭建元件，用户可以用相对少量的基本标记搭建元件建造各种新的复合标记元件，由此增加可能的增强现实场景的变化性，所述场景响应于这样的复合标记的检测而通过计算机形成。例如，一组标记搭建元件功能类似于字母，形成通过AR系统可识别的词，例如根据预定的代码。
[0022]在一个实施例中，玩具搭建系统包括骰子，其具有可置换的面，每一个面通过玩具搭建系统的搭建元件形成，且其中一个或多个标记搭建元件的形状和尺寸和联接器件配置为允许将标记搭建元件联接到骰子，且其中标记搭建元件配置为形成骰子的面，其中标记搭建元件包括在形成骰子面的一部分表面上的可视觉检测的标识。骰子的实施例可以是用于游戏的骰子，例如桌面、卡片游戏或一些其他游戏。游戏骰子可以包括本体部分，所述本体部分包括至少六个侧面，当处于平面支撑件上时游戏骰子可以稳定地放置在所述侧面上，且其中至少一个或多个这样的侧面设置为具有用于安装带标识的标记元件的联接器件。在一些实施例中，骰子的至少一侧可以设置为具有用于同时安装至少两个带标识的标记元件的联接器件。因此，计算机系统可以检测标记元件(一个或多个)且形成相应响应，由此进一步在游戏骰子被抛出时实现用于新种类游戏的选项或用于形成不同结果的更多选项。
[0023]在一些实施例中，联接器件限定规则网格，例如三维(3D)网格，将玩具搭建模型中搭建元件的位置先订到所述规则网格上的不连续的位置。特别地，联接器件可以包括定位在三维规则网格的网格点上的多个联接元件，例如限定为多个平面的网格，其布置为彼此平行且具有规则的平面内距离。通过联接器件限定的内在的不连续坐标系统有助于检测不同标记元件之间和/或标记搭建元件和玩具搭建模型的另一元件或特征之间的空间关系。特别地，在标记搭建元件的可视觉检测的特征定位在相对于标记搭建元件的联接器件的一致位置时，有助于玩具搭建模型中AR标记的位置的可靠且准确的判断。
[0024]标记搭建元件每一个可以包括可视觉检测的特征，例如标识。特别地，在搭建元件具有呈现(assume)不连续且有限的一组值中的一个的至少一个性质(例如有限数量的不同颜色)时，这样的性质可以用作可容易地检测的AR标记，其中该性质是可检测且可通过AR计算机系统识别。出于描述的目的，通过AR系统可识别的标记搭建元件的视觉特征也将称为AR标记。
[0025]AR标记(例如标识)可以限定一个或多个方向，例如相对于如在本文所述的玩具搭建系统的内在坐标系统，由此允许AR系统检测AR标记的取向，例如相对于摄像头位置和/或相对于另一 AR标记的取向。
[0026]在一些实施例中，每一个标记搭建元件包括计算机可识别标识，例如在标记搭建元件的外表面上，例如计算机可识别条形码、矩阵代码和/或另一合适的2D符号。
[0027]在一些实施例中，标记搭建元件可以包括两个不同的AR标记和可动的元件,例如铰接元件、可旋转地布置的元件等，其可以在第一和第二位置之间运动，从而在分别定位在第一和第二位置时可动的元件选择性地挡住相应一个标记。因此，部件的运动使得不同标记变得看得见，由此允许AR计算机系统检测可动部件的状态。
[0028]玩具搭建系统的实施例允许用户以一致且结构良好的方式且通过有限组的不同搭建元件来建造多种有利于AR功能性的玩具搭建模型。例如，玩具搭建系统可以设置为包括若干个具有不同标识的标记搭建元件的玩具搭建组。可选地，这样的玩具搭建组可以包括以下一个或多个:图像捕获装置；常规的搭建元件；指令手册；计算机可读介质，其上存储了计算机编程器件，所述计算机编程器件适于使得计算机执行本文所述的方法的实施例的步骤；和/或类似的器件。
[0029]应注意,玩具构建组可以进一步包括一些类型的搭建元件,例如主动和/或被动的搭建元件，其具有或不具有执行或控制动作/功能的能力，例如本领域已知的常规的构建块。
[0030]本发明的不同方面可以以不同方式实施，包括如上文和下文中所述的玩具构建系统和相应方法、设备和产品器件，其每一个都产生与如上所述的至少一个方面有关的优点，且每一个具有一个或多个优选实施例，所述实施例对应于针对如上所述的至少一个方面所述的和权利要求中公开的优选实施例。进而，应理解针对本文所述的一个方面所述的实施例可以同样地应用于其他方面。
[0031]特别地，提供了一种用于产生玩具搭建模型的图像的方法。进而，提供了计算机程序产品，其包括程序代码器件，所述程序代码器件适于当在数据处理系统上执行时使得数据处理系统执行本文所述的方法的步骤。
[0032]计算机程序产品可以设置为计算机可读介质，例如CD-ROM、DVD、光盘、存储卡、闪存存储器、磁性存储装置、软盘、硬盘等。在其他实施例中，计算机程序产品可以设置为可下载的软件包，例如网络服务器，用于在因特网或其他计算机或通信网络上进行下载。特别地，玩具搭建组的实施例可以包括玩具搭建元件，其包括如在本文所述的一个或多个标记搭建元件，和安装指令，所述安装指令用于将计算机程序产品安装在合适的数据处理系统上。
[0033]数据处理系统可以包括任何合适的计算机或其他处理装置，例如PC、便携或手持计算机、PDA、智能电话和/或类似产品。
[0034]数据处理系统的实施例包括图像捕获器件，例如摄像头，例如视频摄像头，或任何其他合适的装置，用于获得玩具搭建模型的图像。
[0035]数据处理系统的实施例包括图像处理器件，例如配置为在被捕获图像上执行一个或多个图像处理操作的处理器件，所述处理操作例如特征检测操作。
[0036]如下所述的，术语处理器件和处理单元意图包括适于执行本文所述的功能的任何电路和/或装置。特别地，上述术语包括通用或专用的可编程微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、域可编程门阵列(FPGA)、专用电子电路等，或其组合。
[0037]本文所述的玩具搭建组的实施例由此允许用户建造多种玩具模型且以容易的且可准确复现的方式增加计算机可识别标记元件，这允许被适当编程的计算机捕获玩具模型的图像，且响应于识别的标记搭建元件而用计算机产生的图像来增强或更换被捕获图像。
[0038]响应于AR标记的检测而产生计算机产生的图像可以包括执行由AR标记的检测触发的进一步的功能，例如虚拟环境中的活动这样的触发事件，一个或多个虚拟人物的行为
坐寸ο
[0039]进而，根据一些实施例，用户可以通过将合适的标记搭建元件联接到玩具搭建模型和/或通过操作包括这样的标记搭建元件的玩具搭建模型的至少一些部分而控制计算机产生的图像产生和显示。
【专利附图】

【附图说明】
[0040]图la-d每一个显示了现有技术的玩具构建块，
[0041]图2显示了本文公开的玩具搭建系统的实施例。
[0042]图3和4示意性地显示了标记搭建元件的例子。
[0043]图5a_g显示了复合标记搭建元件的例子。
[0044]图6和7显示了复合标记搭建元件的使用的例子。
[0045]图8a_d显示了限定规则网格的玩具搭建系统的例子。
[0046]图9和10显示了如在本文所述的玩具搭建系统的例子。
[0047]图lla-b显示了包括两个选择性可见的AR标记的标记搭建元件的例子。
【具体实施方式】
[0048]本文公开的玩具搭建系统的实施例的各种方面将通过参考块件形式的玩具搭建元件描述。然而，本发明可以应用于用在玩具搭建组中的其他形成的搭建元件。
[0049]图la-d每一个显示了现有技术的玩具构建块，其具有在其顶部表面上的联接突柱105和从底部延伸到块中的腔体102。图la-b显示了玩具构建块的顶侧，而图1b显示了同一玩具构建块的底侧。图lc-d显示了具有不同大小的相似的玩具构建块的例子。这种搭建元件可广泛地以商品名LEGO获得。腔体具有中央管103，且另一个块的联接突柱可被接收在腔体且形成摩擦接合，如US3005282公开的。其余图中所示的构建块可以具有该已知类型的联接器件，其是协作的突柱和腔体的形式。然而，也可以使用其他类型的联接器件。联接突柱布置在正方形平面的网格中，即限定正交方向，一系列联接突柱沿所述正交方向布置。通常，联接元件的装置布置允许玩具块相对于彼此以不连续的一些方位互连，特别地相对于彼此成直角。应理解，联接元件的其他几何布置会产生不同的方位限制。例如，联接元件可以布置在三角形的规则网格中，允许构建元件以三种不同方位被置于另一构建元件上。
[0050]图2显示了如本文公开的玩具搭建系统的实施例。系统包括计算机15、显示器1、视频摄像头5、用至少一个玩具搭建元件和如在本文所述的玩具搭建系统的至少一个标志搭建元件11搭建的玩具搭建模型10。计算机可以是个人计算机、桌面计算机、笔记本计算机、手持计算机、游戏控制台、手持娱乐装置或任何其他适于编程的计算机。显示器I操作性地联接到(例如整合到)计算机15，且可操作为在计算机15的控制下显示视频图像。应理解，系统可以进一步包括周边计算机装置，其操作性地联接到计算机15，例如键盘、鼠标2或其他指针装置、和/或其他类似装置。视频摄像头5可操作为捕获环境的视频图像，其中视频摄像头定位为使得例如视野7包括表面4 (例如桌面、地板等)的看得见的表面区域
8。因此看得见的表面区域8为视频摄像头在表面4上的视野的投影。视频摄像头操作性地联接到(例如整合)到计算机5且可操作为将被捕获的视频图像例如经由合适的计算机15的输入接口而发送到计算机15的处理单元。例如，视频摄像头可以是连接到或整合到计算机15的网络摄像头。图2的例子中，视频摄像头定位在摄像头支撑部6上，例如三脚架，其将摄像头支撑在高于表面4的预定高度处。
[0051]这里，视频摄像头5捕获环境8的视频图像，其中视频摄像头在该环境8中就位且发送被捕获的视频图像到计算机15。例如，视频摄像头所在的环境可以包括玩具搭建模型
10。除了玩具搭建模型10，环境可以进一步包括物体，如家用物体、玩具等。
[0052]计算机图像随后被计算机15产生在显示器I上。因此，用户可以让玩具搭建模型10围绕视频摄像头5的视野而运动和/或在视频摄像头5的视野中以其他方式操作玩具搭建模型，且从玩具搭建模型的视频摄像头5观察实时的视频。替换地或另外地，用户可改变视频摄像头的位置和/或方位，以便从不同位置捕获玩具搭建模型(例如静止的)的图像。另外，计算机可以可操作为将被捕获的视频图像存储在存储装置上，例如计算机的硬盘，和/或将被捕获的视频发送到另一计算机，例如经由计算机网络。例如，计算机可以可操作为将被捕获的视频图像上传到网站。
[0053]计算机15适于被编程，以在增强现实模式中运行，在该模式中计算机在被捕获的视频图像上进行图像处理，以便检测被捕获的视频图像中的一个或多个预定的增强现实标记或标签。响应于检测的AR标记(一个或多个)，计算机可以被编程为产生改变的视频图像，例如视频图像被形成为叠加有计算机产生图像的被捕获视频图像，或其中被捕获视频图像的至少一部分被计算机产生的图像所替换的视频图像。计算机15可操作为在显示器I上显示被改变的视频图像。出于描述的目的，计算机可操作为执行AR功能，其操作性地连接到视频摄像头，且显示器也将被称为AR系统。
[0054]用于检测AR标记和用于响应于被检测的AR标记而产生改变的视频图像的图像处理方法在本领域是已知的(例如见Daniel Wagner和Dieter Schmalstieg的"ARToolKitPius for Pose Tracking on Mobile Devices", omputer Vision WinterWorkshop2007, Michael Grabner, Helmut Grabner (eds.), St.Lambrecht, Austria,February6-8, Graz Technical University)。
[0055]在图2的例子中，物理玩具搭建模型10包括玩具搭建元件9，已经对其连接了标记搭建元件11。标记搭建元件11具有在其顶部表面上的二维机器可读代码形式的标识。
[0056]计算机15可操作为检测被捕获图像中二维机器可读代码的存在。进而，计算机15可以确定二维机器可读代码相对于视频摄像头15位置的相对位置和取向。
[0057]因而，计算机15可以修改玩具搭建模型的被捕获图像，使得显示器I上显示被改变的视频图像12。在该例子中，被改变的图像显示玩具搭建模型的被捕获图像13和叠加被捕获图像的经计算机产生的图像元素14。计算机以在视频图像12中的位置和取向而产生计算机产生的图像元素，如从标记搭建元件11的AR标记的检测位置和取向确定的。
[0058]在用户在视频摄像头的投影区域8中操作物理玩具搭建模型10时，例如通过让物理模型运动和/或旋转，计算机15追踪物理玩具的标记搭建元件11的标识的位置和取向。计算机15在显示器I上显示视频摄像头的实时视频反馈(镜像模式)，且响应于标识的被检测位置和取向而对实时视频反馈增加增强现实的特效。
[0059]图3和4示意性地显示了标记搭建元件的例子。
[0060]图3显示了类似于图1c的构建块的玩具构建块311形式的玩具搭建元件，即包括布置在玩具构建块的顶部表面上的平面正方形网格中的联接突柱305的构建块。玩具构建块还包括在其底部表面的一个或多个腔体(图3中未示出)，用于接收和摩擦接合另一相似的玩具搭建块的联接突柱。玩具构建块包括在其侧面上的2D条形码形式的增强现实标记321。
[0061]应理解，其他形成的AR标记可以代替2D条形码使用。通常，AR标记可以是任何物体，其相对容易地使用已知的图像辨识方法而在被捕获的视频图像中被自动地区别。在使用图像辨识方法检测AR标记的情况下，AR标记例如可以是三维物体，例如立方体或圆柱体，或其可以是二维标记，例如正方形或圆形的。通常，AR标记包括易于区分的样式，例如黑白正方形，但是其他方法也可以用于标记的辨识，例如使用特定颜色或彩色图样等。
[0062]AR标记可以包括一个或多个元件，其允许计算机检测AR标记的位置和/或取向。例如，AR标记可以包括两个或更多相交的线。另外或替换地，AR标记可以包括用于对信息进行编码的视觉元件，由此允许计算机识别和区分不同类型的标记且响应于具体类型的标记而选择性地产生计算机产生的图像。
[0063]AR标记可以以相对于联接器件(即相对于顶部表面上的联接突柱和/或底部中的联接腔体)均匀的方式布置。例如，AR标记可以限定与通过联接器件限定的平面网格平行或正交的方向。这使得标记的块可互换，且在图1-3所述的由块建造的玩具结构中，几个标记的块可互换地使用，且具体标记的块可用在几个构造中。玩具搭建系统可以包括几个的这样的标记的块，其具有不同的施加于它的标识且使得计算机系统产生不同的计算机产生图像。然而，如果所有的标记的块在一致的位置包括标识，则这样的标记的块可以容易地在用本文所述的由构建块建造的玩具搭建结构中被更换。
[0064]在标识位于标记搭建元件的表面的一部分上从而包括标识的表面部分不具有任何联接器件时，标识不太可能被联接到标识物搭建元件的其他搭建元件不经意地阻挡。标识物搭建元件可以包括多个标识，例如在玩具搭建元件的不同面上(或在表面的不同部分上)。
[0065]图4示出了标记搭建元件如何联接到玩具搭建模型的另一玩具搭建元件。在该例子中，玩具搭建模型包括玩具搭建元件410和412和标记搭建元件411。图4a显示了各个搭建元件，而图4b显示了标记搭建元件411，其可释放地联接到搭建元件410。为此，玩具搭建元件40包括在其顶部表面上的联接突柱405,如针对图1的连接结构所示的。标记搭建元件404包括其底部表面上的腔体(在图4中未示出)，允许其摩擦接合到联接突柱404。因此，用户可以将包括AR标记的标记搭建元件连接到所搭建的玩具模型，以便有助于在3D空间中跟踪玩具模型以及叠加虚拟的图形和效果，由此为物理玩具提供虚拟属性和允许被搭建的玩具模型成为AR应用的一部分。在图3的例子中，标记搭建元件411的标识位于不包括联接元件的标记搭建元件的表面上。
[0066]图5a_g显示了复合标记搭建元件的例子，即多个标记搭建元件直接地或间接地通过玩具搭建系统的联接器件彼此连接，例如彼此以预定空间关系。通常，复合的标记搭建元件允许用户形成大组的不同物体，每一个可通过大量独特的AR标记中的一个辨识。特别地，大量的独特AR标记可以用各个标记搭建元件的相对受限的组形成，因为通过构建系统组合较小组的标记会显著增加组合可能性的总量。
[0067]图5a显示了用三个标记搭建元件搭建的人样模型的例子，三个标记即如同模型的头的元件511，如同模型的躯干的元件512，和如同模型的腿的元件513。搭建元件设置为具有联接元件，允许头和腿可释放地联接到躯干。头、躯干和腿可以包括标识，例如为头的面部特征的形式和躯干和/或腿的接近特征。在被提供给AR系统的视频摄像头时，AR系统可以通过分别检测头、躯干和腿的特征521、522、523而由此检测头、躯干和腿的特征，例如示意性地在图5b中示出的。因此，通过将不同的头、躯干和腿进行组合，可形成许多种类的AR标记的组合。取决于通过AR系统检测的模型，AR系统可以以不同的计算机形成的图像做出响应，由此允许许多互动。
[0068]图5c和d显示了相似的复合标记搭建元件,其用图1c所示的玩具构建块搭建。玩具构建块531、532和533具有不同的颜色，例如分别为红色、白色和蓝色。当在彼此的顶部上堆叠且通过其相应的联接器件互连时，构建块限定颜色序列，其可以通过AR系统检测。通过改变颜色的顺序，如图5d示出的，可以仅用三种不同标记搭建元件形成不同的独特的复合AR标记。
[0069]图5e显示了复合标记元件的相似的例子，包括类似于图3所示的玩具构建块541、542、543，其具有标记，所述标记为在其侧面上的标识的形式。
[0070]图5f_g显示了复合标记元件的另一例子。在该例子中，复合标记元件包括基部构建块550，例如类似于Ic的块，但是在其顶部表面上具有更多的联接元件。复合标记元件进一步包括连接到基部构建块550的标记搭建元件551、552、553。因此，在该例子中，标记搭建元件551、552和553以刚性构造间接地彼此联接，以便形成复合标记搭建元件。为此，标记搭建元件具有在其底部表面上的联接元件，例如腔体，且可接合在基部构建块550的顶部表面上的相应的联接元件，例如突柱。每一个标记搭建元件具有在其顶部表面上的标识，在该例子中是罗马字母。在标记搭建元件并排布置时，它们限定通过AR系统可检测的标识的序列。
[0071 ] 如图5g所示的，标记搭建元件的标识可以限定在平面中的取向，且各标记元件可以相对于彼此旋转，由此进一步增加限定多个代码的自由度，因为AR系统可以检测相应AR标记相对彼此和/或相对于玩具搭建模型的另一特征的取向。
[0072]因此，在图5的例子中，各标记搭建元件(每一个包括与其他标记搭建元件不同的视觉上可检测的特征)通过其联接元件互连，以便限定视觉上可检测特征的序列。视觉上可检测特征的每一个不同序列可以由此限定复合AR标记。例如，各视觉上可检测的特征可以作为代码符号被AR系统检测，且被检测符号的序列可以通过AR系统解码，以便获得通过符号序列编码的信息。在一些实施例中，系统可以使用已知的误差检测和/或误差修正技术，用于形成代码鲁棒性来抵抗检测误差。
[0073]图6和7显示了使用复合标记搭建元件的例子。
[0074]图6a_b显示了图5a_b的标记搭建元件的使用。图6a显示了 AR系统的显示器I的视频摄像头5。首先，显示器显示了场景612。在用户向AR系统的视频摄像头5给出人性模型时，AR系统可以检测头、躯干和腿的组合，确定相应的组合的AR标记，且响应于所检测的组合的标记而修改显示的图像。例如,AR系统可以在场景612中产生模型623的图像。模型可以类似物理模型63，且可以响应于检测的组合AR标记而生动地显示通过AR系统确定的行为(例如友好的、生气的、悲哀的等)。
[0075]图6c_d显示了图5c或5e的标记搭建元件的使用。图6c显示了 AR系统的显示器I和视频摄像头5。在用户将复合标记元件633提供给AR系统的视频摄像头5时，AR系统可以检测标记搭建元件的组合。可选地，AR系统可以确定相对于彼此形成复合标记元件的各标记的相对位置和/或取向。AR系统可以随后对检测的复合标记元件做出响应。例如，如图6d示出的，AR系统可以将组合的标记元件解释为访问代码，例如用于获得对AR系统的高级特征的访问，以达到游戏应用的预定水平等。如果所提供的组合标记元件与存储的访问代码匹配，则用户有权访问；或可以拒绝访问。
[0076]图7a_d显示了使用组合标记搭建元件的另一例子,例如图5f-g所示类型的标记搭建元件。图7a示意性地示出了玩具搭建元件的联接元件705,例如如针对图1所述的联接突柱。联接元件布置在平面正方形网格中。图7b示出了通过联接元件联接到玩具搭建元件的标记搭建元件7。联接元件的布置允许标记搭建元件以四种不同取向连接到另一玩具搭建元件。在图7的例子中，标记搭建元件711具有限定了方向的标识。在该具体例子中，标识类似云和太阳的图像，即限定了“向上”方向的图像。图7c示出了了标记搭建元件713，其联接到标记搭建元件711附近的联接元件705。标记搭建元件713还具有限定了方向的标识，在该例子中类似箭头。标记搭建元件712可以相对于标记搭建元件711放置，其方向相对于通过搭建元件711限定的方向指向四个不同取向。这些取向中的三个通过虚线圆712显示在图7中。类似地，图7d示出了在标记搭建元件711附近联接到联接元件705的另一标记搭建元件715。标记搭建元件715还具有限定了方向的标识,在该例子中类似箭头。标记搭建元件715可以相对于标记搭建元件711放置，其方向相对于通过搭建元件711限定的方向指向四个不同取向。这些取向中的三个通过虚线圆714显示在图7中。组合的标记搭建元件包括元件711、713和715,由此限定了 AR标记的序列,其以连续的顺序布置且具有相对于彼此可检测的取向。在被提供到AR系统的摄像头时，AR系统可以检测三个标记搭建元件、它们的相对位置和它们的相对定位。因此，通过仅两个不同类型的标记搭建元件(“云和太阳”类型的标记和“箭头”标记)，可以通过将标记元件以不同的相对取向和/或位置(例如不同的连续顺序)联接到玩具搭建元件而构造许多不同复合标记。
[0077]例如，在产生计算机产生的图像元素时，AR系统可以产生类似天气现象的图像要素，例如云、雨、太阳、雪等。AR系统可以由此被控制，以响应于标记搭建元件711、713和715的取向显示天气现象。例如，在AR系统检测到用户已经将标记搭建元件711连接到玩具搭建模型时，AR系统可以启动用于控制类似天气现象的图像要素的显示的功能。
[0078]使其箭头指向上(相对于标记搭建元件711)地放置标记搭建元件713可以使得AR系统启动用于控制类似太阳的图像要素的显示的功能。使得箭头指向左边或向下可以启动用于分别类似“雨”和“雪”的显示功能。
[0079]放置标记搭建元件715 (使其箭头指右(相对于标记搭建元件711))可以使得AR系统启动用于控制选择的图像元素(在该例子中是“太阳”且程度“中等”(例如部分地被云覆盖)的显示功能。使得箭头指向上或向下可以启动启动用于分别以更高或更低的度(例如许多太阳或更少太阳)显示选择的图像元素的功能。
[0080]通常，在标记搭建元件的联接器件仅允许将标记搭建元件以相对于另一玩具搭建系统的预定数量的不连续相对位置和/或不连续相对取向而联接到玩具搭建系统另一玩具搭建元件(例如另一标记搭建元件)时，AR系统可以配置为检测至少两个标记搭建元件相对于彼此的位置和/或取向，且响应于检测的相对位置和/或取向形成计算机产生的图像特征。例如，在标记搭建元件的联接元件限定平面规则网格时，和在联接元件允许玩具搭建元件在所述平面中的一个中以相对于彼此的预定数量的角度联接时，可以提供有限数量的不连续的相对位置和取向。
[0081]图8a_d显示了限定规则网格的玩具搭建系统的例子。图8a示出了 3D规则网格，其中网格的每一个网格点限定玩具搭建模型中联接元件的有效位置，其通常应理解为不是网格上所有的网格点实际上需要通过联接元件占据；然而，在一些实施例中所有联接元件定位在规则网格的网格点上。特别地，在图8a的例子中，网格点布置在平行的平面801a-d中，其中平面中的网格点限定联接元件在一个或多个玩具搭建元件的表面上的位置，所述联接元件例如图1所示的构建块的联接突柱。平行平面之间的距离限定具有联接元件的搭建元件的表面之间的距离。例如，在一些实施例中，搭建元件的高度等于网格的两个相邻平面之间的距离(或为其整数倍)。
[0082]在玩具搭建系统限定规则网格时，AR标记的位置和/或取向相对于网格准确地通过AR系统而确定。进而，跟踪标记(其附接到构建系统的网格中的构建元件)提供有关标志元件如何在模型中使用的更多信息。如果标签被正确地构建(即装配在网格中)，则应用中的事件可以选择性地被触发。
[0083]AR标记可以由此响应于AR标记相对于网格的预定位置和/或取向(和/或其他位置限制条件)而使得AR系统开始形成计算机产生的图像元素。AR应用可由此对物理元件如何用在构建系统做出反应。
[0084]图8b_d显示了这样的位置敏感的触发功能的例子。
[0085]图Sb示意性地示出了玩具搭建模型的例子，所述玩具搭建模型用具有限定了图8a所示的3D网格的联接元件的玩具搭建元件构造。搭建元件的顶部表面可以由此仅定位在相对于合适坐标系统原点的预定高度。例如，图8b的搭建元件810a位于第一高度，而搭建元件810b位于第二高度，且搭建元件810c位于第三高度。
[0086]搭建元件SlOa-C的顶部表面可以通过AR系统检测，且用作虚拟按钮。如果用户(如图8c示出的)将标记搭建元件811连接到通过AR系统解释为虚拟按钮的一个搭建元件，则标记搭建元件的检测可以使得AR系统触发虚拟动作，例如在图8d示出的虚拟按钮的位置处显示计算机产生的图像元素812。应理解，在一些实施例中，触发动作也可以取决于标记元件812的标识和/或其他条件，例如标记元件连接到两个虚拟按钮。
[0087]应理解，AR系统可以适于确定通过玩具搭建模型限定的内在的不连续坐标系统的网格点的位置，所述玩具搭建模型定位在AR系统的摄像头的视野中。例如，AR系统可以检测位于相对于相应标记搭建元件的联接元件存在预定空间关系的AR标记的位置和/或联接元件的位置。基于确定的网格位置，AR系统可以确定规则网格相对于摄像头位置的位置和/或取向。AR系统甚至可以从检测的物理网格形成规则图像网格，例如使得图像网格具有与物理联接元件的图像重合的网格点。AR系统可以随后使用图像网格在相对于检测的图像网格的位置处产生计算机产生的图像的图像特征。
[0088]图9和10显示了如在本文所述的玩具搭建系统的例子。
[0089]图9显示图1所示类型的玩具搭建元件911a_911b。在该实施例中，不同搭建元件具有相应标识、不同颜色、和/或其他可区别的视觉特征。每一个玩具搭建元件在被玩具搭建模型中的AR系统检测时触发预定动作。例如，在图9的例子中，每一个搭建元件911a-911d代表不同类型的风景或环境现象，例如草、水、雪、火等。在被AR系统检测时，每一个搭建元件可以由此被AR系统增强，其方式是通过显示相应的图像元素，其分别代表草、水、火、雪。这允许用户通过搭建元件构建风景，例如在附图9b中所示的。
[0090]应理解，标记搭建元件也可以在AR系统中触发进一步的动作。例如，图9b的风景可以用在AR系统中，作为执行游戏的风景，即用户可以通过使用物理构建元件构建他/她自己的计算机游戏平台。
[0091]图10显示了游戏骰子，其包括具有六个相同侧的本体构件2，且其中这些侧每一个配置为实际上是正方形的，以使得在游戏骰子抛起之后游戏骰子位于给定侧的可能性对于游戏骰子的所有侧来说一样高。
[0092]本体构件2的侧面实际上相同且由此这种游戏骰子的抛起本身没有意义，对用户或AR系统来说不能区分骰子的这种抛起的结果之间的区别。根据该骰子的例子，四个联接突柱3因此设置在本体构件2的每一侧上且布置为正方形样式，以使得联接突柱3形成正方形的角部，且联接突柱3配置为使得可以将从玩具构建系统而来的构建元件安装在联接突柱3上，以使得在不同构建元件安装在游戏骰子的侧面时游戏骰子的侧面能改变特性。
[0093]在构建元件4a、4b、4c的下侧，联接凸缘配置为，在构建元件4a、4b、4c被安装在游戏骰子上之后，与游戏骰子上的联接突柱3的外侧摩擦邻接。对于构造这样的联接凸缘来说存在许多不同方式，且本领域技术人员可自由地点击这样的选项。
[0094]通过将不同构建元件安装在游戏骰子上，如果安装在游戏骰子上的元件数量、形状或外观不同，则由此可以对游戏骰子每一侧赋予其自身的特点。
[0095]图10显示了同一游戏骰子，其中至少在游戏骰子的三个看得见的侧面上安装了来自玩具构建系统的构建板4a、4b、4c。在面向上的一侧上由此安装有正方形构建板4a，其覆盖该侧上的所有四个联接突柱，以使得构建板不留下用于在该侧上安装进一步构建元件的空间。在游戏骰子的两个其他看得见的侧面上，单个正方形构建板4b安装为精确地覆盖一侧上的单个联接突柱3，且在其他侧安装两个矩形构建板4c，其每一个精确地分别覆盖该侧上的两个联接突柱3，以使得两个矩形构建板4c不留下在该侧上进一步安装构建板的空间。
[0096]因此，不同AR标记可以与游戏骰子的不同面相关。在如在本文所述的AR系统的视频摄像头视野中抛骰子可以由此使得AR系统检测AR标记，例如在骰子的面上，且提供虚拟游戏的相应结果。由于不同AR标记可以与骰子的面相关，AR系统可以执行不同的游戏，而不需要重新编程或重新构造AR系统，而是简单地通过更换连接到骰子的相应面的AR标记搭建元件。
[0097]图lla-b显示了包括两个选择性地看得见的AR标记的标记搭建元件的例子。图lla-b示意性地显示了玩具搭建模型1101，其包括铰接到框架1102的门1103，以允许门1103在图1la所示的关闭位置和图1lb所示的打开位置之间枢转。框架和门可以可释放地彼此互连，例如通过将铰链扣接就位。替换地或另外地，框架1102可以包括一个或多个联接元件(在图11中未具体示出)，允许框架和门结构连接到更大玩具搭建模型，例如以提供覆盖玩具结构中的开口的可动屏障。门1103具有在两侧上的联接元件(在图11中未具体示出),允许不同标记搭建元件Illla和Illlb连接到门的相应侧。例如,搭建标记元件Illla和Illlb可以是类似于图4a的元件411的元件。标记搭建元件Illla和Illlb在其远离门的相应面上包括不同标识。在图11的例子中，标记搭建元件Illla包括正方形框架和在框架中的字母“A”，而标记搭建元件Illlb包括正方形框架和在框架中的字母“B”。因此，标识Illla在门处于关闭时是看得见的，而标识Illlb在门处于其打开位置时是看得见的。在结构101定位在如在本文所述的AR系统的视频摄像头1105的视野中时，AR系统可以由此检测哪一个标识是看得见的，由此检测门是否处在打开或关闭位置，且响应于门的检测状态产生计算机产生的图像。例如，在关闭位置时，AR系统可以通过计算机产生的可动物体(例如图中人或动物)图像增强包括门的玩具结构的实时视图，所述可动物体在通过玩具结构限定的环境中运动。在AR系统检测门关闭时，可动物体的运动可以仅是环境的一部分(或没有物体可以看得见)，而在门被检测为处在打开位置时可动物体可以显示为经过被覆盖的开口。
[0098]因此，在两个AR标记连接到玩具搭建模型的功能元件从而取决于功能元件的状态而使得任一标记看得见时，功能元件的状态可通过AR系统检测。因为AR标记搭建元件Illla和Illlb可以可释放地连接到不同功能玩具搭建元件，所以玩具搭建系统可以包括表示第一状态的第一标记搭建元件和表示第二状态的第二标记搭建元件，由此使得AR系统检测不同功能搭建元件的不同状态。
[0099]在列举了若干器件的权利要求中，这些器件中的一些可通过同一个元件、部件或硬件实施。事实上，在相互不同的从属权利要求或在不同实施例中所述的一些手段并不意味着这些手段的组合不能被有利地利用。
[0100]应该注意，术语“包括/包含”在用在本说明书时是表明所述特征、元件、步骤或部件的存在，而不是预先排除一个或多个其他特征、元件、步骤、部件或其组合的存在或增加。
【权利要求】
1.一种玩具搭建系统，包括玩具搭建元件，玩具搭建元件包括用于可释放地令玩具搭建元件互连的联接器件，玩具搭建系统包括 一个或多个标记搭建元件，所述标记搭建元件包括这种联接器件，且每一个标记搭建元件具有通过图像处理器件可识别的视觉外观，和 数据处理系统，包括图像捕获器件、图像处理器件和显示器件，其中数据处理系统适于 捕获用所述玩具搭建元件搭建的玩具搭建模型的图像； 处理被捕获的图像，以至少检测被捕获图像中的至少一个标记搭建元件的存在； 响应于被检测的标记搭建元件，产生计算机产生的图像；和 在所述显示器件上显示复合图像，所述复合图像包括被捕获图像，其具有叠加的所产生的计算机产生图像。
2.如权利要求1所述的玩具搭建系统，包括至少两个标记搭建元件，其中所述两个标记搭建元件经由其相应的联接器件可释放地彼此可连接，以便形成复合标记元件。
3.如权利要求2所述的玩具搭建系统，其中数据处理系统进一步适于检测复合标记元件，和响应于复合标记元件的检测而选择性地产生计算机产生的图像。
4.如权利要求3 所述的玩具搭建系统,其中每一个标记搭建元件包括标识,所述标识表示代码的代码符号，所述代码符号用于编码信息；和其中数据处理系统进一步适于从复合标记元件的视觉外观确定代码符号的编码设定，且将被确定的代码符号的设定解码，以获得解码的息。
5.如前述权利要求中任一项所述的玩具搭建系统，包括游戏骰子，所述游戏骰子包括本体部分，所述本体部分包括至少六个侧面，当位于平面支撑件上时游戏骰子可以稳定地放置在所述侧面上，且其中至少一个或多个这样的侧面设置为具有用于安装所述至少一个标记搭建元件中的一个的联接器件。
6.如前述权利要求中任一项所述的玩具搭建系统，其中联接器件限定规则网格，所述网格将玩具搭建模型中玩具搭建元件的位置和/或取向限制到相对于所述规则网格的不连续的位置和/或不连续的取向。
7.如权利要求6所述的玩具搭建系统，包括至少两个标记搭建元件，且其中数据处理系统适于检测玩具搭建模型中的两个标记搭建元件相对于所述规则网格的相应位置和/或取向，且响应于被检测的相应位置和/或取向而产生计算机产生的图像。
8.如权利要求7所述的玩具搭建系统，其中数据处理系统适于从标记搭建元件的被检测位置确定规则图像网格的网格位置，且在相对于被检测的图像网格的位置处产生计算机产生的图像的图像特征。
9.如前述权利要求中任一项所述的玩具搭建系统，其中玩具搭建元件具有至少一种性质，其中玩具搭建系统的每一个标记搭建元件具有所述性质的值，所述值从所述性质的不连续值的预定组中选择。
10.如前述权利要求中任一项所述的玩具搭建系统,其中标记搭建元件包括标识和在第一和第二位置之间可动的可动元件，其中可动元件在定位在第一位置时使得标识可看得见的，在定位在第二位置时使得标识被挡住而无法看到；和其中数据处理系统适于至少检测所述标识的能见度，且以响应于标识的检测的能见度产生计算机产生的图像。
11.如前述权利要求中任一项所述的玩具搭建系统，其中联接器件布置在一个或多个规则平面网格中，所述规则平面网格限定连接方向；和其中每一个标记搭建元件包括标识，在标记搭建元件连接到玩具搭建系统的至少一个其他玩具搭建元件时，从平行于至少一个平面网格的方向或从垂直于至少一个平面网格的方向可看见所述标识。
12.如权利要求11所述的玩具搭建系统，其中每一个标记搭建元件具有顶部表面、底部表面和至少一侧表面；其中所述联接器件置于顶部和底部表面中的至少一个上；其中标记搭建元件包括至少一个没有联接器件的第一表面，第一表面包括所述标识。
13.如前述权利要求中任一项所述的玩具搭建系统，其中联接器件包括一个或多个突出部和一个或多个腔体，每一个腔体适于以摩擦接合的方式接收至少一个突出部。
14.一种计算机实施的方法，用于产生由玩具搭建系统的玩具搭建元件搭建的玩具搭建模型的图像，玩具搭建元件包括用于可释放地令玩具搭建元件互连的联接器件，玩具搭建系统包括一个或多个标记搭建元件，所述标记搭建元件包括这样的联接器件，且每一个标记搭建元件具有通过图像处理系统可识别的视觉外观；该方法包括: 捕获用玩具搭建元件搭建的玩具搭建模型的图像； 处理被捕获的图像，以至少检测被捕获图像中至少一个标记搭建元件的存在； 响应于被检测的标记搭建元件，产生计算机产生的图像；和 显示复合图像，所述复合图像包括被捕获的图像，被捕获的图像叠加有所产生的计算机产生图像。
15.一种数据处理系统，包括图像捕获器件、处理器件和显示器件，其中该数据处理系统包括计算机编程器件，该计算机编程器件配置为使得，在由数据处理系统执行时，该数据处理系统执行如权利要求14所述方法的步骤。
16.一种计算机程序，包括程序代码器件，其适于在通过数据处理系统执行时，使得所述数据处理系统执行如权利要求14所述方法的步骤。
17.一种玩具搭建组，包括玩具搭建元件，搭建元件包括联接器件，所述联接器件用于可释放地令玩具搭建元件互连，玩具搭建组包括一个或多个标记搭建元件，所述标记搭建元件包括这样的联接器件，且每一个标记搭建元件具有通过图像处理系统可识别的视觉外观；和用户指令，用于在包括图像捕获器件、处理器件和显示器件的数据处理系统上安装如权利要求16所述的计算机程序。
【文档编号】A63F9/24GK103998107SQ201280036580
【公开日】2014年8月20日 申请日期:2012年5月22日 优先权日:2011年5月23日
【发明者】S.穆思亚拉, H.J.范比克, N.D.A.盖扬, F.拉索恩, M.H.詹森 申请人:乐高公司