用于获得连接型玩具装置的实时玩耍场景的真实反映的系统及其使用方法与流程

本发明一般处于连接型玩具的领域，并且更特别地，本发明涉及通过结合照相机和传感器作为指示性部件来获得与连接型玩具的使用有关的现实的可靠反映的方法和系统。

背景技术：

包含电子组件的实体玩具传统上被命名为“电子玩具”，并且在21世纪的普通家庭中是常见的。在近几年间，似乎出现了将这些电子玩具连接至软件应用程序和/或连接至因特网的新趋势。该趋势通常被称为“物联网”并且描述了将各种消费者产品连接至因特网以及连接至用户的智能装置的总体趋势(更多细节：http://en.wikipedia.org/wiki/Internet_of_Things)。

在过去的几年中，连接型玩具领域中存在许多发展，并且市场上存在许多连接型玩具。同一发明人的通过引用而被包含于此的国际专利申请WO/2013/024470公开了用于向用户提供学习体验、娱乐体验和社交体验的连接型多功能玩具系统。玩具至软件程序、网站和/或服务器的连接使得这些玩具“更智能”并且动态。连接型玩具的另一示例是来自Hasbro^TM的间接连接至web的Furby玩具(http://www.hasbro.com/furby/en_US/#panel_talk)。该玩具可以经由编码后的声音频率连接至平板电脑和智能电话。该连接使得用户能够用不同的菜肴来对Furby玩具进行喂食，以及记录用户与Furby玩具一起玩耍的视频等。在http://www.skylanders.com中公开了这种玩具的另一示例，其公开了如美国专利申请20120295703中详细说明的那样，使用RFID技术来识别角色并且将角色与匹配视频一起显示在屏幕上。RFID使得游戏能够识别玩具台上所放置的角色，并且能够识别同一地点所放置的不同物体，但不能识别位置或相对关系(例如，一个角色站在另一角色的右侧)。在http://www.youtube.com/watch？v＝DqyaIyUukQg中说明了另一类似示例，其公开了创建虚拟游戏和实体玩具的组合体验的另一尝试。在该具体示例中，需要将玩具放置在用于识别玩具的特定特性以识别该玩具的平板电脑照相机上。这里，同样不存在与位置和方向有关的信息。另一示例是来自Fisher Price^TM的Apptivity Barn(http://www.youtube.com/watch？v＝wZa1FItbsMs)，该Apptivity Barn使得能够在iPad自身上的许多位置处辨识玩具元件，但识别完全依赖于平板电脑屏幕，因此Barn无法连接至诸如PC、智能TV和大小不同的平板电脑和智能电话等的许多其它装置。另外，使用平板电脑作为识别表面对平板电脑的保护更少，并且所呈现的虚拟内容可能受限(这是由于必须将该玩具元件的形象放置在屏幕上并且该形象通常挡住视线)。

对于动作的辨识和物体的识别所用的照相机的使用，在本领域众所周知。该技术是基于拍摄具有视觉内容的帧的实时流并且分析数据以辨识预定义的图案、形状和颜色(例如，物体、脸部、表面等)并提取视觉特征(例如，物体运动、手势、时间变化等)。新的发展使得该技术在诸如微软的Kinect^TM控制台(http://en.wikipedia.org/wiki/Kinect)的情况等的虚拟游戏的领域中显得有用。在该示例中，用户站在TV以及包括照相机并基于网络摄像机风格的附加外围设备的特殊运动感测输入装置前，这使得用户能够在无需游戏控制器的情况下使用手势和口头命令经由自然用户接口来控制他们的控制台/计算机并且与他们的控制台/计算机进行交互。然而，该技术受到其结构的限制：由于该技术主要依赖于照相机，因此大多数识别是基于特定范围和视野中的视觉输入，并且该事实当然具有其自身的限制。

以下文献可以被视为与这里所公开的主题相关：US2012052934、US8696458、US2008285805、US8602857和US2012233076。

本发明提供与/至物体的无线数据传送解决方案；本发明针对照相机的当前限制引入各种解决方案。在集成其它传感器(输入/输出)的情况下，整体系统性能有所提高。通过使用附加传感器的数据和能力并且对附加传感器的数据和能力与照相机的数据和能力进行结合，变得可以克服照相机的原始限制并且允许新特征或者改进现有特征的质量。

技术实现要素：

这里所公开的主题涉及一种连接型玩具装置，其包括至少一个传感元件，所述至少一个传感元件被配置为向从照相机获得的有限的视觉辨识数据提供补充数据，以根据从所述照相机和所述至少一个传感元件所获得的结合数据的处理，获得玩家与所述连接型玩具装置的实时玩耍场景的准确反映，并且使得能够在连接至所述连接型玩具装置的智能装置上产生对所述玩家的适当的响应。所述传感元件可以被配置为针对在使用所述连接型玩具装置时未被所述照相机拍摄到的隐藏物体和/或所述玩家所进行的行动，提供与所述实时玩耍场景有关的补充数据。所述传感元件还可以被配置为针对在使用所述连接型玩具装置时位于所述照相机的视野外的物体，提供与所述实时玩耍场景有关的补充数据。附加地或可选地，所述传感元件可以被配置为针对在使用所述连接型玩具装置时相对于所述照相机的距离发生改变的至少一个可移动物体，提供与所述实时玩耍场景有关的补充数据。附加的或可选地，所述传感元件可以被配置为针对同时正在被玩耍的至少两个相同的物体，提供与所述实时玩耍场景有关的补充数据，以使得所述照相机能够区分所述至少两个相同的物体。在本发明的其它实现中，所述传感元件可以被配置为在所述玩家对所述连接型玩具装置及其部件施力和/或触摸所述连接型玩具装置及其部件的情况下，提供与所述实时玩耍场景有关的补充数据。

传感元件可以是如下的非限制性示例：RFID、NFC、电容式传感器、热点、基于超声三角测量的传感器、基于能量收集的传感器、重量传感器、光电传感器、颜色传感器、门控按钮和照相机。除传感元件以外，所述连接型玩具装置还可以包括输入和/或输出元件。

所述视觉辨识数据优选但并非必须从智能装置的照相机获得，其中，传感元件所获得的所述补充数据被发送，并由所述智能装置进行分析，由此使得能够处理所述结合数据。

所述连接型玩具装置还可以包括输出元件，所述输出元件是由响应于所述实时玩耍场景中的环境条件而从所述照相机获得的数据来启动的。这种情形中的输出元件可以是根据限制了所述照相机对所述实时玩耍场景的准确图像辨识的不良照明条件而开启或关闭的灯。

在本发明的一些实施例中，传感元件是识别传感器，所述识别传感器被配置为提供用于识别所述实时玩耍场景的空间中的物体之间的关系的补充数据。

本发明还涉及一种连接型的玩具系统，包括上述的连接型玩具装置和具有专用软件库的智能装置，所述专用软件库被配置为使得能够对所述智能装置的照相机所获得的图像数据和从所述连接型玩具装置接收到的数据一起进行处理，并且在所述智能装置上产生反映所述实时玩耍场景处的实时事件的适当的响应。

本发明还涉及一种连接型的玩具系统，用于获得玩家与连接型玩具装置的实时玩耍场景的准确反映，所述玩具系统包括：(a)至少一个连接型玩具装置，其具有至少一个传感元件，所述至少一个传感元件被配置为向从照相机获得的有限的视觉辨识数据提供补充数据；以及(b)智能装置，其至少具有照相机、处理装置和专用软件库，所述智能装置被配置为利用所述照相机拍摄所述玩耍场景的图像，处理数据并将图像数据与从所述至少一个传感元件接收到的数据相结合，并且根据从所述照相机和所述至少一个传感元件获得的结合数据来产生反映所述玩耍场景处的实时事件的对所述玩家的适当的响应。

本发明还涉及一种连接型的玩具系统，用于获得玩家与连接型玩具装置的实时玩耍场景的准确反映，所述玩具系统包括：至少一个连接型玩具装置，其具有至少一个传感元件，所述至少一个传感元件被配置为向从照相机获得的有限的视觉辨识数据提供补充数据；以及智能装置，其至少具有照相机、处理装置和专用软件库，所述智能装置被配置为利用所述照相机拍摄所述玩耍场景的图像，处理数据并将图像数据与从所述至少一个传感元件接收到的数据相结合，并且根据从所述照相机和所述至少一个传感元件获得的结合数据来产生反映所述玩耍场景处的实时事件的对所述玩家的适当的响应。所述照相机可以是被配置为将所述玩耍场景处所拍摄到的图像数据提交给智能装置的独立照相机。

本发明还涉及一种用于获得玩家与连接型玩具装置的实时玩耍场景的准确反映的方法，所述方法包括以下步骤：

a.从至少一个连接型玩具装置获得数据，所述连接型玩具装置具有至少一个传感元件，所述至少一个传感元件被配置为向从照相机获得的有限的视觉辨识数据提供补充数据，所获得的数据发送至智能装置；

b.从被配置为拍摄所述玩耍场景的实时图像的照相机获得数据，并且该数据发送至所述智能装置；

c.利用具有专用软件库的所述智能装置来处理从所述照相机和所述连接型玩具装置获得的数据，所述智能装置被配置为将图像数据与从所述连接型玩具装置的所述至少一个传感元件接收到的数据相结合并且处理该数据；以及

d.根据处理后的数据来产生适当的响应，其中所述响应反映所述玩耍场景处的实时事件。

附图说明

以下参考本发明所附的图来描述用于说明本发明的变形例的示例。在图中，多个图中所出现的相同的结构、要素或部分通常在其所出现的所有图中以相同的附图标记来标记。图中所示的组件的尺寸和特征通常是为了呈现的方便和清楚而选择的，并且不必按比例示出。所呈现的图采用示意图的形式，如此，为了说明得清楚，可以非常简化或者不按比例来绘制特定要素。这些图并非意图为产品图。

以下列出这些图。

图1A是演示与用于反映现实的真实图像的视野有关的照相机的限制以及为了克服该限制而提出的解决方案的物体和照相机的可选设置的示意图；

图1B是实现图1A所示的解决方案的具有扳机按钮的枪玩具的示意图；

图2是演示与为了反映现实的真实图像而估计物体的距离有关的照相机的限制以及为了克服该限制而提出的解决方案的物体和照相机的可选设置的示意图；

图3是演示与为了反映现实的真实图像而追踪两个以上物体之间的实体接触和施加在物体上的压力有关的照相机的限制以及为了克服该限制而提出的解决方案的物体和照相机的可选设置的示意图；

图4A～4C示出儿童和各种位置的拥抱以说明为了获得玩耍场景中的现实的可靠呈现并且避免误肯定(false positive)读取而对传感元件与视觉数据进行结合所获得的附加价值。

图5A～5D是在不同位置包括RFID传感器的具有可识别玩耍物品的连接型炉灶玩具、以及对RFID传感器与从照相机获得的视觉数据进行结合而在获得玩耍场景中的现实的可靠呈现且避免误肯定读取方面获得的附加价值的示意图。

图6是示出玩家用瓶对连接型婴儿玩偶进行喂食的状态的状态流程图，其中通过对来自照相机、压力传感器和接近传感器的数据进行结合来识别玩耍场景。

图7是演示与为了反映现实的真实图像而在两个以上相同物体之间进行区分有关的照相机的限制以及为了克服该限制而提出的解决方案的物体和照相机的可选设置的示意图。

具体实施方式

本发明涉及用于反映连接型玩具系统中的玩耍场景处的现实的真实可靠的反映、并且集成来自照相机的信息与来自实体玩具中所实现的传感器的信息的系统、方法和装置，其中该连接型玩具系统涉及图像辨识并且使用来自照相机的信息，与照相机是被实现在智能装置内部(诸如但不限于智能电话、平板电脑、平板手机和智能TV中所实现的照相机等)还是作为在玩耍区域中所放置的用于将图像数据发送至智能装置或单独的处理装置的外部照相机(例如，TV或PC上方所放置的照相机)无关。这种信息的集成改进了仅来自这些技术解决方案中的每一个技术解决方案的信息，并增加了与特定时间范围处的现实中所发生的状况有关的信息的精度，如此，改善了玩耍体验并且使得能够针对玩家进行更好的输出响应。

这里所使用的术语“连接型玩具装置”是指具有与智能装置相连接的能力的玩具，即，具有与计算机化的电子装置相连接的能力的电气玩具，其中计算机化的电子装置具有通过有线连接或者通过本领域已知的无线通信方法(诸如但不限于蓝牙(Bluetooth)、BLE和Wi-Fi等)来相对于玩具接收并发送数据的能力。智能装置包括安装在该智能装置上的使得能够与连接至该智能装置的玩具进行通信并处理数据的专用软件应用程序(app(应用))。

根据来自照相机的信息所进行的玩具的视觉特性的计算可以依赖于诸如颜色、空间中的位置和(3D照相机的情况下的)3D信息等的许多不同的视觉特征。可以将所有这些特征计算到可以识别玩具并且对玩具的位置、动作和转动等作出反应的算法中。然而，从这些算法仅依赖于来自照相机的视觉信息的意义上而言，这些算法是受限的。例如，在经由视觉摄像的计算更为复杂的暂时隐藏在玩家的手后面的行动、徐缓的手势或动作或转动的方面，照相机将遇到困难。

实体玩具内所放置的硬件组件可以完成如下的信息：该信息能够与照相机算法相集成以创建更准确的现实反映并且向玩家提供尽可能贴近“现实世界”的增强的玩耍体验。玩具内部的硬件可以包括各种传感器以及输入和输出元件(I/O)，例如包括诸如电阻器、RFID、NFC、电容式传感器、超声三角测量和光电传感器、LED、电位器、压电传感器、触摸传感器、光传感器、颜色传感器、加速度计、蜂鸣器、扬声器和麦克风等的识别组件。这些组件各自可以以不同方式来完成照相机所进行的计算，由此减少照相机所犯的其中一个共通错误并且增加附加的有趣特征，从而创建更好的游戏体验并减小误检测率。

本发明涉及允许通过在连接型玩具装置内包括被配置为向从照相机获得的有限的视觉辨识数据提供补充数据的至少一个传感元件，来获得玩家与连接型玩具装置的实时玩耍场景的准确指示的装置、系统和方法。视觉输入可以提供足够的信息以识别两个以上物体之间的接近，由此推断接触，但由于该解决方案受物体之间的角度和3D关系影响，因此该解决方案具有显著的误肯定率，这可能具有误导性。本发明旨在针对有问题的事件提供解决方案，并且例如使得能够在玩家所进行的对玩具的拥抱与玩具的破碎之间以及对玩具的有意按压与玩具的意外破碎之间进行区分。这里所提供的方法还可以允许对诸如霍尔效应传感器辨识出与物体的磁场不同的磁场的误辨识等的错误状况进行辨识并校正，并且提供误肯定指示。

照相机可以是被配置为将玩耍场景处所拍摄到的图像数据提交给智能装置的独立照相机。

在另一方面，本发明涉及一种用于获得玩家与连接型玩具装置的实时玩耍场景的准确反映的方法，所述方法包括以下步骤：(a)从至少一个连接型玩具装置获得数据，所述连接型玩具装置具有至少一个传感元件，所述至少一个传感元件被配置为向从照相机获得的有限的视觉辨识数据提供补充数据，所获得的数据发送至智能装置；(b)从被配置为拍摄所述玩耍场景的实时图像的照相机获得数据，并且该数据发送至所述智能装置；(c)利用具有专用软件库的所述智能装置来处理从所述照相机和所述连接型玩具装置获得的数据，所述智能装置被配置为将图像数据与从所述连接型玩具装置的所述至少一个传感元件接收到的数据相结合并且处理该数据；以及(d)根据处理后的数据来产生适当的响应，其中所述响应反映所述玩耍场景处的实时事件。

根据这里所提供的主题，处理装置可以是独立装置或者智能装置的处理模块。在任何变形例中，处理装置的特征在于具有通信能力、处理能力，并且处理装置是可编程的。处理装置被配置为利用从照相机并且从连接型玩具中所实现的各种传感元件来接收数据的专用软件库进行操作，并且使得能够集成所收集到的数据并且使得能够根据处理后的数据产生针对玩家的相关输出。在下文中，参考附图来说明照相机限制的一些示例和所提出的解决方案的示例。

A.视野

照相机的一个主要限制是：在物体处于可见框以外或者物体被其它物体隐藏的情况下，照相机无法拍摄这些物体。在为了向玩家提供相关且准确的输出并且实时显示连接型玩具或者对连接型玩具所进行的行动而需要现实的可靠反映的情况下，该限制是至关重要的。例如在照相机位于玩具炉灶上方并且烤箱在该炉灶下方位于照相机的视线以外的情况下，厨房玩具中可能会发生该限制。照相机将不会拍摄到玩家对烤箱所进行的任何行动。

通过将不依赖于视野的传感器与照相机的图像辨识相加，以系统将从照相机获得其周围的视野的数据并且结合附加传感器所触发的数据的方式，可以绕过该限制。

图1A是演示照相机在反映其视野12以外的实时玩耍场景的准确图像方面的限制的连接型玩具22和24、玩耍区域20处的其它物体和照相机10的可选设置100的示意图。在该图所示的具体示例中，按钮221安装至隐藏玩具22，以提供与隐藏玩具22的操作有关的数据并且补偿照相机限制。应清楚，还可以使用代替按钮的其它传感元件并且其它传感元件也处于本发明的范围内。如图所示，物体20使连接型玩具22隐藏，结果，尽管连接型玩具22处于照相机视野12内，但是连接型玩具22被隐藏并且照相机10拍摄不到。该位置处的拍摄图像2仅有物体20并且图像数据4被发送至处理装置14。照相机10优选但并非必须是智能装置的照相机，并且照相机10连接至所述智能装置的处理装置14，该处理装置14使得能够分析从照相机获得的视觉数据并且还使得能够分析从连接型玩具获得的数据以根据处理后的数据产生相关输出。为了克服该限制，将按钮221安装至连接型玩具22。在触发按钮221的情况下，连接型玩具22中接收到数据3并且将事件和/或数据7发送至智能装置(例如，至处理装置14)。将该数据与从照相机获得的数据一起处理，以获得玩耍场景处的实时事件的更准确的读取，并且使得智能装置能够输出和/或显示6正确的响应和/或玩耍场景的图像。

对于位于照相机框外的连接型玩具24而言可能发生类似的状况。在该情形中，由于连接型玩具24处于照相机视野12以外，因此照相机10没有拍摄到连接型玩具24。用于检测框外的连接型玩具的一种可选解决方案是向该玩具安装功能按钮241。在启动玩具24时，触发按钮241并且将数据8发送至玩具24，其中玩具24再将事件的发生和/或数据9发送至智能装置的处理装置14。在本发明的一些实施例中，物体20和22可以是同一物体的两个部分，其中在某些方向上，由于该连接型玩具的结构设计而使得从照相机的视线来看一部分遮住了另一部分。

图1B是在连接型玩具中利用按钮以克服照相机拍摄隐藏位置处或照相机的视野以外的行动或事件的限制的可选实现的示意图。在这里所示的具体示例中，连接型玩具枪22包括形状为扳机的按钮221，由于在连接型玩具枪的预期使用期间该按钮的位置对于照相机而言经常被玩家的手指遮住，因此该按钮被配置为在玩家按压位于照相机10的视野12以外的按钮时提供补充数据。从该按钮接收到的附加数据使得能够将现实正确地显示在智能装置30的屏幕上以及/或者使智能装置30能够进行与玩家在特定时间范围内所进行的射击相关的其它相关响应(诸如对玩家的命令、对玩家的补充、屏幕上的颜色的改变、智能装置所进行的声音的产生等)。在可选实施例中，在按压连接型枪的扳机时，LED 222可以开启或闪烁以进一步向照相机指示发生了“射击”。

B.相对于照相机的距离

照相机辨识算法无法在没有特定校准的情况下推断可见物体的距离。此外，两个不同物体或两个相同物体之间的距离比较不够可靠并且具有高的公差。该限制可能导致无法准确反映玩家与连接型玩具装置的实时玩耍场景，并且还导致产生针对玩家的不适合的响应以及/或者无法在智能装置上准确显示现实场景。

通过使用诸如蓝牙或蓝牙低功耗(Bluetooth Low Energy，BLE)等的允许读取接收信号强度指示(Received Signal Strength Indication，RSSI)值的无线电发送方法，可以克服照相机的该限制。可以使用该值来估计将物体发送至中央单元的距离。由于RSSI值与信号的源的距离趋势相反(物体越远，RSSI值越低)，因此还可以使用该值来比较多个物体的距离。因此，对于将RSSI和距离估计的使用与正常照相机辨识相结合，由于使得能够在三个维度上输出位置，因而有所改善。通过考虑在玩耍场景处多个物体位于相对于照相机的不同距离的位置的三维(3D)玩耍场景，可以进一步理解该示例。在空间中位于特定地点的照相机可以有助于获得与轴X(左或右)和轴Y(上或下)上的物体位置有关的准确信息，但可能需要更多的信息以确定物体在轴Z(近或远)上的位置。在一些实施例中，照相机可以使用一些视觉线索以得到与物体在轴Z上的位置有关的附加信息，例如，如果空间中存在两个以上物体，则照相机可以将更大的物体确定为最接近。在缺乏这些视觉参考的玩耍场景中，照相机可能需要来自物体中所实现的硬件的补充数据。所提出的解决方案将来自照相机的二维(2D)信息补充为玩耍场景的全3D概览，由此改善了实时玩耍场景的反映并且使得能够更正确地呈现现实。技术解决方案可以是RSSI或者本领域已知并存在的其它距离传感器的使用。

图2是根据本发明的示例的RSSI与照相机分析的结合的示意图。照相机10拍摄到位于照相机10的视野12内的连接型玩具22的图像2，并且将图像数据4发送至优选但并非必须在智能装置中实现的、用于处理数据6并且使得能够产生适当响应的处理装置14。该示例中的连接型玩具22可以是包括例如车辆、飞机和船等的交通工具。连接型玩具22包括使得能够发送RSSI值7的发送部件。通过处理装置14来处理8RSSI值，并且实现距离估计。在玩耍场景包括各自发送不同RSSI值的多个连接型玩具的情形中，处理装置14还将不同的连接型玩具的距离进行比较并且根据所获得的数据来提供各输出(黄色车辆在与蓝色和红色车辆的比赛中获胜)。利用通过图像辨识和RSSI值所获得的结合数据68，来获得玩耍场景中的物体的三维定位。

C.空间中的物体之间的关系

照相机和图像辨识在追踪两个以上的物体之间的实体接触方面是受限的。在两个物体位于一前一后的情况下，这两个物体的轮廓混合在一起，使得更加难以进行用以区分这两个物体的辨识。此外，如果智能装置的应用可以辨识出两个物体之间的接触，则由于从照相机的角度观察到这两个物体仿佛彼此接触的事实，因此可能会接收到误检测。此外，即使实现了接触检测，也无法根据图像辨识处理来推断接触的程度(即，压力程度)。

为了克服该限制，可以向连接型玩具添加压力计或其它压力传感器。通过添加压力传感器和/或压电传感器，智能装置可以使用两个物体是否彼此实体接触的输入。此外，压力水平的读取可以添加信息并且指示这两个物体彼此推抵的强度。图3示出除照相机所获得的视觉数据以外还使用这种传感器的概念。照相机10拍摄到位于照相机10的视野12以内的连接型玩具22和24的图像2，并且将图像数据4发送至处理数据6的处理装置14。位于这两个玩具的接触区域中的压力传感器25被配置为检测这两个玩具之间的实体接触及其强度。将来自传感器的数据7发送至用于将信息添加至从照相机获得的图像数据的处理装置14，以拍摄玩耍场景的可靠图像并且产生针对所识别出的现实的最相关的响应。

结合从连接型玩具装置中所嵌入的传感器获得的数据并集成所获得的数据与从照相机获得的图像数据的重要性，在智能装置获得玩家与连接型玩具装置的实时玩耍场景的准确反映的能力方面至关重要，并且还在以下的能力方面至关重要：根据处理装置基于从照相机和传感元件获得的数据所记录的玩耍场景的精度而产生针对玩家的适当响应以及/或者显示相关图像。根据图4和5所示的示例，可以进一步理解照相机和传感器之间的补充关系的附加价值。

图4A和4B分别示出处于站位和坐位的拥抱玩偶42的儿童40。图4C示出玩偶42，其中，玩偶的手放在一起。在该具体示例中，如气泡43所示那样放置在玩偶的手中的磁体46’和霍尔效应传感器46以如下方式识别出拥抱：在玩偶的一个手与另一个手放在一起时，传感器提供被智能装置识别为拥抱的指示。另外，只要在玩偶的手环绕儿童的颈部而结合在一起并且玩偶42的相结合的手处于照相机10的视线中的情况下所拍摄到的图像中看得到玩偶和儿童，则智能装置的照相机10可以辨识出拥抱。如果照相机10没有拍摄到儿童或玩偶的背面或侧面，则将不会识别出拥抱。

在这里所示的具体示例中，尽管传感器在这两种情形中提供相同的指示，但照相机可以识别出儿童处于站位或者处于坐位的情形，并且根据玩家的状况来向玩家提供不同输出。例如，在儿童和玩偶被辨识为站立并拥抱的情况下，输出可以是歌曲和一起跳舞的命令。在儿童和玩偶被辨识为坐着并拥抱的情况下，输出可以是在地板上一起打滚三次。然而，如果儿童保持玩偶并且玩偶的手没有在儿童的背后彼此相系，则尽管照相机10可能将该状况视为拥抱，但霍尔效应传感器46将不会感测到磁体46’，因而将通过向智能装置48发送没有发生拥抱的信息来校正照相机的误肯定检测。智能装置48将辨识出该状况并且该智能装置上所安装的专用应用可以指示儿童将玩偶的手环绕其颈部而连接以进行拥抱。图4C示出按照如下的方式的传感器的限制：在玩偶的手放在一起而没有拥抱儿童时，智能装置中将获得传感器的肯定读取，这可能导致玩耍场景的错误读取并且产生诸如在智能装置的屏幕上显示儿童拥抱玩偶等的不相关输出。在这种情形中，在图像数据在框中没有辨识出儿童时，照相机10应提供附加信息，因此智能装置48所产生的输出应有所不同，例如，产生鼓励儿童捡起玩偶并且将玩偶的手围绕儿童的颈部放在一起的语音消息。因而，照相机的输入和传感器的输入结合在一起，这可以提供特定时间点的连接型玩具状态的准确反映并且有助于针对儿童的更智能的玩耍体验。

以下代码提出在辨识出一个物体(番茄)位于第二物体(平底锅)内部并且辨识出这两个物体都放置在第三物体上方(炉灶顶部)时的将用于辨识物体的照相机输入与RFID接近结合在一起的过程的示例。

Let be:

●C-camera with image recognition capabilities.

●S-target connected object,for example a stovetop,and；

●R-RFID reader mounted on top of S,and；

●T-accessory object to be recognized near S,for example a tomato,and；

●P-another accessory object to be recognized near S,for example a pan,and；

●L_o-recognized location of some object O by camera C,and；

●L_O，Q-recognized relative location between some objects O and Q.

Provided that:

●C captures S,T,P in real time and recognizes their location independently,and；

●R recognizes proximity between S,T,P,and；

●T,P,S,can be placed near and in any position relative to each other(ABOVE,BELOW,RIGHT,LEFT,etc.)independently,and；

●T can be placed inside P.

1.Scan and connect to target object S.

2.Capture and recognize image via camera C.

3.Scan and recognize proximity with RFID reader R.

4.On RFID reader R reading proximity of accessory objects T AND P,AND If P is recognizable by the camera C,do:

4.1.Read L_P(recognized location of P by camera C)and L_S(recognized location of S by cameraC).

4.2.Calculate L_P，S(relative location between P and S):

4.2.1.If ABOVE,then:

4.2.1.1.If T is NOT recognizable by camera C,then:

4.2.1.1.1.OUTPUT T is inside P and on top of S.

4.2.1.2.Else:

4.2.1.2.1.OUTPUT T is outside P,and on top of S.

4.2.2.Else:

4.2.2.1.Discard,no significant interesting finding.

图5A～5D是附加玩耍场景的示意图，其中，附加玩耍场景要求结合从安装或嵌入至连接型玩具装置的传感器获得的数据与从连接至玩具装置的智能装置的照相机获得的数据，以获得特定时刻的玩耍场景中的现实的真实反映并且还产生或显示针对所反映的场景的数据的相关响应。图5A和5B示出具有RFID读取器和RFID读取器内所实现的天线(未示出)的连接型玩具炉灶50，其中该天线使得能够辨识诸如就位的番茄52和平底锅54以及支架551等的各自具有唯一RFID标签的各种玩耍物品，其中支架551用于并置智能装置55使得智能装置55的照相机10拍摄玩耍场景。在将番茄和平底锅放置在炉灶上时，RFID传感器识别出番茄和平底锅现在位于炉灶上并且将该数据发送至连接至玩具的智能装置。然而，RFID传感器无法识别出物体之间的关系，即，番茄相对于平底锅和炉灶的确切位置。因而，RFID传感器针对图5A所示的情形和图5B所示的情形将提供相同的指示，其中，在图5A所示的情形中，玩家将番茄放在平底锅内部，在图5B所示的情形中，玩家将番茄放在平底锅外部(直接放在炉灶上)。如果针对该读取的响应仅基于从传感器获得的读取，则针对图5B所示的状况的响应将不会准确反映玩耍场景中的状况。需要从照相机获得的数据来校正该状况中的误读取，以向玩家提供适当的响应。

图5C～5D示出相反的状况。在这些图中，包含蔬菜57的锅56位于炉灶50上。在锅没有被盖上的情况下，位于支架551上的智能装置55的照相机10拍摄蔬菜并且将装有蔬菜的锅的图像数据发送至向玩家输出相关响应的智能装置。然而，照相机可能难以检测到锅里的所有蔬菜，这是由于有些蔬菜可能被其它蔬菜部分地隐藏。因而，玩具内所放置的传感器可以提供补充数据。然而，在锅被盖561盖上的情况下，照相机看不见蔬菜并且可能获得玩耍场景的错误反映。在这种情况下，由于RFID读取器在存在平底锅盖和不存在平底锅盖的情况下都辨识出蔬菜，因此RFID传感器提供补充信息。因而，传感器的补充输入对于获得玩耍场景的准确反映以及针对所反映的场景的相关响应的产生而言至关重要。

在所玩的是具有配件的婴儿玩偶的情况下，可能发生另一混乱的玩耍场景，其中在这些附件中包括玩家可以对玩偶进行喂食的喂食瓶。在该示例中，玩偶的嘴包括被配置为提供与将喂食瓶插入玩偶的嘴中有关的指示的传感器。玩耍模式包括指示用户对婴儿玩偶进行喂食。对婴儿进行喂食是通过将瓶放在婴儿的嘴中来进行的。通过按压婴儿的嘴内部的按钮来实现该指示。照相机同样通过辨识瓶和婴儿的嘴之间的接近，来使得系统能够验证上述的用来按压婴儿的嘴内部的按钮的物体是瓶而不是诸如手指或铅笔等的其它物体。启用这两种感测方法，并且这两种感测方法在任何时间都是活跃的，并且任何事件使系统移动至其它状态，直到达到成功为止。如果没有这些感测方法，则可能在玩家没有正在使用瓶的情况下发生误肯定读取，随之引起相对于现实事件不会发生适当响应。

图6是具有连接型婴儿玩偶和瓶的上述示例的状态机流，该状态机流示出不同的状态以及用于将机器从一个状态转变成另一状态的事件。从起始点600起，机器转向指示玩家“对婴儿进行喂食”(即，将瓶放到婴儿的嘴里并等待事件)的状态1“空闲”(610)。在照相机辨识出瓶接近时(612)，在是否已经辨识出玩偶嘴中的按钮以待按压的状态机中做出关于“按压了按钮？”的决定614。如果还按压了按钮(并且辨识出瓶接近)，则进入状态4“成功”(616)并且进入终点620，否则进入状态3“瓶接近”(618)并且等待按钮被按压。从状态3“瓶接近”起，如果移除了瓶(617)，则回到状态1“空闲”(610)，如果按压了按钮(619)，则进入状态4“成功”(616)并且进入终点(620)。另一方面，从状态1“空闲”(610)起，如果首先辨识出按钮按压(611)的事件，则做出照相机是否还辨识出瓶在婴儿的嘴附近的“瓶接近”的决定(613)。如果瓶在附近，则进入状态4“成功”(616)并且进入终点(620)，否则进入状态2“按压了按钮”(615)并且等待瓶接近辨识。从状态2“按压了按钮”起，如果释放了按钮(622)，则进入状态1“空闲”(610)，如果辨识出瓶接近(621)，则进入状态4“成功”(616)并且进入终点(620)。在到达状态4“成功”时，从应用向玩家给予反馈。

D.相同物体的区分

由于照相机辨识是基于可见图像，因此算法无法区分两个以上的类似物体。处理仅可以输出识别出多少物体以及在空间中的何处识别出物体，但无法指定相同物体类型的不同实例。

该限制与场景中存在视觉外观类似的两个以上玩具的实例相关。例如，在两个儿童正在玩两个连接型玩具剑的情形中，剑可以具有相同的颜色或材质，并且照相机可能难以区分这两把剑。玩家在游戏期间还可以改变位置，站在彼此附近或站在彼此后方，并且照相机可能难以追踪玩家。在连接型玩具的世界里，玩具还可以具有诸如游戏点数、所达到的等级和力量等的虚拟属性，并且该信息可以是玩家的个人连接型玩具所特有的。因而，玩家可能想要在与其他玩家的游戏中具有对自己可用的唯一属性，并且想要在游戏期间使用这些唯一属性。在两个以上玩具在视觉上相同的情况下，连接型玩具的该主要特征成为问题。根据一个可选解决方案，相同的玩具各自可以具有诸如RGB LED或其它照明等的输出传感器。尽管游戏是受控的，或者部分涉及空间中的物体的照相机识别，但智能装置进行第一设置，在游戏的开始向各玩具分配不同的输出信号，诸如向参与游戏的各玩具分配不同的颜色或不同的闪烁等。玩具还可以包括与游戏中的特定成就列表相关联的唯一玩具ID。在本实施例中，玩具可以将其ID发送至将要在游戏中检索玩具的虚拟属性并且还将要指示该玩具的输出元件发出信号的智能装置。在照相机辨识出输出信号时，在空间中识别玩具并且使玩具与其虚拟属性相关联。针对第二玩具、第三玩具等进行相同的处理。在识别出玩耍场景中的所有连接型玩具的情况下，游戏开始。在该具体示例中，照相机具有识别玩具并根据玩具在空间中的动作来分配玩具的虚拟属性的明确能力。玩具还可以在与其他玩家的游戏中得到力量和点数，这些力量和点数将由照相机进行处理并且分配给玩具以供长期游戏体验所用。

这种情形的另一示例涉及两个以上玩家保持相同的连接型恐龙玩具的多玩家游戏。玩家站在照相机前并移动他们的恐龙，其中玩家各自移动属于自己的物体。照相机拍摄并辨识各恐龙的位置，并且LED灯提示各物体的分配。应用程序应接收例如与被检测为红色的恐龙(属于玩家A)和蓝色的另一恐龙(属于玩家B)的物体有关的事件。

图7中提供该限制和所提出的解决方案的示意图。照相机10从类似的连接型玩具剑22A和22B拍摄图像2，其中这两个玩具均处于照相机10的视野12内。将照相机所获得的图像数据4传递至智能装置的处理装置14，其中该处理装置14识别出智能装置连接至两个物体22A和22B。

智能装置中的专用应用程序区分两个类似的物体并且与这两个物体进行通信，然而，尽管应用程序辨识出多个唯一的应用内实体(例如，不同玩家)和多个玩具标识，但照相机辨识为类似物体。为了避免玩耍场景的误读取，处理装置14(经由应用)指示771第一剑22A以唯一的颜色和亮度2201点亮LED，并且还指示772第二剑22B以唯一的颜色、闪烁模式和/或亮度2202点亮LED。在下一步骤中，照相机除了拍摄各玩具剑的图像2以外，还拍摄安装至各玩具剑的唯一LED的图像70和71。处理装置14处理数据6，然后使物体22A的玩具标识与虚拟图像2201相关联并且使物体22B的玩具标识与虚拟图像2202相关联。除了该解决方案所获得的高水平辨识以外，图像数据在本示例中还用于操作位于连接型玩具上的输出元件。

E.照明条件依赖性

一般的照相机特别是图像辨识算法非常有依赖性并且受差的照明条件的负面影响。过多或过少的光可能降低辨识的质量。为了避免这种状况，可以通过在连接型玩具上添加强调LED来使周围照明条件无效。通过将LED灯安装至需要被辨识/追踪的物体，利用用于使该物体在图像中与其它物体相比突出显示的活动且动态的光标记来强调该物体的外观。

F.配件辨识

在组合可以与主玩具一起使用的配件物体的情况下，可能变得难以检测到这些配件物体的存在，此外，难以检测到这些配件物体与主要对象物体的交互。针对该限制的一个可选解决方案是如参考图5针对连接型炉灶玩具所述的那样向配件玩具添加传感器以改善这些配件玩具的辨识。

可以向玩具添加如LED、按钮和蜂鸣器等的附加特征，并且这些附加特征由智能装置控制。照相机可以识别飞龙，并且运动传感器(加速度计和陀螺仪等)和照相机可以识别飞行动作。飞龙的背部上所放置的按钮可以在虚拟世界中从飞龙的嘴喷出火焰。由于照相机无法识别玩具背部的动作，因此可以通过飞龙的背部上所放置的压电传感器来检测对飞龙的背部的敲击。与此相对，可以通过照相机而不通过传感器来拍摄照相机的视线内的对飞龙的正面部分的敲击。这将减少所需的传感器的数量，因而减少电池消耗和电力。

以上发明的另一可能实施例是机械部件的使用，诸如玩具中的眼睛和嘴动作的实现以及包括例如轮子的具有移动能力的玩具等。在本实施例中，智能装置可以启用机械部件。在可能与多玩家社交游戏的情况相关的一个实现中，照相机可以识别第二玩具的机械动作，由此在不依赖于因特网的情况下创建多玩家游戏。例如，如果两个玩家在同一房间里一起玩耍，但各玩家有自己的玩具(例如，一起玩两个连接型玩具车)，并且各玩具受其它装置控制(例如，车A由装置A控制，并且车B由装置B控制)。在本示例中，装置A将使车A向前移动，因而将保持与车A的动作和时刻有关的信息。没有直接连接至智能装置A的装置B将通过其照相机来获得车A的动作，并且将使得车B通过向后移动来进行响应。该解决方案将使得两个以上的玩具能够在无需使用诸如Wi-Fi、蓝牙和BLE等的无线连接的情况下进行通信。应清楚，本实施例不限于机械部件，并且还可以与LED、按钮和传感器等一起使用。以上示例不限于特定玩具，并且还可以在诸如但不限于玩偶、毛绒玩具和毛绒宠物、玩偶屋、车、活动人偶、火车和玩具厨房等的许多不同玩具中实现。

根据本发明的变形例，所使用的照相机可以是2D照相机或3D照相机。

应清楚，本说明书中所记载的实施例和附图的说明仅是为了更好地理解本发明，而非限制本发明的范围。还应清楚，本领域技术人员在阅读了本说明书之后可以对附图和上述实施例进行本发明仍将覆盖的调整或修改。