或全部的控制器1lD至1lH向用户109呈现的视觉、触觉和/或音频信息对于每一装置来说可能是唯一的。各种代理104在任何给定时间可以处于不同的状态(例如，关于位置、速度、状态、动作和类似者)；另外，在多个用户109控制单个代理104的情况中，用户角色或控制可以是不同的。因此，可以调整向每一用户109呈现的各种提示和数据以适应代理104的当前状态和用户109的特定角色。
[0129]在各种实施例中，控制器1lD至1lH的用户可以是亲自到场，使得控制器1lD至1lH与主机装置108直接通信(经由例如蓝牙等无线协议)。或者，控制器1lD至1lH的用户可以位于远处并且经由主机网络(例如网络111)连接。控制器1lD至1lH可以依赖于从主机装置108往回报告的关于游戏状态的信息。
[0130]如上文所提及，在至少一个实施例中，多个用户109可以在游戏中控制单个代理104。例如，三个用户109可以控制单个代理104，其中一个用户109提供方向和速度控制，另一用户109可以控制代理104上的臂或叉车，以及第三用户109可以控制辅助操纵元件。在所述情形中，控制器101提供经调整以适应每一用户109注入的角色的信息。
[0131]在至少一个实施例中，使用某一架构来实施所述系统，所述架构提供控制的分割，使得高级功能(例如总体施工任务指派)由移动代理104外部的控制装置承担，而低级命令(例如对个别组件402的操纵)是在每一移动代理104上面进行管理。可以(例如)使用上文引用的相关申请中所描述的技术来实施所述架构。在其它实施例中，可以使用任何其它合适架构，包括(例如)不需要依赖于将计算较密集的处理卸下给对等装置的那些架构。
[0132]在至少一个实施例中，即便移动代理104不需要依赖于对等装置来处理其它高级或低级的功能性，所述装置仍可以用于允许用户将指令提供给一个或多个移动代理104。
[0133]组件402辨识
[0134]在至少一个实施例中，不同类型的组件402可以在工作表面407上同时使用；这些组件402可以包括移动代理104和/或其它组件402。实际上，工作表面407自身可以被视为一类被动组件402。如所指出，组件402可以被分类为被动、半主动或主动的，并且如所描述，组件402在尺寸、形状、质量和/或其物理性质的其它方面上可以不同。为了使系统最佳地发挥作用，在至少一个实施例中，控制移动代理104的系统辨识组件402并确定每一个别组件402的类型。
[0135]组件402还可以具有在特定功能方面令它们与众不同的其它属性；所述差异可以是或可以不是肉眼检查能看出的。在至少一个实施例中，在工作表面上操作的移动代理104具有以下能力:准确地且可靠地识别组件402 (包括其它移动代理104)以及确定组件402在工作表面407上和/或相对于某参考点的位置和方位，以便成功地且可靠地移动并操纵组件402。
[0136]可以使用许多方法中的任一者来进行组件类型辨识和组件402的位置/方位辨识。在至少一个实施例中，可以使用基于光学的方法，所述方法采用以下至少一者:1)机器可读码，2)纯图像处理和3)结构光。这些方法可以单独地使用或彼此成任何合适组合来使用。
[0137]例如，可以使用结构光方法，单独地使用或作为其它方法中的一者或两者的补充。结构光扫描仪可以包括在一个或多个代理104中。结构光的应用的一个实例涉及在场景上投射像素的已知图案(例如栅格)并观察在撞击表面时所述已知图案发生变形的方式。因此，结构光得到空间的几何离散化。由于结构光可能会省略关于颜色或纹理的信息，因此组件402的可基于颜色检测到的差异可能不易于通过结构光方法来辨别。另外，基于相对于结构光方案的分辨率来说是适度的表面特征的差异而发现的区别也可能难以检测到。因此，在至少一个实施例中，用一种或多种补充辨识方法来对结构光进行补充可能是有用的。
[0138]在使用机器可读码的实施例中，方便在工作表面407上进行定位的先前描述的方法的某些方面可以以类似方式适于实现组件402辨识。具体来说，几何图案和/或经编码数据(例如QR码)的使用可以辅助辨识组件类型、面503和/或方位。在至少一个实施例中，使用2D编码方案(例如QR码)对组件402的面503作标记可以在对机器可读码的任何观察中隐含优选的组件402方位。可以有助于识别重要的组件402特性(例如组件类型、组件402的尺寸或组件402的特定面503 (将标记施加到其上))的额外信息可以编码在机器可读码内。
[0139]在至少一个实施例中，提供用于方便移动代理104辨识组件402的编码方案；这种方案可以(例如)将经编码数据组织成适当结构，例如有序序列。所述序列的实例是三位码，其中前两位识别组件类型而最后一位指示组件402的特定面503 (例如，呈立方体形状的组件402将具有六个可能的特定面:北、东、南、西、顶面和底面)。所述方法允许移动代理104获得关于与特定组件类型ID码对应的组件402几何形状的可用信息。所述信息可以存储在移动代理104上的存储器中或可以在需要时进行下载或存取。本领域的技术人员将认识到，所述编码方案仅是示例性的，并且可以使用其它方案。
[0140]在另一实施例中，将图像数据和/或ID码传递至另一装置以便进行处理。例如，在移动代理104是由单个装置(例如主机装置108)集中控制或监视的实施例中，可以使用所述方法。因此可以在主机装置108处处理图像数据和/或ID码，其中将所解译的结果传输至移动代理104或者将基于所述结果的指令传输至移动代理104。
[0141]在又一实施例中，可以将组件402的信息结合至经编码数据自身中，例如组件402的面503的正交维数或指示组件402的形状的数据以及捕捉面的维数的后续信息或界定特性的其它信息。本领域的技术人员将认识到，在一些情形中，所描述的ID编码方案可能不是同样适于表征具有比常规立方体形式复杂或偏离常规立方体形式的几何形状的组件402 (例如，具有某些几何形状的组件402，所述几何形状包括尺寸或比例不足以置换如迄今所论述的具有可用尺寸的码的面)。在所述情况中，可以考虑替代编码格式以更好地适应一系列形式，同时仍保留在组件402的面503上的编码标记中提供尺寸、类型和方位数据的基本方法。
[0142]正如提供对优选方位的参考的机器可读码(也被称作“标记”)的外观可以用以确定垂直于观察者的经标记表面的相对旋转取向一样，所观察的机器可读码的形状在外观上与在垂直于其表面观看时它的外观发生偏离的方式提供了关于组件402在空间中相对于观察点的相对位置和方位的信息。具体来说，在采用依附于标准几何形式的图形数据编码方案的情形中，所观察的机器可读码与标准形式的偏差可以用于确定组件402相对于代理104上的相机或扫描仪的位置和方位。
[0143]例如，对于QR码，所采取的形式是正方形。当在垂直于码的中心的向量外观看所述码时，观看视角使形状以可预测的方式变形。基于对几何形状因为视角会如何发生变化的理解，所述系统可以推断出含有码的面相对于观察者的相对位置和方位。因此，在至少一个实施例中，所述系统处理码的所观察到的外观以使用对码的正常外观和尺寸的了解而得到相对距离和方位，码的正常外观和尺寸可以是通过预先了解或通过读取所述码或通过两者的某组合而获知。
[0144]在一些情况中，图像分辨率、观察距离和/或其它因素可能会限制系统在解析经编码的面的相对位置和方位时的精确性。因此，在至少一个实施例中，使用其它方法来对通过对编码标记的外观的分析而提供的信息进行补充。例如，可以在组件402上的一个或多个位置中提供额外标记。对于具有平坦表面的组件形式，可以标记出拐角点以建立与组件402的几何形状上的可易于识别的点重合的参考。例如，对于作为立方体形状的积木的组件402，可以将参考标记放置在立方体的八个拐角处，其中四个标记定位成邻近于立方体形状的积木的任何特定面。在组件402的面503大于位于其上的码标记的情况中，位于面的界线(即，拐角)处的参考标记提供可以帮助识别特定面相对于观察点的位置和方位的经改善视角。
[0145]在各种实施例中，所述参考标记可以采取许多形式中的任一者。在至少一个实施例中，采用用以改善对标记和它与组件402的面503的关系的辨识的可靠性的方案。
[0146]现在参看图7A至图7C，示出了参考标记701的一些实例，如它们可能会出现在例如积木等立方体形状的组件402的面503上那样。如图7A中所示，可以使用参考标记701之间的已知距离来从相机或扫描仪(未图示)确定组件402的相对位置和方位。除了如上文所描述的机器可读码601之外，还可以将所述参考标记701放置在面503上；然而，为清楚起见，将所述机器可读码601从图7A至图7C省去。
[0147]如图7B中所示，在至少一个实施例中，位于面503的每一拐角处的标记701可以经整形和定向，使得它指向其相关联的几何拐角。在观察可以包括多个面或一个或多个面503和/或码的不完全视图时，所述方法可以方便对单独的、个别面503的解析。在所述情况中，由参考标记701 (每一标记701表示相关联的几何点)产生数据点的点云可以得到一组点，将所述一组点正确地解析成单独的面503可能是有挑战性的。会这样的一个原因是指示拐角位置的空间数据不一定指示界定它的表面如何合拢。从数学方面讲，如果人们仅了解三维立方体的单个拐角点，那么其相交点界定拐角点的三个面503中的任一者的有效位置包括在所有三个维度上绕着所述拐角点旋转的立方体的可能位置解的整个范围。因此，使用参考标记701来提供对面503相对于标记点的延伸方向的指示可以方便从参考点的点云来解析出面503。
[0148]在一些情况中，单独的面503上的参考标记701可以离得很近，使得从特定的有利位置进行观察可能会造成识别标记701的困难或关于参考点的不明确。例如，如果参考标记方案使用在立方体的每个面503上的拐角位置处的标记701，那么呈现其界定面503中的一者以上是可视的拐角的立方体相对于观察点的方位将同样地显露多个参考标记701。如果参考标记701完全延伸至立方体的局部边缘，那么将所得聚集形状解析成单独的参考标记701可能变成困难的。因为这个原因，使参考标记701偏离每一面503的边缘(如图7A至图7C中所示)可能是有利的，使得可以更容易地像那样识别可以包括指示同一点的多个参考标记701的观察。
[0149]作为确定面503的空间特性的手段对拐角点进行标记的上述技术仅是可以结合本系统和方法使用的方法的一个实例。可以使用其它技术。例如，边缘提供用于以与拐角点类似的方式进行几何勾绘的依据，并且线或边缘检测提供了可以单独地进行或作为对拐角标记方案的补充来进行的替代手段。边缘检测在图像处理的领域中是众所周知的，并且在本系统和方法的情形中可能是特别有用的，尤其是在可能的组件几何形状可能是预先知道的或可以被获得(通过例如组件ID码等手段)的情况下。在一些情况中，边缘可以提供超过拐角的优势，这归功于它们作为曲线或向量而非点的定义。因此，在至少一个实施例中，除了拐角之外或作为拐角标记方法的替代，标记方案可以是用于突出显示边缘。
[0150]可以使用任何合适形式来用机器可读码601和/或参考标记701对表面作标记。在至少一个实施例中，可以使用颜色来进一步辅助识别特定组件类型或其方面。在至少一个实施例中，可以通过施加墨水(任何合适颜色或颜色组合的)和/或通过纹理化或浮雕和/或通过某材料变化来完成作标记。在至少一个实施例中，用墨水将标记施加至表面，所述墨水在可见光谱中是透明的，但是在可见范围外的光的波长下(例如紫外线或红外线频率)是可见的。这种方法的优点是标记被隐藏起来了使用户看不见，并且因此不会将注意力从组件402的外观上转移或不会有损组件402的外观。
[0151]由于组件402可能具有可能是复杂的表面和/或可能具有机械或其它功能性，因此可能的情况是一些组件402可能会具有缺少在上面定位机器可读码601或参考标记701的足够或方便的区域的面503。在这些情况中，仍可能希望组件402包括用于验证表面(例如面503)的存在的机构，尽管不能够支持本来会存在的所有或部分的识别标记(机器可读码601或参考标记701)。在至少一个实施例中，提供码601和/或参考标记701是不完整的指示(除了机器可读码601或参考标记701之外或作为机器可读码601或参考标记701的部分)。所述方法可以用于减少在尝试捕捉完整的机器可读码601的过程中对表面的重复观察。
[0152]因此，在至少一个实施例中，可以跨越特定面503上的整个可用空间来施加图案，其中所述图案与在对组件面503编码的过程中施加的标记(机器可读码601或参考标记701)的类型不同；所述图案指示不完整的机器可读码601或参考标记701。实例是其取向是从面503的主边缘偏离45°的条纹图案。检测此图案的观察可以确定组件面503是不完整的或不呈现经编码数据，同时还可能勾绘出所述面503的几何界线的某部分。以此方式，所述系统仍可以获得信息，所述信息可能与形成对组件402的总体空间定位和方位以及它与其它组件402和与表面407的关系的全面理解有关。
[0153]因此，使用本文中描述的技术，所述系统和方法提供了支持在工作表面407上操作的移动代理104的定位以及方便所述移动代理104与组件402 (例如积木)的交互的环境。本文中描述的技术可以用于允许移动代理104确定所述组件402相对于移动代理104、其它组件402和/或工作表面407 (它自身可以被视为组件402)的位置和/或方位。
[0154]在至少一个实施例中，每一移动代理104知道操作环境的界线和/或它在所述环境内的位置；因此，通过组件402的识别和辨识以及它们相对于代理104的已知位置和方位的空间安置的过程，每一代理104能够了解组件402在操作环境的界线和/或全局参考点(它可以是(例如)工作表面407上的普通原点)的情形中的空间安置。因此，工作表面407与其它组件402构成了可以共同地或单独地支持由移动代理104进行的定位的结构化环境。
[0155]在各种实施例中，所述系统可以使用工作表面407和对组件布置的当前了解中的任一者或两者，和/或可以从一者切换至另一者。在移动代理104负责将处于已知位置处的特定组件402从其当前位置移动某距离的一个实例中，所述系统可以规划路径，所述路径将会把代理104带到组件402的位置，优选是以将使代理104以方便的方式提升、抓取组件402或以其它方式抢占组件402的位置的方式。在移动代理104行进至组件402的位置或与组件402 —起移动至其既定的下一个位置的同时，代理104可以利用在工作表面407上(或参考全局位置)编码或以其它方式标记以供参考的信息。然而，一旦移动代理104足够接近组件402，那么与移动代理104在工作表面407上的绝对位置相比，代理104相对于组件402的位置和方位可能变得与捕捉或操纵组件402的紧迫任务更相关。重点从经由工作表面监视全局位置和方位到改为相对于被识别为要捕捉或操纵的组件402进行定位的转变可以是基于(例如)辨识在目标组件402的映射位置中存在的潜在误差。依赖于映射数据将移动代理104引导至组件402的邻近位置提供了用于在没有视线的情况下使移动代理104有效地且可靠地到达组件402处的手段。在移动代理104处在组件402的近距离范围内使得经由处理通过代理104的机载传感器提供的数据来确定组件402相对于代理104的位置和方位变成可能后，可能优选的是切换至此方法直至组件402被代理104捕捉为止。在此时，移动代理104可以返回到相对于工作表面407 (或相对于代理104的全局位置)来进行定位。
[0156]类似地，将组件402放置在其既定位置和方位上同样可以涉及切换到优先相对于可能邻近由移动代理104搬运的组件402的既定最终位置和方位的其它组件402进行定位。在所述情况中，可以例如通过安装在移动代理上的指向下的相机并且利用移动代理104的几何形状的已知几何形状以及组件402和与所放置的组件402的最终位置相关的任何其它组件402 (例如，堆叠在所放置的组件402的位置下面的组件402)的那些几何形状以精确到由工作表面407的定位方案支持的精确度的极限的精确度来建立组件402的空间数据。
[0157]在至少一个实施例中，参与到分开的任务中或协作地(或竞争地，或彼此冲突地，无论是模拟的还是实际的)工作的多个移动代理104可以在工作表面407上同时操作。不管移动代理104是否积极地彼此协作，通过对工作表面407的单独观察得到的信息可以组合成工作表面407环境的单个全局模型。所述数据聚集可以得到位于工作表面407的相关空间中的所有组件402的更全面或更完整的概述以及与所述组件402各自的位置和方位有关的更准确的信息。据推测，如果所述系统采用移动代理104在其中操作的物理空间的虚拟模型驻存在例如主机装置108等中央节点中的架构，那么所述模型可以结合经由移动代理104和/或可以经装备以全部或部分地提供所述数据的其它类型的组件402单独地获得的与所有组件类型、位置和方位有关的所有相关信息。以此方式，可以创建在工作表面407的相关附近区域中的组件402的综合表示。如2013年8月9日提交的相关美国实用新型申请序列号13/963，638 “具有一个或多个计算装置的机器人系统的集成(Integrat1n ofa Robotic System with One or More Computing Devices)，，(代理人案号 ANK002)中所描述，所述综合表示可以接着用于建构和/或维护组件402、工作表面407和/或移动代理104的虚拟表示以及用于使组件402、工作表面407和/或移动代理104的物理位置和方位与对应的虚拟表示相符。
[0158]由于从单独的移动代理104得到的关于组件类型、位置和/或地点的信息可能没有精确地一致的可能性，因此在至少一个实施例中，可以实施用于在建构和维护操作环境的单个表示的过程中协调差异的机制。可以根据潜在误差对数据排定优先次序，使得在聚集来自分离的源的信息时，具有最低误差的数据具有比具有较大误差的数据大的权重。
[0159]例如，假设两个移动代理104从工作表面407上的分离位置观察同一组件402，一个是从接近组件402的有利位置观察而另一个是从离得较远的位置观察。如果移动代理104以相同程度的精确性从工作表面407得到它们自己的位置和方位信息并且都采用相同的相机成像技术来观察组件402，那么预计位于较接近于组件402处的移动代理104将在大多数情况中提供比位于离得较远处的代理104所提供的信息更可靠的关于相互留意的组件402的空间安置的信息。在所述实例中，各种因素可能会影响数据的质量，例如观看角度的差异或一个移动代理104是否在移动的同时观察组件402，或一个移动代理104是否具有部分受阻的视线。在观察的条件方面，还可能存在其它差异。在至少一个实施例中，在对来自两个源的数据排定优先次序时可以将所述因素中的任一者或全部考虑进去。
[0160]本领域的技术人员将认识到，可以使用用于对从不同源接收到的不一致的数据排定优先次序的其它方案。
[0161]在至少一个实施例中，移动代理104(和/或其它组件402)参与正在进行中的监视和/或探测以便建构和维持包括工作表面的环境的物理状态的精确虚拟表示。在至少一个实施例中，可以预计移动代理104将引入到已经充填有组件402的空间中。此外，在一些情形中，组件402的构造可能会以难以预测的方式来改变，例如在组合件可能会突然坍塌或被故意拆散时。在任一种情况中，代理104可以经配置以辨识物理状态与已经建构的虚拟表示之间的偏差。
[0162]如本文中所论述，在虚拟表示与代理104和/或组件402的物理位置之间发生冲突的情况中，可以对物理位置和/或虚拟表示中的任一者或两者进