多点SLAM捕获的制作方法

多点slam捕获
技术领域
[0001]
本申请涉及必须植根于计算机技术并且产生具体技术改进的技术上创新的非常规解决方案。


背景技术：

[0002]
同步定位与地图构建(slam)地图可用于帮助自主机器人在房间或建筑物内导航，并且还可以帮助用户在佩戴增强现实(ar)头戴式耳机时在房间或建筑物内导航。如本文所理解的，生成slam地图优选地应尽可能便宜且无干扰地进行，以避免减损ar或虚拟现实(vr)体验。


技术实现要素：

[0003]
通过有线和/或无线通信路径向合成处理器报告对多个相应相机可见的“点云”中的“特征点”(即，由相机成像的对象的各个方面)，该合成处理器可以确定特定特征点是否相对于另一图像“移动”一定量。以这种方式，合成处理器可以例如使用三角测量和共同特征的识别来确定当捕获来自该相机的后一图像时，发生了多少移动以及任何特定相机被放置在何处。因此，使用了多个图像中的特征点的“重叠”使得系统可以闭合环路以生成slam地图。可以由服务器或其他装置实现的合成处理器通过合并来自多个成像装置的特征点数据来生成slam地图。
[0004]
如本文所设想的那样，存储装置包括至少一个计算机介质，该至少一个计算机介质不是瞬时信号并且又包括可由至少一个处理器执行以从第一装置接收点云中的至少第一特征点以及从第二装置接收点云中的至少第二特征点的指令。这些指令是可执行的以使用第一和第二特征点来生成同步定位与地图构建(slam)地图。
[0005]
在示例中，指令可以是可执行的以与第二装置交换装置标识信息。
[0006]
在非限制性实现方式中，第一特征点包括第二装置的图像的至少部分。在示例实施方案中，指令可以是可执行的以从至少第三装置接收第三特征点并使用第三特征点生成slam地图。在一些实现方式中，指令可以是可执行的，以至少部分地基于第一特征点的尺寸来确定距第一特征点的距离。如果需要，一些实施方案可以包括可执行以响应于确定slam地图具有盲点而改变计算机游戏在第一和第二装置中的至少一个上的呈现的指令。第一和第二装置可以被实现为计算机游戏头戴式耳机。
[0007]
在另一方面，组件至少包括第一和第二计算机游戏头戴式耳机，每个头戴式耳机包括至少一个相应相机。该组件包括处理器，该处理器编程有用于进行以下操作的指令：使用第一计算机游戏头戴式耳机的相应相机生成点云中的特征点的至少第一图像，并从至少第二计算机游戏头戴式耳机接收点云中的特征点的至少第二图像，并使用第一和第二图像生成slam地图。
[0008]
在另一方面，一种方法包括：从第一装置接收点云中的至少第一特征点，从第二装置接收点云中的至少第二特征点，并使用第一和第二特征点生成同步定位与地图构建
(slam)地图。
[0009]
本申请的关于其结构和操作两者的细节可以参考附图得到最佳理解，在附图中相同的附图标记指代相同的部分，并且在附图中：
附图说明
[0010]
图1是符合本原理的示例系统的框图；
[0011]
图2是特定系统的方框图，示出了带有ar/vr头戴式耳机的两个计算机游戏玩家，应理解，可以使用两个以上的游戏玩家；
[0012]
图3是符合本原理的示例逻辑的流程图；
[0013]
图4是两个装置的示意性俯视图，示出了玩家的视场；
[0014]
图5是三个装置的示意性俯视图；
[0015]
图6示意性地示出了由图5中的第一装置生成的slam地图；
[0016]
图7示意性地示出了由图5中的第二装置生成的slam地图；
[0017]
图8示意性地示出了由图5中的第三装置生成的slam地图；
[0018]
图9示意性地示出了使用图6至图8的slam地图生成的聚合slam地图；
[0019]
图10是用于生成聚合的slam地图的示例逻辑的流程图；
[0020]
图11至图13是示例slam地图生成系统架构的框图；并且
[0021]
图14是示例用户界面的屏幕截图，该用户界面可以被呈现在vr/ar头戴式耳机上以提示玩家转向现有slam地图中的盲点以对盲点中的对象进行成像。
具体实施方式
[0022]
当多个用户在近距离彼此交互时，同步定位与地图构建(slam)地图既可用作视频游戏软件的输入，又可用作当玩家可能要撞到真实世界对象的工具或撞到彼此时警告玩家的工具。例如，这在计算机游戏玩家在增强现实(ar)或虚拟现实(vr)模拟世界中进行交互的情况下可能很有用。还可以使用来自在同一空间中进行交互的多个用户的各个装置的相机输入来构造slam地图。
[0023]
本公开总体上涉及计算机生态系统，其包括消费型电子(ce)装置网络(诸如但不限于计算机游戏网络)的各方面。本文的系统可包括服务器和客户端部件，该服务器和客户端部件通过网络连接使得可在客户端与服务器部件之间交换数据。客户端部件可以包括一个或多个计算装置，该计算装置包括诸如索尼(sony)或由微软或任天堂(nintendo)或其他制造商制作的游戏控制台的游戏控制台，虚拟现实(vr)头戴式耳机、增强型现实(ar)头戴式耳机、便携式电视机(例如智能tv、支持互联网的tv)、便携式计算机(诸如膝上型计算机和平板计算机)以及其他移动装置(包括智能电话和下面讨论的附加示例)。这些客户端装置可以利用多种操作环境进行操作。例如，客户端计算机中的一些可以采用例如linux操作系统、微软的操作系统或unix操作系统或苹果计算机(apple computer)或谷歌(google)生产的操作系统。这些操作环境可以用于执行一个或多个浏览程序，诸如微软或谷歌制造的浏览器或mozilla或可以访问由下面讨论的互联网服务器托管的网站的其他浏览器程序。此外，根据本发明原理的操作环境可以用于执行一个或多个计算机游戏程序。
[0024]
服务器和/或网关可以包括执行指令的一个或多个处理器，所述指令将服务器配置为通过诸如互联网的网络接收和传送数据。或者，客户端和服务器可通过本地内联网或虚拟专用网络连接。服务器或控制器可以由游戏控制台(诸如索尼)、个人计算机等实例化。
[0025]
可通过网络在客户端与服务器之间交换信息。为此并且为了安全起见，服务器和/或客户端可以包括防火墙、负载平衡器、临时存储装置和代理以及用于可靠性和安全性的其他网络基础设施。一个或多个服务器可形成实现向网络成员提供诸如在线社交网站的安全社区的方法的设备。
[0026]
如本文所使用，指令是指用于在系统中处理信息的计算机实现的步骤。指令可以在软件、固件或硬件中实现，并且包括由系统的部件实施的任何类型的已编程步骤。
[0027]
处理器可以是能够借助于诸如地址线、数据线和控制线的各种线以及寄存器和移位寄存器执行逻辑的任何常规的通用单芯片处理器或多芯片处理器。
[0028]
通过本文的流程图和用户界面描述的软件模块可包括各种子例程、程序等。在不限制本公开的情况下，陈述为由特定模块执行的逻辑可被再分配到其他软件模块和/或一起组合在单个模块中和/或使得在可共享库中可用。
[0029]
本文所述的本发明原理可以实现为硬件、软件、固件或其组合；因此，说明性部件、框、模块、电路和步骤依据其功能性加以阐述。
[0030]
除上文已经提到的内容之外，下文所述的逻辑块、模块和电路可以用被设计来执行本文所述功能的通用处理器、数字信号处理器(dsp)、现场可编程门阵列(fpga)或其他可编程逻辑装置(诸如专用集成电路(asic)、离散门或晶体管逻辑、离散硬件部件或其任何组合)来实现或执行。处理器可由控制器或状态机或计算装置的组合实现。
[0031]
下文所述的功能和方法当在软件中实现时可以诸如但不限于java、c#或c++的适当语言编写，并且可存储在计算机可读存储介质上或通过计算机可读存储介质传输，所述计算机可读存储介质诸如随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、光盘只读存储器(cd-rom)或其他光盘存储装置(诸如数字通用光盘(dvd))、磁盘存储装置或包括可移除拇指驱动器的其他磁存储装置等。连接可建立计算机可读介质。此类连接可包括例如硬连线电缆，包括光纤和同轴线以及数字用户线(dsl)和双绞线。此类连接可以包括无线通信连接，包括红外线和无线电。
[0032]
一个实施方案中所包括的部件可以以任何适当的组合用于其他实施方案中。例如，可将本文所述和/或附图中所描绘的各种部件中的任一者组合、互换或从其他实施方案排除。
[0033]“具有a、b和c中的至少一者的系统”(类似地，“具有a、b或c中的至少一者的系统”和“具有a、b、c中的至少一者的系统”)包括以下系统：仅具有a；仅具有b；仅具有c；同时具有a和b；同时具有a和c；同时具有b和c；和/或同时具有a、b和c等。
[0034]
现在具体地参考图1，示出了示例系统10，其可包括上文所提及和下文根据本发明原理进一步描述的示例装置中的一者或多者。系统10中所包括的示例性装置中的第一者是消费性电子(ce)装置，诸如音频视频装置(avd)12，所述音频视频装置12诸如但不限于具有tv调谐器(等同地，控制tv的机顶盒)的支持互联网的tv。然而，avd12替代地可以是器具或家用物品，例如，计算机化的支持互联网的冰箱、洗涤器或干燥器。avd 12替代地也可以是
计算机化的支持互联网的(“智能”)电话、平板计算机、笔记本计算机、可穿戴计算机化装置(诸如例如计算机化的支持互联网的手表、计算机化的支持互联网的手环)、其他计算机化的支持互联网的装置、计算机化的支持互联网的音乐玩家、计算机化的支持互联网的头戴式耳机、计算机化的支持互联网的可植入装置(诸如可植入皮肤装置)等。无论如何，应理解，avd 12被配置为实施本发明原理(例如，与其他ce装置进行通信以实施本发明原理、执行本文所述的逻辑并且执行本文所述的任何其他功能和/或操作)。
[0035]
因此，为了实施此类原理，avd 12可以由图1所示的部件中的一些或全部建立。例如，avd 12可以包括一个或多个显示器14，所述一个或多个显示器14可由高清晰度或超高清晰度(“4k”)或更高的平面屏幕实现，并且可以是支持触摸的，以用于通过显示器上的触摸来接收用户输入信号。avd 12可以包括：用于根据本原理输出音频的一个或多个扬声器16，以及用于例如向avd 12输入可听命令以控制avd 12的至少一个附加的输入装置18(诸如例如音频接收器/传声器)。示例avd 12还可以包括用于在一个或多个处理器24的控制下通过至少一个网络22(诸如互联网、wan、lan等)进行通信的一个或多个网络接口20。还可以包括图形处理器24a。因此，接口20可以是但不限于wi-fi收发器，所述wi-fi收发器是无线计算机网络接口的示例，诸如但不限于网状网络收发器。应理解，处理器24控制avd 12来实施本原理，包括本文所述的avd 12的其他元件，诸如例如控制显示器14来在显示器上呈现图像和从显示器接收输入。此外，应注意，网络接口20可以是例如有线或无线调制解调器或路由器或其他适当接口(诸如例如无线电话收发器或如上所提及的wi-fi收发器等)。
[0036]
除前述内容之外，avd 12还可包括用于物理地连接(例如，使用有线连接)到另一个ce装置的一个或多个输入端口26(诸如例如高清晰度多媒体接口(hdmi)端口或usb端口)和/或用于将头戴式耳机连接到avd 12以用于通过头戴式耳机将来自avd 12的音频呈现给用户的头戴式耳机端口。例如，输入端口26可以经由有线或无线地连接到音频视频内容的有线或卫星源26a。因此，源26a可以是例如单独的或集成的机顶盒或卫星接收器。或者，源26a可以是包含内容的游戏控制台或磁盘玩家，所述内容可被用户视为用于下文进一步描述的信道分配目的的最喜爱之物。源26a在实现为游戏控制台时可包括下文关于ce装置44描述的部件中的一些或全部。
[0037]
avd 12还可以包括不是瞬时信号的一个或多个计算机存储器28，诸如基于磁盘的存储装置或固态存储装置，该一个或多个计算机存储器在一些情况下在avd的机壳中体现为独立装置、或者体现为avd的机壳内部或外部的用于回放av节目的个人视频记录装置(pvr)或视频磁盘玩家、或者体现为可移除存储器介质。此外，在一些实施方案中，avd 12可以包括方位或位置接收器(诸如但不限于手机接收器、gps接收器和/或高度计30)，该方位或位置接收器被配置为例如从至少一个卫星或手机塔接收地理位置信息并且向处理器24提供信息和/或结合处理器24确定avd 12被设置处于的高度。然而，应理解，根据本原理，可以使用除手机接收器、gps接收器和/或高度计以外的另一合适的方位接收器来例如确定avd 12在例如所有三个维度上的位置。
[0038]
继续avd 12的描述，在一些实施方案中，根据本发明原理，avd 12可以包括一个或多个相机32，该一个或多个相机可以是例如热成像相机、数字相机(诸如网络摄像机)和/或集成到avd 12中并且可由处理器24控制来收集图片/图像和/或视频的相机。avd 12上还可以包括蓝牙收发器34和其他近场通信(nfc)元件36，其用于分别使用蓝牙和/或nfc技术与
其他装置进行通信。示例nfc元件可以是射频识别(rfid)元件。
[0039]
更进一步地，avd 12可以包括向处理器24提供输入的一个或多个辅助传感器37(例如，运动传感器诸如加速度计、陀螺仪、回转计或磁传感器、红外(ir)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。avd 12可以包括空中电视广播端口38，用于接收向处理器24提供输入的ota电视广播。除前述内容之外，应注意，avd 12还可包括红外(ir)发射器和/或ir接收器和/或ir收发器42，诸如ir数据关联(irda)装置。可以提供电池(未示出)以用于为avd 12供电。
[0040]
仍参考图1，除avd 12之外，系统10还可包括一个或多个其他ce装置类型。在一个示例中，第一ce装置44可以用于经由直接发送到avd 12的命令和/或经由下面描述的服务器向avd 12发送计算机游戏音频和视频，而第二ce装置46可以包括与第一ce装置44类似的部件。在所示的示例中，第二ce装置46可以被配置为由玩家47佩戴的vr头戴式耳机，如图所示。在所示的示例中，示出仅两个ce装置44、46，应理解，可以使用更少或更多的装置。
[0041]
在所示的示例中，为了说明本发明原理，假设所有三个装置12、44、46是例如家中娱乐网络的成员，或至少在诸如房屋的某一位置中彼此接近地存在。然而，除非另有明确要求，否则本原理不限于虚线48所示的特定位置。
[0042]
示例非限制性第一ce装置44可以由上述装置中的任何一个来建立，例如，便携式无线膝上型计算机或笔记本计算机或游戏控制器(也称为“控制台”)，并且因此可以具有下述部件中的一个或多个。第一ce装置44可以是用于例如向avd 12发送av播放和暂停命令的遥控器(rc)，或者其可以是更复杂的装置，诸如平板计算机、经由有线或无线链路与avd 12通信的游戏控制器、个人计算机、无线电话等。
[0043]
因此，第一ce装置44可以包括一个或多个显示器50，显示器50可以是触摸启用的以经由显示器上的触摸来接收用户输入信号。第一ce装置44可以包括：一个或多个扬声器52，其用于根据本发明原理输出音频；以及至少一个另外的输入装置54(诸如例如音频接收器/传声器)，其用于例如向第一ce装置44输入可听命令以控制装置44。示例性第一ce装置44还可以包括一个或多个网络接口56以用于在一个或多个ce装置处理器58的控制下通过网络22进行通信。还可以包括图形处理器58a。因此，接口56可以是但不限于wi-fi收发器，所述wi-fi收发器是无线计算机网络接口的示例，包括网状网络接口。应理解，处理器58控制第一ce装置44来实施本发明原理，包括本文所述的第一ce装置44的其他元件，诸如例如控制显示器50来在显示器上呈现图像和从显示器接收输入。此外，应注意，网络接口56可以是例如有线或无线调制解调器或路由器或其他适当接口(诸如例如无线电话收发器或如上所提及的wi-fi收发器等)。
[0044]
除前述内容之外，第一ce装置44还可以包括一个或多个输入端口60，诸如例如用于物理地连接(例如，使用有线连接)到另一个ce装置的hdmi端口或usb端口、和/或用于将头戴式耳机连接到第一ce装置44以用于通过头戴式耳机将来自第一ce装置44的音频呈现给用户的头戴式耳机端口。第一ce装置44还可包括一个或多个有形计算机可读存储介质62，诸如基于磁盘的存储装置或固态存储装置。此外，在一些实施方案中，第一ce装置44可包括位置或地点接收器(诸如但不限于手机和/或gps接收器和/或高度计64)，所述位置或地点接收器被配置为例如使用三角测量从至少一个卫星和/或手机塔接收地理位置信息并且向ce装置处理器58提供所述信息和/或结合ce装置处理器58确定第一ce装置44被设置处
于的高度。然而，应理解，根据本原理，可以使用除了手机和/或gps接收器和/或高度计之外的另一个合适的位置接收器，以例如在例如所有的三个维度内确定第一ce装置44的地点。
[0045]
继续第一ce装置44的描述，在一些实施方案中，根据本原理，第一ce装置44可包括一个或多个相机66，所述一个或多个相机66可以是例如热成像相机、数码相机(诸如网络摄像头)和/或集成到第一ce装置44中并且可由ce装置处理器58控制来采集图片/图像和/或视频的相机。第一ce装置44上还可以包括蓝牙收发器68和其他近场通信(nfc)元件70，其用于分别使用蓝牙和/或nfc技术与其他装置进行通信。示例nfc元件可以是射频识别(rfid)元件。
[0046]
更进一步地，第一ce装置44可以包括向ce装置处理器58提供输入的一个或多个辅助传感器72(例如，运动传感器诸如加速度计、陀螺仪、回转计或磁传感器、红外(ir)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。第一ce装置44可以包括向ce装置处理器58提供输入的其他传感器，诸如例如一个或多个气候传感器74(例如，气压计、湿度传感器、风传感器、光传感器、温度传感器等)和/或一个或多个生物计量传感器76。除前述内容之外，应注意，在一些实施方案中，第一ce装置44还可以包括红外(ir)发射器和/或ir接收器和/或ir收发器78，诸如ir数据关联(irda)装置。可以提供电池(未示出)以用于为第一ce装置44供电。ce装置44可以通过上述通信模式和相关部件中的任一者与avd 12进行通信。
[0047]
第二ce装置46可以包括针对ce装置44示出的部件中的一些或全部。任一个或两个ce装置可以由一个或多个电池供电。
[0048]
现在参考前面提到的至少一个服务器80，其包括至少一个服务器处理器82、至少一个有形的计算机可读存储介质84(诸如基于磁盘的存储装置或固态存储装置)、以及至少一个网络接口86，该网络接口在服务器处理器82的控制下，允许通过网络22与图1的其他装置通信，并且实际上可以促进根据本原理进行的服务器和客户端装置之间的通信。应注意，网络接口86可以是例如有线或无线调制解调器或路由器、wi-fi收发器或其他适当接口(诸如例如无线电话收发器)。
[0049]
因此，在一些实施方案中，服务器80可以是互联网服务器或整个服务器“场”，并且可以包括并且执行“云”功能，使得系统10的装置可在例如网络游戏应用的示例实施方案中经由服务器80访问“云”环境。或者，服务器80可以由与图1中示出的其他装置在同一房间或附近的一个或多个游戏控制台或其他计算机来实现。
[0050]
本文中的方法可以实现为由处理器、适当配置的专用集成电路(asic)或现场可编程门阵列(fpga)模块或如本领域技术人员将理解的任何其他便利方式执行的软件指令。在采用的情况下，软件指令可以体现在非暂时性装置(诸如cd rom或闪存驱动器)中。软件代码指令可以替代性地体现在诸如无线电或光学信号的暂时性布置中，或者经由通过互联网进行的下载体现。
[0051]
图2示出了在其中设置了一个或多个现实世界的对象202(例如家具)的房间中的另外两个计算机游戏玩家200可以各自佩戴相应的ar和/或vr头戴式耳机204，其可以由例如图1中示出的耳机47实现，并且实现上述ce装置46的适当部件中的一个或多个。因此，每个头戴式耳机204可以包括相应的静止相机或相机206，该静止相机或相机可以对相应的玩家200周围的空间进行成像，并且可以以任何适当的取向安装在头戴式耳机上，诸如面向向
前，即，面向与玩家在如预期那样佩戴头戴式耳机时面向的相同的方式。
[0052]
头戴式耳机204还可包含有线和/或无线收发器，以将图像从相应相机206和玩家/装置标识发送到访问一个或多个计算机存储装置208的一个或多个处理器207，以生成与本文的原理一致的一个或多个slam地图210。slam地图和相关联的信息可以被呈现在相应的显示器212上，诸如在相应的头戴式耳机上或之中、或者在avd 12或其他显示装置上的扬声器和/或视频显示器上。一个或多个处理器207可以以各种架构来实现，下面参考图11至图13讨论这些架构中的三种。如果期望的话，每个玩家和/或头戴式耳机可以与相应的位置装置(例如全球定位卫星(global positioning satellite，gps)接收器214)相关联。
[0053]
图3示出了与当前原理一致的总体逻辑。从方框300开始，例如通过记录各个gps接收器214所指示的每个玩家的位置来初始化每个玩家的位置。移至框302，每个头戴式耳机上的每个相机对特征点进行成像，这些特征点可以包括其视场中的对象和其他玩家的部分，实际上提取了该区域的特征和描述符。框304指示继续记录来自其各自相机的玩家和图像。注意，每个玩家的头戴式耳机还可以与其他头戴式耳机交换其标识信息，使得可以知道每个头戴式耳机生成图像的身份并将其与其生成的图像相关联。
[0054]
前进到框306，通过将每个装置从各个相机提供的区域的特征和描述符组合到聚集的slam地图中，来影响循环闭合，如下文进一步讨论的。该环闭合可能受到诸如在服务器中的合成处理器的影响，该服务器接收在框302和304中生成的特征点的图像。如果在判定菱形框308处确定来自框306的聚集的slam地图中存在盲点，则逻辑可移至框310以改变玩家中的一个或多个正在玩的计算机游戏或以其他方式指示玩家中的一个以这样的方式转动，即他的相机指向有slam地图所指示的盲点。例如，如果逻辑确定特定玩家后面的聚合slam地图中不存在任何对象，则可以推断该玩家后面的空间尚未成像，并且因此是盲点。可以指示该玩家或另一玩家(例如，通过改变玩家的头戴式耳机上的游戏呈现)转向形成盲点的区域，并且从而使相应相机对盲点进行成像。
[0055]
图4示出了在本文中被称为“头戴式耳机0”的第一玩家头戴式耳机可以具有提供具有fov角400的视场(fov)的相机。第一头戴式耳机“0”可以具有fov轴402。相机可以由互补金属氧化物半导体(cmos)相机实现，以生成静止图像或视频图像，用于生成slam地图的目的。
[0056]
同样，第二头戴式耳机“a”可以具有提供具有fov角404的视场(fov)的相机、具有fov轴406。可以使用两个以上的头戴式耳机。在所示的示例中，例如在相应的vr/ar头戴式耳机上的每个相机在另一相机(例如在相应的vr/ar头戴式耳机上)的fov内，并且相机的fov重叠，如图所示。例如在相应的vr/ar头戴式耳机0，a上的相机建立光学微网。
[0057]
图5示出了具有三个相机的系统500，例如，在由本文描述的装置中的任何一个实现的相应的vr/ar头戴式耳机0、a、b上。如下进一步所述，每个装置(例如带有相机的头戴式耳机)通过对包括其视场内的其他装置的特征点进行成像来生成其自己的对构建slam地图有用的信息(应理解，在其他实施方案中，服务器或协调装置可以从每个装置接收图像流并自己生成slam地图)。特征点(诸如来自所有装置的区域的特征和描述符)被聚集在一起，以获得用户定义的参考位置。在所示的示例中，以下公开内容假定参考位置502位于系统500的中心。可以对其他参考位置进行建模，包括使用佩戴头戴式耳机0、a、b中的一个的玩家之一作为参考位置。为了描述的目的，假设箭头504、506、508分别代表每个相机0、a、b的视场
的中心线轴。
[0058]
考虑到图5的以上描述，图6至图8分别示出了由其fov中的其他装置的每个相机装置0、a、b生成的特征和描述符600、700、800。在所示的示例中，特征点中的一些(其他装置的图像)比其他特征点更大，因为与较大图像相对应的装置比与较小图像相对应的装置更靠近成像装置。该信息可以是如图所示的3d信息，并且根据下面的进一步描述，装置的相对位置对于其他装置是已知的。因此，每个装置生成特征点及其相对于成像装置的相对位置，该成像装置知道其各自的中心线轴所处的方向，并且因此知道每个特征点与该中心线轴的角度偏移。如果需要的话，可以使用例如使用其gps位置的装置中的任何一个的绝对位置来确定装置的绝对位置。
[0059]
距每个特征点的距离可以通过将其图像的尺寸与距离相关来确定。例如，由于每个玩家的尺寸通常可以被称为例如六英尺高的成年人，并且被预先编程到装置中的每一个中，因此可以将参考图像尺寸(例如身高)与参考距离相关联。然后，可以使用线性插值来将比参考尺寸更小的特征点尺寸与比参考距离更大的距离关联，并将比参考尺寸更大的特征点尺寸与比参考距离更小的距离关联。
[0060]
slam地图信息600、700、800被聚合为图9的单个聚合slam地图900，其参考图5中的参考位置502。聚合slam地图900中的每个特征点的各方面被适当地改变以用于每个装置与参考位置502的角度和距离。可以这样做是因为所示的示例中的三个特征点/装置中的每一个存在于用于构造slam映地图的三个图像中的两个图像中，并对每个成像装置都呈现出不同的方面。本文所述的处理器中的一个或多个可以执行图形引擎来访问每个成像特征点的多个方面，并且以当从参考点502观看时它将呈现的方面呈现特征点的单个图像，如图9的聚集slam图900所示。
[0061]
图10进一步进行说明。从框1000开始，相机0、a和b(例如，在相应的玩家头戴式耳机上)彼此成像以及对在其fov中的其他现实世界对象成像。在框1002，头戴式耳机可以交换标识或使用图像识别来以其他方式彼此识别，使得每个装置可以知道例如其他装置的尺寸(基于id)以及这些装置相对于成像装置的相对位置。该信息可以被发送到合成处理器。另外，如果期望的话，可以通过参考特定/公共点和特征点的颜色，使用每个相机视场中的一个或多个特征点来帮助将图像拼接在一起。换句话说，合成处理器可以接收诸如图像信息或通过对特征点执行图像识别算法而导出的图像识别信息的信息，以确定一个或多个非ce装置对象(例如，笔、投影仪、椅子等)。然后，合成处理器可以比较从其他装置接收到的信息，以标识图像之间的共同特征点，并以此方式在生成slam地图时使用共同识别的对象作为参考点。
[0062]
在框1004，slam地图信息600至800由合成处理器生成。在框1006处，使用以上示例原理来确定装置的位置，并且基于装置位置和聚合的slam地图的参考位置，如上所述生成聚合的slam地图900。
[0063]
在另一实施方案中，可以使用以上原理来执行合成3d slam地图构建，除了代替使用多个相机，在单个位置使用单个相机生成3d图像，然后将其移动到其他位置以生成同一对象的其他3d图像，同时将各种图像拼接在一起。
[0064]
图11示出了对等(p2p)架构，其中每个相机承载装置1100、1102(诸如vr/ar头戴式耳机)从空间中的其他装置1102、1100中的每一个接收区域特征和描述符信息以生成合成
slam地图，并将其输出到相应的显示器1104、1106。另一方面，图12示出了基站实现的架构，其中每个相机承载装置1200(诸如vr/ar头戴式耳机)将其特征点信息输出到基站计算机1202，诸如计算机游戏控制台或另一装置，该基站计算机生成合成slam地图并将其输出到显示器1204(诸如图1所示的avd 12)上。再一次，图13示出了云架构，其中每个相机承载装置1300(诸如vr/ar头戴式耳机)将其特征点信息输出到云服务器1304，该云服务器生成复合slam地图并将其输出到一个或多个显示器1302，诸如图1所示的每个头戴式耳机或avd 12的视频显示器。
[0065]
图14示出了上面参考图3所讨论的用于对复合slam地图中的盲点成像的原理，该盲点可能已经基于在盲点所包围的区域中没有出现特征点而被如此标识。显示器1400(诸如与本文描述的任何头戴式耳机相关联的显示器)可以用于在正在玩的计算机游戏的背景下或在设置模式下呈现消息1402，该消息导致头戴式耳机的佩戴者转动到盲点的方向，以便使头戴式耳机上的相机对盲点成像。可以呈现用于该效果的显式视频和/或听觉和/或触觉消息1404。在该示例中，假定盲点在被用消息通知的玩家的右侧。因此，可以使用引导玩家向右看的文本消息或视觉图形，和/或3d音频也可以用于向玩家呈现音频，就好像来自玩家的右侧，以引导玩家向右看音频的明显来源。头戴式耳机框架的右侧部分上生成的振动也可以用于引导玩家向右看。
[0066]
与上述原理一致，也可以在显示器1400上呈现合成slam地图1406。在所示的示例中，示出了头戴式耳机的佩戴者的位置，房间中有名为“鲍勃”的另一玩家和真实世界的桌子，后者可以帮助佩戴者避免绊到桌子。
[0067]
因此，通过引导头戴式耳机的玩家/佩戴者通过计算机游戏转动到盲点方向，即使佩戴者的相机是已经对slam的对象成像的唯一相机，其他人的头戴式耳机/系统仍然可以经由包含新发现的(多个)对象的合成slam地图被告知在盲点中发现的对象。
[0068]
除上述之外，为了知道从不同的角度对同一特征点进行成像，本文公开的一个或多个装置可以向特征点发送声音并检测来自特征点的回波，从而对其进行定位。或者，可以对另一个玩家进行成像从而记录该对象，从而可以知道另一玩家生成的图像中的特征点。当玩家进入已经绘图的房间时，可以立即标识特征点。
[0069]
也可以采用红外(ir)信号，其中每个特征点潜在地生成自己的ir签名。例如，第一装置可以将ir光引导朝向特征点，例如，识别特征点之后。然后，第二装置可以对相同的特征点进行成像，并将其确认/识别为同一对象，以便基于检测到的ir光在slam地图生成和聚合中使用。这可以基于与第一装置的通信以知道ir光正在从某个特征点反射回来，并且可以基于自身检测到ir光/特征点以外的特征，从而利用来自第二装置的图像中所示的ir光将该特征点标识为与来自第一装置的特征点相同。
[0070]
如上所述，可以跟踪玩家。如果玩家可能撞到对象/特征点或其他玩家(如例如可能在使用房间的slam表示并由该房间中的两个用户共享的vr体验期间发生的那样)，可能会发生警告。
[0071]
通过合成slam地图信息的环闭合的上述原理减少了slam地图构建中的错误。过滤器也可以用来补偿误差。对于上述的初始玩家定位，可以指示每个玩家转动完整的360度圆以对空间进行成像。也可以使用视觉几何形状、gps和运动传感器(诸如陀螺仪和加速度计)。
[0072]
在严格的计算机游戏之外的数字展览品也可以实现当前的原则，诸如数字博物馆展览品。同样地，无人机和机器人(不仅是头戴式耳机)可以实现上述部件。可以采用远程云计算来执行环闭合，对于具有不同纵横比的相机，可以使用处理器对图像进行规范化并将其转换为共享的纵横比。
[0073]
尽管在此详细示出和描述了特定的技术和机器，但是应理解，本发明所包含的主题仅由权利要求限制。