使用深度图像的三维定位的制作方法

1.本公开涉及使用光深度图像的三维定位。


背景技术：

2.摄像机可以用于捕获图像(例如视频帧)，这些图像可以使用计算机视觉算法进行处理来用于诸如对象检测和跟踪或面部识别之类的应用。


技术实现要素：

3.本文公开了使用光深度图像的三维定位的实施方式。
4.在第一方面，本说明书中描述的主题可以体现在方法中，上述方法包括：访问光深度图像，其中，光深度图像包括深度通道和一个或多个光通道，深度通道表示从图像捕获设备观看到的场景中的对象的距离，上述一个或多个光通道表示来自从图像捕获设备观看到的场景中的对象表面的光，上述一个或多个光通道在时间和空间上与深度通道同步；基于光深度图像确定场景的特征集，其中，基于深度通道和一个或多个光通道中的至少一个光通道确定特征集；访问地图数据结构，地图数据结构包括基于空间中的对象的光数据和位置数据的特征；将场景的特征集与地图数据结构的特征子集进行匹配；基于将场景的特征集与地图数据结构的特征子集进行匹配，确定图像捕获设备相对于空间中的对象的位置。
5.在第二方面，本说明书中描述的主题可以体现在系统中，上述系统包括：超半球形不可见光投影仪、超半球形不可见光传感器、超半球形可见光传感器、以及处理装置，该处理装置用于：访问使用超半球形不可见光传感器和超半球形可见光传感器捕获的光深度图像，其中，光深度图像包括深度通道和一个或多个光通道，深度通道表示从包括超半球形不可见光传感器和超半球形可见光传感器的图像捕获设备观看到的场景中的对象的距离，上述一个或多个光通道表示来自从图像捕获设备观看到的场景中的对象表面的光，上述一个或多个光通道在时间和空间上与深度通道同步；基于光深度图像确定场景的特征集，其中，基于深度通道和一个或多个光通道中的至少一个光通道确定特征集；访问地图数据结构，地图数据结构包括基于空间中的对象的光数据和位置数据的特征；将场景的特征集与地图数据结构的特征子集进行匹配；基于将场景的特征集与地图数据结构的特征子集进行匹配，确定图像捕获设备相对于空间中的对象的位置。
6.在第三方面，本说明书中描述的主题可以体现在方法中，上述方法包括：访问光深度图像，其中，光深度图像包括深度通道和一个或多个光通道，深度通道表示从图像捕获设备观看到的场景中的对象的距离，上述一个或多个光通道表示来自从图像捕获设备观看到的场景中的对象表面的光，上述一个或多个光通道在时间和空间上与深度通道同步；基于光深度图像确定场景的特征集，其中，基于深度通道和一个或多个光通道中的至少一个光通道确定特征集；访问目标对象数据结构，目标对象数据结构包括基于目标对象的光数据和位置数据的特征；将场景的特征集与目标对象数据结构的特征进行匹配；基于将场景的特征集与目标对象数据结构的特征进行匹配，确定目标对象相对于图像捕获设备的位置。
附图说明
7.在结合附图阅读时可以从以下具体实施方式更好地理解本公开。需要强调，按照惯例，附图的各种特征并非按比例绘制。相反，为了清楚起见，各种特征的尺寸被任意放大或缩小。
8.图1示出了根据本公开的用于数字计算和电子通信的用户设备的示例。
9.图2示出了根据本公开的用于鱼眼不可见光深度检测的系统的框图。
10.图3示出了根据本公开的半球形鱼眼不可见光深度检测设备的示例的示意图。
11.图4示出了根据本公开的半球形鱼眼不可见光深度检测设备的另一示例的示意图。
12.图5示出了根据本公开的半球形鱼眼不可见光投影单元的示例的示意图。
13.图6示出了根据本公开的半球形鱼眼不可见光检测单元的示例的示意图。
14.图7示出了根据本公开的半球形鱼眼不可见泛光投影单元的示例的示意图。
15.图8示出了根据本公开的球形鱼眼不可见光深度检测设备的示例的示意图。
16.图9示出了根据本公开的球形鱼眼不可见光深度检测设备的另一示例的示意图。
17.图10示出了根据本公开的球形鱼眼不可见光投影单元的示例的示意图。
18.图11示出了根据本公开的球形鱼眼不可见光检测单元的示例的示意图。
19.图12示出了根据本公开的鱼眼不可见光深度检测的示例的示意图。
20.图13是用于使用光深度图像的三维定位的系统的示例的框图。
21.图14是用使用设备捕获的光深度图像对设备进行三维定位的过程的示例的流程图。
22.图15是基于定位数据生成路线的过程的示例的流程图。
23.图16是使用光深度图像对对象进行三维定位的过程的示例的流程图。
24.图17a是用于捕获光深度图像的系统的示例的框图。
25.图17b是用于捕获光深度图像的系统的示例的框图。
具体实施方式
26.诸如摄像机之类的光传感器可以用于多种目的，包括捕获图像或视频、对象检测和跟踪、面部识别等。广角或超广角镜头(例如鱼眼镜头)使摄像机能够捕获全景或半球形场景。沿光轴的相反方向布置的双鱼眼镜头摄像机使摄像机设备能够捕获球形图像。
27.在一些系统中，诸如摄像机之类的可见光传感器用于确定对应于摄像机设备与所捕获的场景中各个外部对象之间的距离的深度信息。例如，一些摄像机实现了立体视觉或双目深度检测，其中，评估由空间上分离的多个摄像机捕获的多个重叠图像，以基于图像捕获的内容之间的差异确定深度。包括多个摄像机和计算成本在内的资源成本可能很高，并且双目深度检测的精度可能受到限制。摄像机的三维深度检测能力可能受限于各个视场。
28.球形或半球形不可见光深度检测可以通过以下方式提高非半球形深度检测和可见光深度检测的精度和效率：投射诸如红外光之类的不可见光、球形或半球形静态点云图案，使用球形或半球形不可见光检测器检测反射的不可见光，并基于对应于投射的静态点云图案的接收到的光的函数确定三维深度。
29.表示用户设备的操作环境的三维地图或模型可以用于例如增强现实或虚拟现实
实现。生成使用由具有有限视场(例如直线视场或小于半球形的视场)的摄像机捕获的图像生成的三维地图或模型可能是低效且不准确的。例如，使用由具有有限视场(例如直线视场或小于半球形的视场)的摄像机捕获的图像生成三维地图或模型可以包括：使用多个图像捕获单元或随时间在一系列位置中(例如手动)放置图像捕获单元来生成多个图像，并且合并这多个图像以低效且不准确地生成模型。
30.使用超半球形(例如半球形或球形)可见光深度图像的三维建模(可以包括鱼眼深度检测)相对于基于有限图像(例如直线图像或小于超半球形的图像)的三维建模可以提高三维建模的效率、速度、精度。使用超半球形可见光深度图像的三维建模可以使用更少的图像并且可以包括更少的图像拼接操作。使用超半球形(例如半球形或球形)可见光深度图像的三维建模可以提高每个图像的特征信息的有效性。
31.当一个人需要在不熟悉的地方(例如大型购物中心、停车场、或机场)在紧急情况下找到其位置(例如找到离开着火建筑物的最安全且最短的路线)时，或者当一个人需要快速定位物品(例如杂货店中的商品或房间中的个人物品)时，可以使用三维定位。另一方面，目前的鱼眼摄像机具有超广角摄像头用于创建宽全景或超半球形图像，但不能有效地获取周围对象的深度信息。本文描述了用于使用鱼眼深度摄像机进行快速且准确的三维定位的技术的系统和方法。
32.所提出的鱼眼深度摄像机具有比当前深度摄像机更大的视场，并且其可以帮助快速扫描真实3d环境并将其重建为增强现实和/或虚拟现实的虚拟模型用于定位。一些示例可以包括定位诸如机场、停车场、火车站、或大型购物中心之类的建筑物中的位置。通过大型建筑物的预先重建的3d虚拟模型，鱼眼深度摄像机可以帮助快速定位一个人的位置并且帮助其导航。鱼眼深度摄像机用作设备的3d激光扫描仪。因为景观可能会发生重大变化，所以此应用在紧急情况下非常有用。紧急情况包括诸如火灾、地震、洪涝之类的自然灾害，诸如人群、车辆之类的人为因素，以及诸如杀手所在位置之类的其他危险因素。例如，一个人在着火的建筑物中。鱼眼深度摄像头可以快速定位用户位置，将周围环境更新到公共共享虚拟模型中，并找到离开建筑物的最安全且最短的路线。这里，通过更新公共共享虚拟模型，人们可以更好地了解全局，避免在尝试不安全或阻塞的路线上浪费时间。其他应用可以包括定位杂货店或购物中心中的商品或定位个人物品。
33.虽然结合了某些实施例描述了本公开，但是应理解，本公开不限于所公开的实施例，相反地，旨在涵盖包括在所附权利要求的范围内的各种修改和等效布置，该范围应给予最广义的解释，以涵盖法律允许的所有此类修改和等效结构。
34.图1示出了根据本公开的用于数字计算和电子通信的用户设备1000的示例。用于数字计算和电子通信的用户设备1000包括电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感器单元1400、人机界面单元1500、电源单元1600、以及内部信号分配单元1700。用于数字计算和电子通信的用户设备1000可以实现所描述的方法和系统的一个或多个方面或元素。在一些实施例中，用于数字计算和电子通信的用户设备1000可以包括图1中未示出的其他组件。例如，用于数字计算和电子通信的用户设备1000可以包括壳体或外壳，在壳体中可以包括电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感器单元1400、人机界面单元1500、电源单元1600、内部信号分配单元1700或其组合。
35.虽然图1将电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感
器单元1400、人机界面单元1500、电源单元1600、以及内部信号分配单元1700中的每个示为各个单独的单元，但用于数字计算和电子通信的用户设备1000可以包括任意数量的电子处理单元、电子通信接口单元、数据存储单元、传感器单元、人机界面单元、电源单元、以及内部信号分配单元。
36.电子处理单元1100或处理器可用于接收数据、处理、以及输出数据。例如，电子处理单元1100可以从数据存储单元1300、传感器单元1400、电子通信接口单元1200、人机界面单元1500或其组合接收数据。接收数据可以包括接收计算机指令，例如通过内部信号分配单元1700存储在数据存储单元1300中的计算机指令。处理数据可以包括处理或执行计算机指令，例如实现或执行本文所公开的技术的一个或多个元素或方面。电子处理单元可以通过内部信号分配单元1700将数据输出到数据存储单元1300、传感器单元1400、电子通信接口单元1200、人机界面单元1500或其组合。电子处理单元1100可用于控制用于数字计算和电子通信的用户设备1000的一个或多个操作。
37.电子通信接口单元1200可以使用有线或无线电子通信协议，例如近场通信(near field communication，nfc)电子通信协议、蓝牙电子通信协议、802.11电子通信协议、红外(infrared，ir)电子通信协议、或任何其他电子通信协议与外部设备或系统进行通信，例如接收和/或发送诸如数据信号之类的信号。
38.数据存储单元1300可以存储数据和/或检索数据。例如，数据存储单元1300可以检索计算机指令和其他数据。数据存储单元1300可以包括持久性存储器，例如硬盘驱动器。数据存储单元1300可以包括易失性存储器，例如一个或多个随机存取存储器单元。
39.传感器单元1400可以捕获、检测、或确定用于数字计算和电子通信的用户设备1000的操作环境的一个或多个方面。例如，传感器单元1400可以包括一个或多个摄像机或其他可见光或不可见光检测和捕获单元。传感器单元1400可以向内部信号分配单元1700、电源单元1600、数据存储单元1300、电子处理单元1100、电子通信接口单元1200、人机界面单元1500或其组合传送传感器信号，例如捕获的图像数据，这些传感器信号表示用于数字计算和电子通信的用户设备1000的操作环境的感测方面。在一些实施例中，用于数字计算和电子通信的用户设备1000可以包括多个传感器单元，例如摄像头、麦克风、红外接收器、全球定位系统单元、陀螺仪传感器、加速度计、压力传感器、电容传感器、生物识别传感器、磁力计、雷达单元、激光雷达单元、超声波单元、温度传感器、或者能够捕获、检测、或确定用于数字计算和电子通信的用户设备1000的操作环境的一个或多个方面或条件的任何其他传感器。
40.人机界面单元1500可以接收用户输入。人机界面单元1500可以将表示用户输入的数据传送到内部信号分配单元1700、电源单元1600、数据存储单元1300、电子处理单元1100、传感器单元1400、电子通信接口单元1200或其组合。人机界面单元1500可以例如向用于数字计算和电子通信的用户设备1000的用户输出、呈现、或显示数据或其表示。例如，人机界面单元1500可以包括基于光的显示、基于声音的显示或其组合。
41.电源单元1600可以例如通过内部信号分配单元1700或通过内部功率信号分配单元(未单独示出)向内部信号分配单元1700、数据存储单元1300、电子处理单元1100、传感器单元1400、电子通信接口单元1200、以及人机界面单元1500供电。例如，电源单元1600可以是电池。在一些实施例中，电源单元1600可以包括与外部电源的接口。
42.内部信号分配单元1700可以将内部数据信号和/或功率信号携带或分配到例如电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感器单元1400、人机界面单元1500、电源单元1600或其组合。
43.可以使用用于数字计算和电子通信的用户设备1000的配置的其他实施方式。例如，用于数字计算和电子通信的用户设备1000可以省略电子通信接口单元1200。
44.图2示出了根据本公开的用于鱼眼不可见光深度检测的系统2000的框图。如图所示，用于鱼眼不可见光深度检测的系统2000包括用户设备2100，例如图1所示的用于数字计算和电子通信的用户设备1000。在图2中，用户设备2100示为与外部设备2200电子通信，如2300处的虚线所示。除非本文所述或从上下文中另有明确说明，外部设备2200可以类似于图1所示的用于数字计算和电子通信的用户设备1000。在一些实施例中，外部设备2200可以是服务器或其他基础设施设备。
45.用户设备2100可以通过有线或无线电子通信介质2400直接与外部设备2200通信。用户设备2100可以通过网络2500(例如互联网)或通过组合网络(未单独示出)直接与外部设备2200通信。例如，用户设备2100可以使用第一网络通信链路2600通过网络2500进行通信，外部设备可以使用第二网络通信链路2610通过网络2500进行通信。
46.图3示出了根据本公开的半球形鱼眼不可见光深度检测设备3000的示例的示意图。除非本文所述或从上下文中另有明确说明，半球形鱼眼不可见光深度检测设备3000或鱼眼深度摄像机可以类似于用户设备，例如图1所示的用于数字计算和电子通信的用户设备1000。半球形鱼眼不可见光深度检测设备3000可以是鱼眼摄像机，其为超广角摄像机，可以捕获全景或半球形图像。半球形鱼眼不可见光深度检测设备3000可以是深度摄像机，其可以捕获或确定捕获场景的深度信息。
47.半球形鱼眼不可见光深度检测设备3000包括设备外壳3100、半球形鱼眼不可见光投影单元3200、以及鱼眼不可见光检测单元3300。
48.半球形鱼眼不可见光投影单元3200可以是鱼眼红外点阵投影仪。如从半球形鱼眼不可见光投影单元3200的表面延伸的方向线3210所示，半球形鱼眼不可见光投影单元3200可以投射或发射诸如静态点云图案之类的点阵图案的不可见光，例如红外光。为了简单和清楚，虽然示出了从半球形鱼眼不可见光投影单元3200的表面延伸的五个方向线3210，但半球形鱼眼不可见光投影单元3200可以具有纵向360度和横向180度或更大(例如183度)的投影场。图5中示出了半球形鱼眼不可见光投影单元3200的示例。在一些实施例中，例如全景实施例中，纵向场可以小于360度。
49.鱼眼不可见光检测单元3300可以是鱼眼红外摄像机。鱼眼不可见光检测单元3300可以检测或接收不可见光，例如会聚在鱼眼不可见光检测单元3300表面上的如方向线3310所示的红外光。例如，鱼眼不可见光检测单元3300可以接收半球形鱼眼不可见光投影单元3200以静态点云图案发射并由环境方面(例如鱼眼不可见光检测单元3300的视场中的对象)反射到鱼眼不可见光检测单元3300的不可见光。为了简单和清楚，虽然示出了会聚在鱼眼不可见光检测单元3300的表面上的五个方向线3210，但鱼眼不可见光检测单元3300可以具有纵向360度和横向180度或更大(例如183度)的视场。图6示出了鱼眼不可见光检测单元3300的示例。
50.半球形鱼眼不可见光深度检测设备3000可以通过使用半球形鱼眼不可见光投影
单元3200发射静态点云图案的不可见光并使用鱼眼不可见光检测单元3300检测相应的反射的不可见光(检测到的反射的不可见光)来执行鱼眼不可见光深度检测。
51.例如，图3示出了例如在半球形鱼眼不可见光投影单元3200的投影场和鱼眼不可见光检测单元3300的视场内，半球形鱼眼不可见光深度检测设备3000的环境中的外部对象3400。如3212处的方向线所示，不可见光可以由半球形鱼眼不可见光投影单元3200向外部对象3400发射。如3312处的方向线所示，不可见光可以由外部对象3400的表面向鱼眼不可见光检测单元3300反射，并且可以由鱼眼不可见光检测单元3300捕获或记录。
52.图4示出了根据本公开的半球形鱼眼不可见光深度检测设备4000的另一示例的示意图。除非本文所述或从上下文中另有明确说明，半球形鱼眼不可见光深度检测设备4000可以类似于图3所示的半球形鱼眼不可见光深度检测设备3000。
53.半球形鱼眼不可见光深度检测设备4000包括设备外壳4100、半球形鱼眼不可见光投影单元4200、半球形鱼眼不可见光检测单元4300、以及半球形鱼眼不可见泛光投影单元4400。
54.除非本文所述或从上下文中另有明确说明，设备外壳4100可以类似于图3所示的设备外壳3100。除非本文所述或从上下文中另有明确说明，半球形鱼眼不可见光投影单元4200可以类似于图3所示的半球形鱼眼不可见光投影单元3200。除非本文所述或从上下文中另有明确说明，半球形鱼眼不可见光检测单元4300可以类似于图3所示的鱼眼不可见光检测单元3300。
55.除非本文所述或从上下文中另有明确说明，半球形鱼眼不可见泛光投影单元4400或红外泛光照射器可以类似于图3所示的半球形鱼眼不可见光投影单元3200。如从半球形鱼眼不可见泛光投影单元4400的表面延伸的弧线所示，半球形鱼眼不可见泛光投影单元4400可以发出漫射、均匀的不可见光场，例如红外光。半球形鱼眼不可见泛光投影单元4400发射的不可见光的漫射场可以不可见地照射半球形鱼眼不可见光深度检测设备4000的环境，可以包括照射靠近半球形鱼眼不可见光深度检测设备4000的外部对象。
56.半球形鱼眼不可见光检测单元4300可以接收由半球形鱼眼不可见泛光投影单元4400发射并由半球形鱼眼不可见光深度检测设备4000的环境中的外部对象反射的不可见光，例如用于面部识别方法的活体测试部分或同时定位和映射(simultaneous localization and mapping，slam)方法的特征提取部分。基于从半球形鱼眼不可见泛光投影单元4400发射的经反射的接收到的不可见光的深度检测可能不准确和/或低效。
57.图5示出了根据本公开的半球形鱼眼不可见光投影单元5000的示例的示意图。鱼眼不可见光深度检测设备(例如图3所示的半球形鱼眼不可见光深度检测设备3000或图4所示的半球形鱼眼不可见光深度检测设备4000)可以包括半球形鱼眼不可见光投影单元5000。例如，图3所示的半球形鱼眼不可见光深度检测设备3000的半球形鱼眼不可见光投影单元3200可以实现为半球形鱼眼不可见光投影单元5000。
58.半球形鱼眼不可见光投影单元5000包括外壳5100、不可见光源5200、一个或多个透镜5300、以及衍射光学元件(diffractive optical element，doe)5400。半球形鱼眼不可见光投影单元5000具有光轴，如5500处的虚线所示。
59.不可见光源5200可以是红外光源，例如垂直腔面发射激光器(vertical cavity surface emitting laser，vcsel)。由不可见光源5200产生的不可见光被透镜5300折射以
形成纵向360度和横向180度或更大(例如183度)的投影场。形成投影场的不可见光被衍射光学元件5400校准以形成静态点云图案，如5600处的点线弧线所示。示例光路的指示由从不可见光源5200延伸穿过透镜5300并且穿过衍射光学元件5400并从衍射光学元件5400延伸的方向线表示。在一些实施例中，衍射光学元件5400可以省略，半球形鱼眼不可见光投影单元5000可以包括点云掩模，该点云掩模可以从由不可见光源5200产生并由透镜5300折射的不可见光形成静态点云图案。
60.在示例中，不可见光源5200可以是红外光源，该红外光源可以产生具有限定波长(例如940nm)的红外光(光子)。具有940nm波长的红外光可以被大气中的水吸收，使用具有940nm波长的红外光可以例如在室外条件下提高鱼眼不可见光深度感知的性能和精度。可以使用其他波长(例如850nm)或其他红外或近红外波长(例如0.75μm至1.4μm范围内的波长)。在本文中，940nm的限定波长可以表示光在940nm附近窄幅传播。使用940nm的限定波长的光可以降低资源成本并减少相对于可见光的色差。
61.不可见光源5200在平面内产生不可见光，透镜5300和衍射光学元件5400的组合将不可见光源5200发射的光映射到球形分布的静态点云图案。
62.为了简单和清楚，示出了图5所示的透镜5300的数量和配置。可以使用其他数量和配置的透镜。透镜5300的光学结构(例如这些透镜5300的相应形状和/或材料)根据不可见光源5200产生的不可见光的折射率进行优化。
63.图6示出了根据本公开的半球形鱼眼不可见光检测单元6000的示例的示意图。鱼眼不可见光深度检测设备(例如图3所示的半球形鱼眼不可见光深度检测设备3000或图4所示的半球形鱼眼不可见光深度检测设备4000)可以包括半球形鱼眼不可见光检测单元6000。例如，图3所示的半球形鱼眼不可见光深度检测设备3000的鱼眼不可见光检测单元3300可以实现为半球形鱼眼不可见光检测单元6000。
64.半球形鱼眼不可见光检测单元6000包括外壳6100、不可见光通过滤光片6200、一个或多个透镜6300、以及不可见光接收器6400。半球形鱼眼不可见光检测单元6000具有如6500处的虚线所示的光轴和以光轴6500为中心的纵向360度和横向180度或更大的视场(未示出)。
65.不可见光通过滤光片6200可以接收光(可以包括不可见光，例如红外光)。例如，不可见光通过滤光片6200可以接收来自从不可见光投影单元(例如图5所示的半球形鱼眼不可见光投影单元5000)发射之后由邻近外部对象(未示出)反射的静态点云图案的红外光。
66.不可见光通过滤光片6200接收的光由不可见光通过滤光片6200进行滤光以去除可见光并通过不可见光。通过不可见光通过滤光片6200的不可见光由透镜6300聚焦在不可见光接收器6400上。不可见光通过滤光片6200和透镜6300的组合将半球形鱼眼不可见光检测单元6000的半球形视场映射到不可见光接收器6400的平面上。不可见光接收器6400可以是红外光接收器。
67.为了简单和清楚，示出了图6所示的透镜6300的数量和配置。可以使用其他数量和配置的透镜。透镜6300的光学结构(例如这些透镜6300的相应形状和/或材料)根据不可见光接收器6400接收的不可见光的折射率进行优化。
68.图7示出了根据本公开的半球形鱼眼不可见泛光投影单元7000的示例的示意图。鱼眼不可见光深度检测设备(例如图3所示的半球形鱼眼不可见光深度检测设备3000或图4
所示的半球形鱼眼不可见光深度检测设备4000)可以包括半球形鱼眼不可见泛光投影单元7000。例如，图4所示的半球形鱼眼不可见光深度检测设备4000的半球形鱼眼不可见泛光投影单元4400可以实现为半球形鱼眼不可见泛光投影单元7000。
69.半球形鱼眼不可见泛光投影单元7000包括外壳7100、不可见光源7200、以及一个或多个透镜7300。半球形鱼眼不可见泛光投影单元7000具有如7400处的虚线所示的光轴。示例光路的指示由从不可见光源7200延伸穿过透镜7300并从透镜7300延伸的方向线表示。
70.图8示出了根据本公开的球形鱼眼不可见光深度检测设备8000的示例的示意图。除非本文所述或从上下文中另有明确说明，球形鱼眼不可见光深度检测设备8000或鱼眼深度摄像机可以类似于图3所示的半球形鱼眼不可见光深度检测设备3000。球形鱼眼不可见光深度检测设备8000可以是双鱼眼摄像机，其为全向摄像机，可以捕获全景或球形图像。球形鱼眼不可见光深度检测设备8000可以是深度摄像机，其可以捕获或确定捕获场景的深度信息。
71.球形鱼眼不可见光深度检测设备8000包括设备外壳8100、第一半球形鱼眼不可见光投影单元8200、第二半球形鱼眼不可见光投影单元8210、第一半球形鱼眼不可见光检测单元8300、以及第二半球形鱼眼不可见光检测单元8310。
72.在一些实施例中，第一半球形鱼眼不可见光投影单元8200可以是球形鱼眼不可见光投影单元的第一部分，第二半球形鱼眼不可见光投影单元8210可以是球形鱼眼不可见光投影单元的第二部分。图10示出了球形鱼眼不可见光投影单元的示例。
73.在一些实施例中，第一半球形鱼眼不可见光检测单元8300可以是球形鱼眼不可见光检测单元的第一部分，第二半球形鱼眼不可见光检测单元8310可以是球形鱼眼不可见光检测单元的第二部分。图11示出了球形鱼眼不可见光检测单元的示例。
74.除非本文所述或从上下文中另有明确说明，第一半球形鱼眼不可见光投影单元8200可以类似于图3所示的半球形鱼眼不可见光投影单元3200。除非本文所述或从上下文中另有明确说明，第二半球形鱼眼不可见光投影单元8210可以类似于图3所示的半球形鱼眼不可见光投影单元3200。
75.第一半球形鱼眼不可见光投影单元8200的投影场由8400处的点划线弧线表示。第二半球形鱼眼不可见光投影单元8210的投影场由8410处的点线弧线表示。第一半球形鱼眼不可见光投影单元8200的投影场可以与第二半球形鱼眼不可见光投影单元8210的投影场部分重叠以形成组合的360度全向投影场。第一半球形鱼眼不可见光投影单元8200和第二半球形鱼眼不可见光投影单元8210可以共同投射或发射360度全向静态点云图案。
76.在一些实施例中，由第一半球形鱼眼不可见光投影单元8200投射的全向静态点云图案的半球形部分的一部分可以与由第二半球形鱼眼不可见光投影单元8210投射的全向静态点云图案的半球形部分的一部分重叠，如8500所示。为了避免重叠部分中各自投射的静态点云图案之间的模糊或冲突，由第一半球形鱼眼不可见光投影单元8200投射的全向静态点云图案的半球形部分可以不同于由第二半球形鱼眼不可见光投影单元8210投射的全向静态点云图案的半球形部分。例如，由第一半球形鱼眼不可见光投影单元8200投射的全向静态点云图案的半球形部分可以使用不可见光的圆形点，由第二半球形鱼眼不可见光投影单元8210投射的全向静态点云图案的半球形部分可以使用不可见光的方形点。在另一示例中，各个半球形鱼眼不可见光投影单元8200、8210的光投射可以是时分双工复用的。可以
使用其他复用技术。
77.第一半球形鱼眼不可见光检测单元8300的视场可以与第二半球形鱼眼不可见光检测单元8310的视场部分重叠，以形成360度全向组合视场。第一半球形鱼眼不可见光检测单元8300和第二半球形鱼眼不可见光检测单元8310可以共同接收或检测对应于360度全向静态点云图案的反射光，例如由第一半球形鱼眼不可见光投影单元8200和第二半球形鱼眼不可见光投影单元8210投射的360度全向静态点云图案。
78.图9示出了根据本公开的球形鱼眼不可见光深度检测设备9000的另一示例的示意图。除非本文所述或从上下文中另有明确说明，球形鱼眼不可见光深度检测设备9000可以类似于图9所示的球形鱼眼不可见光深度检测设备9000。
79.球形鱼眼不可见光深度检测设备9000包括设备外壳9100、第一半球形鱼眼不可见光投影单元9200、第二半球形鱼眼不可见光投影单元9210、第一半球形鱼眼不可见光检测单元9300、第二半球形鱼眼不可见光检测单元9310、第一半球形鱼眼不可见泛光投影单元9400、以及第一半球形鱼眼不可见泛光投影单元9410。
80.图10示出了根据本公开的球形鱼眼不可见光投影单元10000的示例的示意图。球形或全向鱼眼不可见光深度检测设备(例如图8所示的球形鱼眼不可见光深度检测设备8000或图9所示的球形鱼眼不可见光深度检测设备9000)可以包括球形鱼眼不可见光投影单元10000。例如，图8所示的球形鱼眼不可见光深度检测设备8000的第一半球形鱼眼不可见光投影单元8200和第二半球形鱼眼不可见光投影单元8210可以实现为球形鱼眼不可见光投影单元10000。
81.球形鱼眼不可见光投影单元10000包括外壳10100、不可见光源10200、一个或多个第一透镜10300、反射镜10400、第一半球形部分10500、以及第二半球形部分10600。不可见光源10200和第一透镜10300沿第一轴10700定向。
82.第一半球形部分10500包括一个或多个第二透镜10510和第一衍射光学元件10520。第二半球形部分10600包括一个或多个第三透镜10610和第二衍射光学元件10620。第一半球形部分10500和第二半球形部分10600沿如10800处的虚线所示的光轴定向。
83.由不可见光源10200沿第一轴10700投射的不可见光由反射镜10400分别引导(例如分离和反射)至第一半球形部分10500和第二半球形部分10600。由不可见光源10200发射并由反射镜10400分别引导至第一半球形部分10500和第二半球形部分10600的不可见光分别由透镜10510、10610折射，以形成纵向360度和横向360度的组合投影场。形成投影场的不可见光由相应的衍射光学元件10520、10620校准以形成静态点云图案。相应的示例光路由从不可见光源10200延伸，穿过透镜10300，由反射镜10400引导，穿过透镜10510、10610，穿过衍射光学元件10520、10620，并从衍射光学元件10520、10620延伸的方向线表示。
84.不可见光源10200在平面内产生不可见光，透镜10300、10510、10610、反射镜10400、以及衍射光学元件10520、10620的组合将不可见光源10200发射的光映射到球形分布的静态点云图案。
85.图11示出了根据本公开的球形鱼眼不可见光检测单元11000的示例的示意图。球形或全向鱼眼不可见光深度检测设备(例如图8所示的球形鱼眼不可见光深度检测设备8000或图9所示的球形鱼眼不可见光深度检测设备9000)可以包括球形鱼眼不可见光检测单元11000。例如，图8所示的球形鱼眼不可见光深度检测设备8000的第一半球形鱼眼不可
见光检测单元8300和第二半球形鱼眼不可见光检测单元8310可以实现为球形鱼眼不可见光检测单元11000。
86.球形鱼眼不可见光检测单元11000包括外壳11100、第一半球形部分11200、第二半球形部分11300、反射镜11400、一个或多个第一透镜11500、以及不可见光接收器11600。不可见光接收器11600和第一透镜11500沿第一轴11700定向。
87.第一半球形部分11200包括一个或多个第二透镜11210和第一不可见光通过滤光片11220。第二半球形部分11300包括一个或多个第三透镜11310和第二不可见光通过滤光片11320。第一半球形部分11200和第二半球形部分11300沿如11800处的虚线所示的光轴定向。
88.不可见光通过滤光片11220、11320可以接收光(可以包括不可见光，例如红外光)。例如，不可见光通过滤光片11220、11320可以接收来自从不可见光投影单元(例如图10所示的球形鱼眼不可见光投影单元10000)发射之后由邻近外部对象(未示出)反射的静态点云图案的红外光。
89.不可见光通过滤光片11220、11320接收的光由不可见光通过滤光片11220、11320进行滤光以去除可见光并通过不可见光。通过不可见光滤光片11220、11320的不可见光分别由第二和第三透镜11210、11310聚焦在反射镜11400上，并通过第一透镜11500引导至不可见光接收器11600。不可见光滤光片11220、11320、反射镜11400、以及透镜11210、11310、11500的组合将球形鱼眼不可见光检测单元11000的球形视场映射到不可见光接收器11600的平面上。
90.图12示出了根据本公开的鱼眼不可见光深度检测12000的示例的示意图。鱼眼不可见光深度检测12000可以在基于不可见光的深度检测设备中实现，例如在用户设备中实现，上述用户设备例如是图3所示的半球形鱼眼不可见光深度检测设备3000、图4所示的半球形鱼眼不可见光深度检测设备4000、图8所示的球形鱼眼不可见光深度检测设备8000、或图9所示的球形鱼眼不可见光深度检测设备9000。
91.鱼眼不可见光深度检测12000包括：在12100投射半球形或球形不可见光静态点云图案；在12200检测不可见光；在12300确定三维深度信息；在12400输出三维深度信息。
92.在12100投射半球形或球形不可见光静态点云图案包括：从不可见光源(例如图5所示的不可见光源5200或图10所示的不可见光源10200)发射不可见光，例如红外光。在一些实施例中，例如在球形实施例中，在12100投射半球形或球形不可见光静态点云图案包括：例如通过反射镜(例如图10所示的反射镜10400)将发射的不可见光引导至基于不可见光的深度检测设备的第一半球形部分(例如图10所示的第一半球形部分10500)和基于不可见光的深度检测设备的第二半球形部分(例如图10所示的第二半球形部分10600)。在12100投射半球形或球形不可见光静态点云图案包括：例如通过一个或多个透镜(例如图5所示的透镜5300或图6所示的透镜10300、10510、10610)折射发射的不可见光以形成半球形或球形投影场。在12100投射半球形或球形不可见光静态点云图案包括：例如通过衍射光学元件(例如图5所示的衍射光学元件5400或图6所示的衍射光学元件10520、10620)对半球形或球形投影场中的不可见光进行校准或滤光，以形成投射的半球形或球形不可见光静态点云图案。
93.投射的半球形或球形不可见光静态点云图案的不可见光点阵或其一部分可以由
基于不可见光的深度检测设备的环境中的一个或多个外部对象或其一部分反射至基于不可见光的深度检测设备。
94.在12200检测不可见光包括：接收光(包括在12100投射的经反射的不可见光)。在12200检测不可见光包括：例如通过不可见光通过滤光片(例如图6所示的不可见光通过滤光片6200或图11所示的不可见光通过滤光片11220、111320)对接收到的光进行滤光，以去除不可见光以外的光(例如可见光)并通过不可见光。在12200检测不可见光包括：使用一个或多个透镜(例如图6所示的透镜6300或图11所示的透镜11210、11310、11500)将接收到的不可见光聚焦在不可见光检测器(例如图6所示的不可见光接收器6400或图11所示的不可见光接收器11600)的平面表面上。在一些实施例中，例如在球形实施例中，接收到的光可以由基于不可见光的深度检测设备的第一半球形部分(例如图11所示的第一半球形部分11200)和基于不可见光的深度检测设备的第二半球形部分(例如图11所示的第二半球形部分11300)进行接收和滤光，由相应的半球形部分聚焦在反射镜(例如图11所示的反射镜11400)上，并由反射镜引导至不可见光接收器。
95.在12300确定三维深度信息可以包括：使用一个或多个映射函数确定相应的结果，其中，θ表示反射光点与摄像机光轴之间的弧度角，f表示镜头的焦距，r表示传感器上的检测到的光对应的径向位置，上述函数例如是等距映射函数(equidistant mapping function)(可以表示为r＝f
·
θ)、球极映射函数(stereographic mapping function)(可以表示为)、正射映射函数(orthographic mapping function)(可以表示为r＝f
·
sin(θ))、等立体映射函数(equisolid mapping function)(可以表示为)或任何其他半球形或球形映射函数。
96.虽然在本文基于结构光的鱼眼不可见光深度检测的上下文中描述了鱼眼不可见光深度检测，但也可以使用其他鱼眼不可见光深度检测技术，例如动态图案结构光深度检测和飞行时间(time of flight，tof)深度检测。在一些实施方式中，结构或动态光图案可以是点云图案、灰色/颜色编码光条纹图案等。
97.例如，鱼眼不可见光飞行时间深度检测可以包括：使用半球形鱼眼不可见泛光投影单元(例如图4所示的半球形鱼眼不可见泛光投影单元4400或图7所示的半球形鱼眼不可见泛光投影单元7000)投射半球形不可见光；或使用球形鱼眼不可见泛光投影单元投射球形不可见光；识别对应于投射不可见光的时间投影点；使用半球形鱼眼不可见光检测单元(例如图6所示的半球形鱼眼不可见光检测单元6000)或球形鱼眼不可见光检测单元(例如图11所示的球形鱼眼不可见光检测单元11000)接收反射的不可见光；确定对应于接收反射的不可见光的一个或多个时间接收点；基于时间投影点与时间接收点之间的差异确定深度信息。对应于检测或接收反射的不可见光的空间信息可以映射到鱼眼不可见光飞行时间深度检测单元的操作环境，对应于相应的空间位置的时间投影点与时间接收点之间的差异可以识别为对应空间点的深度信息。
98.在12400可以输出三维深度信息。例如，三维深度信息可以存储在数据存储单元中。在另一示例中，三维深度信息可以发送到设备的另一组件。
99.图13是用于使用光深度图像(例如包括一个或多个光通道和深度通道的图像)的三维定位的系统100的示例的框图。系统100包括用于捕获畸变光深度图像112的光深度传
感器110、用于对畸变光深度图像112应用透镜畸变校正处理以获得校正光深度图像122的透镜畸变校正模块120、以及用于确定指示包括光深度传感器110的设备的位置的设备坐标162和指示目标对象(例如用户的车辆或在商店出售的所需物品)的位置的对象坐标172的三维(three
‑
dimensional，3d)定位模块130。三维定位模块130可以包括特征提取模块140；特征匹配模块150、地点定位模块160、以及对象定位模块。例如，系统100可用于实现图14的过程200。例如，系统100可用于实现图16的过程400。例如，系统100可用于实现为图17a的系统500的一部分。例如，系统100可用于实现为图17b的系统530的一部分。
100.系统100包括光深度传感器110，光深度传感器110包括光传感器(例如用于感测三个颜色通道中的可见光的rgb图像传感器)和距离/深度传感器(例如具有用于使用结构光和/或飞行时间技术确定距离的不可见光传感器的不可见光投影仪)。例如，光深度传感器110可以包括一个或多个透镜，光深度传感器110检测到的光通过上述一个或多个透镜折射。例如，上述一个或多个透镜可以包括超半球形透镜(例如鱼眼镜头或球形透镜)。例如，光深度传感器110可以包括图3的半球形鱼眼不可见光深度检测设备3000。例如，光深度传感器110可以包括图4的半球形鱼眼不可见光深度检测设备4000。例如，光深度传感器110可以包括图5的半球形鱼眼不可见光投影单元5000。例如，光深度传感器110可以包括图6的半球形鱼眼不可见光检测单元6000。例如，光深度传感器110可以包括图7的半球形鱼眼不可见泛光投影单元7000。例如，光深度传感器110可以包括图8的球形鱼眼不可见光深度检测设备8000。例如，光深度传感器110可以包括图9的球形鱼眼不可见光深度检测设备9000。例如，光深度传感器110可以包括图10的球形鱼眼不可见光投影单元10000。例如，光深度传感器110可以包括和/或图11的球形鱼眼不可见光检测单元11000。光深度传感器110用于捕获畸变光深度图像112。
101.畸变光深度图像112包括深度通道，上述深度通道表示从光深度传感器观看到的场景中的对象的距离(例如使用结构光或飞行时间技术用光投影仪和光传感器的确定的距离)。畸变光深度图像112还包括一个或多个光通道(例如rgb、yuv或单个黑白亮度通道)，上述一个或多个光通道表示来自从图像捕获设备观看到的场景中的对象表面的光。上述一个或多个光通道基于对电磁光谱的各个波段中的光(例如可见光、红外光和/或其他不可见光)的检测。例如，上述一个或多个光通道可以在时间和空间上与深度通道同步(例如，这些光通道可以基于同时或几乎同时捕获的数据并且表示共同观看到的场景的不同属性)。在一些实施方式中，深度通道和上述一个或多个光通道通过应用变换以将深度通道的像素与一个或多个光通道的对应像素对齐而在空间上同步，其中用于深度传感器的光传感器与用于检测在一个或多个光通道中反射的光的光传感器偏移。例如，用于对齐来自光深度传感器110的不同组件传感器的图像通道中的像素的变换可以通过使用校准来足够精确地确定光深度传感器的拓扑以及组件传感器如何相对于彼此定向而确定。例如，在检测到的光通过光深度传感器110的透镜的折射导致捕获的图像与场景的直线投射的偏差的意义上，畸变光深度图像112可能是畸变的。
102.系统100包括透镜畸变校正模块120，透镜畸变校正模块120用于对畸变光深度图像112应用透镜畸变校正。例如，应用透镜畸变校正可以包括对畸变深度图像112应用非线性变换以获得校正光深度图像122。例如，可以基于用于折射畸变失真光深度图像112所基于的检测到的光的透镜(例如鱼眼镜头)的几何形状确定用于透镜畸变校正的变换。在一些
实施方式中，可以使用不同的透镜收集畸变光深度图像112的不同通道所基于的光，可以对畸变光深度图像112的各个通道应用与透镜关联的不同变换。例如，校正光深度图像可以是场景的直线投影。例如，透镜畸变校正模块120可以在基于光深度图像确定场景的特征集之前对光深度图像应用透镜畸变校正。
103.系统100包括三维定位模块130，三维定位模块130用于基于光深度图像确定包括光深度传感器110的设备的位置和/或目标对象相对于该设备的位置。三维定位模块130可以将校正光深度图像122作为输入并将其传递到特征提取模块140。特征提取模块140可以用于基于校正光深度图像122确定场景的特征集。在一些实施方式中，特征提取模块140可以包括卷积神经网络，并且可以用于将基于校正光深度图像122的数据(例如校正光深度图像122本身、校正光深度图像122的缩放版本、和/或从校正光深度图像122导出的其他数据)输入到卷积神经网络以获得场景的特征集。例如，场景的特征集可以包括响应于校正光深度图像122生成的卷积神经网络的激活(activation)。例如，卷积神经网络可以包括一个或多个卷积层、一个或多个池化层、和/或一个或多个全连接层。在一些实施方式中，特征提取模块140可以用于对光深度图像应用尺度不变特征变换(scale
‑
invariant feature transformation，sift)以获得场景的特征集中的特征。在一些实施方式中，特征提取模块140可以用于基于光深度图像确定加速鲁棒特征(speeded up robust feature，surf)描述符以获得场景的特征集中的特征。在一些实施方式中，特征提取模块140可以用于基于光深度图像确定方向梯度直方图(histogram of oriented gradient，hog)以获得场景的特征集中的特征。
104.三维定位模块130可以将场景的特征集传递到特征匹配模块150，特征匹配模块150用于将场景的特征集与地图数据结构的特征子集和/或目标对象的特征进行匹配。例如，可以将场景的特征集与对应于与地图内的位置关联的对象(例如家具或房间墙壁)的地图数据结构的特征子集进行匹配。该匹配可以指示与地图内的位置对应的位置出现在设备的视图内。例如，目标对象(例如用户的车辆)可以注册记录，该记录包括可以进行匹配以找到场景中的目标对象的特征。在一些实施方式中，场景的特征集通过以下方式进行匹配：确定距离度量(例如欧几里德距离)以将场景的特征集与目标对象或地图数据结构中表示的对象的特征进行比较，然后将距离度量与阈值进行比较。在一些实施方式中，可以使用神经网络来匹配场景的特征集。例如，用于匹配特征集的神经网络可以使用排序损失函数。
105.当场景的特征集与地图的特征匹配时，可以调用地点定位模块160基于与地图数据结构的特征的匹配子集关联的地图中的位置确定包括光深度传感器110的设备的位置。例如，已匹配的场景特征可以与对应于相对于图像捕获设备的角度或方向的像素关联。例如，这些像素的深度通道值还可以提供关于图像捕获设备与地图数据结构的匹配对象之间的距离的信息。与匹配关联的角度和距离可以用于确定图像捕获设备相对于匹配对象的位置。例如，可以在设备坐标162中指定位置。在一些实施方式中，设备坐标162是地理参考的。在一些实施方式中，同时定位和映射(slam)算法可以用于确定图像捕获设备的位置并生成设备坐标162。然后，设备坐标162可以用于在地图数据结构的地图的图形表示上显示图像捕获设备的位置以通知用户的当前位置。在一些实施方式中，(例如基于用户输入)指定目的地并且基于地图数据结构确定从图像捕获设备的当前位置到目的地的路线。例如，可以在呈现给用户以引导用户从图像捕获设备的位置到目的地的地图的图形表示上显示确定
的路线。
106.当场景的特征集与目标对象(例如停车场中的车辆或商店中的所需产品)的特征匹配时，可以调用对象定位模块170确定目标对象相对于包括光深度传感器110的设备的位置。例如，已匹配的场景特征可以与对应于相对于图像捕获设备的角度或方向的像素关联。例如，这些像素的深度通道值还可以提供关于图像捕获设备与匹配的目标对象之间的距离的信息。与匹配关联的角度和距离可以用于确定目标对象相对于图像捕获设备的位置。例如，可以在对象坐标172中指定位置。在一些实施方式中，对象坐标172是地理参考的。例如，然后，对象坐标172可以用于在地图数据结构的地图的图形表示上显示图像捕获设备的位置以向用户通知目标对象的位置(例如其车辆的位置或其正在搜索的产品的位置)。在一些实施方式中，可以基于对象坐标172在增强现实显示器中突出显示或标注对象。
107.图14是用使用设备捕获的光深度图像对设备进行三维定位的过程200的示例的流程图。过程200包括访问210光深度图像；对光深度图像应用212透镜畸变校正；基于光深度图像确定220场景的特征集；访问230地图数据结构，地图数据结构包括基于空间中的对象的光数据和位置数据的特征；将场景的特征集与地图数据结构的特征子集进行匹配240；基于将场景的特征集与地图数据结构的特征子集进行匹配，确定250图像捕获设备相对于空间中的对象的位置。例如，可以使用图13的系统100实现过程200。例如，可以使用图17a的系统500实现过程200。例如，可以使用图17b的系统530实现过程200。
108.过程200包括访问210光深度图像。光深度图像包括深度通道和一个或多个光通道，深度通道表示从图像捕获设备观看到的场景中的对象的距离，上述一个或多个光通道表示来自从图像捕获设备观看到的场景中的对象表面的光，上述一个或多个光通道在时间和空间上与深度通道同步。例如，上述一个或多个光通道可以包括亮度通道。在一些实施方式中，上述一个或多个光通道包括yuv通道。在一些实施方式中，上述一个或多个光通道包括红色通道、蓝色通道、以及绿色通道。例如，深度通道和上述一个或多个光通道可以在每个通道的对应像素对应于光深度图像捕获设备的大致相同的视角的意义上在空间上同步。例如，可以通过经由总线(例如总线524)从一个或多个图像传感器(例如一个或多个超半球形图像传感器516)接收光深度图像来访问210光深度图像。在一些实施方式中，可以通过通信链路(例如通信链路550)访问210光深度图像。例如，可以通过无线或有线通信接口(例如wi
‑
fi、蓝牙、usb、hdmi、无线usb、近场通信(nfc)、以太网、射频收发器、和/或其他接口)访问210光深度图像。在一些实施方式中，可以直接从一个或多个超半球形图像传感器访问210光深度图像而无需中间信号处理。在一些实施方式中，可以在经过中间信号处理(例如处理以基于从场景或飞行时间数据收集的结构光数据确定深度通道数据，或处理以将收集的数据与光深度图像捕获设备上不同位置处的传感器对齐)之后访问210光深度图像。在一些实施方式中，可以通过从存储器或其他数据存储装置检索光深度图像来访问210光深度图像。
109.过程200包括在基于光深度图像确定场景的特征集之前对光深度图像应用212透镜畸变校正。例如，用于捕获光深度图像的图像捕获设备可以包括用于捕获光深度图像的超半球形透镜，这可能导致光深度图像偏离场景的直线投影。例如，应用212透镜畸变校正可以包括对光深度图像的每个通道的数据应用变换以对其进行解卷绕(unwarp)以获得场景的直线投影。例如，可以基于用于折射光深度图像所基于的检测到的光的透镜(例如鱼眼
镜头)的几何形状确定用于透镜畸变校正的变换。在一些实施方式中，可以使用不同的透镜收集光深度图像的不同通道所基于的光，可以对光深度图像的各个通道应用与透镜关联的不同变换。
110.过程200包括基于光深度图像确定220场景的特征集。基于深度通道和一个或多个光通道中的至少一个光通道确定220特征集。在一些实施方式中，确定220场景的特征集可以包括对光深度图像应用卷积神经网络以获得场景的特征集。例如，场景的特征集可以包括响应于光深度图像生成的卷积神经网络的激活。例如，卷积神经网络可以包括一个或多个卷积层、一个或多个池化层、和/或一个或多个全连接层。在一些实施方式中，确定220场景的特征集可以包括对光深度图像应用尺度不变特征变换(sift)以获得场景的特征集中的特征。在一些实施方式中，确定220场景的特征集可以包括基于光深度图像确定加速鲁棒特征(surf)描述符以获得场景的特征集中的特征。在一些实施方式中，确定220场景的特征集可以包括基于光深度图像确定方向梯度直方图(hog)以获得场景的特征集中的特征。
111.过程200包括访问230地图数据结构，地图数据结构包括基于空间中的对象的光数据和位置数据的特征。例如，地图数据结构可以包括从与访问210的光深度图像相同格式的光深度图像中提取的特征。例如，地图数据结构的特征子集可以与由地图数据结构建模的空间中的相应位置关联。例如，可以通过经由总线接收地图数据来访问230地图数据结构。在一些实施方式中，可以通过通信链路访问230地图数据结构。例如，可以通过无线或有线通信接口(例如wi
‑
fi、蓝牙、usb、hdmi、无线usb、近场通信(nfc)、以太网、射频收发器、和/或其他接口)从地图服务器访问地图数据结构。在一些实施方式中，可以通过从存储器或其他数据存储装置(例如处理装置512的存储器)检索地图数据来访问230地图数据结构。
112.过程200包括将场景的特征集与地图数据结构的特征子集进行匹配240。例如，可以将场景的特征集与对应于与地图内的位置关联的对象的地图数据结构的特征子集进行匹配240。该匹配可以指示与地图内的位置对应的位置出现在设备的视图内。在一些实施方式中，场景的特征集通过以下方式进行匹配：确定距离度量(例如欧几里德距离)以将场景的特征集与地图数据结构中表示的对象的特征进行比较，然后将距离度量与阈值进行比较。在一些实施方式中，可以使用神经网络来匹配240场景的特征集。例如，用于匹配240特征集的神经网络可以使用排序损失函数。
113.过程200包括：基于将场景的特征集与地图数据结构的特征子集进行匹配240，确定250图像捕获设备相对于空间中的对象的位置。例如，已匹配的场景特征可以与对应于相对于图像捕获设备的角度或方向的像素关联。例如，这些像素的深度通道值还可以提供关于图像捕获设备与地图数据结构的匹配对象之间的距离的信息。与匹配关联的角度和距离可以用于确定图像捕获设备相对于地图数据结构的匹配对象的位置。在一些实施方式中，位置包括地理参考坐标。在一些实施方式中，然后，图像捕获设备的位置可以用于基于地图数据结构生成图形地图表示，该图形地图表示包括图像捕获设备在地图内的位置的视觉指示。在一些实施方式中，然后，图像捕获设备的位置可以用于确定从该位置到由地图数据结构存储的地图中某个位置处的目的地的路线，并且该路线可以显示为地图的图形表示的一部分。例如，可以实现图15的过程300以基于图像捕获设备的确定450位置确定路线。
114.图15是基于定位数据生成路线的过程300的示例的流程图。过程300包括访问310指示目的地位置的数据；基于地图数据结构确定320从图像捕获设备的位置到目的地位置
的路线；呈现330路线。例如，过程300可以使用图17a的系统500实现。例如，过程300可以使用图17b的系统530实现。
115.过程300包括访问310指示目的地位置的数据。例如，指示目的地位置的数据可以包括地图中的坐标和/或地理参考坐标。例如，可以通过经由总线(例如总线524或总线568)从用户界面(例如用户界面520或用户界面564)接收指示目的地位置的数据来访问310指示目的地位置的数据。在一些实施方式中，可以通过通信链路(例如使用通信接口518或通信接口566)访问310指示目的地位置的数据。例如，可以通过无线或有线通信接口(例如wi
‑
fi、蓝牙、usb、hdmi、无线usb、近场通信(nfc)、以太网、射频收发器、和/或其他接口)访问310指示目的地位置的数据。在一些实施方式中，可以通过从存储器或其他数据存储装置(例如处理装置512或处理装置562的存储器)检索指示目的地位置的数据来访问310指示目的地位置的数据。
116.过程300包括基于地图数据结构确定320从图像捕获设备的位置到目的地位置的路线。例如，可以使用图14的过程200确定250图像捕获设备的位置。例如，可以基于图像捕获设备的位置、目的地位置、以及地图数据结构中关于障碍物和/或可穿越路径的数据来确定路线。例如，可以使用a*算法选择从图像捕获设备的位置到目的地位置的路线。
117.过程300包括呈现330路线。例如，路线可以呈现330为地图数据结构的地图的图形表示的一部分(例如呈现为覆盖在地图上的一系列突出显示或着色的线段)。例如，路线可以呈现330为显示为文本的一系列指令。例如，路线可以呈现330为通过麦克风作为合成语音播放的一系列指令。例如，路线可以通过用户界面(例如用户界面520或用户界面564)呈现330。例如，可以通过将对路线的图形表示进行编码的数据结构发送到个人计算设备(例如智能手机或平板电脑)以显示给用户来呈现330路线。
118.图16是使用光深度图像对对象进行三维定位的过程400的示例的流程图。过程400包括访问412光深度图像；对光深度图像应用412透镜畸变校正；基于光深度图像确定420场景的特征集；访问430目标对象数据结构，目标对象数据结构包括基于目标对象的光数据和位置数据的特征；将场景的特征集与目标对象数据结构的特征进行匹配440；基于将场景的特征集与目标对象数据结构的特征进行匹配，确定450目标对象相对于图像捕获设备的位置。例如，过程400可以使用图13的系统100实现。例如，过程400可以使用图17a的系统500实现。例如，过程400可以使用图17b的系统530实现。
119.过程400包括访问410光深度图像。光深度图像包括深度通道和一个或多个光通道，深度通道表示从图像捕获设备观看到的场景中的对象的距离，上述一个或多个光通道表示来自从图像捕获设备观看到的场景中的对象表面的光，上述一个或多个光通道在时间和空间上与深度通道同步。例如，上述一个或多个光通道可以包括亮度通道。在一些实施方式中，上述一个或多个光通道包括yuv通道。在一些实施方式中，上述一个或多个光通道包括红色通道、蓝色通道、以及绿色通道。例如，深度通道和上述一个或多个光通道可以在每个通道的对应像素对应于光深度图像捕获设备的大致相同的视角的意义上在空间上同步。例如，可以通过经由总线(例如总线524)从一个或多个图像传感器(例如一个或多个超半球形图像传感器516)接收光深度图像来访问410光深度图像。在一些实施方式中，可以通过通信链路(例如通信链路550)访问410光深度图像。例如，可以通过无线或有线通信接口(例如wi
‑
fi、蓝牙、usb、hdmi、无线usb、近场通信(nfc)、以太网、射频收发器、和/或其他接口)访
问410光深度图像。在一些实施方式中，可以直接从一个或多个超半球形图像传感器访问410光深度图像而无需中间信号处理。在一些实施方式中，可以在经过中间信号处理(例如处理以基于从场景或飞行时间数据收集的结构光数据确定深度通道数据，或处理以将收集的数据与光深度图像捕获设备上不同位置处的传感器对齐)之后访问410光深度图像。在一些实施方式中，可以通过从存储器或其他数据存储装置检索光深度图像来访问410光深度图像。
120.过程400包括在基于光深度图像确定场景的特征集之前对光深度图像应用412透镜畸变校正。例如，用于捕获光深度图像的图像捕获设备可以包括用于捕获光深度图像的超半球形透镜，这可能导致光深度图像偏离场景的直线投影。例如，应用412透镜畸变校正可以包括对光深度图像的每个通道的数据应用变换以对其进行解卷绕以获得场景的直线投影。例如，可以基于用于折射光深度图像所基于的检测到的光的透镜(例如鱼眼镜头)的几何形状确定用于透镜畸变校正的变换。在一些实施方式中，可以使用不同的透镜收集光深度图像的不同通道所基于的光，可以对光深度图像的各个通道应用与透镜关联的不同变换。
121.过程400包括基于光深度图像确定420场景的特征集。基于深度通道和一个或多个光通道中的至少一个光通道确定420特征集。在一些实施方式中，确定420场景的特征集可以包括对光深度图像应用卷积神经网络以获得场景的特征集。例如，场景的特征集可以包括响应于光深度图像生成的卷积神经网络的激活。例如，卷积神经网络可以包括一个或多个卷积层、一个或多个池化层、和/或一个或多个全连接层。在一些实施方式中，确定420场景的特征集可以包括对光深度图像应用尺度不变特征变换(sift)以获得场景的特征集中的特征。在一些实施方式中，确定420场景的特征集可以包括基于光深度图像确定加速鲁棒特征(surf)描述符以获得场景的特征集中的特征。在一些实施方式中，确定420场景的特征集可以包括基于光深度图像确定方向梯度直方图(hog)以获得场景的特征集中的特征。
122.过程400包括访问430目标对象数据结构，目标对象数据结构包括基于目标对象的光数据和位置数据的特征(例如用户想要在停车场中找到的用户的车辆或用户想要在商店中找到的产品)。例如，目标对象数据结构可以包括从与访问410的光深度图像相同格式的光深度图像中提取的特征。在一些实施方式中，目标对象数据结构包括对应于目标对象的各个不同视角的目标对象的多个特征集。例如，目标对象数据结构可以包括目标对象的视角列表，并且对于每个视角，存在基于从各个视角拍摄的光深度图像确定的特征集。在一些实施方式中，目标对象数据结构包括存储在三维数据结构中的特征。例如，目标对象数据结构可以包括基于从目标对象的各种视角捕获的光深度图像确定的目标对象的特征的三维记录。例如，用户可以为其车辆执行注册过程以为其车辆创建目标对象数据，该目标对象数据可以包括从各种视角(例如从前面、后面、右侧、左侧、和/或围绕车辆每十度)捕获车辆的光深度图像。例如，产品制造商可以为其产品执行注册过程以生成其产品的目标对象数据结构，并使用户能够从服务器(例如网络服务器)获得该目标对象数据结构，以使用户能够使用光深度摄像机搜索商店中的产品。例如，可以通过经由总线接收数据来访问430目标对象数据结构。在一些实施方式中，可以通过通信链路访问430目标对象数据结构。例如，可以通过无线或有线通信接口(例如wi
‑
fi、蓝牙、usb、hdmi、无线usb、近场通信(nfc)、以太网、射频收发器、和/或其他接口)从地图服务器访问430目标对象数据结构。在一些实施方式
中，可以通过从存储器或其他数据存储装置(例如处理装置512的存储器)检索目标对象数据结构来访问430目标对象数据结构。
123.过程400包括将场景的特征集与目标对象数据结构的特征进行匹配440。例如，可以将场景的特征集与对应于目标对象的目标对象数据结构的特征进行匹配440(例如与目标对象的视角列表中的视角之一的特征进行匹配，或与存储在目标对象数据结构中的目标对象的三维特征的特征子集进行匹配)。该匹配可以指示目标对象出现在设备的视图内。在一些实施方式中，场景的特征集通过以下方式进行匹配：确定距离度量(例如欧几里德距离)以将场景的特征集与目标对象数据结构中表示的目标对象的特征进行比较，然后将距离度量与阈值进行比较。在一些实施方式中，可以使用神经网络来匹配440场景的特征集。例如，用于匹配440特征集的神经网络可以使用排序损失函数。
124.过程400包括：基于将场景的特征集与目标对象数据结构的特征进行匹配440，确定450目标对象相对于图像捕获设备的位置。例如，已匹配的场景特征可以与对应于相对于图像捕获设备的观看角度或方向的像素关联。例如，这些像素的深度通道值还可以提供关于图像捕获设备与目标对象数据结构的匹配目标对象之间的距离的信息。与匹配关联的角度和距离可以用于确定目标对象相对于图像捕获设备的位置。在一些实施方式中，位置包括地理参考坐标。
125.图17a是用于捕获光深度图像的系统500的示例的框图。系统500包括光深度图像捕获设备510(例如手持摄像机)，其可以例如是图3的半球形鱼眼不可见光深度检测设备3000、图4的半球形鱼眼不可见光深度检测设备4000、图8的球形鱼眼不可见光深度检测设备8000、图9的球形鱼眼不可见光深度检测设备9000、图10的球形鱼眼不可见光投影单元10000、或图11的球形鱼眼不可见光检测单元11000。光深度图像捕获设备510包括处理装置512、一个或多个超半球形投影仪514、一个或多个超半球形图像传感器516、通信接口518、用户接口520、以及电池522。
126.光深度图像捕获设备510包括处理装置512，处理装置512用于接收使用一个或多个超半球形投影仪514和/或一个或多个超半球形图像传感器516捕获的光深度图像。处理装置512可以用于执行图像信号处理(例如滤光、色调映射、拼接和/或编码)以基于来自一个或多个超半球形图像传感器516的图像数据生成输出图像。深度图像捕获设备510包括用于将光深度图像或基于光深度图像的数据传输到其他设备的通信接口518。光深度图像捕获设备510包括用户界面520以允许用户控制光深度图像捕获功能和/或观看图像。光深度图像捕获设备510包括用于为光深度图像捕获设备510供电的电池522。光深度图像捕获设备510的组件可以通过总线524相互通信。
127.处理装置512可以包括具有单个或多个处理核的一个或多个处理器。处理装置512可以包括存储器，例如随机存取存储器设备(random
‑
access memory device，ram)、闪存、或其他合适类型的存储设备，例如非暂时性计算机可读存储器。处理装置512的存储器可以包括可由处理装置512的一个或多个处理器访问的可执行指令和数据。例如，处理装置512可以包括一个或多个动态随机存取存储器(dynamic random access memory，dram)模块，例如双倍数据率同步动态随机存取存储器(double data rate synchronous dynamic random
‑
access memory，ddr sdram)。在一些实施方式中，处理装置512可以包括数字信号处理器(digital signal processor，dsp)。在一些实施方式中，处理装置512可以包括专用
集成电路(application specific integrated circuit，asic)。例如，处理装置512可以包括定制图形处理单元(graphical processing unit，gpu)。
128.一个或多个超半球形投影仪514可以用于投射光(其从场景中的对象反射)以促进光深度图像的捕获。例如，一个或多个超半球形投影仪514可以投射结构光以促进对通过光深度图像捕获设备510观看到的对象的距离测量。例如，一个或多个超半球形投影仪514可以包括超半球形不可见光投影仪(例如红外投影仪)。在一些实施方式中，超半球形不可见光投影仪用于投射结构光图案的红外光，(例如一个或多个超半球形图像传感器516的)不可见光传感器用于检测红外光，处理装置512用于基于使用不可见光传感器检测到的红外光确定深度通道。例如，一个或多个超半球形投影仪514可以包括图10的球形鱼眼不可见光投影单元10000。例如，一个或多个超半球形投影仪514可以包括半球形鱼眼不可见光投影单元5000。例如，一个或多个超半球形投影仪514可以包括半球形鱼眼不可见泛光投影单元7000。
129.一个或多个超半球形图像传感器516可以用于检测从场景中的对象反射的光以促进光深度图像的捕获。例如，一个或多个超半球形图像传感器516可以包括超半球形不可见光传感器(例如红外传感器)。超半球形不可见光传感器可以用于检测由一个或多个超半球形投影仪514投射并由通过光深度图像捕获设备510观看到的场景中的对象反射的不可见光(例如结构红外光)。例如，处理装置512可以对由超半球形不可见光传感器捕获的图像应用信号处理以确定所得光深度图像的深度通道的距离数据。例如，一个或多个超半球形图像传感器516可以包括超半球形可见光传感器。超半球形可见光传感器可以用于捕获通过光深度图像捕获设备510观看到的场景中的对象反射的可见光。例如，可以基于由超半球形可见光传感器捕获的图像数据确定光深度图像的一个或多个光通道。例如，超半球形可见光传感器可以捕获一个或多个光通道，包括红色通道、蓝色通道、绿色通道。例如，超半球形可见光传感器可以捕获一个或多个光通道，包括亮度通道。在一些实施方式中，不可见光传感器和可见光传感器共享公共超半球形透镜，不可见光传感器通过该公共超半球形透镜接收红外光，可见光传感器通过该公共超半球形透镜接收可见光。例如，一个或多个超半球形图像传感器516可以包括图11的球形鱼眼不可见光检测单元11000。例如，一个或多个超半球形图像传感器516可以包括半球形鱼眼不可见光检测单元6000。
130.通信接口518可以实现与个人计算设备(例如智能手机、平板电脑、膝上型计算机、或台式计算机)的通信。例如，通信接口518可以用于接收控制光深度图像捕获设备510中的光深度图像捕获和处理的命令。例如，通信接口518可以用于将光深度图像数据传输到个人计算设备。例如，通信接口518可以包括有线接口，例如高清多媒体接口(high
‑
definition multimedia interface，hdmi)、通用串行总线(universal serial bus，usb)接口、或火线接口。例如，通信接口518可以包括无线接口，例如蓝牙接口、zigbee接口、和/或wi
‑
fi接口。
131.用户界面520可以包括用于向用户呈现图像和/或消息的lcd显示器。例如，用户界面520可以包括使人能够手动开启和关闭光深度图像捕获设备510的按钮或开关。例如，用户界面520可以包括用于拍摄图片的快门按钮。
132.电池522可以为光深度图像捕获设备510和/或其外围设备供电。例如，电池522可以无线充电或通过微型usb接口充电。
133.图像捕获系统500可以实现本公开中描述的一些或全部过程，例如图14的过程
200、图15的过程300、或图16的过程400。
134.图17b是用于捕获光深度图像的系统530的示例的框图。系统530包括通过通信链路550通信的光深度图像捕获设备540(例如手持摄像机)和个人计算设备560。例如，光深度图像捕获设备540可以包括图3的半球形鱼眼不可见光深度检测设备3000、图4的半球形鱼眼不可见光深度检测设备4000、图8的球形鱼眼不可见光深度检测设备8000、图9的球形鱼眼不可见光深度检测设备9000、图10的球形鱼眼不可见光投影单元10000、或图11的球形鱼眼不可见光检测单元11000。光深度图像捕获设备540包括一个或多个超半球形投影仪542、一个或多个超半球形图像传感器544、以及通信接口546。来自一个或多个超半球形图像传感器544的图像信号可以通过总线548传递到光深度图像捕获设备540的其他组件。个人计算设备560包括处理装置562、用户接口564、以及通信接口566。在一些实施方式中，处理装置562可以用于执行图像信号处理(例如滤光、色调映射、拼接和/或编码)以基于来自一个或多个超半球形图像传感器544的图像数据生成光深度图像。
135.一个或多个超半球形投影仪542可以用于投射光(其从场景中的对象反射)以促进光深度图像的捕获。例如，一个或多个超半球形投影仪542可以投射结构光以促进对通过光深度图像捕获设备540观看到的对象的距离测量。例如，一个或多个超半球形投影仪542可以包括超半球形不可见光投影仪(例如红外投影仪)。在一些实施方式中，超半球形不可见光投影仪用于投射结构光图案的红外光，(例如一个或多个超半球形图像传感器544的)不可见光传感器用于检测红外光，处理装置562用于基于使用不可见光传感器检测到的红外光确定深度通道。例如，一个或多个超半球形投影仪542可以包括图10的球形鱼眼不可见光投影单元10000。例如，一个或多个超半球形投影仪542可以包括半球形鱼眼不可见光投影单元5000。例如，一个或多个超半球形投影仪542可以包括半球形鱼眼不可见泛光投影单元7000。
136.一个或多个超半球形图像传感器544可以用于检测从场景中的对象反射的光以促进光深度图像的捕获。例如，一个或多个超半球形图像传感器544可以包括超半球形不可见光传感器(例如红外传感器)。超半球形不可见光传感器可以用于检测由一个或多个超半球形投影仪542投射并由通过光深度图像捕获设备540观看到的场景中的对象反射的不可见光(例如结构红外光)。例如，处理装置562可以对由超半球形不可见光传感器捕获的图像应用信号处理以确定所得光深度图像的深度通道的距离数据。例如，一个或多个超半球形图像传感器544可以包括超半球形可见光传感器。超半球形可见光传感器可以用于捕获通过光深度图像捕获设备540观看到的场景中的对象反射的可见光。例如，可以基于由超半球形可见光传感器捕获的图像数据确定光深度图像的一个或多个光通道。例如，超半球形可见光传感器可以捕获一个或多个光通道，包括红色通道、蓝色通道、绿色通道。例如，超半球形可见光传感器可以捕获一个或多个光通道，包括亮度通道。在一些实施方式中，不可见光传感器和可见光传感器共享公共超半球形透镜，不可见光传感器通过该公共超半球形透镜接收红外光，可见光传感器通过该公共超半球形透镜接收可见光。例如，一个或多个超半球形图像传感器544可以包括图11的球形鱼眼不可见光检测单元11000。例如，一个或多个超半球形图像传感器544可以包括半球形鱼眼不可见光检测单元6000。
137.通信链路550可以是有线通信链路或无线通信链路。通信接口546和通信接口566可以通过通信链路550实现通信。例如，通信接口546和通信接口566可以包括hdmi端口或其
他接口、usb端口或其他接口、火线接口、蓝牙接口、zigbee接口、和/或wi
‑
fi接口。例如，通信接口546和通信接口566可以用于将图像数据从光深度图像捕获设备540传输到个人计算设备560以进行图像信号处理(例如滤光、色调映射、拼接和/或编码)以基于来自一个或多个超半球形图像传感器544的图像数据生成光深度图像。
138.处理装置562可以包括具有单个或多个处理核的一个或多个处理器。处理装置562可以包括存储器，例如ram、闪存、或其他合适类型的存储设备，例如非暂时性计算机可读存储器。处理装置562的存储器可以包括可由处理装置562的一个或多个处理器访问的可执行指令和数据。例如，处理装置562可以包括一个或多个dram模块，例如ddr sdram。在一些实施方式中，处理装置562可以包括dsp。在一些实施方式中，处理装置562可以包括集成电路，例如asic。例如，处理装置562可以包括图形处理单元(gpu)。处理装置562可以通过总线568与个人计算设备560的其他组件交换数据(例如图像数据)。
139.个人计算设备560可以包括用户界面564。例如，用户界面564可以包括用于向用户呈现图像和/或消息并从用户接收命令的触摸屏显示器。例如，用户界面564可以包括使人能够手动开启和关闭个人计算设备560的按钮或开关。在一些实施方式中，通过用户接口564接收到的命令(例如开始记录视频、停止记录视频、或拍摄照片)可以通过通信链路550传递到光深度图像捕获设备540。
140.光深度图像捕获设备540和/或个人计算设备560可以用于实现本公开中描述的一些或全部过程，例如图14的过程200、图15的过程300、或图16的过程400。
141.本文公开的方法、过程、或算法的方面、特征、元素、实施例可以在包含在计算机可读存储介质中的计算机程序、软件、或固件中实现以供计算机或处理器执行，并且可以采用可从例如有形计算机可用或计算机可读介质访问的计算机程序产品的形式。
142.如本文所用，术语“计算机”或“计算设备”包括能够执行本文公开的任何方法或其任何部分的任何单元或单元的组合。如本文所用，术语“用户设备”、“移动设备”、或“移动计算设备”包括但不限于用户设备、无线发射/接收单元、移动台、固定或移动订户单元、寻呼机、蜂窝电话、个人数字助理(personal digital assistant，pda)、计算机、或能够在移动环境中操作的任何其他类型的用户设备。
143.如本文所用，术语“处理器”包括单个处理器或多个处理器，例如一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器，一个或多个专用集成电路(asic)，一个或多个专用标准产品(application specific standard product，assp)；一个或多个现场可编程门阵列(field programmable gate array，fpga)电路、任何其他类型集成电路(integrated circuit，ic)或其组合、一个或多个状态机、或其任意组合。
144.如本文所用，术语“存储器”包括任何计算机可用或计算机可读介质或设备，其可以例如有形地包含、存储、传送、或传输任何信号或信息以供任何处理器使用或与任何处理器连接。计算机可读存储介质的示例可以包括一个或多个只读存储器、一个或多个随机存取存储器、一个或多个寄存器、一个或多个缓存存储器、一个或多个半导体存储设备、一个或多个磁性介质，例如内部硬盘和可移动磁盘、一个或多个磁光介质、一个或多个光学介质(例如cd
‑
rom盘)、数字多功能盘(digital versatile disk，dvd)、或其任意组合。
145.如本文所用，术语“指令”可以包括用于执行本文公开的任何方法或其任何部分的
指令，并且可以在硬件、软件或其任何组合中实现。例如，指令可以实现为存储在存储器中的信息，例如计算机程序，其可以由处理器执行以执行如本文所述的相应方法、算法、方面或其组合中的任何一个。在一些实施例中，指令或其一部分可以实现为专用处理器或电路，其可以包括用于执行如本文所述的方法、算法、方面或其组合中的任何一个的专用硬件。指令的部分可以分布在同一机器或不同机器上的多个处理器上，或分布在诸如局域网、广域网、互联网或其组合之类的网络上。
146.此外，为了简化解释，虽然本文的附图和描述可以包括步骤或阶段的序列或系列，但本文公开的方法的元素可以以各种顺序发生或同时发生。此外，本文公开的方法的元素可以与本文未明确呈现和描述的其他元素一起出现。此外，本文描述的方法的元素中可能并不是所有元素都是实施根据本公开的方法所需要的。虽然本文以特定的组合描述了方面、特征、元素，但每个方面、特征、或元素可以独立使用或与或不与其他方面、特征、元素以各种组合使用。