用于三维(3D)对象检测的系统和方法与流程
优先权要求和相关专利申请
该pct申请要求2018年9月12日提交的美国专利申请第16/129,040号的优先权和权益。上文申请的全部公开内容以引用的方式被并入作为本专利文档的公开内容的一部分。
版权声明
该专利文档的公开内容的一部分包含受版权保护的材料。版权所有人不反对任何人对本专利文档或专利公开内容进行复制，按照本专利文档在美国专利和商标局的专利文件或记录中的形式，但版权所有人保留所有其他权利。以下声明适用于本文中的公开内容以及形成本文档的一部分的附图：版权所有2017-2018，tusimple，保留所有权利。
本专利文档一般涉及用于图像处理、车辆控制系统和自主驾驶系统的工具(系统、装置、方法、计算机程序产品等)，并且更具体地但非限制性地涉及一种用于三维(3d)对象检测的系统和方法。
背景技术：
对象检测是许多视觉任务的基本问题，包括对象跟踪、语义实例分割和对象行为预测。检测交通环境中的所有对象(诸如汽车、公共汽车、行人和自行车)对于构建自主驾驶系统至关重要。未能检测到对象(例如汽车或人)可能导致自主驾驶汽车的运动计划模块的故障，从而导致灾难性事故。如此，用于自主驾驶车辆的对象检测是重要的操作和安全问题。
基于深度学习的2d对象检测模型已成功地被应用于各种计算机视觉任务，包括面部检测、实例分割、点云处理和自主驾驶。给定输入图像，2d对象检测的目标是输出所有感兴趣对象的类别标签和地点(使用矩形边界框)。然而，因为所有操作都在2d图像平面上被执行，所以常规模型只能获取相对地点信息(以像素为单位)，而不是绝对值(以米为单位)。对于现代自主驾驶系统来说，传统2d模型产生的该行为是不希望的，因为失去精确的地点(以及潜在的汽车尺寸)会严重损害感知模块的输出质量，从而影响后续运动计划和控制模块的执行并产生潜在的危害。
技术实现要素：
该pct申请中公开的技术可以被实施以提供用于三维(3d)对象检测的系统和方法。
在一个方面中，所公开的技术可以被实施以提供一种系统，该系统包括数据处理器和3d图像处理系统。图像处理系统被配置成：从与自主车辆相关联的至少一个相机接收图像数据，该图像数据表示至少一个图像帧；使用经训练的深度学习模块，以确定在图像帧中检测到的对象周围的二维(2d)边界框的像素坐标；使用经训练的深度学习模块，以确定对象周围的三维(3d)边界框的顶点；使用拟合模块，以获得与关联于图像帧的特定环境相关的地质信息并获得与至少一个相机相关联的相机校准信息；以及使用拟合模块，以使用3d边界框、地质信息和相机校准信息来确定对象的3d属性。
在另一方面中，所公开的技术可以被实施以提供一种方法，该方法包括：从与自主车辆相关联的至少一个相机接收图像数据，该图像数据表示至少一个图像帧；使用经训练的深度学习模块，以确定在图像帧中检测到的对象周围的二维(2d)边界框的像素坐标；使用经训练的深度学习模块，以确定对象周围的三维(3d)边界框的顶点；使用拟合模块，以获得与关联于图像帧的特定环境相关的地质信息并获得与至少一个相机相关联的相机校准信息；以及使用拟合模块，以使用3d边界框、地质信息和相机校准信息来确定对象的3d属性。
在又一方面中，所公开的技术可以被实施以提供一种实施指令的非暂时性机器可用存储介质，这些指令当被机器执行时使得机器：从与自主车辆相关联的至少一个相机接收图像数据，该图像数据表示至少一个图像帧；使用经训练的深度学习模块，以确定在图像帧中检测到的对象周围的二维(2d)边界框的像素坐标；使用经训练的深度学习模块，以确定对象周围的三维(3d)边界框的顶点；使用拟合模块，以获得与关联于图像帧的特定环境相关的地质信息并获得与至少一个相机相关联的相机校准信息；以及使用拟合模块，以使用3d边界框、地质信息和相机校准信息来确定对象的3d属性。在一些实施方式中，非暂时性机器可用存储介质还可以被配置成将对象的3d属性提供给自主驾驶感知系统。在一些实施方式中，至少一个相机包括来自由以下各项组成的组的类型的相机镜头：广角或近距镜头、中距镜头和远距镜头。在一些实施方式中，在对象周围的三维(3d)边界框的顶点以像素坐标被确定。在一些实施方式中，地质信息从包括具有地形的高度的全球定位系统(gps)地点的地形图被获得。在一些实施方式中，对象的3d属性包括对象长度、高度、宽度、3d空间地点和对象的行进方向。
此外，在一些实施方式中，所公开的技术可以被用于提供用于3d对象检测的示例系统和方法，以包括3d图像处理系统，该3d图像处理系统被配置成从与自主车辆相关联的至少一个相机接收图像数据。示例实施例可以被配置成输出在检测到的对象周围的2d边界框的地点和描绘对象的大小和方向(行进方向)的八个角的地点。这是对不提供真实世界3d信息的常规系统的改进。利用与特定环境相关的地质信息(例如道路或地形信息)和相机校准矩阵，示例实施例可以以3d坐标准确计算由相机成像的对象的精确大小和地点。示例实施例实时运行并且用作自主驾驶感知系统中的关键组件。
在本文中所描述的各种实施例中，3d图像处理模块被配置成解决前述问题。如本文中所描述，3d图像处理模块可以被用于获得对象的3d属性，包括对象的长度、高度、宽度、相机坐标空间中的3d空间地点(均以米为单位)以及对象的移动方向(行进方向)。在示例实施例中，3d图像处理模块包括两个子模块，即：1)深度学习模块，学习在图像平面中2d边界框的像素坐标和3d边界框的所有顶点；以及2)拟合模块，使用来自地形图的地质信息和相机信息(包括具有相机非固有和固有矩阵的相机校准矩阵)来求解3d属性。3d对象检测模块可以跨多个相机实时运行，并且可以显著地对感知管线做贡献并且提高自主驾驶系统的鲁棒性和安全性水平。
下文提供各种示例实施例的细节。
附图说明
在随附图式的图中，通过示例的方式而不是通过限制的方式来对各种实施例进行图示，在图中：
图1图示了可以实施示例实施例的车载图像处理模块的示例生态系统的框图；
图2图示了示例图像，该示例图像示出了图像平面中车辆的二维(2d)和三维(3d)边界框；
图3和图4图示了包括来自广角相机的图像的第一图像样本集；图3图示了如由示例实施例的深度学习模块处理的第一图像集的广角图像；图4图示了如由示例实施例的拟合模块处理的第一图像集的广角图像；
图5和图6图示了包括来自中距相机的图像的第一图像样本集；图5图示了如由示例实施例的深度学习模块处理的第一图像集的中距图像；图6图示了如由示例实施例的拟合模块处理的第一图像集的中距图像；
图7和图8图示了包括来自远距相机的图像的第一图像样本集；图7图示了如由示例实施例的深度学习模块处理的第一图像集的远距图像；图8图示了如由示例实施例的拟合模块处理的第一图像集的远距图像；
图9和图10图示了包括来自广角相机的图像的第二图像样本集；图9图示了如由示例实施例的深度学习模块处理的第二图像集的广角图像；图10图示了如由示例实施例的拟合模块处理的第二图像集的广角图像；
图11和图12图示了包括来自中距相机的图像的第二图像样本集；图11图示了如由示例实施例的深度学习模块处理的第二图像集的中距图像；图12图示了如由示例实施例的拟合模块处理的第二图像集的中距图像；
图13和图14图示了包括来自远距相机的图像的第二图像样本集；图13图示了如由示例实施例的深度学习模块处理的第二图像集的远距图像；图14图示了如由示例实施例的拟合模块处理的第二图像集的远距图像；
图15和图16图示了包括来自广角相机的图像的第三图像样本集；图15图示了如由示例实施例的深度学习模块处理的第三图像集的广角图像；图16图示了如由示例实施例的拟合模块处理的第三图像集的广角图像；
图17和图18图示了包括来自中距相机的图像的第三图像样本集；图17图示了如由示例实施例的深度学习模块处理的第三图像集的中距图像；图18图示了如由示例实施例的拟合模块处理的第三图像集的中距图像；
图19和图20图示了包括来自远距相机的图像的第三图像样本集；图19图示了如由示例实施例的深度学习模块处理的第三图像集的远距图像；图20图示了如由示例实施例的拟合模块处理的第三图像集的远距图像；
图21图示了如在用于自主车辆的3d图像处理系统的上下文中所使用的示例实施例；
图22是图示了用于3d对象检测的系统和方法的示例实施例的过程流程图；以及
图23示出了呈计算机系统的示例形式的机器的图解表示，在该计算机系统内指令集当被执行时可以使得机器执行本文中所讨论的任何一种或多种方法。
具体实施方式
在以下描述中，出于解释的目的，阐述了许多具体细节，以便提供对各种实施例的透彻理解。然而，对于本领域的技术人员而言将显而易见的是，可以在没有这些具体细节的情况下实践各种实施例。
本文公开了一种用于三维(3d)对象检测的系统和方法。用于3d对象检测的示例系统和方法可以包括3d图像处理系统，该3d图像处理系统被配置成从与自主车辆相关联的至少一个相机接收图像数据。如本文中所描述，3d图像处理系统可以被用于获得在图像数据中检测到的对象的3d属性，包括对象的长度、高度、宽度、照相机坐标空间中的3d空间地点(均以米为单位)以及对象的移动方向(行进方向)。下文提供各种示例实施例的细节。
本文中所公开的示例实施例可以在车辆生态系统101中的车载控制系统150的上下文中被使用。在一个示例实施例中，具有驻留在车辆105中的3d图像处理模块200的车载控制系统150可以像图1中所图示的架构和生态系统101一样被配置。然而，对于本领域的普通技术人员将清楚的是，本文中所描述和要求保护的3d图像处理模块200也可以在各种其他应用和系统中被实施、配置和使用。
现在参考图1，框图图示了示例生态系统101，在该示例生态系统中可以实施示例实施例的车载控制系统150和3d图像处理模块200。这些组件将在下文更详细地描述。生态系统101包括各种系统和组件，它们可以生成一个或多个信息/数据源和相关服务，和/或将信息/数据源和相关服务传递给可以被安装在车辆105中的车载控制系统150和3d图像处理模块200。例如，被安装在车辆105中或被安装在车辆105上的一个或多个相机(作为车辆子系统140的设备中的一个)可以生成可被车载控制系统150接收到的图像和定时数据。被安装在车辆105中或被安装在车辆105上的一个或多个相机可以配备有各种类型的相机镜头(例如广角或近距镜头、中距镜头和远距镜头)，以捕获车辆105周围的环境的图像。车载控制系统150和在其中执行的3d图像处理模块200可以接收该图像和定时数据输入。如下文更详细地描述，3d图像处理模块200可以处理图像输入，并且使得能够生成与图像中的对象特征相关联的3d信息，该3d信息可以被自主车辆控制子系统使用，该自主车辆控制子系统作为车辆子系统140的子系统中的另一子系统。自主车辆控制子系统例如可以使用与对象特征相关联的实时3d信息来在现实世界的驾驶环境中安全且高效地导航和控制车辆105，同时避开障碍物并安全地控制车辆。
在如本文中所描述的示例实施例中，车载控制系统150可以与多个车辆子系统140进行数据通信，所有这些车辆子系统都可以驻留在用户的车辆105中。车辆子系统接口141被提供以促进车载控制系统150与多个车辆子系统140之间的数据通信。车载控制系统150可以被配置成包括数据处理器171，该数据处理器用以执行3d图像处理模块200，该3d图像处理模块200用于处理从一个或多个车辆子系统140接收到的图像数据。数据处理器171可以与数据存储设备172组合，作为车载控制系统150中的计算系统170的一部分。数据存储设备172可以被用于存储数据、处理参数、相机参数、地形数据和数据处理指令。处理模块接口165可以被提供以促进数据处理器171与3d图像处理模块200之间的数据通信。在各种示例实施例中，类似于3d图像处理模块200被配置的多个处理模块可以被提供以供数据处理器171执行。如图1中的虚线所示出，3d图像处理模块200可以被集成到车载控制系统150中，3d图像处理模块200可以可选地被下载到车载控制系统150，或与车载控制系统150分开地被部署。
车载控制系统150可以被配置成从广域网120和被连接到广域网120的网络资源122接收数据或将数据传输给该广域网和这些网络资源。车载web启用设备130和/或用户移动设备132可以被用于经由网络120进行通信。web启用设备接口131可以被车载控制系统150使用，以促进经由车载web启用设备130在车载控制系统150与网络120之间的数据通信。类似地，用户移动设备接口133可以被车载控制系统150使用，以经由用户移动设备132促进在车载控制系统150与网络120之间的数据通信。以此方式，车载控制系统150可以经由网络120获得对网络资源122的实时访问。网络资源122可以被用于获得用于由数据处理器171执行的处理模块、用以训练内部神经网络的数据内容、系统参数或其他数据。
生态系统101可以包括广域数据网络120。网络120表示一个或多个常规的广域数据网络，诸如因特网、蜂窝电话网络、卫星网络、寻呼机网络、无线广播网络、游戏网络、wi-fi网络、对等网络、语音ip(voip)网络等。这些网络120中的一个或多个可以被用于将用户或客户端系统与网络资源122(诸如网站、服务器、中央控制站点等)连接。网络资源122可以生成和/或分发数据，该数据可以经由车载web启用设备130或用户移动设备132在车辆105中被接收。网络资源122还可以托管网络云服务，这些网络云服务可以支持被用于计算或协助处理图像输入或图像输入分析的功能性。天线可以用于经由蜂窝、卫星、无线电或其他常规信号接收机制将车载控制系统150和3d图像处理模块200与数据网络120连接。这种蜂窝数据网络是当前可用的(例如verizontm、at&ttm、t-mobiletm等)。这种基于卫星的数据或内容网络目前也是可用的(例如siriusxmtm、hughesnettm等)。常规广播网络(诸如am/fm无线电网络、寻呼机网络、uhf网络、游戏网络、wifi网络、对等网络、语音ip(voip)网络等)也是众所周知的。因此，如下文更详细地描述，车载控制系统150和3d图像处理模块200可以经由车载web启用设备接口131接收基于web的数据或内容，该车载web启用设备接口可以被用于与车载web启用设备接收器130和网络120连接。以此方式，车载控制系统150和3d图像处理模块200可以从车辆105内支持各种可联网的车载设备和系统。
如图1中所示出，车载控制系统150和3d图像处理模块200还可以从用户移动设备132接收数据、图像处理控制参数和训练内容，这些用户移动设备可以位于车辆105内部或附近。用户移动设备132可以表示标准移动设备，诸如蜂窝电话、智能电话、个人数字助理(pda)、mp3播放器、平板计算设备(例如ipadtm)、膝上型计算机、cd播放器和其他移动设备，这些标准移动设备可以产生、接收和/或传递用于车载控制系统150和3d图像处理模块200的数据、图像处理控制参数和内容。如图1中所示出，移动设备132还可以与网络云120进行数据通信。移动设备132可以经由网络120从移动设备132本身的内部存储器组件或从网络资源122寻求数据和内容。附加地，移动设备132本身可以包括gps数据接收器、加速度计、wifi三角测量或移动设备中的其他地理定位传感器或组件，它们可以被用于在任何时刻确定用户的实时地理定位(经由移动设备)。在任何情况下，如图1中所示出，车载控制系统150和3d图像处理模块200都可以从移动设备132接收数据。
仍然参考图1，生态系统101的示例实施例可以包括车辆操作子系统140。对于在车辆105中被实施的实施例，许多标准车辆包括操作子系统，诸如电子控制单元(ecu)、用于发动机、制动器、变速器、电气系统、排放系统、内部环境等的支持监测/控制子系统。例如，从车辆操作子系统140(例如车辆105的ecu)经由车辆子系统接口141传达到车载控制系统150的数据信号可以包括关于车辆105的组件或子系统中的一个或多个组件或子系统的状态的信息。具体地，可以从车辆操作子系统140传达给车辆105的控制器局域网(can)总线的数据信号可以由车载控制系统150经由车辆子系统接口141接收和处理。本文中所描述的系统和方法的实施例可以基本上与使用如本文中所定义的can总线或相似的数据通信总线的任何机械化系统一起被使用，任何机械化系统包括但不限于工业装备、船、卡车、机器或轿车；因此，如本文中所使用的术语“车辆”可以包括任何这种机械化系统。本文中所描述的系统和方法的实施例还可以与采用某种形式的网络数据通信的任何系统一起被使用；然而，这种网络通信不是必须的。
仍然参考图1，生态系统101的示例实施例和其中的车辆操作子系统140可以包括各种车辆子系统以支持车辆105的操作。一般地，车辆105可以采取例如汽车、卡车、摩托车、公共汽车、船、飞机、直升机、割草机、推土机、雪地摩托、航空器、休闲车、游乐园车、农用装备、施工装备、电车、高尔夫球车、火车和手推车的形式。其他车辆也是可能的。车辆105可以被配置成以自主模式完全或部分地操作。例如，车辆105可以在处于自主模式时自我控制，并且可以可操作以确定车辆的当前状态和车辆的环境；确定环境中至少一辆其他车辆的预测行为；确定置信度，该置信度可以对应于至少另一车辆执行预测行为的可能性；以及基于所确定的信息控制车辆105。当处于自主模式时，车辆105可以被配置成在没有人类交互的情况下操作。
车辆105可以包括各种车辆子系统，诸如车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146和乘员界面子系统148。如上文所描述，车辆105还可以包括车载控制系统150、计算系统170和3d图像处理模块200。车辆105可以包括更多或更少的子系统，并且每个子系统可以包括多个元件。进一步地，车辆105的子系统和元件中的每个可以被互连。因此，车辆105的所描述的功能中的一个或多个功能可以被划分成附加的功能或物理组件，或被组合成较少的功能或物理组件。在一些其他示例中，附加的功能和物理组件可以被添加到由图1所图示的示例。
车辆驱动子系统142可以包括可操作以为车辆105提供动力运动的组件。在示例实施例中，车辆驱动子系统142可以包括发动机或电动机、车轮/轮胎、变速器、电气子系统和动力源。发动机或电动机可以是内燃发动机、电动机、蒸汽发动机、燃料电池发动机、丙烷发动机或其他类型的发动机或电动机的任何组合。在一些示例实施例中，发动机可以被配置成将动力源转换成机械能。在一些示例实施例中，车辆驱动子系统142可以包括多种类型的发动机或电动机。例如，气电混合动力汽车可以包括汽油发动机和电动机。其他示例是可能的。
车辆105的车轮可以是标准轮胎。车辆105的车轮可以被配置成各种格式，例如包括诸如在汽车或卡车上的单轮、双轮、三轮或四轮格式。其他车轮几何形状是可能的，诸如包括六个或更多个车轮的那些车轮几何形状。车辆105的车轮的任何组合可以可操作以相对于其他车轮不同地旋转。车轮可以表示被固定地附接到变速器的至少一个车轮和被联接到车轮的轮缘的至少一个轮胎，该至少一个轮胎可以与驱动表面接触。车轮可以包括金属和橡胶的组合或材料的另一组合。变速器可以包括可操作以将机械动力从发动机传输给车轮的元件。为此，变速器可以包括齿轮箱、离合器、差速器和驱动轴。变速器也可以包括其他元件。驱动轴可以包括可以被联接到一个或多个车轮的一个或多个轴。电气系统可以包括可操作以在车辆105中传送和控制电信号的元件。这些电信号可以被用于启动车辆105的灯、伺服机构、电动机和其他电驱动或控制的设备。动力源可以表示可以全部或部分为发动机或电动机提供动力的能量源。也就是说，发动机或电动机可以被配置成将动力源转换成机械能。动力源的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、燃料电池、太阳能电池板、电池组和其他电源来源。动力源可以附加地或备选地包括燃料箱、电池组、电容器或飞轮的任何组合。动力源也可以为车辆105的其他子系统提供能量。
车辆传感器子系统144可以包括多个传感器，这些传感器被配置成感测关于车辆105的环境或状况的信息。例如，车辆传感器子系统144可以包括惯性测量单元(imu)、全球定位系统(gps)收发器、radar单元、激光测距仪/lidar单元和一个或多个相机或图像捕获设备。车辆传感器子系统144还可以包括被配置成监测车辆105的内部系统的传感器(例如o2监测器、燃油表、发动机油温)。其他传感器也是可能的。车辆传感器子系统144中所包括的一个或多个传感器可以被配置成分别地或共同地被致动，以便修改一个或多个传感器的位置、定向或两者。
imu可以包括被配置成基于惯性加速度感测车辆105的位置和定向改变的传感器(例如加速度计和陀螺仪)的任何组合。gps收发器可以是被配置成估计车辆105的地理地点的任何传感器。为此，gps收发器可以包括接收器/传输器，该接收器/发送器可操作以提供关于车辆105相对于地球的位置的信息。radar单元可以表示利用无线电信号来感测车辆105的局部环境内的对象的系统。在一些实施例中，除了感测对象之外，radar单元可以附加地被配置成感测接近车辆105的对象的速度和行进方向。激光测距仪或lidar单元可以是被配置成使用激光感测车辆105所处的环境中的对象的任何传感器。在示例实施例中，除其他系统组件外，激光测距仪/lidar单元可以包括一个或多个激光源、激光扫描仪和一个或多个检测器。激光测距仪/lidar单元可以被配置成以相干(例如使用外差检测)或非相干检测模式操作。相机可以包括被配置成捕获车辆105的环境的多个图像的一个或多个设备。相机可以是静止图像相机或运动视频相机。
车辆控制系统146可以被配置成控制车辆105及其组件的操作。因此，车辆控制系统146可以包括各种元件，诸如转向单元、节流阀、制动单元、导航单元和自主控制单元。
转向单元可以表示可以可操作以调整车辆105的行进方向的机构的任何组合。节流阀可以被配置成控制例如发动机的操作速度，并进而控制车辆105的速度。制动单元可以包括被配置成使车辆105减速的机构的任何组合。制动单元可以使用摩擦力以标准方式使车轮减速。在其他实施例中，制动单元可以将车轮的动能转换成电流。制动单元也可以采取其他形式。导航单元可以是被配置成确定车辆105的驾驶路径或路线的任何系统。导航单元可以附加地被配置成在车辆105处于操作中时动态地更新驾驶路径。在一些实施例中，导航单元可以被配置成合并来自3d图像处理模块200、gps收发器和一个或多个预定地图的数据，以便确定车辆105的驾驶路径。自主控制单元可以表示被配置成标识、评估和避免或以其他方式越过车辆105的环境中的潜在障碍物的控制系统。一般地，自主控制单元可以被配置成在没有驾驶者的情况下控制车辆105进行操作，或在控制车辆105时提供驾驶者辅助。在一些实施例中，自主控制单元可以被配置成合并来自3d图像处理模块200、gps收发器、radar、lidar、相机和其他车辆子系统的数据，以确定车辆105的驾驶路径或轨迹。车辆控制系统146可以附加地或备选地包括除了所示出和描述的那些组件之外的组件。
乘员界面子系统148可以被配置成允许车辆105与外部传感器、其他车辆、其他计算机系统和/或车辆105的乘员或用户之间的交互。例如，乘员界面子系统148可以包括标准视觉显示设备(例如等离子体显示器、液晶显示器(lcd)、触摸屏显示器、抬头显示器等)、扬声器或其他音频输出设备、麦克风或其他音频输入设备、导航界面以及用于控制车辆105的内部环境(例如温度、风扇等)的界面。
在示例实施例中，乘员界面子系统148可以提供例如用于车辆105的用户/乘员与其他车辆子系统交互的部件。视觉显示设备可以向车辆105的用户提供信息。用户界面设备还可以可操作以经由触摸屏接受来自用户的输入。除其他可能性外，触摸屏可以被配置成经由电容感测、电阻感测或表面声波过程来感测用户的手指的位置和移动中的至少一个。触摸屏可能能够感测在与触摸屏表面平行或成平面的方向上、在垂直于触摸屏表面的方向上或两者的手指移动，并且还可能能够感测施加到触摸屏表面的压力水平。触摸屏可以由一个或多个半透明或透明的绝缘层和一个或多个半透明或透明的导电层形成。触摸屏也可以采取其他形式。
在其他实例中，乘员界面子系统148可以提供用于车辆105与车辆105的环境内的设备进行通信的部件。麦克风可以被配置成从车辆105的用户接收音频(例如语音命令或其他音频输入)。类似地，扬声器可以被配置成向车辆105的用户输出音频。在一个示例实施例中，乘员界面子系统148可以被配置成直接地或经由通信网络与一个或多个设备无线通信。例如，无线通信系统可以使用3g蜂窝通信(诸如cdma、evdo、gsm/gprs)或4g蜂窝通信，诸如wimax或lte。备选地，无线通信系统可以例如使用
车辆105的许多或全部功能可以被计算系统170控制。计算系统170可以包括至少一个数据处理器171(该数据处理器171可以包括至少一个微处理器)，该至少一个数据处理器执行被存储在非暂时性计算机可读介质(诸如数据存储设备172)中的处理指令。计算系统170还可以表示多个计算设备，该计算设备可以用于以分布式方式控制车辆105的各个组件或子系统。在一些实施例中，数据存储设备172可以包含可由数据处理器171执行以执行车辆105的各种功能(包括本文中结合图式所描述的那些功能)的处理指令(例如程序逻辑)。数据存储设备172还可以包含附加指令，该附加指令包括：将数据传输给车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146和乘员界面子系统148中的一个或多个的指令、从车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146和乘员界面子系统148中的一个或多个接受数据的指令、与车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146和乘员界面子系统148中的一个或多个交互的指令，或控制车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146和乘员界面子系统148中的一个或多个的指令。
除了处理指令之外，数据存储设备172还可以存储数据，该数据诸如图像处理参数、训练数据、道路地图和路径信息，以及其他信息。这种信息可以在车辆105以自主、半自主和/或手动模式操作期间被车辆105和计算系统170使用。
车辆105可以包括用于向车辆105的用户或乘员提供信息或从该用户或乘员接收输入的用户界面。用户界面可以控制或实现控制可以被显示在显示设备上的交互式图像的内容和布局。进一步地，用户界面可以包括在乘员界面子系统148的集合内的一个或多个输入/输出设备，诸如显示设备、扬声器、麦克风或无线通信系统。
计算系统170可以基于从各种车辆子系统(例如车辆驱动子系统142、车辆传感器子系统144和车辆控制子系统146)以及从乘员界面子系统148接收到的输入来控制车辆105的功能。例如，计算系统170可以使用来自车辆控制系统146的输入，以便控制转向单元，以避免由车辆传感器子系统144和3d图像处理模块200检测到的障碍物，以受控方式移动，或基于由3d图像处理模块200生成的输出遵循路径或轨迹。在示例实施例中，计算系统170可以可操作以提供对车辆105及其子系统的许多方面的控制。
尽管图1将车辆105的各种组件(例如车辆子系统140、计算系统170、数据存储设备172和3d图像处理模块200)示出为被集成到车辆105中，但是这些组件中的一个或多个组件可以与车辆105分开地被安装或关联。例如，数据存储设备172可以部分地或全部地与车辆105分开存在。因此，车辆105可以以可以分开或一起定位的设备元件的形式被提供。组成车辆105的设备元件可以以有线或无线方式被通信地耦合在一起。
附加地，其他数据和/或内容(在本文中表示为辅助数据)可以通过如上文所描述的车载控制系统150从本地和/或远程源获得。辅助数据可以被用于基于多种因素(包括用户操作车辆的背景(例如车辆的地点、指定的目的地、行进的方向、速度、每日的时刻、车辆的状态等))和可以从如本文中所描述的各种来源(本地和远程)获得的各种其他数据来增强、修改或训练3d图像处理模块200的操作。
在特定实施例中，车载控制系统150和3d图像处理模块200可以被实施为车辆105的车载组件。在各种示例实施例中，车载控制系统150和与车载控制系统150数据通信的3d图像处理模块200可以被实施为集成组件或单独的组件。在示例实施例中，通过使用经由网络120与移动设备132和/或网络资源122的数据连接，车载控制系统150和3d图像处理模块200的软件组件可以被动态地更新、修改和/或增强。车载控制系统150可以周期性地向移动设备132或网络资源122查询更新，或更新可以被推送给车载控制系统150。
用于三维(3d)对象检测的系统和方法
本文公开了一种用于三维(3d)对象检测的系统和方法。用于3d对象检测的示例系统和方法可以包括3d图像处理系统210，该3d图像处理系统被配置成从与自主车辆相关联的至少一个相机接收图像数据。示例实施例可以被配置成输出在检测到的对象周围的2d边界框的地点和描绘对象的大小和方向(行进方向)的八个角的地点。如此，示例实施例可以获得在图像数据中检测到的对象的3d属性。这是对不提供真实世界3d信息的常规系统的改进。利用与特定环境相关的地质信息(例如道路或地形信息)和相机校准矩阵，示例实施例可以以3d坐标准确计算由相机成像的对象的精确大小和地点。相机校准矩阵可以对应于将特定相机安装在车辆上的方式以及由相机产生的图像的配置和定向。示例实施例实时运行并且用作自主驾驶感知系统中的关键组件。
在本文中所描述的各种实施例中，3d图像处理系统210的3d图像处理模块200(参见图21)被配置成解决前述问题。如本文中所描述，3d图像处理模块200可以被用于获得对象的3d属性，包括对象的长度、高度、宽度、相机坐标空间中的3d空间地点(均以米为单位)以及对象的移动方向(行进方向)。在示例实施例中，3d图像处理模块200可以包括两个子模块，即：1)深度学习模块212，学习在图像平面中2d边界框的像素坐标和3d边界框的所有顶点；以及2)拟合模块214，使用来自地形图的地质信息和相机信息(包括具有照相机非固有和固有矩阵的相机校准矩阵)来求解3d属性。相机非固有矩阵表示从3d世界坐标到3d相机坐标的坐标系变换。相机固有矩阵表示从3d相机坐标到2d图像坐标的坐标系变换。在下文并结合图21更详细地描述了深度学习模块212和拟合模块214。3d图像处理模块200可以跨多个相机实时运行，并且可以显著地对感知管线做贡献并且提高自主驾驶系统的鲁棒性和安全性水平。下文提供各种示例实施例的细节。
在示例实施例中，可以如下定义3d对象检测问题：
给定输入图像i，针对对象列表o＝{o1，o2，...，on}中的每个对象oi，输出以下向量：
oi＝{xtop，ytop，xbottom，ybottom，x3d，1，y3d，1，...，x3d，8，y3d，8，h，w，l，x，y，z，θ}，其中xs和ys是图像平面中的像素值；顶部和底部表示限定2d边界框的左上角和右下角；x3ds和y3ds是2d图像平面上投影的3d边界框的八个顶点。其余值仅是边界框的3d性质，包括边界框的高度(h)、宽度(w)、长度(l)、在3d世界中相对于相机的地点(x,y,z)和边界框的行进方向定向(θ)。
图2图示了样本图像，该样本图像示出了如由示例实施例的3d图像处理模块200产生的图像平面中的对象(例如车辆)的二维(2d)和三维(3d)边界框。在图2的示例中，示出了具有如由如本文中所描述的3d图像处理模块200生成的2d边界框(黄色)和3d边界框(绿色)的对象(例如车辆)。
在3d图像处理模块200的示例实施例中，深度学习模块212被用于学习图像平面中的投影3d边界框。拟合模块214将深度学习模块212的输出与对应相机矩阵和地形图数据的输入一起使用，以在输入图像集中产生对象的3d属性。下文将更详细地描述深度学习模块212和拟合模块214。
用于3d边界框生成的深度学习模块
用于学习2d边界框的基于深度学习的方法已经成熟，并且多年来一直是最先进的方法。通常，机器学习系统或神经网络被用于实施这些基于深度学习的方法。然而，这种用于3d对象边界框的基于深度学习的方法尚未在常规系统中采用。在本文中所描述的示例实施例中，深度学习模块212增加要回归的点的数目(例如从2d模型中的2个角增加到3d模型中的8个顶点)。在深度学习模块212的示例实施例中，添加了用于学习3d边界框的所有投影顶点的x和y坐标的新分支。新分支可以与原始2d对象检测架构一起被训练。在示例实施例中，用于分类的任务权重、2d边界框回归和3d边界框回归默认设置为(1:1:1)。可以通过人工注释获得所有地面真相，并且可以预定义八个点的顺序以促进特征学习。在深度学习模块212的推理训练期间，训练图像集可以被输入到深度学习模块212的网络(例如神经网络)，并且可以获得图像中每个对象的2d和3d边界框的所有x和y坐标。在深度学习模块212的训练之后，还应用了非极大值抑制(nms)来细化边界框并提高预测质量。深度学习模块212可以针对单个图像以40fps(每秒帧)实时运行，这满足了自主驾驶系统的要求。
拟合模块
在示例实施例中，拟合模块214的目标是将2d图像平面上的边界框提升到3d空间，并获得相机3d坐标空间中的对象的3d绝对属性，该3d绝对属性包括对象的高度、宽度、长度、到相机的距离和定向。在自主驾驶环境中，直接将2d信息提升到3d坐标空间具有很高的挑战性；这是因为，1)由于在典型的驾驶环境中，道路总是具有坡度(上下)，故拟合模块214不能使用平坦地面的假设，以及2)由于在驾驶期间可能会发生剧烈的振动，初始相机非固有矩阵并不总是可靠的。为了解决第一个问题，拟合模块214可以使用预先计算的或先前获得的地形图，该地形图包含具有地形的高度的准确的全球定位系统(gps)地点，拟合模块214可以从其获得与输入图像相关联的准确的地理信息。为了解决第二个问题，拟合模块214可以使用在线校准模块的输出，因此可以实时校正相机矩阵。以此方式，可以相对于相机矩阵校正自主车辆所经历的剧烈振动。
下文描述了由示例实施例的拟合模块214执行的3d边界框拟合过程：
3d边界框拟合过程：
1：步骤拟合(图像，bboxes)：
2：获得相机非固有矩阵t和固有矩阵k。
3：针对bboxes中的每个bbox进行以下操作
4：获得地形值v。
5：将原点设置为bbox的底部中心，获取所有八个点的坐标。
6：使用t将bbox变换为相机坐标。
7：使用k将八个点投影到图像平面。
8：使用最小二乘算法以及先验v解决拟合问题。
9：结束针对
10：返回3dbboxes
11：结束步骤
在上文所描述的3d边界框拟合过程中，分别通过校准数据源(例如在线校准模块)和地形图数据源获得相机矩阵(t和k)和地形值v。本质上，示例实施例的拟合模块214被配置成最小化对应于来自深度学习模块212的对象的八个点的输出值与来自3d世界的如由拟合模块214产生的八个点的投影值之间的差，同时维持以下假设：在3d空间中将对象表示为长方体。通过解决拟合问题，拟合模块214可以获得图像中对象的未知3d属性的最优值，并在3d空间中恢复对象的3d属性。为了提高示例实施例中使用的最小二乘算法的鲁棒性，拟合模块214可以对一些变量(例如车辆对象的高度、宽度和长度)使用预定义的界限。例如，用于车辆对象的变量的预定义界限可以全部大于1米且小于且50米。如本文中所描述的拟合过程的解决方案是高度准确的，并且也可以在多相机跟踪场景中应用。在示例实施例中，拟合模块214的平均处理速度为每个图像大约2毫秒，这仅给整个系统增加了一点开销，并且可以满足自主驾驶系统的要求。
由示例实施例产生的3d对象检测数据结果220的样本图示在图3至图20中示出并在下文描述。
图3和图4图示了包括来自广角相机的图像的第一图像样本集；图3图示了如由示例实施例的深度学习模块212处理的第一图像集的广角图像；图4图示了如由示例实施例的拟合模块214处理的第一图像集的广角图像。
图5和图6图示了包括来自中距相机的图像的第一图像样本集；图5图示了如由示例实施例的深度学习模块212处理的第一图像集的中距图像；图6图示了如由示例实施例的拟合模块214处理的第一图像集的中距图像。
图7和图8图示了包括来自远距相机的图像的第一图像样本集；图7图示了如由示例实施例的深度学习模块212处理的第一图像集的远距图像；图8图示了如由示例实施例的拟合模块214处理的第一图像集的远距图像。
在图3到图8中所示出的第一图像样本集中，相机面朝同一方向。因为自主车辆的不同相机可能具有不同的视场和检测范围，所以同一对象可能出现在图像平面中的不同地点处。例如，在中距相机图像的中间(参见图5和图6)的车辆出现在广角相机图像的上半部(参见图3和图4)和远距相机图像的左下角(参见图7和图8)。图3、图5和图7示出了由深度学习模块212执行的处理的结果。图4、图6和图8示出了由拟合模块214生成的投影结果。图3、图5和图7各自示出了绿色边界框，这些绿色边界框表示2d对象检测的结果。图3至图8各自示出了在检测到的对象周围的蓝色立方体，其中蓝色立方体表示由如本文中所描述的3d图像处理模块200产生的3d检测的结果。在图3至图8中，以黄色书写的数字图示了用于3d检测的八个顶点的顺序。所图示的示例仅示出了底部四个顶点，并且为了简单起见省略了顶部顶点。在图4、图6和图8中，通过将计算出的3d性质投影回2d图像平面来获得拟合结果。针对每个边界框，红色文本按以下顺序描述计算出的3d对象性质：车辆高度、宽度、长度、距离(在z轴上)和定向。例如，图6中所示出的中间车辆具有1.6米的高度、2.0米的宽度、3.7米的长度、28.4米的距离以及-88.5度的定向。对象的定向被测量为对象行进方向与相机x轴之间的角度。如果对象以与自主车辆105相同的方向向前行驶，则定向角将为-90度。从所示出的示例图像中可以清楚地看到，即使对象距自主汽车105超过200米，如本文中所描述的3d图像处理模块200仍可以获得针对3d对象性质的准确测量数据。3d图像处理模块200还可以有效地处置情况，诸如严重遮挡(参见图3和图4)和局部观察(参见图3、图4、图7和图8)。
图9和图10图示了包括来自广角相机的图像的第二图像样本集；图9图示了如由示例实施例的深度学习模块212处理的第二图像集的广角图像；图10图示了如由示例实施例的拟合模块214处理的第二图像集的广角图像。
图11和图12图示了包括来自中距相机的图像的第二图像样本集；图11图示了如由示例实施例的深度学习模块212处理的第二图像集的中距图像；图12图示了如由示例实施例的拟合模块214处理的第二图像集的中距图像。
图13和图14图示了包括来自远距相机的图像的第二图像样本集；图13图示了如由示例实施例的深度学习模块212处理的第二图像集的远距图像；图14图示了如由示例实施例的拟合模块214处理的第二图像集的远距图像。
图15和图16图示了包括来自广角相机的图像的第三图像样本集；图15图示了如由示例实施例的深度学习模块212处理的第三图像集的广角图像；图16图示了如由示例实施例的拟合模块214处理的第三图像集的广角图像。
图17和图18图示了包括来自中距相机的图像的第三图像样本集；图17图示了如由示例实施例的深度学习模块212处理的第三图像集的中距图像；图18图示了如由示例实施例的拟合模块214处理的第三图像集的中距图像。
图19和图20图示了包括来自远距相机的图像的第三图像样本集；图19图示了如由示例实施例的深度学习模块212处理的第三图像集的远距图像；图20图示了如由示例实施例的拟合模块214处理的第三图像集的远距图像。
现在参考图21，可以在用于自主车辆的3d图像处理系统210的上下文中使用本文中所公开的示例实施例。3d图像处理系统210可以包括如上文所描述的3d图像处理模块200，可以被包括在该3d图像处理模块中，可以执行该3d图像处理模块或可以由该3d图像处理模块执行。3d图像处理系统210可以包括如上文所描述的深度学习模块212和拟合模块214。这些模块可以被实施为实施本文中所描述和/或要求保护的任何一种或多种方法或功能的处理模块、软件或固件元件、处理指令或其他处理逻辑。3d图像处理系统210和其中的3d图像处理模块200可以从一个或多个相机接收一个或多个图像流或图像数据集(框205)。如上文所描述，对应于来自相机的原始图像帧的图像数据集被提供给3d图像处理模块200的深度学习模块212。深度学习模块212可以学习图像平面中对象的2d边界框的像素坐标和3d边界框的所有顶点。拟合模块214可以使用来自地形图的地质信息和包括具有相机非固有和固有矩阵的相机校准矩阵的相机信息来产生输入图像中对象的3d属性。拟合模块214可以产生对象在3d空间中的八个点的投影值。对象的3d属性可以被提供作为如来自3d图像处理系统210和其中的3d图像处理模块200的输出的3d对象检测数据220。上文提供了由3d图像处理模块200执行的处理的细节。
现在参考图22，流程图图示了用于图像处理的系统和方法1000的示例实施例。示例实施例可以被配置成：从与自主车辆相关联的至少一个相机接收图像数据，该图像数据表示至少一个图像帧(处理框1010)；使用经训练的深度学习模块，以确定在图像帧中检测到的对象周围的二维(2d)边界框的像素坐标(处理框1020)；使用经训练的深度学习模块，以确定对象周围的三维(3d)边界框的顶点(处理框1030)；使用拟合模块，以获得与关联于图像帧的特定环境相关的地质信息并获得与至少一个相机相关联的相机校准信息(处理框1040)；以及使用拟合模块，以使用3d边界框、地质信息和相机校准信息来确定对象的3d属性(处理框1050)。
如本文中所使用且除非另外指定，否则术语“移动设备”包括可以与本文中所描述的车载控制系统150和/或3d图像处理模块200进行通信以获得对经由任何数据通信模式传达的数据信号、消息或内容的读取或写入访问的任何计算或通信设备。在许多情况下，移动设备130是手持式便携式设备，诸如智能电话、移动电话、蜂窝电话、平板计算机、膝上型计算机、显示寻呼机、射频(rf)设备、红外(ir)设备、全球定位设备(gps)、个人数字助理(pda)、手持式计算机、可穿戴式计算机、便携式游戏主控台、其他移动通信和/或计算设备或组合了一个或多个前述设备的集成设备等。附加地，移动设备130可以是计算设备、个人计算机(pc)、多处理器系统、基于微处理器的或可编程的消费电子设备、网络pc、诊断设备、由车辆119制造者或服务技术人员操作的系统等，并且不限于便携式设备。移动设备130可以接收和处理呈各种数据格式中的任一种数据格式的数据。数据格式可以包括或被配置成与任何编程格式、协议或语言一起操作，语言包括但不限于javascript、c++、ios、android等。
如本文中所使用且除非另外指定，否则术语“网络资源”包括可以与本文中所描述的车载控制系统150和/或3d图像处理模块200进行通信以获得对经由任何进程间或联网数据通信模式传达的数据信号、消息或内容的读取或写入访问的任何设备、系统或服务。在许多情况下，网络资源122是数据网络可访问的计算平台，包括客户端或服务器计算机、网站、移动设备、对等(p2p)网络节点等。附加地，网络资源122可以是web器具、网络路由器、交换机、桥接器、网关、诊断装备、由车辆119制造者或服务技术人员操作的系统或能够执行指令集(依序或以其他方式)的任何机器，这些指令指定该机器要采取的动作。进一步地，虽然只图示了单个机器，但是术语“机器”也可以理解为包括单独地或联合地执行用以执行本文中所讨论的任何一种或多种方法的指令(或多个指令集)的机器的任何集合。网络资源122可以包括网络可输送数字内容的各种提供者或处理器中的任一个。通常，所采用的文件格式是可扩展标记语言(xml)，然而，各种实施例不限于此，并且可以使用其他文件格式。例如，各种实施例可以支持除了超文本标记语言(html)/xml之外的数据格式或除了开放/标准数据格式之外的格式。本文中所描述的各种实施例可以支持任何电子文件格式(诸如便携式文档格式(pdf))、音频(例如运动图像专家组音频第3层——mp3等)、视频(例如mp4等)以及任何由特定内容站点限定的专有交换格式。
与网络资源122一起使用的广域数据网络120(也被表示为网络云)可以被配置成将一个计算或通信设备与另一个计算或通信设备耦合。可以使得网络能够采用任何形式的计算机可读数据或介质以供将信息从一个电子设备传达给另一个电子设备。除了其他广域网(wan)、蜂窝电话网络、城域网、局域网(lan)、其他分组交换网络、电路交换网络、直接数据连接(诸如通过通用串行总线(usb)或以太网端口)、其他形式的计算机可读介质或其任何组合之外，网络120还可以包括因特网。除了其他广域网(wan)、蜂窝电话网络、卫星网络、空中广播网络、am/fm无线电网络、寻呼机网络、uhf网络、其他广播网络、游戏网络、wifi网络、对等网络、ip语音(voip)网络、城域网、局域网(lan)、其他分组交换网络、电路交换网络、直接数据连接(诸如通过通用串行总线(usb)或以太网端口)、其他形式的计算机可读介质或其任何组合之外，网络120还可以包括因特网。在一组互连的网络(包括基于不同架构和协议的网络)上，路由器或网关可以充当网络之间的链路，从而使得能够在不同网络上的计算设备之间发送消息。此外，网络内的通信链路通常可以包括双绞线电缆、usb、火线、以太网或同轴电缆，而网络之间的通信链路可以利用模拟或数字电话线、包括t1、t2、t3和t4的完整或部分专用数字线、集成服务数字网络(isdn)、数字用户线(dsl)、包括卫星链路、蜂窝电话链路或本领域的普通技术人员已知的其他通信链路的无线链路。此外，远程计算机和其他相关电子设备可以经由调制解调器和临时电话链路远程连接到网络。
网络120还可以包括还可以与独立自组织网络等交叉的各种无线子网络中的任一个子网络，以提供面向基础设施的连接。这种子网络可以包括网状网络、无线lan(wlan)网络、蜂窝网络等。网络还可以包括通过无线无线电链路或无线收发器连接的终端、网关、路由器等的自主系统。这些连接器可以被配置成自由且随机地移动并且任意地组织它们自己，以使得网络的拓扑可以快速改变。网络120还可以采用多种标准无线和/或蜂窝协议或接入技术中的一个或多个，包括结合本文的图中所描述的网络接口712和网络714在本文中阐述的标准无线和/或蜂窝协议或接入技术。
在特定实施例中，移动设备132和/或网络资源122可以充当使得用户能够访问和使用车载控制系统150和/或3d图像处理模块200来与车辆子系统的一个或多个组件进行交互的客户端设备。这些客户端设备132或122可以实际上包括被配置成通过网络(诸如，如本文中所描述的网络120)发送和接收信息的任何计算设备。这种客户端设备可以包括移动设备，诸如蜂窝电话、智能电话、平板计算机、显示寻呼机、射频(rf)设备、红外(ir)设备、全球定位设备(gps)、个人数字助理(pda)、手持式计算机、可穿戴式计算机、游戏主控台、组合了一个或多个前述设备的集成设备等。客户端设备还可以包括其他计算设备，诸如个人计算机(pc)、多处理器系统、基于微处理器的或可编程的消费电子产品、网络pc等。如此，客户端设备可以在能力和特征方面广泛地变化。例如，被配置为蜂窝电话的客户端设备可以具有数字小键盘和几行单色lcd显示器，其上仅可以显示文本。在另一示例中，启用web的客户端设备可以具有触敏屏幕、手写笔和彩色lcd显示屏，其中可以显示文本和图形两者。此外，启用web的客户端设备可以包括浏览器应用，该浏览器应用能够接收和发送无线应用协议消息(wap)和/或有线应用消息等。在一个实施例中，使得浏览器应用能够采用超文本标记语言(html)、动态html、手持式设备标记语言(hdml)、无线标记语言(wml)、wmlscript、javascripttm、可扩展html(xhtml)、紧凑html(chtml)等，以显示和发送具有相关信息的消息。
客户端设备还可以包括至少一个客户端应用，该至少一个客户端应用被配置成经由网络传输从另一计算设备接收内容或消息。客户端应用可以包括提供和接收文本内容、图形内容、视频内容、音频内容、警报、消息、通知等的能力。此外，客户端设备还可以被配置成诸如通过短消息服务(sms)、直接消息传递(例如twitter)、电子邮件、多媒体消息服务(mms)、即时消息传递(im)、互联网中继聊天(irc)、mirc、jabber、增强消息传递服务(ems)、文本消息传递、智能消息传递、空中(ota)消息传递等在另一计算设备等之间传达和/或接收消息。客户端设备还可以包括无线应用设备，客户端应用在该无线应用设备上被配置成使得设备的用户能够经由网络无线地向网络资源发送信息和从网络资源接收信息。
车载控制系统150和/或3d图像处理模块200可以使用增强执行环境的安全性的系统被实施，从而提高安全性并降低车载控制系统150和/或3d图像处理模块200和相关服务可能被病毒或恶意软件破坏的可能性。例如，车载控制系统150和/或3d图像处理模块200可以使用受信任执行环境被实施，该受信任执行环境可以确保敏感数据以安全的方式被存储、处理和传达。
图23示出了呈计算系统700的示例形式的机器的图解表示，在该计算系统内指令集当被执行时和/或处理逻辑当被启动时可以使得机器执行本文中所描述和/或要求保护的任何一种或多种方法。在备选实施例中，机器作为独立设备操作，或可以被连接(例如联网)到其他机器。在联网部署中，机器可以在服务器-客户端网络环境中以服务器或客户端机器的身份操作，或在对等(或分布式)网络环境中作为对等机操作。机器可以是个人计算机(pc)、膝上型计算机、平板计算系统、个人数字助理(pda)、蜂窝电话、智能电话、web器具、机顶盒(stb)、网络路由器、交换机或桥接器或能够执行指令集(依序或以其他方式)或启动处理逻辑的任何机器，这些指令指定将由该机器采取的动作。进一步地，虽然只图示了单个机器，但是术语“机器”也可以理解为包括单独地或联合地执行用以执行本文中所描述和/或要求保护的任何一种或多种方法的指令(或多个指令集)的机器的任何集合。
示例计算系统700可以包括可以经由总线或其他数据传送系统706彼此通信的数据处理器702(例如系统芯片(soc)、通用处理核心、图形核心和可选其他处理逻辑)和存储器704。移动计算和/或通信系统700还可以包括各种输入/输出(i/o)设备和/或接口710，诸如触摸屏显示器、音频插孔、语音接口和可选网络接口712。在示例实施例中，网络接口712可以包括一个或多个无线电收发器，该无线电收发器被配置成与任何一种或多种标准无线和/或蜂窝协议或接入技术(例如蜂窝系统的第二代(2g)、2.5代、第三代(3g)、第四代(4g)和下一代无线电接入、全球移动通信系统(gsm)、通用分组无线电服务(gprs)、增强型数据gsm环境(edge)、宽带码分多址(wcdma)、lte、cdma2000、wlan、无线路由器(wr)网格等)。网络接口712还可以被配置成与各种其他有线和/或无线通信协议(包括tcp/ip、udp、sip、sms、rtp、wap、cdma、tdma、umts、uwb、wifi、wimax、
存储器704可以表示机器可读介质，在机器可读介质上存储实施本文中所描述和/或要求保护的方法或功能中的任何一个或多个的一个或多个指令集、软件、固件或其他处理逻辑(例如逻辑708)。在由移动计算和/或通信系统700执行期间，逻辑708或其一部分也可以完全或至少部分地驻留在处理器702内。如此，存储器704和处理器702也可以构成机器可读介质。逻辑708或其一部分也可以被配置为处理逻辑或逻辑，该处理逻辑或逻辑的至少一部分部分地实施于硬件中。逻辑708或其一部分还可以经由网络接口712来通过网络714被传输或接收。虽然示例实施例的机器可读介质可以是单种介质，但是术语“机器可读介质”应被理解为包括存储一个或多个指令集的单种非暂时性介质或多种非暂时性介质(例如集中式或分布式数据库和/或相关联的高速缓存和计算系统)。术语“机器可读介质”也可以被理解为包括能够存储、编码或携带指令集以供机器执行并且使得机器执行各种实施例的方法中的任何一种或多种或能够存储、编码或携带被这种指令集利用或与之相关联的数据结构的任何非暂时性介质。术语“机器可读介质”可以相应地被理解为包括但不限于固态存储器、光学介质和磁性介质。
提供本公开的摘要是为了允许读者快速地查明本技术公开的性质。应该将摘要理解为，摘要将不被用于解译或限制权利要求书的范围或意义。附加地，在前述具体实施方式中，可以看到，出于简化本公开的目的而将各种特征一起分组在单个实施例中。本公开方法不应被解译为反映要求保护的实施例要求比每个权利要求中明确叙述的特征更多的特征的意图。相反，如随附权利要求书所反映，本发明的主题在于比单个公开实施例的所有特征少的特征。因此，随附权利要求书由此并入具体实施方式中，其中每个权利要求自身作为单独的实施例。
- 还没有人留言评论。精彩留言会获得点赞！