使用车辆摄像机系统的道路特征检测的制作方法

相关申请的交叉引用

本申请要求2016年4月19日提交的、名称为“用于多道路特征检测的环绕取景摄像机系统”的美国临时专利申请第62/324,606的优先权，其全部公开内容通过引用并入本文中。

本公开内容一般涉及车辆摄像机系统，并且更具体地涉及用于道路特征检测、分类和追踪的环绕取景摄像机系统。

背景技术：

车辆（诸如，轿车、摩托车、船或其他类型的汽车）可以配备有一个或多个摄像机以便向驾驶者、车辆的其他乘坐者或者车辆的内置感知系统提供车辆的外部视野。例如，车辆能够包括前面、侧面和/或后面的摄像机。在所有侧面具有摄像机的车辆能够实现提供车辆及其周围环境的“鸟瞰”视图或“俯”视图的环绕取景摄像机系统。来自摄像机的图像能够在车辆内的显示装置上（诸如，在仪表板、中控面板、抬头显示装置等上）呈现给驾驶者或车辆的其他乘坐者。额外地，来自摄像机的图像能够由车辆的感知计算系统使用以便检测车辆外部的物体和道路特征。

技术实现要素：

在一个示例性实施例中，用于道路特征检测的计算机实施方法包括由处理装置从与道路上的车辆相关联的摄像机系统中接收图像。该计算机实施方法进一步包括由处理装置至少部分地基于图像而生成道路的俯视图。该计算机实施方法进一步包括由处理装置至少部分地基于道路的俯视图而检测该道路的车道的车道边界。该计算机实施方法进一步包括由处理装置使用机器学习来检测道路的车道的车道边界内的道路特征。

在一些示例中，机器学习使用卷积神经网络。在一些示例中，机器学习使用人工神经网络。在一些示例中，检测车道边界内的道路特征进一步包括使用神经网络执行特征提取以便从俯视图中提取道路特征，并且使用神经网络执行道路特征的分类。在一些示例中，车道边界由车道标记、路肩或路缘限定。在一些示例中，检测车道边界进一步包括检测俯视图上的图元特征，执行俯视图上的图元特征的聚类，执行俯视图上的图元特征的曲线拟合，以及执行俯视图上的图元特征的曲线整合。在一些示例中，摄像机包括鱼眼镜头。在一些示例中，道路特征是限速指示器，自行车道指示器，铁路指示器，学校区指示器和方向指示器之一。示例方法可以额外地包括将被检测的道路特征添加至道路特征的数据库，其中，道路特征的数据库能够由其他车辆访问。

在另一个示例性实施例中，用于对道路的平整度（roughness）进行分类的系统包括与车辆相关联的多个摄像机。该系统还包括存储器和处理装置，该存储器包括计算机可读指令，该处理装置用于执行该计算机可读指令以用于执行方法。在示例中，该方法包括由处理装置从多个摄像机的每一个中接收图像。该方法进一步包括，对于多个摄像机的每一个，由处理装置至少部分地基于图像而生成道路的俯视图；由处理装置至少部分地基于道路的俯视图而检测道路的车道的车道边界；以及由处理装置使用机器学习来检测道路的车道的车道边界内的道路特征。该方法进一步包括由处理装置使来自多个摄像机的每一个中的道路特征融合。

示例方法可以额外地包括为多个摄像机的每一个执行时间同步。示例方法可以额外地包括将时间同步应用于使来自多个摄像机中的每一个的道路特征融合。示例方法可以额外地包括从与车辆相关联的传感器中接收传感器数据。在一些示例中，来自多个摄像机的每一个中的道路特征的融合进一步包括利用传感器数据而使来自多个摄像机的每一个中的道路特征融合。在一些示例中，传感器数据由与车辆相关联的光检测和测距（lidar）传感器产生。在一些示例中，传感器数据由与车辆相关联的远距离摄像机产生。在一些示例中，传感器数据是全球定位系统数据。

在有一个示例性实施例中，用于道路特征检测的计算机程序产品包括计算机可读存储介质，该计算机可读存储介质包括与其一起体现的程序指令，其中，该计算机可读存储介质本身不是暂时性信号，程序指令能够由处理装置执行以便使得处理装置执行方法。在示例中，该方法包括由处理装置从与道路上的车辆相关联的摄像机中接收图像。该方法进一步包括由处理装置至少部分地基于图像而生成道路的俯视图。该方法进一步包括由处理装置至少部分地基于道路的俯视图而检测该道路的车道的车道边界。该方法进一步包括由处理装置使用机器学习来检测道路的车道的车道边界内的道路特征。

在一些示例中，机器学习使用卷积神经网络。在一些示例中，机器学习使用人工神经网络。在一些示例中，检测车道边界内的道路特征进一步包括使用神经网络执行特征提取以便从俯视图中提取道路特征，并且使用神经网络执行道路特征的分类。在一些示例中，车道边界由车道标记、路肩或路缘限定。从下面结合附图的详细描述中，本公开的上述特征和优点以及其它特征和优点将是显而易见的。

方案1：一种用于道路特征检测的计算机实施方法，所述方法包括：

由处理装置从与道路上的车辆相关联的摄像机系统中接收图像；

由所述处理装置至少部分地基于所述图像而生成所述道路的俯视图；

由所述处理装置至少部分地基于所述道路的所述俯视图而检测所述道路的车道的车道边界；

由所述处理装置使用机器学习来检测所述道路的所述车道的所述车道边界内的道路特征。

方案2：如方案1所述的计算机实施方法，其中，所述机器学习使用卷积神经网络。

方案3：如方案1所述的计算机实施方法，其中，所述机器学习使用人工神经网络。

方案4：如方案1所述的计算机实施方法，其中，检测所述车道边界内的所述道路特征进一步包括：

使用神经网络执行特征提取以便从所述俯视图中提取道路特征；以及

使用所述神经网络执行所述道路特征的分类。

方案5：如方案1所述的计算机实施方法，其中，所述车道边界由车道标记、路肩或路缘限定。

方案6：如方案1所述的计算机实施方法，其中，检测所述车道边界进一步包括：

检测所述俯视图上的特征图元；

执行所述俯视图上的所述特征图元的聚类；

执行所述俯视图上的所述特征图元的曲线拟合；以及

执行所述俯视图上的所述特征图元的曲线整合。

方案7：如方案1所述的计算机实施方法，其中，所述摄像机包括鱼眼镜头。

方案8：如方案1所述的计算机实施方法，其中，所述道路特征从由下述内容组成的组中选择：限速指示器，自行车道指示器，铁路指示器，学校区指示器和方向指示器。

方案9：如方案1所述的计算机实施方法，进一步包括将被检测的道路特征添加至道路特征的数据库，其中，所述道路特征的数据库能够由其他车辆访问。

方案10：一种用于道路特征检测的系统，所述系统包括：

与车辆相关联的多个摄像机；

包括计算机可读指令的存储器；以及

用于执行所述计算机可读指令的处理装置，所述计算机可读指令用于执行方法，所述方法包括：

由处理装置从所述多个摄像机的每一个中接收图像；

对于所述多个摄像机的每一个，

由所述处理装置至少部分地基于所述图像而生成所述道路的俯视图；

由所述处理装置至少部分地基于所述道路的所述俯视图而检测所述道路的车道的车道边界；

由所述处理装置使用机器学习来检测所述道路的所述车道的所述车道边界内的道路特征；

由所述处理装置使来自所述多个摄像机的每一个中的所述道路特征融合。

方案11：如方案10所述的系统，其中，所述方法进一步包括为所述多个摄像机的每一个执行时间同步。

方案12：如方案11所述的系统，其中，所述方法进一步包括将所述时间同步应用于使来自所述多个摄像机的每一个中的所述道路特征融合。

方案13：如方案10所述的系统，其中，所述方法进一步包括：

从与所述车辆相关联的传感器套件中接收其他传感器数据模式，

其中，使来自所述多个摄像机的每一个中的所述道路特征融合进一步包括利用所述传感器数据而使来自所述多个摄像机的每一个中的所述道路特征融合。

方案14：如方案13所述的系统，其中，所述传感器数据由与所述车辆相关联的光检测和测距（lidar）传感器产生。

方案15：如方案13所述的系统，其中，所述传感器数据由与所述车辆相关联的远距离摄像机产生。

方案16：如方案13所述的系统，其中，所述传感器数据是全球定位系统数据。

方案17：一种用于道路特征检测的计算机程序产品，所述计算机程序产品包括：

计算机可读存储介质，所述计算机可读存储介质具有与其一起体现的程序指令，其中，所述计算机可读存储介质本身不是暂时性信号，所述程序指令能够由处理装置执行以便使得所述处理装置执行方法，所述方法包括：

由处理装置从与道路上的车辆相关联的摄像机中接收图像；

由所述处理装置至少部分地基于所述图像而生成所述道路的俯视图；

由所述处理装置至少部分地基于所述道路的所述俯视图而检测所述道路的车道的车道边界；

由所述处理装置使用机器学习来检测所述道路的所述车道的所述车道边界内的道路特征。

方案18：如方案17所述的计算机程序产品，其中，所述机器学习使用卷积神经网络。

方案19：如方案17所述的计算机程序产品，其中，所述机器学习使用人工神经网络。

方案20：如方案17所述的计算机程序产品，其中，检测所述车道边界内的所述道路特征进一步包括：

使用神经网络执行特征提取以便从所述俯视图中提取道路特征；以及

使用所述神经网络执行所述道路特征的分类。

附图说明

其他特征、优点和细节仅通过示例的方式出现在下列详细描述、参考附图的详细描述中，其中：

图1描绘了根据本公开内容的各方面的包括用于道路特征检测的处理系统的车辆；

图2描绘了根据本公开内容的各方面的图1的处理系统；

图3描绘了根据本公开内容的各方面的与车道边界检测相关联的图像的图像处理；

图4a和4b描绘了根据本公开内容的各方面的用于检测道路特征的神经网络；

图5描绘了根据本公开内容的各方面的用于道路特征检测的方法的流程图；

图6描绘了根据本公开内容的各方面的用于道路特征检测的方法的流程图；以及

图7描绘了根据本公开内容的各方面的用于实施本文中描述的技术的处理系统的框图。

具体实施方式

下列描述在本质上仅是示例性的并且不旨在限制本公开内容及其应用或用途。应该理解的是，在整个附图中，对应的附图标记表示相同或对应的部件和特征。当在本文中使用时，术语“模块”表示处理电路，该处理电路可以包括专用集成电路（asic）、电子电路、执行一个或多个软件或固件程序的处理器（共享的、专用的或成组的）和存储器、组合逻辑电路和/或提供所描述的功能的其他合适部件。

在本文中描述的技术解决方案提供使用车辆的摄像机的道路特征检测。例如，本发明使用车辆的环绕摄像机系统以便实时地检测、追踪和分类近距离道路特征可靠性。道路特征包括位于道路表面上或位于道路表面周围的车道标记、交通流向控制指示器、路缘、路肩等。为了检测道路特征，本发明实施深度学习网络以便使得多个道路特征的检测和分类能够实时地并行为一个步骤。在一些示例中，道路特征能够与其他车辆中的传感器/数据（例如，远距离传感器、其他摄像机、lidar传感器、地图等）融合以便改进检测和分类的准确性和稳健性。在额外的示例中，道路特征能够被用于自映射（self-mapping）和众包（crowdsourcing）以便产生和/或更新道路特征数据库。

当从高分辨率摄像机图像/数据中检测多个道路特征时，处理资源呈现出挑战。用于道路特征检测的现有方案使用多算法来代替深度学习以便检测道路特征。这样的现有方案对硬件/处理器敏感、耗时并且效率低。

本公开内容的示例实施例包括或形成各种技术特征、特殊效果和/或对技术的改进。本公开内容的示例实施例提供使用机器学习的道路特征检测以便解决现有道路特征检测中的计算的低效率和准确性问题。更具体地，在本文中描述的实施例通过基于来自与道路上的车辆相关联的摄像机的图像而产生道路的俯视图从而检测道路特征，基于道路的俯视图而检测道路的车道的车道边界，并且（例如，使用深度学习）检测道路的车道的车道边界内的道路特征。本公开内容的这些方面构成下述技术特征：该技术特征产生减少总的计算负载、功率消耗、硬件成本和时间的技术效果。

因此，本发明改进了如在本文中描述的用于检测道路特征的处理系统的功能。作为这些技术特征和技术效果的结果，在本文中描述的技术表现出对现有道路特征检测技术的改进。应该意识到的是，本公开内容的示例实施例的技术特征、技术效果和对技术的改进的上述示例仅是说明性的并且不是详尽的。

图1描绘了包括根据本公开内容的用于道路特征检测的处理系统110的车辆100。除了处理系统110以外，车辆100包括显示装置120、传感器套件122和摄像机130a、130b、130c、130d（在本文中统称为“摄像机130”）。车辆100能够是轿车、卡车、客货车、公共汽车、摩托车、船、飞机或其他合适的车辆100。

摄像机130捕获车辆100外部的图像。摄像机130的每一个具有视场（fov）131a、131b、131c、131d（在本文中统称为“fov131”）。fov是摄像机可观察的区域。例如，摄像机130a具有fov131a，摄像机130b具有fov131b，摄像机130c具有fov131c，以及摄像机130d具有fov131d。被捕获的图像能够是用于摄像机的整个fov或者能够是摄像机的fov的一部分。

根据本公开内容的各方面，尽管示出了四个摄像机130a-130d，但是能够实施不同数量的摄像机（例如，2个摄像机，3个摄像机，5个摄像机，8个摄像机，9个摄像机等）。被捕获的图像能够在显示装置120上显示以便向驾驶者/操作者或车辆100的其他乘坐者提供车辆100的外部视野。被捕获的图像能够在显示装置120上作为动态图像、静态图像或其一些组合而显示。显示装置120能够是全显示镜（fdm），该全显示镜能够实现显示来自摄像机130的一个或多个的图像。在一种模式中，fdm能够是传统的镜子，或者在另一种模式中，fdm能够是用于显示数字图像的显示装置120。

应该意识到的是，被捕获的（多个）图像能够是来自摄像机130a-130d之一的图像或者能够是来自摄像机130a-130d的多个的图像的组合。根据本公开内容的实施例，来自摄像机130的被捕获的图像能够被组合以便形成提供车辆100周围的环境视野的俯视图或“鸟瞰”视图。应该意识到的是，摄像机图像能够由任意其他车辆内置的显示装置显示，诸如，中空面板显示装置，并且摄像机图像能够来自任意其他内部或外部车辆摄像机。

当在本文中描述时，处理系统110从与道路上的车辆相关联的摄像机接收图像，至少部分地基于该图像而生成道路的俯视图，至少部分地基于该道路的俯视图而检测车道的车道边界，并且使用机器学习和/或计算机视觉技术来识别道路的车道的车道边界内的道路特征。处理系统110关于图2被更详细地描述。处理系统110还能够从传感器套件122中接收传感器数据，传感器套件122能够是光检测和测距（lidar）传感器、远距离摄像机、全球定位系统（gps）等中的一个或多个。传感器数据能够被用于增强道路特征检测。

特别地，图2描绘了根据本公开内容的图1的处理系统110。处理系统110包括处理装置202，储存器204，俯视图生成引擎212，车道边界检测引擎214和道路特征检测引擎216。图2关于图1的车辆100被描述。图2还关于图3被描述，图3描绘了根据本公开内容的各方面的与车道边界检测相关联的图像302、304、306、308、310、312的图像处理。

关于图2描述的各种部件、模块、引擎等能够被实施为存储在计算机可读存储介质上的指令，实施为硬件模块，实施为特殊用途的硬件（例如，专用硬件，多个专用集成电路（asics），作为嵌入式控制器，硬连线电路等），或者实施为这些内容的一些组合或多种组合。

在示例中，在本文中描述的（多个）引擎能够是硬件和程序的组合。程序能够是储存在有形存储器上的处理器可执行指令，并且硬件能够包括用于执行这些指令的处理装置202。因此，系统存储器（例如，存储器204）能够存储程序指令，当由处理装置202执行时该程序指令实施本文中描述的引擎。也能够使用其他引擎以便包括在本文中的其他示例中描述的特征和功能。替代地或额外地，处理系统110能够包括专用硬件，诸如，一个或多个集成电路、asics、多个专用特殊处理器（assps）、多个现场可编程门阵列（fpgas）或者专用硬件的前述示例的任意组合，以用于执行本文中描述的技术。

俯视图生成引擎212从车辆100的摄像机（例如，摄像机130之一）接收图像（例如，原始图像302）。该图像包括道路的一部分，车辆100定位在该道路上和/或车辆100沿着该道路行进。俯视图生成引擎212至少部分地基于该图像而生成道路的俯视图。也就是说，俯视图生成引擎212使用该图像以便生成道路的俯视图，仿佛摄像机的观察点正好在道路上方而向下看着道路。俯视图的示例（例如，自顶向下的视图304）在图3中被描绘。

根据本公开内容的各方面，俯视图生成引擎212使用鱼眼摄像机成像技术以便从用鱼眼摄像机（即，具有鱼眼镜头的摄像机）捕获的图像中生成俯视图。当使用鱼眼摄像机时，俯视图生成引擎212能够被校准以便补偿由鱼眼镜头引起的径向畸变。

一旦生成俯视图，车道边界检测引擎214基于道路的俯视图而检测道路的车道的车道边界。车道能够由车道标记、路缘、路肩或者指示车辆在其中行进的车道的其他视觉指示器定界。车道边界检测引擎214能够通过检测俯视图上的特征图元（点、线段等）而检测车道边界（例如参见车道边界特征检测306），执行俯视图上的特征图元的聚类（例如参见特征图元聚类308），执行俯视图上的特征图元的曲线拟合（例如参见曲线拟合310），以及执行俯视图上的特征图元的曲线整合（例如参见曲线整合312）。检测车道边界能够实现在车道边界内的道路特征的检测。特别地，最终图像（例如，曲线整合312，也被称为“边界图像312”）被用于检测道路特征，但是也能够使用根据本公开内容的各方面的其他图像来检测道路特征。

一旦车道的车道边界被检测，道路特征检测引擎216使用该车道边界以便使用机器学习和/或计算机视觉技术来检测道路的车道的车道边界内的道路特征。道路特征检测引擎216在如由车道边界限定的俯视图中搜索以便检测道路特征。道路特征检测引擎216能够确定道路特征的类型（例如，直行箭头、左转箭头等）以及道路特征的位置（例如，前面的箭头，左侧的自行车道等）。

道路特征能够在道路特征的数据库（例如，道路特征数据库218）中被预先限定。道路特征的示例包括限速指示器、自行车道指示器、铁路指示器、学校区指示器和方向指示器（例如，左转箭头，直行箭头，右转箭头，直行和转箭头，直行和右转箭头等）等。当检测到道路特征时，道路特征数据库218能够被更新，并且道路特征数据库218能够由其他车辆访问，诸如通过网路上的云计算环境访问或者通过车辆100直接地访问（例如，利用直接短距离通信（dscr））。这能够实现道路特征的众包。

为了检测道路特征，道路特征检测引擎216使用机器学习和计算机视觉技术。更具体地，道路特征检测引擎216能够结合并利用基于规则的决策和人工智能（ai）推理以便实现本文中描述的各种操作。词组“机器学习”广泛地描述了从数据中学习的电子系统的功能。机器学习系统、引擎或模块能够包括能够被训练（诸如在外部云环境中）的可训练机器学习算法以便学习当前未知的输入和输出之间的功能关系，并且所得到的模块能够被道路特征检测引擎216用于检测道路特征。

在一个或多个实施例中，机器学习功能能够使用人工神经网路（ann）而实施，该人工神经网络具有被训练以便执行当前未知的功能的能力。在机器学习和认知科学中，ann是一族由动物的生物神经网络（并且特别是大脑）启发的统计学习模型。ann能够被用于估计或近似依赖于大量输入的系统和功能。在其他实施例中，机器学习能够利用卷积神经网络（cnn）而实施。cnn是一种前馈神经网络。机器学习能够利用任意合适类型的神经网络而实施。

ann能够被实施为互联的处理器元件的所谓的“神经形态”系统，其作用为模拟的“神经元”并且以电子信号的形式在彼此之间交换“消息”。类似于携带生物神经元之间的信息的突触神经递质连接的所谓“可塑性”，在模拟神经元之间携带电子信息的ann中的连接设置有对应于给定连接的强度或弱点的数值权重。该权重能够基于经验而被调节和调整，从而使得ann适应输入并且能够学习。例如，用于手写识别的ann由能够被输入图像的像素激活的一组输入神经元限定。在通过由网络的设计者确定的功能进行加权和变换之后，这些输入神经元的激活随后被传递至通常被称为“隐藏”神经元的其他下游神经元。重复该过程直到输出神经元被激活。被激活的输出神经元确定读取哪个字符。

图4a和4b描绘了根据本公开内容的各方面的用于检测道路特征的神经网络400a、400b。如在图4a中描绘的，道路特征检测引擎216能够通过使用神经网络执行特征提取402以便提取道路特征而检测道路特征，并且随后使用神经网络实施分类404。图4b更详细地描绘了特征提取402和分类404作为使用卷积神经网络的示例。

特征提取使用边界图像312作为输入，边界图像312表示如由俯视图生成引擎212和车道边界检测引擎214执行的在图3中描绘的图像处理的结果。如在本文中描述的，特征提取402使用神经网络（例如，使用特征图）以便提取道路特征。特征提取402输出道路特征至分类404以便例如基于存储在道路特征数据库218中的道路特征而对道路特征进行分类。分类404输出道路特征406a、406b、406c、406d等，这些道路特征能够是限速指示器、自行车道指示器、铁路指示器、学校区指示器、方向指示器或其他道路特征。

应该意识到的是，使用特征检测402和分类404的道路特征检测引擎216能够作为一个步骤并行地并且实时地检测多个道路特征（例如，道路特征406a、406b、406c、406d等）。通过使用机器学习，能够减少现有的道路特征检测中的计算效率和准确性问题。

图5描绘了根据本公开内容的各方面的用于道路特征检测的方法500的流程图。例如，方法500能够由图1和2的处理系统110、图7的处理系统700或其他合适的处理系统或装置实施。

在框502处，处理系统110从与道路上的车辆相关联的摄像机接收图像。在框504处，俯视图生成引擎212至少部分地基于该图像生成道路的俯视图。

在框506处，车道边界检测引擎214至少部分地基于该道路的俯视图检测道路的车道的车道边界。如关于图3所描述和描绘的，车道边界检测引擎能够检测车道边界。

在框508处，道路特征检测引擎216使用机器学习（例如，卷积神经网络、人工神经网络等）而检测道路的车道的车道边界内的道路特征。道路特征检测引擎216能够使用神经网络而从（在车道边界内的）俯视图中执行特征提取，并且随后执行该道路特征的分类（例如，确定道路特征的类型）。

额外的方法也能够被包括，并且应该理解的是，在图5中描绘的方法表示图示说明并且能够添加其他方法或者在不脱离本公开内容的范围和精神的情况下能够对现有的方法进行去除、修改或重置。

图6描绘了根据本公开内容的各方面的用于道路特征检测的方法600的流程图。例如，方法600能够由图1和2的处理系统110、图7的处理系统700或其他合适的处理系统或装置实施。特别地，方法600提供来自多个摄像机（例如，摄像机130a、130b、130c、130d）的图像的协调的多相机融合。

在框602处，处理系统110从摄像机130的每一个中接收图像。在框604处，对于摄像机130的每一个，下述内容发生：俯视图生成引擎212基于图像生成道路的俯视图；车道边界检测引擎214检测该俯视图检测道路的车道的车道边界；以及道路特征检测引擎216使用机器学习检测道路的车道的车道边界内的道路特征。道路特征检测引擎能够检测多个道路特征。

在框606处，融合引擎（未图示）首先使来自摄像机的每一个中的信息融合，随后基于整合的车道信息而使来自摄像机的每一个中的道路特征融合。当道路特征从一个摄像机的fov传递到另一个摄像机的fov时，当道路特征部分地被阻挡在一个或多个摄像机的fov中及类似情况时，使来自摄像机的每一个中的道路特征融合通过预测道路特征位置而提供不间断的且准确的道路特征检测。

该融合还能够包括使来自车辆100中的传感器（例如，传感器套件122）的数据融合。例如，方法600能够包括从传感器套件122中接收传感器数据。传感器能够是远距离传感器，其他摄像机，lidar传感器，gps等及其合适的组合。因此，使来自多个摄像机的每一个中的道路特征融合能够进一步包括利用传感器数据而使来自多个摄像机的每一个中的道路特征融合。定时信号能够被施加至摄像机130、融合引擎和传感器套件122以便为摄像机130、融合引擎和传感器套件122施加时间同步。这使得道路特征检测能够提供有助于环绕取景摄像机（例如，摄像机130）的反馈和背景信息以便执行如在本文中描述的图像处理。

额外的方法也能够被包括，并且应该理解的是，在图6中描绘的方法表示图示说明并且能够添加其他方法或者在不脱离本公开内容的范围和精神的情况下能够对现有的方法进行去除、修改或重置。

要理解的是，本公开内容能够结合现在已知或后续发展的任意其他类型的计算环境而实施。例如，图7图示了用于实施本文中描述的技术的处理系统700的框图。在示例中，处理系统700具有一个或多个中心处理单元（处理器）21a、21b、21c等（共同地或同属地称为（多个）处理器21和/或（多个）处理装置）。在本公开内容的各方面中，每个处理器21能够包括精简指令集计算机（risc）微处理器。处理器21经由系统总线33联接至系统存储器（例如，随机存取存储器（ram）24）和各种其他部件。只读存储器（rom）22联接至系统总线33并且能够包括控制处理系统700的特定基本功能的基本输入/输出系统（bios）。

另外图示的是联接至总线33的输入/输出（i/o）适配器27和网络适配器26。i/o适配器27能够是与硬盘23和/或其他存储驱动器25或任意其他类似部件通信的小型计算机系统接口（scsi）适配器。i/o适配器27、硬盘23和存储装置25在本文中统称为大容量存储器（massstorage）34。用于在处理系统700上运行的操作系统40能够存储在大容量存储器34中。网络适配器利用外部网络36而与系统总线33互连，从而使得处理系统700能够与其他这样的系统通信。

显示装置（例如，显示器）35通过显示适配器32连接至系统总线33，显示适配器32能够包括图像适配器以便改进图形和一般的计算密集型应用以及视频控制器的性能。在本公开内容的一个方面中，适配器26、27和/或32能够被连接至经由中间总线桥（未示出）而连接至系统总线33的一个或多个i/o总线。用于连接外设装置（诸如，硬盘控制器，网络适配器和图形适配器）的合适的i/o总线通常包括公共协议，诸如，外设部件互连标准（pci）。额外的输入/输出装置被示出为经由用于接口适配器28和显示适配器32连接至系统总线33。键盘29、鼠标30和扬声器31能够经由用户接口适配器28连接至系统总线33，例如，用户接口适配器28能够包括将多个装置适配器集成到单个集成电路中的超级i/o芯片。

在本公开内容的一些方面中，处理系统700包括图形处理单元37。图形处理单元37是被设计用于操纵和改变存储器以便加速旨在用于输出到显示装置的帧缓冲器中的图像的创建的专用电子电路。通常地，图像处理单元37在操纵计算机图形和图像处理方面是非常高效的，并且具有高度并行的结构，该结构使得其对于并行地完成大块数据的处理的算法比通用cpu更高效。

因此，如在本文中构造的，处理系统700包括形式为处理器21的处理能力，包括存储器（例如，ram24）和大容量存储器34的存储能力，诸如键盘29和鼠标30的输入装置，以及包括扬声器31和显示装置35的输出能力。在本公开内容的一些方面中，系统存储器（例如，ram24）和大容量存储器34共同地存储操作系统以便协调在处理系统700中所示的各种部件的功能。

已经为了说明的目的呈现了本公开内容的各种示例的描述，但是其不旨在是详尽的或限于所公开的实施例。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域普通技术人员而言将是明显的。在本文中使用的术语被选择成最好地解释本发明的原理、实际的应用或优于市场中发现的技术的技术改进，或者被选择成能够使得本领域普通技术人员理解本文中公开的技术。

虽然已经参考示例性实施例描述了上述公开内容，但是本领域技术人员将理解的是，在不脱离本公开内容的范围的情况下能够做出各种改变并且能够用等同物替换本公开内容的元件。此外，在不脱离本公开内容的基本范围的情况下，能够做出许多改变以便使特定情形或材料适于本公开内容的教导。因此，意图的是本发明不限于所公开的具体实施例，但是将包括落在本申请的范围内的所有实施例。