本申请要求2016年1月5日提交的美国临时专利申请no.62/275,046以及2016年8月10日提交的美国临时专利申请no.62/373,153的优先权的利益。前述两个申请通过其完整引用合并到本文中。
本公开总体上涉及先进驾驶者辅助系统(adas)和自主车辆(av)系统。附加地，本公开涉及用于处理图像的系统和方法以及用于估计车辆的未来路径的系统和方法。
背景技术：
先进驾驶者辅助系统(adas)和自主车辆(av)系统连同对象分类器一起使用相机和其它传感器，其被设计为检测对道路进行导航的车辆的环境中的特定对象。对象分类器被设计为检测预定义对象并且用在adas和av系统内，以基于被检测其位置的对象的类型等而控制车辆或对驾驶者告警。然而，作为单独解决方案，预先配置的分类器用于处理道路环境及其周围的无穷小变化和细节及其一般动态性质(移动车辆、阴影等)的能力是有限的。随着adas和av系统朝着完全自主操作发展，增强这些系统的能力将是有益的。
技术实现要素：
以下具体实施方式参照附图。只要可能，相同标号就用在附图以及以下描述中以指代相同或相似部分。虽然本文描述若干说明性实施例，但修改、适配和其它实现方式是可能的。例如，可以对附图所示的组件进行替换、添加或修改，并且可以通过对所公开的方法替换、重排、移除或添加步骤来修改本文所描述的说明性方法。相应地，以下具体实施方式不限于所公开的实施例和示例。
所公开的实施例提供可以用作自主导航/驾驶和/或驾驶者辅助技术特征的部分或与之组合而使用的系统和方法。驾驶者辅助技术指代用于在驾驶者的车辆的导航和/或控制(例如fcw、ldw和tsr)方面辅助他们的任何合适的技术，与完全自主驾驶相反。在各个实施例中，所述系统可以包括：一个、两个或更多个相机，其可安装在车辆中；以及关联处理器，其监控所述车辆的环境。在其它实施例中，附加类型的传感器可以安装在车辆中，并且可以用在自主导航和/或驾驶者辅助系统中。在目前所公开的主题内容的一些示例中，所述系统可以提供用于处理对道路进行导航的车辆前面的环境的图像以用于训练系统(例如神经网络、应用例如深度学习算法的深度学习系统等)以基于图像而估计车辆的未来路径的技术。在目前所公开的主题内容的其它示例中，所述系统可以提供用于使用受训系统来处理对道路进行导航的车辆前面的环境的图像以估计车辆的未来路径的技术。
根据目前所公开的主题内容的示例，提供一种用于估计车辆的当前位置前面的未来路径的系统。所述系统可以包括：至少一个处理器，其编程为：获得对道路进行导航的车辆的当前任意位置前面的环境的图像；获得受训练以在对道路进行导航的车辆前面的环境的第一多个图像上估计未来路径的受训系统；将受训系统应用于所述车辆的当前任意位置前面的环境的图像；以及基于将受训系统应用于所述图像而提供当前任意位置前面的所述车辆的所估计的未来路径。
在一些实施例中，受训系统包括全局函数的分段式仿射函数。在一些实施例中，所述全局函数可以包括：卷积、最大池化和/或修正线性单元(relu)。
在一些实施例中，所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以控制所述车辆的至少一个电子或机械单元，以改变所述车辆的至少一个运动参数。在一些实施例中，所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以将感知反馈提供给所述车辆的驾驶者。
在一些实施例中，所述当前位置前面的所述车辆的所估计的未来路径可以进一步基于：使用至少一个分类器来标识所述环境的图像中显现的一个或多个预定义对象。
所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以提供用于所述车辆的转向控制功能的控制点。
在一些实施例中，将受训系统应用于所述车辆的当前位置前面的所述环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径。
在一些实施例中，所述至少一个处理器可以进一步编程为：在估计所述车辆的当前位置前面的道路简档中，利用所述车辆的当前位置前面的所估计的未来路径。
在一些实施例中，将受训系统应用于所述车辆的当前位置前面的所述环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径，并且可以还包括：沿着所述当前位置前面的所述车辆的所述两个或更多个所估计的未来路径中的每一个估计道路简档。
在一些实施例中，所述至少一个处理器可以进一步编程为：在检测位于所述车辆的未来路径中或其附近的一个或多个车辆中，利用所述车辆的当前位置前面的所估计的未来路径。
在一些实施例中，所述至少一个处理器可以进一步编程为：使得所述车辆的至少一个电子或机械单元基于确定为处于所述车辆的未来路径中或其附近的一个或多个车辆的位置而改变所述车辆的至少一个运动参数。
在一些实施例中，所述至少一个处理器可以进一步编程为：触发感知告警，以向用户指示所述一个或多个车辆确定为处于所述车辆的未来路径中或其附近。
所述处理图像的方法可以包括：获得第一多个训练图像，所述第一多个训练图像中的每一个是对道路进行导航的车辆前面的环境的图像；对于所述第一多个训练图像中的每一个，获得所述车辆的相应目前位置前面的所述车辆的预先存储的路径；给定图像，训练系统以提供用于对车辆的相应目前位置前面的道路进行导航的车辆的未来路径，其中，训练所述系统包括：提供所述第一多个训练图像作为对所述系统的输入；在训练的每个迭代时，基于通过权重的当前状态所估计的相应临时未来路径以及相应预先存储的路径而计算损失函数；以及根据所述损失函数的结果来更新神经的权重。
在一些实施例中，获得所述第一多个训练图像可以还包括：对于来自所述第一多个训练图像的图像中的每一个，获得指示在捕获所述图像的时刻所述车辆在所述道路上的位置的数据。在一些实施例中，获得所述第一多个训练图像包括：在来自所述第一多个训练图像的至少一个图像中获得至少一个车道标记的位置，并且其中，对于来自所述第一多个训练图像的图像中的每一个，获得指示在捕获所述图像的时刻所述车辆在所述道路上的位置的数据包括：对于来自所述第一多个训练图像的所述至少一个图像，根据所述至少一个图像中的所述至少一个车道标记的位置来确定在捕获所述至少一个图像的时刻所述车辆在所述道路上的位置。
在一些实施例中，根据所述至少一个图像中的所述至少一个车道标记的位置来确定在捕获来自所述第一多个训练图像的所述至少一个图像的时刻所述车辆在所述道路上的位置可以包括：确定在距所述至少一个车道标记的位置的预定义偏移处所述车辆在所述道路上的位置。
在一些实施例中，可以基于在捕获相应第二多个训练图像的相应时刻所述车辆在所述道路上的位置而确定所述车辆的所述相应目前位置前面的所述车辆的所述预先存储的路径，并且其中，所述第二多个训练图像可以是在与所述目前位置关联的图像之后捕获的来自所述第一多个训练图像的图像。
在一些实施例中，训练所述系统包括多个迭代，并且可以被执行直到满足停止条件。
在一些实施例中，所述方法可以还包括：作为输出，提供受训系统，其被配置为：给定对道路进行导航的车辆前面的环境的任意输入图像，提供关于所述车辆的未来路径估计。
在一些实施例中，所述第一多个训练图像可以包括相对较高数量的、道路上相对稀少地显现的环境的图像。在一些实施例中，所述第一多个训练图像可以包括相对较高数量的、包含弯曲道路的环境的图像。在一些实施例中，所述第一多个训练图像可以包括相对较高数量的、包含车道分道、车道并道、高速路出口、高速路入口和/或汇合点的环境的图像。在一些实施例中，所述第一多个训练图像可以包括相对较高数量的、包含所述车辆前面的道路上的不良或无车道标记、botts点和/或阴影的环境的图像。
在一些实施例中，所述停止条件可以是预定义数量的迭代。
在一些实施例中，所述方法可以还包括：作为输出，提供受训系统，其具有在训练所述系统的最后迭代时达到的受训系统的配置。
根据目前所公开的主题内容的另一方面，提供一种估计车辆的当前位置前面的未来路径的方法。根据目前所公开的主题内容的示例，所述估计车辆的当前位置前面的未来路径的方法可以包括：获得对道路进行导航的车辆的当前任意位置前面的环境的图像；获得受训练以在对道路进行导航的车辆前面的环境的第一多个图像上估计未来路径的受训系统；以及将受训系统应用于所述车辆的当前任意位置前面的环境的图像，以由此提供当前任意位置前面的所述车辆的所估计的未来路径。
在一些实施例中，受训系统包括全局函数的分段式仿射函数。在一些实施例中，所述全局函数可以包括：卷积、最大池化和/或修正线性单元(relu)。
在一些实施例中，所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以控制所述车辆的至少一个电子或机械单元，以改变所述车辆的至少一个运动参数。在一些实施例中，所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以将感知反馈提供给所述车辆的驾驶者。
在一些实施例中，所述当前位置前面的所述车辆的所估计的未来路径可以进一步基于：使用至少一个分类器来标识所述环境的图像中显现的一个或多个预定义对象。
所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以提供用于所述车辆的转向控制功能的控制点。
在一些实施例中，将未来路径估计受训系统应用于所述车辆的当前位置前面的所述环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径。
在一些实施例中，所述方法可以还包括：在估计所述车辆的当前位置前面的道路简档中，利用所述车辆的当前位置前面的所估计的未来路径。
在一些实施例中，将未来路径估计受训系统应用于所述车辆的当前位置前面的所述环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径，并且可以还包括：沿着所述当前位置前面的所述车辆的所述两个或更多个所估计的未来路径中的每一个估计道路简档。
在一些实施例中，所述方法可以还包括：在检测位于所述车辆的所述未来路径中或其附近的一个或多个车辆中，利用所述车辆的当前位置前面的所估计的未来路径。
在一些实施例中，所述方法可以还包括：使得所述车辆的至少一个电子或机械单元基于确定为处于所述车辆的未来路径中或其附近的一个或多个车辆的位置而改变所述车辆的至少一个运动参数。
在一些实施例中，所述方法可以还包括：触发感知告警，以向用户指示所述一个或多个车辆确定为处于所述车辆的未来路径中或其附近。
附图说明
合并到本公开并且构成其部分的附图示出各个所公开的实施例。在附图中：
图1是与所公开的实施例一致的系统的框图表示。
图2a是与所公开的实施例一致的包括系统的示例性车辆的图示性侧视图表示。
图2b是与所公开的实施例一致的图2a所示的车辆和系统的图示性顶视图表示。
图2c是与所公开的实施例一致的包括系统的车辆的另一实施例的图示性顶视图表示。
图2d是与所公开的实施例一致的包括系统的车辆的又一实施例的图示性顶视图表示。
图2e是与所公开的实施例一致的包括系统的车辆的又一实施例的图示性顶视图表示。
图2f是与所公开的实施例一致的示例性车辆控制系统的图示性表示。
图3a是与所公开的实施例一致的包括用于车辆成像系统的后视镜和用户接口的车辆的内部的图示性表示。
图3b是与所公开的实施例一致的被配置为定位在后视镜之前并且顶靠车辆风挡的相机安装件的示例的说明。
图3c是与所公开的实施例一致的来自不同视角的图3b所示的相机安装件的说明。
图3d是与所公开的实施例一致的被配置为定位在后视镜之前并且顶靠车辆风挡的相机安装件的示例的说明。
图4是与所公开的实施例一致的处理图像以提供受训系统的方法的流程图说明。
图5a-图5c是与所公开的实施例一致的处理图像以提供受训系统的方法的特征的图形说明。
图6是与所公开的实施例一致的估计车辆的当前位置前面的未来路径的方法的特定方面的图形说明。
图7是根据目前所公开的主题内容的示例的估计车辆的当前位置前面的未来路径的方法的流程图说明。
图8a示出与一些所公开的实施例一致的对道路进行导航的车辆前面的环境的图像。
图8b示出与一些所公开的实施例一致的对道路进行导航的车辆前面的环境的图像。
图9示出与一些所公开的实施例一致的在训练阶段期间提供给系统的图像。
图10示出与一些所公开的实施例一致的在训练阶段期间提供给系统的图像。
图11a和图11b是与一些所公开的实施例一致的训练系统的特定方面的图形说明。
图12a-图12d示出与所公开的实施例一致的包括所估计的未来路径的图像。
图13示出与所公开的实施例一致的具有为标记高速路出口而添加的虚拟车道标记的输入图像。
具体实施方式
在详细讨论处理对道路进行导航的车辆前面的环境的图像以用于训练系统(例如神经网络或深度学习系统)以基于图像而估计车辆的未来路径的特征或使用受训系统来处理对道路进行导航的车辆前面的环境的图像以估计车辆的未来路径的特征的示例之前，提供可以用于执行并且实现根据目前所公开的主题内容的示例的方法的车辆可安装系统的各种可能实现方式和配置的描述。在一些实施例中，车辆可安装系统的各个示例可以安装在车辆中，并且可以在车辆处于运动中的同时受操作。在一些实施例中，车辆可安装系统可以实现根据目前所公开的主题内容的示例的方法。
现进行参照的图1是与所公开的实施例一致的系统的框图表示。取决于特定实现方式的要求，系统100可以包括各种组件。在一些示例中，系统100可以包括处理单元110、图像获取单元120以及一个或多个存储器单元140、150。处理单元110可以包括一个或多个处理设备。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其它合适的处理设备。相似地，取决于特定应用的要求，图像获取单元120可以包括任何数量的图像获取设备和组件。在一些实施例中，图像获取单元120可以包括一个或多个图像捕获设备(例如相机)(例如图像捕获设备122、图像捕获设备124以及图像捕获设备126)。在一些实施例中，系统100可以还包括数据接口128，其以通信方式将处理单元110连接到图像获取设备120。例如，数据接口128可以包括任何一个或多个有线和/或无线链路，以用于将图像获取设备120所获取的图像数据发送到处理单元110。
应用处理器180和图像处理器190二者可以包括各种类型的处理设备。例如，应用处理器180和图像处理器190之一或二者可以包括一个或多个微处理器、预处理器(例如图像预处理器)、图形处理器、中央处理单元(cpu)、支持电路、数字信号处理器、集成电路、存储器、或任何其它类型的适合于运行应用以及图像处理和分析的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。各种处理设备可以得以使用(包括例如可得自例如
在一些实施例中，应用处理器180和/或图像处理器190可以包括可得自
虽然图1描述处理单元110中所包括的两个分离的处理设备，但可以使用更多或更少的处理设备。例如，在一些示例中，单个处理设备可以用于完成应用处理器180和图像处理器190的任务。在其它实施例中，这些任务可以由多于两个的处理设备执行。
处理单元110可以包括各种类型的设备。例如，处理单元110可以包括各种设备(例如控制器、图像预处理器、中央处理单元(cpu)、支持电路、数字信号处理器、集成电路、存储器或任何其它类型的用于图像处理和分析的设备)。图像预处理器可以包括视频处理器，其用于从图像传感器捕获、数字化并且处理图像。cpu可以包括任何数量的微控制器或微处理器。支持电路可以是任何数量的本领域公知的电路，包括缓存电路、电源电路、时钟电路以及输入-输出电路。存储器可以存储软件，其当由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪存、盘驱动器、光存储、可拆卸存储和其它类型的存储。在一个实例中，存储器可以与处理单元110分离。在另一实例中，存储器可以集成到处理单元110中。
每个存储器140、150可以包括软件指令，其当由处理器(例如应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件。存储器单元可以包括随机存取存储器、只读存储器、闪存、盘驱动器、光存储、带存储、可拆卸存储和/或任何其它类型的存储。在一些示例中，存储器单元140、150可以与应用处理器180和/或图像处理器190分离。在其它实施例中，这些存储器单元可以集成到应用处理器180和/或图像处理器190中。
在一些实施例中，系统可以包括位置传感器130。位置传感器130可以包括任何类型的适合于确定与系统100的至少一个组件关联的位置的设备。在一些实施例中，位置传感器130可以包括gps接收机。这些接收机可以通过处理全球定位系统卫星所广播的信号来确定用户位置和速度。可以使得来自位置传感器130的位置信息对于应用处理器180和/或图像处理器190可用。
在一些实施例中，系统100可以可操作地可连接到可以安装系统100的车辆所板载的各种系统、设备和单元，并且通过任何合适的接口(例如通信总线)，系统100可以与车辆的系统进行通信。系统100可以协作于的车辆系统的示例包括：节流系统、制动系统以及转向系统。
在一些实施例中，系统100可以包括用户接口170。用户接口170可以包括适合于将信息提供给系统100的一个或多个用户或从其接收输入的任何设备。在一些实施例中，用户接口170可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指点设备、轨迹轮、相机、手柄、按钮等。通过这些输入设备，用户可以能够通过使用按钮、指点器或眼球跟踪能力或通过用于将信息传递到系统100的任何其它合适的技术来录入指令或信息、提供语音命令、在屏幕上选择菜单选项而将信息输入或命令提供给系统100。信息可以由系统100通过用户接口170以相似的方式提供给用户。
在一些实施例中，系统100可以包括地图数据库160。地图数据库160可以包括任何类型的数据库，以用于存储数字地图数据。在一些示例中，地图数据库160可以包括与各种条目(包括道路、水特征、地理特征、兴趣点等)的在参考坐标系中的位置有关的数据。地图数据库160可以不仅存储这些条目的位置，而且还存储与那些条目有关的描述符(包括例如与任何所存储的特征关联的名称)。在一些实施例中，地图数据库160可以在物理上定位于系统100的其它组件。替代地或附加地，地图数据库160或其部分可以相对于系统100的其它组件(例如处理单元110)远程地定位。在这些实施例中，可以通过对网络的有线或无线数据连接(例如，通过蜂窝网络和/或互联网等)下载来自地图数据库160的信息。
图像捕获设备122、124和126可以均包括任何类型的适合于从环境捕获至少一个图像的设备。此外，任何数量的图像捕获设备可以用于获取图像，以用于对图像处理器的输入。目前所公开的主题内容的一些示例可以包括或可以实现于仅单个图像捕获设备，而其它示例可以包括或可以实现于两个、三个或甚至四个或更多个图像捕获设备。以下将参照图2b-图2e进一步描述图像捕获设备122、124和126。
应理解，系统100可以包括或可以可操作地关联于其它类型的传感器，包括例如声学传感器、rf传感器(例如雷达换能器)、lidar传感器。可以独立于图像获取设备120或与之协作而使用这些传感器。例如，来自雷达系统(未示出)的数据可以用于验证从图像获取设备120所获取的处理图像接收到的所处理的信息，例如，以过滤源自图像获取设备120所获取的处理图像的特定误报率。
系统100或其各个组件可以合并到各个不同平台中。在一些实施例中，可以在车辆200上包括系统100，如图2a所示。例如，车辆200可以装配有系统100的处理单元110以及任何其它组件，如以上关于图1所描述的那样。虽然在一些实施例中，车辆200可以仅装配有单个图像捕获设备(例如相机)，但在其它实施例(例如结合图2b-图2e所讨论的实施例)中，可以使用多个图像捕获设备。例如，车辆200的图像捕获设备122和124之一如图2a所示可以是adas(先进驾驶者辅助系统)成像套件的部分。
车辆200上作为图像获取单元120的部分所包括的图像捕获设备可以位于任何合适的位置处。在一些实施例中，如图2a-图2e以及图3a-图3c所示，图像捕获设备122可以位于后视镜的附近。该位置可以提供与车辆200的驾驶者的视线相似的视线，这样可以有助于确定对于驾驶者什么是可见的以及什么是不可见的。
也可以使用用于图像获取单元120的图像捕获设备的其它位置。例如，图像捕获设备124可以位于车辆200的保险杠上或其中。该位置可以尤其适合于具有广视场的图像捕获设备。保险杠定位式图像捕获设备的视线可以与驾驶者的视线不同。图像捕获设备(例如图像捕获设备122、124和126)也可以位于其它位置中。例如，图像捕获设备可以位于车辆200的各侧视镜之一或二者上或其中、车辆200的顶棚上、车辆200的罩上、车辆200的主干上、车辆200的各侧上，安装在车辆200的任何窗口上，位于其之前或位于其前部中，以及安装在车辆200的前部和/或后部上的光像(lightfigure)中或其附近，等。图像捕获单元120或作为图像捕获单元120中所使用的多个图像捕获设备之一的图像捕获设备可以具有与车辆的驾驶者的视场(fov)不同的fov，并且并非总是看见相同的对象。在一个示例中，图像获取单元120的fov可以延伸超越典型驾驶者的fov，并且可以因此对驾驶者的fov外部的对象进行成像。在又一示例中，图像获取单元120的fov是驾驶者的fov的某部分。在一些实施例中，图像获取单元120的fov与覆盖车辆前面的道路并且可能地还有道路的周围的区域的区段对应。
除了图像捕获设备之外，车辆200可以还包括系统100的各个其它组件。例如，在车辆200上可以包括在要么与车辆的引擎控制单元(ecu)集成要么与之分离的处理单元110。车辆200可以还装配有位置传感器130(例如gps接收机)，并且可以还包括地图数据库160以及存储器单元140和150。
图2a是根据目前所公开的主题内容的示例的车辆成像系统的图示性侧视图表示。图2b是图2a所示的示例的图示性顶视图说明。如图2b所示，所公开的示例可以包括车辆200，其在其主体中包括系统100，系统100具有：第一图像捕获设备122，其位于后视镜的附近和/或车辆200的驾驶者附近；第二图像捕获设备124，其位于车辆200的保险杠区域(例如保险杠区域210之一)上或其中；以及处理单元110。
如图2c所示，图像捕获设备122和124可以都位于后视镜附近和/或车辆200的驾驶者附近。附加地，虽然图2b和图2c中示出两个图像捕获设备122和124，但应理解，其它实施例可以包括多于两个的图像捕获设备。例如，在图2d和图2e所示的实施例中，在车辆200的系统100中包括第一图像捕获设备122、第二图像捕获设备124以及第三图像捕获设备126。
如图2d所示，图像捕获设备122可以位于车辆200的后视镜附近和/或驾驶者附近，并且图像捕获设备124和126可以位于车辆200的保险杠区域(例如保险杠区域210之一)上或其中。如图2e所示，图像捕获设备122、124和126可以位于车辆200的后视镜附近和/或驾驶者座位附近。所公开的示例不限于图像捕获设备的任何特定数量和配置，并且图像捕获设备可以位于车辆200内和/或其上的任何适当位置中。
还应理解，所公开的实施例不限于特定类型的车辆200，并且可以可应用于所有类型的车辆，包括汽车、卡车、拖车、摩托车、自行车、自平衡运输设备以及其它类型的车辆。
第一图像捕获设备122可以包括任何合适类型的图像捕获设备。图像捕获设备122可以包括光轴。在一个实例中，图像捕获设备122可以包括具有全域式快门的aptinam9v024wvga传感器。在另一示例中，可以使用卷帘式快门传感器。图像获取单元120以及实现为图像获取单元120的部分的任何图像捕获设备可以具有任何期望的图像分辨率。例如，图像捕获设备122可以提供1280x960像素的分辨率，并且可以包括卷帘式快门。
图像获取单元120以及实现为图像获取单元120的部分的任何图像捕获设备可以包括各种光学元件。在一些实施例中，可以包括一个或多个透镜，例如，以提供用于图像获取单元120以及用于实现为图像获取单元120的部分的任何图像捕获设备的期望焦距和视场。在一些示例中，例如，实现为图像获取单元120的部分的图像捕获设备可以包括或关联于任何光学元件(例如6mm透镜或12mm透镜)。在一些示例中，图像捕获设备122可以被配置为捕获具有期望视场(fov)202的图像，如图2d所示。
第一图像捕获设备122可以具有与第一系列的图像扫描线中的每一个的获取关联的扫描率。扫描率可以指代图像传感器可以获取与特定扫描线中所包括的每个像素关联的图像数据的速率。
图2f是根据目前所公开的主题内容的示例的车辆控制系统的图示性表示。如图2f所示，车辆200可以包括节流系统220、制动系统230以及转向系统240。系统100可以通过一个或多个数据链路(例如用于发送数据的任何一个或多个有线和/或无线链路)将输入(例如控制信号)提供给节流系统220、制动系统230以及转向系统240中的一个或多个。例如，基于图像捕获设备122、124和/或126所获取的图像的分析，系统100可以将控制信号提供给节流系统220、制动系统230以及转向系统240中的一个或多个，以(例如，通过产生加速、转向、车道变更等)对车辆200进行导航。此外，系统100可以从节流系统220、制动系统230以及转向系统240中的一个或多个接收指示车辆200的操作条件(例如速度、车辆200是否正制动和/或转向等)的输入。
如图3a所示，车辆200可以还包括用户接口170，以用于与车辆200的驾驶者或乘客进行交互。例如，车辆应用中的用户接口170可以包括触摸屏320、手柄330、按钮340以及麦克风350。车辆200的驾驶者或乘客也可以使用手柄(例如，位于车辆200的转向柱上或其附近，包括例如转向信号手柄)、(例如，位于车辆200的方向盘上的)按钮等，以与系统100进行交互。在一些实施例中，麦克风350可以位于与后视镜310相邻。相似地，在一些实施例中，图像捕获设备122可以位于后视镜310附近。在一些实施例中，用户接口170可以还包括一个或多个扬声器360(例如车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如告警)。
图3b-图3d是与所公开的实施例一致的被配置为位于后视镜(例如后视镜310)之前并且顶靠车辆风挡的示例性相机安装件370的说明。如图3b所示，相机安装件370可以包括图像捕获设备122、124和126。图像捕获设备124和126可以位于眩光挡板380之前，其可以齐平顶靠车辆风挡，并且包括膜和/或抗反射材料的合成物。例如，眩光挡板380可以定位为这样的：其顶靠具有匹配斜面的车辆风挡而对准。在一些实施例中，图像捕获设备122、124和126中的每一个可以位于眩光挡板380之后，如例如图3d中所描述的那样。所公开的实施例不限于图像捕获设备122、124和126、相机安装件370以及眩光挡板380的任何特定配置。图3c是来自正面透视的图3b所示的相机安装件370的说明。
具有本公开的益处的本领域技术人员应理解，可以对前述所公开的实施例进行大量变化和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，任何组件可以位于系统100的任何适当部分中，并且组件可以在提供所公开的实施例的功能的同时重新布置为各种配置。因此，前述配置是示例，并且无论上述配置如何，系统100都可以提供宽范围的功能以分析车辆200的周围，并且响应于该分析，对车辆200进行导航和/或另外控制和/或操作。车辆200的导航、控制和/或操作可以包括：(直接地或经由中间控制器(例如以上提及的控制器))启用和/或禁用与车辆200关联的各个特征、组件、设备、模式、系统和/或子系统。导航、控制和/或操作可以替代地或附加地包括例如通过提供视觉、音频、触觉和/或其它感知告警和/或指示与可以位于车辆200内部或外部的用户、驾驶者、乘客、路人和/或其它车辆或用户的交互。
如以下进一步详细讨论的那样，并且与各个所公开的实施例一致，系统100可以提供与自主驾驶、半自主驾驶和/或驾驶者辅助技术有关的各种特征。例如，系统100可以分析图像数据、位置数据(例如gps位置信息)、地图数据、速度数据和/或来自车辆200中所包括的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其它传感器收集用于分析的数据。此外，系统100可以分析所收集的数据，以确定车辆200是否应采取特定动作，并且然后自动地采取所确定的动作，而无需人工介入。应理解，在一些情况下，车辆自动地采取的动作处于人工监督下，并且人工介入调整中止或超越机器动作的能力是在特定情况下或在所有时间启用的。例如，当车辆200在没有人工介入的情况下进行导航时，系统100可以(例如，通过将控制信号发送到节流系统220、制动系统230以及转向系统240中的一个或多个)自动地控制车辆200的制动、加速和/或转向。此外，系统100可以分析所收集的数据，并且基于所收集的数据的分析而将警告、指示、推荐、告警或指令发放到车辆内部或外部的驾驶者、乘客、用户或其它人(或发放到其它车辆)。以下提供关于系统100所提供的各个实施例的附加细节。
多成像系统
如上所述，系统100可以提供使用单相机系统或多相机系统的驾驶辅助功能或半自主或完全自主驾驶功能。多相机系统可以使用面对车辆的前向方向上的一个或多个相机。在其它实施例中，多相机系统可以包括面对车辆的侧部或车辆的后部的一个或多个相机。在一个实施例中，例如，系统100可以使用双相机成像系统，其中，第一相机和第二相机(例如图像捕获设备122和124)可以位于车辆(例如车辆200)的前部或侧部处。第一相机可以具有大于、小于第二相机的视场或与之部分地重叠的视场。此外，第一相机可以连接到第一图像处理器，以执行第一相机所提供的图像的单目图像分析，并且第二相机可以连接到第二图像处理器，以执行第二相机所提供的图像的单目图像分析。可以组合第一图像处理器和第二图像处理器的输出(例如所处理的信息)。在一些实施例中，第二图像处理器可以从第一相机和第二相机二者接收图像，以执行立体分析。在另一实施例中，系统100可以使用三相机成像系统，其中，相机中的每一个具有不同的视场。该系统可以因此基于从位于车辆的前向和侧部的变化的距离处的对象推导的信息而进行判断。对单目图像分析的引用可以指代这样的实例：基于从单个视点(例如，从单个相机)捕获的图像而执行图像分析。立体图像分析可以指代这样的实例：基于在图像捕获参数的一个或多个变化的情况下所捕获的两个或更多个图像而执行图像分析。例如，所捕获的适合于执行立体图像分析的图像可以包括从两个或更多个不同位置、从不同视场、使用不同焦距、连同视差信息一起等捕获的图像。
例如，在一个实施例中，系统100可以使用图像捕获设备122-126实现三相机配置。在该配置中，图像捕获设备122可以提供窄视场(例如34度、或选自大约20至45度的范围的其它值等)，图像捕获设备124可以提供宽视场(例如150度或选自大约100至大约180度的范围的其它值)，并且图像捕获设备126可以提供中等视场(例如46度或选自大约35至大约60度的范围的其它值)。在一些实施例中，图像捕获设备126可以充当主相机或主级相机。图像捕获设备122-126可以位于后视镜310之后，并且实质上侧接侧地定位(例如隔开6cm)。此外，在一些实施例中，如上所述，图像捕获设备122-126中的一个或多个可以安装在与车辆200的风挡齐平的眩光挡板380之后。这种遮挡可以运作为使得来自汽车内部的任何反射对图像捕获设备122-126的影响最小化。
在另一实施例中，如以上结合图3b和图3c所讨论的那样，宽视场相机(例如以上示例中的图像捕获设备124)可以安装得低于窄视场相机和主视场相机(例如以上示例中的图像设备122和126)。该配置可以提供来自宽视场相机的自由视线。为了减少反射，相机可以安装得靠近车辆200的风挡，并且可以在相机上包括偏光器，以抑制反射光。
三相机系统可以提供特定性能特性。例如，一些实施例可以包括用于由一个相机基于来自另一相机的检测结果而验证对象的检测的能力。在上述三相机配置中，处理单元110可以包括例如三个处理设备(例如三个eyeq系列处理器芯片，如上所述)，其中，每个处理设备专用于处理图像捕获设备122-126中的一个或多个所捕获的图像。
在三相机系统中，第一处理设备可以从主相机和窄视场相机二者接收图像，并且执行窄fov相机或甚至相机的剪切的fov的处理。在一些实施例中，根据目前所公开的主题内容的示例，第一处理设备可以被配置为：使用受训系统，以估计车辆的当前位置前面的未来路径。在一些实施例中，受训系统可以包括网络(例如神经网络)。在一些其它实施例中，受训系统可以包括使用例如机器学习算法的深度学习系统。
第一处理设备可以进一步适用于执行图像处理任务，例如，其可以旨在检测其它车辆、行人、车道标记、交通标志、交通灯以及其它道路对象。此外，第一处理设备可以计算来自主相机和窄相机的各图像之间的像素的差异，并且创建车辆200的环境的3d重构。第一处理设备可以然后将3d重构与3d地图数据(例如深度地图)或与基于来自另一相机的信息而计算的3d信息组合。在一些实施例中，根据目前所公开的主题内容的示例，第一处理设备可以被配置为：对深度信息(例如3d地图数据)使用受训系统，以估计车辆的当前位置前面的未来路径。在该实现方式中，系统(例如神经网络、深度学习系统等)可以关于深度信息(例如3d地图数据)而受训练。
第二处理设备可以从主相机接收图像，并且可以被配置为：执行视觉处理，以检测其它车辆、行人、车道标记、交通标志、交通灯以及其它道路对象。附加地，第二处理设备可以计算相机位移，并且基于位移而计算连续图像之间的像素的差异，并且创建场景的3d重构(例如，来自运动的结构)。第二处理设备可以将来自基于运动的3d重构的结构发送到第一处理设备，以与立体3d图像或与通过立体处理所获得的深度信息组合。
第三处理设备可以从宽fov相机接收图像，并且处理图像，以检测车辆、行人、车道标记、交通标志、交通灯以及其它道路对象。第三处理设备可以执行附加处理指令，以分析图像，从而标识图像中移动的对象(例如改变车道的车辆、行人等)。
在一些实施例中，使得独立地捕获并且处理基于图像的信息流可以提供用于在系统中提供冗余度的机会。该冗余度可以包括例如：使用第一图像捕获设备和从该设备处理的图像，以验证和/或补充通过至少从第二图像捕获设备捕获并且处理图像信息所获得的信息。
在一些实施例中，系统100可以在提供用于车辆200的导航辅助中使用两个图像捕获设备(例如图像捕获设备122和124)，并且使用第三图像捕获设备(例如图像捕获设备126)，以提供冗余度并且验证从其它两个图像捕获设备接收到的数据的分析。例如，在该配置中，图像捕获设备122和124可以提供用于系统100进行立体分析的图像，以用于对车辆200进行导航，而图像捕获设备126可以提供用于系统100进行单目分析的图像，以提供基于从图像捕获设备122和/或图像捕获设备124捕获的信息的冗余度和验证。也就是说，图像捕获设备126(以及对应处理设备)可以认为提供冗余子系统，以用于提供关于从图像捕获设备122和124推导的分析的检查(例如，以提供自动紧急制动(aeb)系统)。
本领域技术人员应理解，以上相机配置、相机放置方式、相机的数量、相机位置等仅是示例。在不脱离所公开的实施例的范围的情况下，这些组件以及相对于整个系统所描述的其它组件可以被组装并且用在各种不同配置中。关于使用多相机系统以提供驾驶者辅助和/或自主车辆功能的其它细节如下。
具有本公开的益处的本领域技术人员应理解，可以对前述所公开的示例进行大量变化和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，任何组件可以位于系统100的任何适当部分中，并且组件可以在提供所公开的实施例的功能的同时重新布置为各种配置。因此，前述配置是示例，并且无论上述配置如何，系统100都可以提供宽范围的功能，以分析车辆200的周围并且对车辆200进行导航，或响应于分析而对车辆的用户进行告警。
如以下进一步详细讨论的那样，并且根据目前所公开的主题内容的示例，系统100可以提供与自主驾驶、半自主驾驶和/或驾驶者辅助技术有关的各种特征。例如，系统100可以分析图像数据、位置数据(例如gps位置信息)、地图数据、速度数据和/或来自车辆200中所包括的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其它传感器收集用于分析的数据。此外，系统100可以分析所收集的数据，以确定车辆200是否应采取特定动作，并且然后在没有人工介入的情况下自动地采取所确定的动作，或其可以提供可以对驾驶者指示需要采取特定动作的警告、告警或指令。自动动作可以在人工监督下得以执行，并且可以经受人工介入和/或超越。例如，当车辆200在没有人工介入的情况下进行导航时，系统100可以(例如，通过将控制信号发送到节流系统220、制动系统230以及转向系统240中的一个或多个)自动地控制车辆200的制动、加速和/或转向。此外，系统100可以分析所收集的数据，并且基于所收集的数据的分析而将警告和/或告警发放到车辆占有者。
现参照图4，图4是根据目前所公开的主题内容的示例的处理图像以提供能够基于当前位置处所捕获的图像而估计车辆的当前位置前面的未来路径的受训系统的方法的流程图说明。所述处理图像的方法可以包括：获得第一多个训练图像，第一多个训练图像中的每一个是对道路进行导航的车辆前面的环境的图像(块410)。在一些实施例中，第一多个图像不限于是对道路进行导航的车辆前面的环境的图像，并且可以包括对道路进行导航的车辆的其它侧部(例如，车辆的侧部处的环境和/或后向方向处的环境)的图像。
对于第一多个训练图像中的每一个，可以获得车辆的相应目前位置前面的车辆的预先存储的路径(块420)。现附加地参照图5a-图5c，图5a-图5c是根据目前所公开的主题内容的示例的处理图像以提供能够基于当前位置处所捕获的图像而估计车辆的当前位置前面的未来路径的受训系统的方法的特征的图形说明。在图5a中可见，车辆510正进入道路520的区段。车辆510包括捕获图像的相机(未示出)。在图5a中，通过表示车辆510中所安装的相机的的fov的锥形530示出图像。图像描述相机的fov中的任意对象。图像典型地包括道路对象(例如道路标志、车道标记、路缘、其它车辆等)。此外，处理图像以提供能够基于当前位置处所捕获的图像而估计车辆的当前位置前面的未来路径的受训系统的方法中所使用的图像中的至少一些包括其它任意对象(例如道路的侧部处的结构和树等)。
在图5a-图5c所示的示例中，车辆510所板载的相机所捕获的图像是对道路520进行导航的车辆510前面的环境的图像。
在图5b和图5c中可见，车辆510沿着道路520(的片段)行进，并且其路径得以记录。以销钉形541-547标记车辆510的路径。记录从位置541到位置547的车辆510沿着道路520的路径。因此，从点541向下道路520的车辆的未来路径是可用的。应理解，车辆510的特定位置以及道路的2d或3d形状是任意的，并且目前所公开的主题内容的示例可应用于任何道路上的各个位置。如图5c所示，随着车辆510沿着道路520行进，相机捕获锥形551-554所表示的多个图像。可以关于位置541-547中的每一个或仅关于所记录的位置中的一些而捕获一个或多个图像，然而为了方便，在图5c中，仅关于车辆510沿着道路520的所记录的位置的子集示出图像。
继续于图4的描述，系统(例如神经网络、深度学习系统等)可以受训练，以给定图像而提供车辆的相应目前位置前面的用于对道路进行导航的车辆的未来路径(块430)。训练系统(块430)可以包括：提供第一多个训练图像作为对受训系统的输入(块440)；在训练的每个迭代时，基于通过受训系统的权重的当前状态所估计的相应临时未来路径以及相应预先存储的路径而计算损失函数(块450)；以及根据损失函数的结果来更新受训系统的权重(块460)。
典型地，非常大数量的图像在训练阶段期间提供给受训系统，并且对于每个图像，提供车辆的相应目前位置前面的车辆的预先存储的路径。可以通过在捕获图像的同时记录车辆沿着车辆正行进的道路的未来位置来获得预先存储的路径。在另一示例中，可以人工地或使用通过以视觉方式或以算法方式标识指示车辆在道路上的位置的道路中或道路附近的各个对象的图像处理来生成预先存储的路径。车辆在道路上的位置可以是当捕获图像时在会话期间车辆在道路上的实际位置，或其可以是所估计的或人为地生成的位置。例如，在一个示例中，可以每隔几米或甚至几十米拍摄图像，可以通过技术人员基于车道标记或基于技术人员以视觉方式在每个图像中标识的任何其它对象而概括车辆的未来路径。在车道标记示例中，技术人员可以关于在距车道标记特定(例如预定)偏移处(例如在其任一侧上由车道标记区分的车道的中间)车道标记显现的图像而概括未来路径。
图9和图10示出与一些所公开的实施例一致的在训练阶段期间可以例如使用受训系统(例如神经网络、深度学习系统等)提供给机器学习处理的图像。图10附加地示出图像处理或技术人员所检测的车道标记1012上的点1010以及车道的中心上的点1020。
现附加地参照图8a，图8a示出根据目前所公开的主题内容的示例的对道路进行导航的车辆前面的环境的图像810以及使用车辆的自我运动关于该图像所记录的预先存储的路径812；并且参照图8b，图8b示出根据目前所公开的主题内容的示例的对道路进行导航的车辆前面的环境的图像820，所述图像包括由技术人员或由计算机视觉算法标记的所标记的车道标记822。可以关于图8b所示的图像生成并且预先存储基于所标记的车道标记的预先存储的路径。可以通过处理随后图像(例如，随后图像是随着汽车继续在道路前面(例如当前位置的前向)移动而捕获的图像)来确定可以用于定义车辆的当前位置(捕获图像的位置)前面的车辆的路径的关于给定的图像的车辆的自我运动轨道。
如上所述，在训练的每个迭代时，基于通过权重的当前状态所估计的相应临时未来路径以及相应预先存储的路径而计算损失函数(块450)。可以根据损失函数的结果来更新受训系统的权重(块460)。现参照图11a和图11b，图11a和图11b提供根据目前所公开的主题内容的示例的训练的特定方面的图形说明。在图11a中，示出训练的迭代。在图11a中，基于捕获图像1110的位置前面的道路上的车道标记的(例如，由技术人员进行的)检测而生成预先存储的路径1112。受训系统计算临时未来路径1114，并且基于通过权重的当前状态所估计的相应临时未来路径1114以及相应预先存储的路径1112而计算损失函数。根据目前所公开的主题内容的示例，损失函数使用预先存储的路径1112以及临时未来路径1114的顶视图(“世界”)表示(例如，使用相机焦距、相机高度和动态视野)，并且绝对损失得以计算。损失函数可以被配置为：对真实世界中的几米的误差施加罚(其聚焦于关于远误差的得分)。在一些实施例中，根据目前所公开的主题内容的示例，所标记的对象(例如技术人员人工地标记的车道标记)可以还包括虚拟对象(例如汇合点、车道标记消失的区域、未标记的高速路出口或并道等)，如例如图13所示，其中，添加虚拟车道标记1310以标记高速路出口。
在图11b中，预先存储的路径1122基于车辆的自我运动以及沿着(在此情况下处于)捕获1120图像的位置前面的道路的其随后路径而得以生成。根据目前所公开的主题内容的示例，对于基于自我运动的预先存储的路径数据，可以确定预先存储的路径1122与受训系统所提供的临时未来路径1124之间的优化偏移，并且在通过优化偏移的校正之后可以计算损失函数。
根据目前所公开的主题内容的示例，系统的训练可以被执行直到满足停止条件。在一些实施例中，停止条件可以是特定数量的迭代。例如，第一多个训练图像可以包括相对较高数量的、道路上相对稀少地显现的环境的图像(例如包括弯曲道路的环境的图像)。在另一示例中，第一多个训练图像包括相对较高数量的、包含车道分道、车道并道、高速路出口、高速路入口和/或汇合点的环境的图像；在又一示例中。在又一示例中，第一多个训练图像可以包括相对较高数量的、包含车辆前面的道路上的不良或无车道标记、botts点和/或阴影的环境的图像。
根据目前所公开的主题内容的另一方面，提供一种用于估计车辆的当前位置前面的未来路径的系统和方法。现参照图7，图7是根据目前所公开的主题内容的示例的估计车辆的当前位置前面的未来路径的方法的流程图说明。所述方法可以由处理器实现。根据目前所公开的主题内容的示例，所述估计车辆的当前位置前面的未来路径的方法可以包括：获得对道路进行导航的车辆的当前任意位置前面的环境的图像(块710)。可以获得受训练以在对道路进行导航的车辆前面的环境的第一多个图像上估计未来路径的系统(块720)。在一些实施例中，受训系统可以包括网络(例如神经网络)。在其它实施例中，受训系统可以是使用例如机器学习算法的深度学习系统。可以将受训系统应用于车辆的当前任意位置前面的环境的图像(块730)。受训系统可以提供当前任意位置前面的车辆的所估计的未来路径(块740)。
现参照图6，图6是根据目前所公开的主题内容的示例的估计车辆的当前位置前面的未来路径的方法的特定方面的图形说明。如图6所示，车辆610正进入道路620的区段。道路620是任意道路，并且来自道路620的图像可以已经或可以尚未用在系统(例如神经网络、深度学习系统等)的训练中。车辆610包括捕获图像的相机(未示出)。车辆620所板载的相机所捕获的图像可以受剪切或不受剪切，或以任何其它方式(例如，下采样)受处理，然后馈送到受训系统。在图6中，通过表示车辆610中所安装的相机的的fov的锥形630示出图像。图像描述相机的fov中的任意对象。图像可以但不一定包括道路对象(例如道路标志、车道标记、路缘、其它车辆等)。图像可以包括其它任意对象(例如道路的侧部处的结构和树等)。
受训系统可以应用于车辆610的当前任意位置前面的环境的图像630，并且可以提供当前任意位置前面的车辆610的所估计的未来路径。在图6中，所估计的未来路径由销钉形641-647表示。图12a-图12d进一步示出与所公开的实施例一致的包括所估计的未来路径1210-1240的图像。
在一些实施例中，受训系统可以包括全局函数的分段式仿射函数。在一些实施例中，全局函数可以包括：卷积、最大池化和/或修正线性单元(relu)。
在一些实施例中，所述方法可以还包括：利用车辆的当前位置前面的所估计的未来路径，以控制车辆的至少一个电子或机械单元，以改变车辆的至少一个运动参数。在一些实施例中，所述方法可以还包括：利用车辆的当前位置前面的所估计的未来路径，以将感知反馈提供给车辆的驾驶者。
在一些实施例中，当前位置前面的车辆的所估计的未来路径可以进一步基于：使用至少一个分类器来标识环境的图像中显现的一个或多个预定义对象。
所述方法可以还包括：利用车辆的当前位置前面的所估计的未来路径，以提供用于车辆的转向控制功能的控制点。
在一些实施例中，将受训系统应用于车辆的当前位置前面的环境的图像提供当前位置前面的车辆的两个或更多个所估计的未来路径。
在一些实施例中，所述方法可以还包括：在估计车辆的当前位置前面的道路简档中，利用车辆的当前位置前面的所估计的未来路径。
在一些实施例中，将受训系统应用于车辆的当前位置前面的环境的图像提供当前位置前面的车辆的两个或更多个所估计的未来路径，并且可以还包括：沿着当前位置前面的车辆的两个或更多个所估计的未来路径中的每一个估计道路简档。
在一些实施例中，所述方法可以还包括：在检测位于车辆的未来路径中或其附近的一个或多个车辆中，利用车辆的当前位置前面的所估计的未来路径。
在一些实施例中，所述方法可以还包括：使得车辆的至少一个电子或机械单元基于确定为处于车辆的未来路径中或其附近的一个或多个车辆的位置而改变车辆的至少一个运动参数。
在一些实施例中，所述方法可以还包括：触发感知告警，以向用户指示所述一个或多个车辆确定为处于所述车辆的未来路径中或其附近。
在一些实施例中，除了处理对道路进行导航的车辆前面的环境的图像以用于训练系统(例如神经网络、深度学习系统等)以基于图像而估计车辆的未来路径和/或使用受训系统来处理对道路进行导航的车辆前面的环境的图像以估计车辆的未来路径之外，置信度等级可以提供于训练阶段中或用在使用受训系统的导航阶段中。整体路径预测(hpp)置信度是受训系统(例如神经网络)进行的输出，与用于hpp的神经网络相似。该构思可以生成分类器，其尝试猜测另一分类器关于同一图像的误差。实现该操作一种方法是使用受训系统(例如第一神经网络)以给出所使用的输出(例如车道的位置、或车道的中心、或所预测的未来路径)并且训练另一系统(例如第二神经网络)，使用同一输入数据(或该数据的子集、或从该数据提取的特征)以估计第一受训系统关于该图像的误差(例如，估计第一受训系统的预测的绝对平均损失)。
已经为了说明的目的而提出前面的描述。其并非是囊括性的，并且不限于所公开的精确形式或实施例。从说明书的考虑以及所公开的实施例的实践，修改和改动对于本领域技术人员将是显然的。附加地，虽然所公开的实施例的各方面描述为存储在存储器中，但本领域技术人员应理解，这些方面也可以存储在其它类型的计算机可读介质(例如辅存储设备(例如硬盘或cdrom)或其它形式的ram或rom、usb介质、dvd、蓝光、4k超hd蓝光、或其它光驱介质)上。
基于所写的描述以及所公开的方法的计算机程序处于有经验的开发者的技能内。各种程序或程序模块可以使用本领域技术人员公知的任何技术而得以创建，或可以结合现有软件得以设计。例如，可以通过或凭借.netframework、.netcompactframework(以及有关语言(例如visualbasic、c等))java、c++、对象–c、html、html/ajax组合、xml或包括有java小应用的html来设计程序区段或程序模块。
此外，虽然本文已经描述了说明性实施例，但本领域技术人员基于本公开应理解具有(例如贯穿各个实施例的各方面的)等同要素、修改、省略、组合、适配或改动的任何和所有实施例的范围。权利要求中的限定要基于权利要求中所采用的语言而宽泛地解释，而不限于该说明书中或在申请的诉讼期间所描述的示例。示例要理解为非排他性的。此外，可以通过任何方式(包括通过重排步骤和/或插入或删除步骤)来修改所公开的方法的步骤。因此，说明书和示例旨在仅看作说明性的，其中，真实范围和精神由所附权利要求及其等同物的完整范围指示。