用于确定车辆用户的视线方向的方法、装置、计算机设备、车辆和介质与流程

1.本公开涉及车辆技术领域，特别是涉及一种用于确定车辆用户的方法、装置、计算机设备、车辆、存储介质。


背景技术：

2.安全性是车辆的重要性能之一，而车辆用户在车辆驾驶过程中是否集中注意力是安全性的重要影响因素之一。通过确定车辆用户的视线方向，可以判断车辆用户的注意力集中情况，以便为有效避免交通事故提供了很大的可能性。
3.在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现要素：

4.根据本公开的一方面，提供了一种用于确定车辆用户的视线方向的方法，包括：获取由布置在车辆处的摄像系统中的第一摄像装置采集的第一图像，其中，所述第一图像包括所述车辆用户的人脸；通过对所述第一图像进行人脸检测，确定所述车辆用户的眼球在所述第一摄像装置的第一相机坐标系中的位姿；基于所述眼球在所述第一相机坐标系中的位姿以及基于所述第一摄像装置在所述车辆的车辆坐标系中的位姿，确定所述眼球在所述车辆坐标系中的位姿；基于所述眼球在所述车辆坐标系中的位姿，确定所述车辆用户的视线方向。
5.根据本公开的另一方面，提供了一种用于确定车辆用户的视线方向的装置，包括：第一单元，用于获取由布置在车辆处的摄像系统中的第一摄像装置采集的第一图像，其中，所述第一图像包括所述车辆用户的人脸；第二单元，用于通过对所述第一图像进行人脸检测，确定所述车辆用户的眼球在所述第一摄像装置的第一相机坐标系中的位姿；第三单元，用于基于所述眼球在所述第一相机坐标系中的位姿以及基于所述第一摄像装置在所述车辆的车辆坐标系中的位姿，确定所述眼球在所述车辆坐标系中的位姿；第四单元，用于基于所述眼球在所述车辆坐标系中的位姿，确定所述车辆用户的视线方向。
6.根据本公开的又另一方面，提供了一种计算机设备，包括：至少一个处理器；以及至少一个存储器，其上存储有计算机程序，其中，所述计算机程序在被所述至少一个处理器执行时，使所述至少一个处理器执行前述方法。
7.根据本公开的再另一方面，提供了一种车辆，包括前述装置或前述计算机设备。
8.根据本公开的再另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行前述方法。
9.根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，使所述处理器执行前述方法。
10.根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
11.在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
12.图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；
13.图2是图示出根据示例性实施例的用于确定车辆用户的视线的方法的流程图；
14.图3是图示出根据示例性实施例的图2的方法中部分示例过程的流程图；
15.图4是图示出根据示例性实施例的图2的方法中部分示例过程的流程图；
16.图5是图示出根据示例性实施例的图2的方法中部分示例过程的流程图；
17.图6是图示出根据示例性实施例的用于确定车辆用户的视线的装置的示意性框图；
18.图7是图示出能够应用于示例性实施例的示例性计算机设备的框图。
具体实施方式
19.在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
20.在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及
“……
中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
21.在一些相关技术中，可以利用汽车座舱内设置的传感器采集车内图像来对车辆用户、尤其是驾驶员的视线方向、亦即注意力状态进行监控。通过该监控可以了解车辆用户在驾驶过程的注意力情况、疲倦程度、身体状态等信息。利用监控获取的上述信息，可以进行一系列操作来提高车辆的驾驶安全。例如，可以在检测到驾驶员注意力不够集中时提醒驾驶员集中注意力，或者在检测到驾驶员或乘客员过于疲倦或身体状态不佳时提示驾驶员注意休息。
22.然而，为了更快(例如实时)更准确地确定视线方向对计算结果的速度和准确性都提出了更高的要求。不仅如此，传感器的选择、布置和内部参数也会对计算结果产生非常的影响。
23.鉴于上述情况，本公开提出一种改进的确定车辆用户的视线方向的方法。如本文使用的，术语“车辆用户”不限于是指驾驶员，也可以是指乘员。
24.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
25.下面结合附图详细描述本公开的示例性实施例。
26.图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统100的示意图。
27.参考图1，该系统100包括车载系统110、服务器120、以及将车载系统110与服务器120通信地耦合的网络130。
28.车载系统110包括显示器114和可经由显示器114显示的应用程序(app)112。应用程序112可以为车载系统110默认安装的或由用户102下载和安装的应用程序，或者作为轻量化应用程序的小程序。在应用程序112为小程序的情况下，用户102可以通过在宿主应用中搜索应用程序112(例如，通过应用程序112的名称等)或扫描应用程序112的图形码(例如，条形码、二维码等)等方式，在车载系统110上直接运行应用程序112，而无需安装应用程序112。在一些实施例中，车载系统110可以包括一个或多个处理器和一个或多个存储器(未示出)，并且车载系统110被实现为车载计算机。在一些实施例中，车载系统110可以包括更多或更少的显示屏114(例如，不包括显示屏114)，和/或一个或多个扬声器或其他人机交互设备。在一些实施例中，车载系统110可以不与服务器120通信。
29.服务器120可以代表单台服务器、多台服务器的集群、分布式系统、或者提供基础云服务(诸如云数据库、云计算、云存储、云通信)的云服务器。将理解的是，虽然图1中示出服务器120与仅一个车载系统110通信，但是服务器120可以同时为多个车载系统提供后台服务。
30.网络130允许按照约定的通信协议和数据交互标准，在车-x(“x”意指车、路、行人或互联网等)之间，进行无线通讯和信息交换。网络130的示例包括局域网(lan)、广域网(wan)、个域网(pan)、和/或诸如互联网之类的通信网络的组合。网络130可以是有线或无线网络。在一个示例中，网络130可以是车内网、车际网和/或车载移动互联网。
31.为了本公开实施例的目的，在图1的示例中，应用程序112可以为用于车辆用户的视线检测应用程序，该视线检测应用程序可以提供针对视线检测的各种功能。与此相应，服务器120可以是与视线检测应用程序一起使用的服务器。该服务器120可以基于车辆用户的视线方向车载系统110中运行的应用程序112提供视线检测结果。
32.图2是图示出根据示例性实施例的用于确定车辆用户的视线方向的方法200的流程图。
33.方法200可以在车载系统(例如，图1中所示的车载系统110)处执行，也即，方法200的各个步骤的执行主体可以是图1中所示的车载系统110。在一些实施例中，方法200可以在服务器(例如，图1中所示的服务器120)处执行。在一些实施例中，方法200可以由车载系统(例如，车载系统110)和服务器(例如，服务器120)相组合地执行。在下文中，以执行主体为车载系统110为例，详细描述方法200的各个步骤。
34.参考图2，方法200包括步骤s210至步骤s240。
35.在步骤s210中，获取由布置在车辆处的摄像系统中的第一摄像装置采集的第一图像。在本公开的实施例中，第一图像至少包括车辆用户的人脸，例如还包括车辆用户的眼球。
36.在本公开的实施例中，摄像系统可包括不同类型的摄像装置，例如rgb摄像装置和红外摄像装置中的至少一个，诸如包括rgb摄像装置和红外摄像装置二者。
37.在步骤s220中，通过对第一图像进行人脸检测，确定车辆用户的眼球在第一摄像装置的第一相机坐标系中的位姿。在本公开的实施例中，“第一相机坐标系”例如是第一摄像装置的固有坐标系或以该第一摄像装置中心为原点构建的坐标系。在本公开的实施例中，“位姿”可指示对象在相应坐标系中的位置和姿态，其由该对象的偏移量(例如，位移矩阵)和旋转量(例如，旋转矩阵)来表示，或可由其它方式来表示。在本公开的实施例中，摄像系统以较高的频率来采集图像，以得到包括车辆用户人脸的图像信息。为了确定图像中存在的车辆用户的人脸，以低于摄像装置图像采集频率的另一较低频率对图像中的对象进行人脸检测。由此，根据本公开的实施例，可以以较低频率的人脸检测过程代替计算量庞大的人脸跟踪算法，从而减少所需要的计算量。在人脸检测的基础上，可以利用较高频率采集的图像来确定车辆用户的眼球位姿信息。
38.在本公开的实施例中，为了消除或减少摄像装置的畸变，在对图像进行人脸检测之前，可基于相应的摄像装置的内参来校正图像，之后再基于校正后的图像进行人脸检测操作以及后续的操作，从而提高计算精确度。作为一种示例，在步骤s220中，在对第一图像进行人脸检测之前，基于第一摄像装置的内参来校正第一图像，并且人脸检测基于校正后的图像进行。
39.在步骤s230中，基于眼球在第一相机坐标系中的位姿以及基于第一摄像装置在车辆的车辆坐标系中的位姿，确定眼球在车辆坐标系中的位姿。在本公开的实施例中，“车辆坐标系”例如是以车辆中心为原点构建的坐标系。
40.在步骤s240中，基于眼球在车辆坐标系中的位姿，确定车辆用户的视线方向。在本公开的实施例中，车辆用户的“视线方向”可以是眼球所注视的正前方向。
41.图3是图示出根据示例性实施例的图2的方法200中部分示例过程的流程图。
42.参考图3，根据一些实施例，上述步骤s220可以包括步骤s321至步骤s324。
43.在步骤s321中，获取通过对第一图像进行人脸检测而得到的人脸的至少四个关键点的第一标识，优选地，这些关键点不在同一平面中。在本公开的实施例中，可从第一图像中获取多个关键点并且对这些关键点中的一些或全部进行相应标识。在本公开的实施例中，“标识”是指从相应图像中提取的与关键点相对应的二维标记，其例如可由在相应坐标系中的二维坐标表示，“关键点”的数量可以是预定义的，也可以是由技术人员根据计算精度要求变更的。关键点的数量设置为越多，则计算精度或者说计算结果的准确度也将越大。
44.在步骤s322中，基于预设的映射策略，将第一标识映射成人脸在第一相机坐标系中的位姿。在本公开的实施例中，“映射策略”是将在步骤321中获取的二维的标识映射到相应坐标系中的三维位姿的策略。作为一种示例，当摄像系统仅包括(例如布置在一个位置的)摄像装置时，映射策略可以基于预存储的标识映射模型，该标识映射模型是通过对默认人脸预先建立关键点的3d模型而得到的。该标识映射模型在使用过程中可保持不变或可进一步由技术人员相应调整或变更。作为另一示例，当摄像系统包括(例如布置在多个位置的)多个摄像装置时，映射策略可以是基于多个摄像装置之间的相对位姿和/或它们的内参而确定的标识映射模型。
45.在步骤s323中，通过对第一图像进行眼球角度检测，确定眼球在车辆用户的人脸坐标系中的位姿。在本公开的实施例中，“人脸坐标系”例如是以人脸中心为原点构建的坐标系。在本公开的实施例中，眼球在人脸坐标系中的位姿可包括确定眼球的偏移量和/或旋
转量，其例如可由眼球在人脸坐标系中的三维位移矩阵和两个自由度的旋转矩阵表示。
46.在步骤324中，基于人脸在第一相机坐标系中的位姿以及基于眼球在人脸坐标系中的位姿，确定眼球在第一相机坐标系中的位姿。在本公开的实施例中，将在步骤s322中获得的人脸在第一相机坐标系中的位姿与在步骤s323中获得的眼球在人脸坐标系中的位姿相互合并计算，以获得眼球在第一相机坐标系中的位姿。
47.图4是图示出根据示例性实施例的图3中的方法步骤中部分示例过程的流程图。
48.参考图4，根据一些实施例，当摄像系统还包括第二摄像装置时，上述步骤s323可以进一步包括步骤s421至步骤s424。
49.在步骤s421中，获取由第二摄像装置采集的第二图像，其中，第二图像包括车辆用户的人脸。在本公开的实施例中，第二摄像装置可以是与第一摄像装置类型相同的摄像装置，也可以是与第一摄像装置类型不同的摄像装置。与第一摄像装置类似地，第二摄像装置也可包括不同类型的摄像装置，例如rgb摄像装置和红外摄像装置中的至少一个，诸如包括rgb摄像装置和红外摄像装置二者。在本公开的实施例中，第一摄像装置与第二摄像装置分别布置在车辆内部的不同位置，例如，第一摄像装置被布置在车辆内部的a柱位置处，而第二摄像装置被布置在车辆内部的后视镜位置处。在示例中，布置在后视镜位置处的第二摄像装置可以是广角亦或超广角摄像装置。此外，第一摄像装置与第二摄像装置在相同的采样时刻分别采集第一图像和第二图像，以例如实现同时刻采样的双目摄像机的功能。
50.在步骤s422中，获取通过对第二图像进行人脸检测而得到的人脸的至少四个关键点的第二标识，其中，这些关键点不在同一平面中，第二标识与第一标识分别对应于所述人脸中位于相同位置处的关键点。在本公开的实施例中，可对人脸中的位置进行标注，然后将第一标识和第二标识分别与这些位置进行对应。作为示例，第一标识与第二标识可通过同样的关键点识别算法生成，该算法可在不同图像中识别出位于人脸的相同位置处的各关键点(例如眼角多点、唇周多点、鼻周多点、脸颊多点、脑门多点等)。在本公开的实施例中，可从第二图像中获取多个关键点，并对这些关键点中的一些或全部进行相应标识。在本公开的实施例中，第二标识是指从第二图像中提取的与关键点相对应的二维标记，其例如可由在相应坐标系中的二维坐标表示。此外，从第二图像中获取的关键点的数量可以是预定义的，也可以是由技术人员根据计算精度要求变更的。关键点的数量设置为越多，则计算精度或者说计算结果的准确度也将越大。
51.在步骤s423中，基于第一标识与关键点的对应关系以及基于第二标识与关键点的对应关系，确定第一标识与所述第二标识的对应关系。在本公开的实施例中，例如通过编号映射来确定第一标识与所述第二标识的对应关系。作为示例，第一图像和第二图像中的各关键点可具有彼此不重复的编号。通过对第一图像和第二图像的组合可将图像中位于人脸的相同位置处的各关键点相互对应，例如，可将标识鼻尖关键点的第一标识与同样标识该鼻尖的关键点的第二标识建立对应关系。
52.在步骤s424中，基于所述第二标识所述第一标识与所述第二标识的对应关系以及基于第一摄像装置与第二摄像装置之间的相对位姿，将第一标识映射成人脸在第一相机坐标系中的位姿。在本公开的实施例中，步骤s322中的映射策略可由两个摄像装置的相对位姿以及其中一个摄像装置所获取的图像来实现，而不再需要通过对默认人脸预先建立关键点的3d模型。因此，这种基于两个摄像装置的相对位姿所实现的映射策略不仅更为自动化，
并且消除了由车辆用户脸型、表情、年龄、胖瘦程度等因素对计算结果的影响，从而提高了映射结果的准确性。在本公开的实施例中，在该步骤s423中，还可进一步基于两个摄像装置的内参来将第一标识映射成人脸在所述第一相机坐标系中的位姿，以便进一步提高准确度。
53.在本公开的实施例中，为了消除或减少摄像装置的畸变，在对图像进行人脸检测之前，可基于相应的摄像装置的内参来校正图像，之后再基于校正后的图像进行人脸检测操作以及后续的操作，从而提高计算精确度。作为示例，在步骤422中，在从第二图像中获取人脸的至少一个关键点的第二标识之前，基于第二摄像装置的内参来校正第二图像，并且人脸检测基于校正后的图像进行。
54.图5是图示出根据示例性实施例的图2的方法200中部分示例过程的流程图。
55.参考图5，根据一些实施例，方法200可进一步包括步骤s521至步骤s522。
56.在本公开的实施例中，当摄像系统包括不同类型的摄像装置时，方法200还可包括根据选择相应摄像装置的步骤。例如，可根据不同的自然时间段或亮度条件来选择摄像装置。在步骤s521中，确定当前时间和/或环境亮度。在步骤s522中，根据当前时间和/或环境亮度，从摄像系统中选择相应的摄像装置作为第一摄像装置和/或第二摄像装置。
57.作为一种示例，根据当前时间属于白天时间段还是夜晚时间段来选择摄像装置的类型。例如，响应于确定当前时间属于白天时间段(例如，当日5点至当日17点)，选择rgb摄像装置作为第一摄像装置和/或第二摄像装置；响应于确定当前时间属于夜晚时间段(例如，当日17点至次日5点)，选择红外摄像装置作为第一摄像装置和/或第二摄像装置。
58.作为另一示例，根据摄像系统的周围环境亮度来选择摄像装置的类型。例如，响应于确定环境亮度高于一亮度阈值，选择rgb摄像装置作为第一摄像装置和/或第二摄像装置；响应于确定环境亮度低于该亮度阈值，选择红外摄像装置作为第一摄像装置和/或第二摄像装置。在本公开的实施例中，“亮度阈值”可以是预定义的或可由技术人员根据应用场景设置或调整的、用于区分不同类型的摄像装置的使用的亮度值。
59.在本公开的实施例中，当同时设置多种类型的摄像装置时，可在满足上述条件的情况下使用一种摄像装置来确定车辆用户的视线方向，而另外的摄像装置则可实现其他的功能。作为示例，当在白天时间段时，使用rgb摄像装置来执行方法200，而此时红外装置则可用于确定例如车辆用户的状态，包括其心率、心率变异性、呼吸率、体温、血氧含量、血压、动作、语言中的至少一项。根据实际应用的需要，本领域技术人员可以对车内摄像装置的类型和数量进行配置来获取用于确定车辆用户的视线和/或状态的信息。
60.虽然各个操作在各附图中被描绘为按照特定的顺序，但是这不应理解为要求这些操作必须以所示的特定顺序或者按顺行次序执行，也不应理解为要求必须执行所有示出的操作以获得期望的结果。
61.利用本公开的实施例用于确定车辆用户的视线方向方法，可以间歇地亦或实时地跟踪车辆用户的注意力状态。这有助于提高车内乘客的乘坐体验并改善驾驶安全。
62.图6是图示出根据示例性实施例的用于确定车辆用户的视线方向的装置600的示意性框图。
63.如图6所示，装置600可以包括第一单元610、第二单元620、第三单元630以及第四单元640。
64.第一单元610可用于获取由布置在车辆处的摄像系统中的第一摄像装置采集的第一图像。作为示例，第一单元610可包括图像获取单元。在本公开的实施例中，可设置一个第一单元来采集包括车辆用户的人脸的第一图像，还可同时设置另一第一单元来采集包括车辆用户的人脸的第二图像。
65.第二单元620可用于通过对第一图像进行人脸检测，确定车辆用户的眼球在第一摄像装置的第一相机坐标系中的位姿。作为示例，第二单元620可包括人脸检测单元。在本公开的实施例中，可设置一个第二单元来对所采集的人脸的第一图像对进行人脸检测，还可同时设置另一第二单元来对所采集的人脸的第二图像对进行人脸检测。
66.第三单元630可用于基于眼球在第一相机坐标系中的位姿以及基于第一摄像装置在车辆的车辆坐标系中的位姿，确定眼球在车辆坐标系中的位姿。第四单元640可用于基于眼球在车辆坐标系中的位姿，确定车辆用户的视线方向。作为示例，第三单元630可包括位姿确定单元，而第四单元640可包括视线确定单元。
67.应当理解，图6中所示装置600的各个模块或单元可以与参考图2描述的方法200中的各个步骤相对应。由此，上面针对方法200描述的操作、特征和优点同样适用于装置600及其包括的模块。为了简洁起见，某些操作、特征和优点在此不再赘述。
68.虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。本文讨论的特定模块执行动作包括该特定模块本身执行该动作，或者替换地该特定模块调用或以其他方式访问执行该动作(或结合该特定模块一起执行该动作)的另一个组件或模块。因此，执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。
69.还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图6描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些模块可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些模块可以被实现为硬件逻辑/电路。例如，在一些实施例中，第一单元610、第二单元620、第三单元630以及第四单元640中的一个或多个可以一起被实现在片上系统(system on chip,soc)中。soc可以包括集成电路芯片(其包括处理器(例如，中央处理单元(central processing unit,cpu)、微控制器、微处理器、数字信号处理器(digital signal processor,dsp)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
70.根据本公开的一方面，提供了一种计算机设备，其包括至少一个存储器、至少一个处理器以及存储在至少一个存储器上的计算机程序。该至少一个处理器被配置为执行计算机程序以实现上文描述的任一方法实施例的步骤。
71.根据本公开的一方面，提供了一种车辆，其包括如上所述的装置或计算机设备。
72.根据本公开的一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。
73.根据本公开的一方面，提供了一种计算机程序产品，其包括计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。
74.在下文中，结合图7描述这样的计算机设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。
75.图7示出了可以被用来实施本文所描述的方法的计算机设备700的示例配置。举例来说，图1中所示的服务器120和/或车载系统110可以包括类似于计算机设备700的架构。上述用于确定车辆用户的视线方向的装置600也可以全部或至少部分地由计算机设备700或类似设备或系统实现。
76.计算机设备700可以包括能够诸如通过系统总线714或其他适当的连接彼此通信的至少一个处理器702、存储器704、(多个)通信接口706、显示设备708、其他输入/输出(i/o)设备710以及一个或更多大容量存储设备712。
77.处理器702可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器702可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器702可以被配置成获取并且执行存储在存储器704、大容量存储设备712或者其他计算机可读介质中的计算机可读指令，诸如操作系统716的程序代码、应用程序718的程序代码、其他程序720的程序代码等。
78.存储器704和大容量存储设备712是用于存储指令的计算机可读存储介质的示例，所述指令由处理器702执行来实施前面所描述的各种功能。举例来说，存储器704一般可以包括易失性存储器和非易失性存储器二者(例如ram、rom等等)。此外，大容量存储设备712一般可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘(例如cd、dvd)、存储阵列、网络附属存储、存储区域网等等。存储器704和大容量存储设备712在本文中都可以被统称为存储器或计算机可读存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，所述计算机程序代码可以由处理器702作为被配置成实施在本文的示例中所描述的操作和功能的特定机器来执行。
79.多个程序可以存储在大容量存储设备712上。这些程序包括操作系统716、一个或多个应用程序718、其他程序720和程序数据722，并且它们可以被加载到存储器704以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑(例如，计算机程序代码或指令)：方法200(包括方法200的任何合适的步骤)、和/或本文描述的另外的实施例。
80.虽然在图7中被图示成存储在计算机设备700的存储器704中，但是模块716、718、720和722或者其部分可以使用可由计算机设备700访问的任何形式的计算机可读介质来实施。如本文所使用的，“计算机可读介质”至少包括两种类型的计算机可读介质，也就是计算机可读存储介质和通信介质。
81.计算机可读存储介质包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质，所述信息诸如是计算机可读指令、数据结构、程序模块或者其他数据。计算机可读存储介质包括而不限于ram、rom、eeprom、闪存或其他存储器技术，cd-rom、数字通用盘(dvd)、或其他光学存储装置，磁盒、磁带、磁盘存储装置或其他磁性存储设备，或者可以被用来存储信息以供计算机设备访问的任何其他非传送介质。与此相对，通信介质可以在诸如载波或其他传送机制之类的已调制数据信号中具体实现计算机可
读指令、数据结构、程序模块或其他数据。本文所定义的计算机可读存储介质不包括通信介质。
82.一个或更多通信接口706用于诸如通过网络、直接连接等等与其他设备交换数据。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口(例如，网络接口卡(nic))、有线或无线(诸如ieee 802.11无线lan(wlan))无线接口、全球微波接入互操作(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、bluetooth
tm
接口、近场通信(nfc)接口等。通信接口706可以促进在多种网络和协议类型内的通信，其中包括有线网络(例如lan、电缆等等)和无线网络(例如wlan、蜂窝、卫星等等)、因特网等等。通信接口706还可以提供与诸如存储阵列、网络附属存储、存储区域网等等中的外部存储装置(未示出)的通信。
83.在一些示例中，可以包括诸如监视器之类的显示设备708，以用于向用户显示信息和图像。其他i/o设备710可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等等。
84.本文描述的技术可以由计算机设备700的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。例如，该功能还可以通过使用分布式系统在“云”上全部或部分地实现。云包括和/或代表用于资源的平台。平台抽象云的硬件(例如，服务器)和软件资源的底层功能。资源可以包括在远离计算机设备700的服务器上执行计算处理时可以使用的应用和/或数据。资源还可以包括通过因特网和/或通过诸如蜂窝或wi-fi网络的订户网络提供的服务。平台可以抽象资源和功能以将计算机设备700与其他计算机设备连接。因此，本文描述的功能的实现可以分布在整个云内。例如，功能可以部分地在计算机设备700上以及部分地通过抽象云的功能的平台来实现。
85.虽然在附图和前面的描述中已经详细地说明和描述了本公开，但是这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；本公开不限于所公开的实施例。通过研究附图、公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的主题时，能够理解和实现对于所公开的实施例的变型。在权利要求书中，词语“包括”不排除未列出的其他元件或步骤，不定冠词“一”或“一个”不排除多个，术语“多个”是指两个或两个以上，并且术语“基于”应解释为“至少部分地基于”。在相互不同的从属权利要求中记载了某些措施的仅有事实并不表明这些措施的组合不能用来获益。