基于姿势的汽车控制的制作方法
【专利摘要】公开了基于姿势进行控制的方法和装置。在一个方面中，公开了一种方法，该方法包括保持与车辆的多个预定区域相结合的多个预定姿势与多个功能之间的相关性。该方法还包括记录车辆的内部部分的三维图像，基于三维图像，检测车辆的给定区域中的给定姿势，其中，给定姿势对应于所述多个预定姿势中的一个而且给定区域对应于所述多个预定区域中的一个。该方法又进一步包括基于相关性，选择与结合给定区域的给定姿势相关联的功能，以及启动车辆中的所述功能。
【专利说明】基于姿势的汽车控制
[0001]相关申请的交叉引用
[0002]本申请要求于2012年4月2日提交的第13/437，730号美国专利申请的优先权，其内容通过引用并入本文。
【背景技术】
[0003]在某些情况下，车辆的驾驶员可能希望一次执行多个功能。例如，除了驾驶车辆之夕卜，驾驶员可能希望输入导航目的地、改变车辆内的温度、或改变车辆中正在播放的音乐的音量。其它功能也是可能的。
【发明内容】
[0004]在一个方面中，公开了一种示例方法，其包括保持与车辆的多个预定区域相结合的多个预定姿势与多个功能之间的相关性，以使得与所述多个预定区域中的特定区域相结合的所述多个预定姿势中的每个姿势与所述多个功能中的特定功能相关联。示例方法还包括记录车辆的内部部分的三维图像，以及基于三维图像，检测车辆的给定区域中的给定姿势，其中，给定姿势对应于所述多个预定姿势中的一个而且给定区域对应于所述多个预定区域中的一个。示例方法还进一步包括基于相关性，选择与结合给定区域的给定姿势相关联的功能，以及启动车辆中的所述功能。
[0005]在另一方面中，公开了一种示例非暂态计算机可读介质，其中存储有指令，所述指令可由计算设备执行以使得计算设备执行上述示例方法的功能。
[0006]在又一方面中，公开了一种示例车辆，其包括:相机，被配置为记录车辆的内部部分的三维图像；至少一个处理器；以及数据存储装置。数据存储装置包括与车辆的多个预定区域相结合的多个预定姿势与多个功能之间的相关性，以使得与所述多个预定区域中的特定区域相结合的所述多个预定姿势中的每个姿势与所述多个功能中的特定功能相关联。数据存储装置还包括可由所述至少一个处理器执行的指令，以记录车辆的内部部分的三维图像，并且基于三维图像，检测车辆的给定区域中的给定姿势，其中，给定姿势对应于所述多个预定姿势中的一个而且给定区域对应于所述多个预定区域中的一个。所述指令还可由所述至少一个处理器执行以基于相关性，选择与结合给定区域的给定姿势相关联的功能，以及启动车辆中的所述功能。
[0007]通过阅读以下适当时参照附图的详细描述，这些以及其它方面、优点和替换将对本领域普通技术人员而言变得明显。
【专利附图】
【附图说明】
[0008]图1是图示出根据实施例的示例方法的流程图。
[0009]图2是根据实施例的示例车辆的示例仪表板的图像。
[0010]图3A至图3D图示了根据实施例的示例方法的示例实现方式，其中，姿势被用来控制示例车辆中的空调系统。
[0011]图4A至图4C图示了根据实施例的示例方法的示例实现方式，其中，姿势被用来控制不例车辆中的首频系统。
[0012]图5示出了根据实施例的姿势、区域和功能之间的示例相关性。
[0013]图6图示了根据实施例的示例车辆。
[0014]图7是根据实施例的示例车辆的简化框图。
[0015]图8是根据实施例的示例计算机程序产品的简化框图。
[0016]具体实现方式
[0017]以下详细描述参照附图描述了所公开的系统和方法的各种特征和功能。在附图中，相似的符号一般标识相似的组件，除非上下文给出相反指示。本文所描述的说明性的系统和方法的实施例并不意味着限制。将容易理解的是，所公开的系统和方法的某些方面可以以多种不同的配置排列和组合，所有这些在本文中都被设想到。
[0018]如以上所指出的，在某些情况下，在用户正驾驶车辆的同时，用户可能希望执行多项附加功能，诸如导航到目的地、改变车辆内的温度、或改变车辆中正在播放的音乐的音量。其它功能也是可能的。
[0019]执行这些附加功能可能要求用户定位和操纵车辆中的一个或多个控件。例如，为了改变车辆内的温度，用户可以定位车辆的仪表板上的控制加热器的按钮或旋钮。作为另一示例，为了改变车辆中的座椅的位置，用户可以定位座椅侧面上的用于控制座椅位置的设备。其它控件也是可能的。
[0020]在用户正驾驶车辆的同时，用户可能难以定位控件。另外，用户可能难以操纵控件。此外，将控件包括在车辆最接近用户的一些区域中可能是不安全的。例如，将控件包括在方向盘上或从其可以部署气囊的其它表面上可能是不安全的。结果，车辆的可以包括控件的区域可能受到限制。
[0021]本文公开了在车辆中基于姿势进行控制的方法和系统。车辆可以保持与车辆的多个预定区域相结合的多个预定姿势与多个功能之间的相关性，以使得与多个预定区域中的特定区域相结合的多个预定姿势中的每个姿势与多个功能中的特定功能相关联。
[0022]用户可以在车辆的区域中执行姿势。示例姿势包括轻扫(swiping)、指向(pointing)、轻击(tapping)、抓(grasping)和捏(pinching)。示例区域包括方向盘、空调通风口和用户的耳朵。如下所述，其它姿势和区域也是可能的。
[0023]车辆可以包括被配置为记录姿势的三维图像的一个或多个相机。车辆可以基于三维图像检测姿势和区域。此外，车辆可以基于相关性选择与姿势和区域相关联的功能。然后，车辆可以启动车辆中的所述功能。
[0024]图1中所示的方法100呈现了例如，可以与本文所描述的车辆一起使用的方法的实施例。方法100可以包括如由块102-110中的一个或多个所图示的一个或多个操作、功能或动作。尽管以顺序的次序图示了所述块，但是这些块也可以并行执行，和/或可以以不同于本文描述的那些次序来执行。另外，各块可以基于所期望的实现方式而被组合成较少的块、被划分成附加的块、和/或被去除。
[0025]此外，对于方法100以及本文公开的其它过程和方法，流程图示出了本实施例的一个可能的实现方式的功能和操作。在这点上，每个块可以代表程序代码的模块、片段或部分，该程序代码包括可由处理器执行以用于实现过程中的特定逻辑功能或步骤的一个或多个指令。程序代码可以被存储在任何类型的计算机可读介质上，诸如例如包括盘或硬盘驱动器的存储设备。计算机可读介质可以包括非暂态计算机可读介质，诸如例如像寄存器存储器、处理器高速缓存以及随机存取存储器(RAM)那样的在短时段内存储数据的计算机可读介质。计算机可读介质也可以包括非暂态介质，诸如例如像只读存储器(ROM)、光盘或磁盘和致密盘只读存储器(CD-ROM)那样的二级存储装置或永久性长期存储装置。计算机可读介质也可以是任何其它的易失性或非易失性存储系统。计算机可读介质可以被认为是例如计算机可读存储介质、有形的存储设备或其它制造物品。
[0026]此外，对于方法100以及本文公开的其它过程和方法，每个块可以代表被配置为执行过程中的特定逻辑功能的电路。
[0027]如图所示，方法100开始于块102，其中，车辆保持与车辆的多个预定区域相结合的多个预定姿势与多个功能之间的相关性，以使得与多个预定区域中的特定区域相结合的多个预定姿势中的每个姿势与多个功能中的特定功能相关联。
[0028]预定姿势可以包括例如，车辆的乘员可以使用他或她的手、手指、手臂、腿、头或它们的组合做出的任何姿势。乘员可以是车辆的驾驶员或乘客。例如，预定姿势可以包括手和/或手指的轻扫、轻击、指向、抓、捏或挥舞姿势以及预定位置和移动，诸如美国手语使用的那些。其它预定姿势也是可能的。
[0029]预定区域可以包括例如，车辆的任何区域。例如，预定区域可以包括车辆的内部表面，诸如车辆的方向盘、仪表板、空调通风口、座椅、头枕、扶手或者后视镜，以及乘员的表面，诸如乘员的耳朵、手臂或肩。其它内部表面也是可能的。另外，预定区域可以包括车辆的开放(open-air)区域，诸如乘员的头部和方向盘之间的开放区域、乘员的头部和窗户之间的开放区域、和乘客和座椅之间的开放区域。其它开放区域也是可能的。另外，其它的预定区域也是可能的。
[0030]功能可以包括例如，车辆的任何功能。例如，功能可以包括:修改车辆中的音频系统的音量或音乐选择，修改娱乐系统或车载显示器的音量或内容选择，修改车辆中的空调系统、加热器或气候控制系统的风扇速度或温度，修改车辆中的座椅的座椅位置，停止、启动或修改轿车中的雨刷的速度，打开、关闭或修改轿车中的窗户的位置，修改车辆中的巡航控制系统的速度、打开、关闭或修改车辆中的遮阳板的位置，或者打开、关闭或修改车辆中的天窗的位置。其它功能也是可能的。
[0031]下面结合图5进一步描述示例相关性。
[0032]方法100继续到块104，其中，车辆记录车辆的内部部分的三维图像。为此，车辆可以包括被配置为记录三维图像的一个或多个相机。(多个)相机可以包括例如，深度相机和/或三维激光扫描仪。(多个)相机可以被定位在车辆中的任何地方，诸如车辆的顶棚、车辆的仪表板或者车辆的后视镜上。(多个)相机也可以被定为在车辆中的其它地方。在使用多于一个相机的实施例中，相机可以被定位在车辆中的不同位置中，并且可以从其不同的位置记录三维图像。
[0033]方法100继续到块106，其中，基于三维图像，车辆检测车辆中的给定区域的给定姿势，其中给定姿势对应于多个预定姿势中的一个而且给定区域对应于多个预定区域中的一个。给定姿势可以包括例如，上述的任何示例姿势。类似地，给定区域可以包括例如，上述的任何示例区域。
[0034]车辆可以通过例如监视一个或多个乘员的手、手指、手臂、腿和/或头部的外观的三维图像来检测给定姿势。为此，乘员的手、手指、手臂、腿和/或头部可以具有已知的和/或可识别的形状、纹理、颜色、深度和/或图案。例如，车辆可以监视具有与被认为代表了各种肤色的一个或多个预定颜色和/或色调相匹配或相似的颜色或色调的物体或项目的外观的三维图像。
[0035]可替换地或附加地，车辆可以使用背景减除技术(background subtract1ntechnique)来检测涉及乘员的手、手指、手臂、腿和/或头部的姿势。为此，车辆可以将三维图像与参考的三维图像进行比较，以尝试检测三维图像与参考的三维图像之间的变化。参考的三维图像可以是例如示出车辆空或示出乘员在车辆中处于典型的驾驶位置(例如，双手在方向盘上)的三维图像。其它参考的三维图像也是可能的。为了检测三维图像和参考的三维图像之间的变化，可佩戴的计算设备可以从参考的三维图像“减除”三维图像，以使得消除公共像素并且剩下不同的像素，从而指示三维图像和参考的三维图像之间的变化。这些变化可以例如指示涉及乘员的手、手指、手臂、腿和/或头部的姿势。
[0036]仍然可替换地或附加地，车辆可以通过例如监测三维图像的光流差(optical-flow differential)来监视三维图像以检测乘员的手、手指、手臂、腿和/或头部的移动。例如，当乘员的手、手指、手臂、腿和/或头部正做出预定姿势时，手、手指、手臂、腿和/或头部的外观上的移动将明显地比车辆的其余部分的外观移动更高。结果，手、手指、手臂、腿和/或头部的光流矢量的振幅平均起来将大于车辆的其余部分中的光流矢量的振幅，从而产生手、手指、手臂、腿和/或头部与车辆的其余部分之间的光流差。因此，通过检测光流差，车辆可以检测乘员的手、手指、手臂、腿和/或头部的移动。
[0037]将理解的是，车辆也可以利用其它技术检测给定姿势。
[0038]车辆可以基于在三维图像中检测到的给定姿势的位置来检测给定区域。例如，车辆可以将在三维图像中检测到的给定姿势的位置与对应于相关的多个预定区域的位置进行比较。基于该比较，车辆可以确定检测到的给定姿势的位置靠近与给定区域相对应的位置和/或在与给定区域相对应的位置内。
[0039]将理解的是，车辆也可以利用其它技术检测给定区域。
[0040]在块108，车辆基于相关性选择与结合给定区域的给定姿势相关联的功能。为此，车辆可以在相关性中查找结合给定区域的给定姿势，并且可以从相关性中选择与结合给定区域的给定姿势相关联的功能。
[0041]在块110，车辆启动功能。功能可以是例如上述的任何示例功能。
[0042]在一些实施例中，除了启动功能，车辆可以向用户触发反馈，诸如听觉反馈、视觉反馈和/或触觉反馈。当用户不能立即检测到功能时，诸如气候控制系统的风扇转速的小的下降或座椅的轻微重新定位，这样的反馈可以特别有用。
[0043]另外，在一些实施例中，车辆可以确定给定姿势的程度。例如，如果给定姿势是轻扫姿势，则车辆可以确定轻扫的程度(例如，轻扫在空间和/或时间上的长度)。然后车辆可以基于程度确定操作参数。例如，对于更大的程度，车辆可以确定比对于更小的程度而言更大的操作参数。操作参数可以例如正比于或近似正比于程度。在这些实施例中，当车辆启动功能时，车辆可以以所确定的操作参数启动所述功能。
[0044]例如，如果轻扫姿势在包括窗户的区域中，并且包括窗户的区域中的轻扫姿势与打开窗户相关联，则车辆可以确定轻扫的程度并且可以进一步地基于轻扫的程度确定将窗户打开多大。例如，对于更长的轻扫，车辆可以比对于更短的轻扫而言打开更大的窗户。
[0045]作为另一示例，如果轻扫姿势在包括空调通风口的区域中，并且包括空调通风口的区域中的轻扫姿势与降低车辆内的温度相关联，则车辆可以确定轻扫的程度并且可以进一步地基于轻扫的程度确定将车辆内的温度降低多少。例如，对于更长的轻扫，车辆可以比对于更短的轻扫而言降低更多的温度。
[0046]也可以对除了轻扫姿势以外的姿势确定这样的程度。例如，如果轻击姿势在包括扬声器的区域中，并且包括扬声器的区域中的轻击姿势与降低音频系统的音量相关联，则车辆可以确定轻击的程度(例如，多少次轻击、轻击保持多长时间等等)并且可以进一步地基于轻击的程度确定将音频系统的音量降低多少。例如，对于更多(或更长)的轻击，车辆可以比对于更少(或更短)的轻击而言降低更多音量。
[0047]在一些实施例中，车辆可以代替地持续确定姿势的程度并更新相应的操作参数而不是确定姿势的程度和相应的操作参数然后以所确定的操作参数启动功能，并且可以以更新的操作参数持续地启动功能。例如，车辆可以检测包括空调通风口的区域中的覆盖姿势(例如，使得空调通风口被覆盖)，并且包括空调通风口的区域中的覆盖姿势可以与降低空调系统的风扇速度相关联。一旦车辆检测到包括空调通风口的区域中的覆盖姿势，车辆就可以降低风扇速度(例如，降低预定量)。随着车辆持续检测到覆盖姿势，车辆可以持续降低风扇速度(例如，以例如预定量的增量、增长量等)。一旦车辆检测到覆盖姿势已经结束，车辆就可以停止降低风扇速度。结果，在覆盖姿势期间，车辆可以将风扇速度降低基于覆盖姿势的程度的量。
[0048]在一些实施例中，车辆可能难以检测给定姿势和/或给定区域。例如，车辆可以确定给定姿势和给定区域中的一者或两者的置信水平低于预定阈值。在这些实施例中，车辆可以请求乘员重复给定区域中的给定姿势。当乘员重复给定区域中的给定姿势时，车辆可以记录附加的三维图像，并且可以基于附加的三维图像(以及，在某些情况下，先前记录的三维图像)检测给定姿势和给定区域。
[0049]为了说明的目的，描述了多个示例实现方式。然而，应当理解，示例实现方式仅是说明性的，而且不意味着限制。其它示例实现方式也是可能的。
[0050]图2是根据实施例的示例车辆的示例仪表板200的图像。如图所示，示例仪表板200包括显示器202 (例如，液晶显示器(IXD)、发光二极管(LED)显示器、触摸屏等)、空调通风口 204、速度计206和方向盘208。
[0051]为了说明的目的，结合与示例仪表板200类似的仪表板来描述下面的示例实现方式。然而，应当理解，代替所示的那些组件或者除了所示的那些组件之外，仪表板还可以包括附加的组件。另外，仪表板的组件可以被重新安排或移除。即，所示的仪表板并非旨在限制，并且其它仪表板也是可能的。
[0052]图3A至图3D图示了根据实施例的示例方法的示例实现方式，其中，姿势被用来控制示例车辆中的空调系统。如图所示，用户300正在驾驶车辆。如上所述，车辆可以保持与车辆的多个预定区域相结合的多个预定姿势与多个功能之间的相关性，以使得与多个预定区域中的特定区域相结合的多个预定姿势中的每个姿势与多个功能中的特定功能相关联。例如，相关性可以包括与降低空调系统的风扇速度的功能相关联的包含空调通风口的区域中的向下轻扫姿势。其它示例也是可能的。
[0053]如图所示，显示器上的风扇速度指示器302指示车辆中的空调系统的风扇速度为高。另外，相机304被定位在车辆的顶棚上。相机304可以被配置为记录车辆的内部部分的三维图像。虽然只有一个相机304被示出，但是可以使用多于一个的相机。
[0054]在某一时刻，用户300可能希望降低空调系统的风扇速度。为此，用户300可以在包括空调通风口的区域中做出向下轻扫姿势。这在图3B至图3C中图示出，图3B至图3C示出了图3A的部分306的详细视图。如图3B至图3C中所示，用户300正在使用他或她的手308在空调通风口 310上做出向下轻扫姿势312。
[0055]相机304可以记录在包括空调通风口 310的区域中的向下轻扫姿势312的三维图像。基于该三维图像，车辆可以检测包括空调通风口 310的区域中的向下轻扫姿势312。
[0056]然后，车辆可以基于相关性来选择与包括空调通风口 310的区域中的向下轻扫姿势312相关联的功能。例如，如上所述，包括空调通风口 310的区域中的向下轻扫姿势312可以与降低空调系统的风扇速度的功能相关联。其它示例也是可能的。
[0057]一旦车辆已经从相关性选择了功能，车辆就可以启动车辆中的所述功能。即，车辆可以降低车辆中的风扇速度。
[0058]如图3D中所示，显示器上的风扇速度指示器302指示车辆中的空调系统的风扇速度已经降低。风扇速度指示器302可以用作对用户300的视觉反馈，从而允许用户300确认风扇速度已经降低。在一些实施例中，代替视觉反馈或者除了视觉反馈之外，车辆可以触发触觉或听觉反馈，或者可以不触发任何反馈。
[0059]在一些实施例中，车辆可以附加地通过确定向下轻扫姿势312的程度来确定程度，并且可以将风扇速度降低例如正比于程度的一个量。
[0060]图4A至图4C图示了根据实施例的示例方法的示例实现方式，其中，姿势被用来控制示例车辆中的音频系统。如图所示，用户400正在驾驶车辆。如上所述，车辆可以保持与车辆的多个预定区域相结合的多个预定姿势与多个功能之间的相关性，以使得与多个预定区域中的特定区域相结合的多个预定姿势中的每个姿势与多个功能中的特定功能相关联。例如，相关性可以包括与关闭车辆中的音频系统的功能相关联的包含用户400的耳朵的区域中的轻击姿势。其它示例也是可能的。
[0061]如图所示，显示器上的音频系统指示器402指示音频系统正在播放来自广播电台的音乐。另外，相机404被定位在车辆的顶棚上。相机404可以被配置为记录车辆的内部部分的三维图像。虽然只有一个相机404被示出，但是可以使用多于一个的相机。
[0062]在某一些时刻，用户400可能希望关闭音频系统。为此，用户400可以在包括用户400的耳朵的区域中做出轻击姿势。这在图4B中图示出，图4B示出了图4A的部分406的详细视图。如图4B中所示，用户400正在使用他或她的手408在用户400的耳朵410上做出轻击姿势。
[0063]相机404可以记录在包括用户400的耳朵410的区域中的轻击姿势的三维图像。基于该三维图像，车辆可以检测到包括用户400的耳朵410的区域中的轻击姿势。
[0064]然后，车辆可以基于相关性来选择与包括用户400的耳朵410的区域中的轻击姿势相关联的功能。例如，如上所述，包括用户400的耳朵410的区域中的轻击姿势可以与关闭音频系统的功能相关联。其它示例也是可能的。
[0065]一旦车辆已经从相关性选择了功能，车辆就可以启动车辆中的所述功能。即，车辆可以关闭首频系统。
[0066]如图4C中所示，显示器上的音频系统指示器402指示音频系统已经关闭。音频系统指示器402可以用作对用户400的视觉反馈，从而允许用户400确认音频系统已经关闭。在一些实施例中，代替视觉反馈或者除了视觉反馈之外，车辆可以触发触觉或听觉反馈，或者可以不触发任何反馈。
[0067]图5示出了根据实施例的姿势、区域和功能之间的示例相关性500。如图所示，相关性500包括与车辆的多个预定区域504相结合的多个预定姿势502、以及多个功能506。特别地，与多个预定区域504中的特定区域相结合的多个预定姿势502中的每个姿势与多个功能506中的特定功能相关联。
[0068]常用姿势可以与两个不同的区域相关联，并且常用姿势可以取决于不同的区域而与不同的功能相关联。例如，如图所示，包括空调通风口的区域中的向上轻扫姿势与提高风扇速度的功能相关联，而包括驾驶员窗户的区域中的向上轻扫姿势与关闭驾驶员窗户的功能相关联。
[0069]类似地，常用区域可以与两个不同的姿势相关联，并且常用区域可以取决于不同的姿势而与不同的功能相关联。例如，如图所示，包括空调通风口的区域中的向上轻扫姿势与提高风扇速度的功能相关联，而包括空调通风口的区域中的向下轻扫姿势与降低风扇速度的功能相关联。另外，如图所示，包括空调通风口的区域中的向右轻扫姿势与提高温度的功能相关联，而包括空调通风口的区域中的向左轻扫姿势与降低温度的功能相关联。
[0070]在一些实施例中，相关性500可以被预先设定，而且车辆的用户可以学习相关性500以便与车辆交互。在其它实施例中，相关性500可以在用户的设置过程中产生，并且用户可以选择在相关性中将被相关的姿势、区域和功能。在这些实施例中，车辆可以为不同的用户保持不同的相关性，并且可以通过标识用户(例如，通过面部识别、钥匙链(key fob)的检测、密码或其它标识符的用户输入等)来确定使用哪个相关性。在另外的其它实施例中，相关性500可以是预先设定的元素和所选元素的组合，其中，姿势、区域和功能中的一些是预先设定的，而姿势、区域和功能中的一些是由用户选择的。
[0071]虽然示出了多个示例姿势、区域和功能，但是应当理解，示例姿势、区域和功能仅是说明性的，并不意味着限制。其它姿势、区域和功能及其组合也是可能的。
[0072]现在将更详细地描述可以实现以上示例方法的示例实施例的系统。一般而言，示例系统可以在车辆中实现或者可以采用车辆的形式。车辆可以采用多种形式，包括例如，汽车、轿车、卡车、摩托车、公交车、船、飞机、直升机、割草机、推土机、雪地车、休闲车、游乐园车、农用机械、建筑机械、有轨电车(tram)、高尔夫球车、火车和电车(trolley)。其它车辆也是可能的。
[0073]另外，另一示例系统可以采用非暂态计算机可读介质的形式，其具有存储在其上的、可由至少一个处理器执行以提供本文描述的功能的程序指令。示例系统也可以采用车辆或车辆的子系统的形式，其包括其上存储有这样的程序指令的这样的非暂态计算机可读介质。
[0074]图6图示了根据实施例的示例车辆600。虽然图6中的车辆600被配置为以自主(autonomous)模式运转，但是在一些实施例中，以上方法可以在未被配置为以自主模式运转的车辆中实现。
[0075]图6示出了车辆600的右视图、前视图、后视图和顶视图。虽然车辆600在图6中被图示为汽车，但是其它实施例是可能的。例如，车辆600可以代表卡车、货车、半拖车卡车、摩托车、高尔夫球车、越野车或农用车以及其它示例。如图所示，车辆600包括第一传感器单元602、第二传感器单元604、第三传感器单元606、无线通信系统608和外部相机610。
[0076]第一、第二和第三传感器单元602至606中的每一个可以包括全球定位系统传感器、惯性测量单元、无线电检测和测距(rad1 detect1n and ranging, RADAR)单元、激光测距仪、光检测和测距(light detect1n and ranging,LIDAR)单元、外部相机和声学传感器的任何组合。其它类型的传感器也是可能的。
[0077]虽然第一、第二和第三传感器单元602至606被示为安装在车辆600上的特定位置中，但是在一些实施例中，传感器单元602可以安装在车辆600的其它地方，在车辆600的内部或外部。另外，虽然只示出了三个传感器单元，但是在一些实施例中，车辆600中可以包括更多或更少的传感器单元。
[0078]在一些实施例中，第一、第二和第三传感器单元602至606中的一个或多个可以包括一个或多个可移动底座(mount)，传感器可以可移动地安装在所述一个或多个可移动底座上。可移动底座可以包括例如旋转平台。安装在旋转平台上的传感器可以旋转，以使得传感器可以从车辆600周围的每个方向获取信息。可替换地或附加地，可移动底座可以包括倾斜平台。安装在倾斜平台上的传感器可以在特定的角度和/或方位角的范围内倾斜，以使得传感器可以从各种角度获取信息。可移动底座也可以采用其它形式，
[0079]另外，在一些实施例中，第一、第二和第三传感器单元602至606中的一个或多个可以包括一个或多个致动器，其被配置为通过移动传感器和/或可移动底座来调整传感器单元中的传感器的位置和/或取向。示例致动器包括马达、气动致动器、液压活塞、继电器、螺线管和压电致动器。其它致动器也是可能的。
[0080]无线通信系统608可以是被配置为或直接或经由通信网络无线地耦合到一个或多个其它车辆、传感器或其它实体的任何系统。为此，无线通信系统608可以包括天线和芯片组，以用于或直接或通过空中接口与其它车辆、传感器或其它实体通信。芯片组或无线通信系统608 —般可以被布置为根据一个或多个其它类型的无线通信(例如，协议)进行通信，所述无线通信诸如蓝牙、在IEEE 802.11 (包括任何IEEE 802.11修订版)中描述的通信协议、蜂窝技术(诸如GSM、CDMA, UMTS, EV-DO, WiMAX或LTE)、紫蜂、专用短程通信(DSRC)、和射频识别(RFID)通信等等。无线通信系统608也可以采取其它形式。
[0081]虽然无线通信系统608被示出为定位在车辆600的顶部，但是在其它实施例中，无线通信系统608可以完全地或部分地定位在其它地方。
[0082]外部相机610可以是被配置成捕获车辆600所位于的环境的图像的任何相机(例如，静态相机、视频相机等)。为此，外部相机610可以被配置为检测可见光，或者可以被配置为检测来自频谱的其它部分的光，诸如红外或紫外光或X射线。其它类型的相机也是可能的。外部相机610可以是二维检测器，或可以具有三维空间范围。在一些实施例中，外部相机610可以是例如，距离检测器，其被配置为生成指示从外部相机610到环境中的多个点的距离的二维图像。为此，外部相机610可以使用一个或多个范围检测技术。例如，外部相机610可以使用结构光技术，其中，车辆600利用预定光图案(诸如网格或棋盘图案)照亮环境中的物体，并使用外部相机610检测从物体的预定光图案的反射。基于反射的光图案中的失真，车辆600可以确定到物体上的点的距离。预定光图案可以包括红外光，或其它波长的光。作为另一示例，外部相机610可以使用激光扫描技术，其中，车辆600发射激光并在环境中的物体上的多个点上扫描。在扫描物体的同时，车辆600使用外部相机610对于每个点检测从物体的激光的反射。基于激光在每个点处从物体反射所花费的时间的长度，车辆600可以确定到物体上的点的距离。作为又一示例，外部相机610可以使用飞行时间(time-of-flight)技术，其中，车辆600发射光脉冲并使用外部相机610在物体上的多个点处检测从物体的光脉冲的反射。特别地，外部相机610可以包括多个像素，并且每个像素可以检测从物体上的点的光脉冲的反射。基于光脉冲在每个点处从物体反射所花费的时间的长度，车辆600可以确定到物体上的点的距离。光脉冲可以是激光脉冲。其它距离检测技术也是可能的，包括立体三角测量、片光(sheet-of-light)三角测量、干涉、和编码孔径技术等等。外部相机610也可以采取其它形式。
[0083]在一些实施例中，如上述所述，外部相机610可以包括可移动底座和/或致动器，其被配置为通过移动外部相机610和/或可移动底座来调整外部相机610的位置和/或取向。
[0084]虽然外部相机610被示出为安装在车辆600的前挡风玻璃上，但是在其它实施例中，外部相机610可以安装在车辆600上的其它位置，或者在车辆600的内部或者外部。
[0085]除了或者代替所示的那些组件，车辆600可以包括一个或多个其它组件。
[0086]图7是根据实施例的示例车辆700的简化框图。车辆700可以是例如类似于以上结合图6所描述的车辆600。车辆700也可以采取其它形式。虽然在图7中的车辆700被描述为被配置为以自主模式运转，但是在一些实施例中，以上方法可以在未被配置为以自主模式运转的车辆中实现。在这些实施例中，车辆可以包括更少的和/或不同的系统和/或组件。
[0087]如图所示，车辆700包括推进系统702、传感器系统704、控制系统706、外围设备708、以及包括处理器712、数据存储装置714和指令716的计算机系统710。在其它实施例中，车辆700可以包括更多的、更少的或不同的系统，并且每个系统可以包括更多的、更少的或不同的组件。附加地，所示的系统和组件可以以任何数量的方式组合或划分。
[0088]推进系统702可以被配置为向车辆700提供用动力推动的运动。如图所示，推进系统702包括发动机/马达(engine/motor) 718、能量源720、传动装置722和车轮/轮胎724。
[0089]发动机/马达718可以是或包括内燃机(internal combust1n engine)、电动机(electric motor)、蒸汽机(steam engine)和斯特林发动机(Stirling engine)的任意组合。其它马达和发动机也是可能的。在一些实施例中，推进系统702可以包括多种类型的发动机和/或马达。例如，气电混合轿车可以包括汽油发动机和电动机。其它示例是可能的。
[0090]能量源720可以是完全或部分地向发动机/马达718供以动力的能量源。即，发动机/马达718可以被配置为将能量源720转换成机械能。能量源720的示例包括汽油、柴油、丙烷、基于其它压缩气体的燃料、乙醇、太阳能电池板、电池和其它来源的电力。(多个)能量源720可以附加地或可替换地包括燃料箱、电池、电容器和/或飞轮的任意组合。在一些实施例中，能量源720也可以向车辆700的其它系统提供能量。
[0091]传动装置722可以被配置为将来自发动机/马达718的机械功率发送到车轮/轮胎724。为此，传动装置722可以包括变速箱、离合器、差速器(differential)、驱动轴和/或其它元件。在传动装置722包括驱动轴的实施例中，驱动轴可以包括被配置为稱合到车轮/轮胎724的一个或多个轴。
[0092]车辆700的车轮/轮胎724可以以各种形式配置，包括独轮车、自行车/摩托车、三轮车或轿车/卡车四轮形式。其它车轮/轮胎形式也是可能的，诸如包括六个或更多个车轮的那些形式。在任何情况下，车辆700的车轮/轮胎724可以被配置为相对于其它车轮/轮胎724差动地转动。在一些实施例中，车轮/轮胎724可以包括被固定地附接到传动装置722的至少一个车轮以及耦合到该车轮的轮圈的、可以与驱动表面进行接触的至少一个轮胎。车轮/轮胎724可以包括金属和橡胶的任意组合、或其它材料的组合。
[0093]推进系统702可以附加地或可替换地包括除了所示的那些组件之外的组件。
[0094]传感器系统704可以包括被配置为感测关于车辆700所位于的环境的信息的多个传感器，以及被配置为修改传感器的位置和/或取向的一个或多个致动器736。如图所示，传感器系统的传感器包括全球定位系统(GPS) 726、惯性测量单元(IMU) 728,RADAR单元730、激光测距仪和/或LIDAR单元732、和相机734。传感器系统704也可以包括附加传感器，包括例如，监视车辆700的内部系统的传感器(例如，氧气监视器、燃料计、发动机油温度等)。其它传感器也是可能的。
[0095]GPS 726可以是被配置为估计车辆700的地理位置的任何传感器。为此，GPS 726可以包括被配置为估计车辆700相对于地球的位置的收发器。GPS726也可以采取其它形式。
[0096]IMU 728可以是被配置为基于惯性加速度感测车辆700的位置和方位变化的传感器的任意组合。在一些实施例中，传感器的组合可以包括例如，加速度计和陀螺仪。传感器的其它组合也是可能的。
[0097]RADAR单元730可以是被配置为使用无线电信号感测车辆700所位于的环境中的物体的任何传感器。在一些实施例中，除了感测物体之外,RADAR单元730可以附加地被配置为感测物体的速度和/或方向。
[0098]类似地，激光测距仪或LIDAR单元732可以是被配置为使用激光感测车辆700所位于的环境中的物体的任何传感器。特别地，激光测距仪或LIDAR单元732可以包括被配置为发射激光的激光源和/或激光扫描仪、和被配置为检测激光的反射的检测器。激光测距仪或LIDAR 732可以被配置为以相干检测模式(例如，使用外差检测)或非相干检测模式运转。
[0099]相机734可以是被配置为记录车辆700的内部部分的三维图像的任何相机(例如，静态相机、视频相机等)。为此，相机734可以例如是深度相机。可替换地或附加地，相机734可以采取以上结合外部相机610所述的任何形式。在一些实施例中，相机734可以包括多个相机，而且多个相机可以被定位在车辆700的内部和外部上的多个位置。
[0100]传感器系统704可以附加地或可替换地包括除了所示的那些组件之外的组件。
[0101]控制系统706可以被配置为控制车辆700及其组件的操作。为此，控制系统706可以包括转向单元738、节气门740、制动单元742、传感器融合算法744、计算机视觉系统746、导航或寻路系统(navigat1n or pathing system) 748 和避障(obstacle avoidance)系统 750。
[0102]转向单元738可以是被配置为调整车辆700的方向的机制的任意组合。
[0103]节气门740可以是被配置为控制发动机/马达718的运转速度并进而控制车辆700的速度的机制的任何组合。
[0104]制动单元742可以是被配置为使车辆700减速的机制的任何组合。例如，制动单元742可以使用摩擦来使车轮/轮胎724慢下来。作为另一示例，制动单元742可以将车轮/轮胎724的动能转换为电流。制动单元742也可以采取其它形式。
[0105]传感器融合算法744可以是被配置为接受来自传感器系统704的数据作为输入的算法(或存储算法的计算机程序产品)。数据可以包括例如，代表在传感器系统704的传感器处感测到的信息的数据。传感器融合算法744可以包括例如，卡尔曼(Kalman)滤波器、贝叶斯网络或其它算法。传感器融合算法744还可以被配置为基于来自传感器系统704的数据来提供各种估计，包括例如，对车辆700所位于的环境中的各个物体和/或特征的评估、对具体情况的评估、和/或对基于具体情况的可能的影响的评估。其它估计也是可能的。
[0106]计算机视觉系统746可以是被配置为处理和分析由相机734捕获的图像以便标识车辆700所位于的环境中的物体和/或特征的任何系统，物体和/或特征包括例如，交通信号和障碍(例如，在相机734包括多个相机的实施例中，包括了安装在车辆700的外部的相机)。为此，计算机视觉系统746可以使用物体识别算法、运动恢复结构(Structure fromMot1n, SFM)算法、视频跟踪或其它计算机视觉技术。在一些实施例中，计算机视觉系统746可以附加地被配置为在地图上标出环境、跟踪物体、估计物体的速度等。
[0107]导航和寻路系统748可以被配置为确定车辆700的驾驶路径的任何系统。导航和寻路系统748可以附加地被配置为在车辆700正处于运转中的同时动态地更新驾驶路径。在一些实施例中，导航和寻路系统748可以被配置为将来自传感器融合算法744、GPS 726的数据与一个或多个预定地图合并，以便确定车辆700的驾驶路径。
[0108]避障系统750可以是被配置为标识、评估和避免或以其它方式越过车辆700所位于的环境中的障碍的任何系统。
[0109]控制系统706可以附加地或可替换地包括除了所示的那些组件之外的组件。
[0110]外围设备708可以被配置为允许车辆700与外部传感器、其它车辆和/或用户交互。为此，外围设备708可以包括例如，无线通信系统752、触摸屏754、麦克风756和/或扬声器758。
[0111]无线通信系统752可以采取上述任何形式。
[0112]触摸屏754可以被用户用来向车辆700输入命令。为此，触摸屏754可以被配置为经由电容感测、电阻感测或表面声波过程等来感测用户手指的位置和移动中的至少一者。触摸屏754可能够感测在与触摸屏表面平行或与触摸屏表面在同一平面内的方向上的手指移动、在与触摸屏表面垂直的方向上的手指移动、或者这两者，并且也可能够感测施加到触摸屏表面的压力的水平。触摸屏754可以由一个或多个半透明的或透明的绝缘层以及一个或多个半透明的或透明的导电层形成。触摸屏754也可以采取其它形式。
[0113]麦克风756可以被配置为从车辆700的用户接收音频(例如，语音命令或其它音频输入)。类似地，扬声器758可以被配置为向车辆700的用户输出音频。
[0114]外围设备708可以附加地或可替换地包括除了所示的那些组件之外的组件。
[0115]计算机系统710可以被配置为向推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个发送数据和从其接收数据。为此，计算机系统710可以通过系统总线、网络和/或其它连接机制(未示出)通信地链接到推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个。
[0116]计算机系统710还可以被配置为与推进系统702、传感器系统704、控制系统706和/或外围设备708中的一个或多个组件交互并对其进行控制。例如，计算机系统710可以被配置为控制传动装置722的操作以提高燃料效率。作为另一示例，计算机系统710可以被配置为使得相机734记录车辆的内部的三维图像。作为又一示例，计算机系统710可以被配置为存储和执行与传感器融合算法744相对应的指令。作为又一示例，计算机系统710可以被配置为存储和执行用于在触摸屏754上显示画面的指令。其它示例也是可能的。
[0117]如图所示，计算机系统710包括处理器712和数据存储装置714。处理器712可以包括一个或多个通用处理器和/或一个或多个专用处理器。对于处理器712包括多于一个的处理器，这样的处理器可以单独工作或组合工作。数据存储装置714进而可以包括一个或多个易失性存储组件和/或一个或多个非易失性存储组件，诸如光、磁和/或有机存储装置，而且数据存储装置714可以整体地或部分地与处理器712集成。
[0118]在一些实施例中，数据存储装置714可以包含可由处理器712执行以执行各种车辆功能(包括以上结合图1和图3A至图4C所述的那些功能)的指令716(例如，程序逻辑)。此外，数据存储装置714可以包含车辆700的相关性762，其可以采取上述任何形式。数据存储装置714也可以包含附加指令，包括用于向推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
[0119]计算机系统710可以附加地或可替换地包括除了所示的那些组件之外的组件。
[0120]如图所示，车辆700还包括电源760，其可以被配置为将电力提供给车辆700的一些或全部组件。为此，电源760可以包括例如，可再充电锂离子或铅酸电池。在一些实施例中，一个或多个电池的组可以被配置为提供电力。其它电源材料和配置也是可能的。在一些实施例中，电源760与能量源720可以一起实现，如在一些全电动汽车中那样。
[0121]在一些实施例中，推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个可以被配置以与它们各自系统内和/或外的其它组件互连的方式工作。
[0122]此外，除了所示的那些组件之外或者代替所示的那些组件，车辆700还可以包括一个或多个元件。例如，车辆700可以包括一个或多个附加接口和/或电源。其它附加组件也是可能的。在这样的实施例中，数据存储装置714还可以包括可由处理器712执行以控制附加组件和/或与附加组件通信的指令。
[0123]更进一步地，虽然组件和系统中的每一个被示出为集成在车辆700中，但是在一些实施例中，一个或多个组件或系统可以使用有线或无线连接可移动地安装到或以其它方式(机械地或电地)连接到车辆700。
[0124]更进一步地，虽然以上描述集中在被配置为以自主模式运转的车辆700上，但是在其它实施例中，车辆可以不被配置为以自主模式运转。在这些实施例中，例如，可以省略以下组件中的一个或多个:全球定位系统726、惯性测量单元728、RADAR单元730、激光测距仪或LIDAR单元732、致动器736、传感器融合算法744、计算机视觉系统746、导航或寻路系统748、避障系统750、无线通信系统752、触摸屏754、麦克风756和扬声器758。
[0125]车辆700也可以采取其它形式。
[0126]在一些实施例中，公开的方法可以被实现为以机器可读的格式在非暂态计算机可读存储介质上、或在其它非暂态介质或制造物品上编码的计算机程序指令。图8是图示出根据本文呈现的至少一些实施例布置的包括计算机程序的示例计算机程序产品800的概念性局部视图，所述计算机程序用于在计算设备上运行计算机过程。
[0127]在一个实施例中，使用信号承载介质802来提供示例计算机程序产品800。信号承载介质802可以包括一个或多个程序指令804，所述一个或多个程序指令804在被一个或多个处理器运行时可以提供诸如以上关于图1和图3A至图4C描述的功能中的一些或全部。
[0128]在一些实施例中，信号承载介质802可以包含计算机可读介质806，诸如但不限于硬盘驱动器、致密盘(CD)、数字视频盘(DVD)、数字磁带、存储器等等。另外，在一些实施例中，信号承载介质802可以包含计算机可记录介质808，诸如但不限于存储器、读/写(R/W)⑶、R/W DVD等等。更进一步地，在一些实施例中，信号承载介质802可以包含通信介质810，诸如但不限于数字和/或模拟通信介质(例如，光缆、波导、有线通信链路、无线通信链路等等)。因此，例如，信号承载介质802可以通过无线形式的通信介质810来传送。
[0129]一个或多个程序指令804可以是例如计算机可执行的和/或逻辑实现的指令。在一些示例中，计算设备(例如，图7的计算机系统710)可以被配置成响应于通过计算机可读介质806、计算机可记录介质808、和/或通信介质810中的一个或多个传送到计算设备的程序指令804来提供各种操作、功能或动作。
[0130]非暂态计算机可读介质也可以分布在多个数据存储元件中，它们可以彼此远离地放置。
[0131]在一些实施例中，执行程序指令804中的一些或全部的计算设备可以是车辆，诸如如图7中所图示的车辆700，其它计算设备也是可能的。
[0132]虽然本文已经公开了各种方面和实施例，但是其它方面和实施例对于本领域技术人员将是清楚的。本文公开的各种方面和实施例是出于示例的目的，并且并非旨在进行限制，真正的范围和精神由权利要求指示。
【权利要求】
1.一种方法，包括: 保持与车辆的多个预定区域相结合的多个预定姿势与多个功能之间的相关性，以使得与所述多个预定区域中的特定区域相结合的所述多个预定姿势中的每个姿势与所述多个功能中的特定功能相关联； 记录所述车辆的内部部分的三维图像； 基于所述三维图像，检测所述车辆的给定区域中的给定姿势，其中，所述给定姿势对应于所述多个预定姿势中的一个而且所述给定区域对应于所述多个预定区域中的一个； 基于所述相关性，选择与结合所述给定区域的给定姿势相关联的功能；以及 启动所述车辆中的所述功能。
2.如权利要求1所述的方法，其中，所述三维图像是使用深度相机和三维激光扫描仪中的至少一个记录的。
3.如权利要求1所述的方法，还包括，响应于检测到所述给定区域中的给定姿势，触发听觉反馈、视觉反馈和触觉反馈中的至少一个。
4.如权利要求1所述的方法，其中，所述三维图像是从所述车辆的顶棚记录的。
5.如权利要求1所述的方法，还包括: 确定所述给定姿势的程度；以及 基于所述程度确定操作参数，其中，启动所述功能包括以所述操作参数启动所述功能。
6.如权利要求1所述的方法，其中，记录所述车辆的内部部分的三维图像包括从第一位置记录所述车辆的内部部分的三维图像以及从第二位置记录所述车辆的内部部分的三维图像。
7.如权利要求1所述的方法，其中，所述车辆的给定区域包括所述车辆的内部表面。
8.如权利要求7所述的方法，其中，所述内部表面包括车辆的仪表板、车辆的方向盘、空调通风口、车辆的座椅、车辆的头枕、车辆的扶手、车辆的后视镜、车辆的窗户、车辆的驾驶员和车辆的乘客中的至少一个。
9.如权利要求1所述的方法，其中，启动所述功能包括控制车辆中的空调系统、加热器、气候控制系统、巡航控制系统、音频系统、座椅、窗户、雨刷、娱乐系统、显示器或遮阳板。
10.一种车辆，包括: 相机，被配置为记录所述车辆的内部部分的三维图像； 至少一个处理器；以及 数据存储装置，包括: (i)与所述车辆的多个预定区域相结合的多个预定姿势与多个功能之间的相关性，以使得与所述多个预定区域中的特定区域相结合的所述多个预定姿势中的每个姿势与所述多个功能中的特定功能相关联； (ii)由所述至少一个处理器执行的指令，以用于: (a)记录所述车辆的内部部分的三维图像； (b)基于所述三维图像，检测所述车辆的给定区域中的给定姿势，其中，所述给定姿势对应于所述多个预定姿势中的一个而且所述给定区域对应于所述多个预定区域中的一个； (C)基于所述相关性，选择与结合所述给定区域的给定姿势相关联的功能；以及 (d)启动所述车辆中的所述功能。
11.如权利要求10所述的车辆，其中，所述相机包括深度相机和三维激光扫描仪中的至少一个。
12.如权利要求10所述的车辆，还包括至少一个反馈机制，其被配置为响应于检测到所述给定区域中的给定姿势而提供反馈。
13.如权利要求12所述的车辆，其中，所述至少一个反馈机制包括听觉反馈机制、视觉反馈机制和触觉反馈机制中的至少一个。
14.如权利要求10所述的车辆，其中，所述相机位于所述车辆的顶棚。
15.如权利要求10所述的车辆，还包括可控制组件，其中: 所述可控制组件包括空调系统、加热器、气候控制系统、巡航控制系统、音频系统、座椅、窗户、雨刷和遮阳板中的至少一个；以及 启动所述功能包括控制所述可控制组件。
16.如权利要求10所述的车辆，还包括附加相机，其被配置为记录所述车辆的附加内部部分的附加三维图像。
17.如权利要求16所述的车辆，其中，检测所述姿势还基于所述附加三维图像。
18.如权利要求10所述的车辆，其中，所述车辆被配置为以自主模式运转。
19.一种其中存储有指令的非暂态计算机可读介质，所述指令可由计算设备执行以使得所述计算设备执行以下功能: 保持与车辆的多个预定区域相结合的多个预定姿势与多个功能之间的相关性，以使得与所述多个预定区域中的特定区域相结合的所述多个预定姿势中的每个姿势与所述多个功能中的特定功能相关联； 记录所述车辆的内部部分的三维图像； 基于所述三维图像，检测所述车辆的给定区域中的给定姿势，其中，所述给定姿势对应于所述多个预定姿势中的一个而且所述给定区域对应于所述多个预定区域中的一个； 基于所述相关性，选择与结合所述给定区域的给定姿势相关联的功能；以及 启动所述车辆中的所述功能。
20.如权利要求19所述的非暂态计算机可读介质，其中，所述计算设备在所述车辆中。
【文档编号】B60K37/06GK104411530SQ201380017655
【公开日】2015年3月11日 申请日期:2013年2月3日 优先权日:2012年4月2日
【发明者】N.K.霍布斯, L-Y.池 申请人:谷歌公司