利用指向的信息查询的制作方法

利用指向的信息查询的制作方法
【专利摘要】使用第一输入设备导航显示设备中的对象或项目以检测用户手指对对象或项目的指向，以及使用第二输入设备以接收关于用户对对象或项目的选择的指示。手的图像由第一输入设备捕获，并且被处理用于确定显示设备上的对应于指向手指的指尖位置的位置。对应于指尖位置的对象或项目在第二输入设备从第二输入设备接收预定的用户输入之后进行选择。
【专利说明】利用指向的信息查询
[0001]相关申请的交叉引用
[0002]本公开基于35U.S.C.§ 119(e)要求于2013年3月13日递交的共同未决美国临时专利申请N0.61/780，023的优先权，其通过引用的方式整体并入于此。

【技术领域】
[0003]本公开涉及通过追踪用户指尖的移动来在车辆中进行信息查询。

【背景技术】
[0004]车辆的驾驶员通常使用开关、屏幕、小键盘或通常涉及手指或手其他输入机制操作车辆中的设备。此类输入机制可以用于例如操作导航系统、娱乐系统、气候系统和电话系统。抬头显示器(HUD)也被用于呈现与车辆挡风玻璃上的此类系统相关联的信息。HUD可以向驾驶员呈现各种类型的有用信息，而不需要用户将注视点从公路改变到车辆的仪表板或控制台。
[0005]有时，一系列复杂操作必须在输入机制上操作以向车辆中的设备发送期望的命令。此类操作可以使得驾驶员一只手操作车辆的方向盘而使用另一只手操作输入机制。然而，对于驾驶员更好是保持两只手均在方向盘上，并且仅短暂时间间隙地用手操作这些输入设备。取决于操作的复杂程度，在驾驶员可以按需执行操作之前可能需要采取多次操作输入设备的尝试。
[0006]此外，车辆的速度有时要求来自驾驶员快速输入。例如，如果驾驶员在高速路上寻找最近的餐馆，他可能在通过高速出口之前具有有限的时间用于查询导航系统。如果查询和响应没有在通过出口之前做出，则驾驶员可能要采取对下一出口附近餐馆的另一查询。此类查询操作经常在用户主动参与车辆操作时进行，从而由于下降的注意力以及手的移动而加重错误输入的可能性。
[0007]由于有限的注意力以及手的移动，驾驶员可能最终提供错误的用户输入。此类用户输入导致不期望的操作，并且浪费在后续补救行动上花费的时间。


【发明内容】

[0008]各实施例涉及处理覆盖用户手的深度图像以确定指向手指的指尖位置，以及由输入设备接收选择信号以执行与在显示设备的对应于指尖位置的位置或区域处示出的对象或项目相关联的操作。被置于车辆中的深度相机捕获用户的手并且生成深度图像。通过处理捕获的深度图像来确定指向手指的指尖位置。从输入设备接收选择信号，以指示对在显示设备的对应于指尖位置的位置或区域处的项目或对象的选择。在接收到选择信号之后，执行与该项目或对象相关联的操作。
[0009]在一个实施例中，指尖的位置通过生成手的骨架结构来确定。该骨架结构包括多个线段，每个线段代表手的不同部分。
[0010]在一个实施例中，输入设备包括用于从用户接收口头命令的麦克风。选择信号通过对口头命令执行语音识别而生成。
[0011 ] 在一个实施例中，输入设备包括按钮或开关，并且选择信号指示输入设备被操作。
[0012]在一个实施例中，操作的结果被显示在显示设备上。
[0013]在一个实施例中，显示设备被划分成多个区域，其中所述区域的水平宽度基于区域的水平位置而不同。
[0014]在一个实施例中，显示设备是向车辆挡风玻璃投射人造图形元素的体积式抬头显不器(HUD)设备。
[0015]在一个实施例中，显示设备的对应于指尖位置的位置或区域通过按照第一映射标识多个虚拟区域中的被映射至指尖的一个虚拟区域来确定。
[0016]在一个实施例中，显示设备对应于指尖位置的位置或区域进一步通过按照第二映射标识显示设备的对应于标识的虚拟区域的位置或区域来确定。
[0017]在一个实施例中，多个虚拟区域中的每个虚拟区域沿半圆的等角部分向平面上的投射进行分段。
[0018]说明书中描述的特征和优点并非是无所不包的，并且具体而言，许多附加特征和优势对于本领域普通技术人员在参见附图、说明书和权利要求书之后将变得容易理解。此夕卜，应当注意，说明书中使用的语言主要是出于可读性和指导的目的而选择的，并且不是选择用于对主体做出划定或限制。

【专利附图】

【附图说明】
[0019]本公开的教导可以通过结合附图考虑以下详细说明而变得容易理解。
[0020]图1A是根据一个实施例的、配备有图像捕获设备和抬头显示单元的示例车辆的侧视图。
[0021]图1B是根据一个实施例的、图1A示例车辆的顶视图。
[0022]图2是根据一个实施例的示例性命令处理系统的框图。
[0023]图3是根据一个实施例的、命令处理系统中的示例性图像处理模块的框图。
[0024]图4是根据一个实施例的、用于处理用户命令的示例性方法的流程图。
[0025]图5是图示出根据一个实施例的、由用户所见的投射有抬头显示器(HUD)图像的在示例性挡风玻璃上的视图的示图。
[0026]图6是图示出根据一个实施例的、基于手指旋转角的对单元的示例性水平划分的示图。
[0027]图7是图示出根据一个实施例的、手指的旋转角至水平划分的单元的映射的示图。
[0028]图8是图示出根据一个实施例的、使用指向设备操作信息查询系统的示例性命令系统的不图。

【具体实施方式】
[0029]优选实施例现在参考附图进行描述，其中相似的参考标号指示相同或功能相似的元件。
[0030]说明书中对“一个实施例”或“实施例”的参考意味着结合该实施例描述的特定特征、结合或特性包括在至少一个实施例中。说明书中各处出现的短语“在一个实施例中”不必都指代相同实施例。
[0031]随后详细描述的一些部分以计算和计算机存储器内的数据比特上的运算的符号表示的形式呈现。这些算法描述和表示是在数据处理领域供本领域技术人员使用的含义，以更加有效地将他们工作的实质转达给本领域其他技术人员。在这里，算法通常设想为是导致所期望的结果的步骤(指令)的自洽序列。步骤是那些需要物理量的物理操纵。尽管不是必须的，但是通常这些量采取能够存储、传输、组合、比较或操作的电、磁或光信号的形式。这在某些时候是方便的，主要是出于共同使用的目的，将这些信号称为比特、值、元素、符号、字符、术语、数字等。此外，这在某些时候也是方便的，涉及要求物理量的物理操作作为模块或代码设备的步骤的某些布置而不失一般性。
[0032]然而，所有这些和类似的术语是要与合适的物理量相结合、并且仅仅是应用于这些量的方便的标签。除非特别声明，否则从下面的讨论可知，可以理解在整个说明书中，利用诸如“处理”或“计算”或“运算”或“确定”或“显示”或“确定”等的术语的讨论，指代计算机系统或类似的电子计算设备的动作或过程，所述计算机系统或类似的电子计算设备操作并转换计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内的物理(电子)量表示的数据。
[0033]各实施例的某些方面包括这里以算法形式描述的处理步骤和指令。应当注意，处理步骤和指令可以体现在软件、固件或硬件中，并且当体现在软件中时，可以被下载以驻留并且通过各种操作系统所使用的不同平台进行操作。
[0034]各实施例还涉及一种用于执行本发明的操作的装置。该装置可以被特别地构造以用于所需目的，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用目的的计算机。这样的计算机程序可以存储在诸如(但不限于)包括软盘、光盘、⑶-ROM以及磁盘的任意类型的光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPR0M、EEPR0M、磁或光卡、专用集成电路(ASIC)，或适合于存储电子指令的任何类型的介质的计算机可读存储介质中，各个计算机可读存储介质均耦合到计算机系统总线。此外，说明书中涉及的计算机可以包括单个处理器，或者可以是采用多个处理器设计的架构用于增加计算能力。
[0035]本文呈现的算法和显示并不内在地与任何特定的计算机或其他装置有关。各种通用目的的系统可以根据本文的教导与程序一起使用，或者可证明便于构造更专门的装置以执行所需的方法步骤。将从下面的描述中描述针对各种这些系统所需的结构。此外，未参考任何特定的编程语言描述各实施例。将会理解，各种编程语言可以用来实现如本文所描述的教导，并且下面对特定语言的任意参考被提供用于实现和最佳模式的公开。
[0036]另外，说明书中的语言主要是出于可读性和指导的目的而选择的，并且不是选择用于对主题做出划定或限制。因此，本公开旨在于说明而不是限制下文在权利要求书中阐述的范围。
[0037]各实施例涉及使用第一输入设备(例如，相机)导航显示设备(例如，抬头显示设备)中的对象或项目以检测用户手指(例如，食指)对对象或项目的指向，以及使用第二输入设备(例如，麦克风)以接收用户的关于对对象或项目的选择的指示。手的图像由第一输入设备捕获，并且被处理用于确定显示设备上的对应于指向手指的指尖位置的位置。对应于指尖位置的对象或项目在第二输入设备从第二输入设备接收预定用户输入之后进行选择。
[0038]如这里所使用的，术语“用户”包括车辆的驾驶员以及车辆的乘客。用户可以是尝试控制车辆中一个或多个设备的任意一人。
[0039]如这里所使用的，“指向手指”是指用于通过指向来指示显示设备上的位置的用户的手指。指向手指是拉伸的，而其他手指合拢或抓住对象(例如，方向盘)。指向手指通常是食指，而其他手指也可以用作指向手指。
[0040]配备有指尖检测机制的车辆的概述
[0041]图1A和图1B图示了根据一个实施例的、配备有命令处理系统的车辆100。命令处理系统可以包括图像捕获设备120和抬头显示器(HUD)系统130以及其他组件。命令处理系统可以被连接至车辆100的其他组件(例如，无线通信系统)以执行各种操作。命令处理系统检测显示设备上的用户的手指所指向的位置或区域。
[0042]图像捕获设备120捕获用户的图像(驾驶员或乘客)，并且将该图像发送至图像处理模块214用于进一步处理。图像捕获设备120被置于面对用户，并且生成包括至少用户左右手的用户的正面图像。在一个实施例中，图像捕获设备120是深度相机，该深度相机检测其距用户身体的不同部位的距离。捕获的图像可以是灰度图像，其中较亮的像素指示用户身体更靠近图像捕获设备120的部分，而较暗的像素指示用户身体或背景材料较远离图像捕获设备120的部分。
[0043]HUD系统130在车辆100的挡风玻璃上投射图形元素，使得用户可以查看覆盖在车辆外部真实对象上的投射图像。图形元素例如可以包括:图标、文本框、广告、箭头和线元素。这种图形元素的某些或全部图形元素可以由用户选择以用于某些操作。
[0044]在一个或多个实施例中，HUD系统130通过向用户感知为出现在挡风玻璃相对侧、车辆外部的实际对象上投射图形元素来实现增强现实(AR)。图形元素可以被置于实际对象上或与实际对象混合，使得用户将图形元素感知为实际对象的一部分。3D体积式HUD可以用于通过将图形元素的焦点与真实世界实际对象进行匹配来给出图形元素与真实世界实际对象更逼真的混合。使用AR在挡风玻璃上示出的图像的示例下面参考图5而被详细描述。
[0045]命令处理系统可以包括图1A和图1B中未示出的其他组件。例如，命令处理系统可以包括车辆100的仪表板或其他区域内安装的计算设备，用于执行图像捕获设备120捕获的图像的其他处理。
[0046]虽然各实施例主要参考使用HUD作为显示设备进行描述，但是其他实施例可以使用液晶显示器(LCD)或其他显示设备。在此类实施例中，命令处理系统可以用于选择在此类显示设备中显示的显示项目。
[0047]示例命令处理系统
[0048]图2是图示了根据一个实施例的命令处理系统200的框图。命令处理系统200使得用户能够操作并选择要由车辆执行的信息查询操作。命令处理系统200可以包括图像捕获设备210、图像处理模块214、输入设备220、选择检测模块224、信息查询系统240和HUD系统130以及其他组件。虽然未在图2中示出，但是命令处理系统200还可以包括其他组件，诸如附加的输入设备以及用于生成合成话音的扬声器。
[0049]图像处理模块214是用于处理图像212的硬件、固件、软件或其组合以检测用户指尖的位置216。图像212可以是深度图像。图像处理模块214通过裁剪图像212提取图像212在用户手周围的区域，并且从图像212生成手的骨架结构。
[0050]输入设备220是用于使用图像捕获以外机制从用户接收输入的硬件、固件、软件或其组合。输入设备220可以是用于检测口头命令的麦克风。备选地，输入设备220可以是车辆方向盘或者车辆其他容易接近区域(诸如仪表板)上提供的按钮或开关。在用户确定由指尖移动指示的显示设备的位置或区域是用户旨在对其执行操作的位置或区域之后，输入设备220接收指示操作的选择的用户输入。作为提供用户输入的结果，输入设备220生成传感器信号222。
[0051]选择检测模块224是接口设备，该接口设备接收传感器信号222并且生成选择信号226，该选择信号226指示由指尖移动指示的显示设备的位置或区域是用户旨在对其执行操作的位置或区域。当麦克风被用作用于检测口头命令的输入设备220时，选择检测模块224可以是语音识别系统的一部分。
[0052]信息查询系统240是用于基于用户输入执行各种信息查询操作的硬件、软件、固件或其组合。信息查询系统240包括板载导航系统、娱乐系统、电话操作系统和车辆气候控制系统以及其他组件。信息查询系统240可以是用于执行此类功能的全部或子集的组合系统。信息查询系统240还可以向外部系统发送查询信息228，以及从外部系统接收回复信息230。
[0053]信息查询系统240接收用户指尖的位置216和选择信号226以执行用户期望的操作。在执行由用户指尖的位置216和选择信号226指示的操作之后，信息查询系统240向HUD系统130或其他显示设备发送显示信息244以向用户呈现相关信息。
[0054]在一个或多个实施例中，输入设备220和选择检测模块224可以被消除。代之以，手指上的预定动作(例如，快速双抽动动作)可以被检测并用于指示对HUD系统130上示出的对象或项目的选择。
[0055]图像处理模块的示例架构
[0056]图3是图示了根据一个实施例的图像处理模块214的各组件的框图。图像处理模块216可以包括处理器312、输入模块324、输出模块326、存储器340和连接这些组件的总线330以及其他组件。图像处理模块216可以是独立操作的设备或者还执行图像处理之外的操作的更大系统的一部分。
[0057]处理器312是执行存储在存储器340中的指令的硬件组件。输入模块324是用于从图像捕获设备210接收图像212的硬件组件。输入模块324可以包括用于临时存储一个或多个图像212的缓冲器。输出模块326是用于向信息查询系统发送指尖位置216的组件。这些组件可以被体现在单个集成电路(IC)芯片或多个IC芯片中。
[0058]存储器340是存储软件组件的非瞬态计算机可读存储介质。存储器340中存储的软件组件可以包括校准模块342、提取模块346、骨架模块350、指尖检测模块354和坐标映射模块358以及其他组件。存储器340还可以存储其他模块，诸如用户追踪并存储用户的手或指尖的轨迹的追踪模块以及用于将图像212中的噪声滤除的过滤模块。
[0059]校准模块342存储用于接收并存储校准图像处理模块216的用户输入的指令。在一个或多个实施例中，校准通过指示用户执行以下操作来执行:(i)将手以舒服的姿势放置在方向盘上，以及(ii)移动指向手指(例如，食指)至最右、最左、底部和顶部位置同时手掌置于在方向盘上。指尖对应于该四个点的位置继而被映射至显示设备(例如，HUD挡风玻璃)的各位置或区域(即，单元)。指尖的中间位置以及显示设备中的其他位置或区域通过插值进行映射。
[0060]提取模块346存储用于裁剪图像212的指令，以提取图像212的示出用户手的区域。用户的手易于最靠近相机，因此图像212示出用户手的区域可以通过使用图像的深度信息提取。为了增加提取的准确性，像素集群的移动可以随时间进行追踪，例如，使用第7，308，112号美国专利(2007年12月11日公告，以下称为“ 112专利”)以及第8，351，646号美国专利(2013年I月8日公告，以下称为“646专利”)中描述的技术，其通过引用将其全部内容并入于此。
[0061]骨架模块350生成经提取图像中的手的骨架结构。可以用于生成骨架结构的许多技术之一在112专利中标题为“骨架生成”章节中进行了描述。骨架结构包括针对至少指向手指的线段，并且还可以包括针对用户其他手指的其他线段。
[0062]指尖检测模块354基于手的骨架结构确定指尖的位置。用于确定指尖位置的一种方法是使用沿代表指向手指的线段移动的圈来确定指尖的位置。另一方法是使用手最靠近相机的一个或多个像素的位置作为指尖的位置。当指向手指指向相机时，骨架模块350可以不生成准确代表指向手指的线段，因此手最靠近相机的像素点被选择为对应于指尖而不需要使用骨架结构。由指尖检测模块354确定的指尖的位置被发送至坐标映射模块358。
[0063]坐标映射模块358处理校准模块342中生成的映射信息以及由指尖检测模块354检测的指尖的位置，以确定显示设备中的对应于指尖的位置的坐标。在一个实施例中，坐标被转换为显示设备中的点或区域的坐标，这如下文参考图5而详细描述。
[0064]使用指尖位置查询信息的示例方法
[0065]图4是根据一个实施例的、用于处理用户命令的方法的流程图。首先，针对车辆中的用户执行(420)校准。校准可以包括使用户将手放置在方向盘上并且使用户以特定方向指向手指。作为校准的结果，可以建立用户指尖位置与显示设备上的点或区域之间的映射。
[0066]通过检测用户指向手指的尖部的位置来确定(430)在显示设备上的位置。可以通过处理深度图像来检测用户指尖的位置。
[0067]从输入设备220接收(440)在与用户指尖的位置对应的位置或区域处对项目或对象的选择。对项目或对象的选择可以比作在台式或膝上型计算机中的操作，其中在指针被置于项目或对象上之后点击或双击鼠标上的按钮。
[0068]基于对项目或对象的选择，由信息查询系统240执行(450)操作。该操作例如可以包括:从板载导航系统或娱乐系统获取目标项目或对象的信息，从外部源收集遥测数据，发起用于执行的应用，接打电话，以及获取当前驾驶阶段的统计(例如，驾驶距离和速度)。操作的结果可以显示在显示设备上。
[0069]虽然上述实施例使用从捕获的图像生成的骨架来描述用于检测手指的指向方向，但是也可以使用各种其他机制来检测指向方向而无需使用骨架。
[0070]显示设备中的示例单元划分
[0071]图5是图示了根据一个实施例的、由用户在投射有HUD图像的挡风玻璃上看到的视图800的框图。视图800包括挡风玻璃外的真实对象以及由HUD系统130投射到挡风玻璃上的人造图形元素。在一个实施例中，通过将真实图像与人造图形元素混合来实现增强现实(AR)。用户可以使用指向手指(例如，食指)导航并选择挡风玻璃中示出的对象或项目。
[0072]由于相比于水平移动、手指的垂直移动的范围更受限制，因此HUD图像800可以相比于水平分辨率具有更低的垂直分辨率。在图5的示例中，垂直分辨率是10个区域(B卩，单元)而水平分辨率是17个单元。用户可以移动指向手指以选择这些单元中的一个单元(例如，单元810)来执行某个操作。在图5的示例中，选择了单元810。因此,具有单元810中示出的图像的一部分的建筑物804的信息814显示在HUD挡风玻璃上。
[0073]此外，相比于右端或左端位置单元在中心位置具有大的尺寸。由于手指在右末端或左末端的受限移动，使得两端更难于到达，如下文参考图6详细描述的那样。因此，通过使得HUD挡风玻璃中心处的单元覆盖更大的区域，用户可以通过移动手指更直观地控制单元的选择。虽然每个单元的垂直高度与图8中的相同，但是考虑到到达手指移动的顶端和底端的难度，每个单元的高度可以变化。
[0074]在一个或多个实施例中，将单元映射至指尖位置。在这些实施例中，图像处理模块214产生对应于指尖当前位置的单元的标识。在操作的其他模式中，图像处理模块214可以生成指尖位置中心的坐标。
[0075]在一个实施例中，HUD图像800上的对应于指尖位置的位置被点亮以有助于用户正确指向感兴趣的对象或项目。
[0076]图6是图示了根据一个实施例的、基于手指的旋转角对单元的水平划分的示图。指向手指具有有限的移动范围，尤其是在其他手指正握住方向盘时。在图6的实施例中，为了便于解释仅示出了 8个单元，但在实践中，显示设备的区域以更高的分辨率分割(例如，水平划分成30个单元)。
[0077]图6中HUD图像的单元水平划分显示设备的水平维度，使得每个单元具有对应于(sine ηχ Θ - sine (η-1) θ )的宽度,其中η是从中心单元(中心单元的η为O)开始并且向左端或右端增加的单元序列。换言之，单元在与沿中心切割的半圆的等角部分的投射对应的位置被划分。当指向手指水平移动时，单元以图6的方式的划分使得选择操作具有更直观的控制。
[0078]图5和图6中所示的显示设备的区域的水平划分仅是说明性的。可以使用各种其他方式来水平分割显示设备的区域。例如，显示设备的区域可以被分割使得每个单元具有相同的水平宽度。
[0079]图7是图示了根据一个实施例的、手指旋转角映射至水平划分单元的映射的示图。在图7的实施例中，手指的旋转角以如上文参考图6所述的相似方式被映射至具有不同宽度的虚拟栏914之一。具体而言，虚拟栏在与沿中心切割的半圆的等角部分的投射对应的位置被划分。
[0080]然而，虚拟栏914再次被映射至具有相等的水平间隔的单元的视图屏幕800。换言之，通过使用双映射，手指的旋转被映射至单元，一个从手指到虚拟栏914，然后从虚拟栏到视图屏幕800的单元。以此方式，手指在最右端和最左端附近的小旋转造成在视图屏幕800的左端和右端相对大的水平移动。通过将手指的旋转双映射至虚拟栏然后将虚拟栏映射至视图屏幕800的单元，用户可以使用手指的旋转来更直观地导航并执行选择操作。
[0081]在一个或多个实施例中，命令处理系统200以写入模式操作，其中指尖的移动被追踪使得用户能够通过移动指向手指来拖拽字母数字字符或符号。写入模式通过在输入设备220处提供特定用户输入而开启。随指尖的移动追踪指尖的位置。获得指尖的轨迹并将其与存储的图案集合比较以确定对应于指尖轨迹的字符或符号。为了去除噪声并使得手指的追踪更稳健，可以使用滤波器(例如，Butterworth滤波器)。
[0082]在一个或多个实施例中,命令处理系统200被用于车辆之外的运输装置中。命令处理系统200例如可以在飞机或摩托车中使用。
[0083]在某些实施例中，可以使用指向设备而不是手指来指向车辆100的挡风玻璃上示出的项目或对象。图8是图示了根据一个实施例的、使用指向设备1010来操作信息查询系统240的命令系统1000的示图。指向设备1010可以被体现为各种便携式设备，包括但不限于:钥匙扣、蜂窝电话、遥控器和笔。指向设备由用户握持并指向挡风玻璃中示出的特定对象或项目。可以对指向设备或在其他设备中采取特定动作(例如，按下按钮)以选择指向设备1010指向的对象或项目。
[0084]便携式设备1010可以包括用于感测便携式设备的指向方向的传感器1016、用于经由有线或无线通信向信息查询系统240发送信号1222的通信模块1018以及其他组件。传感器1016可以是包括加速器、陀螺仪和磁力计中的一个或多个的惯性传感器，用于检测便携式设备1010的移动和定向。便携式设备1010可以包括用于从传感器1016接收传感器信号的电路1020，并且处理传感器信号以指示视图屏幕800的坐标或单元。备选地，传感器信号可以被发送至信息查询系统240用于处理并检测指向设备1010的指向定向。在一个实施例中，传感器和电路可以被集成至单个单元中。例如，从Williston的LORD MICROSTAINSENSING SYSTEMS可获得的3DM定向传感器，Vermont可以被用作包括传感器和电路的单个单元。
[0085]在一个实施例中，便携式设备1010进一步包括用于向挡风玻璃上发射光的光源。当光命中挡风玻璃时，光点可以在挡风玻璃上可见。挡风玻璃上示出的光使得用户能够确认挡风玻璃上的执行设备1010指向的位置，并且相应地调整指向设备1010的定向以选择在挡风玻璃上显示的对象或项目。
[0086]可以执行校准以将指向设备1010的定向与挡风玻璃上的位置对准。来自全球定位系统(GPS)或磁力计的信息可以用于自动校准指向设备1010的定向。
[0087]系统1000的信息查询系统240和HUD系统130的架构和功能实质上与图2的命令系统200的信息查询系统和HUD系统的架构和功能相似或相同，因此为了简洁这里省略对其的详细描述。
[0088]虽然上文描述若干实施例，但是在本公开的范围内可以做出各种修改。
【权利要求】
1.一种方法，包括: 由被置于车辆中的深度相机捕获深度图像，所述深度图像覆盖用户的手并且包括代表从所述深度相机到所述用户的部位的距离的像素； 通过处理捕获的所述深度图像，确定所述手的指向手指的指尖的位置； 确定显示设备的对应于所述指尖的所述位置的位置或区域； 接收指示对在确定的所述显示设备的位置或区域处的项目或对象的选择的选择信号，所述选择信号基于从所述车辆中的输入设备接收的传感器信号；以及 响应于接收到所述选择信号而执行与被选择的所述项目或对象相关联的操作。
2.根据权利要求1所述的方法，其中确定所述指尖的所述位置包括生成包括多个线段的所述手的骨架结构，所述多个线段中的每个线段代表所述手的不同部分。
3.根据权利要求1所述的方法，进一步包括追踪所述指尖的所述位置以识别由所述指向手指绘制的字符或符号。
4.根据权利要求1所述的方法，其中所述输入设备包括用于从所述用户接收口头命令的麦克风，并且所述选择信号通过对所述口头命令执行语音识别而被生成。
5.根据权利要求1所述的方法，其中所述输入设备包括按钮或开关，并且所述选择信号指示所述输入设备被操作。
6.根据权利要求1所述的方法，进一步包括在所述显示设备上显示所述操作的结果。
7.根据权利要求1所述的方法，其中所述显示设备被划分成多个区域，所述多个区域具有基于所述多个区域的水平位置而不同的水平宽度，所述指尖的多个位置中的每个位置被映射至所述多个区域中之一。
8.根据权利要求1所述的方法，其中所述显示设备包括体积式抬头显示器(HUD)设备，其向所述车辆的挡风玻璃上投射对应于项目或对象的人造图形元素。
9.根据权利要求1所述的方法，其中所述显示设备的对应于所述指尖的所述位置的位置或区域通过按照第一映射标识多个虚拟区域中的被映射至所述指尖的一个虚拟区域来确定。
10.根据权利要求9所述的方法，其中所述显示设备的对应于所述指尖的所述位置的位置或区域进一步通过以下操作确定: 按照第二映射标识所述显示设备的对应于标识的所述虚拟区域的位置或区域。
11.根据权利要求9所述的方法，其中所述多个虚拟区域中的每个虚拟区域是半圆的等角部分向平面上的投射。
12.—种命令处理系统，包括: 深度相机，被置于车辆中并且被配置为捕获深度图像，所述深度图像覆盖用户的手并且包括代表从所述深度相机到所述用户的部位的距离的像素； 图形处理模块，被配置为: 通过处理捕获的所述深度图像，确定所述手的指向手指的指尖的位置，并且 确定显示设备的对应于所述指尖的所述位置的位置或区域；信息查询系统，被配置为: 接收指示对在确定的所述显示设备的位置或区域处的项目或对象的选择的选择信号，所述选择信号基于从所述车辆中的输入设备接收的传感器信号；以及响应于接收到所述选择信号而执行与被选择的所述项目或对象相关联的操作。
13.根据权利要求12所述的系统，其中所述图像处理模块被配置为: 生成包括多个线段的所述手的骨架结构，所述多个线段中的每个线段代表所述手的不同部分。
14.根据权利要求12所述的系统，进一步包括追踪所述指尖的所述位置以识别由所述指向手指绘制的字符或符号。
15.根据权利要求12所述的系统，进一步包括选择检测模块，被配置对由所述输入设备接收的口头命令执行语音识别。
16.根据权利要求12所述的系统，进一步包括所述显示设备，被配置为显示所述操作的结果。
17.根据权利要求12所述的系统，其中所述显示设备被划分成多个区域，所述多个区域具有基于所述多个区域的水平位置而不同的水平宽度，所述指尖的多个位置中的每个位置被映射至所述多个区域之一。
18.根据权利要求12所述的系统，其中所述显示设备包括体积式抬头显示器(HUD)设备，其向所述车辆的挡风玻璃上投射对应于项目或对象的人造图形元素。
19.根据权利要求12所述的系统，其中所述图像处理模块被配置为通过按照第一映射标识多个虚拟区域中的被映射至所述指尖的一个虚拟区域来确定所述显示设备的对应于所述指尖的所述位置 的位置或区域。
20.根据权利要求19所述的系统，其中所述图像处理模块进一步被配置为通过以下操作确定所述显示设备的对应于所述指尖的所述位置的位置或区域: 按照第二映射标识所述显示设备的对应于标识的所述虚拟区域的位置或区域。
【文档编号】G06F3/0487GK104049872SQ201410090116
【公开日】2014年9月17日 申请日期:2014年3月12日 优先权日:2013年3月13日
【发明者】藤村希久雄, V·恩格-索-欣, B·达里厄施 申请人:本田技研工业株式会社