用于识别车载信息系统中的手写手势的系统和方法
【专利说明】
[0001 ]优先权声明 本申请要求2013年3月12日提交的题为"System And Method For Identifying Handwriting Gestures In An In-Vehicle Information System"的美国临时号61/777, 601的优先权，所述申请的全部内容通过引用结合于本文中。本申请还要求2013年3月13日 提交白勺题为（'System And Method For Identifying Handwritin邑 Gestures In An In- Vehicle Information System"的美国临时申请号61/778,702的优先权，所述申请的全部 内容通过引用结合于本文中。
技术领域
[0002] 本公开一般设及自动化辅助的领域，并且更具体而言，设及使车载信息系统能够 识别手写手势的系统和方法。
【背景技术】
[0003] 现代机动车辆通常包括一个或多个车载信息系统，其给车辆中的乘员提供多种多 样的信息和娱乐选择。车载信息系统所提供的常见服务包括但不限于车辆状态和诊断信 息、导航应用、免提电话、收音机和音乐回放W及交通状况预警。车载信息系统通常包括多 个输入和输出设备。例如，用于操作收音机和音频系统的传统按钮和控制旋钮通常被用在 车辆信息系统中。较新形式的车辆输入包括将输入和显示结合到单屏幕中的触摸屏输入设 备，W及车载信息系统响应语音命令的声控功能。输出系统的示例包括:机械仪器仪表;输 出显示面板，例如液晶显示化CD)面板；W及产生合成语音的音频输出设备。
[0004] 用于车载信息系统的用户界面需要使用户能够获取正在寻找的信息，而不过度分 散注意力。虽然大部分运样的信息系统与用于用户交互的显示器一起使用控制旋钮或触摸 屏，但一些系统结合多种形式，例如语音和手势识别。在使用多种形式的运些系统中，手势 输入起关键作用。对车载手势识别而言，一个挑战来自于可能的手势的多样性。运种多样性 中的一些因为驾驶员的焦点在车辆操作上而不是执行手势上而发生。因此，手势是具有噪 声的并且可包括无意义的成分，例如在实际执行手势之前做出长的开始笔划。在手势中包 括运样的噪声笔划能够导致手势的错误识别。对手势多样性的另一个贡献因素是车辆中照 明条件的变化。大多数通用的手势识别系统被构建成用于室内环境。不同的颜色空间表示、 皮肤区域对非皮肤区域分类规则、自动白平衡校正或深度信息通常被用于过滤杂乱的环境 状况。因为车载环境彼此极其不同，所W运些软件工具在成功识别手势方面是不可靠的。因 此，车载信息系统识别手势的能力的改进是有价值的。
【发明内容】
[000引车载信息系统通过使用自适应皮肤检测器来解决手势的多样性。运些检测器被配 置成连同最大后验概率(MAP)适应的皮肤模型一起使用相对应的背景和前景信息二者，W 增强检测器的性能和稳健性。此系统还结合了笔划建模，而不是全字母建模。用于手势的笔 划建模类似于用于手写汉字字符识别的笔划建模或用于语音识别的音素建模。此笔划建模 通过利用几何属性明确地对笔划内相关性建模作为后处理阶段，增强了系统区分手势的能 力。运样的建模还具有去除噪声笔划的潜力。
[0006] 在一个实施例中，已开发了一种车载信息系统，其配置成从操作者接收手势输入。 所述车载信息系统包括:第一摄像机，其配置成产生车辆中的内表面和车辆中的操作者的 手在所述内表面上移动的图像数据;控制器，其操作性地连接到第一摄像机和车载信息系 统中的至少一个部件。所述控制器被配置成:从第一摄像机接收图像数据的多个帖;识别操 作者的手在所述多个帖中的每一帖中的位置;产生与手在所述多个帖中的位置的变化相对 应的轨迹数据;参考第一隐马尔科夫模型(HMM)从轨迹数据产生针对手的解码的笔划序列； 从解码的笔划序列去除第一笔划和最后笔划中的至少一个，W产生编辑的笔划序列；使与 编辑的笔划序列中的每个笔划相关联的轨迹数据归一化;参考第二HMM来识别对应于与编 辑的笔划序列相关联的归一化的轨迹数据的字符；W及响应于识别的字符来操作车载信息 系统中的至少一个部件。
[0007] 在另一个实施例中，已开发了一种用于从车载信息系统中的操作者接收手势输入 的方法。所述方法包括:利用控制器接收第一摄像机所产生的图像数据的多个帖;利用控制 器识别操作者的手在所述多个帖中的每一帖中的位置;利用控制器产生与手在所述多个帖 中的位置的变化相对应的轨迹数据;参考第一隐马尔科夫模型(HMM)，利用控制器从轨迹数 据产生解码的笔划序列;利用控制器从解码的笔划序列去除第一笔划和最后笔划中的至少 一个，W产生编辑的笔划序列；利用控制器使与编辑的笔划序列中的每个笔划相关联的轨 迹数据归一化;参考第二HMM利用控制器来识别对应于与编辑的笔划序列相关联的归一化 的轨迹数据的字符；W及响应于所识别的字符，利用控制器来操作车载信息系统中的至少 一个部件。
【附图说明】
[0008] 图1为车辆的乘客舱中的车载信息系统的部件的示意图。
[0009] 图2为图1的车载信息系统中的手势识别子系统的系统图。
[0010] 图3为形成来自车辆操作者的手势的个别笔划的图形描绘。
[0011] 图4为形成包括开始笔划和结束笔划的手势的笔划的图形描绘W及在去除了开始 笔划和结束笔划并且再归一化剩余笔划之后的手势的另一图形描绘。
[0012] 图5为在图2的子系统中用于检测帖序列中的手的过程的框图。
[0013] 图6为权利要求1的车载信息系统和图2的子系统中的用于字符识别的过程的框 图。
【具体实施方式】
[0014] 为了促进对本文所公开的实施例的原理的理解的目的，现在参考附图和W下书面 说明书中的描述。运些参考不意在限制主题的范围。本公开还包括对所示实施例的任何改 变和修改，并且包括如本公开所属领域的技术人员正常将想到的所公开的实施例的原理的 另外的应用。
[0015] 如本文所用的，术语"手势"指的是与用于车载信息系统的预定输入相对应的一系 列手部移动。手势由多个称为"笔划"的较小手部移动形成。例如，每个笔划为手沿直线或在 开始位置和结束位置之间的曲线上的连续移动。一些手势对应于字母表或象征性字典 (lexicon)中的个别字符。如本文所用的，术语"字符"指的是字母、数字、意符、标点或被识 别为用于车载信息系统的输入形式并且能够由手势形成的其他符号。如本文所用的，术语 "字典"指的是被识别为用于车载信息系统的有效输入字符的一组预定字符。车载信息系统 接收一个或多个字符作为输入，来控制通过车载信息系统中的一个或多个处理器执行的软 件程序的操作W及控制车辆中的部件。如本文所用的，术语"部件"指的是车辆中连接到数 字控制设备并且能够基于来自车辆操作者的手势输入来操作或重新配置的任何电的、机械 的、液压的、气动的或机电的设备。
[0016]本文描述了车载信息系统100,其集成多个输入和输出设备，并且被配置成识别来 自车辆中的操作者所提供的手势的字符。车载信息系统100包括W下结合图1来描述的部 件。在图1中，车载信息系统100包括平视显示器(册0)120、一个或多个控制台LCD面板124、 一个或多个输入麦克风128、一个或多个输出扬声器132、在方向盘区域104上的输入基准区 域134A、134B和136、分别用于左臂和右臂中的一个或两个的附近扶手区域112和113上的输 入区域140和141，W及运动感应摄像机144"LCD显示124可选择地包括接收触觉输入的触摸 屏界面。
[0017 ]控制器148被操作性地连接到车载信息系统100中的部件中的每一个。控制器148 包括配置为中央处理单元（CPU)、微控制器、现场可编程口阵列（FPGA)、专用集成电路 (ASIC)、数字信号处理器(DSP)或任何其他合适的数字逻辑设备的一个或多个集成电路。控 制器148还包括存储编程指令的存储器，例如固态存储设备或磁性数据存储设备，所述编程 指令通过控制器148执行，用于车载信息系统100的操作。在一些实施例中，控制器148连接 到或结合附加的部件，例如全球定位系统(GPS)接收器152和无线网络设备154, W提供导航 W及与外部数据网络和计算设备的通信。车载信息系统100还包括一个或多个外部摄像机 和传感器158,其提供关于车辆周围环境的视频和其他传感器数据，W帮助操作者驾驶和停 放车辆。车载信息系统100与通常在包括挡风玻璃102、仪表板108和方向盘104的机动车辆 中找到的常规的部件集成。
[0018] 在系统100中，输入区域134A、134B、136和140为车辆操作者提供了使用手部运动 或手势来输入输入数据的表面。在一个实施例中，所述输入区域包括手势传感器设备，例如 红外线传感器或飞行时间（T0F)传感器，其识别来自操作者的输入手势。在另一个实施例 中，摄像机144被安装在乘客舱的顶部上，并且观察