用于识别用户的手势以执行车辆的操作的设备和方法_2

文档序号:8430284阅读:来源:国知局
实施方式】的目的而并非旨在限制本发明。除非上下文另有明确说明,否则如本文中所使用的单数形式“一(a)”、“一(an)”及“该”也旨在包括复数形式。还应当理解,当术语“包括”和/或“包含”用于本说明书时,其描述了存在所述特征、整体、步骤、操作、元件及/或组件,但并不排除存在或附加有一个或多个其它特征、整体、步骤、操作、元件、组件及/或其组合。作为本文中所用的术语“和/或”包括一个或多个相关的所列项的任何及所有组合。此外,当描述元件“耦接”至另一元件时,该元件可能“直接耦接”至另一元件,或者通过第三元件“电耦接”至另一元件。
[0037]进一步地,本发明的控制逻辑可体现为非暂存性计算机可读介质,在计算机可读介质上包含由处理器、控制器/控制单元等执行的可执行程序指令。计算机可读介质的实例包括但并不限于:ROM、RAM、光盘(⑶)-ROM、磁带、软盘、闪存驱动、智能卡和光学数据存储装置。计算机可读介质也可分布在网络耦合的计算机系统中,从而以分布式方式存储并且例如由远程信息管理服务器(telematics server)或控制器局域网络(CAN)执行该计算机可读介质。
[0038]在下文中,将参照其中示出了本发明的示例性实施方式的附图更全面地描述本发明。
[0039]图1是根据本发明的示例性实施方式的用于识别用户手势的设备的框图,并且图2是根据本发明的示例性实施方式的用于描述根据展开手指的数目分类的手姿态的示意图。
[0040]如图1所示,根据本发明的示例性实施方式的用于识别用户手势的设备可包括图像生成器10、手模型生成器20、和手势识别器30。
[0041]图像生成器10通过拍摄用户的手生成目标图像。图像生成器10可以是布置为面对用户的手的2D相机、3D相机、或红外相机。
[0042]手模型生成器20可使用通过预定程序执行的一个或多个微处理器实现。预定程序可包括一系列命令,该一系列命令用于执行包括在根据本发明示例性实施方式的识别用户手势的方法中的各个步骤。通过识别用户手势,可以操作车辆的一个或多个组件,或驾驶车辆。
[0043]手模型生成器20可包括特征点候选检测器21、手掌检测器22、手指检测器23、和特征点检测器24。
[0044]特征点候选检测器21通过消除目标图像的背景生成手图像。特征点候选检测器21从手图像中检测特征点候选。特征点候选可包括手指尖和手指谷(finger valley,手指蹼)。
[0045]详细地,特征点候选检测器21将手图像转换成二值图像。特征点候选检测器21检测手腕和手腕的中心点。特征点候选检测器21可将二值图像划分成上部区域和下部区域,并且检测下部区域内的手腕。
[0046]特征点候选检测器21检测用户的手的轮廓并且计算用户的手的轮廓的曲率(curvature) 0特征点候选检测器21可将曲率大于预定值处的点检测为特征点候选(手指尖或手指谷)。
[0047]特征点候选检测器21可标准化包括在手图像内的手区域。因为对于各个用户手的大小是不同的,所以包括在手图像中的手区域在大小上可能彼此不同。标准化可在将手图像转换成二值图像之后或检测特征点候选之后进行。
[0048]手掌检测器22从手区域检测手掌区域,并且检测手掌区域的中心点。此处,手掌检测器22可通过在手区域上进行形态学运算检测手掌区域。详细地,手掌检测器22通过执行侵蚀运算消除手指区域。手掌检测器22可沿着用户手的轮廓消除手指区域。因为手指区域小于手掌区域,所以手掌区域可通过从手区域消除手指区域来检测。
[0049]手掌检测器22通过在消除手指区域之后残余的手掌区域上进行膨胀运算膨胀手掌区域。手掌检测器22检测膨胀的手掌区域的中心点。
[0050]此处,手掌区域的中心点可通过使用椭圆匹配法或最小二乘法来检测。椭圆匹配法将手掌区域和椭圆相匹配,并且将椭圆的中心点检测为手掌区域的中心点。因为最小二乘法是众所周知的并且可由本领域普通技术人员容易地进行,所以将省去其详细说明。手掌检测器22可进行用于使膨胀的手掌区域的轮廓平滑的处理。
[0051]手指检测器23通过从手区域消除手掌检测器22检测的手掌区域来检测手指区域。
[0052]特征点检测器24初次筛选特征点候选。特征点检测器24将未位于手掌区域或手指区域内的特征点候选从特征点候选中排除。特征点检测器24通过分析手腕中心点、手掌区域中心点和初次筛选的特征点候选之间的相关性,二次筛选初次筛选的特征点候选。
[0053]此处,特征点检测器24可通过比较手腕的中心点、手掌区域的中心点、以及初次筛选的特征点候选之间的距离和角度来二次筛选初次筛选的特征点候选。如果手腕中心点、手掌区域中心点、和初次筛选的特征点候选之间的距离和角度在预定范围以外,那么特征点检测器24可将一个或多个对应的特征点候选排除。
[0054]特征点检测器24将二次筛选的特征点候选检测为特征点。特征点检测器24通过使用特征点生成手模型。
[0055]手势识别器30基于手模型识别展开的手指的数目,并且在多个种类之中选择与展开手指的数目对应的种类。此处,如图2所示,多个种类可根据展开手指的数目分类并且包括关于预定的手姿态的信息。手势识别器30通过选择与所选择的种类的手姿态中的手模型对应的手姿态来识别用户手势。
[0056]手势识别器30可根据识别的用户手势控制车辆中的信息技术装置的操作。例如,手势识别器30可根据识别的用户手势控制音频装置的音量或者空调器的温度。
[0057]图3是根据本发明的示例性实施方式的用于识别用户手势的方法的流程图,图4至图9是描述根据本发明的示例性实施方式的用于识别用户手势的方法的示意图。
[0058]如图3和图4的(a)所示,在步骤SI,图像生成器10生成目标图像Al。目标图像Al被发送到特征点候选检测器21。
[0059]在步骤S2,特征点候选检测器21通过消除目标图像Al的背景生成手图像。特征点候选检测器21将手图像转换成二值图像A2。二值图像A2包括手区域HR。
[0060]此后,在步骤S3,特征点候选检测器21标准化手区域HR。就是说,手区域HR通过标准化被调整为具有预定大小。
[0061]在步骤S4,特征点候选检测器21检测标准化的手区域A3内的手腕的中心点01。
[0062]特征点候选检测器21检测用户的手的轮廓并且计算用户的手的轮廓的曲率。在步骤S4,特征点候选检测器21可基于轮廓的曲率检测一个或多个特征点候选。曲率大于预定值的点可被检测为特征点候选。如图4的(d)所示,手指尖Fl至F5和手指谷Vl至V4可检测为特征点候选。
[0063]在这种情况下,特征点候选检测器21可能将如Fll或Vll的点错误地检测为特征点候选,如图5所示。就是说,点Fll可被错误地检测为手指尖并且点Vll可被错误地检测为手指谷。因此,进行后续处理以将错误检测的点排除在外。
[0064]如图6所示,在步骤S5,手掌检测器22可通过在手区域A3上进行形态学运算检测手掌区域A4。形态学运算包括侵蚀运算和膨胀运算。
[0065]详细地,手掌检测器22通过进行侵蚀运算而沿着用户的手的轮廓消除手指区域,如图6的(a)所示。
[0066]此后,手掌检测器22沿着通过侵蚀运算部分地消除之后而残余的手掌区域的轮廓进行膨胀运算,如图6的(b)所示。然后,手掌区域被膨胀为如图6的(C)所示。此后,在步骤S5,手掌检测器22通过使用椭圆匹配法或最小二乘法检测膨胀的手掌区域A4的中心点02。
[0067]如图7所示,在步骤S6中,手指检测器23通过从标准化的手区域A3中消除膨胀的手掌区域A4检测出手指区域A5。
[0068]在步骤S7中,特征点检测器24初次筛选特征点候选。就是说,特征点检测器24检测位于手掌区域A4或手指区域A5内的特征点候选。
[0069]例如,如图8所示,手区域A3中的点F21、F22、和F23可被检测为特征点候选(手指尖)。在这种情况下,因为
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1