用于识别用户的手势以执行车辆的操作的设备和方法
【专利说明】用于识别用户的手势以执行车辆的操作的设备和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2013年12月31日提交给韩国知识产权局的韩国专利申请第10-2013-0168913号的优先权和权益，通过引用将其全部结合在此。
技术领域
[0003]本发明涉及用于识别用户的手势以操作车辆或者车辆组件的设备和方法，并且因此该设备和方法可执行车辆的操作。
【背景技术】
[0004]通常，用于车辆的信息技术装置是为车辆的驾驶提供辅助或者为如驾驶员的用户提供便利和娱乐的装置。例如，信息技术装置包括音频装置、音频视频导航系统、远程信息处理装置等。
[0005]一些信息技术装置通过远程控制方法来控制，以便防止驾驶员的眼睛偏离车辆前方的道路。
[0006]作为远程控制方法，存在通过使用车辆的方向盘上布置的按钮或者通过识别用户的手势控制信息技术装置的方法。在那些方法之中，用于识别用户手势的方法是通过相机(camera，摄像头)拍摄用户的手并且基于拍摄的图像识别手姿态(hand pose)的方法。
[0007]然而，根据用于识别用户手势的常规方法，随着可用手姿态的数目增加手势识别率劣化。
[0008]在【背景技术】部分所公开的上述信息仅用于增强对本发明【背景技术】的理解，因此，其可能包含并不构成已为该国本领域的技术人员已知的现有技术的信息。
【发明内容】
[0009]本发明提供用于识别用户的手势以执行车辆的操作的装置和方法，其具有基于用户的手的轮廓的曲率检测特征点候选，并且通过筛选特征点候选精确检测特征点的优点。
[0010]根据本发明的示例性实施方式的用于识别用户的手势以执行车辆的操作的装置可包括:图像生成器，被配置为通过拍摄用户的手生成目标图像；特征点候选检测器，被配置为通过消除目标图像的背景生成包括手区域的手图像，并且检测手腕的中心点和包括手指尖和手指谷的特征点候选；手掌检测器，被配置为通过对手区域执行形态学运算检测手掌区域，并且检测手掌区域的中心点；手指检测器，被配置为通过从手区域中消除手掌区域检测手指区域；特征点检测器，被配置为将位于手掌区域内的手指谷和位于手指区域内的手指尖检测为特征点，并且通过使用手腕中心点、手掌区域的中心点、以及特征点生成手模型；以及手势识别器，被配置为基于手模型识别展开手指的数目，并且通过在多个种类之中选取与展开手指的数目相对应的种类来识别用户手势。
[0011]特征点候选检测器可将手图像转换成二值图像。
[0012]特征点候选检测器可在将手图像转换成二值图像或者检测特征点候选之后标准化(normalize)手区域。
[0013]特征点候选检测器可检测用户的手的轮廓，并且基于用户的手的轮廓的曲率检测旨 定 。
[0014]特征点候选检测器将曲率大于预定值处的点检测为手指尖或手指谷。
[0015]手掌检测器可沿着用户的手的轮廓执行侵蚀运算以消除手指区域，沿着被侵蚀运算部分地消除之后而余留的手掌区域的轮廓执行膨胀运算以使手掌区域膨胀，并且通过使用椭圆匹配法或最小二乘法检测膨胀后的手掌区域的中心点。
[0016]手指检测器可通过从手区域中消除膨胀后的手掌区域检测手指区域。
[0017]特征点检测器可通过初次筛选(primarily filtering)特征点候选来检测位于手掌区域内或手指区域的特征点候选。
[0018]特征点检测器可通过基于手腕的中心点、手掌区域的中心点与初次筛选的特征点候选之间的距离和角度二次筛选(secondarily filtering)初次筛选后的特征点候选来检测特征点。
[0019]手势识别器在所选择的种类中选择对应于手模型的手姿态。
[0020]根据本发明的示例性实施方式的用于识别用户的手势以执行车辆的操作的方法可包括:通过消除目标图像的背景生成手图像；将手图像转换成包括手区域的二值图像；在手区域内检测手腕的中心点和包括手指尖和手指谷的特征点候选；通过对手区域执行形态学运算检测手掌区域和手掌区域的中心点；通过从手区域中消除手掌区域检测手指区域；通过初次筛选特征点候选来检测位于手掌区域或者手指区域内的特征点候选；通过基于手腕的中心点、手掌区域的中心点与初次筛选的特征点候选之间的距离和角度二次筛选初次筛选的特征点候选来检测特征点；以及通过使用手腕中心点、手掌区域中心点、和特征点生成手模型。
[0021]方法可进一步包括将手图像转换成二值图像之后或者检测手腕的中心点和特征点候选之后标准化手区域。
[0022]检测手腕的中心点和特征点候选可包括检测用户的手的轮廓并计算用户的手的轮廓的曲率。
[0023]检测手腕的中心点和特征点候选可进一步包括将曲率大于预定值的处的点检测为手指尖或手指谷。
[0024]通过对手区域执行形态学运算来检测手掌区域和手掌区域的中心点可包括:沿着用户的手的轮廓执行侵蚀运算以消除手指区域；沿着被侵蚀运算部分消除之后而余留的手掌区域的轮廓执行膨胀运算以使手掌区域膨胀；并且通过使用椭圆匹配法或最小二乘法检测膨胀后的手掌区域的中心点。
[0025]检测手指区域可包括从手区域中消除膨胀的手掌区域。
[0026]该方法可进一步包括:基于手模型识别展开手指的数目；在多个种类之中选取与展开手指数目相对应的种类；并且通过在所选择的种类中选取对应于手模型的手姿态来识别用户的手势。
[0027]根据本发明的示例性实施方式，特征点候选基于用户的手的轮廓的曲率来检测，并且可通过筛选特征点候选精确检测特征点。
[0028]此外，用户的手势的识别率可通过根据展开手指的数目分类手姿态的种类来改口 O
[0029]一种包括被处理器或控制器执行的程序指令的非暂存性计算机可读介质，可包括:通过消除目标图像的背景生成手图像的程序指令；将手图像转换成包括手区域的二值图像的程序指令；在手区域内检测手腕的中心点和包括手指尖和手指谷的特征点候选的程序指令；通过对手区域执行形态学运算检测手掌区域和手掌区域的中心点的程序指令；通过从手区域中消除手掌区域检测手指区域的程序指令；通过初次筛选特征点候选检测位于手掌区域或者手指区域内的特征点候选的程序指令；通过基于手腕的中心点、手掌区域的中心点与初次筛选的特征点候选之间的距离和角度二次筛选初次筛选后的特征点候选来检测特征点的程序指令；以及通过使用手腕中心点、手掌区域中心点和特征点生成手模型的程序指令。
【附图说明】
[0030]图1是根据本发明的示例性实施方式的用于识别用户手势的设备的框图。
[0031]图2是根据本发明的示例性实施方式的用于描述根据展开手指的数目分类的手姿态的示意图。
[0032]图3是根据本发明的示例性实施方式的用于识别用户手势的方法的流程图。
[0033]图4至图9是描述根据本发明的示例性实施方式的用于识别用户手势的方法的示意图。
【具体实施方式】
[0034]在以下具体说明中，简单通过图示的方式仅示出并描述了本发明的某些示例性实施方式。本领域技术人员应当认识到，在不脱离本发明的精神或者范围内，可以各种不同方式修改所描述的实施方式。因此，附图和说明从本质上被认为是说明性的而非限制性的。通篇说明书，相同参考标号指代相同的元件。
[0035]应当理解，本文中所使用的术语“车辆(vehicle)”或“车辆的(vehicular) ”或其他类似术语包括广义的机动车辆，诸如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的载客车辆；包括各种小船、海船的船只；航天器等；并且包括混合动力汽车、电动车辆、插入式混合电动车辆、氢动力车辆和其他替代燃料车辆(例如，燃料来源于非汽油能源)，如本文所指，混合动力车辆是具有两种或以上动力源的车辆，例如，汽油动力和电动力车辆。
[0036]本文中所使用的术语仅是为了描述【具体