专利名称：手势辨识装置及方法
技术领域：
本发明系有关于一种手势辨识装置及方法，特别是有关于一种利用影像处理进行手势辨识的装置，和使用此装置的手势辨识方法。
背景技术：
使用者对人机界面系统(man - machine interface system)的操作要求越来越高，希望能更简化操作流程，让界面操作更直觉化。人机界面系统的操作机制大多为键盘操作、滑鼠操作、触控操作以及遥控器操作等四种机制。键盘操作适合于输入文字，但是现今的显示界面大多为图形显示界面，因此在使用上并不方便。滑鼠操作或遥控器操作虽然可提供不错的便利性，但是使用者必须依赖一外部装置来进行操作，控制距离也受到限制。触控操作则限制使用者必须在手指或触控笔在可触碰的萤幕范围内来操作人机界面。目前，人机界面系统的另一种操作机制是将手模拟成滑鼠使用。举例，Kinect人机界面系统先将手部追踪，藉以得到手部座标，然后将系统座标与手部座标连结，就可以将手模拟成滑鼠使用。若使用者将手往向前方向推出(朝向影像感测器的方向)，则可下达滑鼠点击动作(Click)等对应的指令动作。然而，Kinect的硬体架构包含矩阵式红外线发射器、红外线摄影机、可见光摄影机、矩阵式麦克风及马达等，造成硬体成本居高不下。虽然Kinect的硬体架构可以準确的取得手部在Z轴的座标值，但是在真实的应用中只需知道手部相对的前后关系就可以得知对应的指令动作。因此，便有需要提供一种可兼顾操作空间自由性以及徒手操作的手势辨识装置及方法，以解决前述的问题。
发明内容
本发明的一目的为，克服现有的操作机制的空间自由性不足，而提供一种兼顾操作空间自由性以及徒手操作的手势辨识方法及装置。为达成上述目的，本发明提供一种手势辨识方法，包括提供一影像；将该影像的
三原色图转换为灰阶图；判断出该影像的一手部影像；以及判断出该手部影像的质心座标、指尖个数及指尖座标的其中至少一者。为达成上述目的，本发明另提供一种手势辨识装置，包括一影像处理模组。该影像处理模组用以处理一影像，并包括一肤色侦测单元，用以判断该影像中的肤色面积是否大于一门槛值；一特征侦测单元，电性连接该肤色侦测单元，用以辨识该影像中的一手部影像；以及一边缘侦测单元，电性连接该特征侦测单元，用以判断该手部影像的质心座标、指尖个数及指尖座标的其中至少一者。本发明的手势辨识方法及装置利用肤色侦测单元找出肤色面积，再利用特征侦测单元从影像中找出手部影像，并利用边缘侦测单元判断出手部影像的质心座标、指尖个数及指尖座标。后续的手部的空间位置变化、手指指尖的个数及手指的弯曲变化，再不需要整张画面的影像进行扫瞄辨识。因此，画面的影像档案小，可加快手部影像辨识的速度，控制单元再依据变化的结果执行相对应的动作。在使用上，使用者不用在局限于空间上的限制，可以较自由的操作及控制。
图1为本发明具有手势辨识装置的人机界面系统的架构图。图2为本发明手势辨识方法流程图。图3为本发明肤色侦测方法流程图。图4a为本发明手部影像辨识示意图，其为灰阶示意图。图4b为本发明手部影像辨识示意图，其为选取手部影像的灰阶示意图。图4c为本发明手部影像辨识示意图，其为标示凸点、凹点及质心座标的灰阶示意图。图5为使用者使用本发明人机界面系统的示意图。主要元件符号说明
1人机界面系统 10手势辨识装置
100影像擷取单元 20显示单元
200影像处理模组 210肤色侦测单元
220特征侦测单元 230边缘侦测单元
240资料库250控制单元
251触控点功能252手势判断功能
300使用者界面310图形使用者界面
320人性化界面410灰阶图
420第一手部影像 450凸点
460凹点470质心座标
510网路摄影机520影像处理模组
530电脑萤幕540使用者 步骤 S100 S112 步骤 S1021 S1023。
具体实施例方式为使本发明的目的、技术方案及优点更加清楚明白，以下将通过具体实施例和相关附图，对本发明作进一步详细说明。请参阅图1为本发明之一实施例的具有手势辨识装置的人机界面系统的架构图。人机界面系统I包括一手势辨识装置10及一显示单元20。手势辨识装置10包括一影像擷取单元100、一影像处理模组200及一使用者界面300。影像处理模组200包括一肤色侦测单元210、一特征侦测单元220、一边缘侦测单元230、一资料库240及一控制单元250。影像处理模组200电性连接于该影像擷取单元100。使用者界面300电性连接于影像处理模组 200。图2为本发明之一实施例的手势辨识方法流程图，请同时参阅图1。该手势辨识方法包括下列步骤
在步骤S100，提供第一影像。于本步骤中，由影像擷取单元100擷取第一影像，并电性连接该肤色侦测单元210，将该第一影像传递至该肤色侦测单元210。该影像擷取单元100可为摄影机或影像感测器。在步骤S102，肤色侦测单元210进行一肤色侦测步骤，将该第一影像的三原色(RGB)图转换为灰阶(Gray-level)图。请参阅图3，肤色侦测步骤，包括下列步骤
在步骤S1021，将该第一影像的三原色模型(RGB color model)转换为色度/饱和度/明度彩色模型(HSV彩色模型，HSV color model)。于本步骤中，该肤色侦测单元210从影像擷取单元100接收的图框(frame)为该第一影像，该第一影像原本是以三原色模型所表现，但为了进行肤色的判断，所以将三原色模型转换为HSV彩色模型，以方便后续的处理。在步骤S1022，移除该第一影像的明度参数，再以色度参数和饱和度参数做肤色的追踪而判断出该第一影像的肤色面积。于本步骤中，该肤色侦测单元210先进行移除该第一影像的明度参数，以减少外在环境光的影响。利用手掌的皮肤不会有黑色素生成，对色度参数和饱和度参数订出一个范围，并滤除未落在该范围的影像，并将该第一影像以灰阶表现而形成灰阶图410 (如图4a所示)。然后，计算落在该范围影像的面积即为肤色面积。在步骤S1023，判断出第一影像的肤色面积是否大于门槛值。于本步骤中，肤色侦测单元210判断该第一影像的肤色面积是否大于门槛值。该门槛值为该第一影像中肤色面积至少要占整个影像面积一预定比例。当肤色面积小于门槛值时，就回到步骤S100 ;亦即肤色侦测单元210就结束侦测流程，回到初始状态，并等待下一张影像再重复进行。当肤色面积大于门槛值时，肤色侦测单元210就就将该第一影像的灰阶图传递到该特征侦测单元220。假设，该影像面积为640 X 480，则第一影像中肤色面积至少要300 X 200，上述中的300X200即为上述的门槛值。在步骤S104，特征侦测单元220进行一特征侦测步骤，用以判断出该第一影像中的第一手部影像。于本步骤中，当特征侦测单元220电性连接该肤色侦测单元210，并从肤色侦测单元210收到该第一影像的灰阶图时，该特征侦测单元220利用哈尔(Haar)演算法进行辨识该第一影像的中的第一手部影像。根据哈尔(Haar)演算法可组出多个向量以建立一手部特征参数模型，进而能取得个别对应的样本特征参数值。在进行手部辨识时，该特征侦测单元220会擷取各手部区域的特征，以计算各手部区域所分别对应的区域参数特征值。接下来，将每个手部区域所对应的区域参数特征值，与样本特征参数值进行比较，以取得手部区域与样本之间的相似度，只要相似度大于一门槛值(例如相似度门槛值为95，就判断出手部影像，并选取该手部影像(如图4b所示)。当特征侦测单元220辨识出该影像中有手部影像时，就将该手部影像传至该边缘侦测单元230。如果辨识出有多个手部影像，就只传送有最大面积的手部影像，亦即第一手部影像420。在步骤S106，边缘侦测单元230进行一边缘侦测步骤，用以判断第一手部影像的质心座标、指尖个数及指尖座标。于本步骤中，请同时参阅图4c，该边缘侦测单元230电性连接该特征侦测单元220，并从该特征侦测单元220收到该第一手部影像。该边缘侦测单元230利用该第一手部影像的最大凸多边形的圆点图案为凸点450，方点图案为凹点460，计算两凹点460与其中间凸点450的差距，即可判断出指尖是否为伸出或收起，进而得知指尖个数及指尖座标。或者，计算手指指尖凸点450与两手指之间凹点460的距离，例如食指指尖到食指与中指之间凹陷处的距离。该边缘侦测单元230将该第一手部影像440的指尖个数及指尖座标传至资料库240。于本步骤中，该边缘侦测单元230判断该第一手部影像的最大凸多边形来计算第一手部影像的面积，以得知三角点图案为质心座标470。该边缘侦测单元230将该第一手部影像的质心座标470传至资料库240。步骤S108，提供第η影像，并判断出第η手部影像及第η手部影像的质心座标、指尖个数及指尖座标。于本步骤中，η为2或2以上的整数，影像擷取单元100擷取第η影像，将该第η影像传递至该肤色侦测单元210，如步骤S100。第η影像再经过步骤S102的肤色侦测步骤，判断该第η影像的肤色面积大于门槛值，并将该第η影像灰阶图传递到特征侦测单元220。步骤S104，特征侦测单元利用哈尔(Haar)演算法进行辨识该第η影像的中的第η手部影像，并将该第η手部影像传递到边缘侦测单元230。如步骤S106，边缘侦测单元230判断第η手部影像的质心座标、指尖个数及指尖座标，并传至资料库240。步骤S110，判断第一手部影像与第η手部影像的质心座标、指尖个数及指尖座标之间的差异，而执行相对应的动作。于本步骤中，控制单元250电性连接该资料库240。该控制单元250依据该资料库240的讯号而执行相对应的动作。例如第一操作方式为，控制单元250依据第一手部影像与第η手部影像的质心座标不同，就可判断出手部影像在空间中的移动变化，而执行触控点功能251的动作。第二操作方式为，控制单 元250依据第一手部影像或第二手部影像的指尖个数，判断出手指的变化，而执行手势判断功能252的动作。第三操作方式为，控制单元250依据第一手部影像与第二手部影像的指尖座标不同，就可判断出手部影像的手指头弯曲程度，而执行手势判断功能252的动作。上述第一、第二及第三操作方式中，控制单元250可选则其中一个操作方式，也能同时三个操作方式交互使用。步骤S112,显示单元20透过使用者界面300,显示控制单元250执行动作后的结果。于本步骤中，使用者界面300包括人性化界面320及图形使用者界面310，且电性连接控制单元250及显示单元20。人性化界面320是用于触控点功能251的输出界面，图形使用者界面310是用于手势判断功能252的输出界面。经由人性化界面320及图形使用者界面310，可由显示单元20显示控制单元250执行动作后的结果。举例来说如图5所示，本发明的手势辨识装置可代替目前的滑鼠的动作，其中该影像擷取单元可为一般网路摄影机510 (Web camera);本发明的影像处理模组520可为晶片组(Chip Set)、处理器(Processor 如 CPU、MPU)、控制电路(Control Circuit)、其它辅助电路、运算程式(Operation Software)、韧体(Firmware)或相关模组、元件、软体等所组合而成；该显示单元可为一般电脑萤幕(screen) 530。当使用者540在网路摄影机510前时，使用者540的手部向左移动时，从电脑萤幕530就可看到萤幕上的箭头向左移动。当使用者540的手指向下弯曲时，经过影像处理模组520的讯号处理，电脑萤幕530上的箭头所选取的元件就会被点选。本发明的手势辨识方法及装置利用肤色侦测单元找出肤色面积，再利用特征侦测单元从影像中找出手部影像，并利用边缘侦测单元判断出手部影像的质心座标、指尖个数及指尖座标。后续的手部的空间位置变化、手指指尖的个数及手指的弯曲变化，再不需要整张画面的影像进行扫瞄辨识。因此，画面的影像档案小，可加快手部影像辨识的速度，控制单元再依据变化的结果执行相对应的动作。在使用上，使用者不用在局限于空间上的限制，可以较自由的操作及控制。综上所述，乃仅记载本发明为呈现解决问题所採用的技术手段的实施方式或实施例而已，并非用来限定本发明专利实施的范围。即凡与本发明申请专利范围文义相符，或依本发明专利范围所做的均等变化与修饰，皆为本发明专利范围所涵盖。
权利要求
1.一种手势辨识方法，其特征在于包括下列步骤 提供一第一影像； 将该第一影像的三原色图转换为一第一灰阶图； 判断出该第一影像的一第一手部影像；以及 判断出该第一手部影像的质心座标、指尖个数及指尖座标的其中至少一者。
2.根据权利要求1所述的手势辨识方法，其特征在于其中将该第一影像的三原色图转换为一第一灰阶图的步骤中，包括下列步骤 将该第一影像的三原色模型转换为色度/饱和度/明度彩色模型； 移除该第一影像的明度参数，再以色度参数和饱和度参数做肤色的追踪而判断出该第一影像的肤色面积，并将该第一影像以灰阶表现而形成该第一灰阶图；以及判断出该第一影像的肤色面积是否大于一门槛值。
3.根据权利要求2所述的手势辨识方法，其特征在于其中该门槛值为该第一影像中的肤色面积占整个影像面积一预定比例。
4.根据权利要求1所述的手势辨识方法，其特征在于更包括下列步骤 提供一第二影像； 将该第二影像的三原色图转换为一第二灰阶图； 判断出该第二影像的一第二手部影像；以及 判断出该第二手部影像的质心座标、指尖个数及指尖座标的其中至少一者。
5.根据权利要求4所述的手势辨识方法，其特征在于其中将该第二影像的三原色图转换为一第二灰阶图的步骤中，更包括下列步骤 将该第二影像的三原色模型转换为色度/饱和度/明度彩色模型； 移除该第二影像的明度参数，再以色度参数和饱和度参数做肤色的追踪而判断出该第二影像的肤色面积，并将该第二影像以灰阶表现而形成该第二灰阶图；以及判断出该第二影像的肤色面积是否大于一门槛值。
6.根据权利要求4所述的手势辨识方法，其特征在于更包括下列步骤判断该第一手部影像与该第二手部影像的质心座标，而执行相对应的动作。
7.根据权利要求4所述的手势辨识方法，其特征在于更包括下列步骤判断该第一手部影像或该第二手部影像的指尖个数，而执行相对应的动作。
8.根据权利要求4所述的手势辨识方法，其特征在于更包括下列步骤判断该第一手部影像与该第二手部影像的指尖座标，而执行相对应的动作。
9.一种手势辨识装置，其特征在于包括 一影像处理模组，用以处理一影像，并包括 一肤色侦测单元，用以判断该影像中的肤色面积是否大于一门槛值； 一特征侦测单元，电性连接该肤色侦测单元，用以辨识该影像中的一手部影像；以及一边缘侦测单元，电性连接该特征侦测单元，用以判断该手部影像的质心座标、指尖个数及指尖座标的其中至少一者。
10.根据权利要求9所述的手势辨识装置，其特征在于更包括一资料库，其电性连接该边缘侦测单元，用以储存该手部影像的质心座标、指尖个数及指尖座标的其中至少一者。
11.根据权利要求10所述的手势辨识装置，其特征在于更包括一控制单元，其电性连接该资料库，用以依据质心座标的不同，判断出手部影像在空间中的移动变化。
12.根据权利要求10所述的手势辨识装置，其特征在于更包括一控制单元，其电性连接该资料库，用以依据指尖个数，判断出手指的变化。
13.根据权利要求10所述的手势辨识装置，其特征在于更包括一控制单元，其电性连接该资料库，用以依据指尖座标的不同判断出该手部影像的手指头弯曲程度。
全文摘要
一种手势辨识装置，包括一影像处理模组。该影像处理模组用以处理一影像，并包括一肤色侦测单元，用以判断该影像中的肤色面积是否大于一门槛值；一特征侦测单元，电性连接该肤色侦测单元，用以辨识该影像中的一手部影像；以及一边缘侦测单元，电性连接该特征侦测单元，用以判断该手部影像的质心座标、指尖个数及指尖座标。
文档编号G06K9/00GK103034333SQ201210550679
公开日2013年4月10日 申请日期2012年12月18日 优先权日2012年12月18日
发明者姜智尹, 黄子轩, 张哲维 申请人:福建华映显示科技有限公司, 中华映管股份有限公司