基于深度值的手势操作方法及其系统与流程

本发明是有关于一种手势操作方法，特别是有关于识别于移动载具时所取得的立体影像的深度值中的操作手势以进行操作的基于深度值的手势操作方法。

背景技术：

汽车为现在家庭中最常使用的移动载具，汽车厂商每年都会推出不同的新车型，消费者也会逐步的汰换自家使用较久汽车，在换新车后，消费者更会添购诸如卫星导航系统、胎压监测系统、车内影音设备或是行车监视器、抬头显示器等装设于移动载具的电子系统，因此消费市场庞大，各制作、研发装设于移动载具的电子设备的厂商亦不断的开发各种运用于移动载具的电子设备，每年都创造出庞大的利润。

因此，近年来的移动载具中通常会装设有一个以上的电子设置，用户可以依目前的使用需求自行开关所装设的电子设备，例如：在驾驶移动载具前往熟识的目的地时，驾驶者可以关闭卫星导航；当要前往不熟悉路途的地方时，驾驶者可以开启卫星导航并且播放音乐。然而，当移动载具上的电子设备越多时，驾驶者一次所要操作的电子设备也就越多，再加上移动载具上原本就需要驾驶者操作的雨刷、车灯、车窗等基本电子装置，时常会造成驾驶者手忙脚乱的情况进而影响行车安全。

为了解决这样的情况，有部分业者进一步的整合移动载具上的设备，驾驶人员可以藉由车内的触控屏幕操作整合到此系统上的设备，如此一来，驾驶人员即可透过单一屏幕操作移动载具上大部分的设备，然而，这样的整合系统的屏幕通常装设于驾驶人员旁边，但是如此一来，驾驶人员若要操作设备时，势必还是要暂时移开视线，故，以此方法依然可能造成行车安全上的疑虑。

技术实现要素：

本发明的主要目的，系提供一种基于深度值的手势操作方法，藉由取得立体影像后，以算法识别立体影像中是否包含有指令手势，并依据指令手势执行对应的操作。

为达上述的指称的各目的与功效，本发明的一实施例系揭示一种基于深度值的手势操作方法，其用于移动载具，其步骤包含：取得第一立体影像，以第一算法识别第一立体影像的多个深度值中包含触发手势，取得第二立体影像，以第二算法识别第二立体影像的多个深度值中包含指令手势，处理单元执行对应于指令手势的操作。

于本发明的一实施例中，其中以分群算法识别该触发手势于该移动载具的位置，处理单元依据触发手势于移动载具的位置判断是否有执行指令手势对应的操作的权限，若有则，处理单元执行对应于指令手势的操作。

于本发明的一实施例中，其中第一摄影单元取得第一影像，第二摄影单元取得第二影像，处理单元依据第一影像、第二影像及夹角取得第一立体影像。

于本发明的一实施例中，其中第一摄影单元取得第三影像，第二摄影单元取得第四影像，处理单元依据第三影像、第四影像及夹角取得第二立体影像。

于本发明的一实施例中，其中结构光投影模块连续投影多个光平面，结构光摄像单元接收多个光图像讯息，依据光图像讯息计算取得第一立体影像或第二立体影像。

于本发明的一实施例中，其中第一摄影单元取得第一影像，第二摄影单元取得第二影像，处理单元依据第一影像、第二影像及夹角取得第一立体影像，处理单元判断第一立体影像的该些深度值的数量是否低于门槛值，若是，则结构光投影模块连续投影多个光平面，结构光摄像单元接收多个光图像讯息，依据该些光图像讯息计算取得第三立体影像，处理单元融合第一立体影像及第三立体影像成为融合后第一立体影像。

于本发明的一实施例中，其中第一摄影单元取得第三影像，第二摄影单元取得第四影像，处理单元依据第三影像、第四影像及夹角取得第二立体影像，处理单元判断第二立体影像的该些深度值的数量是否低于门槛值，若是，则结构光投影模块连续投影多个光平面，结构光摄像单元接收多个光图像讯息，依据该些光图像讯息计算取得第四立体影像，处理单元融合第二立体影像及第四立体影像成为融合后第二立体影像。

于本发明的一实施例中，其中结构光投影模块连续投影多个光平面，结构光摄像单元接收多个光图像讯息，依据该些光图像讯息计算取得第一立体影像，处理单元判断第一立体影像的该些深度值的数量是否低于门槛值，若是，则第一摄影单元取得第一影像；

第二摄影单元取得第二影像，处理单元依据第一影像、第二影像及夹角取得第三立体影像，处理单元融合第一立体影像及第三立体影像成为融合后第一立体影像。

于本发明的一实施例中，其中结构光投影模块连续投影多个光平面，结构光摄像单元接收多个光图像讯息，依据该些光图像讯息计算取得该第二立体影像；

该处理单元判断该第二立体影像的该些深度值的数量是否低于一门槛值，若是，则第一摄影单元取得第三影像，第二摄影单元取得第四影像，依据该第三影像、该第四影像及该夹角取得一第四立体影像，处理单元融合第二立体影像及第四立体影像成为融合后第二立体影像。

此外，本发明提供另一种基于深度值的手势操作系统，该系统包含：立体影像摄影模块，取得第一立体影像及第二立体影像，以及处理单元，以第一算法识别第一立体影像的多个深度值中包含触发手势，以第二算法识别第二立体影像的多个深度值中包含指令手势，其中，处理单元执行对应于指令手势的操作。

附图说明

图1：其为本发明的第一实施例的基于深度值的手势操作方法的流程图；

图2a：其为本发明的第一实施例的基于深度值的手势操作方法的系统示意图；

图2b：其为本发明的第一实施例的基于深度值的手势操作方法的系统示意图，用以表示立体影像摄影模块装设于移动载具之内；

图3：其为本发明的第一实施例的基于深度值的手势操作方法的立体影像摄影模块示意图；

图4：其为本发明的第二实施例的基于深度值的手势操作方法的立体影像摄影模块示意图；

图5：其为本发明的第二实施例的基于深度值的手势操作方法的示意图，用以表示光平面投影于物体；

图6：其为本发明的第二实施例的基于深度值的手势操作方法的光平面系包含二维点数组的示意图；

图7：其为本发明的第三实施例的基于深度值的手势操作方法的流程图；

图8：其为本发明的第四实施例的基于深度值的手势操作方法的步骤s1的流程图，用以表示步骤s1中更包含步骤s101至步骤s105；

图9：其为本发明的第四实施例的基于深度值的手势操作方法的系统示意图；以及

图10：其为本发明的第五实施例的基于深度值的手势操作方法的步骤s5的流程图，用以表示步骤s5中更包含步骤s501至步骤s505。

【图号对照说明】

1手势操控系统

10立体影像摄影模块

101第一摄影单元

103第二摄影单元

105夹角

107结构光投影模块

1071雷射光源单元

1073透镜组

1075光平面

109结构光摄像单元

2物体

30处理单元

v移动载具

具体实施方式

为了使本发明的结构特征及所达成的功效有更进一步的了解与认识，特用较佳的实施例及配合详细的说明，说明如下：

先前的技术中，驾驶者于操控装设于移动载具的设备时常需要短暂转移视线或因为所需操控的设备过多而影响行车安全，因此提出一种手势操作方法。

在此说明本发明的第一实施例的基于深度值的手势操作方法的流程，请参阅图1，其为本发明的第一实施例的基于深度值的手势操作方法的流程图。如图所示，本实施例的基于深度值的手势操作方法其步骤包含：

步骤s1：取得第一立体影像；

步骤s3：是否包含触发手势；

步骤s5：取得第二立体影像；

步骤s7：是否包含指令手势；以及

步骤s9：执行对应指令手势的操作。

接着说明为达成本发明的基于深度值的手势操作方法所需的系统，请参阅图2a，其为本发明的第一实施例的基于深度值的手势操作方法的系统示意图。如图所示，本发明的基于深度值的手势操作方法的系统包含：一手势操控系统1。手势操控系统1包含一立体影像摄影模块10及一处理单元30。

上述的手势操控系统1装设于一移动载具v(如图2b所示)，使立体影像摄影模块10拍摄移动载具v的内部，换言之，立体影像摄影模块10装设的位置可使得立体影像摄影模块10拍摄移动载具v的驾驶空间或/及乘坐空间。移动载具v可为汽车、卡车、巴士、电动车或其他移动载具。

如图2b所示，于本发明的一较佳实施例中，立体影像摄影模块10是装设于移动载具v之内，使立体影像摄影模块10拍摄移动载具v的内部。

如图3所示，上述的立体影像摄影模块10包含一第一摄影单元101及一第二摄影单元103，第一摄影单元101及第二摄影单元103之间有一夹角105。

上述的处理单元30为一可进行算术、逻辑运算及影像运算的电子组件。

以下将说明本发明的第一实施例的基于深度值的手势操作方法执行时的流程，请参阅图1、第二图及图3。当要操作装设于移动载具v的电子装置时，将执行步骤s1至步骤s9。

于步骤s1中，取得第一立体影像，第一摄影单元101取得一第一影像，第二摄影单元103取得一第二影像，处理单元30依据第一影像、第二影像及夹角105计算取得一第一立体影像。

于步骤s3中，是否包含触发手势，处理单元30以一第一算法识别第一立体影像的多个深度值中是否包含一触发手势，若是，则执行步骤s5；若否，则回到步骤s1。第一算法为手势识别算法。换言之，处理单元30以手势识别算法依据第一立体影像中多个像素点的深度值(z值)识别第一立体影像中是否包含触发手势。

于步骤s5中，取得第二立体影像，第一摄影单元101取得一第三影像，第二摄影单元103取得一第四影像，处理单元30依据第三影像、第四影像及夹角105计算取得一第二立体影像。

于步骤s7中，是否包含指令手势，处理单元30以一第二算法识别第二立体影像的多个深度值中是否包含一指令手势，若是，则执行步骤s9；若否，则回到步骤s5。第二算法为手势识别算法。换言之，处理单元30以手势识别算法依据第二立体影像中多个像素点的深度值(z值)识别第二立体影像中是否包含指令手势。

于步骤s9中，执行对应指令手势的操作，于识别指令手势后，处理单元30执行对应指令手势的操作。举例而言，当指令手势为开启卫星导航时，处理单元30则开启卫星导航；当指令手势为开启音响时，处理单元30则开启音响。

于此，即完成本发明的第一实施例的基于深度值的手势操作方法，相较于使用平面影像进行手势辨识的方法，本发明使用立体影像的深度值进行手势辨识，可以更准确的取得手部的轮廓达到更精确的辨识效果。

除此之外，使用平面影像进行手势辨识时，使用者的手是仅限于平面移动(即为上、下、左、右)，而本发明使用立体影像的深度值进行手势辨识时，则可更进一步的识别使用者的手的立体移动(即为前、后、上、下、左、右)，因此用户可于手势操作系统1中纪录更多手势，以达到操作至少一装设于移动载具v的装置的目的。

更进一步的，本发明于识别指令手势前更会先识别触发手势，而后使用者输入触发手势，手势操作系统1才会进行触发手势的识别，如此可防止使用者无心挥动手时，手势操作系统1又识别到用户挥手的动作为指令手势产生错误操作的情况。

接着说明本发明的第二实施例的基于深度值的手势操作方法，请参阅图4，其为本发明的第一实施例的基于深度值的手势操作方法的所需的系统。本实施例与第一实施例的差异在于：本实施例中手势操作系统1包含一结构光投影模块107及结构光摄像单元109。其余皆与第一实施例相同，于此不再赘述。

结构光投影模块107包含一雷射光源单元1071以及一透镜组1073。如图5所示，利用结构光源向物体2的表面投射可控制的光点、光条或光平面，再由摄像机等传感器获得反射的图像，经几何计算就可获得物体2的立体影像。本发明在一较佳实施例中，系采用不可见雷射作为光源，利用其同调性好、衰减慢、量测距離长、精准度高等特性，加上其不易受其他光源影响，因此较一般的光线投射为佳。雷射光源单元1071提供的雷射光在穿过透镜组1073后发散，其在空间中即为一光平面1075。本发明所使用的透镜组1073当中可包含图案化透镜(patternlens)，其具有图案化的微结构而可使穿透的雷射光所形成的光平面具有图案化特征，例如在二维平面呈现光点数组，如图6所示。

于本实施例中，于步骤s1及步骤s5中，结构光投影模块107连续投射多个光平面1075至移动载具v内的至少一物体2的表面，结构光射摄像单元109取得物体2的表面经该光平面1075的投影后所反射的多个光图像讯息，处理单元则依据所接收到的该些光图像讯息计算取得第一立体影像及第二立体影像。

在另一实施例中，可透过调整雷射光源单元1071的功率进一步的增加或降低雷射光投射的距离，例如：在较空旷处可增加雷射光源单元1071的功率，在较拥挤处则可降低雷射光源单元1071的功率。

于本发明的第二实施例的基于深度值的手势操作方法，由于结构光投影模块107会主动投射结构光至周围的物体2，可于夜晚或光线较弱时使用。

接着说明本发明的第三实施例的基于深度值的手势操作方法，请参阅图7，本实施例与第一实施例的差异在于，本实施例的方法中更包含：步骤s4及步骤s8。其余皆与第一实施例相同，于此不再赘述。

于步骤s4，识别触发手势于移动载具v的位置，处理单元30以一分群算法识别触发手势于移动载具v的位置。换言之，处理单元30以分群算法识别做出此触发手势的使用者是位于移动载具v的哪一个位置，例如触发手势的使用者是位于驾驶座、副驾驶座或后座。

于本发明的一实施例中，在识别触发手势的使用者是位于移动载具v的哪一个位置后，可以进一步的得知此使用者的身分，例如说位于驾驶座的使用者为驾驶、位于副驾驶座的为副驾驶或乘客，或位于后座的为乘客。

于本发明的一实施例中，分群算法为k-means分群算法或其他可将物体分群的算法。

于步骤s8，是否有执行指令手势的权限，处理单元30依据触发手势于移动载具v的位置判断是否有执行指令手势对应的该操作的权限。换言之，处理单元30会依据触发手势的用户的位置判断是否要执行对应操作指令的操作。

于此即完成本发明的第三实施例的基于深度值的手势操作方法，藉由本实施例可以依据不同位置的用户给予不同的权限，举例而言，驾驶具有操作雨刷、车灯、卫星导航权限，副驾驶具有操作卫星导航、影音系统权限，乘客具有操作影音系统的权限，可降低使用者误触的风险，例如：乘客误触雨刷干扰驾驶，更进一步的增加本发明的安全性。

接着说明本发明的第四实施例的基于深度值的手势操作方法，请参阅图8及图9，其为本发明的第一实施例的基于深度值的手势操作方法的步骤s1中更包含步骤s101至步骤s105的流程图及所需的系统。本实施例与第一实施例的差异在于：步骤s1后更包含步骤s101至步骤s105，手势操作系统1包含第一摄影单元101、第二摄影单元103、一结构光投影模块107及结构光摄像单元109。

于步骤s1中：取得第一立体影像，第一摄影单元101取得一第一影像，第二摄影单元103取得一第二影像，处理单元30依据第一影像、第二影像及夹角105计算取的一第一立体影像。

于步骤s101中：第一立体影像的深度值的数量是否低于门槛，处理单元30判断第一立体影像的深度值的数量是否低于门槛值，若是，则进入步骤s103，若否，则进入步骤s3。换言之，处理单元30扫描第一立体影像的像素并统计像素中包含有深度值的像素数量以取得深度值的数量，并判断深度值的数量是否低于门槛值。

于步骤s103中：取得第三立体影像，结构光投影模块107连续投射多个光平面1075至移动载具v内的至少一物体2的表面，结构光射摄像单元109取得物体2的表面经该光平面1075的投影后所反射的多个光图像讯息，处理单元30依据所接收到的该些光图像讯息计算取得第三立体影像。

于步骤s105中：融合第一立体影像及第三立体影像，处理单元30以一影像融合算法融合第一立体影像及第三立体影像取得一融合后第一立体影像。

而后，于步骤s3中，处理单元30则以第一算法判断融合后第一立体影像是否包含触发手势。

于本实施例中，于执行步骤s1时，亦可以以结构光投影模块107及结构光摄像单元109取得第一立体影像，在这样的状况下，于步骤s103时，处理单元30以第一摄影单元101取得的第一影像、第二摄影单元103取得的第二影像及夹角105计算取得第三立体影像。

由于第一摄影单元101及第二摄影单元103在光线较不足够的地方所取得的第一影像及第二影像中会有部分较暗或是全暗处，在这样的情况下所取得的第一立体影像会有部分像素没有深度值，此外，以结构光投影模块107及结构光摄像单元109取得的第一立体影像在光线较明亮时会因为光线干扰而造成结构光摄像单元109所取得的光图像讯息较不完整，在这样的情况下所取得的第一立体影像亦会有部分像素没有深度值，若第一立体影像中有太多像素没有深度值时，第一算法会较难以识别出第一立体影像中是否包含触发手势，而于本实施例中，则在判断第一立体影像中的深度值低于门槛时取得第三立体影像，并将第一立体影像及第三立体影像融合，所产生的融合后第一立体影像将会有足够的深度值，以利第一算法识别于融合后第一立体影像中是否包含有触发手势。

于本发明的一实施例中，门槛值为第一立体影像的像素数量的百分的五十，换言之，当第一立体影像有1000个像素时，门槛值为500。

接着说明本发明的第五实施例的基于深度值的手势操作方法，请参阅图10，其为本发明的第一实施例的基于深度值的手势操作方法的步骤s5中更包含步骤s501至步骤s505的流程图。本实施例与第一实施例的差异在于：步骤s5后更包含步骤s501至步骤s505。本实施例所需的系统同第四实施例，请参阅图9，手势操作系统1包含第一摄影单元101、第二摄影单元103、一结构光投影模块107及结构光摄像单元109。

于步骤s5中：取得第二立体影像，第一摄影单元101取得一第三影像，第二摄影单元103取得一第四影像，处理单元30依据第三影像、第四影像及夹角105计算取的一第二立体影像。

于步骤s501中：第二立体影像的深度值的数量是否低于门槛，处理单元30判断第二立体影像的深度值的数量是否低于门槛值，若是，则进入步骤s503，若否，则进入步骤s7。换言之，处理单元30扫描第二立体影像的像素并统计像素中包含有深度值的像素数量以取得深度值的数量，并判断深度值的数量是否低于门槛值。

于步骤s503中：取得第四立体影像，结构光投影模块107连续投射多个光平面1075至移动载具v内的至少一物体2的表面，结构光射摄像单元109取得物体2的表面经该光平面1075的投影后所反射的多个光图像讯息，处理单元30依据所接收到的该些光图像讯息计算取得第四立体影像。

于步骤s505中：融合第二立体影像及第四立体影像，处理单元30以一影像融合算法融合第二立体影像及第四立体影像取得一融合后第二立体影像。

而后，于步骤s7中，处理单元30则以第二算法判断融合后第一立体影像是否包含触发手势。

于本实施例中，于执行步骤s5时，亦可以以结构光投影模块107及结构光摄像单元109取得第二立体影像，在这样的状况下，于步骤s503时，处理单元30以第一摄影单元101取得的第三影像、第二摄影单元103取得的第四影像及夹角105计算取得第四立体影像。

于本发明的一实施例中，门槛值为第二立体影像的像素数量的百分的五十，换言之，当第二立体影像有1000个像素时，门槛值为500。

于本发明的一实施例中，第一立体影像可为连续影像，触发手势为连续的手势，于步骤s3，处理单元30中以第一算法及隐藏式马可夫模型(hmm，hiddenmarkovmodel)识别第一立体影像中是否包含触发手势。

于本发明的一实施例中，第二立体影像可为连续影像，指令手势为连续的手势，于步骤s7，处理单元30中以第二算法及隐藏式马可夫模型识别第二立体影像中是否包含指令手势。

于本发明的一实施例中，其中该些个光图像讯息是该些个光平面投影至至少一物体后反射而成。

上文仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围，凡依本发明权利要求范围所述的形状、构造、特征及精神所为的均等变化与修饰，均应包括于本发明的权利要求范围内。