用户界面同步系统、方法与流程

文档序号:11949262阅读:279来源:国知局
用户界面同步系统、方法与流程

本发明涉及一种用户界面同步系统及其方法,尤指一种用于电子装置与穿戴式装置间的用户界面同步系统及其方法。



背景技术:

眼动追踪(eye tracking),是指通过分析用户的眼部影像或者眼球相对头部的运动模式,来实现对眼球运动的追踪程序。眼动仪是一种能够跟踪测量眼球位置及眼球运动信息的设备,在视觉系统、心理学、认知语言学的研究中有广泛的应用。目前眼动追踪有多种方法,较常见的眼动追踪技术包括Purkinje影像追踪法(Dual-Purkinje-Image,DPI)、红外线影像系统法(Infra-Red Video System,IRVS)、红外线眼动图法(Infra-Red Oculography,IROG)等,可通过获取用户的眼部影像藉以判断用户的注视方向。

近期来,部分品牌的移动终端推出将眼动追踪的技术整合至移动终端的技术,通过追踪用户的注视方向,移动终端可产生对应的操作指令,以对该移动终端下达对应的指令。这类的技术可便于用户操作显示屏幕,当用户的其中一手无法空出来操作移动终端时,通过追踪用户的眼球,仍可输入对应的指令。另一种情境可应用于影片播放,通过用户注视的方向,判断用户是否注视显示屏幕,在判断用户并未注视显示屏幕时,暂时启动停播功能,确保用户不会错过影片中的任何精彩片段。

然而,根据目前现有的技术,经由移动终端的前镜头拍摄用户眼部,所取得的影像容易受到环境因素的影响(例如高光、低光环境),在追踪眼部动作时容易遇到困难。欲进行精确的眼部动作追踪时(如注视方向检测),由于移动终端的前镜头、显示屏幕与用户眼部的距离不固定,无法通过三角测距的方式取得用户的注视方向,仅能就用户的影像简略地判断用户向左或是向右注视。



技术实现要素:

本发明的主要目的,在于解决现有技术中电子装置无法精确通过进行眼动追踪技术操作的问题。

为解决上述问题,本发明提供一种用户界面同步系统,用于将电子装置与穿戴式装置进行配对,所述用户界面同步系统包括:

图形输出模块,耦接于该电子装置,以存取该电子装置的影像数据,并将该电子装置的影像数据经由无线网络传送至该穿戴式装置;

映像模块,耦接于该穿戴式装置,将该影像数据显示于该穿戴式装置的输出单元上,以供用户注视操作;

眼动指令分析模块,耦接于该穿戴式装置,分析该穿戴式装置所获取到的眼部动作指令;以及

指令转换模块,耦接于该电子装置或该穿戴式装置,在接收到该眼部动作指令时对该眼部动作指令进行转换,以将该眼部动作指令输出为可供该电子装置执行的动作指令。

进一步地,该映像模块在该穿戴式装置的输出单元上建立显示该影像数据的用户界面窗口,并依据电子装置的显示屏幕的长宽按照等比例放大或缩小调整该用户界面窗口。

进一步地,该眼动指令分析模块系依据所获取到的眼部影像,分析该用户的注视方向,并在该用户界面窗口上形成可依据该注视方向移动的光标。

进一步地,当该用户的注视方向停留在该用户界面窗口上时,该眼动指令分析模块则记录该注视方向所对应于该电子装置的显示屏幕上的坐标位置,并当该注视方向大致停留于同一图形化界面上超过所设定的阈值时间时,将触发指令经由无线网络传送至该指令转换模块以启动该图形化界面所对应的一或多个程序。

进一步地,该眼动指令分析模块在检测到该用户的注视方向是由左至右快速移动时,传递左侧翻页的该眼部动作指令至该指令转换模块,以使该电子装置执行由左侧向右侧翻页的动作指令,该眼 动指令分析模块于检测到该用户的注视方向是由右至左快速移动时,传递右侧翻页的该眼部动作指令至该指令转换模块,以使该电子装置执行由右侧向左侧翻页的动作指令。

进一步地,该眼动指令分析模块在检测到该用户的触发动作时设定基准坐标,持续检测该用户的注视方向,并记录该注视方向相对该基准坐标的X轴移动距离及Y轴移动距离,当该X轴移动距离或该Y轴移动距离大于阈值时,传递对应于该眼部移动方向及移动距离的眼部动作指令至该指令转换模块,以使该电子装置执行对应于该眼部移动方向卷动的动作指令。

进一步地,该无线网络采用无线保真度直连(WiFi Direct)协议、蓝芽无线传输(Bluetooth)、或虚拟无线AP(Wi-Fi soft AP)。

本发明的另一目的,在于提供一种受控端电子装置,包括有显示屏幕,无线传输单元,以及连接该显示屏幕及该无线传输单元的处理器。该处理器系具有图形处理单元,用于将影像数据传送至该显示屏幕上以提供供用户操作的用户界面。该处理器包括有运算单元用于挂载并执行以下的程序:

图形输出模块,用于存取该电子装置的影像数据,并将该电子装置所显示的影像数据经由无线网络传送至穿戴式装置,来供该穿戴式装置输出以供用户目视操作。

指令转换模块,经由无线网络接收该穿戴式装置所提供的眼部动作指令,将该眼部动作指令输出为可供该电子装置执行的动作指令。

进一步地,该无线网络采用无线保真度直连(WiFi Direct)协议、蓝芽无线传输(Bluetooth)、或虚拟无线AP(Wi-Fi soft AP)。

本发明的另一目的,在于提供一种主控端穿戴式装置,包括有输出单元,无线传输单元,摄像单元,以及连接于该输出单元、该无线传输单元及该摄像单元的处理器。该摄像单元系用于拍摄并取得用户的眼部影像。该处理器系具有图形处理单元,用于将影像数据传送至该输出单元上以供用户操作的用户界面。该处理器包括有 运算单元用于挂载并执行以下的程序:

映像模块,系通过无线网络取得电子装置的影像数据,并将该影像数据传送至该穿戴式装置的该图形处理单元以显示在该输出单元上,供用户注视操作。

眼动指令分析模块,取得经由该摄像单元所拍摄取得的眼部影像,并由该眼部影像获取眼部动作指令,通过无线网络将该眼部动作指令传送至该电子装置,以启动该电子装置的一或多个程序。

进一步地,该映像模块在该穿戴式装置的输出单元上建立显示该影像数据的用户界面窗口,并依据该电子装置的显示屏幕的长宽按照等比例放大或缩小调整该用户界面窗口。

进一步地,该眼动指令分析模块系依据所获取到的该眼部影像,分析该用户的注视方向,并在该用户界面窗口上形成可依据该注视方向移动的光标。

进一步地,当该用户的注视方向停留于该用户界面窗口上时,该眼动指令分析模块系纪录该注视方向所对应于该电子装置的显示屏幕上的坐标位置,并在检测到该注视方向大致停留于同一图形化界面上超过所设定的阈值时间时,将触发指令经由无线网络传送至该电子装置以启动该图形化界面所对应的一或多个程序。

进一步地,该眼动指令分析模块在检测到该用户的注视方向是由左至右快速移动时,传递左侧翻页的眼部动作指令至该电子装置,以使该电子装置执行由左侧向右侧翻页的程序,该眼动指令分析模块在检测到该用户的注视方向是由右至左快速移动时,传递右侧翻页的眼部动作指令至该电子装置,以使该电子装置执行由右侧向左侧翻页的程序。

进一步地,该眼动指令分析模块系在检测到该用户的触发动作时设定基准坐标,持续检测该用户的注视方向,并记录该注视方向相对该基准坐标的X轴移动距离及Y轴移动距离,当该X轴移动距离或该Y轴移动距离大于阈值时,传递对应于该眼部移动方向及移动距离的眼部动作指令至该电子装置,以使该电子装置执行对应于 该眼部移动方向卷动的程序。

进一步地,该无线网络采用无线保真度直连(WiFi Direct)协议、蓝芽无线传输(Bluetooth)、或虚拟无线AP(Wi-Fi soft AP)。

本发明的另一目的,在于提供一种穿戴式装置及电子装置的界面同步方法,包括:存取该电子装置的影像数据,并将该电子装置的影像数据经由无线网络传送至该穿戴式装置;通过该穿戴式装置将影像数据显示在该穿戴式装置的输出单元上,以供用户注视操作;分析该穿戴式装置所获取到的眼部动作指令,并将该眼部动作指令经由无线网络传送至该电子装置;以及在接收到该眼部动作指令时对该眼部动作指令进行转换,以将该眼部动作指令输出为可供该电子装置执行的动作指令。

进一步地,该穿戴式装置在接收到该影像数据后,依据该电子装置的显示屏幕的长宽按照等比例放大或缩小建立显示该影像数据的用户界面窗口。

进一步地,该穿戴式装置系依据所获取到的眼部影像,分析该用户的注视方向,并在该用户界面窗口上形成可依据该注视方向移动的光标。

进一步地,该用户的注视方向停留在该用户界面窗口上时,则记录该注视方向所对应于该电子装置的显示屏幕上的坐标位置,并在该注视方向大致停留于同一图形化界面上超过所设定的阈值时间时,将触发指令经由无线网络传送至该电子装置以启动该图形化界面所对应的一或多个程序。

进一步地,在检测到该用户的注视方向是由左至右快速移动时,传递左侧翻页的眼部动作指令至该电子装置,以使该电子装置执行由左侧向右侧翻页的动作指令,在检测到该用户的注视方向是由右至左快速移动时,传递右侧翻页的眼部动作指令至该电子装置,以使该电子装置执行由右侧向左侧翻页的动作指令。

进一步地,在检测到该用户的触发动作时设定基准坐标,持续检测该用户的注视方向,并记录该注视方向相对该基准坐标的X轴移动 距离及Y轴移动距离,当该X轴移动距离或该Y轴移动距离大于阈值时,传递对应于该眼部移动方向及移动距离的眼部动作指令至该电子装置,以使该电子装置执行对应于该眼部移动方向卷动的动作指令。

本发明还有一目的,在于提供一种计算机可读取纪录媒体,其上记录一程序,当电子装置及穿戴式装置加载该程序并执行后,系可完成如上所述的方法。

本发明还有一目的,在于提供一种计算机程序产品,当该计算机程序产品被加载电子装置及穿戴式装置中执行时,可完成如上所述的方法。

因此,本发明相较于前述习知技术具有以下的优异效果:

1.本发明的用户界面同步系统可将电子装置的影像数据传送至穿戴式装置的输出单元上,以使通过追踪用户的眼部动作操作电子装置。

2.本发明的前镜头与用户眼部间可维持于固定的间距,较容易检测用户的眼部动作。

附图说明

图1:表示本发明用户界面同步系统的方块示意图。

图2:表示本发明用户界面同步系统的使用状态示意图。

图3:表示用户界面窗口的示意图(一)。

图4:表示眼部动作于用户界面窗口上所产生的轨迹示意图(一)。

图5:表示眼部动作于用户界面窗口上所产生的轨迹示意图(二)。

图6:表示用户界面窗口的示意图(二)。

图7:表示另一种用户界面窗口的示意图。

图8;表示本发明用户界面同步方法的流程示意图(一)。

图9:表示本发明用户界面同步方法的流程示意图(二)。

图10:表示本发明用户界面同步方法的流程示意图(三)。

图11:表示本发明用户界面同步方法的流程示意图(四)。

符号说明

100 用户界面同步系统

10 电子装置

11 显示屏幕

12 处理单元

13 图形处理单元

14 储存单元

16 无线传输单元

17 图形输出模块

18 指令转换模块

CU1 处理器

20 穿戴式装置

21 输出单元

22 处理单元

23 图形处理单元

24 储存单元

25 摄像单元

26 无线传输单元

27 映像模块

28 眼动指令分析模块

CU2 处理器

W 用户界面窗口

W1 游标

W2 定时器

W3、W4、W5、W6 箭头(上、下、左、右)

步骤S201~S205

步骤S2051A~S2054A

步骤S2051B~S2053B

步骤S2051C~S2055C

具体实施方式

有关本发明的详细说明及技术内容,现就配合图示说明如下。再者,本发明中的图示,为说明方便,其比例未必按实际比例绘制,而有夸大的情况,该等图示及其比例非用于限制本发明的范围。

本发明为一种用户界面同步系统100,用于将电子装置10的画面传送至穿戴式装置20上,通过穿戴式装置20追踪用户的眼部动作以操作该电子装置10。

所述的电子装置10系至少包括显示屏幕11、处理单元12(Central Processing Unit,CPU)、以及可输入输出影像的图形处理单元13(Graphics Processing Unit,GPU)。具体而言,该电子装置10可为(例如)蜂巢式电话、智能电话、平板计算机、手持式行动通讯装置、个人数字助理(Personal Digital Assistant,PDA)或类此的可携式电子装置,此外,该电子装置10亦可为计算器、桌面计算机、笔记本电脑、车载计算机等具有显示及控制界面的电子装置。

所述的穿戴式装置20特指一种穿戴于用户头部的穿戴型装置,可通过输出单元21提供用户可操作的用户界面,通过摄像单元25拍摄用户的眼部获取用户的眼部影像,通过用户的注视方向操作上述的用户界面。所述的穿戴式装置20至少包括有提供影像至用户眼部的输出单元21、拍摄用户眼部以取得用户眼部影像的摄像单元25、处理单元22(Central Processing Unit,CPU),以及可输入输出影像的图形处理单元23(Graphics Processing Unit,GPU)。具体而言,该穿戴式装置20可为智能型眼镜、眼迹追踪仪、扩增实境装置、虚拟现实装置、或类此的智能型穿戴装置。

如图1所示,为本发明用户界面同步系统的方块示意图,如图所示:

以下为分别针对电子装置10及穿戴式装置20的硬件架构进行说明,在硬件架构说明完后,后方会针对软件架构的部分进行 更进一步的说明。

电子装置:

如前所述,所述的电子装置10作为受控端,以将影像数据传送至该穿戴式装置20,并通过该穿戴式装置20的眼部动作追踪功能通过无线网络操作该电子装置10。该电子装置10系包括有显示屏幕11、处理单元12(Processing Unit)、可输入输出影像的图形处理单元13(Graphics Processing Unit,GPU)、储存单元14、及无线传输单元16。

所述的处理单元12可与图形处理单元13共同构成处理器CU1,使该处理单元12与图形处理单元13可以集成于单一芯片上,因此减少组件所需占去的体积。举例而言,所述的处理器CU1可以为例如ARM Holdings,Ltd.开发的系列处理器、以及中国科学院的计算技术研究所(ICT)开发的龙芯(Loongson)处理器等,于本发明中不予以限制。

在另一较佳实施例中,所述的处理单元12、及图形处理单元13可个别构成处理器,分别处理逻辑运算、及图像处理等工作,并共同或协同处理部分程序指令。

在另一较佳实施例中,所述的处理单元12可与储存单元14共同构成处理器,该处理单元12可加载该储存单元14所预存的程序,并执行对应的算法。

在本实施中,该处理单元12系与图形处理单元13共同构成处理器CU1,该处理器CU1并耦接于该储存单元14。该处理器CU1可为中央处理器(Central Processing Unit,CPU),或是其他可程序化并具有一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor,DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits,ASIC)、可程序化逻辑设备(Programmable Logic Device,PLD)或其他类似装置或这些装置的组合。

所述的显示屏幕11系用于显示图形数据,例如用户操作界面、图形化界面、或多媒体影像等,通过将影像或操作界面显示在该显示屏幕11上以供用户读取。所述的显示屏幕11可为主动式数组有机发光装置(AMOLED)显示器、薄膜晶体管(Thin Film Transistor,TFT)显示器、或其他类此的显示设备,于本发明中不予以限制。所述的显示屏幕11通过控制电路驱动,通过输入对应的讯号至数据线驱动电路及扫描线驱动电路,以驱动面板在对应坐标上的发光单元(像素元)。所述的显示屏幕11通过图形处理单元13在存取储存单元14内的数据后,将对应的多媒体数据发布在显示屏幕11上,以供用户目视。

所述的无线传输单元16系可通过无线网络进行数据传输。具体而言,该无线网络采用无线保真度直连(WiFi Direct)协议、蓝芽无线传输(Bluetooth)、或虚拟无线AP(Wi-Fi soft AP)。在另一较佳实施例中,所述的无线传输单元16可通过无线射频辨识(Radio Frequency Identification,RFID)技术与穿戴式装置20进行配对,藉以与该穿戴式装置20进行中、短距离的无线数据传输。

穿戴式装置:

该穿戴式装置20系可作为主控端,通过接收该电子装置10的影像数据,并将该影像数据输出至用户眼部,以供用户注视操作。如前所述,该穿戴式装置20系包括有输出单元21、处理单元22(Central Processing Unit,CPU)、可输入输出影像的图形处理单元23(Graphics Processing Unit,GPU)、摄像单元25、以及无线传输单元26。

所述的处理单元22与电子装置10的处理单元12大致相同,在此,针对处理单元22的说明即不再予以赘述。同电子装置10的处理单元12,在一较佳实施例中,所述的处理单元22可与图形处理单元23共同构成处理器CU2,使该处理单元22与图形处理单元23可以集成在单一芯片上。在另一较佳实施例中,所述 的处理单元22、及图形处理单元23可个别构成处理器,分别处理逻辑运算、及图像处理等工作,并共同或协同处理部分程序指令。在另一较佳实施例中,所述的处理单元22可与储存单元24共同构成处理器,该处理单元22可加载该储存单元24所预存的程序,并执行对应的算法。

在本实施中,该处理单元22系与图形处理单元23共同构成处理器CU2,该处理器CU2系耦接于该储存单元24。该处理单元22可为中央处理器(Central Processing Unit,CPU),或是其他可程序化并具有一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor,DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits,ASIC)、可程序化逻辑设备(Programmable Logic Device,PLD)或其他类似装置或这些装置的组合。

所述的输出单元21系用于显示图形数据,并将图形数据送至用户的眼部以供用户目视操作。该输出单元21可为显示屏幕,例如主动式数组有机发光装置(AMOLED)显示器、薄膜晶体管(thin film transistor,TFT)显示器、或其他类此的显示设备。在另一较佳实施例中,所述的输出单元21可为视网膜显示器,通过视网膜影像投影(Retinal Imaging Display,RID)技术,将画面直接投射在视网膜上供用户观看。视网膜显示器通过玻璃的反射,光束可直接在视网膜上成像,让影像光束与肉眼所看到的实景融合。所述的输出单元21系可通过图形处理单元23(GPU)在存取储存单元24内的数据后,将对应的多媒体数据发布于用户的眼部,以供用户目视。

所述的摄像单元25采用搭载有感光耦合组件(Charge Coupled Device,CCD)或互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor,CMOS)的摄像机,在本发明中不予以限制。该摄像单元25系用于拍摄用户的眼部影像,所取得 的眼部影像将传送至眼动指令分析模块28进行进一步的分析,以追踪用户的眼部动作并将该眼部动作转换为对应的眼部动作指令。

所述的无线传输单元26系可通过无线网络进行数据传输。具体而言,该无线网络采用无线保真度直连(WiFi Direct)协议、蓝芽无线传输(Bluetooth)、或虚拟无线AP(Wi-Fi soft AP)。

以上已针对电子装置10及穿戴式装置20的硬件架构进行详细的说明,在此,进一步依据上述的硬件架构,对应本发明用户界面同步系统的架构进行详细的说明:

结合图2,为本发明用户界面同步系统的使用状态示意图,如图所示:

本发明可将该电子装置10与穿戴式装置20进行配对。在配对成功后,所述的电子装置10可通过无线网络将显示屏幕11上的影像数据传送至该穿戴式装置20,以便用户通过该穿戴式装置20读取该显示屏幕11。所述的穿戴式装置20系可通过摄像单元25拍摄用户的眼部影像,以通过眼部动作无线操作该电子装置10,藉以启动该电子装置10的一或多个程序。

参照图1,所述的用户界面同步系统100系包括耦接于该电子装置10的图形输出模块17、指令转换模块18,以及耦接于该穿戴式装置20的映像模块27、眼动指令分析模块28。

在本实施例中,所述的图形输出模块17、以及指令转换模块18系预存于该电子装置10的储存单元14内,以使该电子装置10的处理单元12于挂载该图形输出模块17及指令转换模块18的程序后执行其算法。所述的映像模块27、以及眼动指令分析模块28系预存于该穿戴式装置20的储存单元24内,以使该穿戴式装置20的处理单元22于挂载该映像模块27、以及眼动指令分析模块28的程序后执行其算法。在另一较佳实施例中,所述的指令转换模块18亦可加载于该穿戴式装置20,该穿戴式装置20通过该指令转换模块18将该眼部动作指令转换为可供电 子装置10执行的动作指令后,再经由无线网络将该动作指令传送至该电子装置10以启动一或多个程序。于上述步骤中,所述的穿戴式装置20系对该动作指令进行加密,该电子装置10仅需将该动作指令解密后并执行即可,所述的方式可理解为本发明的另一类似实施。

所述的图形输出模块17耦接于该电子装置10,以存取该电子装置10的影像数据,并将该电子装置10的影像数据经由无线网络传送至该穿戴式装置20。该图形输出模块17系用于存取该图形处理单元13内所提供的影像数据(用户界面),所取得的影像数据系与该显示屏幕11上所显示的影像同步,或者是依据预设定或用户设定,强制关闭显示屏幕11,使该图形输出模块17直接将影像数据通过无线网络传送至该穿戴式装置20,以减少该图形输出模块17额外的负担及减少电子装置的耗电。

所述的映像模块27系经由该无线传输单元26与该图形输出模块17形成配对,该映像模块27系用于将影像数据显示于该穿戴式装置20的输出单元21上,以供用户注视操作。如图3,该映像模块27可建立显示该影像数据的用户界面窗口W,并依据电子装置10的显示屏幕11的长宽依等比例放大或缩小调整该用户界面窗口W,以使用户在较佳视觉感受范围内操作该用户界面窗口W。所述的映像模块27系于该用户界面窗口W上显示一可移动的光标W1,该光标W1系追随用户的注视方向移动,所述的注视方向系通过眼动指令分析模块28进行计算。

在一较佳实施例中,该图形输出模块17可以通过串流技术(Streaming media)将一连串的影像数据压缩后,经过无线网络分段传送数据,并由耦接于该穿戴式装置20的映像模块27解压串流封包,以使在将影像数据实时显示于该穿戴式装置20的输出单元21上。

当该影像数据显示在该输出单元21所提供的用户界面窗口W后,用户可通过眼部动作操作该用户界面窗口W上的光标W1, 或是通过连续的眼部动作产生对应的眼部动作指令操作该用户界面窗口W。该眼动指令分析模块28在分析用户的眼部动作后,系将该眼部动作转换为眼部动作指令,并将该眼部动作指令通过无线网络传送至耦接于该电子装置10的指令转换模块18,以供指令转换模块18分析,进一步找到该眼部动作指令对应于该电子装置10的动作指令,以通过处理单元12启动对应于该动作指令的一或多个程序。在一较佳实施例中,该指令转换模块18系包括有查找表,通过该查找表该指令转换模块18可将该眼部动作指令转换为对应至该电子装置10的动作指令。是以,当穿戴式装置20与电子装置10成功配对时,用户可通过该穿戴式装置20操作该用户界面窗口W,此时,摄像单元25将持续捕捉用户的眼部影像,通过所捕捉到的眼部动作,用户可通过穿戴式装置20通过眼部动作操作该电子装置10。

具体而言,该眼动指令分析模块28系包括有二种功能,其一为通过用户的眼部影像分析对应的眼部动作,通过该眼部动作判断用户的注视方向;其二为通过用户的注视方向判断用户所欲输入的眼部动作指令。

针对通过眼部影像取得眼部动作(注视方向)的技术,可以采用Purkinje影像追踪法(Dual-Purkinje-Image,DPI)、红外线影像系统法(Infra-Red Video System,IRVS)、红外线眼动图法(Infra-Red Oculography,IROG),在本发明中并不予以限制。通过上述的方法,系可通过该用户的多个眼部影像,采集到该眼部图像映射于该输出单元21上的多个样本点(如图4所示),所取得的样本点是用于进一步分析用户所欲输入的眼部动作指令。

以下是对部分主要的眼部动作指令进行说明,用户例如可通过眼部动作指令输入翻页的动作指令至该电子装置10,使该电子装置10翻转用户界面窗口W上的画面以达到翻页的效果。参照图4,为揭示用户操作右侧卷动时的一连串的样本点,在系统 默认中,设定中间位置为眼部轨迹指令的起始点及结束点,在图示中,起始位置系显示为○,结束位置系显示为╳,所检测到的坐标顺序系依序呈点状排列。该眼动指令分析模块28在检测到该用户的注视方向系由左(即中间位置)至右(右侧位置)快速移动时,传递左侧翻页的眼部动作指令至该电子装置10的指令转换模块18,此时指令转换模块18于收到该左侧翻页的眼部动作指令时,通过查找表呼叫对应的动作指令,使该处理单元12执行由左侧向右侧翻页的事件。

在向右侧翻页的部分,请参照图5,为揭示用户操作右侧翻页时的一连串的样本点,在系统默认中,在图示中,起始位置系显示为○,结束位置系显示为╳,所检测到的坐标顺序系依序呈点状排列。该眼动指令分析模块28在检测到该用户的注视方向系由右(即中间位置)至左(左侧位置)快速移动时,传递右侧翻页的眼部动作指令至该电子装置10的指令转换模块18,此时指令转换模块18于收到该右侧翻页系通过查找表找到对应的动作指令,使该处理单元12执行由右侧向左侧翻页的事件。

在翻页指令输入完成时,所述的电子装置10系进入短时间的不反应期(例如一秒),这是在于避免用户通过眼部动作翻页后,在眼睛回到中间位置时,被判定为翻页指令。

在另一较佳实施态样,用户可通过眼部动作指令输入卷动页面的动作指令至该电子装置10,使该用户界面W上的页面朝用户注视的方向卷动。具体而言,所述的眼动指令分析模块28系检测该用户的眼部动作,在检测到用户的触发动作时设定一基准点(所述的触发动作可为眨眼、闭眼、画圈或其他预定义的眼部动作),并持续记录该注视方向相对该基准坐标的X轴移动距离及Y轴移动距离。当该X轴移动距离或该Y轴移动距离大于阈值时,该眼动指令分析模块28系传递包含有对应于该眼部移动方向(即X轴或Y轴的正负值)及移动距离的眼部动作指令至该指令转换模块18,该指令转换模块18系将该指令传送至处理单元12, 以使该处理单元12执行对应于该眼部移动方向卷动的动作指令。其中,所取得的眼部移动方向将作为判定卷动方向的参考值,所取得的移动距离将作为判定卷动速度的参考值。

参照图6,用户可通过注视用户界面窗口W,可以操作该用户界面窗口W上的光标W1。所述的眼动指令分析模块28依据所获取到的眼部影像,分析该用户的注视方向,并在该用户界面窗口W上形成可依据该注视方向移动的光标W1。当该用户的注视方向停留在该用户界面窗口W上时,该眼动指令分析模块28系纪录该注视方向所对应于该电子装置10的显示屏幕11上的坐标位置,并当该注视方向大致停留在同一图形化界面超过所设定的阈值时间时,系将触发指令经由无线网络传送至该指令转换模块18,该指令转换模块18系将该触发指令转换为轻触启动的动作指令,启动对应于该坐标位置上的图形化界面所对应的软件程序或指令。

如图6所示,在一较佳实施例中,映像模块27在接收到该影像数据时,可将该输出单元21上所对应的图形化界面划定范围并对象化(所划定的范围可由电子装置10的图形处理单元13取得),当用户的注视方向停留在其中一图形化界面所划定的范围内时,游标W1将转换为定时器W2,并标示出启动图形化界面所需的时间。如图示内容,该定时器W2包含有百分比数字、以及计时条,当用户的注视方向停留在图形化界面时,光标W1即转换为定时器W2,此时百分比数字及计时条将显示剩余的时间,在百分比数字达到100%时,此时计时条亦显示为满格,该眼动指令分析模块28系将触发指令经由无线网络传送至该指令转换模块18,以启动该图形化界面所对应的软件程序或指令。

请一并参阅图7,系揭示另一较佳的实施例,所述的用户界面窗口W可设置有多个操作区域,用户可注视对应于每一操作区域上的图形化界面,以产生对应于该操作区域的眼部动作指令。例如当用户将光标W1(注视方向)停留在右侧方向的箭头图形W3 时,所述的眼动指令分析模块28将传递右侧翻页的眼部动作指令至该电子装置10的指令转换模块18;当用户将光标W1(注视方向)停留在左侧方向的箭头图形W4时,所述的眼动指令分析模块28将传递右侧翻页的眼部动作指令至该电子装置10的指令转换模块18;当用户将光标W1(注视方向)停留在上侧方向的箭头图形W5时,所述的眼动指令分析模块28将传递上侧翻页的眼部动作指令至该电子装置10的指令转换模块18;当用户将光标W1(注视方向)停留在下侧方向的箭头图形W6时,所述的眼动指令分析模块28将传递下侧翻页的眼部动作指令至该电子装置10的指令转换模块18;所述的指令转换模块18在接收到上述的眼部动作指令后,可通过查找表或面向对象的方式找到对应的动作指令,并将该动作指令传送至该处理单元12,以启动对应的一或多个程序。

以下是配合图示针对本发明的用户界面同步方法进行详细的说明,参照图8,为本发明用户界面同步方法的流程示意图,如图所示:

本发明的用户界面同步方法,应用在电子装置10及穿戴式装置20上,可通过将电子装置10上的画面转移至穿戴式装置20上,以通过该穿戴式装置20的眼控功能无线操作该电子装置10的用户界面。有关于界面同步的具体流程如下:

起始时,先将电子装置10与穿戴式装置20进行配对,所述的配对可通过加密、建立密钥或其他可相互验证的方式执行,以使该电子装置10与穿戴式装置20间建立联机。(步骤S201)

在配对完成时,存取该电子装置10的影像数据(例如显示屏幕11上的影像),并将该电子装置10的影像数据经由无线网络传送至该穿戴式装置20。(步骤S202)

该穿戴式装置20在接收到该影像数据后,将影像数据显示在该穿戴式装置20的输出单元21上,以供用户注视操作。所述的穿戴式装置20系依据该电子装置10的显示屏幕11的长宽按 照等比例放大或缩小建立一显示该影像数据的用户界面窗口W。(步骤S203)

该穿戴式装置20系依据所获取到的眼部影像,分析该用户的注视方向,并在该用户界面窗口W上形成可依据该注视方向移动的光标W1。(步骤S204)

分析该穿戴式装置20所获取到的眼部动作指令,并将该眼部动作指令经由无线网络传送至该电子装置10。该电子装置10在接收到该眼部动作指令时对该眼部动作指令进行转换,以将该眼部动作指令输出为可供该电子装置10执行的动作指令。(步骤S205)

以下系针对步骤S205的步骤举三种不同实施方式进行说明,可理解的,以下三种实施方式皆可在步骤S205中同时进行:

第一种实施方式,以下参照图9的内容。首先,先取得每一图形化界面在显示屏幕数组上所对应的范围,该范围可由该电子装置10的图形处理单元13中取得,每一图形化界面的范围系分别包含有对应至该图形化界面的一或多个程序。(步骤S2051A)该用户的注视方向停留在该用户界面窗口上时,记录该注视方向所对应于该电子装置10的显示屏幕11上的坐标位置,以确认用户的注视方向(步骤S2052A)。用户的注视方向停留在其中一图形化界面上时,启动一定时器纪录用户注视方向的停留时间,并判断该注视方向是否超过所设定的阈值时间,例如1~2秒(步骤S2053A),当用户的注视方向停留在同一图形化界面上超过所设定的阈值时间时(眼部动作指令),将触发指令经由无线网络传送至该电子装置10以启动该图形化界面所对应的一或多个程序(动作指令)。(步骤S2054A)。反之,若该注视方向若离开该图形化界面的范围内,则回到步骤S2052A,继续检测用户的注视方向。

第二种实施方式,以下参照图10的内容。首先,启动决策程序,在决策程序中系持续检测用户的注视方向(步骤S2051B), 当检测该用户的注视方向系由左至右快速移动时,传递左侧翻页的眼部动作指令至该电子装置10,以使该电子装置10执行由左侧向右侧翻页的动作指令(步骤S2052B)。当检测到该用户的注视方向系由右至左快速移动时,传递右侧翻页的眼部动作指令至该电子装置10,以使该电子装置10执行由右侧向左侧翻页的动作指令。(步骤S2053B)

第三种实施方式,以下参照图11的内容。首先,该穿戴式装置20检测用户是否行为一触发动作(步骤S2051C)。在检测到该用户的触发动作时设定一基准坐标,持续检测该用户的注视方向,并记录该注视方向相对该基准坐标的X轴移动距离及Y轴移动距离(步骤S2052C)。接续,判断该X轴移动距离或该Y轴移动距离是否大于阈值(步骤S2053C),若是,进入下一步骤,若否,回到步骤S2052C。当该X轴移动距离或该Y轴移动距离大于阈值时,系判断该眼部移动方向(步骤S2054C)。将包含有该眼部移动方向及移动距离的眼部动作指令传送至该电子装置10,以使该电子装置10执行对应于该眼部移动方向卷动的动作指令(步骤S2055C)。在上述的步骤中,若用户的注视方向的距离回到小于该阈值的状态时,则复归至步骤2051C前的程序,持续检测用户是否产生一触发动作。

本发明中所述的方法步骤亦可作为一种计算机可读取纪录媒体实施,用于储存在光盘片、硬盘、半导体记忆装置等计算机可读取记录媒体,并通过该计算机可读取记录媒体载置在电子装置上为该电子装置或电子设备所存取使用。

本发明所述的方法步骤亦可作为一种计算机程序产品实施,用于储存在网络服务器的硬盘、记忆装置,例如app store、google play、windows市集、或其他类似的应用程序在线发行平台,可通过将计算机程序产品上传至服务器后供用户付费下载的方式实施。

综上所述,本发明的用户界面同步系统可将电子装置的影像 数据传送至穿戴式装置的输出单元上,以使于通过追踪用户的眼部动作操作电子装置。本发明的前镜头与用户眼部间可维持在固定的间距,较容易检测用户的眼部动作。

以上已将本发明做一详细说明,惟以上所述者,仅为本发明的较佳实施例而已,当不能以此限定本发明实施的范围,即凡依本发明申请专利范围所作的同等变化与修饰,皆应仍属本发明的专利涵盖范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1