用于使用者界面的互动方法及电子装置与流程

本发明是指一种用于使用者界面的互动方法，尤指一种可让使用者在无需使用手部操作的情况下与使用者界面互动的方法。

背景技术：

电子装置的使用者界面往往包含多个阶层(hierarchy)，当使用者进行操作时，其可能在同一层当中的不同页面之间切换，或是切换到下一层页面或画面。例如，在一选单模式之下，使用者可能点选某一个项目而执行特定功能，或点选某一项目而进入下一阶层的选单。一般来说，在电脑或手机上操作时，使用者需以触控手势进行，或通过键盘或鼠标等输入接口输入指令。换言之，传统的手机或电脑操作方式均需要使用单手或双手来进行，且使用者需要长时间注视荧幕上的信息以实现与电子装置的使用者界面的互动。然而，上述操作方式无法应用于驾车时，若驾驶人需空出单手或双手来操作电子装置，容易分心而影响行车安全。有鉴于此，实有必要提出一种更适合的电子装置互动方法，提供给汽车驾驶人使用。

技术实现要素：

本发明的主要目的即在于提供一种可让使用者在无需使用手部操作的情况下与使用者界面互动的方法，以解决驾驶人易分心的问题，同时减少驾驶人操作电子装置的复杂度并改善行车安全。

本发明揭露一种互动方法，用于一电子装置的一使用者界面，该使用者界面包含一显示装置，该互动方法包含有：侦测一使用者的头部生物辨识信号，并根据该头部生物辨识信号控制该显示装置显示一页面；侦测该使用者的眼部生物辨识信号，并根据该眼部生物辨识信号控制一指示符在该页面上的位置；以及侦测该使用者的一指令，并在侦测到该指令时，根据该指示符在该页面上的位置，控制该电子装置执行一特定功能。

本发明还揭露一种电子装置，包含有一使用者界面及一处理装置。该使用者界面用来与一使用者进行互动，该使用者界面包含有一显示装置及一感测装置。该感测装置用来侦测该使用者的头部生物辨识信号及眼部生物辨识信号。该处理装置耦接于该使用者界面，用来执行以下步骤：根据该头部生物辨识信号，控制该显示装置显示一页面；根据该眼部生物辨识信号，控制一指示符在该页面上的位置；以及在侦测到该使用者的一指令时，根据该指示符在该页面上的位置，控制该电子装置执行一特定功能。

本发明还揭露一种互动方法用于一电子装置的一使用者界面，该使用者界面包含一显示装置，该互动方法包含有：侦测一使用者的一眼部生物辨识信号，并根据该眼部生物辨识信号控制一指示符在该显示装置显示的一页面上的位置；以及侦测该使用者的一脸部指令，并在侦测到该脸部指令时，根据该指示符在该页面上的位置，控制该电子装置执行一特定功能；其中，该脸部指令是由多个脸部动作组合而成。

本发明还揭露一种电子装置，包含有一使用者界面及一处理装置。该使用者界面用来与一使用者进行互动，该使用者界面包含有一显示装置及一感测装置。该感测装置用来侦测该使用者的一眼部生物辨识信号及一脸部指令，其中，该脸部指令是由多个脸部动作组合而成。该处理装置耦接于该使用者界面，用来执行以下步骤：根据该眼部生物辨识信号，控制一指示符在该显示装置显示的一页面上的位置；以及在侦测到该脸部指令时，根据该指示符在该页面上的位置，控制该电子装置执行一特定功能。

【附图说明】

图1为本发明实施例一电子装置的示意图；

图2a为本发明实施例通过头部动作来控制显示画面平移的示意图；

图2b为本发明实施例通过头部动作来控制显示画面缩小或放大的示意图；

图2c为本发明实施例通过指示符进行标示的示意图；

图3为本发明实施例一互动流程的示意图；

图4a～4c绘示一种通过头部动作来控制显示装置显示一页面的详细运作方式；

图5为使用者通过凝视来控制指示符移动的示意图。

【附图标记】

10：电子装置，100：使用者界面，102：显示装置，104：感测装置，110：处理装置，120：使用者输入装置，30：互动流程，300～308：步骤，400：页面。

【具体实施方式】

图1为本发明一实施例。电子装置10包含有一使用者界面100及一处理装置110。使用者界面100提供了与使用者互动的媒介，其包含有一显示装置102及一感测装置104，电子装置10也可选择性包含一使用者输入装置120。感测装置104可用来侦测使用者头部、眼部的生物辨识信号。处理装置110耦接于使用者界面100，可根据头部生物辨识信号控制显示装置102显示一页面；并根据眼部生物辨识信号控制一指示符在该页面上的位置。使用者输入装置120可接收使用者的命令，以根据该指示符在该页面上的位置，控制电子装置10执行一特定功能。

在一实施例中，感测装置104可用来侦测使用者的眼部生物辨识信号，并侦测使用者的脸部生物辨识信号作为一脸部指令。处理装置110可根据眼部生物辨识信号控制一指示符在显示装置102显示的一页面上的位置，并在脸部指令被侦测到时，根据指示符在页面上的位置控制电子装置10执行一特定功能。上述脸部指令可由多个脸部动作组合而成。

在一实施例中，感测装置104可用来侦测使用者头部、眼部及脸部的生物辨识信号。处理装置110耦接于使用者界面100，可根据头部生物辨识信号控制显示装置102显示一页面；根据眼部生物辨识信号控制一指示符在该页面上的位置；并根据脸部生物辨识信号以及该指示符在该页面上的位置，控制电子装置10执行一特定功能。

在一实施例中，感测装置104所侦测的使用者的头部生物辨识信号包含头部姿势、头部位置、头部移动，以及任何头部姿势、位置和/或移动的组合。头部位置代表头部与传感器之间的相对位置，或代表头部与显示器之间的相对位置。头部姿势代表点头、摇头或侧头等。

在一实施例中，感测装置104所侦测的使用者的眼部生物辨识信号包含凝视向量及凝视点。凝视向量代表通过头部位置、头部姿势、虹膜反射光、虹膜位置和/或瞳孔位置所推导出的眼神凝视方向。凝视向量可实现于世界坐标系、脸部坐标系、或荧幕坐标系。凝视点代表凝视向量与荧幕的交叉点。

在一实施例中，感测装置104所侦测的使用者的脸部生物辨识信号包含脸部特征、脸部动作、一连串的脸部动作、或任何脸部特征和/或动作的组合。

在一实施例中，感测装置104可包含任何类型的感测器，用来取得各种生物辨识信号，如可见光摄影机、红外线摄影机、光感测器、或多种感测器的组合，而不限于此。

在一实施例中，处理装置110可将使用者头部、眼部和/或脸部的生物辨识信号转换成不同指令，来控制显示装置102上显示的画面。

在一实施例中，上述显示页面的方式包含通过特定头部动作来控制显示的画面平移(pan)。特定头部动作可通过头部姿势、头部位置、头部移动，或任何头部姿势、位置和/或移动的组合来实现。以图2a为例举例说明，当使用者头部向左倾时，可控制显示的画面向左平移。

在一实施例中，上述显示页面的方式包含通过特定头部动作来控制显示的画面缩小(zoom-out)或放大(zoom-in)。特定头部动作可通过头部姿势、头部位置、头部移动，或任何头部姿势、位置和/或移动的组合来实现。以图2b为例举例说明，当使用者头部朝向荧幕的方向移动时，可控制显示的画面放大。

为实现上述实施例中的平移及缩放，荧幕上主动区(activearea)的背景区域可呈现一虚拟图像，主动区为虚拟影像的子集合且主动区的区域范围小于虚拟影像的区域范围。

在一实施例中，上述控制一指示符在页面上的位置的步骤可通过多种方式来实现。例如，可在荧幕的主动区上以光标来表示，或通过可辨识的颜色、框线、凸面或凹面等方式来标示特定的区域、视窗和/或图像。以图2c为例举例说明，在荧幕20上，光标及框线均用来标示特定的项目。

在一实施例中，使用者输入装置120可通过任何方式接收使用者的命令，如通过按压实体按键、输入特定手势、或通过触控荧幕输入等，但不限于此。

在一实施例中，上述根据该指示符在页面上的位置，控制电子装置10执行一特定功能的步骤可通过多种方式来实现。例如，根据指示符所选择的区域、视窗和/或图像可指示特定功能被执行，所述区域、视窗和/或图像可对应呼叫特定功能或指令。举例来说，呼叫功能可以是开启应用程序、回到主选单、下拉选单、重新启动等，但不限于此。

在此情形下，使用者可通过头部、眼部和/或脸部的生物辨识信号来操作电子装置10，同时查看显示装置102上的画面内容，来达成使用者与使用者界面100的互动。

在一实施例中，显示装置102可以是任何类型的显示器，如液晶显示器(liquidcrystaldisplay，lcd)、有机发光二极管显示器(organiclightemittingdiodedisplay，oleddisplay)等。

在一实施例中，处理装置110可以是一中央处理器(centralprocessingunit，cpu)、一微处理器(microprocessor)、一微控制器单元(microcontrollerunit，mcu)或一特定应用集成电路(application-specificintegratedcircuit，asic)，其不限于通过硬件或软件方式来实现。

在一实施例中，电子装置10可以是一车用电子装置。

图3为本发明实施例一互动流程30的示意图。互动流程30可用于一电子装置，如图1中的电子装置10，用来与使用者进行互动。如图3所示，互动流程30包含以下步骤：

步骤300：开始。

步骤302：侦测使用者的一头部生物辨识信号，如头部姿势、头部位置、头部移动、或任何头部姿势、位置和/或移动的组合，并根据侦测到的头部生物辨识信号控制显示装置显示一页面。

步骤304：侦测使用者的一眼部生物辨识信号，如凝视向量、凝视点、或凝视向量及凝视点的组合，并根据侦测到的眼部生物辨识信号控制一指示符在页面上的位置。

步骤306：侦测使用者的一指令或脸部生物辨识信号，并在侦测到指令或脸部生物辨识信号时，根据指示符在页面上的位置，控制电子装置执行一特定功能。

步骤308：结束。

根据互动流程30，感测装置104可侦测使用者的头部生物辨识信号，处理装置110即可根据头部生物辨识信号控制显示装置102显示一页面。举例来说，处理装置110可根据头部生物辨识信号，控制显示装置102上显示的画面向一特定方向卷动或移动。例如驾驶人可能正在一选单上找寻应用程序、联络人、或模式切换的选项，若感测装置104侦测到驾驶人的头部向左移动时，显示装置102上的画面可向左移动，以显示更右侧的选项；反之，若感测装置104侦测到驾驶人的头部向右移动时，显示装置102上的画面可向右移动，以显示更左侧的选项。在另一实施例中，也可通过向左的头部动作来控制显示装置102显示左侧的选项，并通过向右的头部动作来控制显示装置102显示右侧的选项。或者，驾驶人可能正在浏览某一个页面，处理装置110可根据侦测到的头部生物辨识信号来卷动页面，如同使用者以鼠标滚轮卷动页面的方式，但在此例中，使用者无需动手即可完成。

在另一实施例中，处理装置110也可根据头部生物辨识信号来控制显示装置102上显示的画面放大(zoom-in)或缩小(zoom-out)。例如当侦测到驾驶人头部靠近感测装置104时，可控制画面放大，以突显使用者欲查看的选项；当侦测到驾驶人头部远离感测装置104时，控制画面缩小，使画面中包含更多选项供驾驶人选择。此外，除了侦测头部移动的方向以外，处理装置110也可侦测头部是否向左或向右倾斜或转向，以进行头部动作的判断。例如头部左倾可控制页面向左卷动，右倾可控制页面向右卷动。任何可通过头部生物辨识信号来控制页面显示的方式均属于本发明的范畴。

图4a～4c绘示一种通过头部生物辨识信号来控制显示装置102显示一页面400的详细运作方式。页面400上包含一表单，其包含有多个选项，如设定、信息模式、gps模式等。如图4a所示，页面400仅显示完整的「信息模式」选项，其它选项未完整显示于页面400。当使用者欲观看其它选项时，可通过头部姿势、位置和/或移动来控制页面400显示的内容。如图4b所示，使用者可将头部向右移动。当感测装置104侦测到头部右移时，可将画面的内容倾斜，以突显右侧的选项，此时使用者可轻易地选择右侧的「gps模式」选项。如图4c所示，使用者可将头部向左移动，当感测装置104侦测到头部左移时，可将画面的内容向另一方向倾斜，以突显左侧的选项，此时使用者可轻易地选择左侧的「设定」选项。

在上述实施例中，页面400显示的表单为多个选项排成一列；而在另一实施例中，多个选项可排列为圆弧形。在此情形下，当侦测到使用者头部右移时，可控制选项依顺时针方向移动；当侦测到使用者头部左移时，可控制选项依逆时针方向移动。

在此例中，电子装置10可以是例如一车用电子装置，能够由车辆驾驶人方便地进行操控。因此，显示装置102可以是车辆的仪表板，其显示的页面400及表单包含各种相关于行车的信息。例如，进入「信息模式」选项之后，显示装置102上可显示各种行车信息，如天气、时间、行驶路程等；进入「gps模式」选项之后，显示装置102上可显示gps导航信息，如地图和目的地信息等；「设定」选项则用来进入设定选单，以进行各项设定。表单上的选项不限于上述实施例的说明，在其它实施例中，也可包含时速表、行车记录器、连结行动装置等选项。上述选项均可设定于图4a～4c的表单中，通过头部姿势、位置和/或移动来控制表单向左或向右卷动或移动以显示不同选项。

感测装置104可侦测使用者的眼部生物辨识信号，处理装置110即可根据眼部生物辨识信号控制一指示符在页面上的位置。指示符可通过各种形式来呈现，如光标、图案、框线、或通过特定的颜色来指示使用者欲选择的项目或区域。图5说明当使用者凝视「信息模式」选项时，处理装置110可控制指示符移动至「信息模式」选项上。在此例中，指示符的显示方式为，在所指示的选项上以较粗体的框线表示，但本领域具通常知识者应了解，指示符也可通过其它方式来呈现，例如以较明亮的框线来标注欲选择的选项，或在欲选择的选项上以特定颜色来标注，只要指示符的表示方式能够让使用者明确知道指示符所在位置即可。在另一实施例中，指示符也可以光标的形式呈现，并根据使用者眼神凝视的位置控制光标向任意方向移动。以眼睛凝视来控制指示符移动如同使用者以鼠标或滑动触控手势控制指示符移动。

使用者输入装置120可供使用者输入指令，使处理装置110根据指示符在页面上的位置，控制电子装置10执行一特定功能。在一实施例中，控制电子装置10执行特定功能的指令为感测装置104所侦测的使用者的脸部指令，若上述通过眼睛凝视来控制指示符移动的方式可类推为通过鼠标或滑动触控手势控制指示符移动，那么通过脸部指令来控制电子装置10执行特定功能可类推为点击鼠标、键盘或触控荧幕的确认键以执行特定功能。

脸部指令可通过多种方式来实现。举例来说，脸部指令可以是任何脸部表情，例如微笑、大笑、张嘴、鼻子歪一侧等，脸部表情也可以是一连串脸部动作的动态组合。脸部表情可预先设定，举例来说，使用者可设定微笑(即嘴角上扬)作为脸部指令，当感测装置104侦测到使用者嘴角上扬时，即可判断接收到微笑的脸部指令。以图4a～5为例举例说明如下。使用者可通过眼神控制指示符在不同选项之间移动，若使用者欲选择「信息模式」选项时，可控制指示符移动至「信息模式」选项上，并开始微笑。当感测装置104侦测到微笑之后，处理装置110即可判断接收到一确认指令，进而控制电子装置10进入信息模式，例如通过显示装置102显示各种行车信息。

在另一实施例中，每一使用者可设定各自的脸部表情。处理装置110除了判断脸部表情之外，还须判断个人脸部特征。在一实施例中，一辆汽车可能由夫妻共同使用，夫妻可能使用不同的脸部表情设定，例如丈夫设定微笑作为确认的脸部指令，妻子设定眨眼作为确认的脸部指令。当丈夫开车时，系统可根据脸部特征判断驾车者为丈夫，并在侦测到微笑的表情时判断接收到确认指令；当妻子开车时，系统可根据脸部特征判断驾车者为妻子，并在侦测到眨眼的表情时判断接收到确认指令。

上述关于头部、眼部及脸部的侦测均可通过计算机视觉(computervision)技术来实现。感测装置104可取得包含有使用者头部的影像，接着，处理装置110可对该影像进行缩减取样(downsampling)以降低数据量，接着通过人脸侦测技术取出使用者的头部影像，以设定对应于头部影像的边界框(boundingbox)。缩减取样可减少数据量并提高后续运算处理的速度，但在另一实施例中，也可省略缩减取样的步骤，直接对感测装置104所取得的影像执行人脸侦测技术。处理装置110截取边界框内部的影像内容以进行后续处理。相关于头部、眼部及脸部动作的判断均可由边界框内部影像取得。

处理装置110可通过人脸特征点侦测(faciallandmarkdetection)技术取得各个脸上器官，如眼睛、嘴巴、鼻子等，的特征点位置。处理装置110可取得使用者的头部生物辨识信号以判断头部动作，如头部的位置、是否移动、转动或倾斜等。处理装置110可针对眼睛的影像判断瞳孔的位置和/或瞳孔反射的光线，以取得凝视向量及凝视点。处理装置110还可根据脸上器官的局部位置变化，或根据脸部特征的一连串动态变化来判断脸部表情，例如当侦测到嘴角上扬时判断为微笑，同时可根据各个脸上器官的整体位置来判断脸部特征。本发明可通过侦测头部、眼部及脸部的生物辨识信号来操控电子装置运作，而关于头部、眼部及脸部的侦测可采用各种可行的方式，其不应为本发明的限制。

本发明提供了一种可让使用者在无需使用手部操作的情况下与使用者界面进行互动的方法，本领域具通常知识者当可据以进行修饰或变化，而不限于此。举例来说，在上述实施例中，系统对使用者头部、眼部及脸部进行侦测以取得指令，以在使用者界面上显示相对应的页面同时在电子装置上执行特定功能，使用者无须通过手势输入指令即可与电子装置进行互动。但在另一实施例中，使用者也可通过按压实体按键或以特定手势来执行确认指令，或口述指令来控制电子装置执行特定功能(按压实体按键、手势及口述指令均可用以代替前述脸部指令)。一般来说，车用电子系统可在方向盘上设置多个实体按键，在不降低方便性及行车安全的情形下，也可改由实体按键作为输入确认指令的媒介，驾驶人可轻易地按压方向盘上的按键以进行输入。或者，处理装置110也可具备语音侦测/辨识功能，以供使用者输入语音指令。此外，本发明所提出的互动方法不仅可用于车用电子系统，也可应用于其它类型的电子系统，如游戏机、电子书阅读器等。只要使用者界面可通过侦测使用者头部、眼部及脸部动作和/或特征来实现与使用者互动的运作方式，均于本发明的范畴。

在本发明的一实施例中，电子装置的使用者界面可通过侦测使用者的头部生物辨识信号来进行页面显示，随着头部动作来控制页面的卷动、移动及/或缩放。接着侦测使用者的眼部生物辨识信号，以根据使用者眼神凝视的位置来控制一指示符在页面上的位置。接着，当侦测到一特定脸部指令时，电子装置可执行特定功能，如进入某一选单或操作模式。在此情形下，使用者可在无须通过手部操作的情况下，通过头部、眼部和脸部输入指令，以实现与使用者界面的互动。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，均应属本发明的涵盖范围。