头戴式电子装置及其使用方法与流程

本发明涉及一种电子装置及其使用方法，尤其涉及一种头戴式电子装置及其使用方法。

背景技术：

色盲或色弱为一种对颜色辨识产生障碍的现象，此现象通常因遗传、年龄或疾病而产生。而对颜色辨识产生障碍的主要原因为视觉神经、脑部的损伤或先天性的基因缺陷有关，因此通常需以辅助器具改善具色盲或色弱的视觉效果。

随着科技产业日益发达，电子装置的型态、使用功能以及使用方式越来越多元，可直接配带在使用者身体上的头戴式(head-mounted)显示设备也因应而生。头戴式显示设备的种类相当多，以眼镜类型等头戴式显示设备为例，使用者配戴上此类显示设备之后，除了可以看到放大虚像或立体影像以外，影像还会随着用户头部转动而改变，可提供使用者更身历其境的感受。因此，如何进一步使用科技产品作为改善色盲或色弱的视觉效果的辅助器具，是本领域相关开发人员致力于研究及发展的课题之一。

技术实现要素：

本发明提供了一种头戴式电子装置及其使用方法，可使具有色盲或色弱的使用者提升获取环境或日用需求信息的感受性与正确性。

本发明的一实施例提供了一种头戴式电子装置，包括摄影机、影像源、光学组件、存储器以及控制器。摄影机可取得第一标的物的第一影像资料及第二标的物的肢体影像资料。光学组件设有反射表面，且设于影像源的光学路径上。存储器储存有第一资料、第一程序以及特征加强程序，其中第一程序根据第一影像资料与第一资料产生第三影像资料，以供投影机产生第三影像于光学组件的反射表面上。特征加强程序根据肢体影像资料与第三影像资料，以供投影机产生第四影像于光学组件的反射表面上。控制器用以执行第一程序与特征加强程序。

本发明的另一实施例提供一种头戴式电子装置，包括头戴套框、镜头、感光元件、投影机、光学组件、处理器以及存储器。镜头与投影机设于头戴套框上。感光元件设于镜头的光学路径上，可取得第一标的物的第一影像资料及第二标的物的肢体影像资料。光学组件设于投影机的光学路径上。处理器与感光元件及投影机电性耦接。存储器储存有颜色识别能力资料、第一程序以及特征加强程序，其中第一程序根据第一影像资料与颜色识别能力资料产生第三影像资料，以供投影机产生第三影像于光学组件的反射表面上。特征加强程序根据肢体影像资料与第三影像资料，以供投影机产生第四影像于光学组件的反射表面上。

本发明的另一实施例提供一种头戴式电子装置的使用方法，包括：提供上述的头戴式电子装置；取得第一标的物的第一影像资料；根据第一影像资料及颜色识别能力资料以窗口模式产生第三影像；以及根据肢体影像资料及第三影像资料产生第四影像。

基于上述，在本发明相关实施例的头戴式电子装置及其使用方法中，头戴式电子装置可取得第一标的物的第一影像资料而提供校正色彩后的第三影像，并且可让用户进一步根据需求提供第二标的物的肢体影像资料而修改或调整第三影像，进而产生匹配于第一标的物的第四影像。因此，可使使用者提升获取环境或日用需求信息的感受性与正确性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明一实施例的头戴式电子装置的概要示意图。

图2为图1的头戴式电子装置的另一概要示意图。

图3a至3c为本发明一实施例的头戴式电子装置的使用过程示意图。

图4a至4c为本发明另一实施例的头戴式电子装置的使用过程示意图。

图5a至5b为本发明一实施例的头戴式电子装置的使用过程示意图。

图6为本发明一实施例的头戴式电子装置的使用方法步骤流程图。

具体实施方式

图1为本发明一实施例的头戴式电子装置的概要示意图。图2为图1的头戴式电子装置的另一概要示意图。

以下就本发明的一实施例的头戴式电子装置进行说明。请参考图1及图2，本发明一实施例的头戴式电子装置100包括摄影机120、影像源130、光学组件140、控制器150以及存储器160。

头戴式电子装置100例如为近眼显示器(neareyedisplay，ned)或头戴式显示器(head-mounteddisplay，hmd)，而显示技术则可使用增强现实(augmentedreality,ar)技术或虚拟实境(virtualreality,vr)技术，本发明并不以此为限。在本实施例中，具有色盲、色弱或对于颜色辨识度困难的用户10可藉由使用头戴式电子装置100而改善视觉效果，进而提升获取环境或日用需求信息的感受性与正确性。于本实施例中，头戴式电子装置100应用增强现实(augmentedreality,ar)技术。

头戴套框110例如为使用外形类似于眼镜的镜框或镜架，用以配置于用户10的眼部周边，并可藉由使用者10脸部的五官支撑，例如是藉由使用者10的鼻子或耳朵支撑。在另一实施例中，头戴套框110亦可为耳挂式框架，配置于用户10单边眼部。

摄影机120用以将所拍摄到的影像资料转化为电信号资料，例如为相机等可撷取影像的光学装置。于本实施例中，摄影机的视场角大于等于90度。在本实施例中，摄影机120至少包括镜头122及感光元件124。详细而言，镜头122例如包括具有屈光度的一或多个光学镜片的组合，例如包括双凹透镜、双凸透镜、凹凸透镜、凸凹透镜、平凸透镜以及平凹透镜等非平面镜片的各种组合，于一例中，镜头122中包括4至10片具有屈光度的透镜。

感光元件124例如为电荷耦合器件(chargecoupleddevice，ccd)或互补式金氧半晶体管(complementarymetaloxidesemiconductortransistors，cmos)等感光元件。于本例本实施例中，感光元件为电荷耦合组件。

影像源130用以提供出光束至光束所传递经过的目标物上，在本实施例中，影像源130例如是投影机132、显示屏幕或是其他的成像装置。

投影机132可输出一影像光束，以将影像投射至目标物的光学装置。投影机132具有光源、光阀以及投影镜头，光源提供光束至光阀以产生影像光束，再藉由传递至投影镜头以投射至目标物上。光源可以是各式二极管发光装置，光阀可以是液晶面板(liquidcrystaldisplay，lcd)、硅基液晶面板(liquidcrystalonsilicon，lcos)或是数字微镜装置(digitalmicromirrordevice，dmd)之任一者。投影镜头可以包括多枚具有屈光度的透镜。于本例本实施例中，投影机132应用led光源，配合数字微透镜微镜芯片及六枚透镜所组成的投影镜头。另外，需要时，投影机132的出光处可以设置一反射镜以改变其入光方向。另外于本例本实施例中，投影机132的视场角可选择性的大于等于90度。

光学组件140可以是波导式导光板(lightwaveguideplate，lwgp)或是例如为具有屈光度的平面或非平面镜片，例如双凹透镜、双凸透镜、凹凸透镜、凸凹透镜、平凸透镜以及平凹透镜等非平面镜片或是例如是棱镜或是积分柱(integrationrod)等可应用于传导影像光的组件。于本例本实施例中，光学组件140为包括多枚各色全息片的波导式导光板(waveguidegrating,waveguidehologram)。

控制器150用以执行软件程序以编辑事先内建的数据资料或上述摄影机120所拍摄到的并转化的电信号资料。在本实施例中，控制器150包括处理器152。处理器152例如为中央处理单元(centralprocessingunit，cpu)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digitalsignalprocessor，dsp)、可程序化控制器(programmblecontroller)、专用集成电路(applicationspecificintegratedcircuit，asic)或其他类似组件、上述组件的组合或是其运作所必需的周边配套。

存储器160例如为任何型态的固定或可移动随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)或类似组件或上述组件的组合。在本实施例中，存储器160为快闪存储器(flashmemory)，可以储存数据资料或影像资料。

请继续参考图1至图2，在本实施例中，摄影机120设于头戴套框110上，摄影机120中的感光元件124设于镜头122的光学路径上。详细而言，镜头122及感光元件124例如是设置于头戴套框110的同一侧以使用同一光路。

在使用头戴式电子装置100时，摄影机120可以撷取来自四周环境30(或称第一标的物)的光线并产生相对应的第一影像资料。

另外，在撷取四周环境30的光线的同时，摄影机120可同时撷取来自特定身体部份40(见如图4a的第二标的物40)的光线并产生相对应的肢体影像资料，或称为第二影像资料。

在本实施例中，第一标的物30为环境中的实体景物或环境背景，例如是建筑、花草、交通号志或其他环境、日常生活中的目标物等。第二标的物40为可在空间中操作变化的指针物体、用户10的手势或其他可造成影像变化的肢体动作。

另一方面，投影机132设于头戴套框110上，而光学组件140设于投影机132的光学路径上。详细而言，在本实施例中，投影机132例如是设置于头戴套框110的同一侧以使用同一光路。在使用头戴式电子装置100时，投影机132可提供出影像画面并传递至汇聚至光学组件140的反射表面142上。因此，影像画面将被反射表面142反射至使用者10的眼睛20。如此一来，用户10可通过头戴式电子装置100观察环境影像及投影机132所投射出的影像画面。

图3a至3c为本发明一实施例的头戴式电子装置的使用过程示意图。请同时参考图1至图3c，在本实施例中，处理器152与感光元件124及投影机132电性耦接。存储器160储存有颜色识别能力资料、色彩校正程序(第一程序)以及特征加强程序(第二程序)。

在本实施例中，颜色识别能力资料(又称颜色资料或第一资料)例如包括内建的不同色彩默认资料、用户10对于不同色彩的辨识能力资料、针对用户10的色彩矫正模块资料或其组合等资料。

另一方面，色彩校正程序，或称第一程序，可被处理器152执行。在使用头戴式电子装置100时，存储器160可储存由摄影机120所产生的，例如是相对于环境影像的环境影像资料(第一影像资料)，而色彩校正程序可根据存储器160所储存的颜色识别能力资料，来根据用户对颜色的识别能力对摄影机120产生的环境影像资料进行运算、调整，并产生经过色彩校正的色彩校正影像。色彩校正影像是由环境图像处理而得的，故色彩校正影像与环境影像至少部份为相对应。而色彩校正影像可称为第三影像，其对应的资料可称为第三影像资料。

在完成色彩校正之后，处理器152可将第三影像资料传输至投影机132以投射出色彩校正后的第三影像i3，并经由光学组件140的多个反射表面142反射并输出至使用者的眼睛。如此一来，可使得使用者10通过反射表面142而观察到呈现虚像的第三影像i3。因为是虚像的关系，眼球和光学组件140之间的距离可较实像小，进而减少系统的体积。

在本实施例中，在用户的视角观之，用户除了可经由光学组件140看到如图3a中外界的影像外，尚可藉由光学组件140来看到如图3b所绘示的，以窗口，或称窗口模式wd呈现的第三影像i3。亦即，实物本身的色彩是未经调整的，而窗口模式内的影像的颜色已按用户的办色能力作调整。如此，可让使用者得悉其看到的颜色和物品实质颜色的差异，进而从中学习。

在一些实施例中，窗口模式wd可视需求而呈现多个，进而方便进行较深度的画面比较。在一些实施例中，第三影像i3也可以是以具有透明度的方式呈现。而于本实施例中，以投影机为影像源为例，以投影机132能投出的，让使用者能看到的最大范围v1的占比率为100％，则第三影像i3中窗口所占比例在80％、60％、30％或以下时，其分别具有佳、较佳及最佳的视觉效果。图3b中是以第三影像i3中窗口所占比例约为10％作为例示。

另一方面，处理器152可执行特征加强程序，又称第二程序。特征加强程序可根据存储器160所储存的颜色识别能力资料，来根据用户对颜色的识别能力来对第一影像资料或是第三影像资料进行运算、调整后产生经过色彩校正的色彩校正影像，并在视野中匹配的第一标的物30的对应区域显示一颜色区块(第四影像i4)，如图3c所绘示。

如此一来，用户10除了可藉由窗口来观察通过经过色彩校正的第三影像i3，以辨识第一标的物30的校正色彩外，使用者10还可进一步修改或是强化第一标的物30的色彩表现以提升对第一标的物30感受性与正确性。

图4a至4c为本发明另一实施例的头戴式电子装置的使用过程示意图。请同时参考图2及图4a至图4c，在本实施例中，使用者10可进一步利用手势的操作而修改所需的校正色彩。具体而言，在上述图3b所显示的流程中，特征加强程序可进一步根据，例如是相对用户肢体，的肢体影像资料来评估用户的指令为何，从而根据所述用户的指令来对第三影像资料中特定区域的颜色进行置换或调整后输出为修正后的调色后第三影像i3’，其对应第三影像资料，或为第四影像。亦即，而此修正后的第三影像资料或是第四影像是根据修改后的第三影像资料而产生。换句话说，使用者10可根据环境或其他需求而对经色彩校正后的第三影像i3进行调整。

简而言之，于本实施例中，第一影像资料对应摄影机120拍摄外界影像而得的影像资料。第二影像资料对应摄影机120拍摄肢体影像而得的影像资料。第三影像资料对应第一影像资料经颜色识别能力资料(第一资料)调整后的影像资料。第四影像资料对应第一影像资料或第三影像资料经第二影像资料调整后的影像资料。

详细而言，特征加强程序可根据肢体影像资料以修改第三影像资料，且第三影像i3根据第三影像资料的修改而改变。特征加强程序可以显示一用户界面ui，用户界面ui例如是调色盘、色码表或以文字方式表现，下述将以调色盘的表现方式作说明。具体而言，在此调整过程中，使用者10可通过手势滑动、点选或其他操作方式操作用户界面ui以使感光元件124取得肢体影像资料，进而修改第三影像资料。因此，用户可通过操作用户界面ui将第三影像i3修改为经修正后的第三影像i3’，如图4b所绘示。所修改的部分例如是改变第三影像i3中部分区域的颜色、纹路或增加特征图式等。

在修改第三影像i3之后，经过修改的第三影像i3’可实时性的显示于窗口模式wd中，并且选择性的待使用者进一步确认后，可将窗口模式wd中的第三影像i3’投射以匹配视野中的第一标的物30，使得用户可通过光学组件140观察到经用户操作修改的第四影像i4，如图4c所绘示。如此一来，可使使用者以进一步自定义或修改色彩的方式而增加第三影像i3的色彩表现以提升对第一标的物30感受性与正确性。另外，除了前述的以投影显示用户界面ui外，亦可以预先以黏贴的方式将图案置于反射表面142的部分。

图5a至5b为本发明一实施例的头戴式电子装置的使用过程示意图。请同时参考图2、图5a及图5b，在本实施例中，使用者10可进一步使用特征资料强化第一标的物30的部分区域。详细而言，在本实施例中，存储器160还储存有特征资料，且特征加强程序可根据肢体影像资料将特征资料加入第三影像资料，以使第四影像i4所呈现的影像画面包括至少一特征图式，例如是警告图式等。具体而言，在本实施例的调整过程中，使用者10可进一步通过操作用户界面ui选择需求的特征图式加入至第三影像i3中，如图5a所绘示。待使用者进一步确认后，可将窗口模式wd中的第三影像投射于反射表面142上以匹配视野中的第一标的物30，使得用户可通过光学组件140观察到经用户操作修改的第四影像i4，如图5b所绘示。如此一来，可让使用者进一步增加特定区域的其他显示效果以提升对第一标的物30感受性。

在上述的任一实施例中，存储器160所储存的颜色识别能力资料可根据特征加强程序修改第三影像资料而更新。换句话说，当用户进一步使用特征加强程序改善显示画面时，存储器160可针对使用者的编辑而修改并更新所述使用者的颜色识别能力资料。如此一来，可藉由智能计算而达到深度学习的效果，进而让使用者在操作上更加便利。除此之外，用户的操作信息可进一步提供至额外的计算机系统或网络云端，以进一步产生可利用的校正色彩模式。

图6为本发明一实施例的头戴式电子装置的使用方法步骤流程图。请参考图1、图2及图6，在本实施例中，首先进行步骤s600，提供上述任一实施例的头戴式电子装置100。接着，进行步骤s610，取得第一标的物30的第一影像资料。在取得第一影像资料之后，进行步骤s620，根据第一影像资料及色彩资料(颜色识别能力资料)以窗口模式产生第三影像i3。最后，进行步骤s630，根据第二影像资料(肢体影像资料)及第三影像资料产生第四影像(见如图3c的第四影像i4)。

进一步而言，在本实施例中，根据第二影像资料(肢体影像资料)及第三影像资料产生第四影像的步骤s630，还可依序进行根据第二影像资料(肢体影像资料)操作一用户界面以修改第三影像资料的步骤以及根据修改后的第三影像资料产生第四影像的步骤。或者，可进一步进行根据修改后的第三影像资料更新色彩资料(颜色识别能力资料)的步骤。再进一步而言，本实施例的存储器160还可包括特征资料，且在上述根据第二影像资料(肢体影像资料)操作用户界面以修改第三影像资料的步骤，还可进行根据第二影像资料(肢体影像资料)将特征资料加入第三影像资料，以使第三影像所呈现的影像画面包括至少一特征图式的步骤。

另一方面，以上各例的头戴式电子装置100是应用增强现实技术，惟于另一例中，其可改以虚拟实境(virtualreality，vr)技术为之。于以虚拟实境技术时，用户眼睛前方的光学组件140不以透光为必要。于一实施例中，使用者的各眼球前方是分别设有一影像源及透镜组，而各影像源例如分别为lcd屏幕。此时，使用者所见的物体均由摄影机所拍摄后转呈于显示器上。惟其余作动方式与增强现实技术相类似，将不多加赘述。

综上所述，在本发明相关实施例的头戴式电子装置及其使用方法中，头戴式电子装置可取得第一标的物的第一影像资料资料而提供校正色彩后的第三影像，并且可让用户进一步根据需求提供第二标的物的肢体影像资料而修改或调整第三影像，进而产生匹配于第一标的物的第四影像。因此，可使使用者提升获取环境或日用需求信息的感受性与正确性。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。