本申请是有关于虚拟实境装置或扩增实境装置，特别是有关于一种运用了光调制器的头戴式显示装置，其中光调制器是设置于显示系统与周遭环境之间，特别用以针对光线进行适应性的遮罩以增进图像特性。
背景技术
近年来，虚拟实境装置或扩增实境装置已被运用在诸多领域中且其应用价值已受到相当的肯定，这些领域横跨了科学视算(scientificvisualization)、医学、军事训练、工程设计及原型设计(prototyping)、遥控操作(tele-manipulation)及遥现(tele-presence)、以及个人娱乐系统。
扩增实境一般系指将扩增的内容(例如：二维(two-dimensional，3d)或三维(three-dimensional，3d)内容、文字、以及虚拟物件等)迭加到周遭真实世界的画面。换句话说，扩增实境装置所显示的是被扩增的视图，也就是真实世界的画面再加上虚拟的二维或三维内容。
相较之下，虚拟实境一般是指呈现一个完全虚拟的二维或三维环境以取代周遭的真实世界。目前已有许多基于手机的虚拟实境装置以头戴式显示器的方式实作，将手机萤幕固定在使用者的视线方向、头戴式显示器的透镜后方，使得使用者在其视域仅能看见手机萤幕所显示的虚拟画面，藉此提供广角的视觉呈现效果。
技术实现要素：
本申请的一实施例提供了一种头戴式显示装置，包括一显示系统以及一光调制器。上述显示系统选择性地显示或不显示一第一内容，其中上述第一内容的显示是于视觉上迭加于一周遭环境的一场景之上。上述光调制器设置于上述显示系统与上述周遭环境之间，且包括由复数像素所组成的一阵列，其中上述像素的第一部份是用以调制光线以显示一第二内容，而上述像素的其他部份是被设置为实质透光。
本申请的另一实施例提供了一种适应性遮罩方法，适用于一头戴式显示装置，上述头戴式显示装置包括一显示系统以及设置于上述显示系统与一周遭环境之间的一光调制器，上述光调制器包括由复数像素所组成的一阵列。上述适应性遮罩方法包括以下步骤：设定上述显示系统选择性地显示或不显示一第一内容，其中上述第一内容的显示是于视觉上迭加于一周遭环境的一场景之上；设定上述像素的第一部份对光线进行调制以显示一第二内容；以及设定上述像素的其他部份为实质透光。
关于本申请其他附加的特征与优点，本领域技术人员，在不脱离本申请的精神和范围内，当可根据本案实施方法中所揭露的头戴式显示装置以及适应性遮罩方法做些许的更动与润饰而得到。
附图说明
图1是根据本申请一实施例所述的头戴式显示装置的示意图。
图2是显示头戴式显示装置100的组成外观的示意图。
图3是根据本申请一实施例所述的头戴式显示装置100在周遭环境的应用示意图。
图4a是由显示系统10所显示的一虚拟内容的范例图。
图4b是由光调制器20所提供的一虚拟内容的范例图。
图4c是显示透过显示系统10与光调制器20所呈现的扩增实境的范例图。
图5a～5c根据本申请的不同实施例所述强化扩增实境的虚拟物件的示意图。
图6a根据本申请一实施例所述倚重光调制器20的协助提供清晰可见的虚拟内容的示意图。
图6b根据本申请一实施例所述单独由光调制器20提供清晰可见的虚拟内容的示意图。
图6c根据本申请一实施例所述由显示系统10与光调制器20协同提供清晰可见的虚拟内容的示意图。
图7根据本申请一实施例所述在扩增实境中提供深度融合式虚拟内容的示意图。
图8根据本申请一实施例所述在扩增实境中提供立体虚拟内容的示意图。
具体实施方式
本章节所叙述的是实施本申请的最佳方式，目的在于说明本申请的精神而非用以限定本申请的保护范围，应理解下列实施例可经由软体、硬体、韧体、或上述任意组合来实现。
图1是根据本申请一实施例所述的头戴式显示装置的示意图。头戴式显示装置100包括显示系统10、光调制器20、图像捕获系统30、控制器40、储存装置50、以及电源供应器60。
显示系统10主要负责显示虚拟内容。在一实施例，显示系统10可包括光学引擎与透视光学元件(see-throughoptics)，其中光学引擎可将虚拟内容投影到透视光学元件上进行显示。光学引擎可包括一或多个投影机，例如：奈米投影机、微型投影机(pico/micro/femto-projector)、雷射投影机、全像(holographic)投影机等。透视光学元件亦可称为光学组件，其可包括一反射镜以及至少一透镜(例如可包括一光波导透镜以及附着于该光波导透镜的一透明校正透镜)。无论光学引擎是开启或关闭，穿戴者都能透过透视光学元件中的透镜清楚地观看到周遭环境的场景。
光调制器20是设置于显示系统10与周遭环境之间，其主要负责对从周遭环境射向显示系统10的光线进行适应性的遮罩、过滤、或调制。光调制器20包括由复数像素所组成的一阵列，其中每个像素的尺寸均小于光的波长，且每个像素均具有一介电常数(permittivity)，藉由施加于上述一像素的一电子讯号而能控制该像素的介电常数，所有像素的介电常数可被设置呈现一模式以产生绕射效应，从而实现光线的调制。特别是，像素的一部份可用以调制光线以显示虚拟内容，而像素的其他部份则可被设置为实质透光。
在一实施例，光调制器20的每个像素均可被设置为一颜色过滤器，仅允许外在光线中特定一或多个组成色的部分得以穿透，而实现虚拟内容的显示。
光调制器20可为电湿润显示器(electro-wettingdisplay，ewd)、液晶显示器(liquid-crystaldisplay，lcd)、或有机发光二极体显示器(organiclight-emittingdiode，oled)。
以电湿润显示器为例，其原理是使用电压去改变位于固体表面上的液体的表面张力而实现电湿润的操作。藉由电压的使用，能够改变疏水表面的湿润特性，使其具有疏水性或可湿润性。所述液体表面张力的改变是藉由着色油墨的电性收缩而能够提供简易的光学开关的效果。在一实施例，着色油墨可以是基于四分色(cmyk)模式或三原色(rgb)模式，其中四分色模式为减色混合系统，其使用的组成色包括：青色(cyan)、洋红色(magenta)、以及黄色；三原色模式为加色混合系统，其使用的组成色包括：红色、绿色、以及蓝色。当未施加电压至一像素时，着色油墨会在该像素上呈现为连续的油膜，让使用者能够看见色彩；反之，当施加电压至特定像素时，着色油墨会被移位，使得该像素为透明。因此，当不同的像素各自被独立操作时，就能显示出相片或影片般的内容。举例来说，每个像素可进一步包括三个子像素，每个子像素上覆盖有四分色模式或三原色模式的一个别组成色的油墨，当光线射至一像素并穿透其上的油墨时，就会产生特定组成色的光，而透过精密地控制通过每个子像素的光量，即可改变每个组成光的产生比例，从而实现显示各种色彩的效果。
需注意的是，不同于显示系统10是仰赖其中的投影机作为其光源，光调制器20的光源为环境光，因此，在显示图像时，光调制器20所需耗用的电力将远低于显示系统10。
图像捕获系统30主要负责捕获周遭环境的图像，而后可由控制器40根据该图像决定周遭环境的相关信息，包括：周遭环境中物件的位置、颜色、以及/或尺寸。图像捕获系统30可包括至少一景深镜头以及一或多个环境感测镜头，其中景深镜头可为灰阶镜头、三原色镜头、或四分色镜头，支援深度侦测、位置追踪、以及三维对应等功能，而环境感测镜头可为灰阶镜头、三原色镜头、或四分色镜头，支援物件侦测的功能。
控制器40可为通用处理器、微处理器(microcontrolunit，mcu)、应用处理器(applicationprocessor，ap)、数位讯号处理器(digitalsignalprocessor，dsp)、图形处理器(graphicsprocessingunit，gpu)、或全像处理器(holographicprocessingunit，hpu)、或上述处理器的任意组合，其可包括各式电路逻辑，用以：提供数据与图像的处理及运算的功能、传送帧(frame)资料(如：代表文字讯息、图形、或图像的资料)至显示系统10、传送控制信号至光调制器20、从图像捕获系统30接收周遭环境的图像、以及从储存装置50读取或储存数据。
特别是，控制器40是用以协调显示系统10、光调制器20、图像捕获系统30、以及储存装置50的运作，以执行本申请的适应性遮罩方法。
本领域技术人员应当理解，控制器40中的电路逻辑通常可包括多个电晶体，用以控制该电路逻辑的运作以提供所需的功能及作业。更进一步的，电晶体的特定结构及其之间的连结关系通常是由编译器所决定，例如：暂存器转移语言(registertransferlanguage，rtl)编译器可由处理器所运作，将类似组合语言码的指令档(script)编译成适用于设计或制造该电路逻辑所需的形式。
储存装置50为非暂态(non-transitory)的电脑可读取储存媒体，包括：记忆体(如：快闪记忆体、非挥发性随机存取记忆体(non-volatilerandomaccessmemory，nvram))、或磁性储存装置(如：硬碟、磁带)、或光碟、或上述媒体的任意组合，其主要用以储存：帧资料、电脑可读取及执行的指令或程式码(包括：应用/通讯协定的程式码)、以及/或本申请的适应性遮罩方法的程式码。
电源供应器60为一可携式/可替换的充电电池，其主要负责提供电力予显示系统10、光调制器20、图像捕获系统30、控制器40、以及储存装置50，且使得头戴式显示装置100具备可携性。
当可理解的是，图1所示的元件仅用以提供一说明的范例，并非用以限制本申请的保护范围。在另一实施例，头戴式显示装置100还可包括其他元件，例如：一或多个按钮、麦克风、喇叭、环境光源感测器、无线通讯装置、以及/或全球定位系统(globalpositioningsystem，gps)等。按钮、麦克风、以及喇叭可用以提供人机操作介面(man-machineinterface，mmi)。环境光源感测器可用以侦测周遭环境的光源条件。无线通讯装置可包括蓝芽或无线保真(wirelessfidelity，wifi)技术的晶片，用以提供与其他通讯装置(如：智慧型手机或平板电脑)之间进行短距无线通讯的功能。全球定位系统可提供头戴式显示装置100的位置信息，以用于行动定位服务/应用。
图2是显示头戴式显示装置100的组成外观的示意图。在此实施例，头戴式显示装置100是实作为一虚拟/扩增实境的眼镜或头戴组。
如图2所示，显示系统10是布置于眼镜/头戴组的主构架101其中的前方下部102，图像可投影在显示系统10的透镜部件。图像捕获系统30是布置于眼镜/头戴组的主构架101其中的前方中央部104。光调制器20是布置于另一前方下部105，其位于前方下部102的前且与前方下部102相隔一距离。头戴式显示装置100的其余元件，诸如：控制器40、储存装置50、以及电源供应器60可嵌入在主构架101的托架部分106、前方上部107、或其余未被使用的部分。
图3是根据本申请一实施例所述的头戴式显示装置100在周遭环境的应用示意图。在一实施例，头戴式显示装置100可由一使用者所穿戴，该使用者透过头戴式显示装置100可透视到周遭环境，其中周遭环境是由太阳光作为其环境光源，且使用者对周遭环境中的物件(如：树木)的观看是基于太阳光照射到物件之后的折射，折射的光线从物件反向沿着使用者的视线依序抵达光调制器20、显示系统10，然后抵达使用者的眼睛。
图像捕获系统30捕获周遭环境(包括：树木)的图像，然后将图像传送至控制器40进行分析以了解周遭环境中的详细布置。
控制器40分析图像捕获系统30所捕获的图像以决定周遭环境的场景的物件信息，具体来说，物件信息包括了周遭环境中物件的尺寸、颜色、以及/或三维位置。接着，控制器40将一虚拟物件的信息传送至显示系统10以及光调制器20，其中该虚拟物件的显示位置是根据周遭环境中的树的位置、以及/或环境光的亮度来决定。
在收到虚拟物件的信息时，显示系统10可直接显示该虚拟物件，而光调制器20可针对从周遭环境射向显示系统10的光线进行调制，以提升虚拟物件的显示效果。
图4a是由显示系统10所显示的一虚拟内容的范例图。如图4a所示，虚拟内容为一文字方块，其背景色为一特定淡色(如：淡蓝色)，且其位置在显示画面的偏右边，预期将重迭到周遭环境中的树的一小部分。
图4b是由光调制器20所提供的一虚拟内容的范例图。如图4b所示，虚拟内容为一方块，其位置、大小、以及背景色都相同于图4a所示的文字方块。
由于光调制器20在该方块部分仅容许同色光(如：淡蓝色)穿透到显示系统10所显示的虚拟内容，因此，对使用者的观看而言，虚拟内容的亮度以及/或对比将获得提升。
图4c是显示透过显示系统10与光调制器20所呈现的扩增实境的范例图。如图4c所示，虚拟方块的背景色被增强(例如：从淡蓝色变成蓝色)，使得显示系统10所显示的虚拟内容能够在环境光源过亮时依旧清晰可见。
第5a～5c图根据本申请的不同实施例所述强化扩增实境的虚拟物件的示意图。其中图5a所示的实施例是藉由设定光调制器20将射向虚拟物件的光线完全遮蔽而达到强化虚拟物件的成像的效果。
如图5a所示，显示系统10显示一苹果的图像在显示画面中是位于树的右边，且苹果的图像是于视觉上迭加于周遭环境的场景之上。同时，光调制器20藉由将对应到苹果位置的像素设定为完全不透光，其余像素设定为实质透光，从而得以在相同位置提供完全相同或近乎相同的苹果的图像。
如此一来，虚拟内容(即：苹果)的图像将获得亮度以及/或对比的提升。尤其是当环境光源的亮度太强的时候，显示系统10无需增加其投影功率即可保持虚拟内容的图像清晰可见。
图5b所示的实施例是藉由设定光调制器20将射向虚拟物件的光线过滤掉部分组成光而达到强化虚拟物件的成像的效果。类似于图5a的实施例，显示系统10显示一苹果的图像，而光调制器20也在对应位置提供完全相同或近乎相同的苹果的图像。
在此实施例，假设苹果的颜色为红色，则光调制器20中对应到苹果位置的像素可被设定为红光过滤器，仅容许红色光的穿透，而其余像素则被设定为实质透光。
同样地，在此实施例，虚拟内容(即：苹果)的图像可获得亮度以及/或对比的提升。尤其是当环境光源的亮度太强的时候，显示系统10无需增加其投影功率即可保持虚拟内容的图像清晰可见。
或者，光调制器20中对应到苹果位置的像素可被设定为仅容许光线中其他组成色(如：深红色)的穿透，以进一步强化苹果的图像。在另一实施例，针对虚拟内容的图像强化还可以是改变虚拟内容的颜色呈现、或改变周遭环境中真实物件的颜色呈现。举例来说，光调制器20中对应到苹果或树木位置的像素可被设定为蓝光过滤器，仅容许蓝色光的穿透，而蓝光能让原本红色的苹果看起来变为紫色、或让原本绿色的树看起来变为青色。
图5c所示的实施例亦是藉由设定光调制器20将射向虚拟物件的光线过滤掉部分组成光而达到强化虚拟物件的成像的效果。类似于图5a的实施例，显示系统10显示一苹果的图像，而光调制器20也在对应位置提供完全相同或近乎相同的苹果的图像。
在此实施例，假设苹果的叶柄为棕色、叶子为绿色、果实为红色，则光调制器20中对应到叶柄位置的像素可被设定为棕光过滤器，仅容许光线中棕色的部份穿透，对应到叶子位置的像素可被设定为绿光过滤器，仅容许光线中绿色的部分穿透，对应到果实位置的像素可被设定为红光过滤器，仅容许光线中红色部分的穿透。也就是说，光调制器20可因应要显示的虚拟内容的细节而提供具适应性及精密性的光调制作业。
同样地，在此实施例，虚拟内容的图像获得了亮度以及/或对比的提升。尤其是当环境光源的亮度太强的时候，显示系统10无需增加其投影功率即可保持虚拟内容的图像清晰可见。
或者，当光调制器20搭配亮度够强的环境光源时，其所提供的虚拟内容的图像在亮度以及/或对比上的表现将具备一定的品质，因此，可选择性地将显示系统10的投影功率调低、或甚至将显示系统10关闭。也就是说，头戴式显示装置100可透过图像捕获系统30或环境光源感测器来侦测环境光的亮度，并据以调整显示系统10的投影功率。
图6a根据本申请一实施例所述倚重光调制器20的协助提供清晰可见的虚拟内容的示意图。在此实施例，假设环境光的亮度够高，足以使光调制器20藉由光调制的操作而提供清晰可见的一苹果图像。
明确来说，光调制器20中对应到苹果位置的像素可被设定为单色光过滤器，仅容许光线中特定单色(如：红色)部分穿透，而其余像素则被设定为实质透光。
另一方面，显示系统10可使用低功率投影出相同的苹果图像。也就是说，控制器40可根据周遭环境的光源条件调整显示系统10以及光调制器20所使用的电力位准。
如此一来，显示系统10便可调降其投影功率，但仍保持虚拟内容的图像清晰可见。
图6b根据本申请一实施例所述单独由光调制器20提供清晰可见的虚拟内容的示意图。类似于图6a的实施例，环境光的亮度够高，足以使光调制器20藉由光调制的操作而提供清晰可见的苹果图像。
然而，在此实施例，显示系统10被设定为关闭其显示功能(意即：无需投影任何图像)，而仅由光调制器20来提供苹果图像。也就是说，控制器40可根据周遭环境的光源条件调整显示系统10以及光调制器20所使用的电力位准，包括是否关闭显示系统10的显示功能。
如此一来，显示系统10便可大幅节省其电力消耗，但依然可提供清晰可见的虚拟内容。
图6c根据本申请一实施例所述由显示系统10与光调制器20协同提供清晰可见的虚拟内容的示意图。如图6c所示，周遭环境的场景中存在一树木。
头戴式显示装置100可透过图像捕获系统30捕获周遭环境中树木的图像，接着，由显示系统10或光调制器20在相同的位置提供一样的树木图像、或者可由显示系统10与光调制器20同时在相同的位置提供一样的树木图像，使得显示系统10以及/或光调制器20所提供得图像于视觉上迭加于周遭环境中的树木的图像。
如此一来，对使用者的观看而言，真实物件的图像的亮度以及/或对比将获得提升。或者，在其他实施例，显示系统10以及/或光调制器20可提供不同颜色的图像，使得图像在经过迭加而混色之后，改变了使用者最终所感知到的图像颜色。
图7根据本申请一实施例所述在扩增实境中提供深度融合式(depth-fused)虚拟内容的示意图。在此实施例，显示系统10显示一苹果图像，同时，光调制器20藉由将对应位置的像素设定为仅容许与苹果相同色的光通过，其余像素设定为实质透光，从而得以在对应位置提供完全相同或近乎相同的苹果图像。
如图7所示，显示系统10与光调制器20被设置在相互平行、但垂直于使用者的视线的位置，且显示系统10与光调制器20之间存在一间隔。基于显示系统10与光调制器20的上述布置，显示系统10与光调制器20所提供的苹果图像可藉由调整各自输出的图像亮度而产生具深度融合的视觉效果。
举例来说，当光调制器20所提供的苹果图像的亮度高于显示系统10所提供的苹果图像的亮度时，使用者所感知到的苹果图像会比较远离使用者(意即：深度加深)。
反之，当光调制器20所提供的苹果图像的亮度低于显示系统10所提供的苹果图像的亮度时，使用者所感知到的苹果图像会比较靠近使用者(意即：深度变浅)。
图8根据本申请一实施例所述在扩增实境中提供立体虚拟内容的示意图。在此实施例，显示系统10显示一只鹦鹉的光场图像，同时，光调制器20藉由将对应位置的像素设定为仅容许与光场图像相同色的光通过，其余像素设定为实质透光，从而得以在对应位置提供完全相同或近乎相同的光场图像。光场图像可以是由m乘n(如：8乘15)个子画面所构成的网格(grid)，其中每个子画面中的鹦鹉图像是于相同场景下以不同的角度与照度所捕获到的。
如图8所示，显示系统10与光调制器20被设置在相互平行、但垂直于使用者的视线的位置，且显示系统10与光调制器20之间存在一间隔。特别是，显示系统10与光调制器20的布置位置极靠近使用者的眼睛。基于显示系统10与光调制器20的上述布置，且相同的光场图像分别由显示系统10与光调制器20所提供，使得光场图像以多层式呈现而产生三维视觉效果。
根据前述实施例，当可理解的是，本申请的适应性遮罩方法可透过光调制器的运用有效提升图像的显示效果，明确来说，是藉由在显示系统与周遭环境之间设置光调制器来提供多种视觉效果，包括：强化虚拟/实体物件图像的亮度以及/或对比、或改变虚拟/实体物件图像的颜色、亮度以及/或对比、或提供深度融合或三维的视觉效果。如此一来，便可有效降低显示系统的投影功率，但整体而言依然能提供清晰可见的虚拟内容。
本申请虽以各种实施例揭露如上，然而其仅为范例参考而非用以限定本申请的范围，任何本领域技术人员，在不脱离本申请的精神和范围内，当可做些许的更动与润饰。因此上述实施例并非用以限定本申请的范围，本申请的保护范围当视后附的申请专利范围所界定者为准。
于申请专利范围中所使用的「第一」、「第二」等词是用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
符号说明
100头戴式显示装置
10显示系统
20光调制器
30图像捕获系统
40控制器
50储存装置
60电源供应器
101主构架
102前方下部
104前方中央部
105前方下部
106托架部分
107前方上部