显示装置及控制其的方法与流程

1.本公开的实施例涉及一种显示装置和一种控制显示装置的方法。


背景技术：

2.一些电子装置(诸如显示装置)可以具有被构造为穿戴在用户的身体上的形式。这些电子装置通常被称为可穿戴装置。由于可穿戴装置直接穿戴在身体上，因此在设计和制造这些装置时，便携性和用户可访问性是将要考虑的因素。
3.可穿戴电子装置的示例是可以戴在用户的头上的头戴式显示器(头戴式电子装置)。头戴式显示器可以大体上分类为提供增强现实(ar)的透视型(see-through type)和提供虚拟现实(vr)的闭视型(see-closed type)。


技术实现要素：

4.本公开的方面提供了一种可以准确地计算用户的瞳孔的位置并且防止在被用户穿戴时干扰用户的显示装置和一种控制显示装置的方法。
5.根据实施例，一种显示装置包括：显示单元，包括发射第一光的第一表面、与第一表面相对设置的第二表面、透射入射在第一表面上的光的第一透射区域和透射入射在第一表面上的光的第二透射区域。第二透射区域与第一透射区域间隔开。显示装置还包括：第一透镜，设置在显示单元的第一表面上，并且包括在厚度方向上与第一透射区域叠置的第一孔；第二透镜，设置在显示单元的第一表面上且与第一透镜间隔开，并且包括在厚度方向上与第二透射区域叠置的第二孔；以及多个光源，设置在第一透镜和第二透镜上。光源发射第二光。显示装置还包括：第一相机传感器，设置在显示单元的第二表面上，并且与第一透射区域叠置；以及第二相机传感器，设置在显示单元的第二表面上，并且与第二透射区域叠置。
6.根据实施例，一种控制显示装置的方法包括：从设置在多通道透镜上的光源朝向用户的瞳孔发射光；将从用户的瞳孔反射，穿过形成在多通道透镜的中心处的孔，然后透射通过形成在显示单元中的透射区域的光聚焦在相机传感器上；以及基于由相机传感器接收的光来计算用户的瞳孔的位置。
附图说明
7.通过参照附图详细描述本发明的实施例，本发明的上述和其他特征将变得更加明显，其中：
8.图1是根据实施例的显示装置的透视图；
9.图2是根据实施例的多个透镜和显示单元的平面图；
10.图3是根据实施例的第一透镜的透视图；
11.图4是根据实施例的显示单元的平面图；
12.图5是根据实施例的沿着图2的线a-a'截取的剖视图；
13.图6是根据实施例的图4的部分p1的平面图；
14.图7是根据实施例的沿着图6的线b-b'截取的剖视图；
15.图8是根据实施例的图4的部分p1的平面图；
16.图9是根据实施例的显示装置的剖视图；
17.图10是根据实施例的显示装置的剖视图；
18.图11是根据实施例的图10的部分p2的剖视图；以及
19.图12是示出根据实施例的控制显示装置的方法的流程图。
具体实施方式
20.在下文中将参照附图更充分地描述本发明的实施例。贯穿附图，同样的附图标记可以指同样的元件。
21.将理解的是，当诸如膜、区域、层或元件的组件被称为“在”另一组件“上”、“连接到”、“结合到”或“邻近于”另一组件时，该组件可以直接在另一组件上、连接到另一组件、结合到另一组件或邻近于另一组件，或者可以存在居间组件。也将理解的是，当组件被称为“在”两个组件“之间”时，该组件可以是两个组件之间的唯一组件，或者也可以存在一个或更多个居间组件。也将理解的是，当组件被称为“覆盖”另一组件时，该组件可以是覆盖另一组件的唯一组件，或者一个或更多个居间组件也可以覆盖另一组件。用于描述组件之间的关系的其他词语应当以同样的方式解释。
22.将理解的是，术语“第一”、“第二”、“第三”等在这里用于将一个元件与另一个元件区分开，并且元件不受这些术语限制。因此，实施例中的“第一”元件可以在另一个实施例中被描述为“第二”元件。
23.应当理解的是，除非上下文另外清楚地指出，否则每个实施例中的特征或方面的描述通常应当被认为可用于其他实施例中的其他相似的特征或方面。
24.如在这里使用的，除非上下文另外清楚地指出，否则单数形式的“一”、“一个(种者)”和“所述(该)”也意图包括复数形式。
25.在这里，当两个或更多个元件或值被描述为彼此基本上相同或彼此大约相等时，将理解的是：元件或值彼此相同；元件或值在测量误差内彼此相等；或者如果可测量地不相等，则如本领域普通技术人员将理解的，在值上足够接近以在功能上彼此相等。例如，考虑到所讨论的测量和与特定量的测量相关的误差(例如，测量系统的限制)，在这里使用的术语“约”包括所陈述的值，并且意指在本领域普通技术人员确定的特定值的偏差的可接受范围内。例如，如本领域普通技术人员所理解的，“约”可以意指在一个或更多个标准偏差内。这些术语的其他用法和用于描述组件之间的关系的相似术语应当以同样的方式解释。
26.图1是根据实施例的显示装置1的透视图。
27.下面将描述的显示装置1可以包括戴在用户的头上以向用户提供在其上显示图像或视频的屏幕的头戴式显示器。
28.头戴式显示器可以包括基于实际外部对象提供增强现实(ar)的透视型头戴式显示器以及用独立于外部对象的屏幕向用户提供虚拟现实(vr)的闭视型头戴式显示器。下面将描述闭视型头戴式显示器作为示例。然而，本公开的实施例不限于此。
29.参照图1，显示装置1可以包括主框架mf、显示单元dp、包括第一透镜ls1和第二透
镜ls2的多通道透镜ls和盖框架cf。
30.主框架mf可以穿戴在用户的头上，并且可以具有与用户的头的形状对应的形状。
31.第一透镜ls1、第二透镜ls2、显示单元dp和盖框架cf可以安装在主框架mf上。主框架mf可以包括其中可以容置显示单元dp、第一透镜ls1和第二透镜ls2的空间或结构。在实施例中，主框架mf还可以包括诸如条带或带子的结构，以将主框架mf固定到用户的头。在实施例中，控制单元、图像处理单元和透镜壳体单元可以进一步安装在主框架mf上。
32.显示单元dp显示图像和/或视频。显示单元dp可以包括其上显示图像和/或视频的前表面dp_fs和与前表面dp_fs相对的后表面dp_rs。用于提供图像和/或视频的光可以从显示单元dp的前表面dp_fs发射。因此，前表面dp_fs可以被描述为发射光的表面。如下面将描述的，第一透镜ls1和第二透镜ls2可以设置在显示单元dp的前表面dp_fs上，多个相机传感器ifr_c1和ifr_c2(见图4和图5)可以设置在显示单元dp的后表面dp_rs上。
33.显示单元dp可以固定到主框架mf，或者可以从主框架mf拆卸。根据显示装置1的设计(例如，显示装置1的类型)，显示单元dp可以是不透明的、透明的或半透明的。显示单元dp可以包括诸如包括将在下面描述的显示面板的显示模块的电子组件，或者可以包括诸如包括显示面板的移动终端的显示器件。
34.显示单元dp可以包括用于显示图像或视频的显示面板。
35.显示面板可以是包括发光元件的发光显示面板。例如，显示面板可以是使用包括有机发光层的有机发光二极管的有机发光显示面板、使用微型发光二极管的微型发光二极管显示面板、使用包括量子点发光层的量子点发光二极管的量子点发光显示面板或使用包括无机半导体的无机发光元件的无机发光显示面板。下面将描述有机发光显示面板作为显示面板的示例。然而，本公开的实施例不限于此。
36.多通道透镜ls可以通过允许光从中穿过而向用户提供从显示单元dp发射的光。多通道透镜ls可以提供从显示单元dp发射的光穿过的多个通道。通道可以通过允许光穿过不同的路径而将从显示单元dp发射的光提供给用户。从显示单元dp发射的光可以入射在通道中的每个上。因此，放大的图像可以聚焦在用户的眼睛上。
37.在实施例中，多通道透镜ls中的每个被例示为置于用户的眼睛与显示单元dp的前表面dp_fs之间的聚焦光学系统。然而，本公开的实施例不限于此。聚焦光学系统也可以包括诸如以凸透镜、凹透镜、球面透镜、非球面透镜、单透镜、复合透镜、标准透镜、窄角透镜、广角透镜、定焦透镜和变焦透镜为例的各种类型的透镜。
38.多通道透镜ls的第一透镜ls1和第二透镜ls2可以设置在显示单元dp的前表面dp_fs上。第一透镜ls1和第二透镜ls2可以布置在显示单元dp的前表面dp_fs上以对应于用户的左眼和右眼的位置。第一透镜ls1和第二透镜ls2可以容置在主框架mf中。
39.第一透镜ls1和第二透镜ls2可以反射和/或折射光用于提供显示在显示单元dp上的图像和/或视频，并且将反射和/或折射的光提供给用户。如下面将描述的，多个光源ifr_l1至ifr_l8(见图2)可以设置在第一透镜ls1的面向主框架mf(用户的眼睛)的一侧和第二透镜ls2的面向主框架mf(用户的眼睛)的一侧上。
40.盖框架cf可以设置在显示单元dp的后表面dp_rs上，并且可以保护显示单元dp。下面将要描述的多个相机传感器ifr_c1和ifr_c2(见图4和图5)可以置于盖框架cf与显示单元dp之间。然而，本公开的实施例不限于此。
41.在实施例中，显示装置1还可以包括控制显示装置1的整体操作的控制单元。
42.控制单元可以控制显示单元dp、光源ifr_l1至ifr_l8(见图2)以及相机传感器ifr_c1和ifr_c2(见图4和图5)中的至少一者的操作。控制单元可以执行操作以分析由相机传感器ifr_c1和ifr_c2(见图4和图5)获得的图像，计算用户的瞳孔pp(见图5)的位置，计算用户的注视方向，基于用户的瞳孔pp的位置(注视方向)执行图像处理(图像映射)，并且显示由显示单元dp处理的图像。
43.控制单元可以被实施为但不限于包括嵌入式处理器的专用处理器和/或包括中央处理单元或应用处理器的通用处理器。
44.图2是根据实施例的多个透镜ls1和ls2以及显示单元dp的平面图。图3是根据实施例的第一透镜ls1的透视图。图4是根据实施例的显示单元dp的平面图。图5是根据实施例的沿着图2的线a-a'截取的剖视图。图6是根据实施例的图4的部分p1的平面图。图7是根据实施例的沿着图6的线b-b'截取的剖视图。
45.参照图1和图2，如图2中所示，第一透镜ls1和第二透镜ls2可以设置在显示单元dp的前表面dp_fs上，并且可以分别位于对应于用户的眼睛中的每只的位置处。
46.例如，在平面图中，显示单元dp可以具有在左右方向(图2中的水平方向)上长(纵向延伸)的基本上矩形形状，第一透镜ls1可以位于显示单元dp的前表面dp_fs上的一侧(图2中的左侧)上，第二透镜ls2可以位于显示单元dp的前表面dp_fs上的另一侧(图2中的右侧)上。在实施例中，第一透镜ls1和第二透镜ls2可以相对于显示单元dp的中心对称地设置，并且可以具有基本上相同或相似的结构。然而，本公开的实施例不限于此。
47.参照图2、图3和图5，第一透镜ls1可以包括多个子透镜ls11至ls14，第二透镜ls2可以包括多个子透镜ls21至ls24。子透镜ls11至ls14中的每个可以包括形成第一透镜ls1的一部分的小透镜，子透镜ls21至ls24中的每个可以包括形成第二透镜ls2的一部分的小透镜。
48.在实施例中，第一透镜ls1可以包括第一子透镜ls11、第二子透镜ls12、第三子透镜ls13和第四子透镜ls14。第二透镜ls2可以包括第五子透镜ls21、第六子透镜ls22、第七子透镜ls23和第八子透镜ls24。然而，子透镜ls11至ls14和ls21至ls24的数量不限于此。
49.在实施例中，第二透镜ls2与第一透镜ls1基本上相同或相似。因此，为了便于说明，下面将主要描述第一透镜ls1，并且将省略对第二透镜ls2的冗余描述。
50.参照图2，在平面图中，第一透镜ls1可以具有基本上圆形形状。在平面图中，第一子透镜ls11、第二子透镜ls12、第三子透镜ls13和第四子透镜ls14可以例如布置为四叶草形状，以围绕圆形形状的中心。
51.例如，如图2中所示，第一子透镜ls11、第二子透镜ls12、第三子透镜ls13和第四子透镜ls14可以分别设置在第一透镜ls1的中心的右上侧、左上侧、左下侧和右下侧上。第一子透镜ls11、第二子透镜ls12、第三子透镜ls13和第四子透镜ls14可以彼此一体地连接或者可以彼此分离。
52.图3的部分(a)是第一透镜ls1的面向用户的眼睛的一侧的透视图。图3的部分(b)是第一透镜ls1的面向显示单元dp的另一侧的透视图。
53.参照图3，第一透镜ls1可以具有基本上半球形形状。第一透镜ls1的面向主框架mf(或用户的眼睛)的一侧可以具有凸形状，第一透镜ls1的面向显示单元dp的另一侧可以具
有凹形状。
54.参照图2和图3，穿透第一透镜ls1的第一孔h1可以设置在第一透镜ls1的中心处。
55.第一孔h1可以在厚度方向上穿透第一透镜ls1。厚度方向可以是显示单元dp的厚度方向、用户注视显示单元dp所沿的方向和/或基本上垂直于显示单元dp的前表面dp_fs(显示单元dp的后表面dp_rs)的方向。在平面图中，第一孔h1可以位于第一透镜ls1的中心处，并且可以被第一子透镜ls11、第二子透镜ls12、第三子透镜ls13和第四子透镜ls14围绕。如下面将描述的，从用户的瞳孔pp(见图5)反射的光可以穿过第一孔h1。例如，在平面图中，第一孔h1可以具有圆形形状，并且第一孔h1的直径可以为约0.5mm。然而，第一孔h1的形状和尺寸不限于此。
56.第一中心透镜cls1可以设置在第一孔h1中。第一中心透镜cls1可以安装在第一孔h1中。第一中心透镜cls1可以包括诸如以凸透镜和凹透镜为例的各种类型的透镜。第一中心透镜cls1可以通过适当地折射和/或反射光ifr(见图5)来使从用户的瞳孔pp(见图5)反射的光ifr聚焦在第一相机传感器ifr_c1上，从而减小显示装置1的厚度。然而，本公开的实施例不限于此。在实施例中，第一孔h1可以保持为空的(例如，可以填充有空气)。
57.仍参照图2和图3，与第一透镜ls1相同，第二透镜ls2可以具有基本上半球形形状。在平面图中，第二透镜ls2的第五子透镜ls21、第六子透镜ls22、第七子透镜ls23和第八子透镜ls24可以例如布置为四叶草形状，以围绕第二透镜ls2的中心。与第一透镜ls1的第一孔h1相同，穿透第二透镜ls2并且被第五子透镜ls21、第六子透镜ls22、第七子透镜ls23和第八子透镜ls24围绕的第二孔h2可以设置在第二透镜ls2的中心处。与第一中心透镜cls1基本上相同或相似的第二中心透镜cls2可以设置在第二孔h2中，或者第二孔h2可以保持为空的(例如，可以填充有空气)。
58.仍参照图2、图3和图5，子透镜ls11至ls14和ls21至ls24可以提供从显示单元dp的前表面dp_fs发射的光穿过的多个通道。从显示单元dp的前表面dp_fs的不同区域发射的光可以通过不同的路径穿过通道。子透镜ls11至ls14和ls21至ls24可以将从显示单元dp的前表面dp_fs的不同区域发射的光放大为具有相同的放大率或具有不同的放大率。穿过子透镜ls11至ls14和ls21至ls24中的每个的光可以包括用于形成完整vr图像(或完整vr视频)的部分视频和/或部分图像，并且可以聚焦在用户的瞳孔pp上以向用户提供一个完整vr图像(或完整vr视频)。
59.例如，如图5中所示，第一子透镜ls11可以提供从显示单元dp的区域(例如，图5的显示单元dp的上部)发射的光img1穿过的通道，第四子透镜ls14可以提供从显示单元dp的另一区域(例如，图5的显示单元dp的下部)发射的光img2穿过的通道。显示单元dp的上述区域可以分别包括在厚度方向上与第一子透镜ls11叠置的区域和与第四子透镜ls14叠置的区域。
60.相似地，在实施例中，与第一子透镜ls11和第四子透镜ls14相同，第二子透镜ls12和第三子透镜ls13可以分别提供从显示单元dp的不同区域发射的光穿过的通道。
61.在实施例中，穿过子透镜ls11至ls14和ls21至ls24中的每个的光可以通过两次折射和两次反射提供给用户。然而，本公开的实施例不限于此。
62.参照图2和图5，显示装置1还可以包括多个光源ifr_l1至ifr_l8。
63.光源ifr_l1至ifr_l8可以设置在第一透镜ls1和第二透镜ls2上。光源ifr_l1至
ifr_l8可以设置在第一透镜ls1的面向主框架mf(或用户的眼睛)的凸侧和第二透镜ls2的面向主框架mf(或用户的眼睛)的凸侧上。
64.光源ifr_l1至ifr_l8可以发射用于检测用户的瞳孔pp(见图5)的位置的光ifr。光源ifr_l1至ifr_l8可以发射例如红外光或可见光。然而，本公开的实施例不限于此。
65.光源ifr_l1至ifr_l8可以包括第一光源ifr_l1、第二光源ifr_l2、第三光源ifr_l3、第四光源ifr_l4、第五光源ifr_l5、第六光源ifr_l6、第七光源ifr_l7和第八光源ifr_l8。
66.第一光源ifr_l1、第二光源ifr_l2、第三光源ifr_l3、第四光源ifr_l4、第五光源ifr_l5、第六光源ifr_l6、第七光源ifr_l7和第八光源ifr_l8可以分别设置在第一子透镜ls11、第二子透镜ls12、第三子透镜ls13、第四子透镜ls14、第五子透镜ls21、第六子透镜ls22、第七子透镜ls23和第八子透镜ls24上。
67.如所示，在实施例中，八个光源ifr_l1至ifr_l8分别设置在子透镜ls11至ls14和ls21至ls24上。然而，本公开的实施例不限于此。例如，根据实施例，光源ifr_l1至ifr_l8的数量可以大于或小于八，并且光源ifr_l1至ifr_l8可以仅设置在子透镜ls11至ls14和ls21至ls24中的一些上。
68.如图2中所示，在平面图中，第一光源ifr_l1、第二光源ifr_l2、第三光源ifr_l3和第四光源ifr_l4可以位于第一透镜ls1的边界内，并且可以围绕第一透镜ls1的中心和/或第一孔h1。在平面图中，第五光源ifr_l5、第六光源ifr_l6、第七光源ifr_l7和第八光源ifr_l8可以位于第二透镜ls2的边界内，并且可以围绕第二透镜ls2的中心和/或第二孔h2。
69.如图5中所示，在剖视图中，第一光源ifr_l1和第四光源ifr_l4可以分别设置在第一子透镜ls11的倾斜表面和第四子透镜ls14的倾斜表面上。第一子透镜ls11的倾斜表面和第四子透镜ls14的倾斜表面可以从显示单元dp朝向用户的眼球eb延伸，使得第一透镜ls1的宽度减小。第一透镜ls1的宽度可以是在与厚度方向和/或用户的注视方向相交的方向(例如，图5中的竖直方向)上测量的宽度。
70.相似地，在实施例中，第二光源ifr_l2和第三光源ifr_l3可以分别以与第一光源ifr_l1和第四光源ifr_l4基本上相同或相似的方式设置在第二子透镜ls12和第三子透镜ls13上。另外，第五光源ifr_l5、第六光源ifr_l6、第七光源ifr_l7和第八光源ifr_l8可以分别以与第一光源ifr_l1、第二光源ifr_l2、第三光源ifr_l3和第四光源ifr_l4基本上相同或相似的方式设置在第五子透镜ls21、第六子透镜ls22、第七子透镜ls23和第八子透镜ls24上。
71.参照图4和图5，显示装置1还可以包括相机传感器ifr_c1和ifr_c2。尽管两个相机传感器例示为根据实施例的相机传感器ifr_c1和ifr_c2，但是本公开的实施例不限于此。
72.相机传感器ifr_c1和ifr_c2可以设置在显示单元dp的后表面dp_rs上。相机传感器ifr_c1和ifr_c2可以包括能够检测从用户的瞳孔pp反射的光ifr的各种类型的相机或图像传感器。相机传感器ifr_c1和ifr_c2可以捕获前方的图像。可以基于捕获的图像来计算用户的瞳孔pp的位置和用户的注视方向。在实施例中，相机传感器ifr_c1和ifr_c2中的每个可以是但不限于红外相机。
73.第一相机传感器ifr_c1可以与第一透镜ls1叠置，且第二相机传感器ifr_c2可以与第二透镜ls2叠置。
74.如图4中所示，在平面图中，第一相机传感器ifr_c1和第二相机传感器ifr_c2可以在厚度方向上分别与第一透镜ls1的中心和第二透镜ls2的中心叠置。第一相机传感器ifr_c1和第二相机传感器ifr_c2可以设置在显示单元dp的后表面dp_rs上，以分别与下面将描述的第一透射区域tr1和第二透射区域tr2叠置。
75.如图5中所示，在剖视图中，第一相机传感器ifr_c1可以在厚度方向上与第一孔h1叠置。第一相机传感器ifr_c1可以与穿过第一中心透镜cls1、第一孔h1和用户的眼球eb的中心的虚拟参考线rl叠置。相似地，在实施例中，在剖视图中，第二相机传感器ifr_c2可以在厚度方向上与第二孔h2叠置。
76.仍参照图5，显示装置1还可以包括置于第一相机传感器ifr_c1与显示单元dp之间的第一传感器透镜sl。
77.如图5中所示，在剖视图中，第一传感器透镜sl可以置于第一相机传感器ifr_c1与第一透射区域tr1之间，将在下面进一步描述第一透射区域tr1。第一传感器透镜sl可以折射和/或反射穿过第一透射区域tr1的光ifr，以进入第一相机传感器ifr_c1。第一传感器透镜sl可以包括诸如以凸透镜和凹透镜为例的各种类型的透镜。
78.第一传感器透镜sl可以包括可以将从用户的瞳孔pp反射的红外光聚焦到第一相机传感器ifr_c1上的聚焦光学系统。第一传感器透镜sl也可以与第一中心透镜cls1一起形成聚焦光学系统。相似地，在实施例中，显示装置1还可以包括第二传感器透镜，第二传感器透镜设置在第二相机传感器ifr_c2与第二透射区域tr2之间，并且将穿过第二透射区域tr2的光ifr聚焦到第二相机传感器ifr_c2上，将在下面进一步描述第二透射区域tr2。
79.参照图4、图5、图6和图7，显示装置1可以包括包含第一透射区域tr1和第二透射区域tr2的多个透射区域。尽管两个透射区域tr1和tr2被例示为透射区域tr1和tr2，但是本公开的实施例不限于此。
80.透射区域tr1和tr2可以透射入射在显示单元dp的前表面dp_fs上的光中的大部分。透射区域tr1和tr2可以选择性地透射特定波长区域中的光(例如，红外光)。然而，本公开的实施例不限于此。通过透射区域tr1和tr2透射的光ifr可以被发送到设置在显示单元dp的后表面dp_rs上的相机传感器ifr_c1和ifr_c2。
81.第一透射区域tr1可以与第一透镜ls1叠置，第二透射区域tr2可以与第二透镜ls2叠置。
82.如图4中所示，在平面图中，第一透射区域tr1和第二透射区域tr2可以分别在厚度方向上与第一透镜ls1的中心和第二透镜ls2的中心叠置。
83.如图5中所示，在剖视图中，第一透射区域tr1可以在厚度方向上与第一相机传感器ifr_c1和第一孔h1(第一中心透镜cls1)叠置。第一透射区域tr1可以置于第一孔h1(第一中心透镜cls1)与第一相机传感器ifr_c1之间。第一透射区域tr1可以与穿过第一相机传感器ifr_c1、第一孔h1(第一中心透镜cls1)和用户的眼球eb的中心的虚拟参考线rl叠置。相似地，在实施例中，在剖视图中，第二透射区域tr2可以在厚度方向上与第二相机传感器ifr_c2和第二孔h2(第二中心透镜cls2)叠置。
84.在实施例中，透射区域tr1和tr2具有基本上相同或相似的结构。因此，为了便于说明，下面将主要描述第一透射区域tr1，并且将省略第二透射区域tr2的冗余描述。
85.参照图6，显示单元dp可以包括多个像素px。在实施例中，像素px中的至少一些不
设置在第一透射区域tr1中。也就是说，在实施例中，像素px中的至少一些可以从第一透射区域tr1移除。
86.在实施例中，像素px不设置在第一透射区域tr1中，并且穿透构成显示单元dp的多个层中的至少一些的透射孔th可以形成。透射孔th可以表示特定波长区域中的光(例如，红外光)穿过的窗。在图6中，透射孔th在平面图中可以具有圆形形状。然而，本公开的实施例不限于此。
87.参照图7，如上所述，显示单元dp可以包括显示面板。
88.显示面板可以包括基底sub、设置在基底sub上的多个导电层、使导电层彼此绝缘的多个绝缘层111、112、113、via1和via2以及发光层el。
89.基底sub可以设置为遍及显示区域和非显示区域。基底sub可以是包括柔性材料(诸如柔性的玻璃或聚酰亚胺)的柔性基底sub。在图7中，基底sub被示出为单层。然而，本公开的实施例不限于此。在实施例中，基底sub可以包括多个层，例如，多个聚酰亚胺基底层和置于其间的至少一个阻挡层。
90.缓冲层bf可以设置在基底sub上。缓冲层bf可以防止湿气和氧从显示单元dp的外部通过基底sub渗透。缓冲层bf可以包括例如氮化硅(sin
x
)层、氧化硅(sio2)层和氮氧化硅(sio
x
ny)层中的任何一种。
91.半导体层105可以设置在缓冲层bf上。半导体层105形成薄膜晶体管(tft)的沟道。半导体层105可以设置在显示区域的每个像素px中，并且在一些情况下，也可以设置在非显示区域中。半导体层105可以包括多晶硅。
92.第一绝缘层111可以设置在半导体层105上。第一绝缘层111可以设置为遍及整个基底sub。第一绝缘层111可以是具有栅极绝缘功能的栅极绝缘膜。
93.第一绝缘层111可以包括例如硅化合物、金属氧化物等。例如，第一绝缘层111可以包括氧化硅、氮化硅、氮氧化硅、氧化铝、氧化钽、氧化铪、氧化锆、氧化钛等。这些材料可以单独使用或彼此组合使用。
94.多个导电层之中的第一导电层可以设置在第一绝缘层111上。第一导电层可以包括薄膜晶体管(tft)的栅电极ge和存储电容器的第一电极ce1。在实施例中，可以设置多个栅电极ge，并且至少一个绝缘层置于它们之间。
95.第一导电层可以包括选自例如钼(mo)、铝(al)、铂(pt)、钯(pd)、银(ag)、镁(mg)、金(au)、镍(ni)、钕(nd)、铱(ir)、铬(cr)、钙(ca)、钛(ti)、钽(ta)、钨(w)和铜(cu)的一种或更多种金属。第一导电层可以是由上述材料中的任何一种或更多种制成的单层或堆叠层。
96.第二绝缘层112可以设置在第一导电层上。第二绝缘层112可以使第一导电层与多个导电层之中的第二导电层绝缘。第二绝缘层112可以选自上面参照第一绝缘层111描述的示例材料。
97.第二导电层可以设置在第二绝缘层112上。第二导电层可以包括存储电容器的第二电极ce2。第二导电层的材料可以选自上述第一导电层的示例材料。存储电容器的第一电极ce1和存储电容器的第二电极ce2可以通过第二绝缘层112形成电容器。
98.第三绝缘层113可以设置在第二导电层上。第三绝缘层113可以包括上述第一绝缘层111的示例材料中的至少一种。在一些实施例中，第三绝缘层113可以包括有机绝缘材料。有机绝缘材料可以选自将在下面描述的第一过孔层via1的示例材料。
99.第三导电层可以设置在第三绝缘层113上。第三导电层可以包括源电极se、漏电极de、高电位电压电极elvdde和信号线垫(pad，也被称为焊盘)。
100.第三导电层可以包括例如钼(mo)、铝(al)、铂(pt)、钯(pd)、银(ag)、镁(mg)、金(au)、镍(ni)、钕(nd)、铱(ir)、铬(cr)、钙(ca)、钛(ti)、钽(ta)、钨(w)和铜(cu)中的至少任何一种。第三导电层可以是由上述示例材料中的任何一种制成的单层。然而，本公开的实施例不限于此。例如，在实施例中，第三导电层可以是堆叠层。例如，第三导电层可以具有ti/al/ti、mo/al/mo、mo/alge/mo或ti/cu的堆叠结构。在实施例中，第三导电层可以包括ti/al/ti。
101.第一过孔层via1可以设置在第三导电层上。第一过孔层via1可以包括有机绝缘材料。有机绝缘材料可以包括例如聚丙烯酸酯树脂、环氧树脂、酚醛树脂、聚酰胺树脂、聚酰亚胺树脂、不饱和聚酯树脂、聚苯醚树脂、聚苯硫醚树脂和苯并环丁烯(bcb)中的至少任何一种。
102.第四导电层可以设置在第一过孔层via1上。第四导电层可以包括数据线dl、连接电极cne和高电位电压线elvddl。数据线dl可以通过穿透第一过孔层via1的接触孔电连接到薄膜晶体管(tft)的源电极se。连接电极cne可以通过穿透第一过孔层via1的接触孔电连接到薄膜晶体管(tft)的漏电极de。高电位电压线elvddl可以通过穿透第一过孔层via1的接触孔电连接到高电位电压电极elvdde。第四导电层可以包括选自第三导电层的示例材料的材料。
103.第二过孔层via2可以设置在第四导电层上。第二过孔层via2可以包括上述第一过孔层via1的示例材料中的至少一种。
104.阳极ano可以设置在第二过孔层via2上。阳极ano可以通过穿透第二过孔层via2的接触孔电连接到连接电极cne。
105.堤层bank可以设置在阳极ano上。堤层bank可以包括暴露阳极ano的接触孔。堤层bank可以由有机绝缘材料或无机绝缘材料制成。例如，堤层bank可以包括光致抗蚀剂、聚酰亚胺树脂、丙烯酸树脂、聚硅氧烷化合物和聚丙烯酸树脂中的至少一种。如图7中所示，像素px可以由暴露发光层el的堤层bank的开口限定。
106.发光层el可以设置在阳极ano的上表面上和堤层bank的开口中。阴极cat设置在发光层el和堤层bank上。阴极cat可以是遍及像素px设置的公共电极。
107.薄膜封装层170可以设置在阴极cat上。薄膜封装层170可以覆盖有机发光二极管(oled)。薄膜封装层170可以是其中无机层和有机层交替堆叠的堆叠层。例如，薄膜封装层170可以包括顺序地堆叠的第一封装无机层171、封装有机层172和第二封装无机层173。
108.在实施例中，显示面板还可以包括设置在基底sub的下表面上的下面板片。下面板片可以包括诸如以数字转换器、散热构件、屏蔽构件和缓冲构件为例的至少一个功能层。
109.参照图4至图7，第一透射区域tr1可以包括如上所述的透射孔th。透射孔th可以在厚度方向上穿透构成显示单元dp(显示面板)的多个层中的至少一个。
110.在实施例中，透射孔th可以穿透第一过孔层via1、第二过孔层via2和堤层bank，并且可以暴露第三绝缘层113。在这种情况下，第一封装无机层171可以直接接触第三绝缘层113，透射孔th可以填充有封装有机层172。
111.然而，本公开的实施例不限于此。例如，在实施例中，透射孔th可以形成为进一步
穿透至少一层，例如，设置在第一过孔层via1下方的第三绝缘层113，或者可以形成为仅穿透到堤层bank和/或第二过孔层via2。可选择地，透射孔th可以形成为完全穿透显示面板。
112.第二透射区域tr2具有与第一透射区域tr1基本上相同或相似的结构，因此，为了便于说明，省略其冗余描述。
113.在根据实施例的显示装置1中，光源ifr_l1至ifr_l8设置在第一透镜ls1的与用户的眼球eb相邻的一侧和第二透镜ls2的与用户的眼球eb相邻的一侧，相机传感器ifr_c1和ifr_c2设置在眼球eb的前方以与显示单元dp的透射区域tr1和tr2叠置。因此，根据实施例，可以省略对由相机传感器ifr_c1和ifr_c2获得的图像执行误差校正。另外，当用户穿戴显示装置1时，可以防止或减少光源ifr_l1至ifr_l8与用户之间的干扰和/或相机传感器ifr_c1和ifr_c2与用户之间的干扰。
114.图8是根据实施例的图4的部分p1的平面图。
115.参照图8，与图6的实施例中不同，至少一个像素px可以设置在第一透射区域tr1中。换句话说，在平面图中，多个像素px可以例如以点阵形状和/或矩阵形状以规则间隔布置，但是位于第一透射区域tr1中的像素px中的一些可以移除。也就是说，第一透射区域tr1中的每单位面积的像素px的数量可以小于从其中设置显示单元dp的像素px的区域中排除第一透射区域tr1的区域(例如，显示单元dp(显示面板)的前表面dp_fs的至少一部分)中的每单位面积的像素px的数量。
116.位于第一透射区域tr1中的像素px可以以像素组为单位移除。像素组可以包括发射不同颜色的光的像素px。例如，像素组可以包括发射第一光的一个像素px、发射第二光的一个像素px和发射第三光的两个像素px。然而，本公开的实施例不限于此。
117.多个透射孔th可以设置在第一透射区域tr1中。像素px可以设置在透射孔th之间。透射孔th可以具有与图7的透射孔th基本上相同或相似的结构。在平面图中，透射孔th中的每个可以具有基本上“l”形状。然而，本公开的实施例不限于此。透射孔th可以具有诸如以包括四边形和三角形的多边形、圆形和椭圆形为例的各种形状。
118.相似地，在实施例中，多个像素px和设置在像素px之间的多个透射孔th可以设置在第二透射区域tr2中。
119.除了像素px设置在第一透射区域tr1中之外，根据图8的实施例与根据图1至图7的实施例基本上相同或相似。因此，为了便于说明，省略其冗余描述。
120.图9是根据实施例的显示装置1的剖视图。为了便于说明，可以省略先前参照图5描述的元件和技术方面的进一步描述。
121.参照图9，多个光源还可以包括设置在第一透镜ls1的第一孔h1中的光源ifr_lc。在这种情况下，可以省略第一光源ifr_l1至第四光源ifr_l4。然而，本公开的实施例不限于此。
122.在剖视图中，光源ifr_lc可以在厚度方向上与第一孔h1叠置。在剖视图中，光源ifr_lc可以与穿过第一相机传感器ifr_c1、第一透射区域tr1、第一孔h1和用户的眼球eb的中心的虚拟参考线rl叠置。
123.光源ifr_lc可以安装在第一孔h1中，并且可以设置为不从第一透镜ls1的与用户的眼球eb相邻的一侧朝向用户的眼球eb突出。光源ifr_lc可以设置在第一透镜ls1的面向显示单元dp并且具有凹形状的另一侧与显示单元dp的前表面dp_fs之间的空间中。
124.如上所述，光源ifr_lc可以发射用于检测瞳孔pp的位置的光，例如，朝向用户的眼球eb的红外光和/或紫外光。
125.在实施例中，与设置在第一孔h1中的光源ifr_lc基本上相同或相似的光源ifr_lc也可以设置在第二透镜ls2的第二孔h2中。
126.如图9中所示，由于光源ifr_lc设置在第一孔h1中，因此由第一孔h1的尺寸和第一传感器透镜sl的尺寸限制的第一相机传感器ifr_c1的视角可以增大。另外，由于在根据图9的实施例中使用比在根据图1至图7的实施例中更小数量的光源ifr_lc，因此可以有效布置光源ifr_lc。
127.除了光源ifr_lc的布置之外，根据图9的实施例与根据图1至图7的实施例基本上相同或相似，因此，为了便于说明，省略其冗余描述。
128.图10是根据实施例的显示装置1的剖视图。图11是根据实施例的图10的部分p2的剖视图。为了便于说明，可以省略先前参照图5和图7描述的元件和技术方面的进一步描述。
129.参照图10，显示装置1还可以包括设置在第一透射区域tr1中的多个微透镜sl_m。
130.微透镜sl_m可以通过折射和/或反射光ifr而将入射在第一透射区域tr1中的光ifr聚焦在第一相机传感器ifr_c1上。在实施例中，当设置微透镜sl_m时，省略第一传感器透镜sl。因此，可以减小显示装置1的整体厚度。
131.在第一透射区域tr1中，微透镜sl_m可以使用例如模具制造，或者可以使用滴加并固化包含高粘性光反应性聚合物的微滴的方法来形成。然而，本公开的实施例不限于此。
132.参照图11，微透镜sl_m可以设置在透射孔th中。尽管为了易于描述在图11中示出了一个微透镜sl_m，但是本公开的实施例不限于此。例如，在实施例中，两个或更多个微透镜sl_m可以设置在透射孔th中。
133.微透镜sl_m可以设置在显示面板的基底sub上。第一相机传感器ifr_c1可以在厚度方向上与微透镜sl_m叠置，且基底sub置于第一相机传感器ifr_c1与微透镜sl_m之间。每个微透镜sl_m的曲率可以由基底sub的厚度和堆叠在基底sub与微透镜sl_m之间的至少一层的厚度确定。由于省略了第一传感器透镜sl，并且第一相机传感器ifr_c1与显示单元dp的后表面dp_rs(基底sub)紧密接触，因此可以减小显示装置1的厚度。
134.在图11中，微透镜sl_m直接设置在第一封装无机层171上。然而，本公开的实施例不限于此。其上设置有微透镜sl_m的层可以根据透射孔th穿透到的深度和/或穿透过的层而变化。例如，微透镜sl_m可以直接设置在基底sub、缓冲层bf、第一绝缘层111、第二绝缘层112、第三绝缘层113或第二封装无机层173上。然而，本公开的实施例不限于此。
135.除了微透镜sl_m的布置之外，根据图11的实施例与根据图1至图7的实施例基本上相同或相似，因此，为了便于说明，省略其冗余描述。
136.图12是示出根据实施例的控制显示装置1的方法的流程图。
137.控制显示装置的以下方法可以由控制单元执行。
138.参照图1至图12，根据实施例的控制显示装置1的方法可以包括：从设置在多通道透镜ls上的光源ifr_l1至ifr_l4或ifr_l5至ifr_l8朝向用户的瞳孔pp发射光ifr(s1201)；将从用户的瞳孔pp反射，穿过形成在多通道透镜ls的中心处的孔h1或h2，然后透射通过形成在显示单元dp中的透射区域tr1或tr2的光ifr聚焦在相机传感器ifr_c1或ifr_c2上(s1202)；以及基于由相机传感器ifr_c1或ifr_c2接收的光ifr来计算用户的瞳孔pp的位置
(s1203)。
139.根据实施例的控制显示装置的方法不限于上述示例。例如，根据实施例，可以省略上述操作中的至少一些，或者可以参照本公开中的其他描述进一步包括至少一个其他操作。
140.由于显示装置1具有对应于用户的双眼的对称结构，因此下面将主要描述第一透镜ls1、第一透射区域tr1、第一相机传感器ifr_c1以及与它们相邻的元件，其中的全部对应于用户的一只眼睛。
141.参照图1、图2和图5，在实施例中，确定用户是否穿戴显示装置1。当用户穿戴显示装置1时，可以从光源ifr_l1至ifr_l8朝向用户的眼球eb发射光ifr(例如，红外光)。
142.如图5中所示，从光源ifr_l1至ifr_l4发射的光ifr可以从用户的眼球eb反射以穿过第一孔h1。穿过第一孔h1的光ifr可以被第一中心透镜cls1折射和/或反射以进入第一透射区域tr1。
143.参照图9，当第一中心透镜cls1未安装在第一孔h1中时，从用户的眼球eb反射的光ifr可以在其即将进入第一透射区域tr1时穿过第一孔h1。
144.仍参照图9，当光源ifr_lc安装在第一孔h1中时，从用户的眼球eb反射的光ifr可以入射在第一透镜ls1上。入射在第一透镜ls1上的光ifr可以被第一透镜ls1折射和/或反射，以进入第一透射区域tr1。
145.再次参照图5，入射在第一透射区域tr1中的光ifr可以穿过第一透射区域tr1以进入第一传感器透镜sl。入射在第一传感器透镜sl上的光ifr可以被第一传感器透镜sl折射和/或反射，从而聚焦在第一相机传感器ifr_c1上。
146.参照图10，入射在第一透射区域tr1中的光ifr可以被多个微透镜折射和/或反射，从而聚焦在第一相机传感器ifr_c1上。
147.再次参照图5，第一相机传感器ifr_c1可以通过拍摄入射的光ifr来获得用于计算用户的注视方向的图像。可以处理捕获的图像以有效地捕获用户的眼球eb的特征点并且校正由于透镜等引起的失真。
148.在处理图像之后，可以确定处理的图像是否包含用户的瞳孔pp。当处理的图像包含用户的瞳孔pp时，可以识别用户的瞳孔pp的位置。可以通过应用各种眼睛跟踪方法来识别用户的瞳孔pp的位置，诸如以其中使用用户的瞳孔pp及其周围环境的对比度的瞳孔跟踪方法和其中使用用户虹膜及其周围环境的对比度的角膜缘(limbus)跟踪方法为例。例如，用户的瞳孔pp的位置和用户的注视方向可以使用基于用户的瞳孔pp的中心点与从用户的瞳孔pp反射的光或光亮的相对位置之间的差异而计算的向量值来确定。
149.当确定用户的注视方向时，可以在显示单元dp的前表面dp_fs上显示对应于用户的注视方向的输出图像。通过重复以上操作，可以在显示单元dp上显示对应于用户的注视方向的输出图像。如上所述，由于输出图像包括形成一个vr图像的部分图像或部分视频，因此显示装置1可以向用户提供对应于用户的注视方向的vr图像。
150.虽然已经参照本发明的实施例具体地示出和描述了本发明，但是本领域普通技术人员将理解的是，在不脱离如由权利要求限定的本发明的精神和范围的情况下，可以在其中做出形式和细节上的各种改变。