控制界面显示的方法及头戴式显示器与流程

文档序号:24397651发布日期:2021-03-26 22:42阅读:151来源:国知局
控制界面显示的方法及头戴式显示器与流程

1.本申请实施例涉及电子技术领域,尤其涉及一种控制界面显示的方法和头戴式显示器。


背景技术:

2.头戴式显示器(head mounted display,hmd)是一种佩戴在用户头部,并将图像源和目视光学系统集成一体的结构,头戴式显示器可以跟随用户头部移动和转动,同步向用户眼睛传输并显示图像信息。当前头戴式显示器是虚拟现实(virtual reality,vr)、增强现实(augmented reality,ar)、混合现实(mixed reality,mr)等领域的核心解决方案,随着高分辨率微显示屏以及光学镜片工艺的长足发展,近年来被广泛研究和商用,新型架构与设备频繁涌现。
3.头戴式显示器作为一种目视系统,需要兼容不同视力水平的客户,这就要求光学系统具有一定调节能力,可以分别对用户双眼的光焦度进行调节,以使用户双眼视物清晰。但是由于用户双眼的光焦度可能存在差异。例如,用户双眼的近视度数不一样。因而,根据用户双眼的光焦度分别调节头戴式显示器的左、右眼光学系统后,左、右眼光学系统的焦距不同,用户双眼通过左、右眼光学系统形成的视场角(field of view,fov)不同。从而,容易引起用户双目图像不融合,导致用户使用头戴式显示器时会出现眩晕感,且沉浸感较差;并且用户双眼容易出现疲劳不适,降低了用户体验。


技术实现要素:

4.本申请实施例提供了一种控制界面显示的方法及头戴式显示器,头戴式显示器可以根据用户的指示调整第一显示屏和/或第二显示屏上的图片的大小,并响应于用户确定通过头戴式显示器的左、右眼光学系统看到的图片大小一致的操作,根据调整后的图片来确定调整参数,进而根据该调整参数调整第一显示屏和第二显示屏后续显示的界面的大小,以使得用户后续看到的第一显示屏和第二显示屏显示的界面的大小相一致,从而使得用户双目图像融合,提高了用户使用体验。
5.为达到上述目的,本申请实施例采用如下技术方案:
6.一方面,本申请技术方案提供了一种控制界面显示的方法,应用于具有第一显示屏和第二显示屏的头戴式显示器。该方法包括:头戴式显示器显示第一界面,第一界面包括第一显示屏显示的第一子界面和第二显示屏显示的第二子界面,第一子界面包括第一图片,第二子界面包括第二图片;其中,第一图片和第二图片的大小相同。头戴式显示器检测到用户的第一预设操作;响应于第一预设操作,头戴式显示器调整第一图片和/或第二图片的大小。头戴式显示器检测到用户的第二预设操作;响应于第二预设操作,头戴式显示器根据调整后的第一图片和/或第二图片的大小确定调整参数。头戴式显示器根据调整参数显示第二界面中的第三子界面和第四子界面;其中,第三子界面在第一显示屏上显示,第四子界面在第二显示屏上显示。
7.在该方案中,头戴显示器可以根据用户的指示调整第一显示屏和/或第二显示屏上分别显示的第一图片或第二图片的大小,以使得用户通过光学系统看到的第一图片和第二图片的大小一致。进而,头戴式显示器可以根据调整后的第一图片和/或第二图片确定调整参数,并根据调整参数调整后续第一显示屏和第二显示屏分别显示的界面的大小,以使得用户后续看到的第一显示屏和第二显示屏显示的界面的大小相一致,从而使得用户双目图像融合,用户使用头戴式显示器时不会出现眩晕感,沉浸感较好,同时用户双眼不易出现疲劳不适,可以提高用户使用体验。并且,用于调整图片大小的第一界面是非定制化的,使用方便,无需针对不同用户分别定制。
8.在一种可能的实现方式中,头戴式显示器根据调整参数显示第二界面中的第三子界面和第四子界面,包括:头戴式显示器根据调整参数确定第三子界面和第四子界面的大小;头戴式显示器显示第三子界面和第四子界面。
9.也就是说,头戴式显示器根据调整参数来确定第三子界面和第四子界面的大小,以使得用户看到的第三子界面和第四子界面的大小一致,然后显示所确定的第三子界面和第四子界面,从而使得用户双眼通过头戴式显示器看到的第三子界面和第四子界面融合。
10.在另一种可能的实现方式中,在头戴式显示器显示第一界面之前,该方法还包括:头戴式显示器检测到用户的第三预设操作;响应于第三预设操作,头戴式显示器调整头戴式显示器针对用户视力的光焦度。
11.也就是说,在头戴式显示器显示第一界面之前,用户可以使用头戴式显示器来调整头戴式显示器针对用户双眼视力的光焦度,从而可以使头戴式显示器的左、右眼光学系统分别适配于用户左、右眼,使用户双眼通过该左、右眼光学系统视物清晰。另外,由于头戴式显示器调整头戴式显示器针对用户双眼视力的光焦度中可能存在过校正/欠校正问题,过校正/欠校正问题会引起第一图片和第二图片的融合情况变化,因此,头戴式显示器在调焦之后再进行图片融合调整,能够同时调整由于过校正/欠校正问题而引起的融合变化。
12.在另一种可能的实现方式中,头戴式显示器还包括光学调焦模组,光学调焦模组包括光学透镜;响应于第三预设操作,头戴式显示器调整头戴式显示器针对用户视力的光焦度,包括:响应于第三预设操作,头戴式显示器调整光学透镜。
13.也就是说,头戴式显示器可以通过调整光学调焦模组中的光学透镜来为用户双眼适配合适的左、右眼光学系统,用户无需精确知晓双眼的视力度数,能够使用户双眼通过该左、右眼光学系统视物清晰。
14.在另一种可能的实现方式中,在头戴式显示器显示第一界面之前,方法还包括:头戴式显示器检测到用户的第四预设操作,第四预设操作用于指示头戴式显示器显示第一界面。
15.也就是说,头戴式显示器响应于用户的第四预设操作来显示第一界面,为用户提供可用于调整图片大小的交互界面。
16.在另一种可能的实现方式中,所述第一界面包括提示信息,所述提示信息用于提示所述用户调整所述第一图片和/或所述第二图片的大小。
17.也就是说,头戴式显示器通过在第一界面包括提示信息,能够指导用户如何在第一界面进行操作以调整第一图片和/或第二图片的大小,以使得用户最终看到的第一图片和第二图片的大小一致。
18.在另一种可能的实现方式中,在头戴式显示器显示第一界面之后,头戴式显示器可以通过语音信息提示用户调整第一界面上的第一图片和/或第二图片的大小,以使得用户看到的第一图片和第二图片的大小一致。
19.也就是说,头戴式显示器在显示第一界面之后,可以通过语音信息提示用户调整第一界面上的第一图片和/或第二图片的大小,以使得用户最终看到的第一图片和第二图片的大小一致。
20.在另一种可能的实现方式中,响应于第一预设操作,头戴式显示器调整第一图片和/或第二图片的大小,包括:响应于第一预设操作,头戴式显示器缩小第一图片和第二图片中较大图片的大小;或者,头戴式显示器放大第一图片和第二图片中较小图片的大小;或者,头戴式显示器缩小第一图片和第二图片中较大图片的大小,并且放大第一图片和第二图片中较小图片的大小。
21.也就是说,头戴式显示器可以通过缩小较小图片、或者放大较大图片、或者缩小较小图片并且放大较大图片来实现用户看到的第一图片和第二图片的大小一致。
22.在另一种可能的实现方式中,第一预设操作包括:用户按下与头戴式显示器连接的手柄上的第一按键;或者,用户通过鼠标点击第一界面上的第一控件;或者,用户控制与头戴式显示器连接的头瞄的光标在第一界面上的第一控件处停留达预设时间;或者,用户按下头戴式显示器上的第二按键。
23.也就是说,用户可以通过手柄、鼠标、头瞄、或按键等来实现指示调整第一图片和/或第二图片的大小的第一预设操作。
24.在另一种可能的实现方式中,调整参数包括调整后的第一图片的大小与调整前的第一图片的第一比例,和/或调整后的第二图片与调整前的第二图片的大小的第二比例。
25.也就是说,头戴式显示器确定的调整参数可以为第一图片和/或第二图片的调整比例,从而使头戴式显示器根据该调整比例来显示图像。
26.在另一种可能的实现方式中,第一图片和第二图片的颜色不同。
27.也就是说,头戴式显示器可以将第一图片和第二图片设置为不同的颜色,以便于用户分辨第一图片和第二图片。
28.其中,第一图片的颜色可以为红色,第二图片的颜色可以为绿色。
29.在另一种可能的实现方式中,头戴式显示器还包括用于支持第一界面的软件开发工具包(software development kit,sdk),图形处理器(graphics processing unit,gpu)和显示屏;头戴式显示器根据调整参数显示第二界面中的第三子界面和第四子界面,具体包括:头戴式显示器将调整参数发送给sdk;头戴式显示器将调整参数从sdk发送至gpu;头戴式显示器在gpu中根据调整参数渲染第二界面中的第三子界面和第四子界面;头戴式显示器显示第二界面中的第三子界面和第四子界面。
30.也就是说,头戴式显示器将调整参数发送给sdk,再经由sdk发送至gpu,使gpu可以根据调整参数渲染第二界面中的第三子界面和第四子界面,最后,头戴式显示器将经过渲染第二界面中的第三子界面和第四子界面显示出来,从而能够使得用户看到的第三子界面和第四子界面融合,提高了用户体验。同时,该方案未向头戴式显示器新增硬件负反馈模块,无附加成本。
31.另一方面,本技术方案提供了一种控制界面显示的装置,该装置包含在电子设备
中,该装置具有实现上述方面及上述方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,检测模块或单元、显示模块或单元等。
32.另一方面,本技术方案提供了一种头戴式显示器,包括:第一显示屏和第二显示屏;一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令。当指令被电子设备执行时,使得电子设备执行上述任一方面任一项可能的实现中的控制界面显示的方法。
33.另一方面,本技术方案提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的实现中的控制界面显示的方法。
34.另一方面,本技术方案提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的设计中的控制界面显示的方法。
附图说明
35.图1为本申请实施例提供的一种头戴式显示器的硬件结构示意图;
36.图2为本申请实施例提供的一种头戴式显示器的像高调节系统架构;
37.图3为本申请实施例提供的一种控制界面显示的方法的流程图;
38.图4a为本申请实施例提供的头戴式显示器的交互界面中的一种图片形式的示意图;
39.图4b为本申请实施例提供的头戴式显示器的交互界面中的另一种图片形式的示意图;
40.图4c为本申请实施例提供的头戴式显示器的交互界面中的另一种图片形式的示意图;
41.图4d为本申请实施例提供的头戴式显示器的一种用户看到交互界面的视觉图像;
42.图4e为本申请实施例提供的头戴式显示器的另一种用户看到的交互界面的视觉图像;
43.图4f为本申请实施例提供的头戴式显示器的另一种用户看到的交互界面的视觉图像;
44.图5为本申请实施例提供的头戴式显示器的一种交互界面的示意图;
45.图6为本申请实施例提供的头戴式显示器的另一种交互界面的示意图;
46.图7为本申请实施例提供的头戴式显示器的另一种交互界面的示意图;
47.图8为本申请实施例提供的头戴式显示器的另一种交互界面的示意图;
48.图9为本申请实施例提供的头戴式显示器的另一种交互界面的示意图;
49.图10为本申请实施例提供的头戴式显示器的另一种交互界面的示意图;
50.图11a为本申请实施例提供的头戴式显示器的图片调整后的交互界面的示意图;
51.图11b为本申请实施例提供的头戴式显示器的另一种用户看到的交互界面的视觉图像;
52.图12为本申请实施例提供的头戴式显示器的一种显示界面的示意图;
53.图13为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
54.下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,a/b可以表示a或b;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
55.以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
56.用户双眼的光焦度是指用户双眼对入射的平行光束的屈折能力。光焦度的单位为屈光度(dioptre,d)。光焦度的数值越大,平行光束屈折得越厉害。光焦度大于零时,屈折是会聚性的,对应于近视用户的双眼;光焦度小于零时,屈折是发散性的,对应于远视用户的双眼。光焦度等于零时,对应于平面折射,此时,沿轴平行光束经折射后仍是沿轴平行光束,不出现屈折现象。通常,根据用户双目的光焦度为用户定制眼镜,用户眼镜的度数=屈光度数
×
100。例如,近视用户a的眼睛屈光度为-3d,则该近视用户a应当适配的近视镜度数为300度;远视用户b的眼睛屈光度为2d,则该远视用户b应当适配的远视镜度数为200度。
57.适配于用户视力的电子设备的光学系统的光焦度、fov、fov换算像高以及近轴焦距的关系可以如下表1所示。可以看出,在表1所示的光学系统中,若光焦度不同,则fov、fov换算像高以及近轴焦距均不同。并且,光焦度越大,近轴焦距越小,fov越大,fov换算像高越大;反之,光焦度越小,近轴焦距越大,fov越小,fov换算像高越小。因此,当用户双眼光焦度不一致时,适配于用户双眼的电子设备的光学系统的光焦度也不同,使得用户双眼看到的图像的像高不同,即看到的图像的大小不一致,导致用户双目图像不融合,从而容易导致用户使用电子设备时出现眩晕感,且沉浸感较差。
58.表1
59.光焦度fovfov换算像高近轴焦距0d100124.226397021d100.31.00524974424.131840472d1021.03553031423.932654813d102.81.05010344923.644832614d104.21.07612816423.407629205d105.21.09513973923.173721996d106.31.11647676422.988362117d107.51.14028145822.67183781
60.本申请实施例提供了一种控制界面显示的方法,该控制界面显示的方法可以应用于各种具有显示功能的电子设备。例如,该电子设备可以是头戴式显示器,还可以是包含显
示屏的其他设备,例如包含显示屏的自动驾驶车辆等。其中,用户可以佩戴头戴式显示器实现虚拟现实(virtual reality,vr)、ar、混合现实(mixed reality,mr)等不同效果。例如,头戴式显示器可以是眼镜、护目镜或头盔等。以下主要以电子设备为头戴式显示器为例进行说明。
61.在该控制界面显示的方法中,头戴式显示器显示第一界面,第一界面包括第一显示屏显示的第一子界面和第二显示屏显示的第二子界面,第一子界面包括第一图片,第二子界面包括第二图片;其中,第一图片和第二图片的大小相同。头戴式显示器检测到用户的第一预设操作;响应于第一预设操作,头戴式显示器调整第一图片和/或第二图片的大小。头戴式显示器检测到用户的第二预设操作;响应于第二预设操作,头戴式显示器根据调整后的第一图片和/或第二图片的大小确定调整参数。头戴式显示器根据调整参数显示第二界面中的第三子界面和第四子界面;其中,第三子界面在第一显示屏上显示,第四子界面在第二显示屏上显示。
62.在该方案中,头戴式显示器可以响应于用户的第一预设操作来调整第一图片和/或第二图片的大小。当用户确定看到的第一图片和第二图片的大小一致而触发第二预设操作的情况下,头戴式显示器可以响应于用户的第二预设操作,根据调整后的第一图片和/或第二图片的大小来确定调整参数。然后,头戴式显示器可以根据调整参数调整并显示第三子界面和第四子界面,使得用户通过头戴式显示器看到的第三子界面和第四子界面的大小一致,从而使得用户双目图像融合。
63.因此,在用户双眼由于光焦度不一致而适配于不同焦距的左、右眼光学系统时,用户双眼通过左、右眼光学系统看到的图片大小不一致,用户可以利用头戴式显示器来将用户双眼看到的第一图片和第二图片的大小调整成一致,头戴示显示器可以根据调整参数来调整后续待显示的第三子界面和第四子界面,使得用户双眼通过光学系统看到的第三子界面和第四子界面大小一致。从而能够使双眼光焦度不一致的用户的双目图像融合,用户使用头戴式显示器时不会出现眩晕感,沉浸感较好,同时用户双眼不易出现疲劳不适,提高了用户体验。
64.其中,用户确定看到的第一图片和第二图片的大小一致是指,用户双眼通过头戴式显示器看到第一图片和第二图片的大小完全一致或者基本一致,即,用户双眼通过头戴式显示器看到第一图片和第二图片能够融合。
65.在本申请实施例中,头戴式显示器调整用户双目图像融合的情况可以包括:头戴式显示器调整由于用户双眼近视、单眼近视、双眼远视、单眼远视、或一眼远视一眼近视等用户双眼光焦度问题而引起的双目图像不融合的情况。可以理解的是,本申请实施例中,头戴式显示器调整用户双目图像融合的情况不限于此,还可以包括用户双眼由于光焦度问题而使双目图像不融合的其他情况,本申请实施例对此不作限定。
66.请参阅图1,图1是本申请实施例提供的一种头戴式显示器的结构示意图。当头戴式显示器安装在用户头上时,用户眼睛可以看到头戴式显示器显示屏呈现的图像。用户眼睛可以透过显示屏看到实体对象,或者用户眼睛可以透过显示屏看到另外的显示装置显示的图像。
67.可以理解的,本申请实施例以电子设备为头戴式显示器为例进行介绍,但是本申请实施例不限于头戴式显示器,电子设备还可以是其他设备。
68.如图1所示,头戴式显示器100可以包括处理器110,存储器120,传感器模块130,麦克风140,按键150,输入输出接口160,通信模块170,摄像头180,电池190,显示屏1100以及光学调焦模组1300等。其中传感器模块130可以包括焦距检测光学传感器181,焦距检测光学传感器181用于检测用户200的眼球的焦距。传感器模块130还可以包含其他传感器,例如声音探测器,接近光传感器,距离传感器,陀螺仪传感器,环境光传感器,加速度传感器和温度传感器等。
69.可以理解的是,本申请实施例示意的结构并不构成对头戴式显示器100的具体限定。在本申请另一些实施例中,头戴式显示器100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
70.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),视频处理单元(video processing unit,vpu)控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
71.其中,控制器可以是头戴式显示器100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
72.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
73.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,用户标识模块(subscriber identity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口,串行外设接口(serial peripheral interface,spi)接口等。
74.i2c接口是一种双向同步串行总线,包括一根串行数据线(serial data line,sda)和一根串行时钟线(derail clock line,scl)。在一些实施例中,处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合焦距检测光学传感器131,电池190,摄像头180等。例如:处理器110可以通过i2c接口耦合焦距检测光学传感器131,使处理器110与焦距检测光学传感器131通过i2c总线接口通信,来获取用户的眼球焦距。spi接口可以用于处理器与传感器之间的连接。
75.uart接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,uart接口通常被用于连接处理器110与通信模块170。例如:处理器110通过uart接口与通信模块170中的蓝牙模块通信,实现蓝牙功能。
76.mipi接口可以被用于连接处理器110与显示屏1100,摄像头180等外围器件。mipi
接口包括摄像头串行接口(camera serial interface,csi),显示屏串行接口(display serial interface,dsi)等。在一些实施例中,处理器110和摄像头180通过csi接口通信,实现头戴式显示器100的拍摄功能。处理器110和显示屏1100通过dsi接口通信,实现头戴式显示器100的显示功能。
77.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,gpio接口可以用于连接处理器110与摄像头180,显示屏1100,通信模块170,传感器模块130,麦克风140等。gpio接口还可以被配置为i2c接口,i2s接口,uart接口,mipi接口等。
78.usb接口130是符合usb标准规范的接口,具体可以是mini usb接口,micro usb接口,usb type c接口等。usb接口130可以用于连接充电器为头戴式显示器100充电,也可以用于头戴式显示器100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如手机等。usb接口可以是usb3.0,用于兼容高速显示接口(display port,dp)信号传输,可以传输视音频高速数据。
79.可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对头戴式显示器100的结构限定。在本申请另一些实施例中,头戴式显示器100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
80.另外,头戴式显示器100可以包含无线通信功能。通信模块170可以包含无线通信模块和移动通信模块。无线通信功能可以通过天线(未示出)、移动通信模块(未示出),调制解调处理器(未示出)以及基带处理器(未示出)等实现。
81.天线用于发射和接收电磁波信号。头戴式显示器100中可以包含多个天线,每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
82.移动通信模块可以提供应用在头戴式显示器100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,lna)等。移动通信模块可以由天线接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块还可以对经调制解调处理器调制后的信号放大,经天线转为电磁波辐射出去。在一些实施例中,移动通信模块的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
83.调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器等)输出声音信号,或通过显示屏1100显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块或其他功能模块设置在同一个器件中。
84.无线通信模块可以提供应用在头戴式显示器100上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙
(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。
85.在一些实施例中,头戴式显示器100的天线和移动通信模块耦合,使得头戴式显示器100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,gsm),通用分组无线服务(general packet radio service,gprs),码分多址接入(code division multiple access,cdma),宽带码分多址(wideband code division multiple access,wcdma),时分码分多址(time-division code division multiple access,td-scdma),长期演进(long term evolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system,gps),全球导航卫星系统(global navigation satellite system,glonass),北斗卫星导航系统(beidou navigation satellite system,bds),准天顶卫星系统(quasi-zenith satellite system,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
86.头戴式显示器100通过gpu,显示屏1100,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏1100和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。在本申请实施例中,gpu可以根据调整参数渲染显示屏1100的待显示界面。
87.头戴式显示器100中显示屏1100的数量可以是两个,分别对应用户200的两个眼球。这两个显示屏上显示的内容可以独立显示。可以在这两个显示屏上显示不同的图像来提高图像的立体感。在一些可能的实施例中,头戴式显示器100中显示屏1100的数量也可以是一个,来对应用户200的两个眼球。在本申请实施例中,显示屏1100包括第一显示屏1101和第二显示屏1102,可以分别为用户200的两个眼球提供显示内容。例如,第一显示屏1101为用户左眼提供显示内容,第二显示屏1102为用户右眼提供显示内容;或者,第一显示屏1101为用户右眼提供显示内容,第二显示屏1102为用户左眼提供显示内容。
88.头戴式显示器100可以通过isp,摄像头180,视频编解码器,gpu,显示屏1100以及应用处理器等实现拍摄功能。
89.isp用于处理摄像头180反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头180中。
90.摄像头180用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,
头戴式显示器100可以包括1个或n个摄像头180,n为大于1的正整数。
91.如图1所示,摄像头180可以安装在头戴式显示器100的侧面,还可以安装在头戴式显示器100上两个显示屏之间的位置。摄像头180用于实时捕捉用户200视角内的图像和视频。头戴式显示器100根据捕获的实时的图像和视频生成虚拟图像,并将虚拟图像通过显示屏1100进行显示。
92.处理器110可以根据摄像头180捕获的静态图像或视频图像,结合传感器模块130获取的数据(例如亮度、声音等数据),来确定显示屏1100上显示的虚拟图像,来实现在现实世界物体上叠加上虚拟图像。
93.其中,数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当头戴式显示器100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
94.视频编解码器用于对数字视频压缩或解压缩。头戴式显示器100可以支持一种或多种视频编解码器。这样,头戴式显示器100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
95.npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现头戴式显示器100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
96.存储器120可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在存储器120的指令,从而执行头戴式显示器100的各种功能应用以及数据处理。存储器120可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储头戴式显示器100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。
97.头戴式显示器100可以通过音频模块,扬声器,麦克风140,耳机接口,以及应用处理器等实现音频功能。例如音乐播放,录音等。
98.音频模块用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块还可以用于对音频信号编码和解码。在一些实施例中,音频模块可以设置于处理器110中,或将音频模块的部分功能模块设置于处理器110中。
99.扬声器,也称“喇叭”,用于将音频电信号转换为声音信号。头戴式显示器100可以通过扬声器收听音乐,或收听免提通话。
100.麦克风140,也称“话筒”,“传声器”,用于将声音信号转换为电信号。头戴式显示器100可以设置至少一个麦克风140。在另一些实施例中,头戴式显示器100可以设置两个麦克风140,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,头戴式显示器100还可以设置三个,四个或更多麦克风140,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
101.在一些实施例中,头戴式显示器100可以包括声音探测器132,该声音探测器132可以检测和处理用于控制便携电子设备的语音信号。例如,声音探测器可以包含麦克风140。
便头戴式显示器100可以使用麦克风140将声音转换为电信号。声音探测器132随后可以处理电信号,并将信号识别为头戴式显示系统1300的命令。处理器110可以被配置为从麦克风140接收语音信号。在接收到语音信号后,处理器110可以运行声音探测器132来识别语音命令。例如,当接收到语音指令时,头戴式显示器110可以获取存储的用户联系人列表上的联系人,便头戴式显示器100可以自动拨打该联系人电话号码。
102.耳机接口用于连接有线耳机。耳机接口可以是usb接口,也可以是3.5mm的开放移动头戴式显示器平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,ctia)标准接口。
103.在一些实施例中,头戴式显示器100可以包括一个或多个按键150,这些按键可以控制头戴式显示器,为用户提供访问头戴式显示器100上的功能。按键150的形式可以是按钮、开关、刻度盘和触摸或近触摸传感设备(如触摸传感器)。具体的,例如,用户20可以通过按下按钮来打开头戴式显示器100的显示屏1100。按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。头戴式显示器100可以接收按键输入,产生与头戴式显示器100的用户设置以及功能控制有关的键信号输入。
104.在一些实施例中,头戴式显示器100可以包括输入输出接口160,输入输出接口160可以通过合适的组件将其他装置连接到头戴式显示器100。组件例如可以包括音频/视频插孔,数据连接器等。
105.声音探测器可以检测和处理用于控制便携电子设备的语音信号。
106.在一些实施例中,头戴式显示器100可以实现眼球追踪(eye tracking)。具体的,可以利用红外设备(如红外发射器)和图像采集设备(如摄像头)来检测眼球注视方向。
107.接近光传感器可以包括例如发光二极管(led)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。头戴式显示器100通过发光二极管向外发射红外光。头戴式显示器100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定头戴式显示器100附近有物体。当检测到不充分的反射光时,头戴式显示器100可以确定头戴式显示器100附近没有物体。头戴式显示器100可以利用接近光传感器检测头戴式显示器100特定位置的手势操作,以实现手势操作与操作命令相关联的目的。
108.距离传感器,用于测量距离。头戴式显示器100可以通过红外或激光测量距离。在一些实施例中,头戴式显示器100可以利用距离传感器测距以实现快速对焦。
109.陀螺仪传感器可以用于确定头戴式显示器100的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定头戴式显示器100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器还可以用于导航,体感游戏场景。
110.环境光传感器用于感知环境光亮度。头戴式显示器100可以根据感知的环境光亮度自适应调节显示屏1100亮度。环境光传感器也可用于拍照时自动调节白平衡。
111.加速度传感器可检测头戴式显示器100在各个方向上(一般为三轴)加速度的大小。当头戴式显示器100静止时可检测出重力的大小及方向。还可以用于识别头戴式显示器姿态,应用于计步器等应用。
112.温度传感器用于检测温度。在一些实施例中,头戴式显示器100利用温度传感器检测的温度,执行温度处理策略。例如,当温度传感器上报的温度超过阈值,头戴式显示器100
执行降低位于温度传感器附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,头戴式显示器100对电池190加热,以避免低温导致头戴式显示器100异常关机。在其他一些实施例中,当温度低于又一阈值时,头戴式显示器100对电池190的输出电压执行升压,以避免低温导致的异常关机。
113.焦距检测光学传感器131用于检测用户200的眼球的焦距。在一些实施例中,如图1所示,头戴式显示器100还可以包含红外线光源1200。焦距检测光学传感器131可以是和红外线光源1200配合检测用户200的眼球的焦距。
114.如图1所示,焦距检测光学传感器131和红外线光源1200可以设置在显示屏靠近眼球的一侧。焦距检测光学传感器131和红外线光源1200的数量可以均为两个,每个眼球可以对应一个焦距检测光学传感器131和红外线光源1200,用于检测眼球聚焦的焦距。
115.另外,如图1所示,头戴式显示器100还包括光学调焦模组1300,光学调焦模组1300可以包括一个或多个光学透镜1301。在本申请实施例中,头戴式显示器100可以响应于用户的预设操作来调整光学调焦模组1300针对用户视力的光焦度。具体地,调整光学调焦模组1300针对用户视力的光焦度可以通过调整光学透镜1301来完成,也可以通过其他方式来针对用户视力进行光焦度调整,本申请对调整光学调焦模组1300针对用户视力的光焦度的方式不作限定。
116.可以理解的,图1中示出的焦距检测光学传感器131、红外线光源1200和摄像头180的在头戴式显示器100上的位置和数量仅用于解释本申请实施例,不应构成限定。焦距检测光学传感器131和红外线光源1200的数量还可以是一个。一个焦距检测光学传感器131和一个红外线光源1200的数量可以用于检测一个眼球聚焦的焦距,或者同时检测两个眼球聚焦的焦距。
117.在本申请实施例中,头戴式显示器100可以通过调整光学调焦模组1300中的光学透镜1301来针对用户视力进行光焦度调节。光焦度调节后可能存在由于用户双眼的光焦度不一致而引起的用户双目图像不融合的问题,头戴式显示器100可以响应于用户的预设操作调整第一显示屏1101显示的第一图片和第二显示屏1102显示的第二图片的大小,以使得用户通过调整后的光学调焦模组1300看到第一图片与第二图片的大小一致。然后,头戴式显示器100可以响应于用户的预设操作,根据调整后的第一图片和/或第二图片的大小确定调整参数,其中,用户的预设操作可以是指示用户确定看到的第一图片与第二图片的大小一致的操作。之后,gpu可以根据该调整参数来渲染要在第一显示屏1101和第二显示屏1102上的待显示界面。最后,第一显示屏1101和第二显示屏1102可以显示所渲染的界面,从而能够使双眼光焦度不一致的用户的双目图像融合,用户使用头戴式显示器时不会出现眩晕感,沉浸感较好,同时用户双眼不易出现疲劳不适,提高了用户体验。
118.图1中的头戴式显示器100可以包括图2所示的像高调节系统架构,本申请实施例提供的控制界面显示的方法可以通过图2所示的像高调节系统架构来实现。参见图2,像高调节系统架构分为硬件部分和软件部分。其中,硬件部分可以包括中央处理器(central processing unit,cpu)100,gpu 101,显示屏102和光学调焦模组103;像高调节系统的软件部分可以包括sdk服务器(sdk server)104,sdk 105,交互应用106和启动器(launcher)107。
119.cpu 100是对像高调节系统的所有硬件资源进行控制调配、执行通用运算的核心
硬件单元,是像高调节系统的运算和控制核心。
120.其中,gpu 101可以是图1中的gpu;gpu 101可以用于对要被显示屏102显示的界面进行渲染。
121.显示屏102可以是图1中的显示屏1100;显示屏102可以包括第一显示屏1101和第二显示屏1102,可以分别为用户200的两个眼球提供显示内容。
122.光学调焦模组103可以是图1中的光学调焦模组1300;光学调焦模组103可以包括一个或多个光学透镜1301。
123.其中,用户可以通过调节光学调焦模组103中的光学透镜1301来为用户双眼视力适配合适的左、右眼光学系统。
124.sdk服务器104是用于支持交互应用106和启动器107的功能的底层sdk。
125.sdk 105用于支持交互应用106的运行,支持交互应用106实现其功能。
126.交互应用106是用于向用户呈现交互界面的应用程序。其中,头戴式显示器向用户呈现交互界面不一定要依赖于交互应用106,也可以以其他形式向用户呈现交互界面,例如,可以以插件的方式,或者将交互界面集成在其他应用程序中的方式来呈现交互界面。本申请实施例对向用户呈现交互界面的方式不作限定。另外,可以通过三维图形制作软件来设计交互界面106,例如,三维图形制作软件可以包括unity、blender等。其中,交互界面可以为用户左、右眼分别呈现图片,头戴式显示器可以响应于用户操作来调整交互界面中的图片大小,以使用户通过左、右眼光学系统看到的图片大小一致。
127.启动器107是虚拟显示交互界面系统,可以用于展示像高调节系统中已经安装的应用程序,例如,启动器107可以是像高调节系统的桌面。
128.在本申请实施例提供的控制界面显示的方法中,首先,用户可以利用光学调焦模组103来适配用户视力,以形成适配于用户视力的左、右眼光学系统。然后,头戴式显示器可以响应于用户指示利用交互应用106为用户呈现交互界面,并且响应于用户操作来调整交互界面中的图片大小,以使用户通过左、右眼光学系统看到的图片大小一致。之后,头戴式显示器可以响应于用户确定看到的图片大小一致的操作,根据调整后的图片大小来确定调整参数。gpu 101可以根据调整参数对后续待显示的界面进行渲染,最后,通过第一显示屏1101和第二显示屏1102分别为用户左、右眼显示经过渲染的界面,使得用户通过左、右眼光学系统看到的界面的大小一致,从而实现了用户双目图像融合。
129.下面,以电子设备为具有图1和图2所示结构的头戴式显示器为例,结合附图对本申请实施例提供的控制界面显示的方法进行具体阐述。参见图3,该控制界面显示的方法可以包括:
130.301、头戴式显示器显示第一界面。
131.其中,第一界面是可以用于用户调整图片大小的交互界面。参见图4a-图4c,第一界面包括第一显示屏显示的第一子界面41和第二显示屏显示的第二子界面42。第一子界面41和第二子界面42可以是分别呈现给用户的左眼和右眼的交互界面;其中,第一子界面41可以在图1中的第一显示屏1101上显示,第二子界面42可以在图1中的第二显示屏1102上显示。
132.第一子界面41可以包括图片一,第二子界面42可以包括图片二;头戴式显示器显示的图片一和图片二的大小可以相同。此时,图片一为未经调整的初始图片一,图片二为未
经调整的初始图片二。本申请实施例对图片一和图片二的具体大小不作限定。
133.其中,图片一在第一子界面41上的位置与图片二在第二子界面42上的位置相同。例如,图片一与第一子界面41的上边框、下边框、左边框、右边框的垂直距离分别和图片二与第二子界面42的上边框、下边框、左边框、右边框的垂直距离相同。
134.其中,图片一和图片二可以为各种可视化图片,例如,可以为方框、圆形或虚实线等。其中,在图4a中,图片一和图片二为方框;在图4b中,图片一和图片二为圆形;在图4c中,图片一和图片二为虚实线。
135.在一些实施例中,图片一和图片二的颜色可以不同,以使用户易于区分。可选地,图片一的颜色为红色,图片二的颜色为绿色;由于红色和绿色的色调差异较大,所以红色和绿色是一组不易被看错的颜色,便于用户分辨。图片一和图片二的颜色还可以是其他组不同的颜色设置,例如,该组颜色可以为红色和黄色;或者,绿色和黄色;或者,黄色和蓝色等。图片一和图片二的颜色也可以相同,例如,均为红色、黄色、绿色或蓝色等。本申请实施例对图片一和图片二的颜色不作限定。
136.在第一子界面41和第二子界面42分别呈现给用户双眼后,用户所看到的第一子界面41和第二子界面42的图像经大脑处理后可以形成图4d-图4f所示的结合了第一子界面41和第二子界面42的视觉图像。由于用户的双眼光焦度可能不一致,用户在利用图2所示的光学调焦模组103适配用户双眼光焦度后,头戴式显示器形成的左、右眼光学系统的焦距不同。因此,在用户形成的视觉图像中,图片一和图片二的大小可能不同,从而用户看到图片一和图片二不融合。例如,图4d示出了图4a所示的第一子界面41和第二子界面42对于用户形成的视觉图像,其中,用户看到的图片一和图片二不融合,图片一比图片二大。图4e示出了图4b所示的第一子界面41和第二子界面42对于用户形成的视觉图像,其中,用户看到图片一和图片二不融合,图片一比图片二小。图4f示出了图4c所示的第一子界面41和第二子界面42对于用户形成的视觉图像,其中,用户看到图片一和图片二不融合,图片一比图片二大。
137.其中,第一子界面41和第二子界面42可以具有多种形式,以下举例说明:
138.在一实施例中,参见图5-图8,除了图片一以外,第一子界面41还可以包括缩放控件511a,以及确定控件512a;除了图片二以外,第二子界面42还可以包括缩放控件511b,以及确定控件512b。
139.在一些实现方式中,用户左眼对应的子界面上的缩放控件与确定控件可以在左侧,用户右眼对应的子界面上的缩放控件与确定控件可以在右侧,以方便用户调节。参见图5,第一子界面41可以是为用户的左眼呈现的界面,缩放控件511a与确定控件512a可以设置在第一子界面41的左侧。第二子界面42可以是为用户的右眼呈现的界面,缩放控件511b与确定控件512b可以设置在第二子界面42的右侧。
140.在另一些实现方式中,用户左眼对应的子界面上的缩放控件与确定控件还可以在右侧,用户右眼对应的子界面上的缩放控件与确定控件还可以在左侧。例如,参见图6,第一子界面41可以是为用户的左眼呈现的界面,缩放控件511a与确定控件512a可以设置在第一子界面41的右侧。第二子界面42可以是为用户的右眼呈现的界面,缩放控件511b与确定控件512b可以设置在第二子界面42的左侧。
141.在另一些实现方式中,参见图7,缩放控件511a与确定控件512a可以设置在第一子
界面41的左、右两侧。缩放控件511b与确定控件512b可以设置在第二子界面42的左、右两侧。与在子界面的两侧均设置控件相比,单侧设置不容易出现两个子界面上的控件不融合的问题。
142.可以理解的是,缩放控件和确定控件的设置方式并不限于上述方式,还可以存在缩放控件和确定控件的其他设置方式,例如,缩放控件和确定控件可以设置在子界面的上侧和/或下侧,本申请实施例对此不作限定。
143.其中,缩放控件511a可以包括“+”控件5111a和
“-”
控件5112a;其中,“+”控件5111a用于放大图片一,
“-”
控件5112a用于缩小图片一。“+”控件5111a和
“-”
控件5112a可以通过步长δ来缩放图片一。缩放控件511b可以包括“+”控件5111b和
“-”
控件5112b;其中,“+”控件5111b用于放大图片二,
“-”
控件5112b用于缩小图片二。“+”控件5111b和
“-”
控件5112b可以通过步长δ来缩放图片二。
144.在一些实施例中,步长δ可以指示对图片一或图片二缩放δ倍。也就是说,每点击一次“+”控件5111a指示图片一的大小放大δ倍,每点击一次
“-”
控件5112a指示图片一的大小缩小δ倍。每点击一次“+”控件5111b指示图片二的大小放大δ倍,每点击一次
“-”
控件5112b指示图片二的大小缩小δ倍。可选地,步长δ可以为0.01、0.02、0.03等,本申请实施例对步长δ的大小不作限定。例如,当δ为0.01时,每点击一次“+”控件5111a指示图片一的大小放大0.01倍;每点击一次
“-”
控件5112a指示图片一的大小缩小0.01倍。其中,可以将用户点击“+”控件指示图片放大的操作称为“+”操作,将将用户点击
“-”
控件指示图片缩小的操作称为
“-”
操作。
145.在另一些实施例中,步长δ也可以指示对图片一或图片二增大/减小的程度。可选地,步长δ可以为0.5毫米、0.8毫米、1毫米、1.5毫米等,本申请实施例对步长δ的大小不作限定。例如,在图片一为方框的情况下,当δ为1毫米时,每点击一次“+”控件5111a指示图片一的边长增大1毫米;每点击一次
“-”
控件5112a指示图片一的边长减小1毫米。
146.除此之外,步长δ也可以为其他形式,本申请实施例对步长δ的形式不作限定。
147.其中,确定控件512a可以用于使“+”控件5111a和
“-”
控件5112a的操作生效,确定控件512b可以用于使“+”控件5111b和
“-”
控件5112b的操作生效。即,“+”操作和/或
“-”
操作对图片一/图片二的大小所做的改变在点击确定控件后才会显示出来。
148.在另一实施例中,“+”操作和/或
“-”
操作对图片一/图片二的大小所做的改变无需点击确定控件后就会显示出来,即,“+”操作和/或
“-”
操作对图片大小所做的改变会实时显示出来。此时,确定控件512a和确定控件512b可以用于用户指示确定看到的图片一和图片二的大小一致,即,用户在确定看到的图片一和图片二的大小一致时,可以通过点击确定控件512a或确定控件512b来确定看到图片一和图片二的大小一致。
149.在一些实现方式中,第一子界面41和第二子界面42上也可以只有一个确定控件。例如,第一子界面41上包括确定控件512a,而第二子界面42上不包括确定控件512b。此时,确定控件用于用户指示确定看到的图片一和图片二的大小一致。
150.在另一实施例中,参见图8,第一子界面41和第二子界面42上均不包括确定控件。“+”操作和/或
“-”
操作对图片大小所做的改变会实时显示出来。
151.作为一种替换方案,头戴式显示器的左、右侧设置有控件,用于替代第一子界面和第二子界面上显示的控件的功能;即,用户可以通过点击头戴式显示器上设置的控件来实
现对图片大小的调整。
152.可选地,第一子界面41上可以呈现指示图片一的大小变化的参数一,第二子界面42上可以呈现指示图片二的大小变化的参数二。
153.在一些实现方式中,参数一可以指示图片一的大小是未经调整的初始图片一的大小的多少倍,参数二可以指示图片二的大小是未经调整的初始图片二的大小的多少倍。如图5-图7所示,参数一和参数二均为1,指示图片一和图片二的大小是初始图片大小的一倍,即,此时图片一与图片二均为未经调整的初始图片。
154.在另一些实现方式中,参数一可以指示图片一的大小相比于未经调整的初始图片一的大小增大/减小的程度,参数二可以指示图片二的大小相比于未经调整的初始图片二的大小增大/减小的程度。如图9所示,参数一和参数二均为0,指示图片一和图片二的大小没有增大/减小,即,此时图片一与图片二均为未经调整的初始图片。
155.可以理解的是,参数一和参数二也可以为其他类型的参数,本申请实施例对参数一和参数二的类型不作限定。
156.在一些实施例中,第一界面包括提示信息,以提示用户调整第一界面上的图片一和/或图片二的大小,以使得用户看到的图片一和图片二的大小一致。例如,参见图10,提示信息可以包括文字信息“请点击“+”控件或
“-”
控件,调整图片大小,直至您看到两个图片重合”。或者,在头戴式显示器显示第一界面之后,头戴式显示器可以通过语音信息提示用户调整第一界面上的图片一和/或图片二的大小,以使得用户看到的图片一和图片二的大小一致。本申请实施例对提示信息的形式不作限定。
157.302、头戴式显示器检测到用户的第一预设操作。
158.用户在双眼通过左、右眼光学系统看到图片一和图片二不融合后,可以触发第一预设操作,以指示头戴式显示器调整图片一和/或图片二的大小。
159.其中,第一预设操作可以通过多种方式实现。下面示例性地示出实现第一预设操作的具体方式。
160.在一种实现方式中,第一预设操作可以为用户按下与头戴式显示器连接的手柄上的第一按键。例如,用户通过控制与头戴式显示器连接的手柄上的摇杆将光标停留在“+”控件处,然后按下手柄上的确定按键,从而完成对交互界面上的“+”控件的点击。
161.在另一种实现方式中,第一预设操作可以为用户通过鼠标点击交互界面上的第一控件。第一控件可以包括交互界面上的“+”控件、
“-”
控件、或确定控件等。例如,用户通过鼠标将光标移动至“+”控件并单击、双击、或右击鼠标,从而完成对交互界面上的“+”控件的点击。
162.在另一种实现方式中,第一预设操作可以为用户控制与头戴式显示器连接的头瞄的光标在第一界面上的第一控件处停留达预设时间。例如,第一控件为“+”控件,用户通过摆动头部将与头戴式显示器连接的头瞄的光标移动至交互界面上的“+”控件处,并且将光标停留预设时间,从而完成对交互界面上的“+”控件的点击。其中,预设时间可以为1秒、2秒等,本申请实施例对预设时间不作限制。
163.在另一种实现方式中,第一预设操作可以为用户按下头戴式显示器上的第二按键。其中,第二按键可以是头戴式显示器上自带的按键,例如,第二按键可以是音量键,用户可以通过按下音量“+”键实现对交互界面上的图片的放大,按下音量
“-”
键实现对交互界面
上的图片的缩小。即,按下音量“+”键和音量
“-”
键就相当于点击了交互界面上的“+”控件和
“-”
控件,从而可以实现对交互界面上的图片的放大和缩小。或者,第二按键还可以是头戴式显示器上新增的按键,本申请实施例对第二按键的类型不作限定。可选地,第二按键还可以是旋钮,例如,头戴式显示器的左、右两侧可以设置有两个旋钮,用户可以通过旋转这两个旋钮来调整图片一/或图片二的大小。
164.也就是说,用户可以通过手柄、鼠标、头瞄、或按键等来进行指示调整图片一和/或图片二的大小的第一预设操作。
165.303、响应于第一预设操作,头戴式显示器调整图片一和/或图片二的大小。
166.其中,响应于第一预设操作,头戴式显示器调整图片一和/或图片二的大小,可以包括:响应于第一预设操作,头戴式显示器缩小图片一和图片二中较大图片的大小;例如,在图4d所示的情况下,头戴式显示器可以缩小图片一的大小。或者,头戴式显示器放大图片一和图片二中较小图片的大小;例如,在图4d所示的情况下,头戴式显示器可以放大图片二的大小。或者,头戴式显示器缩小图片一和图片二中较大图片的大小,并且放大图片一和图片二中较小图片的大小。例如,在图4d所示的情况下,头戴式显示器可以缩小图片一的大小并且放大图片二的大小。
167.也就是说,头戴式显示器可以通过缩小较小图片、或者放大较大图片、或者缩小较小图片并且放大较大图片来实现用户看到的图片一和图片二的大小一致。
168.头戴式显示器可以响应于第一预设操作调整图片一和/或图片二的大小,以使得用户通过左、右眼光学系统看到的图片一和图片二的大小一致。例如,参见图11a,头戴式显示器可以将图片一的大小调整为初始图片一的大小的0.9倍,图片二为初始图片二的大小的1倍,即图片二的大小保持不变。经过图11a所示的调整,参见图11b,用户通过左、右眼光学系统看到的调整后的图片一与图片二重合。
169.其中,在上述“+”操作和/或
“-”
操作对图片大小所做的改变实时显示的方案中,第一预设操作可以包括点击“+”控件/
“-”
控件。响应于上述第一预设操作,头戴式显示器调整图片一和/或图片二的大小并将调整后的图片一和/或图片二的大小实时显示出来。
170.在上述“+”操作和/或
“-”
操作对图片大小所做的改变需要通过确定按钮才能生效的方案中,第一预设操作可以包括点击“+”控件/
“-”
控件,以及点击确定控件。其中,头戴式显示器在检测到用户点击确定按钮后将调整后的图片一和/或图片二的大小显示出来。
171.304、头戴式显示器检测到用户的第二预设操作。
172.其中,第二预设操作可以用于触发头戴式显示器确定调整参数。通常,用户在通过左、右眼光学系统看到图片一和图片二的大小一致后,可以触发第二预设操作,因而第二预设操作也可以是用于指示用户通过左、右眼光学系统看到图片一和图片二的大小一致的操作。
173.也就是说,用户通过左、右眼光学系统看到的图片一和图片二的大小一致时,触发第二预设操作,以指示用户确定看到的图片一和图片二的大小一致,从而指示头戴式显示器确定调整参数。
174.其中,在上述“+”操作和/或
“-”
操作对图片大小所做的改变需要通过确定按钮才能生效的方案中,第二预设操作可以是用户在预定时间a内没有任何操作,预定时间a例如可以是5秒,10秒等,本申请实施例对预定时间a不作限定。或者,第二预设操作可以是用户
长按确定按钮412a或412b;例如,用户长按确定按钮超过预定时间b,该预定时间b可以是2秒、3秒等,本申请实施例对预定时间b不作限定。或者,第二预设操作可以是用户在预定时间c内点击确定按钮412a或412b超过预定次数,例如,用户在2秒内点击确定按钮412a或412b超过3次。本申请实施例对预定时间c和预定次数不作限定。或者,第二预设操作可以是用户的语音,例如,用户说出“确定图片重合”的语音内容的操作。或者,第二预设操作可以是用户的手势操作,第四预设操作可以是用户的手势操作,例如,头戴式显示器上安装有摄像头,头戴式显示器可以通过摄像头检测到用户比出“ok”的手势操作。第二预设操作也可以是其他类型的用户操作,本申请实施例对第二预设操作的类型不作限定。
175.其中,在上述“+”操作和/或
“-”
操作对图片大小所做的改变实时显示的方案中,第二预设操作可以包括上述第二预设操作类型;或者,第二预设操作还可以是用户点击确定按钮412a或412b。
176.305、响应于第二预设操作,头戴式显示器根据调整后的图片一和/或图片二的大小确定调整参数。
177.也就是说,响应于用户确定通过左、右眼光学系统看到调整后的图片一和图片二的大小一致的操作,头戴式显示器可以根据调整后的图片一和/或图片二的大小确定调整参数。
178.在一些实施例中,调整参数可以包括调整后的图片一的大小与调整前的图片一的大小的第一比例,和/或调整后的图片二与调整前的图片二的大小的第二比例。也就是说,调整参数可以为图5-图7所示的参数一和/或参数二。在调整参数为比例时,如图11b所示,用户通过左、右眼光学系统看到图片一与图片二重合时,参数一为0.9,参数二为1。也就是说,图片一的大小变为调整前的图片一的大小的0.9倍,图片二的大小未变化。
179.其中,调整参数也可以为其他形式,本申请实施例对调整参数的形式不做限定。
180.306、头戴式显示器根据调整参数显示第二界面中的第三子界面和第四子界面。
181.其中,第二界面可以为显示屏后续待显示的所有界面,例如,视频播放界面,图片查看界面,游戏界面,或者其他界面等。第三子界面可以在第一显示屏1101上显示,第四子界面可以在第二显示屏1102上显示。
182.在一些实施例中,头戴式显示器根据调整参数显示第二界面中的第三子界面和第四子界面,可以包括:头戴式显示器根据调整参数确定第三子界面和第四子界面的大小;头戴式显示器显示第三子界面和第四子界面。
183.也就是说,头戴式显示器根据调整参数来确定第三子界面和第四子界面的大小,以使得用户看到的第三子界面和第四子界面的大小一致,然后显示所确定的第三子界面和第四子界面,从而使得用户双眼通过头戴式显示器看到的第三子界面和第四子界面融合。根据图11b,用户通过左、右眼光学系统看到图片一与图片二重合时,参数一为0.9,参数二为1。因此,第三子界面的大小可以为预设尺寸的0.9倍,第四子界面的大小可以为预设尺寸的1倍。其中,预设尺寸可以是第一显示屏/第二显示屏的尺寸。例如,参见图12,第三子界面121的大小可以是第一显示屏的尺寸的0.9倍,第四子界面122的大小是第一显示屏的尺寸的1倍。预设尺寸还可以存在其他形式,本申请实施例对预设尺寸的形式不作限定。
184.根据图2可知,头戴式显示器还可以包括用于支持第一界面的sdk,gpu和显示屏。其中,头戴式显示器根据调整参数显示第二界面中的第三子界面和第四子界面,具体包括:
头戴式显示器将调整参数发送给sdk;头戴式显示器将调整参数从sdk发送至gpu;头戴式显示器在gpu中根据调整参数渲染第二界面中的第三子界面和第四子界面;头戴式显示器显示第二界面中的第三子界面和第四子界面。
185.也就是说,头戴式显示器将调整参数发送给sdk,再经由sdk发送至gpu,使gpu可以根据调整参数渲染第二界面中的第三子界面和第四子界面,最后,将经过渲染第二界面中的第三子界面和第四子界面显示出来。同时,该方案未向头戴式显示器新增硬件负反馈模块,无附加成本。
186.在步骤301-306描述的方案中,头戴式显示器可以响应于用户第一预设操作来调整第一界面中的图片一和/或图片二的大小,使得用户通过左、右眼光学系统看到调整后的图片一和图片二的大小一致。然后,头戴式显示器可以响应于用户确定看到图片一和图片二的大小一致的第二预设操作,根据调整后的图片一和/或图片二的大小确定调整参数。之后,头戴式显示器可以根据调整参数显示第二界面中的第三子界面和第四子界面。因此,双眼光焦度不一致的用户可以利用头戴式显示器来将用户双眼通过光学系统看到的图片一和图片二的大小调整成一致,并根据调整参数来显示第二界面中的第三子界面和第四子界面。使得用户双眼通过光学系统看到的第三子界面和第四子界面的大小一致,从而能够使双眼光焦度不一致的用户的双目图像融合。因此,用户使用头戴式显示器时不会出现眩晕感,沉浸感较好,同时用户双眼不易出现疲劳不适,提高了用户体验。
187.在一些实施例中,在步骤301之前,该方法还可以包括:头戴式显示器检测到用户的第三预设操作;响应于第三预设操作,头戴式显示器调整头戴式显示器针对用户视力的光焦度。
188.也就是说,在头戴式显示器显示第一界面之前,用户可以调整头戴式显示器针对用户双眼视力的光焦度,从而可以使头戴式显示器的左、右眼光学系统分别适配于用户左、右眼,使用户双眼通过该左、右眼光学系统视物清晰。另外,由于头戴式显示器调整头戴式显示器针对用户双眼视力的光焦度中可能存在过校正/欠校正问题,过校正/欠校正问题会引起图片一和图片二的融合情况变化,因此,头戴式显示器在调焦之后再进行图片融合调整,能够同时调整由于过校正/欠校正问题而引起的融合变化。
189.其中,头戴式显示器还可以包括光学调焦模组,光学调焦模组可以包括光学透镜。响应于第三预设操作,头戴式显示器调整头戴式显示器针对用户视力的光焦度,可以包括:响应于第三预设操作,头戴式显示器调整光学透镜,以调整头戴式显示器针对用户视力的光焦度。
190.也就是说,头戴式显示器可以通过调整光学调焦模组中的光学透镜来为用户双眼适配合适的左、右眼光学系统,用户无需精确知晓双眼的视力度数,能够使用户双眼通过该左、右眼光学系统视物清晰。
191.其中,第三预设操作可以是用户按下与头戴式显示器连接的手柄上的按键的操作;或者,第三预设操作可以是用户按下头戴式显示器上的按键的操作;或者,第三预设操作可以是用户旋转头戴式显示器上的旋钮的操作。可以理解的是,第三预设操作还可以是其他类型的预设操作,本申请实施例对第三预设操作的类型不作限定。
192.其中,在第三预设操作为用户按下手柄/头戴式显示器上的按键的操作时,头戴式显示器调整光学透镜,可以包括:头戴式显示器自动调整光学透镜,使用户通过调整后的光
学透镜视物清晰。或者,头戴式显示器改变光学透镜距离用户眼睛的位置,并且可以重复进行该过程,直至用户通过调整后的光学透镜视物清晰。或者,头戴式显示器通过外加电压改变光学透镜的焦距(例如液态镜头电压式调焦),并且可以重复进行该过程,直至用户通过调整后的光学透镜视物清晰。在第三预设操作是用户旋转头戴式显示器上的旋钮的操作时,头戴式显示器调整光学透镜,可以包括:头戴式显示器根据用户的旋转操作来移动光学透镜距离用户眼睛的位置(例如曲线槽式/螺纹式机械调焦),以改变光路系统的焦距,并且可以重复进行该过程,直至用户通过调整后的光学透镜视物清晰。可以理解的是,还存在头戴式显示器调整光学透镜的其他方式,本申请实施例对头戴式显示器调整光学透镜的方式不作限定。
193.在另一些实施例中,在步骤301之前,该方法还可以包括:头戴式显示器检测到用户的第四预设操作,第四预设操作用于指示头戴式显示器显示第一界面。
194.例如,第四预设操作可以是用户点击图2所示的交互应用106的图标的操作。或者,第四预设操作可以是用户点击集成有交互界面的其他应用程序的图标的操作。或者,第四预设操作可以是用户的语音操作,例如,用户说出“显示交互界面”的语音内容的操作。或者,第四预设操作可以是用户的手势操作,例如,头戴式显示器上安装有摄像头,头戴式显示器可以通过摄像头检测到用户划一个圆圈轨迹的手势操作。第四预设操作也可以是其他类型的用户操作,本申请实施例对第四预设操作的方式不作限定。
195.也就是说,头戴式显示器可以根据用户的主动指示显示第一界面,为用户提供可用于调整图片大小的交互界面。
196.在一些实施例中,头戴式显示器响应于用户的第三预设操作,在调整头戴式显示器针对用户视力的光焦度之后,可以自动显示第一界面;
197.在另一些实施例中,头戴式显示器响应于用户的第三预设操作,调整头戴式显示器针对用户视力的光焦度之后,又检测到用户的第四预设操作,头戴式显示器响应于第四预设操作显示第一界面。
198.可以理解的是,为了实现上述功能,电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
199.本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
200.在采用对应各个功能划分各个功能模块的情况下,图13示出了上述实施例中涉及的电子设备1300的一种可能的组成示意图,如图13所示,该电子设备1300可以包括:显示单元1301、检测单元1302、调整单元1303和确定单元1304。
201.其中,显示单元1301可以用于支持电子设备1300执行上述步骤301、步骤306等,和/或用于本文所描述的技术的其他过程。
202.检测单元1302可以用于支持电子设备1300执行上述步骤302、步骤304等,和/或用于本文所描述的技术的其他过程。
203.调整单元1303可以用于支持电子设备1300执行上述步骤303等,和/或用于本文所描述的技术的其他过程。
204.确定单元1304可以用于支持电子设备1300执行上述步骤305等,和/或用于本文所描述的技术的其他过程。
205.需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
206.本实施例提供的电子设备1300,用于执行上述控制界面显示的方法,因此可以达到与上述实现方法相同的效果。
207.在采用集成的单元的情况下,电子设备1300可以包括处理模块、存储模块和通信模块。其中,处理模块可以用于对电子设备1300的动作进行控制管理,例如,可以用于支持电子设备1300执行上述显示单元1301、检测单元1302、调整单元1303和确定单元1304执行的步骤。存储模块可以用于支持电子设备1300存储程序代码和数据等。通信模块,可以用于支持电子设备1300与其他设备的通信,例如与无线接入设备的通信。
208.其中,处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,dsp)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、wi-fi芯片等与其他电子设备交互的设备。
209.在一个实施例中,当处理模块为处理器,存储模块为存储器时,本实施例所涉及的电子设备可以为具有图1所示结构的头戴式显示器。
210.本申请的实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的控制界面显示的方法。
211.本申请的实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中电子设备执行的控制界面显示的方法。
212.另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中电子设备执行的控制界面显示的方法。
213.其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
214.通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
215.在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
216.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
217.另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
218.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
219.以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1