一种头戴显示设备的控制方法、头戴显示设备及存储介质与流程

1.本技术属于电子设备技术领域，具体地，涉及一种头戴显示设备的控制方法、头戴显示设备及存储介质。


背景技术：

2.近年来头戴式显示设备发展迅速。头戴式显示设备能够为使用者带来全方位的虚拟沉浸体验，使用者通过佩戴头戴式显示设备，接收到设备营造出的虚拟环境，比如ar/vr眼镜。这种虚拟环境可以应用到日常娱乐、工作任务模拟和演练等方面，具有广泛的应用前景。
3.现阶段出现了通过头戴显示设备上设置摄像头组件采集实际场景，然后头戴显示设备将采集到的实际场景的至少部分数据与设备营造出的虚拟场景相融合。比如，通过实际场景中的信息调整头戴显示设备上显示的虚拟场景。
4.但是，消费者在使用上述头戴显示设备时，可能会由于个体差异导致摄像头组件的位姿会产生变化，比如，头戴显示设备为眼镜时，由于消费者的头型尺寸不同，佩戴的眼镜在不同尺寸的头型上产生不同的形变，这会带动设置在眼镜上的摄像头组件的位姿变化。此时，头戴显示设备由于摄像头组件实际的位姿会与摄像头组件的初始位姿不同而引入计算误差，使头戴显示设备营造的虚拟环境中的物体产生漂移等情况，降低了用户的使用体验。


技术实现要素：

5.本技术旨在提供一种头戴显示设备的控制方法、头戴显示设备及存储介质，减轻头戴显示设备的摄像头组件存在一定计算误差的问题。
6.第一方面，本技术提供了一种头戴显示设备的控制方法，包括头戴显示设备，所述头戴显示设备上设置有摄像头组件和传感器，在所述头戴显示设备因佩戴而产生形变的情况下，所述摄像头组件的位姿改变，所述传感器输出的实时值改变；所述方法包括：获取所述传感器的实时值；根据所述传感器的实时值确定所述摄像头组件的实时位姿；响应于所述摄像头组件的实时位姿，调整所述头戴显示设备显示的虚拟图像。
7.可选地，所述获取所述传感器的实时值包括：在获取所述传感器的实时值之前，进入6dof模式。
8.可选地，所述获取所述传感器的实时值包括：在获取所述传感器的实时值之前，建立所述传感器的实时值和所述摄像头组件的实时位姿的映射关系库。
9.可选地，所述建立所述传感器的实时值和所述摄像头组件的实时位姿的映射关系库包括：在所述头戴显示设备处于不同的形变状态时，分别获取所述头戴显示设备每种形
变状态下的所述传感器的实时值和所述摄像头组件的实时位姿，用所有相对应的所述实时值和所述实时位姿建立映射关系库。
10.可选地，所述摄像头组件的实时位姿包括所述摄像头组件的位移位姿和所述摄像头组件的旋转位姿。
11.可选地，所述传感器包括压力传感器，所述传感器的实时值包括压力数值。
12.可选地，所述传感器包括位置传感器，所述传感器的实时值包括位置数值。
13.第二方面，本技术提供了一种头戴显示设备，该头戴显示设备被配置为能执行以上所述的头戴显示设备的控制方法，包括本体、摄像头组件和传感器，所述摄像头组件和传感器设置在所述本体上。
14.可选地，所述本体包括镜框，所述镜框上可转动设置有镜腿，所述镜腿和所述镜框之间设置有传感器，在所述镜腿和所述镜框产生形变的状态下，所述传感器被触发。
15.第三方面，本技术提供了一种头戴显示设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现以上所述的头戴显示设备的控制方法的步骤。
16.第四方面，本技术提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现以上所述的头戴显示设备的控制方法的步骤。
17.申请的一个技术效果在于，在用户佩戴头戴显示设备后，能够根据摄像头组件变化后的实时位姿调整头戴显示设备显示的虚拟图像，能够减轻在佩戴头戴显示设备后摄像头组件存在一定计算误差的问题。
18.通过以下参照附图对本技术的示例性实施例的详细描述，本技术的其它特征及其优点将会变得清楚。
附图说明
19.被结合在说明书中并构成说明书的一部分的附图示出了本技术的实施例，并且连同其说明一起用于解释本技术的原理。
20.图1是本技术提供的头戴显示设备的控制方法的第一实施例流程图；图2是本技术提供的头戴显示设备的控制方法的第二实施例流程图；图3是本技术提供的一种头戴显示设备的结构示意图。
21.附图标记：1、第一摄像头；2、第二摄像头；3、镜框。
具体实施方式
22.现在将参照附图来详细描述本技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。
23.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本技术及其应用或使用的任何限制。
24.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
25.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
26.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
27.第一方面，本技术提供了一种头戴显示设备的控制方法，包括头戴显示设备，所述头戴显示设备上设置有摄像头组件和传感器，在所述头戴显示设备因佩戴而产生形变的情况下，所述摄像头组件的位姿改变，所述传感器输出的实时值改变。如图1所示，所述方法包括：获取所述传感器的实时值。
28.根据所述传感器的实时值确定所述摄像头组件的实时位姿。
29.响应于所述摄像头组件的实时位姿，调整所述头戴显示设备显示的虚拟图像。
30.所述头戴显示设备可以为ar眼镜、vr眼镜、ar头盔等头戴显示设备。本技术实施例中以头戴显示设备为ar眼镜为例进行说明。
31.现有技术中，由于不同用户的头型尺寸不同，ar眼镜佩戴在用户头上时，ar眼镜会产生相应的形变，设在ar眼镜上的摄像头组件的位姿会跟随ar眼镜的形变而改变。比如，用户的头部尺寸相对较大，在ar眼镜佩戴在用户头部的状态下，ar眼镜会产生相对较大的形变，此时，摄像头组件的位姿变化相对较大；用户的头部尺寸相对较小，在ar眼镜佩戴在用户头部的状态下，ar眼镜会产生相对较小的形变，此时，摄像头组件的位姿变化相对较小。
32.而摄像头组件位姿的改变会使摄像头组件的实时位姿与摄像头组件的初始位姿不同而引入计算误差，导致ar眼镜营造出的虚拟图像不准确。比如，ar眼镜在出厂时，工厂会在ar眼镜未变形的情况下测算出摄像头组件的初始位姿数据，然后用上述的初始位姿数据调试ar眼镜，在ar眼镜未变形的情况下，ar眼镜显示的虚拟图像是准确的。而当ar眼镜变形，摄像头组件的位姿跟着改变的情况下，ar眼镜采用的仍然是ar眼镜未变形的情况下测算出摄像头组件的初始位姿数据，这会导致ar眼镜引入计算误差。
33.而本实施例中，在头戴显示设备上设置有传感器。头戴显示设备产生形变时，传感器会输出实时值，且传感器输出的实时值会跟随头戴显示设备产生的形变而改变。比如，头戴显示设备产生的形变越大，传感器输出的实时值越大。头戴显示设备产生形变时，头戴显示设备上设置的摄像头组件的实时位姿也会跟随头戴显示设备产生的形变而改变。比如，头戴显示设备产生的形变越大，摄像头组件的实时位姿变化越大。据此，可以将传感器输出的实时值和摄像头组件的位姿变化关联起来，即，传感器输出的实时值跟随摄像头组件的实时位姿的改变而改变。比如，传感器输出的实时值越大，摄像头组件的实时位姿变化越大。
34.基于此，可以通过以下方法解决摄像头组件的实时位姿与摄像头组件的初始位姿不同而引入计算误差的问题。
35.获取所述传感器的实时值。
36.根据所述传感器的实时值确定所述摄像头组件的实时位姿。
37.响应于所述摄像头组件的实时位姿，调整所述头戴显示设备显示的虚拟图像。
38.本实施例中，首先获取传感器的实时值，然后根据传感器的实时值与摄像头组件的实时位姿的对应关系确定摄像头组件的实时位姿，最后，根据摄像头组件的实时位姿，调
整头戴显示设备显示的虚拟图像。
39.本技术实施例在用户佩戴头戴显示设备后，能够根据摄像头组件变化后的实时位姿调整头戴显示设备显示的虚拟图像，能够解决在佩戴头戴显示设备后摄像头组件的实时位姿与摄像头组件的初始位姿不同而引入计算误差的问题，使头戴显示设备营造的虚拟图像中不会出现物体产生漂移等显示不准确的情况，使本技术实施例具有较佳的使用体验。
40.可选地，所述获取所述传感器的实时值包括：在获取所述传感器的实时值之前，进入6dof模式。
41.6dof模式也称为6自由度模式，该模式下，在虚拟场景中能够满足在x、y、z轴上的平移运动以及在x、y、z轴上的旋转运动，使用户具有更强的沉浸式体验。实现6dof模式需要采用6自由度算法，而6自由度算法则需要通过采集摄像头组件和设置在头戴显示设备内的imu传感器（加速度和陀螺）数据计算用户在虚拟场景中的位姿，而摄像头组件的数据会随着摄像头组件位姿的变化而变化，如果摄像头组件的实时位姿产生了改变，摄像头组件的数据也会产生改变，则在在虚拟场景中的位姿就不准确。因此，在6dof模式中确定摄像头组件的实时位姿非常重要。又因为摄像头组件的实时位姿是和传感器的实时值相关联，基于此，本技术实施例在获取所述传感器的实时值之前，进入6dof模式，能够在6dof模式中确定摄像头组件的实时位姿，使6dof模式中的虚拟场景更加准确，进一步提高了用户在6dof模式下的沉浸式体验。
42.可选地，如图2所示，所述获取所述传感器的实时值包括：在获取所述传感器的实时值之前，建立所述传感器的实时值和所述摄像头组件的实时位姿的映射关系库。
43.本实施例中，先建立所述传感器的实时值和所述摄像头组件的实时位姿的映射关系库，然后再获取所述传感器的实时值。使本技术实施例在获取传感器的实时值后，就能够马上利用所述传感器的实时值和所述摄像头组件的实时位姿的映射关系库确定摄像头组件的实时位姿，使摄像头组件的实时位姿的确定更加简便、快捷。
44.在一个例子中，在头戴显示设备出厂前建立所述传感器的实时值和所述摄像头组件的实时位姿的映射关系库，然后将上述的映射关系库植入头戴显示设备的算法中。在获取传感器的实时值后，将传感器的实时值带入上述算法中，就能够得到摄像头组件的实时位姿。
45.可选地，所述建立所述传感器的实时值和所述摄像头组件的实时位姿的映射关系库包括：在所述头戴显示设备处于不同的形变状态时，分别获取所述头戴显示设备每种形变状态下的所述传感器的实时值和所述摄像头组件的实时位姿，用所有相对应的所述实时值和所述实时位姿建立映射关系库。
46.比如，在ar眼镜保持第一形变的状态下，获取传感器的第一实时值，并测算摄像头组件的第一实时位姿；在ar眼镜的保持第二形变的状态下，获取传感器的第二实时值，并测算摄像头组件的第二实时位姿。然后建立第一实时值、第一实时位姿、第二实时值、第二实时位姿的映射关系库。在用户佩戴ar眼镜的状态下，获取传感器的实时值为第一实时值时，确定摄像头组件处于第一实时位姿。
47.可选地，所述摄像头组件的实时位姿包括所述摄像头组件的位移位姿和所述摄像
头组件的旋转位姿。能够使摄像头组件的实时位姿的确定更加准确。
48.其中，摄像头组件的实时位姿可以表示为摄像头组件相对于头戴显示设备上的一预设参照物的坐标和旋转量。比如，ar眼镜上设置有imu传感器。以imu传感器作为预设参照物，所述摄像头实时位姿为摄像头组件相对于imu传感器的坐标和摄像头组件相对于imu传感器的旋转量。
49.需要注意的是，摄像头组件实时位姿的变化与调整后虚拟图像的变化可能是不同的。比如，摄像头组件在平移第一距离后，调整后的虚拟图像并不会相应的平移第一距离。调整后的虚拟图像的变化是根据预设算法计算出来的，因此，调整后的虚拟图像的具体变化要根据计算的结果而定。
50.在一个例子中，ar眼镜上设置有imu传感器。摄像头组件包括第一摄像头1和第二摄像头2。以imu传感器作为预设参照物，所述摄像头组件的实时位姿包括第一摄像头1和第二摄像头2分别相对于imu传感器的坐标和旋转量。
51.可选地，所述传感器包括压力传感器，所述传感器的实时值包括压力数值。比如，在ar眼镜佩戴产生形变时，压力传感器输出压力数值。
52.可选地，所述传感器包括位置传感器，所述传感器的实时值包括位置数值。比如，位置传感器包括拨码开关，根据拨码开关输出的二进制数为位置数值。
53.第二方面，本技术提供了一种头戴显示设备，该头戴显示设备被配置为能执行以上所述的头戴显示设备的控制方法，如图3所示，包括本体、摄像头组件和传感器，所述摄像头组件和传感器设置在所述本体上。
54.所述头戴显示设备可以为ar眼镜、vr眼镜、ar头盔等头戴显示设备等。
55.可选地，所述本体包括镜框3，所述镜框3上可转动设置有镜腿，所述镜腿和所述镜框3之间设置有传感器，在所述镜腿和所述镜框3产生形变的状态下，所述传感器被触发。
56.在打开镜腿并将镜框3佩戴在消费者头部时，镜腿和镜框3会相互挤压而产生形变，此时传感器会被触发，使传感器能够可靠地检测头戴显示设备的形变。
57.第三方面，本技术提供了一种头戴显示设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现以上所述的头戴显示设备的控制方法的步骤。
58.第四方面，本技术提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现以上所述的头戴显示设备的控制方法的步骤。
59.本说明书的一个实施例或者多个实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本说明书的各个方面的计算机可读程序指令。
60.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、静态随机存取存储器（sram）、便携式压缩盘只读存储器（cd-rom）、数字多功能盘（dvd）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算
机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
61.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
62.用于执行本说明书实施例操作的计算机程序指令可以是汇编指令、指令集架构（isa）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（fpga）或可编程逻辑阵列（pla），该电子电路可以执行计算机可读程序指令，从而实现本说明书的各个方面。
63.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
64.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
65.虽然已经通过例子对本技术的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本技术的范围。本领域的技术人员应该理解，可在不脱离本技术的范围和精神的情况下，对以上实施例进行修改。本技术的范围由所附权利要求来限定。