头戴显示设备及其摄像追踪方法、装置、系统和存储介质与流程

1.本发明涉及头戴显示设备技术领域，特别涉及一种头戴显示设备的摄像追踪方法、装置、系统、头戴显示设备及计算机可读存储介质。


背景技术：

2.目前，如vr(virtual reality，虚拟现实)头显的头戴显示设备可以将人的对外界的视觉和听觉封闭，引导用户产生一种身在虚拟环境中的感觉。现有技术中，如vr追踪系统的摄像追踪方案均是采用被动追踪方式，即摄像头的图像采集视角固定，通过用户转动头部调整更新摄像头的图像采集范围；随着头戴显示设备的技术发展，被动追踪方式由于其采集内容的局限性及缺乏实时性，已越来越不能满足当前的用户需求。
3.因此，如何能够实现头戴显示设备的主动摄像追踪，克服传统被动追踪方式的采集内容单一且缺乏实时性的缺点，提升用户体验，是现今急需解决的问题。


技术实现要素：

4.本发明的目的是提供一种头戴显示设备的摄像追踪方法、装置、系统、头戴显示设备及计算机可读存储介质，以实现头戴显示设备的主动摄像追踪，克服传统被动追踪方式的采集内容单一且缺乏实时性的缺点，提升用户体验。
5.为解决上述技术问题，本发明提供一种头戴显示设备的摄像追踪方法，包括：
6.获取追踪设备的追踪位置信息；
7.根据所述追踪位置信息，获取头戴显示设备中摄像头的转向控制指令；
8.利用所述转向控制指令，控制所述摄像头中的旋转镜片进行转向。
9.可选的，所述获取追踪设备的追踪位置信息，包括：
10.接收所述追踪设备发送的位置预测信息；其中，所述位置预测信息为所述追踪设备通过运动趋势检测得到的位置信息。
11.可选的，所述根据所述追踪位置信息，获取头戴显示设备中摄像头的转向控制指令，包括：
12.判断所述追踪位置信息是否处于所述摄像头的当前检测范围内；
13.若否，则根据所述追踪位置信息，生成所述转向控制指令。
14.可选的，所述利用所述转向控制指令，控制所述摄像头中的旋转镜片进行转向，包括：
15.向所述摄像头发送所述转向控制指令，控制所述旋转镜片旋转到所述转向控制指令对应的角度，使所述摄像头采集的图像数据包括所述追踪位置信息对应的位置的图像。
16.可选的，所述根据所述追踪位置信息，获取头戴显示设备中摄像头的转向控制指令之后，还包括：
17.根据所述转向控制指令，生成所述追踪设备的坐标系配置指令；
18.将所述坐标系配置指令发送到所述追踪设备，控制所述追踪设备切换采用所述坐
标系配置指令对应的坐标系。
19.可选的，所述根据所述转向控制指令，生成所述追踪设备的坐标系配置指令，包括：
20.根据所述转向控制指令中的旋转方向信息和旋转角度信息，确定所述摄像头的视场角信息；
21.根据所述视场角信息，生成所述坐标系配置指令。
22.本发明还提供了一种头戴显示设备的摄像追踪装置，包括：
23.位置获取模块，用于获取追踪设备的追踪位置信息；
24.指令获取模块，用于根据所述追踪位置信息，获取头戴显示设备中摄像头的转向控制指令；
25.转向控制模块，用于利用所述转向控制指令，控制所述摄像头中的旋转镜片进行转向。
26.本发明还提供了一种头戴显示设备，包括：
27.存储器，用于存储计算机程序；
28.处理器，用于执行所述计算机程序时实现如上述所述的头戴显示设备的摄像追踪方法的步骤。
29.本发明还提供了一种头戴显示设备的摄像追踪系统，包括：如上述所述的头戴显示设备和追踪设备；其中，所述头戴显示设备包括设置有旋转镜片的摄像头。
30.本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的头戴显示设备的摄像追踪方法的步骤。
31.本发明所提供的一种头戴显示设备的摄像追踪方法，包括：获取追踪设备的追踪位置信息；根据追踪位置信息，获取头戴显示设备中摄像头的转向控制指令；利用转向控制指令，控制摄像头中的旋转镜片进行转向；
32.可见，本发明通过根据追踪位置信息，获取头戴显示设备中摄像头的转向控制指令，可以利用需要追踪的追踪设备的追踪位置信息，获取控制摄像头中旋转镜片的转向控制指令，从而控制摄像头中的旋转镜片对应进行转向，实现对追踪设备的主动摄像追踪，能够克服传统被动追踪方式的采集内容单一且缺乏实时性的缺点，提高摄像头的采集内容的丰富度和实时性，提升了用户体验。此外，本发明还提供了一种头戴显示设备的摄像追踪装置、系统、头戴显示设备及计算机可读存储介质，同样具有上述有益效果。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
34.图1为本发明实施例所提供的一种头戴显示设备的摄像追踪方法的流程图；
35.图2为本发明实施例所提供的一种头戴显示设备的摄像追踪系统的框架示意图；
36.图3为本发明实施例所提供的一种头戴显示设备的摄像追踪系统的使用场景示意
图；
37.图4为本发明实施例所提供的另一种头戴显示设备的摄像追踪方法的坐标系调整示意图；
38.图5为本发明实施例所提供的一种头戴显示设备的摄像追踪装置的结构框图。
具体实施方式
39.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.请参考图1，图1为本发明实施例所提供的一种头戴显示设备的摄像追踪方法的流程图。该方法可以包括：
41.步骤101：获取追踪设备的追踪位置信息。
42.其中，本实施例中的追踪设备可以为需要被摄像追踪的设备，即头戴显示设备中的摄像头所需追踪的设备；本实施例中的追踪设备可以与头戴显示设备通信连接，以使头戴显示设备的处理器可以利用与追踪设备的通信，获取追踪设备的追踪位置信息。
43.具体的，对于本实施例中的追踪设备的具体设备类型，可以由设计人员根据实用场景和用户需求自行设置，如追踪设备可以为手柄设备，如图2中与vr头显通信连接(如有线连接或无线连接)的vr手柄；追踪设备也可以为与头戴显示设备通信连接的移动终端设备，如智能手表、手环和手机等。
44.可以理解的是，本步骤中的追踪位置信息可以为需要被摄像追踪的位置的信息，即头戴显示设备中的摄像头所需追踪的位置的信息。对于本步骤中的追踪位置信息的具体内容，可以由设计人员根据实用场景和用户需求自行设置，如追踪位置信息可以为追踪设备的实时位置信息，即追踪设备实时采集的实时的位置信息；追踪位置信息也可以为追踪设备的预测位置信息，如通过运动趋势检测得到的位置信息。本实施例对此不做任何限制。
45.具体的，对于本步骤中头戴显示设备的处理器获取追踪设备的追踪位置信息的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如追踪位置信息为追踪设备的实时位置信息时，处理器可以直接接收追踪设备发送的实时位置信息。追踪位置信息为追踪设备的位置预测信息时，处理器可以直接接收追踪设备发送的位置预测信息，例如，位置预测信息可以为追踪设备通过运动趋势检测得到的位置信息；处理器也可以利用接收的追踪设备发送的实时位置信息，通过运动趋势检测得到追踪设备的位置预测信息。本实施例对此不做任何限制。
46.对应的，头戴显示设备的处理器接收追踪设备发送的位置预测信息的情况下，本实施例所提供的方法在步骤101之前还可以包括追踪设备获取并向头戴显示设备发送位置预测信息的过程。例如，追踪设备可以为利用采集的实时位置信息，通过运动趋势检测得到并向头戴显示设备发送位置预测信息。追踪设备也可以根据通过运动趋势检测得到的位置预测信息，判断摄像头中的旋转镜片是否需要转向；若是，则将位置预测信息发送到头戴显示设备；若否，则结束本流程或继续采集实时位置信息并获取位置预测信息。例如，如图2所示，vr手柄(即追踪设备)可以通过内部的imu(惯性测量单元)检测vr手柄运动趋势，得到位
置预测信息；将摄像头在当前角度情况下的视场角未超过摄像头检测范围作为阈值，在达到阈值时确定旋转镜片需要转向，然后将位置预测信息发送给vr头显(即头戴显示设备)的处理器，使处理器可以利用接收的位置预测信息(即追踪位置信息)控制旋转镜片进行有效的转向。
47.步骤102：根据追踪位置信息，获取头戴显示设备中摄像头的转向控制指令。
48.其中，本步骤中转向控制指令可以为用于控制摄像头中的旋转镜片转向的指令，即摄像头可以根据接收的转向控制指令，控制旋转镜片对应进行转向。对于本步骤中的转向控制指令的具体内容，可以由设计人员根据实用场景和用户需求，如转向控制指令可以包括旋转镜片的旋转角度信息，也可以包括旋转镜片的旋转角度信息和旋转方向信息，只要处理器可以利用转向控制指令，控制摄像头中的旋转镜片对应进行转向，增大位置固定的摄像头的视场角(field of view，fov)，本实施例对此不做任何限制。
49.具体的，对于本步骤中头戴显示设备的处理器根据追踪位置信息，获取头戴显示设备中摄像头的转向控制指令的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如处理器可以直接根据追踪位置信息，生成转向控制指令，例如处理器可以利用位置预测信息对应的目标旋转角度和旋转镜片的当前旋转角度，生成转向控制指令，使摄像头可以根据转向控制指令控制旋转镜片旋转到目标旋转角度。处理器也可以根据追踪位置信息，判断摄像头中的旋转镜片是否需要转向；若是，则根据追踪位置信息，生成转向控制指令；若否，则可以结束本流程或返回步骤101继续获取追踪位置信息；例如，处理器可以判断追踪位置信息(如位置预测信息)是否处于摄像头的当前检测范围内；若否，则能够确定旋转镜片需要转向，可以根据追踪位置信息，生成转向控制指令；若是，则能够确定旋转镜片不需要转向，可以结束本流程或返回步骤101继续获取追踪位置信息。
50.步骤103：利用转向控制指令，控制摄像头中的旋转镜片进行转向。
51.需要说明的是，本步骤中头戴显示设备的处理器可以利用获取的转向控制指令，控制摄像头中的旋转镜片对应进行转向，使转向过后摄像头采集的图像数据中可以包括追踪位置信息对应的位置的图像。
52.具体的，本实施例并不限定处理器利用转向控制指令，控制摄像头中的旋转镜片进行转向的具体方式，例如处理器可以直接将转向控制指令发送给摄像头，即本步骤中处理器向摄像头发送转向控制指令，控制旋转镜片旋转到转向控制指令对应的角度，使摄像头采集的图像数据包括追踪位置信息对应的位置的图像，如摄像头采集的画面的中心可以为追踪位置信息对应的位置。
53.可以理解的是，本实施例所提供的方法还可以包括对追踪设备的坐标系的调整控制过程，如本实施例中处理器可以在步骤102之后，生成并向追踪设备发送坐标系配置指令，以使追踪设备可以根据坐标系配置指令将坐标系(如imu平面坐标系)调整为旋转镜片转向后的摄像头视场角对应的坐标系。例如，处理器可以在步骤103之前或之后，根据转向控制指令，生成追踪设备的坐标系配置指令；将坐标系配置指令发送到追踪设备，控制追踪设备切换采用坐标系配置指令对应的坐标系。如处理器可以根据转向控制指令中的旋转方向信息和旋转角度信息，确定摄像头的视场角信息；根据视场角信息，生成坐标系配置指令，以控制追踪设备切换采用该视场角信息对应的坐标系；也就是说，处理器可以利用预先存储的各旋转角度对应的坐标系，根据转向控制指令中的旋转方向信息和旋转角度信息，
得到目标旋转角度并确定目标旋转角度对应的坐标系，以生成该坐标系对应的坐标系配置指令，从而控制追踪设备切换采用该坐标系。
54.对应的，如图2和图3所示，本实施例中处理器也可以在步骤103之后，根据旋转镜片转向后摄像头采集的图像数据(即视频信息)，生成追踪设备的坐标系配置指令；将坐标系配置指令发送到追踪设备，控制追踪设备切换采用坐标系配置指令对应的坐标系。如图4所示，由于vr手柄的运动趋势检测需要一个参考的坐标系，根据摄像头的旋转镜片的旋转角度不同，可以采用不同的平面坐标系；通过根据不同的摄像头的视场角设定的不同的平面坐标系(如imu平面坐标系)，旋转镜片转动α后，可以根据摄像头的视场角的不同，从平面坐标系1转换为平面坐标系2。
55.进一步的，本实施例所提供的方法还可以包括头戴显示设备的佩戴检测过程，如本实施例中处理器可以在步骤101之前，判断开机的头戴显示设备是否处于佩戴状态；若是，则进入步骤101；若否，则可以结束本流程；从而减少头戴显示设备的耗电量。
56.本实施例中，本发明实施例通过根据追踪位置信息，获取头戴显示设备中摄像头的转向控制指令，可以利用需要追踪的追踪设备的追踪位置信息，获取控制摄像头中旋转镜片的转向控制指令，从而控制摄像头中的旋转镜片对应进行转向，实现对追踪设备的主动摄像追踪，能够克服传统被动追踪方式的采集内容单一且缺乏实时性的缺点，提高摄像头的采集内容的丰富度和实时性，提升了用户体验。
57.相应于上面的方法实施例，本发明实施例还提供了一种头戴显示设备的摄像追踪装置，下文描述的一种头戴显示设备的摄像追踪装置与上文描述的一种头戴显示设备的摄像追踪方法可相互对应参照。
58.请参考图5，图5为本发明实施例所提供的一种头戴显示设备的摄像追踪装置的结构框图。该装置可以包括：
59.位置获取模块10，用于获取追踪设备的追踪位置信息；
60.指令获取模块20，用于根据追踪位置信息，获取头戴显示设备中摄像头的转向控制指令；
61.转向控制模块30，用于利用转向控制指令，控制摄像头中的旋转镜片进行转向。
62.可选的，位置获取模块10可以具体用于接收追踪设备发送的位置预测信息；其中，位置预测信息为追踪设备通过运动趋势检测得到的位置信息。
63.可选的，指令获取模块20可以包括：
64.判断子模块，用于判断追踪位置信息是否处于摄像头的当前检测范围内；
65.指令生成子模块，用于若不处于摄像头的当前检测范围内，则根据追踪位置信息，生成转向控制指令。
66.可选的，转向控制模块30可以具体用于向摄像头发送转向控制指令，控制旋转镜片旋转到转向控制指令对应的角度，使摄像头采集的图像数据包括追踪位置信息对应的位置的图像。
67.可选的该装置还可以包括：
68.指令生成模块，用于根据转向控制指令，生成追踪设备的坐标系配置指令；
69.坐标配置模块，用于将坐标系配置指令发送到追踪设备，控制追踪设备切换采用坐标系配置指令对应的坐标系。
70.可选的，指令生成模块可以包括：
71.视场角确定子模块，用于根据转向控制指令中的旋转方向信息和旋转角度信息，确定摄像头的视场角信息；
72.指令生成子模块，用于根据视场角信息，生成坐标系配置指令。
73.本实施例中，本发明实施例通过指令获取模块20根据追踪位置信息，获取头戴显示设备中摄像头的转向控制指令，可以利用需要追踪的追踪设备的追踪位置信息，获取控制摄像头中旋转镜片的转向控制指令，从而控制摄像头中的旋转镜片对应进行转向，实现对追踪设备的主动摄像追踪，能够克服传统被动追踪方式的采集内容单一且缺乏实时性的缺点，提高摄像头的采集内容的丰富度和实时性，提升了用户体验。
74.相应于上面的方法实施例，本发明实施例还提供了一种头戴显示设备，下文描述的一种头戴显示设备与上文描述的一种头戴显示设备的摄像追踪方法可相互对应参照。
75.本发明实施例提供了一种头戴显示设备，包括：
76.存储器，用于存储计算机程序；
77.处理器，用于执行计算机程序时实现如上述实施例所提供的头戴显示设备的摄像追踪方法的步骤。
78.其中，本实施例中的头戴显示设备可以设置摄像头，该摄像头中可以设置旋转镜片。
79.具体的，本实施例所提供的头戴显示设备可以具体为vr设备、ar设备或mr设备等的hmd(head mount display，头戴式显示器)设备，如图2中的vr头显。
80.相应于上面的方法实施例，本发明实施例还提供了一种头戴显示设备的摄像追踪系统，下文描述的一种头戴显示设备的摄像追踪系统与上文描述的一种头戴显示设备的摄像追踪方法可相互对应参照。
81.本发明实施例提供了一种头戴显示设备的摄像追踪系统，包括：如上述的头戴显示设备和追踪设备；其中，头戴显示设备包括设置有旋转镜片的摄像头。
82.具体的，本实施例中的追踪设备可以与头戴显示设备通信连接(如有线连接或无线连接)。追踪设备可以具体为手柄设备，如图2中与vr头显通信连接的vr手柄；追踪设备也可以为与头戴显示设备通信连接的移动终端设备，如智能手表、手环和手机等。
83.相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，下文描述的一种计算机可读存储介质与上文描述的一种头戴显示设备的摄像追踪方法可相互对应参照。
84.本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所提供的头戴显示设备的摄像追踪方法的步骤。
85.说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、系统、头戴显示设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
86.以上对本发明所提供的一种头戴显示设备的摄像追踪方法、装置、系统、头戴显示设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实
施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。