预测性的头部跟踪的双耳音频渲染的制作方法

文档序号:20842557发布日期:2020-05-22 17:42阅读:来源:国知局

技术特征:

1.一种系统,包括:

渲染设备,所述渲染设备被配置为通过连接与双耳音频设备通信,

所述渲染设备包括:

一个或多个处理器;

一个或多个接收器,所述一个或多个接收器被配置为经由所述连接从所述双耳音频设备接收跟踪数据,其中所述跟踪数据指示所述双耳音频设备的位置;

存储器,所述存储器包括程序指令,所述程序指令能够由所述一个或多个处理器执行以:

分析所述跟踪数据以预测所述双耳音频设备的多个潜在位置;以及

渲染与所述双耳音频设备的所述多个潜在位置对应的多个音频流;和

一个或多个发射器,所述一个或多个发射器被配置为经由所述连接将所述多个音频流传输给所述双耳音频设备。

2.根据权利要求1所述的系统,其中所述连接是无线连接或有线连接中的一者。

3.根据权利要求1所述的系统,其中所述双耳音频设备被配置为选择所述多个音频流中最佳地匹配所述双耳音频设备的实际当前位置的一个音频流以用于回放。

4.根据权利要求1所述的系统,其中所述双耳音频设备被配置为选择并混合所述多个音频流中的两个音频流以匹配所述双耳音频设备的实际当前位置。

5.根据权利要求1所述的系统,其中所述双耳音频设备包括一个或多个运动传感器,所述一个或多个运动传感器用于跟踪所述双耳音频设备的运动。

6.根据权利要求1所述的系统,其中所述多个音频流各自包括左音频声道和右音频声道,并且其中在渲染与所述双耳音频设备的所述多个潜在位置对应的所述多个音频流时,虚拟声音源相对于所述双耳音频设备的所述潜在位置的方向性和距离是通过衰减所述左音频声道和所述右音频声道的一个或多个方面来控制的。

7.根据权利要求1所述的系统,其中所述双耳音频设备是音频头戴式耳机或耳塞,并且其中所述渲染设备是移动多用途设备。

8.根据权利要求1所述的系统,其中所述双耳音频设备是虚拟现实或混合现实系统的头戴式显示器(hmd)的部件,并且其中所述渲染设备是所述虚拟现实或混合现实系统的基站。

9.根据权利要求1所述的系统,其中所述渲染设备被配置为利用多声道音频压缩技术来压缩所述多个音频流。

10.一种系统,包括:

双耳音频设备,所述双耳音频设备包括:

一个或多个运动传感器,所述一个或多个运动传感器用于跟踪所述双耳音频设备的运动;

一个或多个处理器;

一个或多个发射器,所述一个或多个发射器被配置为经由连接将由所述一个或多个运动传感器收集的跟踪数据传输给渲染设备,其中所述跟踪数据指示所述双耳音频设备的位置;

一个或多个接收器,所述一个或多个接收器被配置为经由所述连接从所述渲染设备接收多个音频流,其中所述多个音频流与所述双耳音频设备的多个潜在位置对应;和

存储器,所述存储器包括程序指令,所述程序指令能够由所述一个或多个处理器执行以:

基于来自所述运动传感器的当前跟踪数据来确定所述双耳音频设备的实际位置;以及

在确定所述双耳音频设备的所述实际位置匹配所述多个音频流中一个音频流的位置时,选择匹配的音频流以用于回放。

11.根据权利要求10所述的系统,其中所述连接是无线连接或有线连接中的一者。

12.根据权利要求10所述的系统,其中所述程序指令能够由所述一个或多个处理器执行以在确定所述双耳音频设备的所述实际位置不匹配所述多个音频流的位置时,混合所述多个音频流中的两个音频流以生成匹配所述双耳音频设备的所述实际位置的音频流。

13.根据权利要求10所述的系统,其中所述渲染设备包括:

一个或多个接收器,所述一个或多个接收器被配置为经由所述连接从所述双耳音频设备接收所述跟踪数据;

一个或多个渲染设备处理器;

渲染设备存储器,所述渲染设备存储器包括程序指令,所述程序指令能够由所述一个或多个渲染设备处理器执行以:

分析所述跟踪数据以预测所述双耳音频设备的所述多个潜在位置;以及

渲染与所述双耳音频设备的所述多个潜在位置对应的所述多个音频流;和

一个或多个发射器,所述一个或多个发射器被配置为经由所述连接将所述多个音频流传输给所述双耳音频设备。

14.根据权利要求10所述的系统,其中所述多个音频流各自包括左音频声道和右音频声道,并且其中虚拟声音源相对于所述双耳音频设备的所述潜在位置的方向性和距离是通过衰减所述左音频声道和所述右音频声道的一个或多个方面来进行控制。

15.根据权利要求10所述的系统,其中所述双耳音频设备是音频头戴式耳机或耳塞,并且其中所述渲染设备是移动多用途设备。

16.根据权利要求10所述的系统,其中所述双耳音频设备是虚拟现实或混合现实系统的头戴式显示器(hmd)的部件,并且其中所述渲染设备是所述虚拟现实或混合现实系统的基站。

17.一种方法,包括:

由包括一个或多个处理器的渲染设备执行:

经由连接从双耳音频设备接收头部跟踪数据;

分析所述头部跟踪数据以预测用户的头部的多个潜在位置;

渲染与所述用户的头部的所述多个潜在位置对应的多个音频流;以及

经由所述连接将所述多个音频流传输给所述双耳音频设备。

18.根据权利要求17所述的方法,其中所述连接是无线连接或有线连接中的一者。

19.根据权利要求17所述的方法,还包括由所述双耳音频设备执行:

经由所述连接将由一个或多个运动传感器收集的所述头部跟踪数据传输给所述渲染设备;

经由所述连接从所述渲染设备接收与所述用户的头部的所述多个潜在位置对应的所述多个音频流;

基于来自所述运动传感器的当前头部跟踪数据来确定所述用户的头部的实际位置;以及

在确定所述用户的头部的所述实际位置匹配所述多个音频流中一个音频流的位置时,选择并播放匹配的音频流。

20.根据权利要求17所述的方法,还包括在确定所述用户的头部的所述实际位置不匹配所述多个音频流的位置时,混合所述多个音频流中的两个音频流以生成匹配所述用户的头部的所述实际位置的音频流。

21.根据权利要求17所述的方法,其中所述双耳音频设备是用户穿戴的音频头戴式耳机或耳塞,并且其中所述渲染设备是用户携带的移动多用途设备。

22.根据权利要求17所述的方法,其中所述双耳音频设备是虚拟现实或混合现实系统的头戴式显示器(hmd)的部件,并且其中所述渲染设备是所述虚拟现实或混合现实系统的基站。

23.根据权利要求17所述的方法,还包括在所述传输之前压缩所述多个音频流。


技术总结
公开了用于预测性的头部跟踪的双耳音频渲染的方法和装置,其中渲染设备基于从头戴式耳机接收的头部跟踪数据来渲染用于不同的可能头部位置的多个音频流,例如用于最后已知位置和一个或多个所预测或可能的位置的音频流,并且将所述多个音频流传输给头戴式耳机。所述头戴式耳机然后基于当前头部跟踪数据来选择和播放所述音频流中最靠近实际头部位置的一个音频流。如果所述音频流中没有任何一个音频流紧密地匹配实际头部位置,则可混合两个最靠近的音频流。向头戴式耳机传输多个音频流以及在头戴式耳机上选择或混合音频流可减轻或消除感知到的头部跟踪延迟。

技术研发人员:J·O·玛丽玛;C·T·尤班克;M·E·约翰逊;S·J·伍德;D·纳塔拉简
受保护的技术使用者:苹果公司
技术研发日:2018.09.25
技术公布日:2020.05.22
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1