一种音频处理方法和系统的制作方法
【技术领域】
[0001] 本发明涉及信号处理技术领域，特别涉及一种音频处理的方法，服务器以及系统。
【背景技术】
[0002] 在利用虚拟现实头戴设备(head-mounted display，HMD)向用户呈现内容时，采用 虚拟3D音频技术，通过立体声耳机向用户播放音频内容，一种提高临场感的方法是跟踪用 户头部动作(head tracking)，对声音进行相应的处理。比如，如果原始声音被用户感知为 来自正前方，当用户向左转头90度后，声音应被处理使得用户感知声音来自正右方90度。在 这里虚拟现实设备可以有很多种类，比如带头部跟踪的显示设备，或者只是一部带头部跟 踪传感器的立体声耳机。
[0003] 实现头部跟踪也有多种方法。比较常见的是使用多种运动传感器。运动传感器套 件通常包括加速度计、陀螺仪和磁力传感器。在运动跟踪和绝对方向方面每种传感器都有 自己固有的强项和弱点。因此常用做法是采用传感器"融合"（sensor fusion)将来自各传 感器的信号组合在一起，产生一个更加精确的运动检测结果。
[0004] 在得到头部旋转角度后，需要对声音进行相应的变化。一种方式是将声音转到 Ambi sonic域，然后再通过使用旋转矩阵对信号做变换。Ambi sonic信号通常是多于两个声 道，而常见的媒体播放器只支持立体声两声道，这对直接播放Ambisonic或其他多声道的音 频信号带来困难。
[0005] 有鉴于此，在本领域需要一种有效且高质量的虚拟环绕声生成和播放的解决方 案。
【发明内容】
[0006] 为了克服现有技术的上述缺陷，本发明的目的在于提供一种云端音频处理方法， 服务器和系统，其能有效且高质量地生成虚拟环绕声，主要用于配合虚拟现实头戴设备进 行音频的立体声耳机播放，并且所述虚拟环绕声的生成是在云端服务器上进行的，很好的 适应了现有的基于云架构的网络类型，由服务器执行虚拟环绕声的生成和存储，从而解决 了现有客户端无法播放各种3603D audio,尤其是适用于虚拟现实应用的音频的问题。
[0007] 为了实现上述目的，本发明提供一种云端音频处理方法，所述音频处理方法包括 以下步骤，获取用户头部旋转的旋转角度;获取不同格式的音频信号，根据所述旋转角度， 分别对所述不同格式的音频信号进行双耳转码，生成相应格式的双声道音频信号;对所述 相应格式的双声道信号叠加，得到音频双耳输出虚拟环绕声信号。
[0008] 优选地，所述不同格式的音频信号包括双耳录音信号，Ambisonic录音信号和音频 对象信号。
[0009] 优选地，对所述不同格式的音频信号进行双耳转码，生成相应格式的双耳转码音 频信号具体包括：
[0010] 对所述双耳录音信号，根据所述旋转角度进行插值，生成双耳录音双声道信号；
[0011] 对所述Ambisonic录音信号，根据所述旋转角度对所述Ambisonic录音信号进行调 整，对所述调整后的Ambisonic录音信号双耳转码生成Ambisonic录音双声道信号；
[0012] 对所述音频对象信号，根据所述旋转角度对所述音频对象信号调整，对所述调整 后的音频对象信号双耳转码生成音频对象双声道信号。
[0013]优选地，如需要较高的空间精度，将音频对象信号根据旋转角度进行旋转，将旋转 后的音频对象信号编码为高阶B格式音频对象信号，经双耳转码后生成高阶B格式音频对象 双声道信号，与Ambisonic录音双声道信号、双耳录音双声道信号进行叠加；
[0014] 如需要低复杂度低延迟，将音频对象信号编码为一阶B格式音频对象信号，与其他 一阶Ambisonic录音信号叠加，然后根据旋转角度对所述叠加后的混合信号进行双耳转码， 生成音频对象与Ambisonic录音信号的混合双声道信号，与所述双耳录音双声道信号进行 置加。
[0015] 优选地，所获取用户头部旋转的旋转角度具体为获取用户头部旋转的旋转角度， 对所述旋转角度进行平滑处理。
[0016] 本发明还提供了一种云端音频处理服务器，所述服务器包括:获取单元，获取用户 头部旋转的旋转角度;采集单元，采集不同格式的音频信号；双耳转码单元，分别与所述获 取单元和采集单元相连接，根据所述旋转角度，分别对所述不同格式的音频信号进行双耳 转码，生成相应格式的双声道音频信号；叠加单元，与所述双耳转码单元连接，对所述相应 格式的双声道信号叠加，得到音频双耳输出虚拟环绕声信号。
[0017] 优选地，所述不同格式的音频信号包括双耳录音信号，Ambisonic录音信号和音频 对象信号。
[0018] 优选地，双耳转码单元对所述不同格式的音频信号进行双耳转码，生成相应格式 的双耳转码音频信号具体包括：
[0019]对所述双耳录音信号，根据所述旋转角度进行插值，生成双耳录音双声道信号；
[0020] 对所述Ambisonic录音信号，根据所述旋转角度对所述Ambisonic录音信号进行调 整，对所述调整后的Ambisonic录音信号双耳转码生成Ambisonic录音双声道信号；
[0021] 对所述音频对象信号，根据所述旋转角度对所述音频对象信号调整，对所述调整 后的音频对象信号双耳转码生成音频对象双声道信号。
[0022] 优选地，如需要较高的空间精度，双耳转码单元将音频对象信号根据旋转角度进 行旋转，将旋转后的音频对象信号编码为高阶B格式音频对象信号，经双耳转码后生成高阶 B格式音频对象双声道信号，叠加单元对双耳转码单元生成的高阶B格式音频对象双声道信 号，Ambisonic录音双声道信号、双耳录音双声道信号进行叠加；
[0023] 如需要低复杂度低延迟，双耳转码单元将音频对象信号编码为一阶B格式音频对 象信号，与其他一阶Ambisonic录音信号叠加，然后根据旋转角度对所述叠加后的混合信号 进行双耳转码，生成音频对象与Ambisonic录音信号的混合双声道信号，叠加单元对双耳转 码单元生成的与所述混合双声道信号、双耳录音双声道信号进行叠加。
[0024]优选地，所述云端服务器还包括平滑单元，分别与所述双耳转码单元和所述获取 单元连接，平滑单元从获取单元接收用户头部旋转的旋转角度，对所述旋转角度进行平滑 处理。
[0025]本发明还提供了一种音频播放系统，所述系统包括云端音频处理服务器，以及客 户端;所述客户端包括头部跟踪装置，所述头部跟踪装置抓取头部旋转角度，通过网络上传 至所述云端音频处理服务器，所述云端音频处理器接收所述旋转角度，生成音频双耳输出 虚拟环绕声信号后，通过所述网络传输至客户端。
[0026]根据本发明的云端音频处理方法，服务器和系统，有效且高质量地生成虚拟环绕 声，主要用于配合虚拟现实头戴设备进行音频的立体声耳机播放，并且所述虚拟环绕声的 生成是在云端服务器上进行的，很好的适应了现有的基于云架构的网络类型，由云端服务 器执行音频处理和存储，从而解决了现有客户端无法播放各种3603D audio,尤其是适用于 虚拟现实应用的音频的问题。
[0027]采用本发明的云端音频处理技术，在多人语音通讯中会大大提升临场感，用户可 以随意转头来关注某一方向的声音，更加逼近现实中的多人交谈场景。特别在使用流媒体 的场景中，通过实时调整空间声，音频的方位，可以提升用户的音频体验。如果辅助虚拟现 实视频内容，则会更好的提升用户体验。
【附图说明】
[0028]图1是本发明的云端音频处理方法一个实施例的原理框图；
[0029]图2a_c是本发明的云端音频处理方法另一个实施例的原理框图；
[0030]图3是本发明的音频处理服务器的一个实施例的结构示意图；
[0031]图4是本发明的音频处理系统的另一个实施例的结构示意图；
【具体实施方式】
[0032] 实施例一:如图1所示，一种对音频对象处理包括如下处理步骤：
[0033]通过头部跟踪装置获取用户头部旋转角度；
[0034]根据所述旋转角度，将音频对象编码到高阶(优选为2阶