一种虚拟现实设备中声场的处理方法及装置的制造方法
【专利摘要】本发明公开了一种虚拟现实设备中声场的处理方法及装置，其中，所述处理方法包括：预先确定预设数量的双耳信号，所述预设数量的双耳信号中包括采样双耳信号和超采样双耳信号；对所述采样双耳信号通过拟合得到所述超采样双耳信号；根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样双耳和第二超采样双耳信号；对所述第一超采样双耳和第二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号。本发明提供的一种虚拟现实设备中声场的处理方法及装置，能够在保证双耳信号音效较好的情况下，减少需要处理的数据量，以提高双耳信号处理的效率。
【专利说明】
一种虚拟现实设备中声场的处理方法及装置
技术领域
[0001] 本发明涉及信号处理技术领域，具体涉及一种虚拟现实设备中声场的处理方法及 装置。
【背景技术】
[0002] 在用虚拟现实头戴设备(head-mounted display,HMD)向用户呈现内容时，音频内 容往往通过立体声耳机向用户播放。
[0003] 目前，生成虚拟现实声场的一种方法是采用人头录音，直接得到双耳信号。具体 地，可以通过N个方向的人头录音，得到N个方向的双耳信号。然后可以对其它方向的双耳信 号进行插值，从而得到头部在任何旋转角度时的双耳信号。另一种方式是对音频对象使用 HRTF(Head Related Transfer Function，头相关变换函数）或者BRIR(Binaural Room Impulse Response，双耳房屋脉冲响应)滤波器进行滤波，从而能够计算得到双耳信号。通 过N个方向的HRTF或BRIR滤波器滤波，得到N个方向的双耳信号。同样地，然后可以对其它方 向的双耳信号进行插值，从而得到头部在任何旋转角度时的双耳信号。
[0004] 由上可见，上述的两种方法虽然不同，但基本原理都是通过多个方向的双耳信号 插值得到头部在任何旋转角度时的双耳信号。这种做法的优点是在播放端可以用复杂度较 低的插值运算恢复出头部在任何旋转角度时的双耳信号。但缺点是如果得到的双耳信号的 方向较少，即N较小时，插值的精度是较低的，从而使得插值得到的双耳信号的音效较差。反 之，如果为了保证插值精度，则需要在较多的方向得到双耳信号，那么这样的话需要处理的 数据量又太大，无法保证插值得到双耳信号的效率。
[0005]应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、 完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的
【背景技术】部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
【发明内容】
[0006] 本发明的目的在于提供一种虚拟现实设备中声场的处理方法及装置，能够在保证 双耳信号音效较好的情况下，减少需要处理的数据量，以提高双耳信号处理的效率。
[0007] 为实现上述目的，本发明一方面提供一种虚拟现实设备中声场的处理方法，所述 方法包括:预先确定预设数量的双耳信号，所述预设数量的双耳信号在以用户头部为中心 的各个方向上分布，所述预设数量的双耳信号中包括第一预设数量的采样双耳信号和第二 预设数量的超采样双耳信号；对所述第一预设数量的采样双耳信号进行拟合，得到所述第 二预设数量的超采样双耳信号;根据用户头部转动的水平角度，确定与所述水平角度最接 近的第一超采样双耳信号和第二超采样双耳信号;对所述第一超采样双耳信号以及所述第 二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号，并向用户播放 所述当前双耳信号。
[0008] 进一步地，所述预设数量的双耳信号在以用户头部为中心的各个方向上等间隔分 布。
[0009]进一步地，所述预设数量的双耳信号在用户头部正面的分布数量大于在用户头部 背面的分布数量。
[0010]进一步地，按照下述公式对所述第一预设数量的采样双耳信号进行拟合，得到所 述第二预设数量的超采样双耳信号： .iV
[0011] 5^. = Z 巧」x ，/? = 1，2,…，M 7=1
[0012] 其中，&表示第j个超采样双耳信号，Bi为第i个采样双耳信号，N为所述第一预设数 量，M为所述第二预设数量，Pu为针对第j个超采样双儿信号、第i个采样双耳信号对应的拟 合系数。
[0013] 进一步地，在得到所述第二预设数量的超采样双耳信号之后，所述方法还包括:将 所述第一预设数量的采样双耳信号以及各个拟合系数存储至虚拟现实设备中。
[0014] 进一步地，对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值， 得到与所述水平角度相对应的当前双耳信号具体包括：
[0015] 根据所述水平角度、所述第一超采样双耳信号对应的第一角度以及所述第二超采 样双耳信号对应的第二角度，确定线性插值系数;基于所述线性插值系数、所述第一超采样 双耳信号以及所述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。
[0016] 进一步地，按照下述公式确定线性插值系数：
[0018] 其中，g表示所述线性插值系数，0为所述水平角度，0:为所述第一角度，02为所述第 二角度；
[0019] 按照下述公式确定与所述水平角度相对应的当前双耳信号：
[0020] BP= (1-g) ? Vi+g ? V2
[0021] 其中，BPS所述当前双耳信号，ViS所述第一超采样双耳信号，^为所述第二超采 样双耳信号。
[0022] 为实现上述目的，本发明另一方面还提供一种虚拟现实设备中声场的处理装置， 所述处理装置包括:双耳信号分布单元，用于预先确定预设数量的双耳信号，所述预设数量 的双耳信号在以用户头部为中心的各个方向上分布，所述预设数量的双耳信号中包括第一 预设数量的采样双耳信号和第二预设数量的超采样双耳信号;拟合单元，用于对所述第一 预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号;双耳信号 确定单元，用于根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样 双耳信号和第二超采样双耳信号;插值单元，用于对所述第一超采样双耳信号以及所述第 二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号，并向用户播放 所述当前双耳信号。
[0023] 进一步地，所述拟合单元按照下述公式对所述第一预设数量的采样双耳信号进行 拟合，得到所述第二预设数量的超采样双耳信号：
[0024] Sj = Y] Pj ； x 5,., / = 1,2,..M
[0025] 其中，&表示第j个超采样双耳信号，Bi为第i个采样双耳信号，N为所述第一预设数 量，M为所述第二预设数量，Pu为针对第j个超采样双儿信号、第i个采样双耳信号对应的拟 合系数。
[0026] 进一步地，所述插值单元具体包括:插值系数确定模块，用于根据所述水平角度、 所述第一超采样双耳信号对应的第一角度以及所述第二超采样双耳信号对应的第二角度， 确定线性插值系数;当前双耳信号确定模块，用于基于所述线性插值系数、所述第一超采样 双耳信号以及所述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。 [0027]由上可见，本发明提供的一种虚拟现实设备中声场的处理方法及装置，可以通过 第一预设数量的采样双耳信号，来拟合得到第二预设数量的超采样双耳信号。在这种情况 下，便可以根据用户头部的转动角度，选择对应的第一超采样双耳信号以及第二超采样双 耳信号，从而能够插值得到具备较好音效的双耳信号。由于本发明只需要对采样双耳信号 进行处理，而采样双耳信号的数量往往较少，因此需要处理的数据量也往往较小，从而减少 了需要处理的数据量，提高了双耳信号处理的效率。
[0028] 参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原 理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权 利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。
[0029] 针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多 个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
[0030] 应该强调，术语"包括/包含"在本文使用时指特征、整件、步骤或组件的存在，但并 不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
【附图说明】
[0031] 图1为本申请【具体实施方式】提供的一种虚拟现实设备中声场的处理方法流程图；
[0032] 图2为本申请【具体实施方式】中双耳信号的分布示意图；
[0033] 图3为本申请另一【具体实施方式】中双耳信号的分布示意图；
[0034] 图4为本申请【具体实施方式】中用户头部转动的示意图；
[0035] 图5为本申请【具体实施方式】提供的一种虚拟现实设备中声场的处理装置的功能模 块图。
【具体实施方式】
[0036] 为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实 施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的 实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方 式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应 当属于本申请保护的范围。
[0037]本申请实施方式提供一种虚拟现实设备中声场的处理方法。请参阅图1，所述方法 包括以下步骤。
[0038]步骤S1:预先确定预设数量的双耳信号，所述预设数量的双耳信号在以用户头部 为中心的各个方向上分布，所述预设数量的双耳信号中包括第一预设数量的采样双耳信号 和第二预设数量的超采样双耳信号。
[0039] 在本【具体实施方式】中，所述预设数量的双耳信号可以分布在用户头部的四周。具 体地，所述预设数量的双耳信号可以分布在以用户头部为中心的各个方向上。请参阅图2， 所述预设数量的双耳信号可以等间隔地分布在以用户头部为中心的各个方向上。如图2所 示，所述双耳信号的数量可以为12个，其中，较大的圆形可以表示采样双耳信号，较小的圆 形可以表示超采样双耳信号，每两个相邻双耳信号之间的角度间隔可以为30度。在图2中， 所述采样双耳信号的个数可以为4个，所述超采样双耳信号的个数可以为8个。
[0040] 在本实施方式中，可以通过人头录音或者HRTF的计算方式，获取所述预设数量的 双耳信号中各个声源的双耳信号。这样，如图2所示，对于用户头部而言，每隔30度的方向均 可以有一个精确的双耳信号。
[0041] 需要说明的是，在本实施方式中，所述预设数量的双耳信号也可以不是等间隔分 布。考虑到人耳对前方声场空间的分辨率较高，而对后方声场空间的分辨率较低，因此可以 在用户头部正面分布较多的双耳信号，而在用户头部背面分布较少的双耳信号。也就是说， 所述预设数量的双耳信号在用户头部正面的分布数量可以大于在用户头部背面的分布数 量。请参阅图3,在用户头部正面可以分布9个双耳信号，而在用户头部背面则可以仅分布3 个双耳信号。
[0042] 步骤S2:对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量 的超米样双耳彳目号。
[0043]考虑到如果对所述预设数量的双耳信号均进行处理，那么需要处理的数据量将十 分巨大。因此，在本实施方式中，可以仅仅使用所述第一预设数量的采样双耳信号，而对于 其它超采样双耳信号可以通过拟合的方式得到。具体地，在本实施方式中可以对所述第一 预设数量的采样双耳信号进行拟合，从而得到所述第二预设数量的超采样双耳信号。
[0044] 以4个采样双耳信号为例，在本实施方式中，可以利用这4个采样双耳信号，对各个 超采样双耳信号进行拟合。具体地，在本实施方式中，可以通过下述公式对所述第一预设数 量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号： .iV
[0045] Sj - ^ Pj j x B:, j - i=.l
[0046] 其中，&表示第j个超采样双耳信号，Bi为第i个采样双耳信号，N为所述第一预设数 量，M为所述第二预设数量，Pu为针对第j个超采样双耳信号、第i个采样双耳信号对应的拟 合系数。
[0047]这样，超采样双耳信号便可以由所述第一预设数量的采样双耳信号以及拟合系数 确定。
[0048] 在本实施方式中，可以在虚拟现实设备中存储所述第一预设数量的采样双耳信号 以及各个拟合系数，这样，后续便可以仅仅对所述第一预设数量的采样双耳信号以及各个 拟合系数进行处理，便能够得到其它各个超采样双耳信号。以图2为例，仅需要存储0度，90 度，180度以及270度这四个方向的采样双耳信号以及各个拟合系数，便可以得到其它8个超 采样双耳信号，从而减少了需要处理的数据量。
[0049] 步骤S3:根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采 样双耳信号和第二超采样双耳信号。
[0050]在本实施方式中，所述预设数量的双耳信号均可以由采样双耳信号来表示。这样， 根据用户头部转动的水平角度，便可以选择对应的双耳信号来对用户播放双耳信号。
[0051 ]具体地，请参阅图4，当用户头部向右转动后，面对的方向可以是圆周上实心圆形 所处的位置。在该位置处并不存在双耳信号。在本实施方式中，可以根据用户头部转动的水 平角度，确定与所述水平角度最接近的第一超采样双耳信号和第二超采样双耳信号。如图4 所示，与所述实心圆形最接近的第一超采样双耳信号可以是超采样双耳信号1，第二超采样 双耳信号可以是超采样双耳信号2。这样，在本实施方式中，可以由所述第一超采样双耳信 号和第二超采样双耳信号来共同合成待播放的双耳信号。
[0052]步骤S4:对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，得 到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号。
[0053]在本实施方式中，在确定了所述第一超采样双耳信号和第二超采样双耳信号之 后，可以对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，从而得到与 所述水平角度相对应的当前双耳信号。具体地，可以预先根据所述水平角度、所述第一超采 样双耳信号对应的第一角度以及所述第二超采样双耳信号对应的第二角度，确定线性插值 系数。通过所述线性插值系数，可以构成第一超采样双耳信号和第二超采样双耳信号的权 重系数，当所述水平角度与第一角度越接近时，第一超采样双耳信号对应的权重系数则应 当越大。同样地，当所述水平角度与第二角度越接近时，第二超采样双耳信号对应的权重系 数则应当越大。
[0054]在本实施方式中，可以按照下述公式确定所述线性插值系数：
[0056] 其中，g表示所述线性插值系数，0为所述水平角度，0:为所述第一角度，02为所述第 二角度。
[0057] 由上式可见，当水平角度与第一角度越接近时，线性插值系数越小;而当水平角度 与第一角度越远离时，线性插值系数越大。
[0058] 在本实施方式中，可以基于所述线性插值系数、所述第一超采样双耳信号以及所 述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。具体地，可以按照下 述公式确定与所述水平角度相对应的当前双耳信号：
[0059] BP= (1-g) ? Vi+g ? V2
[0060] 其中，BPS所述当前双耳信号，ViS所述第一超采样双耳信号，^为所述第二超采 样双耳信号。
[0061] 上式中，（1-g)可以视为第一超采样双耳信号对应的权重系数。那么当水平角度与 第一角度越接近时，线性插值系数越小，（1-g)便越大；当水平角度与第二角度越接近时，线 性插值系数便越大。因此，上式可以很准确地反映水平角度与第一角度和第二角度之间的 位置关系。
[0062] 在得到所述当前双耳信号后，便可以通过虚拟现实设备向用户播放所述当前双耳 信号。
[0063] 由上可见，本发明只需要对采样双耳信号和各个拟合系数进行处理，便可以得到 能够与用户头部转动的角度相适配的当前双耳信号，不仅需要处理的数据量小，而且最终 的当前双耳信号的音效也非常好。
[0064]需要说明的是，由于采样双耳信号往往呈对称分布，因此，在本发明中还可以利用 双耳信号的对称性，进一步降低需要处理的数据量。从图2中不难发现，0度和180度的双耳 信号左右相反，前后也相反。因此，在本实施方式中可以依靠对称性和声学特性来用〇度的 双耳信号处理得到近似的180度的双耳信号。具体地，左右相反可以通过交换左右耳的信号 来实现;前后相反可以根据声源前后的差异，利用延时低通滤波器来实现。这样，存储于虚 拟现实设备中的数据则仅需要〇度的双耳信号和90度的双耳信号这两个信号，进一步地降 低了所需处理的数据量。
[0065]本发明还提供一种虚拟现实设备中声场的处理装置，请参阅图5,所述装置包括：
[0066] 双耳信号分布单元100,用于预先确定预设数量的双耳信号，所述预设数量的双耳 信号在以用户头部为中心的各个方向上分布，所述预设数量的双耳信号中包括第一预设数 量的采样双耳信号和第二预设数量的超采样双耳信号；
[0067] 拟合单元200,用于对所述第一预设数量的采样双耳信号进行拟合，得到所述第二 预设数量的超采样双耳信号；
[0068] 双耳信号确定单元300,用于根据用户头部转动的水平角度，确定与所述水平角度 最接近的第一超采样双耳信号和第二超采样双耳信号；
[0069]插值单元400,用于对所述第一超采样双耳信号以及所述第二超采样双耳信号进 行插值，得到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号。 [0070]在本申请一个优选实施方式中，所述拟合单元200可以按照下述公式对所述第一 预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号： iV
[0071 ] '$:i=^PjJx.B.,j = \H2，…，M. i'一 1
[0072]其中，&表示第j个超采样双耳信号，Bi为第i个采样双耳信号，N为所述第一预设数 量，M为所述第二预设数量，Pu为针对第j个超采样双儿信号、第i个采样双耳信号对应的拟 合系数。
[0073]在本申请一个优选实施方式中，所述插值单元400具体可以包括：
[0074]插值系数确定模块，用于根据所述水平角度、所述第一超采样双耳信号对应的第 一角度以及所述第二超采样双耳信号对应的第二角度，确定线性插值系数；
[0075]当前双耳信号确定模块，用于基于所述线性插值系数、所述第一超采样双耳信号 以及所述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。
[0076]需要说明的是，上述各个功能模块的具体实现方式以及计算公式均与步骤S1至S4 中的描述一致，这里便不再赘述。
[0077]由上可见，本发明提供的一种虚拟现实设备中声场的处理方法及装置，可以通过 第一预设数量的采样双耳信号，来拟合得到第二预设数量的超采样双耳信号。在这种情况 下，便可以根据用户头部的转动角度，选择对应的第一超采样双耳信号以及第二超采样双 耳信号，从而能够插值得到具备较好音效的双耳信号。由于本发明只需要对采样双耳信号 进行处理，而采样双耳信号的数量往往较少，因此需要处理的数据量也往往较小，从而减少 了需要处理的数据量，提高了双耳信号处理的效率。
[0078]虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本 发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此， 在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
【主权项】
1. 一种虚拟现实设备中声场的处理方法，其特征在于，所述处理方法包括： 预先确定预设数量的双耳信号，所述预设数量的双耳信号在以用户头部为中心的各个 方向上分布，所述预设数量的双耳信号中包括第一预设数量的采样双耳信号和第二预设数 量的超采样双耳信号； 对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳 信号； 根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样双耳信号和 第二超采样双耳信号； 对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，得到与所述水平 角度相对应的当前双耳信号，并向用户播放所述当前双耳信号。2. 根据权利要求1所述的处理方法，其特征在于，所述预设数量的双耳信号在以用户头 部为中心的各个方向上等间隔分布。3. 根据权利要求1所述的处理方法，其特征在于，所述预设数量的双耳信号在用户头部 正面的分布数量大于在用户头部背面的分布数量。4. 根据权利要求1所述的处理方法，其特征在于，按照下述公式对所述第一预设数量的 采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号：其中，&表示第j个超采样双耳信号，Bi为第i个采样双耳信号，N为所述第一预设数量，Μ 为所述第二预设数量，Pu为针对第j个超采样双儿信号、第i个采样双耳信号对应的拟合系 数。5. 根据权利要求4所述的处理方法，其特征在于，在得到所述第二预设数量的超采样双 耳信号之后，所述方法还包括:将所述第一预设数量的采样双耳信号以及各个拟合系数存 储至虚拟现实设备中。6. 根据权利要求1所述的处理方法，其特征在于，对所述第一超采样双耳信号以及所述 第二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号具体包括： 根据所述水平角度、所述第一超采样双耳信号对应的第一角度以及所述第二超采样双 耳信号对应的第二角度，确定线性插值系数;基于所述线性插值系数、所述第一超采样双耳 信号以及所述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。7. 根据权利要求6所述的处理方法，其特征在于，按照下述公式确定线性插值系数：其中，g表示所述线性插值系数，Θ为所述水平角度，Θ:为所述第一角度，θ2为所述第二角 度； 按照下述公式确定与所述水平角度相对应的当前双耳信号： Bp= (l~g) · Vi+g · V2 其中，BP为所述当前双耳信号，^为所述第一超采样双耳信号，V2为所述第二超采样双 耳信号。8. -种虚拟现实设备中声场的处理装置，其特征在于，所述处理装置包括： 双耳信号分布单元，用于预先确定预设数量的双耳信号，所述预设数量的双耳信号在 以用户头部为中心的各个方向上分布，所述预设数量的双耳信号中包括第一预设数量的采 样双耳信号和第二预设数量的超采样双耳信号； 拟合单元，用于对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数 量的超采样双耳信号； 双耳信号确定单元，用于根据用户头部转动的水平角度，确定与所述水平角度最接近 的第一超采样双耳信号和第二超采样双耳信号； 插值单元，用于对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值， 得到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号。9. 根据权利要求8所述的处理装置，其特征在于，所述拟合单元按照下述公式对所述第 一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号：其中，&表示第j个超采样双耳信号，Bi为第i个采样双耳信号，N为所述第一预设数量，Μ 为所述第二预设数量，Pu为针对第j个超采样双儿信号、第i个采样双耳信号对应的拟合系 数。10. 根据权利要求8所述的处理装置，其特征在于，所述插值单元具体包括： 插值系数确定模块，用于根据所述水平角度、所述第一超采样双耳信号对应的第一角 度以及所述第二超采样双耳信号对应的第二角度，确定线性插值系数； 当前双耳信号确定模块，用于基于所述线性插值系数、所述第一超采样双耳信号以及 所述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。
【文档编号】H04R3/00GK105959877SQ201610538406
【公开日】2016年9月21日
【申请日】2016年7月8日
【发明人】孙学京, 张晨
【申请人】北京时代拓灵科技有限公司