空间音频生成方法、装置、音频设备及存储介质与流程

文档序号:32439895发布日期:2022-12-06 21:05阅读:34来源:国知局
空间音频生成方法、装置、音频设备及存储介质与流程

1.本发明实施例涉及空间音频技术领域,尤其涉及一种空间音频生成方法、装置、音频设备及存储介质。


背景技术:

2.随着5g网络传输、高品质渲染技术诸如hdr(high dynamic range imaging,高动态范围成像)、dolby vision(杜比视界)的普及。对音频渲染提出了更高的要求。目前,用户在佩戴耳机听音乐或其他音频时,当用户头部发生转动时,所听到的音频也会发生变化(例如,声音变小等),导致用户体验感不佳。


技术实现要素:

3.鉴于此,为解决上述技术问题或者至少部分地解决上述技术问题,本发明实施例提供一种空间音频生成方法、装置、音频设备及存储介质。
4.第一方面,本发明实施例提供一种空间音频生成方法,应用于音频设备,所述音频设备上设置有目标传感器,所述方法包括:
5.通过所述目标传感器获取目标对象头部旋转后的目标坐标;
6.根据所述目标坐标,确定对应扬声器的角度信息;
7.确定与所述角度信息匹配的头相关脉冲响应hrir数据;
8.基于所述hrir数据以及解压后的音频数据进行卷积处理,生成空间音频。
9.在一可能的实施方式中,所述通过所述目标传感器获取目标对象头部旋转后的目标坐标,包括:
10.通过所述目标传感器获取目标对象头部旋转前的初始坐标;
11.通过所述目标传感器采集目标对象头部的旋转信息;
12.根据所述旋转信息以及所述初始坐标,确定所述目标对象头部旋转后的目标坐标。
13.在一可能的实施方式中,所述旋转信息至少包括下述之一旋转角信息:水平旋转角信息、上下旋转角信息、左右偏转角信息;
14.在所述旋转信息包括一个旋转角信息的情况下,所述根据所述旋转信息以及所述初始坐标,确定所述目标对象头部旋转后的目标坐标,包括:
15.确定旋转角信息对应的目标对象头部旋转前的初始旋转轴坐标;
16.根据所述旋转角信息以及所述初始旋转轴坐标,确定所述目标对象头部旋转后的目标旋转轴坐标;
17.将目标旋转轴坐标、初始坐标、旋转角信息输入至预设的旋转坐标计算模型,得到所述目标对象头部旋转后的目标坐标。
18.在一可能的实施方式中,在所述旋转信息包括两个旋转角信息的情况下,两个所述旋转角信息包括第一旋转角信息和第二旋转角信息;
19.所述根据所述旋转信息以及所述初始坐标,确定所述目标对象头部旋转后的目标坐标,还包括:
20.确定第一旋转角信息对应的目标对象头部旋转前的第一初始旋转轴坐标;
21.根据所述第一旋转角信息以及所述第一初始旋转轴坐标,确定所述目标对象头部旋转后的第一目标旋转轴坐标;
22.将所述第一目标旋转轴坐标、所述初始坐标、所述第一旋转角信息输入至所述旋转坐标计算模型,得到所述目标对象头部旋转后的第一中间坐标;
23.确定第二旋转角信息对应的目标对象头部旋转前的第二初始旋转轴坐标;
24.根据所述第二旋转角信息以及所述第二初始旋转轴坐标,确定所述目标对象头部旋转后的第二目标旋转轴坐标;
25.将所述第二目标旋转轴坐标、所述第一中间坐标、所述第二旋转角信息输入至所述旋转坐标计算模型,得到所述目标对象头部旋转后的目标坐标。
26.在一可能的实施方式中,在所述旋转信息包括三个旋转角信息的情况下,三个所述旋转角信息包括第三旋转角信息、第四旋转角信息和第五旋转角信息;
27.所述根据所述旋转信息以及所述初始坐标,确定所述目标对象头部旋转后的目标坐标,还包括:
28.确定第三旋转角信息对应的目标对象头部旋转前的第三初始旋转轴坐标;
29.根据所述第三旋转角信息以及所述第三初始旋转轴坐标,确定所述目标对象头部旋转后的第三目标旋转轴坐标;
30.将所述第三目标旋转轴坐标、所述初始坐标、所述第三旋转角信息输入至所述旋转坐标计算模型,得到所述目标对象头部旋转后的第二中间坐标;
31.确定第四旋转角信息对应的目标对象头部旋转前的第四初始旋转轴坐标;
32.根据所述第四旋转角信息以及所述第四初始旋转轴坐标,确定所述目标对象头部旋转后的第四目标旋转轴坐标;
33.将所述第四目标旋转轴坐标、所述第二中间坐标、所述第四旋转角信息输入至所述旋转坐标计算模型,得到所述目标对象头部旋转后的第三中间坐标;
34.确定第五旋转角信息对应的目标对象头部旋转前的第五初始旋转轴坐标;
35.根据所述第五旋转角信息以及所述第五初始旋转轴坐标,确定所述目标对象头部旋转后的第五目标旋转轴坐标;
36.将所述第五目标旋转轴坐标、所述第三中间坐标、所述第五旋转角信息输入至所述旋转坐标计算模型,得到所述目标对象头部旋转后的目标坐标。
37.在一可能的实施方式中,所述根据所述目标坐标,确定对应扬声器的角度信息,包括:
38.将所述目标坐标输入至预设的角度计算公式,得到所述目标对象头部在左手坐标系内旋转的角度信息,所述角度计算公式如下述所示:
[0039][0040]
其中,θ和为所述目标对象头部在左手坐标系内旋转的角度信息,(x

,y

,z

)为所述目标对象头部旋转后的目标坐标;
[0041]
确定所述角度信息为对应扬声器的角度信息。
[0042]
在一可能的实施方式中,所述确定与所述角度信息匹配的hrir数据,包括:
[0043]
针对预设的hrir数据库中每一预设hrir数据,确定所述预设hrir数据的预设角度信息;
[0044]
确定所述预设角度信息与所述角度信息之间的差值;
[0045]
在所述差值小于或等于预设的差值阈值的情况下,确定所述差值对应的hrir数据为与所述角度信息匹配的hrir数据。
[0046]
第二方面,本发明实施例提供一种空间音频生成装置,所述装置包括:
[0047]
坐标获取模块,用于通过目标传感器获取目标对象头部旋转后的目标坐标;
[0048]
角度信息确定模块,用于根据所述目标坐标,确定对应扬声器的角度信息;
[0049]
hrir数据确定模块,用于确定与所述角度信息匹配的头相关脉冲响应hrir数据;
[0050]
音频生成模块,用于基于所述hrir数据以及解压后的音频数据进行卷积处理,生成空间音频。
[0051]
第三方面,本发明实施例提供一种音频设备,包括:目标传感器、处理器和存储器;
[0052]
所述目标传感器用于采集目标对象头部旋转后的目标坐标;
[0053]
所述处理器用于执行所述存储器中存储的空间音频生成程序,以实现第一方面中任一项所述的空间音频生成方法。
[0054]
第四方面,本发明实施例提供一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现第一方面中任一项所述的空间音频生成方法。
[0055]
本发明实施例提供的技术方案,通过目标传感器获取目标对象头部旋转后的目标坐标,根据目标坐标,确定对应扬声器的角度信息,确定与角度信息匹配的头相关脉冲响应hrir数据,基于hrir数据以及解压后的音频数据进行卷积处理,生成空间音频。可以在目标对象头部发送旋转时,确定旋转后的目标坐标,进而确定与目标坐标对应的扬声器的角度信息,避免目标对象头部发送旋转时,因扬声器的位置固定,导致音频体验不佳。确定空间中与该角度信息匹配的hrir数据,最终基于hrir数据以及解压后的音频数据生成空间音频,可以提供给目标对象不同方位下的音频体验。
附图说明
[0056]
图1为本发明实施例提供的一种空间音频生成方法的实施例流程图;
[0057]
图2为本发明实施例提供的左手坐标系的一种示例;
[0058]
图3为本发明实施例提供的另一种空间音频生成方法的实施例流程图;
[0059]
图4为本发明实施例提供的左手坐标系的另一种示例;
[0060]
图5为本发明实施例提供的一种目标坐标确定方法的实施例流程图;
[0061]
图6为本发明实施例提供的另一种目标坐标确定方法的实施例流程图;
[0062]
图7为本发明实施例提供的又一种目标坐标确定方法的实施例流程图;
[0063]
图8为本发明实施例提供的一种空间音频生成装置的实施例框图;
[0064]
图9为本发明实施例提供的一种音频设备的结构示意图。
具体实施方式
[0065]
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0066]
下面结合附图以具体实施例对本发明提供的空间音频生成方法做进一步的解释说明,实施例并不构成对本发明实施例的限定。
[0067]
参见图1,为本发明实施例提供的一种空间音频生成方法的实施例流程图。作为一个实施例,该流程应用于音频设备,音频设备上设置有目标传感器。
[0068]
如图1所示,该流程可包括以下步骤:
[0069]
步骤101、通过目标传感器获取目标对象头部旋转后的目标坐标。
[0070]
其中,上述目标传感器用于采集目标对象头部旋转后的目标坐标,其可以是位置传感器、空间音频传感器等,本发明实施例对此不做限制。此外,本发明实施例对目标传感器的种类、数量也不做限制。
[0071]
上述目标对象可以为当前音频设备的使用者。这里,音频设备可以是与电子设备适配的音频播放配件,例如耳机、扬声器等,本发明实施例对此不做限制。上述旋转是指头部在空间中的旋转,其可以是上下旋转(例如低头、仰头等),也可以是左右旋转(例如,向左看、向右看等),还可以是左右偏转(例如,向左侧头、向右侧头等),本发明实施例对此不做限制。
[0072]
在实践中,目标对象在听音频时,可能存在由于某些原因,身体或者头部发生旋转,而音频播放设备的位置固定不变,因此,导致目标对象听到的音频发生变化,例如,声音变小、声音杂乱等。上述音频可以是音乐、影视声音、录音等。
[0073]
在一实施例中,可基于目标对象的头部的位置,建立空间坐标系。以此,可清楚表达目标对象在头部发生旋转后,目标对象头部在上述空间坐标系内的目标坐标。如此,可得到目标对象头部旋转后的目标坐标。
[0074]
其中,上述空间坐标系可以为左手坐标系,例如,如图2所示为本发明实施例提供的左手坐标系的一种示例。具体的,可以目标对象头部的面部朝向为z轴,以头部右侧方的方向为x轴,以头部顶部的方向为y轴,建立左手坐标系。需要说明的是,以上仅仅是建立左手坐标系的一种示例,在实践中,还可采用其他方式建立左手坐标系,本发明实施例对此不做限制。
[0075]
步骤102、根据目标坐标,确定对应扬声器的角度信息。
[0076]
其中,上述扬声器表征目标对象当前所听音频的音频播放设备,其可以是手机扬
声器、音箱等,本发明实施例对此不做限制。
[0077]
在一实施例中,在目标对象头部发生旋转后,为避免因头部发生旋转而导致音频体验不佳,在获取目标对象头部旋转后的目标坐标后,可根据该目标坐标,确定与目标对象头部旋转后对应的扬声器的角度信息。
[0078]
可选的,可将目标坐标代入至预设的角度信息计算公式中,计算得到对应的扬声器的角度信息。
[0079]
可选择,可将目标坐标输入至预设的角度训练模型中,得到角度训练模型输出的角度信息,该角度信息为对应的扬声器的角度信息。
[0080]
步骤103、确定与角度信息匹配的hrir(head-related impulse response,头相关脉冲响应)数据。
[0081]
上述hrir是预先采集的直达声到达双耳的空间传递函数,而通常为了得到一个线性系统的传递函数,会使用一个脉冲信号作为系统的输入,然后记录这个系统的输出信号。
[0082]
由上述描述可见,在确定目标对象头部旋转后对应的扬声器的角度信息后,可预先在空间坐标系内不同角度的位置处,记录与角度对应的hrir数据,以便确定空间坐标系内与角度信息匹配的hrir数据。
[0083]
例如,假设在左手坐标系中xoz平面的角度信息为45度,并假设在左手坐标系中xoz平面的45度的位置处存在第一hrir数据。那么,可确定与角度信息匹配的hrir数据为第一hrir数据。
[0084]
至于如何确定与角度信息匹配的hrir数据,可在下述图3中进行详细描述,这里先不详述。
[0085]
步骤104、基于hrir数据以及解压后的音频数据进行卷积处理,生成空间音频。
[0086]
由上述步骤103中的描述可见,可根据角度信息确定匹配的hrir数据,那么,为生成空间音频,在本步骤104中,可通过预设的卷积算法对hrir数据以及解压后的音频数据进行卷积处理,以得到卷积后的空间音频。
[0087]
至此,完成图1所示流程的相关描述。
[0088]
通过图1所示流程可以看出,在本发明的技术方案中,通过目标传感器获取目标对象头部旋转后的目标坐标,根据目标坐标,确定对应扬声器的角度信息,确定与角度信息匹配的头相关脉冲响应hrir数据,基于hrir数据以及解压后的音频数据进行卷积处理,生成空间音频。可以在目标对象头部发送旋转时,确定旋转后的目标坐标,进而确定与目标坐标对应的扬声器的角度信息,避免目标对象头部发送旋转时,因扬声器的位置固定,导致音频体验不佳。确定空间中与该角度信息匹配的hrir数据,最终基于hrir数据以及解压后的音频数据生成空间音频,可以提供给目标对象不同方位下的音频体验。
[0089]
参见图3,为本发明实施例提供的另一种空间音频生成方法的实施例流程图。该图3所示流程在上述图1所示流程的基础上,具体描述如何生成空间音频。可包括以下步骤:
[0090]
步骤301、通过目标传感器获取目标对象头部旋转前的初始坐标。
[0091]
步骤302、通过目标传感器采集目标对象头部的旋转信息,旋转信息至少包括下述之一旋转角信息:水平旋转角信息、上下旋转角信息、左右偏转角信息。
[0092]
步骤303、根据旋转信息以及初始坐标,确定目标对象头部旋转后的目标坐标。
[0093]
以下对步骤301至步骤303进行统一描述:
[0094]
上述初始坐标表征目标对象在头部旋转前听音频时在空间坐标系中的坐标,其可以是旋转前对应扬声器的坐标,本发明实施例对此不做限制。
[0095]
在实践中,音频设备中通常设置有目标传感器,以音频设备为耳机为例,在目标对象佩戴耳机的情况下,可通过目标传感器获取目标对象的初始位置信息,也即初始坐标。在目标对象头部发生旋转时,通过耳机中所设置的目标传感器可检测到目标对象头部的旋转信息。其中,上述旋转信息可包括但不限于:旋转方向、旋转角度等。并且,目标对象头部旋转可能包括一个或多个方向的旋转,因此,旋转信息可包括下述一项或几项:水平旋转角信息、上下旋转角信息、左右偏转角信息。
[0096]
其中,以图4所示为本发明实施例提供的左手坐标系的另一种示例。如图4所示,可确定上述水平角旋转信息为在xoz平面内发生旋转的旋转角信息,旋转正方向可以是逆时针方向,也即方向401;上述上下旋转角信息为在yoz平面内发生旋转的旋转角信息,旋转正方向可以是顺时针方向,也即方向402;上述左右偏转角信息为在xoy平面内发生旋转的旋转角信息,旋转正方向可以是逆时针方向,也即方向403。
[0097]
需要说明的是,以上仅仅是目标对象头部在如图4所示的左手坐标系内发生旋转的旋转角信息以及旋转正方向的示例性说明,在实践中,旋转角信息以及旋转正方向还可以为其他形式,本发明实施例对此不做限制。
[0098]
进一步地,可将旋转信息以及初始坐标代入预设的坐标计算公式中,确定目标对象头部旋转后的目标坐标。
[0099]
在一实施例中,在上述旋转信息包括一个旋转角信息的情况下,上述根据旋转信息以及初始坐标,确定目标对象头部旋转后的目标坐标的具体实现可参见图5,为本发明实施例提供的一种目标坐标确定方法的实施例流程图。如图5所示,该流程可包括以下步骤:
[0100]
步骤501、确定旋转角信息对应的目标对象头部旋转前的初始旋转轴坐标。
[0101]
步骤502、根据旋转角信息以及初始旋转轴坐标,确定目标对象头部旋转后的目标旋转轴坐标。
[0102]
步骤503、将目标旋转轴坐标、初始坐标、旋转角信息输入至预设的旋转坐标计算模型,得到目标对象头部旋转后的目标坐标。
[0103]
以下对步骤501至步骤503进行统一描述:
[0104]
其中,上述旋转角信息为水平旋转角信息、上下旋转角信息、左右偏转角信息中任一旋转角信息,本发明实施例对此不做限制。
[0105]
上述旋转轴为旋转对称动作据以进行的几何直线。例如,点a由z轴旋转至x轴,那么,对应的旋转轴为y轴。上述旋转角信息为绕旋转轴旋转的角度信息,其可以为0度至360度中任一角度。对应的,上述初始旋转轴坐标可以为x轴上任意坐标或y轴上任意坐标或z轴上任意坐标,初始旋转轴坐标的具体坐标值,本发明实施例对此不做限制。
[0106]
可选的,可将初始旋转轴坐标与旋转角信息代入预设的旋转轴坐标计算公式中,计算得到目标对象头部旋转后的目标旋转轴坐标。进而,可将目标旋转轴坐标、初始坐标、旋转角信息输入至预设的旋转坐标计算模型,得到旋转坐标计算模型输出的目标对象头部旋转后的目标坐标。
[0107]
其中,上述旋转坐标计算模型用于计算目标对象头部旋转后的目标坐标,其可以是旋转坐标计算公式,本发明实施例对此不做限制。
[0108]
举例来说,假设以图4所示左手坐标系为例,目标对象头部旋转前的初始坐标为(0,0,a),目标对象在xoz平面中向左旋转45度,可确定目标对象头部旋转前,旋转轴为y轴,初始旋转轴坐标为(0,ny,0)。在目标对象头部旋转后,旋转轴仍为y轴,那么,可确定目标对象头部旋转后的目标旋转轴坐标为(0,ny,0)。
[0109]
进一步的,可将目标旋转轴坐标、初始坐标、旋转角信息输入至如下公式(一)所示例的旋转坐标计算模型,得到目标对象旋转后的目标坐标为:
[0110][0111][0112]
在上述公式(一)中,(n
x
,ny,nz)为目标旋转轴坐标,其中,n
x
为旋转轴在x轴的坐标,ny为旋转轴在y轴的坐标,nz为旋转轴在z轴的坐标,α为旋转角信息,(x,y,z)为目标对象头部旋转前的初始坐标,(x

,y

,z

)为目标对象头部旋转后的目标坐标。
[0113]
至此,完成图5所示流程的相关描述。
[0114]
在本发明的技术方案中,通过确定旋转角信息对应的目标对象头部旋转前的初始旋转轴坐标,根据旋转角信息以及初始旋转轴坐标,确定目标对象头部旋转后的目标旋转轴坐标。将目标旋转轴坐标、初始坐标、旋转角信息输入至预设的旋转坐标计算模型,得到目标对象头部旋转后的目标坐标。如此,可在旋转信息包括一个旋转角信息的情况下,得到目标对象头部旋转后的目标坐标。
[0115]
在另一实施例中,在上述旋转信息包括两个旋转角信息的情况下,两个旋转角信息包括第一旋转角信息和第二旋转角信息。上述根据旋转信息以及初始坐标,确定目标对象头部旋转后的目标坐标的具体实现可参见图6,为本发明实施例提供的另一种目标坐标确定方法的实施例流程图。如图6所示,该流程可包括以下步骤:
[0116]
步骤601、确定第一旋转角信息对应的目标对象头部旋转前的第一初始旋转轴坐标。
[0117]
步骤602、根据第一旋转角信息以及第一初始旋转轴坐标,确定目标对象头部旋转后的第一目标旋转轴坐标。
[0118]
步骤603、将第一目标旋转轴坐标、初始坐标、第一旋转角信息输入至旋转坐标计算模型,得到目标对象头部旋转后的第一中间坐标。
[0119]
步骤604、确定第二旋转角信息对应的目标对象头部旋转前的第二初始旋转轴坐标。
[0120]
步骤605、根据第二旋转角信息以及第二初始旋转轴坐标,确定目标对象头部旋转后的第二目标旋转轴坐标。
[0121]
步骤606、将第二目标旋转轴坐标、第一中间坐标、第二旋转角信息输入至旋转坐标计算模型,得到目标对象头部旋转后的目标坐标。
[0122]
以下对步骤601至步骤606进行统一描述:
[0123]
上述第一旋转角信息和第二旋转角信息为旋转信息包括的水平旋转角信息、上下旋转角信息、左右偏转角信息中任意两个旋转角信息,本发明实施例对此不做限制。
[0124]
上述第一初始旋转轴坐标为目标对象头部基于第一旋转角信息进行旋转前对应的旋转轴的坐标。上述第二初始旋转轴坐标为目标对象头部基于第一旋转角信息旋转后,基于第二旋转角信息进行旋转前对应的旋转轴的坐标。
[0125]
由上述图5所示实施例流程的描述可见,可将第一目标旋转轴坐标、初始坐标、第一旋转角信息输入至旋转坐标计算模型,得到目标对象头部旋转后的第一中间坐标,这里,第一中间坐标为目标对象头部旋转第一旋转角信息后,在左手坐标系中的坐标。
[0126]
进一步,在得到第一中间坐标后,可重新确定目标对象头部在旋转第二旋转角信息后的旋转轴,并确定旋转后的第二目标旋转轴坐标。再将第一中间坐标作为目标对象头部旋转前的初始坐标,将第二目标旋转轴坐标、第一中间坐标以及第二旋转角信息输入至上述旋转坐标计算模型中,得到旋转坐标计算模型输出的目标对象头部旋转后的目标坐标。这里,目标坐标为目标对象在旋转第一旋转角信息和第二旋转角信息之后的最终坐标。
[0127]
举例来说,假设以图4所示左手坐标系为例,目标对象头部旋转前的初始坐标为(0,0,a),第一旋转角信息为水平向左旋转90度,第二旋转角信息为向下旋转90度,可确定目标对象头部旋转前,旋转轴为y轴,初始旋转轴坐标为(0,ny,0)。在目标对象头部旋转第一旋转角信息后,旋转轴仍为y轴,那么,可确定目标对象头部旋转后的第一目标旋转轴坐标为:(0,ny,0)。
[0128]
之后,可将第一目标旋转轴坐标、初始坐标、第一旋转角信息输入至上述公式(一)所示例的旋转坐标计算模型,得到目标对象头部旋转后的第一中间坐标为(-a,0,0)。
[0129]
进一步,目标对象头部旋转第二旋转角信息前,确定初始旋转轴坐标为:(0,ny,0),目标对象头部旋转第二角度信息后,旋转轴为z轴。那么,可确定第二目标旋转轴的坐标为:(0,0,nz)。再将第二目标旋转轴坐标、第一中间坐标、第二旋转角信息输入至上述公式(一)所示例的旋转坐标计算模型,得到目标对象头部旋转后的目标坐标为(0,0,-a)。
[0130]
需要说明的是,以上仅仅是根据第一旋转角信息和第二旋转角信息计算目标坐标的先后顺序的示例性说明,本发明实施例对此不做限制。
[0131]
至此,完成图6所示流程的相关描述。
[0132]
在本发明的技术方案中,通过确定第一旋转角信息对应的目标对象头部旋转前的第一初始旋转轴坐标,根据第一旋转角信息以及第一初始旋转轴坐标,确定目标对象头部旋转后的第一目标旋转轴坐标,将第一目标旋转轴坐标、初始坐标、第一旋转角信息输入至旋转坐标计算模型,得到目标对象头部旋转后的第一中间坐标。之后,确定第二旋转角信息对应的目标对象头部旋转前的第二初始旋转轴坐标。根据第二旋转角信息以及第二初始旋转轴坐标,确定目标对象头部旋转后的第二目标旋转轴坐标。最终,可将第二目标旋转轴坐标、第一中间坐标、第二旋转角信息输入至旋转坐标计算模型,得到目标对象头部旋转后的目标坐标。如此,可在旋转信息包括两个旋转角信息的情况下,也即目标对象头部发生两个方向的旋转时,确定目标对象头部旋转后的目标坐标。
[0133]
在又一实施例中,在旋转信息包括三个旋转角信息的情况下,三个旋转角信息包括第三旋转角信息、第四旋转角信息和第五旋转角信息;上述根据旋转信息以及初始坐标,确定目标对象头部旋转后的目标坐标的具体实现可参见图7,为本发明实施例提供的又一
种目标坐标确定方法的实施例流程图,如图7,该流程可包括:
[0134]
步骤701、确定第三旋转角信息对应的目标对象头部旋转前的第三初始旋转轴坐标。
[0135]
步骤702、根据第三旋转角信息以及第三初始旋转轴坐标,确定目标对象头部旋转后的第三目标旋转轴坐标。
[0136]
步骤703、将第三目标旋转轴坐标、初始坐标、第三旋转角信息输入至旋转坐标计算模型,得到目标对象头部旋转后的第二中间坐标。
[0137]
步骤704、确定第四旋转角信息对应的目标对象头部旋转前的第四初始旋转轴坐标。
[0138]
步骤705、根据第四旋转角信息以及第四初始旋转轴坐标,确定目标对象头部旋转后的第四目标旋转轴坐标。
[0139]
步骤706、将第四目标旋转轴坐标、第二中间坐标、第四旋转角信息输入至旋转坐标计算模型,得到目标对象头部旋转后的第三中间坐标。
[0140]
步骤707、确定第五旋转角信息对应的目标对象头部旋转前的第五初始旋转轴坐标。
[0141]
步骤708、根据第五旋转角信息以及第五初始旋转轴坐标,确定目标对象头部旋转后的第五目标旋转轴坐标。
[0142]
步骤709、将第五目标旋转轴坐标、第三中间坐标、第五旋转角信息输入至旋转坐标计算模型,得到目标对象头部旋转后的目标坐标。
[0143]
以下对步骤701至709进行统一描述:
[0144]
其中,上述目标坐标为旋转信息包括三个旋转角信息的情况下,通过旋转坐标计算模型进行运算输出的坐标。
[0145]
上述旋转信息可包括第三旋转角信息、第四旋转角信息和第五旋转角信息。这里,第三旋转角信息、第四旋转角信息和第五旋转角信息均可以为水平旋转角信息、上下旋转角信息、左右偏转角信息中任一旋转角信息,但是第三旋转角信息、第四旋转角信息和第五旋转角信息之间均不相同。
[0146]
上述第三初始旋转轴坐标为目标对象在基于第三旋转信息进行头部旋转前对应的旋转轴坐标,其可以为x轴上任意坐标或y轴上任意坐标或z轴上任意坐标,本发明实施例对此不做限制。
[0147]
在本发明实施例中,在将第三目标旋转轴坐标、初始坐标、第三旋转角信息输入至旋转坐标计算模型,得到目标对象头部旋转后的第二中间坐标后,可将第二中间坐标作为基于第四旋转角信息确定目标对象头部旋转后的第三中间坐标的初始坐标,再将第三中间坐标确定为基于第五旋转角信息确定目标对象头部旋转后的目标坐标的初始坐标。如此,可将旋转轴坐标、旋转信息和初始坐标输入至旋转坐标计算模型,得到旋转坐标计算模型输出的目标坐标。
[0148]
举例来说,假设以图4所示左手坐标系为例,目标对象头部旋转前的初始坐标为(0,0,a),第三旋转角信息为水平向左旋转90度,第四旋转角信息为向下旋转90度,第五旋转角信息为向左偏转90度,可确定目标对象头部旋转前,旋转轴为y轴,初始旋转轴坐标为(0,ny,0)。在目标对象头部旋转第三旋转角信息后,旋转轴仍为y轴,那么,可确定目标对象
头部旋转后的第三目标旋转轴坐标为(0,ny,0)。之后,可将第三目标旋转轴坐标、初始坐标、第三旋转角信息输入至上述公式(一)所示例的旋转坐标计算模型,得到目标对象头部旋转后的第二中间坐标为(0,0,-a)。
[0149]
进一步,目标对象头部旋转第四旋转角信息前,确定初始旋转轴坐标为:(0,ny,0),目标对象头部旋转第四角度信息后,旋转轴为z轴。那么,可确定第四目标旋转轴的坐标为:(0,0,nz)。再将第四目标旋转轴坐标、第二中间坐标、第四旋转角信息输入至上述公式(一)所示例的旋转坐标计算模型,得到目标对象头部旋转后的第三中间坐标为(0,0,-a)。
[0150]
最后,确定目标对象头部旋转第五旋转角信息前对应的初始旋转轴为z轴,第五初始旋转轴坐标为(0,0,nz),目标对象头部旋转第五旋转角信息后对应的旋转轴为x轴,第五目标旋转轴坐标为(n
x
,0,0)。再将第五目标旋转轴坐标、第三中间坐标、第五旋转角信息输入至上述公式(一)所示例的旋转坐标计算模型,得到目标对象头部旋转后的目标坐标为(0,-a,0)。
[0151]
需要说明的是,以上仅仅是根据第三旋转角信息、第四旋转角信息和第五旋转角信息计算目标坐标的先后顺序的示例性说明,本发明实施例对此不做限制。
[0152]
至此,完成图7所示流程的相关描述。
[0153]
步骤304、将目标坐标输入至预设的角度计算公式,得到目标对象头部在左手坐标系内旋转的角度信息。
[0154]
步骤305、确定角度信息为对应扬声器的角度信息。
[0155]
以下对步骤304和步骤305进行统一描述:
[0156]
在一实施例中,为确定目标对象头部旋转后对应扬声器的坐标,可在得到目标对象头部旋转后的目标坐标后,确定目标坐标对应的角度信息,这里,角度信息是目标对象头部旋转后目标坐标对应的角度信息。如此,可确定该角度信息为对应的扬声器的角度信息。
[0157]
可选的,可将空间坐标系转换为球面坐标系,根据目标坐标计算对应扬声器在球面坐标值中的角度信息。如此,可避免目标对象在头部发送旋转后,与扬声器之间因距离不同,导致音频体验不佳。
[0158]
具体的,可将目标坐标输入至如下述公式(二)所示例的预设的角度计算公式,得到目标对象头部在左手坐标系内旋转的角度信息。
[0159][0160]
举例来说,假设目标对象头部旋转后的目标坐标为(1,2),那么,按照上述描述,将目标坐标输入至公式(二)所示角度计算公式中,得到目标对象头部在左手坐标系内旋转的角度信息为θ=45度,φ=30度。
[0161]
步骤306、针对预设的hrir数据库中每一预设hrir数据,确定预设hrir数据的预设角度信息。
[0162]
步骤307、确定预设角度信息与角度信息之间的差值。
[0163]
步骤308、在差值小于或等于预设的差值阈值的情况下,确定差值对应的hrir数据为与角度信息匹配的hrir数据。
[0164]
以下对步骤306至步骤308进行统一描述:
[0165]
在本发明实施例中,为便于根据角度信息确定hrir数据,可预先设置预设角度间隔的hrir数据,并将该hrir数据保存至预设的hrir数据库中。
[0166]
例如,假设预设角度间隔为10度,设置对应角度的hrir数据,则可设置36个不同角度的hrir数据,将hrir数据保存至预设的hrir数据库。
[0167]
在一实施例中,可根据对应的扬声器的角度信息,从hrir数据库中确定与其匹配的hrir数据,以便对hrir数据以及解压后的音频数据进行卷积处理,生成空间音频。
[0168]
其中,上述与角度信息匹配的hrir数据可以是该hrir数据对应的预设角度信息与上述角度信息一致或者两者之间的差值最小,本发生实施例对此不做限制。
[0169]
可选的,可确定预设的hrir数据库中每一hrir数据对应的预设角度信息,计算每一预设角度信息与预设角度之间的差值,将差值与预设的差值阈值(例如,4)进行比较。若差值小于或等于差值阈值,则可确定该差值对应的hrir数据为与角度信息匹配的hrir数据;反之,若差值大于差值阈值,则可确定该差值对应的hrir数据并非与角度信息匹配的hrir数据。如此,可确定与角度信息匹配的hrir数据。
[0170]
步骤309、基于hrir数据以及解压后的音频数据进行卷积处理,生成空间音频。
[0171]
至于步骤309的详细描述,可参见步骤104的相关描述,这里不再赘述。
[0172]
在本发明的技术方案中,通过目标传感器获取目标对象头部旋转前的初始坐标,通过目标传感器采集目标对象头部的旋转信息,旋转信息至少包括下述之一旋转角信息:水平旋转角信息、上下旋转角信息、左右偏转角信息。根据旋转信息以及初始坐标,确定目标对象头部旋转后的目标坐标。如此,可得到目标对象头部在进行一次或多次旋转后的目标坐标。将目标坐标输入至预设的角度计算公式,得到目标对象头部在左手坐标系内旋转的角度信息,确定角度信息为对应扬声器的角度信息。针对预设的hrir数据库中每一预设hrir数据,确定预设hrir数据的预设角度信息,确定预设角度信息与角度信息之间的差值,在差值小于或等于预设的差值阈值的情况下,确定差值对应的hrir数据为与角度信息匹配的hrir数据。然后,基于hrir数据以及解压后的音频数据进行卷积处理,生成空间音频。如此,可确定与角度信息匹配的hrir数据,以对hrir数据以及解压后的音频数据进行卷积处理,生成空间音频,可实现在目标对象头部旋转后,提供不同方位下的音频体验,提升体验感。
[0173]
与前述空间音频生成方法的实施例相对应,本发明还提供装置的实施例框图。
[0174]
参见图8,为本发明实施例提供的一种空间音频生成装置的实施例框图。如图8所示,该装置包括:
[0175]
坐标获取模块801,用于通过目标传感器获取目标对象头部旋转后的目标坐标;
[0176]
角度信息确定模块802,用于根据所述目标坐标,确定对应扬声器的角度信息;
[0177]
hrir数据确定模块803,用于确定与所述角度信息匹配的头相关脉冲响应hrir数据;
[0178]
音频生成模块804,用于基于所述hrir数据以及解压后的音频数据进行卷积处理,生成空间音频。
[0179]
在一可能的实施方式中,所述坐标获取模块801,包括(图中未示出):
[0180]
初始坐标获取单元,用于通过目标传感器获取目标对象头部旋转前的初始坐标;
[0181]
旋转信息采集单元,用于通过目标传感器采集目标对象头部的旋转信息;
[0182]
坐标确定单元,用于根据所述旋转信息以及所述初始坐标,确定所述目标对象头部旋转后的目标坐标。
[0183]
在一可能的实施方式中,所述旋转信息至少包括下述之一旋转角信息:水平旋转角信息、上下旋转角信息、左右偏转角信息;
[0184]
在所述旋转信息包括一个旋转角信息的情况下,所述坐标确定单元,具体用于:
[0185]
确定旋转角信息对应的目标对象头部旋转前的初始旋转轴坐标;
[0186]
根据所述旋转角信息以及所述初始旋转轴坐标,确定所述目标对象头部旋转后的目标旋转轴坐标;
[0187]
将目标旋转轴坐标、初始坐标、旋转角信息输入至预设的旋转坐标计算模型,得到所述目标对象头部旋转后的目标坐标。
[0188]
在一可能的实施方式中,在所述旋转信息包括两个旋转角信息的情况下,两个所述旋转角信息包括第一旋转角信息和第二旋转角信息;
[0189]
所述坐标确定单元,还用于:
[0190]
确定第一旋转角信息对应的目标对象头部旋转前的第一初始旋转轴坐标;
[0191]
根据所述第一旋转角信息以及所述第一初始旋转轴坐标,确定所述目标对象头部旋转后的第一目标旋转轴坐标;
[0192]
将所述第一目标旋转轴坐标、所述初始坐标、所述第一旋转角信息输入至所述旋转坐标计算模型,得到所述目标对象头部旋转后的第一中间坐标;
[0193]
确定第二旋转角信息对应的目标对象头部旋转前的第二初始旋转轴坐标;
[0194]
根据所述第二旋转角信息以及所述第二初始旋转轴坐标,确定所述目标对象头部旋转后的第二目标旋转轴坐标;
[0195]
将所述第二目标旋转轴坐标、所述第一中间坐标、所述第二旋转角信息输入至所述旋转坐标计算模型,得到所述目标对象头部旋转后的目标坐标。
[0196]
在一可能的实施方式中,在所述旋转信息包括三个旋转角信息的情况下,三个所述旋转角信息包括第三旋转角信息、第四旋转角信息和第五旋转角信息;
[0197]
所述坐标确定单元,还用于:
[0198]
确定第三旋转角信息对应的目标对象头部旋转前的第三初始旋转轴坐标;
[0199]
根据所述第三旋转角信息以及所述第三初始旋转轴坐标,确定所述目标对象头部旋转后的第三目标旋转轴坐标;
[0200]
将所述第三目标旋转轴坐标、所述初始坐标、所述第三旋转角信息输入至所述旋转坐标计算模型,得到所述目标对象头部旋转后的第二中间坐标;
[0201]
确定第四旋转角信息对应的目标对象头部旋转前的第四初始旋转轴坐标;
[0202]
根据所述第四旋转角信息以及所述第四初始旋转轴坐标,确定所述目标对象头部旋转后的第四目标旋转轴坐标;
[0203]
将所述第四目标旋转轴坐标、所述第二中间坐标、所述第四旋转角信息输入至所述旋转坐标计算模型,得到所述目标对象头部旋转后的第三中间坐标;
[0204]
确定第五旋转角信息对应的目标对象头部旋转前的第五初始旋转轴坐标;
[0205]
根据所述第五旋转角信息以及所述第五初始旋转轴坐标,确定所述目标对象头部
旋转后的第五目标旋转轴坐标;
[0206]
将所述第五目标旋转轴坐标、所述第三中间坐标、所述第五旋转角信息输入至所述旋转坐标计算模型,得到所述目标对象头部旋转后的目标坐标。
[0207]
在一可能的实施方式中,所述角度信息确定模块802,具体用于:
[0208]
将所述目标坐标输入至预设的角度计算公式,得到所述目标对象头部在左手坐标系内旋转的角度信息,所述角度计算公式如下述所示:
[0209][0210]
其中,θ和为所述目标对象头部在左手坐标系内旋转的角度信息,(x

,y

,z

)为所述目标对象头部旋转后的目标坐标;
[0211]
确定所述角度信息为对应扬声器的角度信息。
[0212]
在一可能的实施方式中,所述hrir数据确定模块,具体用于:
[0213]
针对预设的hrir数据库中每一预设hrir数据,确定所述预设hrir数据的预设角度信息;
[0214]
确定所述预设角度信息与所述角度信息之间的差值;
[0215]
在所述差值小于或等于预设的差值阈值的情况下,确定所述差值对应的hrir数据为与所述角度信息匹配的hrir数据。
[0216]
图9为本发明实施例提供的一种音频设备的结构示意图,图9所示的音频设备900包括:目标传感器901、至少一个处理器902、存储器903、至少一个网络接口904和用户接口905。音频设备900中的各个组件通过总线系统906耦合在一起。可理解,总线系统906用于实现这些组件之间的连接通信。总线系统906除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图9中将各种总线都标为总线系统906。
[0217]
其中,目标传感器用于采集目标对象头部旋转后的目标坐标。
[0218]
用户接口905可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball))、触感板或者触摸屏等。
[0219]
可以理解,本发明实施例中的存储器903可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,rom)、可编程只读存储器(programmable rom,prom)、可擦除可编程只读存储器(erasable prom,eprom)、电可擦除可编程只读存储器(electrically eprom,eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory,ram),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器(static ram,sram)、动态随机存取存储器(dynamic ram,dram)、同步动态随机存取存储器(synchronous dram,sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram,ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、同步连接动态随机存取存储器(synchlink dram,sldram)和直接内存总线随机存取存储器(direct rambus ram,drram)。本文描述的存储器903旨在包括但不限于这些和任意其它适合类型的
存储器。
[0220]
在一些实施方式中,存储器903存储了如下的元素,可执行单元或者数据结构,或者他们的子集,或者他们的扩展集:操作系统9031和应用程序9032。
[0221]
其中,操作系统9031,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序9032,包含各种应用程序,例如媒体播放器(media player)、浏览器(browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序9032中。
[0222]
在本发明实施例中,通过调用存储器903存储的程序或指令,具体的,可以是应用程序9032中存储的程序或指令,处理器902用于执行各方法实施例所提供的方法步骤,例如包括:
[0223]
通过所述目标传感器获取目标对象头部旋转后的目标坐标;
[0224]
根据所述目标坐标,确定对应扬声器的角度信息;
[0225]
确定与所述角度信息匹配的头相关脉冲响应hrir数据;
[0226]
基于所述hrir数据以及解压后的音频数据进行卷积处理,生成空间音频。
[0227]
上述本发明实施例揭示的方法可以应用于处理器902中,或者由处理器902实现。处理器901可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器902中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器902可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现成可编程门阵列(field programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器903,处理器902读取存储器903中的信息,结合其硬件完成上述方法的步骤。
[0228]
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(application specific integrated circuits,asic)、数字信号处理器(digital signal processing,dsp)、数字信号处理设备(dsp device,dspd)、可编程逻辑设备(programmable logic device,pld)、现场可编程门阵列(field-programmable gate array,fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
[0229]
对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
[0230]
本实施例提供的音频设备可以是如图9中所示的音频设备,可执行如图1和图3中空间音频生成方法的所有步骤,进而实现图1和图3中空间音频生成方法的技术效果,具体请参照图1和图3相关描述,为简洁描述,在此不作赘述。
[0231]
本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中,存储介质可以包括易失性存储器,例如随机存取存储器;存
储器也可以包括非易失性存储器,例如只读存储器、快闪存储器、硬盘或固态硬盘;存储器还可以包括上述种类的存储器的组合。
[0232]
当存储介质中一个或者多个程序可被一个或者多个处理器执行,以实现上述在音频设备侧执行的空间音频生成方法。
[0233]
所述处理器用于执行存储器中存储的空间音频生成程序,以实现以下在音频设备侧执行的空间音频生成方法的步骤:
[0234]
通过所述目标传感器获取目标对象头部旋转后的目标坐标;
[0235]
根据所述目标坐标,确定对应扬声器的角度信息;
[0236]
确定与所述角度信息匹配的头相关脉冲响应hrir数据;
[0237]
基于所述hrir数据以及解压后的音频数据进行卷积处理,生成空间音频。
[0238]
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
[0239]
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0240]
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1