内容重放装置、具有该重放装置的处理系统及方法与流程

本发明涉及一种数据处理技术，特别涉及一种基于虚拟现实的内容重放装置、具有该内容重放装置的处理系统及方法。

背景技术：

当用户处于虚拟现实环境中，用户可通过音频播放设备(如耳机)来重放虚拟现实中的声音。在观看虚拟现实影像或是参与虚拟现实游戏时，随着虚拟现实的场景、情节的变化，用户的动作行为可能也会随之变化。例如，在一虚拟现实的场景中，虚拟场景中飞机从一端飞到另一端，或是虚拟场景中球员在球场跑动，或是虚拟游戏中敌人突然在某处出现，或是虚拟场景中用户的身后突然响起枪声或脚步声，用户的头部常常会自然地转动。然而，当用户的动作行为发生变化时，对于用户而言，虚拟现实中声源的方位已经变化，但用户的耳机中重放的声源的方位却并未作相应的改变，如此极大地影响虚拟现实营造出的沉浸感，降低了用户体验的效果。另外，现在的影像文件

技术实现要素：

鉴于以上内容，有必要提供一种可提供用户体验的音频处理装置及方法。

一种处理系统，包括：

一方位位置单元，用于获取一声源装置于一场景内的一第一位置信息；该方位位置单元还用于获取一摄像装置于该场景内的一方位信息及一第二位置信息；

一数据处理单元，用于接收该方位位置单元输出的第一位置信息及第二位置信息，该数据处理单元用于根据该第一位置信息及第二位置信息计算该声源装置相对于该摄像装置的相对位置信息；该数据处理单元还用于接收该方位信息，并根据该方位信息及相对位置信息计算该声源装置相对于该摄像装置的相对方位信息；

一设定模块，用于获取对应于一重放装置的初始方位信息及当前方位信息，并根据该重放装置的初始方位信息及当前方位信息获取该重放装置的方位变化信息；该设定模块还用于根据该相对方位信息及方位变化信息获取该声源装置相对与重放装置的方位处理信息；

一调用模块，用于根据一头相关传输函数库获取对应该方位处理信息的第一传输函数及第二传输函数；及

一卷积模块，用于根据该相对位置信息将一音频信号与该第一传输函数做卷积操作以得到一第一通路信号；该卷积模块还根据该相对位置信息将该音频信号与该第二传输函数做卷积操作以得到一第二通路信号。

一种处理方法，包括：

获取一声源装置于一场景内的第一位置信息；

获取一摄像装置于该场景内的方位信息及第二位置信息；

根据该第一位置信息及第二位置信息计算该声源装置相对于该摄像装置的相对位置信息；

根据该相对位置信息及方位信息计算该声源装置相对于该摄像装置的相对方位信息；

获取对应于一重放装置的初始方位信息及当前方位信息，并根据该重放装置的初始方位信息及当前方位信息获取该重放装置的方位变化信息；

根据该相对方位信息及方位变化信息获取该声源装置相对与重放装置的方位处理信息；

根据一头相关传输函数库获取对应该方位处理信息的第一传输函数及第二传输函数；

根据该相对位置信息将一音频信号与该第一传输函数做卷积操作以得到一第一通路信号；及

根据该相对位置信息将该音频信号与该第二传输函数做卷积操作以得到一第二通路信号。

一种内容重放装置，包括：

一重放装置，设有一传感器，该传感器用于输出该重放装置于一第一位置时输出的初始方位信息，该传感器还用于输出该重放装置于一第二位置时输出的当前方位信息；

一载体，用于接收一音频信号，该载体还用于接收对应于该音频信号的方位位置表，其中该方位位置表内存储了一声源装置相对于一摄像装置的相对方位信息及该声源装置相对于该摄像装置的相对位置信息；该载体根据该重放装置的初始方位信息及当前方位信息获取该重放装置的方位变化信息；该载体还用于根据该相对方位信息及方位变化信息获取该声源装置相对与重放装置的方位处理信息，该载体用于根据一头相关传输函数库获取对应该方位处理信息的第一传输函数及第二传输函数；该载体还用于根据该相对位置信息将一音频信号与该第一传输函数做卷积操作以得到一第一通路信号，还根据该相对位置信息将该音频信号与该第二传输函数做卷积操作以得到一第二通路信号。

上述内容重放装置、具有该重放装置的处理系统及方法通过获取声源装置与该摄像装置的相对方位角，根据相对方位角与用户的位置变化角来得到对应传输函数，并通过对应的传输函数对音频信号进行卷积处理，如此可根据用户移动的位置输出对应的音频信号，进而有利于提高用户的体验。

附图说明

图1为本发明处理系统的较佳实施方式的方框图。

图2是图1中声源装置及摄像机应用于一场景的较佳实施方式的示意图。

图3是图1中内容生成装置的较佳实施方式的方框图。

图4是图3中处理装置的较佳实施方式的方框图。

图5是图4中第一处理器及存储器的较佳实施方式的方框图。

图6是图1中内容重放装置的较佳实施方式的方框图。

图7是图1中载体的较佳实施方式的方框图

图8是本发明处理系统中第一传输函数与第二传输函数调用的示意图。

图9是本发明处理系统中第一通路信号及第二通路信号运算的示意图。

图10及图11是本发明处理方法的较佳实施方式的流程图。

主要元件符号说明

具体实施方式

请参阅图1，本发明处理系统90的较佳实施方式包括一内容生成装置30及一内容重放装置60。

本实施方式中，该内容生成装置30包括一声源装置10及一摄像装置20，该内容生成装置30用于生成一包含该声源装置10相对于该摄像装置20的相对方位信息及相对位置信息的输入信号，其中该输入信号还可包含一音频信号。

本实施方式中，该内容重放装置60包括一载体40及一重放装置50。该载体40用于获取该内容生成装置30产生的输入信号中的相对方位信息及相对位置信息，并根据获取得到的相对方位信息及相对位置信息对该输入信号包含的音频信号进行处理。该重放装置50用于重放经该载体40处理后的音频信号。本实施方式中，该重放装置50可为一耳机。在其他实施方式中，该输入信号也可为一影视的音频信号，或是其他数字播放器输出的音频信号，包括但不限于音乐播放器、电视机输出的音频信号等。

请一并参阅图2及图3，该声源装置10及该摄像装置20可设置于一场景70内。该声源装置10用于输出一音频信号，该摄像装置20包括一第一传感器200。本实施方式中，第一传感器200为一9DOF传感器(9Degrees Of Freedom Sensor)，该第一传感器200用于输出该摄像装置20的方位信息，其中该方位信息可包括一水平方向角及一垂直方向角，其分别对应于该摄像装置20与水平方向及竖直方向之间的夹角的值。本实施方式中，该声源装置10及该摄像装置20可用于实拍节目和直播节目的制作；该摄像装置20可为一360度的全景摄像机，以进行虚拟现实的内容的制作，该摄像装置20可包括一主摄像头。在其他实施方式中，该声源装置10及该摄像装置20可用于非直播实拍节目，此时，该摄像装置20的方位信息可在节目后期制作时添加。

该内容生成装置30还包括一处理装置310及一定位装置320。

该定位装置320用于对位于该场景70的内声源装置10及摄像装置20进行定位操作，以输出对应该声源装置10的第一位置信息及对应该摄像装置20的第二位置信息。本实施方式中，该定位装置320可实时输出该第一位置信息及第二位置信息。该定位装置320可通过激光、红外或深度摄像头等手段来对该声源装置10及该摄像装置20进行定位。在其他实施方式中，当该声源装置10及该摄像装置20用于非直播实拍节目时，该声源装置10及该摄像装置20的位置信息亦可在节目后期制作时添加。

该处理装置310用于接收该第一传感器200输出的方位信息，该处理装置310还用于接收该定位装置320输出的第一位置信息及第二位置信息。在其他实施方式中，该处理装置310接收的方位信息、第一位置信息及第二位置信息可由用户手动添加。

请一并参阅图4及图5，该处理装置310包括一存储器330及一第一处理器340。该存储器330用于存储若干可被该第一处理器340执行的代码以使得该第一处理器340完成特定功能。

本实施方式中，该第一处理器340包括一方位位置单元342及一数据处理单元344。

该方位位置单元342用于接收该声源装置10于该场景70内的第一位置信息；该方位位置单元342还用于接收该摄像装置20于该场景70内的方位信息及第二位置信息。本实施方式中，以该摄像装置20的位置为原点，以该摄像装置20的主摄像头的指向为正前方建立一虚拟现实空间坐标系，如此该摄像装置20的方位信息包括一与水平方向及一与垂直方向的夹角。在其他实施方式中，该虚拟现实空间坐标系亦可以其他摄像头的指向为正前方，通过相应的角度的转换即可得到该声源装置10在该虚拟现实空间坐标系中相对于该摄像装置20的夹角的信息。

该处理装置310的数据处理单元344用于接收第一位置信息及第二位置信息，该处理装置310用于根据该第一位置信息及第二位置信息计算该声源装置10相对于该摄像装置20的相对位置信息。本实施方式中，该数据处理单元344用于根据该相对位置信息及该方位信息计算该声源装置10相对于该摄像装置20的相对方位信息。

本实施方式中，该数据处理单元344还可将该相对位置信息及相对方位信息按获取的时间先后顺序存储于该存储器330内的方位位置表332，以便与音频信号的时序同步。在其他实施方式中，该数据处理单元344还可将该相对位置信息及相对方位信息以该摄像装置20拍摄的影像的帧的顺序存储于该存储器330内的方位位置表332，进而更好的达到与音频信号的时序同步。

请参阅图6，该重放装置50包括一第二传感器530。该第二传感器530可一9DOF传感器，该第二传感器530用于输出相对于该重放装置50的方位信息，其中该方位信息包括一水平方向角及一垂直方向角，其分别对应于该重放装置50在水平方向及竖直方向的值。本实施方式中，该重装装置50可为用户佩戴的耳机。当用户从一第一位置移动至一第二位置(如用户的头部位置变化)时，该传感器20输出的方位信息亦可能发生变化。本实施方式中，该第二传感器530可设置在虚拟现实中用户佩戴的设备，在其他实施方式中，该第二传感器530也可装载在该重放装置50上，如安装于一耳机内。

请参阅图7，该载体40包括一第二处理器510及一第三处理器520。该第二处理器510包括一设定模块514及一调用模块512。本实施方式中，该第三处理器520可为一DSP(Digital Signal Process，数字信号处理)芯片，该第二处理器510可集成该第三处理器520的功能，如此该第三处理器520可省略。在其他实施方式中，该载体40亦可被集成于该重放装置50内。

该设定模块514用于对该重放装置50进行初始化动作，还用于获取对应于该重放装置50的初始方位信息及当前方位信息，并根据该重放装置50的初始方位信息及当前方位信息获取该重放装置50的方位变化信息。该设定模块514还用于根据该相对方位信息及方位变化信息获取该声源装置10相对与重放装置50的方位处理信息。本实施方式中，该设定模块514可用于根据一触发条件将接收到的方位信息设定初始方位信息。例如，当用户佩戴虚拟现实的显示设备的初始时刻时，该设定模块514即对该重放装置50进行初始化动作并将接收得到的方位信息设置为该初始方位信息，如此将用户设置于虚拟现实坐标系的原点处，并以该摄像装置20的主摄像头指向为用户观看的画面的角度。在其他实施方式中，例如，当用户佩戴虚拟现实显示设备进入节目或游戏的初始时刻时，该设定模块514将用户的朝向定位为正前方，并将此时该第二传感器530(如9DOF传感器)输出的方位信息中包含的水平方向角及垂直方向角设置为初始方位信息，如此以使得用户观看的画面与该摄像装置20中主摄像头所拍摄的画面一致。在其他实施方式中，在进行初始化动作时，该设定模块514可将该第二传感器530输出的方位信息中包含的水平方向角校为0度、将垂直方向角校为0度。在其他实施方式中，用户亦可通过一功能按键来设置该参考坐标，如当该功能按键被触发时，该设定模块514则此时接收到的方位信息设定为该初始方位信息。

该调用模块512用于根据一头相关传输函数库HRTF(头相关传输函数，Head Related Transfer Function)获取对应该方位处理信息的第一传输函数及第二传输函数。

该第三处理器520包括一卷积模块522。该卷积模块522用于根据该相对位置信息将该音频信号与该第一传输函数做卷积操作以得到一第一通路信号；该卷积模块522还根据该相对位置信息将该音频信号与该第二传输函数做卷积操作以得到一第二通路信号。

具体地，请参阅图8及图9，当该声源装置10及该摄像装置20于该场景70内时，该处理装置310的方位位置单元342可获得对应该摄像装置20的方位信息的参数包括(φ_c，θ_c)，其中φ_c表示该摄像装置20与重力方向的竖直方向角、θ_c表示该摄像装置20与地磁极方向的水平方向角。该处理装置310的方位位置单元342可获得对应该声源装置10的第一位置信息的参数r_s包括{x_s，y_s，z_s}，即r_s＝{x_s，y_s，z_s}，其中{x_s，y_s，z_s}表示该声源装置10在一空间三维坐标系(x，y，z)中坐标值。该处理装置310的方位位置单元342可获得对应该摄像装置20的第二位置信息的参数r_c包括{x_c，y_c，z_c}，即r_c＝{x_s，y_s，z_s}，其中{x_s，y_s，z_s}表示该摄像装置20在该空间三维坐标系中坐标值，如此该数据处理单元344根据该第一位置信息及第二位置信息计算该声源装置10相对于该摄像装置20的相对位置信息的参数包括其中：

$x_s^{VR}=x_s-x_c;$

$y_s^{VR}=y_s-y_c;$

$z_s^{VR}=z_s-z_c;$

该数据处理单元344，根据该相对位置方位信息及方位信息计算该声源装置10相对于该摄像装置30的相对方位信息的参数包括其中：

${\mathrm{\θ}}_s^{VR}=\arctan \frac{y_s^{VR}}{x_s^{VR}}-{\mathrm{\θ}}_c,{\mathrm{\φ}}_s^{VR}=\arctan \frac{z_s^{VR}}{\sqrt{x_s^{VR}\·x_s^{VR}+y_s^{VR}\·y_s^{VR}}}-{\mathrm{\φ}}_c.$

其中表示该声源装置相对于摄像装置的竖直方向角、表示该声源装置与相对于摄像装置的水平方向角。

本实施方式中，该数据处理单元344将参数存放在对应时刻的方位位置表332中。

该第一处理器510的设定模块514可获得该方位处理信息的参数包括(θ^VR，φ^VR)，其中：

${\mathrm{\θ}}^{VR}={\mathrm{\θ}}_s^{VR}-{\mathrm{\θ}}_h+{\mathrm{\θ}}_{h,0},{\mathrm{\φ}}^{VR}={\mathrm{\φ}}_s^{VR}-{\mathrm{\φ}}_h+{\mathrm{\φ}}_{h,0}.$

其中((θ_h，0-θ_h)，)表示该重放装置50从第一位置到第二位置的方位变化信息。

该调用模块512得到的该第一传输函数为：hrir_l(θ^VR，φ^VR)、该第二传输函数为：hrir_r(θ^VR，φ^VR)。

该卷积模块522得到的于t时刻的第一通路信号l(t)为：

$l\left(t\right)=\frac{1}{d^2}s\⊗{\mathrm{hrir}}_l({\mathrm{\θ}}^{VR},{\mathrm{\φ}}^{VR});$

该卷积模块522得到的于t时刻的第二通路信号r(t)为：

$r\left(t\right)=\frac{1}{d^2}s\⊗{\mathrm{hrir}}_r({\mathrm{\θ}}^{VR},{\mathrm{\φ}}^{VR});$

其中：

$d^2=x_s^{VR}\·x_s^{VR}+y_s^{VR}\·y_s^{VR}+z_s^{VR}\·z_s^{VR},$

其中S表示音频信号，表示卷积操作，θ_h表示当前方位信息中该重放装置50与地磁极方向的水平方向角；θ_h，0表示初始方位信息中该重放装置50与重力方向的水平方向角，表示当前方位信息中该重放装置50与重力方向的垂直方向角；表示初始方位信息中该重放装置50与重力方向的垂直方向角；·表示相乘的关系；d2表示该声源装置10与该摄像装置20之间的距离的平方，以使得不同距离的声源的声音听起来有所区别，有利于提升用户体验的效果。本实施方式中，与s之间为相乘的关系。

本实施方式中，该声源装置10为一点声源。在其他实施方式中，如在存在多个点声源的情况下，可将分别获得每个点声源的第一通路信号及第二通路信号，之后再将每个点声源的第一通路信号进行叠加操作、将每个点声源的第二通路信号进行叠加操作。

请参阅图10及图11，本发明处理方法的较佳实施方式包括如下步骤：

步骤S901，获取摄像装置的一方位信息。

步骤S903，获取声源装置的一第一位置信息及摄像装置的一第二位置信息。

步骤S905，根据声源装置的第一位置信息与摄像装置的第二位置信息计算声源装置相对于摄像装置的相对位置信息。

步骤S907，根据相对位置信息及方位信息计算声源装置相对于摄像装置的相对方位信息。

步骤S909，对重放装置进行初始化，并根据重放装置的初始方位信息及当前方位信息获取该重放装置的方位变化信息。

步骤S911，根据相对方位信息及方位变化信息获取声源装置相对与重放装置的方位处理信息。

步骤S913，根据方位处理信息获取对应重放装置第一传输函数与第二传输函数。

步骤S915，根据第一传输函数对音频信号做卷积处理，以得到一第一通路信号。

步骤S917，根据第二传输函数对音频信号做卷积处理，以得到一第二通路信号。

步骤S919，对第一通路信号与第二通路信号进行重放操作。

上述内容重放装置、具有该重放装置的处理系统及方法通过获取声源装置与该摄像装置的相对方位角，根据相对方位角与用户的位置变化角来得到对应传输函数，并通过对应的传输函数对音频信号进行卷积处理，如此可根据用户移动的位置输出对应的音频信号，进而有利于提高用户的体验。。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。