一种全息音频渲染控制方法与流程

本发明属于音频信号处理领域，特别涉及一种全息音频渲染控制方法。

背景技术：

随着VR、AR技术的不断发展，在追求视觉沉浸感的同时，也需要相应的加强听觉的沉浸感；而虚拟环绕声技术是听觉VR、AR重要的支撑技术，该技术是在虚拟声场中渲染出虚拟声源以及虚拟声源的运动轨迹，得到全息音频信号，实时监听或者记录后重放该信号，则可以为用户营造出逼真的声场。如附图1所示，现有的虚拟声源渲染控制方法，一般是通过画面显示空间坐标系，用户通过鼠标操控在空间坐标系中放置虚拟声源或者设定声源的运动轨迹，然而这种方法对普通用户而言不够直观，操作的难度较大，应用前景不佳。

技术实现要素：

为了克服现有技术的缺陷，本发明提出一种全息音频渲染控制方法。通过多级触控的方式对虚拟声源的方位进行控制，以方便、直观的对虚拟声源进行全息声场的渲染。

提出一种全息音频渲染控制方法，提供一种触控装置，该触控装置具有立体形状，其包括触摸表面，其具有与触控装置的立体形状相同的形状，该触摸表面用于感应用户手的触摸位置同时可感应用户手按压的压力；建立起听众的虚拟声场听觉坐标系和触控装置的物理坐标系间的对应关系，即，触控装置相当于听众所处的虚拟声场，在触控装置的触摸表面上的点的方位对应于听众所处的虚拟声场的声源的方位，而施加在该点上的压力大小则对应于虚拟声场中的声源的距离远近；用户的手接触到触控装置的触摸表面时，根据触摸表面所感应到用户的手的触摸位置来确定该触摸点的方位也即确定了虚拟声源的方位；同时，根据触摸表面所感应到的用户手的按压压力大小确定出对应的虚拟声场中声源的距离；根据所确定的虚拟声源的方位以及距离，对干信号进行空间卷积，得到经渲染的虚拟声源信号；将该信号馈送至听众的耳机或听众面前的扬声器中进行重放，听众获得虚拟声源的感知；可设置专门的压力传感器，其设置于触摸表面的下方，压力传感器用于感应用户手施加在触摸表面上的压力。

其中，所述空间卷积包括使用头相关传输函数(HRTF)或双耳房间脉冲响应(BRIR)进行信号卷积。其中，用音箱进行虚拟声源信号重放时，包括串音消除的步骤。

包括在触控装置的触摸表面上触碰多个位置以虚拟出多个虚拟声源的步骤或根据用户的手在触控装置的触摸表面上的运动轨迹，虚拟出运动的声源的步骤或同时包括以上两种方式。

进一步包括实时空间卷积以进行同步监听，或者先对虚拟声源的位置或运动轨迹进行记录，再通过后期信号处理的方式得到虚拟声源信号。

另外提出一种全息音频渲染控制方法，提供一种触控装置，该触控装置具有立体形状，其包括触摸表面，其具有与触控装置的立体形状相同的形状，该触摸表面用于感应用户手的触摸位置；建立起听众的虚拟声场听觉坐标系和触控装置的物理坐标系间的对应关系，即，触控装置相当于听众所处的虚拟声场，在触控装置的触摸表面上的点的方位对应于听众所处的虚拟声场的声源的方位；用户的手接触到触控装置的触摸表面时，根据触摸表面所感应到用户的手的触摸位置来确定该触摸点的方位也即确定了虚拟声源的方位；利用能量Panning的方式基于确定的虚拟声源的方位对干声信号进行渲染，该能量Panning的方式包括但不限于VBAP(Vector Base Amplitude Panning)方式，并将渲染后的信号馈送至多个音箱进行重放，使听众获得虚拟声源感知。

其中，包括在触控装置的触摸表面上触碰多个位置以虚拟出多个虚拟声源的步骤或根据用户的手在触控装置的触摸表面上的运动轨迹，虚拟出运动的声源的步骤或同时包括以上两种方式。

进一步包括实时空间卷积以进行同步监听，或者先对虚拟声源的位置或运动轨迹进行记录，再通过后期信号处理的方式得到虚拟声源信号。

附图说明

图1为现有技术中的虚拟声源控制方法示意图

图2为本发明的全息音频渲染控制方法的操作示意图

具体实施方式

结合附图，对本发明的全息音频渲染控制方法进行详细说明。如附图2所示，对于双耳信号重放的情况(包括耳机重放及扬声器重放)，第一步，提供一种触控装置1，其可为球体、椭球体、立方体、长方体或是其他立体形状，可根据所要虚拟的声场情况进行具体配置；该触控装置1包括触摸表面2，其具有与触控装置1的立体形状相同的形状，该触摸表面2用于感应用户手的触摸位置，进一步该触摸表面2同时可感应用户手按压的压力，或者设置专门的压力传感器3，其设置于触摸表面2的下方，压力传感器3用于感应用户手施加在触摸表面2上的压力。第二步，建立起听众的虚拟声场听觉坐标系和触控装置1的物理坐标系间的对应关系，也即，触控装置1就相当于听众所处的虚拟声场，在触控装置1的触摸表面2上的点的方位对应于听众所处的虚拟声场的声源的方位，而施加在该点上的压力大小则对应于虚拟声场中的声源的距离远近，压力大则距离远，压力小则距离近，相反亦可。第三步，用户的手接触到触控装置1的触摸表面2时，根据触摸表面2所感应到用户的手的触摸位置来确定该触摸点的方位也即确定了虚拟声源的方位，方位可采用方位角-仰角来表示，也可以用其他方位表示方法来表示；同时，根据触摸表面2或者压力传感器3所感应到的用户手的按压压力大小确定出对应的虚拟声场中声源的距离；上述确定方位及距离的执行主体可以是该触控装置1本身，或是与其连接的外部终端，例如计算机。第四步，根据所确定的虚拟声源的方位以及距离，对干信号进行空间卷积，包括使用对应所述虚拟声源方位和距离的头相关传输函数(HRTF)或双耳房间脉冲响应(BRIR)进行时域卷积，从而得到经渲染的虚拟声源信号。第五步，将该信号馈送至听众的耳机或听众面前的扬声器中进行重放，听众获得虚拟声源的感知。注意用音箱进行虚拟声源信号重放时，包括串音消除的步骤。另外，上述操控触控装置1的用户与听众可以是同一人也可为不同的人。

进一步的，通过在触控装置1的触摸表面2上触碰多个位置可虚拟出多个虚拟声源；也可根据用户的手在触控装置1上的触摸表面2的运动轨迹，虚拟出运动的声源。既可以进行实时的虚拟声场卷积以进行同步监听，也可以先将虚拟声源的位置或运动轨迹进行记录，再通过后期信号处理的方式得到虚拟声源信号。

对于多通道环绕声重放的情况，如附图2中斜向箭头所指向的场景所示，与双耳信号重放的情况所不同的是，其中，当用户的手接触到触控装置1的触摸表面2时，根据触摸表面2所感应到用户的手的触摸位置来确定该触摸点的方位也即确定了虚拟声源的方位，利用能量Panning的方式基于确定的虚拟声源的方位对干声信号进行渲染，该能量Panning的方式包括但不限于VBAP(Vector Base Amplitude Panning)方式，并将渲染后的信号馈送至多个音箱进行重放，使听众获得虚拟声源感知。也即，不考虑虚拟声源的距离。

本发明的全息音频渲染控制方法既可以用于音频制作也可以用于现场演示监听，操控简单，直观性强，应用前景广阔。