一种音频采集装置和基于此装置的全景声的编码方案的制作方法

文档序号:16047197发布日期:2018-11-24 10:58阅读:133来源:国知局

本发明涉及全景相机音频技术领域,特别涉及一种音频采集装置和基于此装置的全景声的编码方案。

背景技术

全景音视频是一种用3d摄像机与mic进行全方位360度进行拍摄的音视频多媒体文件,用户在观看视频的时候,可以随意调节视频上下左右进行观看。全景视频设备通常使用在vr虚拟现实内容的制作等方面,也有运用于旅游展览,或者城市介绍等方面的情况。现阶段的vr(virtualreality)视频大部分仅仅有全景视频,而无全景音频。

针对现在vr技术中存在的音频无方位效果,音视频方位不同步等问题;现有的录制方式存在的问题:1,单声道,双声道能有效的记录声场的声音信息,但是不能有效的记录声场的音频方位信息,特别是在配合vr(虚拟现实技术)视频播放时,2,5.1,7.1声道的音频录制,能记录声场音频的方位信息,,但是配合vr视频播发时,音频方位信息不能随视频的人为拖动而转动音频方位。3,用多个单通道信号通过后期制作的方式,编码生成的全景声音频,此方法配合全景视频运用时,虽然能够产生音频的音频方位效果,但是,声音为后期制作的音频,不能真实的还原录制环境的声场信息,且操作过程比较复杂。

针对现有技术方案存在诸多问题,有必要提出一种新的技术方案来解决。



技术实现要素:

本发明的主要目的是提出一种音频采集装置和基于此装置的全景声的编码方案,旨在能够有效的保留原始声场信息,在解码播放时,能够有效的重现声场信息,以增强收听者的收听体验;进一步的目的在于提供用于处理和编码空间音频数据,使全景声的录制变得更简单易操作。

为实现上述目的,本发明提出的一种音频采集装置,包括:硬性球体和若干麦克风,若干所述麦克风均分成至少两层,每层所述麦克风均匀地设置;其中,每层至少有两个所述麦克风,相邻两层所述麦克风所在的平面相互平行。

优选地,若干层所述麦克风沿所述硬性球体表面的赤道线对称分布,每层所述麦克风均匀地沿所述硬性球体的纬度线分布,且相邻两层的所述麦克风所处的经度线不同。

优选地,所述硬性球体的直径为16~22厘米。

优选地,包括有32、64或128个所述麦克风。

优选地,若干所述麦克风均分为4层。

优选地,包括有64个所述麦克风,且均分为4层,每一层所述麦克风中相邻两层所述麦克风所在的经线相差22.5度。

优选地,所述硬性球体由金属材质制成。

本发明还提出一种基于上述任意所述的装置的全景声的编码方案,步骤如下:

首先采用所述音频采集装置采集音频信号,即通过若干所述麦克风记录所述硬性球体球面的声场信息;

对采集到的所述音频信号依据球谐函数分解公式进行不同阶数的球谐函数分解编码处理;

对处理好的所述音频信号进行标准格式的封装;

所述谐函数分解公式如下:

其中:f(r,θ,φ:k)为环形麦克风接受到的音频信号,

a:不能阶次下得到的球谐系数,

b:为贝塞尔函数,

p:勒让德函数,

h:每层麦克风的个数,

n:最大球谐函数的阶段次数,

为每个麦克风和球体中心连线与z轴的夹角弧度值,(以硬性球体赤道所在平面为水平面,垂直于赤道的方向为z轴);

θ:为每个麦克风在球体表面的经度值,

n:球谐函数的次(n=1、2、3…)

m:球谐函数的阶(m=0、±1、±2、±3…±n),

i:复数,

r:球体半径,

c:为声速,

fs:为采样频率。

与现有技术相比,本发明的有益效果是:降低了全景音制作的复杂性,是全景音频与视频的制作更加简单,更容易实现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。

图1为本发明一实施例的结构示意图;

图2为本发明中麦克风的安装示意图;

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

本发明提出了一种音频采集装置和基于此装置的全景声的编码方案,能够有效的保留原始声场信息,在解码播放时,能够有效的重现声场信息。以增强收听者的收听体验。本发明进一步的目的在于提供用于处理和编码空间音频数据,使全景声的录制变得更简单易操作。

本实施例提出的一种音频采集装置,包括:硬性球体和若干麦克风,若干麦克风均分成至少两层,且均匀地分布在硬性球体的表面;每层麦克风均匀地设置;其中,每层至少有两个麦克风,相邻两层麦克风所在的平面相互平行。

在本实施例中,若干层麦克风沿硬性球体表面的赤道线对称分布,每层麦克风均匀地沿硬性球体的纬度线分布,且相邻两层的麦克风所处的经度线不同。

在本实施例中,硬性球体的直径为16~22厘米。为了接近人体头部的尺寸,设计的直径大小符合人体感受。

在本实施例中,包括有32、64或128个麦克风。硬性球体表面均匀分布的麦克风越多,全方位收声的效果约好。

在本实施例中,若干麦克风均分为4层。

在本实施例中,包括有64个麦克风,且均分为4层。其中,,每一层麦克风中相邻两个麦克风所在的经线相差22.5度;在相邻的上下两层的麦克风中,位于同一竖直方向相对应的上下两个麦克风之间经度线相差11.25度,这样设置能使收声效果达到近乎最佳效果。

在本实施例中,硬性球体由金属材质制成。

本发明还提出一种基于上述任意装置的全景声的编码方案,步骤如下:

首先采用音频采集装置采集音频信号,即通过若干麦克风记录硬性球体球面的声场信息;

对采集到的音频信号依据球谐函数分解公式进行不同阶数的球谐函数分解编码处理;

对处理好的音频信号进行标准格式的封装;

谐函数分解公式如下:

其中:f(r,θ,φ:k)为麦克风接受到的音频信号,

a:不能阶次下得到的球谐系数,

b:为贝塞尔函数,

p:勒让德函数,

h:每层麦克风的个数,

n:最大球谐函数的阶段次数,

为每个麦克风和球体中心连线与z轴的夹角弧度值,(以硬性球体赤道所在平面为水平面,垂直于赤道的方向为z轴);

θ:为每个麦克风在球体表面的经度值,

n:球谐函数的次(n=1、2、3…)

m:球谐函数的阶(m=0、±1、±2、±3…±n),

i:复数,

r:球体半径,

c:为声速,

fs:为采样频率。

实施例,如图1和图2所示,球体中心点o,硬性球体100,麦克风200,赤道线300,音频采集装置为直径为19厘米(模拟正常成年人头部尺寸)的金属硬性球体100,以硬性球体100赤道线300所在平面为水平面,与赤道线300所在面垂直且向上方向为z轴正方向,将64个麦克风200均分成4层,每份都成环形均等的分布在球表面,即同一层的麦克风200在球体上的纬度是一样的;从上往下每一层与z轴向上方向的夹角分别为:53.30度、78.39为度、101.61为度、126.70度(北纬36.70度、北纬11.61度、南纬11.61度、南纬36.70度),以赤道线300为基准纬度对称。同一层的相邻两个麦克风200之间的经度线差值为22.5度,即同一层的麦克风200与所在平面圆的中心点的连线,相邻两条连线之间的夹角为22.5度。且相邻两层麦克风200中,,相对应的两个麦克风200经度差值为11.25度。基于此方式分布麦克风200阵列对环境声进行采集。

将采集到的音频信号依据球谐函数分解公式进行不同阶数的球谐函数分解编码处理。

ambisonic全景声音频是指包含声场中声音的方位特征信息有关的数据的音频。有特殊的文件格式存储,且不同的编码方案可以得到不同文件格式的全景声文件,具有不同数量的音频声道,并需要不同的解译以再现所表现的声音。如ambisonic一阶b-format格式和高阶ambisonic(hoa)格式。在一阶b-format格式中,声场信息被编码至四个声道,通常标记为w、x、y和z,其中,w声道代表全向信号级,x、y和z声道代表三维中的方向分量。hoa格式使用更多的声道,这可以产生更大的甜区(即,用户听到基本达到预期的声音的区域),并在更高频率处产生更精确的声场再现。ambisonic数据可使用声场麦克风200通过现场录音创建,可使用ambisonic移动立体声录音法在录音室中混合,或通过(例如)游戏软件生成。

ambisonic数据可使用声场麦克风200通过现场录音创建的编码方式其编码的计算公式如下:

任意单位球面上平方可积函数f(θ,φ),可以表述成一组球谐基的线性组合,

fnm:分解常数,

球谐函数是声波方程或赫尔姆霍茨方程在球坐标下的解,其表达式为:

式中:n:球谐函数的次(n=0,1,2,3…);

m:球谐函数的阶(m=0,±1,±2,±3…±n);

i:复数,

r:球体半径,

n阶m次的连带勒让德函数(或关联勒让德函数),其表达式为:

式中的pn(x)成为n次勒让德多项式,其微分表达式为:

bn(kr):为模态振幅或者模态强度,对刚性球与开式球定义如下:

hn(kr):为第一类n阶球汉克尔函数,

jn(kr):为球贝塞尔函数,

将(1)式两边同乘以并积分后得到:

通过此公式与对球面的声压进行分解,即可得到不同阶数的ambisonic音频文件。

在公式的使用:

将每一层麦克风200的个数带入参数h,每个麦克风200都有独立的经度值和弧度值θ,在计算时,将不同层的不同位置的麦克风200的值与θ值带入,行成方程组,即可解得相应的系数a。

编码一阶ambisoinc音频文件的计算过程:

编码一阶ambisoinc音频文件,n=1,m分别取值0,1,-1。从上往下l层,将每一层麦克风200的弧度值分别取值为:53.30、78.39、101.61、126.70,以及每一层的每一个麦克风200的具体θ值代入(即等同于将每一个麦克风200在硬性球体100上的坐标值代入方程式)。

每一层列出独立的方程,共3*l个方程式,并组合成方程组,解方程组,可得到

相应的系数a00,a10,a11,a1-1。

将得到的四个通道的音频文件,按a00,a1-1,a10和a11的通道顺序,添加wavex音频格式头,及得到具有方位信息的一阶ambisonic音频文件。

二阶ambisoinc音频编码

编码二阶ambisoinc音频文件的计算过程:

编码二阶ambisoinc音频文件时,取n=2,

m分别取值0,1,-1,2,-2,

从上往下l层,将每一层麦克风200的弧度值分别取值为:53.30、78.39、101.61、126.70,以及每一层的每一个麦克风200的具体θ值代入(即等同于将每一个麦克风200在硬性球体100上的坐标值代入方程式)。

每一层列出独立的方程,共5*l个方程式,并组合成方程组,解方程组,可得到相应的系数a00,a10,a11,a1-1,a20,a21,a2-1,a22。

将得到的九个通道的音频文件,按二阶ambisoinc音频文件规定的通道顺序排放后,添加wavex音频格式头,及得到具有方位信息的二阶ambisonic音频文件。

三阶ambisoinc音频编码

编码三阶ambisoinc音频文件的计算过程:

当n=3时

m分别取值0,1,-1,2,-2,3,-3.

从上往下l层麦克风200,将每一层麦克风200的弧度值分别取值为:53.30、78.39、101.61、126.70,以及每一层的每一个麦克风200的具体θ值代入(即等同于将每一个麦克风200在硬性球体100上的坐标值代入方程式)。

每一层列出独立的方程,共7*l个方程式,并组合成方程组,解方程组,可得到相应的系数a00,a10,a11,a1-1,a20,a21,a2-1,a22,a30,a3-1,a32,a3-2,a33,a33。

a30

将得到的16个通道的音频文件,按三阶ambisoinc音频文件规定的通道顺序排放后,添加wavex音频格式头,及得到具有方位信息的三阶ambisonic音频文件。

本发明提及的硬性球为直径为19厘米(模拟正常成年人头部尺寸)的全封闭金属球体,64个麦克风200均分成4份,成环状摆放的硬性球表面,记录球面声场信息。

对64个麦克风200阵列采集到的球面声场信息进行进行不同阶数的球谐函数分解编码处理。对音频信号进行标准格式的封装,以便于制作为常规通用格式,用常规播放器就能进行播放。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1