全景录制、播放方法及装置与流程

文档序号:11844856阅读:来源:国知局

技术特征:

1.一种全景录制方法,应用于包含多个图像采集单元的拍摄装置中,其特征在于,所述拍摄装置还包含多个音频采集单元,所述方法包括:

通过所述多个图像采集单元拍摄外界图像得到多路广角视频数据,在拍摄图像的同时,通过所述多个音频采集单元采集外界声音得到多路音频数据;

将所述多路广角视频数据展开并拼接融合为全景视频;

根据每个音频采集单元设置在所述拍摄装置上的位置和所述多路音频数据,生成与所述全景视频对应的全景声场,所述全景声场中包含所述多个音频采集单元采集到的每个音源的音频信息和音频数据;

对所述全景视频和所述全景声场进行编码。

2.根据权利要求1所述的方法,其特征在于,所述音频信息包含音源的坐标、朝向和声音强度。

3.一种全景播放方法,其特征在于,包括:

对全景视频和对应的全景声场进行解码,其中,所述全景声场是根据拍摄装置上的每个音频采集单元设置在所述拍摄装置上的位置和每个音频采集单元采集外界声音得到的多路音频数据所生成,所述拍摄装置包含多个音频采集单元,所述全景声场中包含所述多个音频采集单元采集到的每个音源的音频信息和音频数据;

播放所述全景视频,在播放的过程中,识别人眼观看的视频区域,根据人眼观看的视频区域和人头模型计算出人耳的位置;

根据全景声场和人耳的位置生成左耳声场信息和右耳声场信息,并分别在对应的音频播放器中播放所述左耳声场信息和右耳声场信息。

4.根据权利要求3所述的方法,其特征在于,所述根据人眼观看的视频区域和人头模型计算出人耳的位置,包括:

根据人眼观看的视频区域识别出在观看全景视频时人脸的朝向,在人头模型上根据人脸的朝向得到左耳和右耳的坐标和朝向。

5.根据权利要求3或4所述的方法,其特征在于,所述根据全景声场和人耳的位置生成左耳声场信息和右耳声场信息,包括:

根据所述全景声场以及人耳的位置,分离出音床和多个声音对象;

分别计算出音床传递到左、右耳所在位置的声音强度,以及各声音对象传递到左、右耳所在位置的声音强度,根据音床和个声音对象传递到左、右耳所在位置的声音强度,采用音床和各声音对象合成左、右耳声场信息。

6.一种全景录制装置,其特征在于,包括:多个图像采集单元、多个音频采集单元、图像处理单元、音频处理单元和音视频编码处理单元,其中:

所述图像采集单元,用于拍摄外界图像得到多路广角视频数据;

所述音频采集单元,用于在所述图像采集单元拍摄图像的同时,采集外界声音得到多路音频数据;

所述图像处理单元,用于将所述多路广角视频数据展开并拼接融合为全景视频;

所述音频处理单元,用于根据每个音频采集单元设置在所述拍摄装置上的位置和所述多路音频数据,生成与所述全景视频对应的全景声场,所述全景声场中包含所述多个音频采集单元采集到的每个音源的音频信息和音频数据;

所述音视频编码处理单元,用于对所述全景视频和所述全景声场进行编码。

7.根据权利要求6所述的装置,其特征在于,所述音频信息包含音源的坐标、朝向和声音强度。

8.一种全景播放装置,其特征在于,包括:解码单元、视频播放单元、识别单元和音频播放单元,其中:

所述解码单元,用于对全景视频和对应的全景声场进行解码,其中,所述全景声场是根据拍摄装置上的每个音频采集单元设置在所述拍摄装置上的位置和每个音频采集单元采集外界声音得到的多路音频数据所生成,所述拍摄装置包含多个音频采集单元,所述全景声场中包含所述多个音频采集单元采集到的每个音源的音频信息和音频数据;

所述视频播放单元,用于播放所述全景视频;

所述识别单元,用于在所述视频播放单元播放的过程中,识别人眼观看的视频区域,根据人眼观看的视频区域和人头模型计算出人耳的位置;

所述音频播放单元,用于根据全景声场和人耳的位置生成左耳声场信息和右耳声场信息,并分别在对应的音频播放器中播放所述左耳声场信息和右耳声场信息。

9.根据权利要求8所述的装置,其特征在于,所述识别单元根据人眼观看的视频区域和人头模型计算出人耳的位置,包括:

根据人眼观看的视频区域识别出在观看全景视频时人脸的朝向,在人头模型上根据人脸的朝向得到左耳和右耳的坐标和朝向。

10.根据权利8或9所述的装置,其特征在于,所述音频播放单元根据全景声场和人耳的位置生成左耳声场信息和右耳声场信息,包括:

根据所述全景声场以及人耳的位置,分离出音床和多个声音对象;

分别计算出音床传递到左、右耳所在位置的声音强度,以及各声音对象传递到左、右耳所在位置的声音强度,根据音床和个声音对象传递到左、右耳所在位置的声音强度,采用音床和各声音对象合成左、右耳声场信息。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1