音频同步方法及相关电子设备与流程

【技术领域】

本发明有关于360度音频/视频应用，更具体来说，有关于用于虚拟现实的360度音频/视频应用的音频同步方法和相关电子设备。

背景技术：

在360度音频/视频应用中，多个相机和麦克风被用于记录用于使用虚拟现实(virtualreality)的音频和视频轨道。当用户佩戴头戴式显示器或耳机以享受虚拟现实时，所记录的音频和视频轨道可以由头戴式显示器或耳机播放，以向用户提供沉浸式体验。然而，因为音频轨道由两个或更多个麦克风记录，并且麦克风的开始时间(即麦克风开始记录的时间点)由于内部硬件或软件情况而总是不同，所以音频轨道可能不是本征同步的(intrinsicallysynchronized)。

技术实现要素：

有鉴于此，本发明特提供以下技术方案：

本发明实施例提供一种音频同步方法，包括：从第一记录设备接收第一音频信号；从第二记录设备接收第二音频信号；对第一音频信号和第二音频信号执行相关运算以对准第一音频信号的第一样式和第二音频信号的第一样式；在第一音频信号和第二音频信号的第一样式对准之后，计算第一音频信号的第二样式和第二音频信号的第二样式之间的差；以及根据第一音频信号的第二样式和第二音频信号的第二样式之间的差，获得第一音频信号和第二音频信号之间的开始时间差以用于音频同步。

本发明实施例又提供一种音频同步方法，包括：控制第一扬声器播放具有第一样式的声音；控制第二扬声器播放具有第二样式的声音；从记录由第一扬声器和第二扬声器产生的声音的第一记录设备接收第一音频信号；从记录由第一扬声器和第二扬声器产生的声音的第二记录设备接收第二音频信号；以及参考第一音频信号内的第一样式和第二样式的多个时间点以及第二音频信号内的第一样式和第二样式的多个时间点，以获得第一音频信号和第二音频信号之间的开始时间差用于音频同步。

本发明实施例又提供一种电子设备，包括处理电路，用于分别从第一记录设备和第二记录设备接收第一音频信号和第二音频信号，以及对第一音频信号和第二音频信号执行相关运算，以对准第一音频信号的第一样式和第二音频信号的第一样式；以及在第一音频信号的第一样式和第二音频信号的第一样式对准之后，计算第一音频信号的第二样式和第二音频信号的第二样式之间的差；以及根据第一音频信号的第二样式与第二音频信号的第二样式之间的差，获得第一音频信号和第二音频信号之间的开始时间差以用于音频同步。

以上的音频同步方法和相关电子设备可以同步音频信号，解决延迟误差问题。

【附图说明】

图1是360度音频/视频应用的示意图。

图2为本发明一实施例的音频同步方法的示意图。

图3是扬声器和麦克风具有特殊的布置的示意图。

图4是示出根据本发明另一实施例的音频同步方法的示意图。

图5是对由麦克风记录的音频信号执行相关运算的示意图。

图6示出根据本发明的一个实施例的能够记录用于360度音频应用的两个音频信号的电子设备。

图7示出了根据本发明另一实施例的能够记录用于360度音频应用的音频信号的电子设备。

图8是根据本发明的一个实施例的音频同步方法的流程图。

图9是根据本发明的一个实施例的能够记录用于360度音频应用的音频信号的系统。

图10是根据本发明另一实施例的音频同步方法的流程图。

图11是根据本发明的一个实施例的能够记录用于360度音频应用的音频信号的系统。

图12是根据本发明另一实施例的音频同步方法的流程图。

图13是根据本发明的一个实施例的虚拟现实应用的系统。

图14是根据本发明的另一实施例的虚拟现实应用的系统。

【具体实施方式】

在说明书及权利要求书当中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解，制造商可能会用不同的名词来称呼同样的组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的基准。在通篇说明书及权利要求书当中所提及的「包含」是开放式的用语，故应解释成「包含但不限定于」。另外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。

本发明的音频同步方法的实施例用于确定两个麦克风之间的开始时间差(starting-timedifference)(即，麦克风开始记录音频信号的时间点之间的差)，并且使用所确定的开始时间差同步所记录的音频信号。另外，音频同步方法的实施例可以应用于如图1所示的360度音频/视频应用，其中多个相机110_1和110_2以及麦克风120_1和120_2用于记录用于使用虚拟现实的音频和视频信号。

请参考图2，图2为本发明一实施例的音频同步方法的示意图。如图所示，在图2中，假设三个麦克风220_1-220_3用于记录音频信号，扬声器210用于产生用于音频同步的同步声音样式(synchronizationsoundpattern)。同步声音样式可以是能够与环境噪声区分开的任何预先设计的声音样式，并且同步声音样式可以具有单音、扫描音(sweeptone)或啁啾，并且同步声音样式可以是正常声音或超声波。在该实施例中，扬声器210的位置由用户或产品工程师确定，因此扬声器210和麦克风220_1-220_3之间的距离是用户或工程师已知的，其中扬声器210和麦克风220_1-220_3之间的距离分别由“x”、“y”和“z”表示，并且假设y>x>z。在开始时，用户使能(enable)麦克风220_1-220_3分别开始记录音频信号，然后扬声器210产生同步声音样式，其中，图2所示的黑点是麦克风220_1-220_3开始记录音频信号的开始时间，并且图2中所示的三角波表示由麦克风220_1-220_3记录的同步声音样式。

在接收到原始记录的音频信号之后，对原始记录的音频信号执行自相关操作(auto-correlationoperation)以对准原始记录的音频信号内的同步声音样式。然后，因为设备/麦克风规格和布置是已知的，所以可以预先计算与距离差“y-x”和“y-z”相对应的声音延迟，并且施加对应于距离差“y-x”和“y-z”的声音延迟以补偿对准的音频信号，以产生补偿的音频信号。在图2所示的补偿音频信号中，与麦克风220_1和220_2对应的补偿音频信号的同步声音样式具有与距离差“y-x”对应的延迟，并且与麦克风220_2和220_3相对应的补偿音频信号的同步声音样式具有对应于距离差“y-z”的延迟，并且这些补偿的音频信号用作补偿开始时间差异情况的同步音频信号。

在图2所示的实施例中，声音延迟需要被预先计算以补偿音频信号，然而，声音延迟计算可能受到由环境温度、湿度和空气密度确定的声速的影响。因此，可能引入延迟误差影响经补偿的音频信号的精度。为了解决延迟误差问题，提供了一种解决方案以使扬声器和麦克风具有特殊的布置，例如如图3中(a)和(b)所示的环形或对称布置。图3是扬声器和麦克风具有特殊的布置的示意图。参考图3中的(a)和(b)，扬声器310/330与麦克风320_1-320_4/340_1-340_4中的每一个之间的距离相同，因此扬声器310/330与麦克风320_1-320_4/340_1-340_4中的每一个之间的声音传播延迟是相同的，以防止图2的实施例中的声音延迟问题。

在图3所示的实施例中，找到扬声器310/330的可行位置可能是困难的，此外，如果在扬声器310/330与每个麦克风320_1-320_4/340_1-340_4的每一个之间存在一些对象，则对象可以形成从直线到z字形的声音传播路径，并且z字形可能不相同，因此，即使扬声器310/330与每个麦克风320_1-320_4/340_1-340_4之间的距离相同，声音传播延迟也可能不相同。为了解决这些问题，图4提供了一个实施例。

图4是示出根据本发明另一实施例的音频同步方法的示意图。如图4所示，假设使用两个麦克风420_1和420_2来记录音频信号，并且使用两个扬声器410_1和410_2来产生用于音频同步的同步声音样式。由扬声器410_1和410_2产生的同步声音样式可以相同或不同，并且同步声音样式可以是能够与环境噪声区分开的任何预先设计的声音样式，并且同步声音样式可以具有单个音调、扫描音调或啁啾声，并且同步声音样式可以是正常声音或超声波。在本实施例中，扬声器410_1、麦克风420_1、麦克风420_2和扬声器410_1在同一直线上对齐，麦克风420_1和420_2放置在扬声器410_1和410_2之间，扬声器410_1放置得更靠近麦克风420_1，而不是麦克风420_2，并且扬声器410_2被放置更靠近麦克风420_2，而不是麦克风420_1。

在开始时，用户使能麦克风420_1和420_2分别开始记录音频信号，并且用户控制扬声器410_1产生第一同步声音样式，其中，图4所示的黑点是麦克风420_1和420_2开始记录音频信号的开始时间，三角波“a”表示由扬声器410_1产生的第一同步声音样式，三角波“b”和“c”分别表示由麦克风420_1和420_2记录的第一同步声音样式。然后，一段时间后，用户控制扬声器410_2产生第二同步声音样式，其中三角波“d”表示由扬声器410_2产生的第二同步声音样式，三角波“e”和“f”分别表示由麦克风420_2和420_1记录的第二同步声音样式。

在图4所示的实施例中，符号“t”表示两个麦克风420_1和420_2之间的开始时间差，符号“x”表示第一同步声音样式“a”和“b”之间的声音传播延迟，符号“z”表示第二同步声音样式“d”和“e”之间的声音传播延迟，符号“y”表示两个麦克风420_1和420_2之间的声音传播延迟(即第一同步声音样式“b”和“c”之间的声音传播延迟和/或第二同步声音样式“e”和“f”之间的声音传播延迟)。应当注意，开始时间差“t”和声音传播延迟“x”、“y”和“z”最初是未知的。

为了获得开始时间差“t”以补偿所记录的音频信号，如图5所示，对由麦克风420_1和420_2记录的音频信号执行相关运算以对准第一同步声音样式“b”和“c”。图5是对由麦克风记录的音频信号执行相关运算的示意图。在第一同步声音样式“b”和“c”对准之后，计算由麦克风420_2记录的音频信号的第二同步声音样式“e”与由麦克风420_1记录的音频信号的第二同步声音样式“f”之间的差，其中差等于“2*y”(正好是“2*y”)。然后，根据计算出的第二同步声音样式“e”和“f”之间的差“2*y”获得两个麦克风420_1和420_2之间的声音传播延迟“y”。然后，移动音频信号以使由麦克风420_1记录的音频信号的第一同步声音样式“b”和由麦克风420_2记录的音频信号的第一同步声音样式“c”具有延迟“y”，如图4所示。最后，比较由麦克风420_1记录的(移动的)音频信号的头部位置(headposition)和由麦克风420_2记录的(移动的)音频信号的头部位置，以获得用于音频同步的开始时间差“t”。例如，由麦克风420_2记录的音频信号可以在开始处添加长度等于“t”的虚拟样式(dummypattern)，以用于音频同步。

在图4所示的实施例中，在信号处理中不涉及声音传播延迟“x”和“z”，即，扬声器410_1和麦克风420_1之间的距离，以及扬声器410_2和麦克风420_2之间的距离不是本实施例的音频同步方法的限制。此外，通过将扬声器410_1和410_2置于麦克风420_1和420_2之间的延长线上，两个不同传播方向上的麦克风420_1和420_2之间的声音传播延迟是相同的，因此，不需要考虑或校准任何路径的声速。综上所述，对扬声器410_1和410_2以及麦克风420_1和420_2的位置，除了麦克风420_1、麦克风420_2、扬声器410_1和扬声器410_2在同一直线上对准，扬声器410_1放置得比其离麦克风420_2更靠近麦克风420_1，并且扬声器410_2被放置得比其离麦克风420_1更靠近麦克风420_2之外，没有其他限制。

图6示出根据本发明的一个实施例的能够记录用于360度音频应用的两个音频信号的电子设备608。如图6所示，电子设备608包括两个扬声器610_1和610_2、两个麦克风620_1和620_2以及处理电路630。在本实施例中，扬声器610_1和610_2以及麦克风620_1和620_2在同一行对齐，麦克风620_1和620_2被放置在扬声器610_1和610_2之间，并且扬声器610_1被放置得比它离麦克风620_2更接近麦克风620_1，并且扬声器610_2被放置得比它离麦克风620_1更接近麦克风620_2。另外，电子设备608可以是任何便携式设备，诸如具有多于一个扬声器和多于一个麦克风的智能电话或平板电脑，但是这不是本发明的限制。电子设备608内的元件的操作类似于图4和图5所示的实施例，具体操作如下图图8所示。

图7示出了根据本发明另一实施例的能够记录用于360度音频应用的音频信号的电子设备708。如图7所示，电子设备708包括三个扬声器710_1-710_3、三个麦克风720_1-720_3和处理电路730。在本实施例中，扬声器710_1放置得非常靠近麦克风720_1，扬声器710_2放置得非常靠近麦克风720_2，并且扬声器710_3被放置得非常靠近麦克风720_3，因此扬声器710_1-710_3中的每两个和相应的两个麦克风被认为是在同一条线上。另外，电子设备708可以是任何便携式设备，诸如具有多于一个扬声器和多于一个麦克风的智能电话或平板电脑，但是其不是本发明的限制。电子设备708内的元件的操作类似于图4和图5所示的实施例，具体操作如下图图8所示。

图8是根据本发明的一个实施例的音频同步方法的流程图。在步骤800中，流程开始。在步骤802中，处理电路630/730开启所有的麦克风620_1-620_2/720_1-720_3。在步骤804中，处理电路630/730控制扬声器610_1-610_2/710_1-710_3依序播放同步声音样式。在步骤806中，处理电路630/730从麦克风620_1-620_2/720_1-720_3接收音频信号，并进一步计算麦克风的开始时间差，例如，处理电路730可以计算麦克风720_1-720_2的开始时间差，并进一步计算麦克风720_2和720_3之间的开始时间差，以得到所有麦克风720_1-720_3的开始时间差；或者处理电路730可以计算麦克风720_1和720_2之间的开始时间差，并进一步计算麦克风720_1和720_3之间的开始时间差，以获得所有麦克风720_1-720_3的开始时间差。

步骤822-828是用于麦克风对的开始时间差计算的详细流程。以麦克风720_1和720_2为例，在步骤822中，处理电路730对麦克风720_1和720_2记录的音频信号进行相关运算，以对齐由扬声器710_1产生的第一同步声音样式。在步骤824中，在对齐第一同步声音样式之后，处理电路730计算由麦克风720_2记录的音频信号的第二同步声音样式与由麦克风720_1记录的音频信号的第二同步声音样式之间的时间差，其中第二同步声音样式由扬声器710_2产生，且差值为“2*y”(例如图5)。在步骤826中，处理电路730移动音频信号以使由麦克风720_1记录的音频信号的第一同步声音样式和由麦克风720_2记录的音频信号的第一同步声音样式具有延迟“y“(例如图4)。在步骤828中，处理电路730比较麦克风720_1所记录的(移动的)音频信号的头部位置(headposition)与麦克风720_2记录的(移动的)音频信号的头部位置，以获得开始时间差(例如图4所示的“t“)，用于音频同步。例如，由麦克风720_1或720_2(例如，稍后打开的麦克风)记录的音频信号可以添加虚拟样式，其长度等于开始时的开始时间差，用于音频同步。

请注意，图7可以具有多于三个麦克风-扬声器对，并且对多个两对麦克风-扬声器对执行多个开始时间差计算以获得所有麦克风的开始时间信息。例如，如果电子设备708包括多个扬声器710_1-710_n和多个麦克风720_1-720_n，则可以计算麦克风(720_1，720_2)、(720_1，720_3)、(720_1，720_4)、...、(720_1，720_n)，或者麦克风(720_1，720_2)、(720_2，720_3)、(720_3，720_4)，...和(720_(n-1)，720_n)的开始时间差以获得所有麦克风的开始时间信息。只要开始时间差计算形成用于所有麦克风720_1-720_n的链，对于对配对顺序(pairorder)的选择就没有限制。

图9是根据本发明的一个实施例的能够记录用于360度音频应用的音频信号的系统。如图9所示，该系统包括四个电子设备902、904、906和908，其中电子设备902包括扬声器910_1和麦克风920_1，电子设备904包括扬声器910_2和麦克风920_2，电子设备906包括扬声器910_3和麦克风920_3，电子设备908包括处理电路930。在本实施例中，扬声器910_1放置得非常接近麦克风920_1，扬声器910_2放置得非常靠近麦克风920_2，扬声器910_3放置得非常靠近麦克风920_3，因此扬声器910_1-910_3中的每两个以及相应的两个麦克风被认为在同一条线上。此外，电子设备902、904和906可以是任何便携式设备，诸如具有扬声器和麦克风的智能电话或平板电脑，并且电子设备908可以是记录设备、遥控器或云服务器设备，但是其不是本发明的限制。

图10是根据本发明另一实施例的音频同步方法的流程图。在步骤1000中，流程开始。在步骤1002中，电子设备908无线地控制电子设备802-806，以依序开启麦克风920_1-920_3。在步骤1004中，电子设备908无线地控制扬声器910_1-910_3以以相反的顺序依序播放同步声音样式。在步骤1006中，处理电路930接收来自麦克风920_1-920_3的音频信号，并计算麦克风对的开始时间差，例如，处理电路930计算麦克风920_1与920_2之间的开始时间差，以及麦克风920_2和920_3之间的开始时间差。

步骤1022-1028是用于麦克风对的开始时间差计算的详细流程。以麦克风920_1和920_2为例，在步骤1022中，处理电路930对麦克风920_1和920_2记录的音频信号进行相关运算，以对齐由扬声器910_1产生的第一同步声音样式。在步骤1024中，在对齐第一同步声音样式之后，处理电路930计算由麦克风920_2记录的音频信号的第二同步声音样式与由麦克风920_1记录的音频信号的第二同步声音样式之间的时间差，其中第二同步声音样式由扬声器910_2产生，且差值为“2*y”(例如图5)。在步骤1026中，处理电路930移动音频信号以使由麦克风920_1记录的音频信号的第一同步声音样式和由麦克风920_2记录的音频信号的第一同步声音样式具有延迟“y“(例如图4)。在步骤1028中，处理电路930比对麦克风920_1记录的(移动的)音频信号的头部位置与麦克风920_2记录的(移动的)音频信号的头部位置，以获得开始时间差(例如图4所示的“t“)，用于音频同步。例如，由麦克风920_1或920_2(例如，稍后打开的麦克风)记录的音频信号可以添加长度等于开始时的开始时间差的虚拟图案，以用于音频同步。

请注意，图9可以具有多于三个麦克风-扬声器对，并且对多个两对麦克风-扬声器对执行多个开始时间差计算以获得所有麦克风的开始时间信息。例如，如果系统包括多个扬声器910_1-910_n和多个麦克风920_1-920_n，则可以计算麦克风(920_1，920_2)、(920_1，920_3)、(920_1，920_4)、...，和(920_1，920_n)的开始时间差，或者麦克风(920_1，920_2)、(920_2，920_3)、(920_3，920_4)、...和(920_(n-1)，920_n)的开始时间差，以获得所有麦克风的开始时间信息。只要开始时间差计算形成用于所有麦克风920_1-920_n的链，对于配对顺序(pairorder)的选择就没有限制。

图11是根据本发明的一个实施例的能够记录用于360度音频应用的音频信号的系统。如图11所示，该系统包括四个电子设备1102、1104、1106和1108，其中电子设备1102包括麦克风1120_1，电子设备1104包括麦克风1120_2，电子设备1106包括麦克风1120_3，电子设备1108包括控制接口1112、扬声器1110和处理电路1130。另外，电子设备1102、1104和1106可以是能够记录音频信号的任何便携式设备，诸如智能手机或平板电脑，并且电子设备1108可以是遥控器，但是其不是本发明的限制。

图12是根据本发明另一实施例的音频同步方法的流程图。在步骤1200中，流程开始。在步骤1202中，电子设备1108无线地控制电子设备1102-1106以依序开启麦克风1120_1-1120_3。在步骤1204中，用户分别将电子设备1108移动到电子设备1102-1106，并且当电子设备1108移动靠近电子设备1102/1104/1106时，用户使用控制接口1112来控制扬声器1110以播放同步声音样式。详细地说，用户可以将电子设备1108移动靠近电子设备1102，并且使用控制接口1112控制扬声器1110播放同步声音样式；随后用户将电子设备1108移动靠近电子设备1104，并且使用控制接口1112控制扬声器1110播放同步声音样式；并且最终用户将电子设备1108移动靠近电子设备1106，并且使用控制接口1112控制扬声器1110播放同步声音样式。在步骤1206中，处理电路1130从电子设备1102-1106接收音频信号，并计算麦克风对的开始时间差，例如，处理电路1130计算麦克风1120_1与麦克风1120_2之间的开始时间差，以及麦克风1120_2和1120_3之间的开始时间差。

步骤1222-1228是用于麦克风对的开始时间差计算的详细流程。以麦克风1120_1和1120_2为例，在步骤1222中，处理电路1130对麦克风1120_1和1120_2记录的音频信号进行相关运算，以对齐由扬声器1110产生的第一同步声音样式。在步骤1224中，在对准第一同步声音样式之后，处理电路1130计算由麦克风1120_2记录的音频信号的第二同步声音样式与由麦克风1120_1记录的音频信号的第二同步声音样式之间的时间差，其中第二同步声音样式由扬声器1110产生，且差值为“2*y”(例如图5)。在步骤1226中，处理电路1130移动音频信号以使由麦克风1120_1记录的音频信号的第一同步声音样式和由麦克风1120_2记录的音频信号的第一同步声音样式具有延迟“y“(例如图4)。在步骤1228中，处理电路1130比较由麦克风1120_1记录的(移动的)音频信号的头部位置与由麦克风1120_2记录的(移动的)音频信号的头部位置，以获得开始时间差(例如图4所示的“t“)，用于音频同步。例如，由麦克风1120_1或1120_2记录的音频信号可以添加虚拟图案，其长度等于开始时的开始时间差用于音频同步。

上述实施例可以应用于虚拟现实应用以提供360度的音频体验。图13是根据本发明的一个实施例的虚拟现实应用的系统。如图13所示，该系统包括电子设备1350和头戴式显示器1370，其中电子设备1350可以是电子设备608、708、908、1108中的任何一个，其能够接收由麦克风记录的音频信号，以及提供同步的音频信号，并且头戴式显示器1370用于经由网络1360从电子设备1350接收同步的音频信号并且为用户播放同步的音频信号。

详细地说，电子设备1350包括捕获模块1351、拼接模块(stitchingmodule)1352、编码器1353、文件合成(filecomposing)模块1354以及封装模块1355。捕获模块1351用以接收来自两个或多个麦克风的音频信号。拼接模块1352用于计算麦克风之间的开始时间差以补偿/同步音频信号。编码器1353用于根据相关的编解码标准对补偿/同步的音频信号进行编码。文件合成模块1354将编码的音频信号转换为具有诸如iso基本媒体文件格式(isobasemediafileformat，简写为isobmff)的指定格式的媒体文件。封装模块1355用于对媒体文件进行封装操作，例如通过http的动态自适应流传输(dynamicadaptivestreamingoverhttp，简写为dash)封装，以生成媒体流。

头戴式显示器1370包括媒体请求和接收模块1371、文件解析模块1372、解码器1373、头/眼跟踪模块1374和渲染(rendering)模块1375。媒体请求和接收模块1371用于根据由头/眼跟踪模块1374生成的用户的头/眼跟踪信息，经由网络1360从电子设备1350接收媒体流。文件解析模块1372对应文件合成模块1354，用于解析媒体文件生成编码音频信号。解码器1373用于根据由头/眼跟踪模块1374生成的用户的头/眼跟踪信息来解码由文件解析模块1372提供的编码的音频信号。最后，渲染模块1375从解码器1373接收解码的音频信号以根据由头/眼跟踪模块1374产生的用户的头/眼跟踪信息来播放用于用户的音频信号。

另外，在图13所示的实施例中，电子设备1350内的一些元件可以属于另一电子设备。例如，电子设备1350可以仅包括捕获模块1351和拼接模块1352，而诸如编码器1353、文件合成模块1354和封装模块1355的其余元件在耦合到电子设备的另一电子设备内1350中；或者电子设备1350可以仅包括捕获模块1351、拼接模块1352和编码器1353，而其余元件在另一电子设备内；或者电子设备1350可以仅包括捕获模块1351、拼接模块1352、编码器1353和文件合成模块1354，而封装模块1355在另一电子设备内。这些替代设计将落入本发明的范围内。

在图13所示的实施例中，由头/眼跟踪模块1374产生的用户的头/眼跟踪信息被提供给媒体请求和接收模块1371和解码器1373以提高它们的工作效率，即媒体请求和接收模块1371和解码器1373只能选择所需的数据进行处理。在其他实施例中，由头/眼跟踪模块1374产生的用户的头/眼跟踪信息可以不被提供给媒体请求和接收模块1371和/或解码器1373。这些替代设计将落入本发明的范围内。

图14是根据本发明的另一实施例的虚拟现实应用的系统。如图14所示，系统包括电子设备1450和头戴式显示器1470，其中电子设备1450可以是电子设备608、708、908、1108中的任何一个，其能够接收由麦克风记录的音频信号，以及提供同步的音频信号，并且头戴式显示器1470用于为用户播放从电子设备1450产生的同步的视频/音频信号文件。

详细地说，电子设备1450包括捕获模块1451、拼接模块1452、编码器1453以及文件合成模块1454。捕获模块1451用以接收来自两个或多个麦克风的音频信号。拼接模块1452用于计算麦克风之间的开始时间差以补偿/同步音频信号。编码器1453用于根据相关的编解码标准对补偿/同步的音频信号进行编码。文件合成模块1454将编码的音频信号转换为具有诸如iso基本媒体文件格式(isobmff)的指定格式的媒体文件。最后，由电子设备1450生成的文件被存储在存储设备或云服务器中。

头戴式显示器1470包括文件解析模块1472、解码器1473、头/眼跟踪模块1474和渲染模块1475.当用户想要虚拟现实时，文件解析模块1472用于从存储设备或云服务器接收媒体文件，并解析媒体文件以生成编码的音频信号。解码器1473用于根据由头/眼跟踪模块1474生成的用户的头/眼跟踪信息来解码由文件解析模块1472提供的编码的音频信号。最后，再现模块1475从解码器1473接收解码的音频信号，以根据由头/眼跟踪模块1474产生的用户的头/眼跟踪信息为用户播放音频信号。

另外，在图14所示的实施例中，电子设备1450内的一些元件可以属于另一电子设备。例如，电子设备1450可以仅包括捕获模块1451和拼接模块1452，而诸如编码器1453和文件合成模块1454的其余元件在耦合到电子设备1450的另一电子设备内；或电子设备1450可以仅包括捕获模块1451、拼接模块1452和编码器1453，而其余元件在另一电子设备内。这些替代设计将落入本发明的范围内。

在图14所示的实施例中，由头/眼跟踪模块1474产生的用户的头/眼跟踪信息被提供给解码器1473以提高工作效率，即解码器1473只能选择所需的数据进行处理。在其他实施例中，由头/眼跟踪模块1474产生的用户的头/眼跟踪信息可以不被提供给解码器1473。这些替代设计将落入本发明的范围内。

本说明书揭露了本发明的范例以及较佳实施例，但应当理解，本发明并不限于所揭露的实施例。相反，所述公开的实施例的上述描述可使得本领域的技术人员能够实现或者使用本发明。对于本领域技术人员来说，这些实施例的各种修改是显而易见的，并且这里定义的总体原理也可以在不脱离本发明的范围和主旨的基础上应用于其他实施例。因此，本发明并不限于这里示出的实施例，而是与符合这里公开的原理和新颖特征的最广范围相一致。