一种直录播互动系统中的音频处理方法及装置的制造方法
【技术领域】
[0001] 本发明属于音频处理领域，尤其涉及一种直录播互动系统中的音频处理方法及装 置。
【背景技术】
[0002] 在音频信号的采集和录制过程中，需对接收到的音频信号进行处理，再通过音频 混音算法对采集到的多路语音信号进行混合，使混合后的语音信号中包含每一路麦克风采 集到的信息，以便能够让发声者的说话信息传送给每一个参与会议的成员。
[0003] 传统的音频混音算法大都是对采集到的语音信号进行分析，根据信号的强弱分配 不同的混音权重值，最后进行加权求和以达到混音的目的。这种方法可以在一定程度上实 现混音的效果，但是由于其使用的是后验知识，即必须首先得到语音信号才能对每路麦克 风通道赋予相应的权重值，存在着处理上的滞后性和信号产生方位的不确定性，如果能够 利用一些先验知识，即在得到语音信号前就分配好了每路麦克风所对应的权重值，则可以 更为精准地实现混音的效果。
【发明内容】
[0004] 本发明提供一种直录播互动系统中的音频处理方法及装置，以解决上述问题。
[0005] 本发明提供一种直录播互动系统中的音频处理方法。上述方法包括以下步骤：采 集当前图像；根据第一策略确定所述当前图像中各个音频采集设备对应的一次混音权重 值；根据各个音频采集设备采集的音频信息、各个音频采集设备对应的一次混音权重值确 定各个音频采集设备的二次混音权重值；根据各个音频采集设备的二次混音权重值、各个 音频采集设备采集的音频信息，进行混音，获取混音后的音频输出值。
[0006] 本发明还提供一种直录播互动系统中的音频处理装置，上述装置包括：全景摄像 机、音频采集设备和智能导播设备；所述全景摄像机和所述音频采集设备分别与所述智能 导播设备相连；所述全景摄像机，用于采集当前图像；所述音频采集设备，用于采集音频信 息；所述智能导播设备，用于根据第一策略确定所述当前图像中各个音频采集设备对应的 一次混音权重值，并根据各个音频采集设备采集的音频信息、各个音频采集设备对应的一 次混音权重值确定各个音频采集设备的二次混音权重值；所述智能导播设备还用于根据各 个音频采集设备的二次混音权重值、各个音频采集设备采集的音频信息，进行混音，并获取 混音后的音频输出值。
[0007] 相较于先前技术，根据本发明提供的直录播互动系统中的音频处理方法及装置， 首先对获取到的视频图像进行分析，提取出发声者在房间内的具体位置，利用人员的位置 信息提前对房间内的多个麦克风设备分配相应的混音权重值，并且可以随着人员的移动实 时改变权重值的大小，精准地实现混音效果。本发明利用根据发声者实时的位置变化，能够 更加准确有效地根据人员实时位置从而避免权重值变化的滞后，能够使最终的混音效果变 化平缓、自然真实。
【附图说明】
[0008] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0009] 图1所示为根据本发明的较佳实施例提供的直录播互动系统中的音频处理方法 的流程图；
[0010] 图2所示为根据本发明的较佳实施例提供的整个直录播教室的图像中教师与麦 克风的位置不意图；
[0011] 图3所示为根据本发明的另一较佳实施例提供的整个直录播教室的图像中教师 与麦克风的位置示意图；
[0012]图4所示为根据本发明的较佳实施例提供的直录播互动系统中的音频处理装置 的结构图。
【具体实施方式】
[0013] 下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的 情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0014] 如图1所示为根据本发明的较佳实施例提供的直录播互动系统中的音频处理方 法的流程图。如图1所示，本发明的较佳实施例提供的直录播互动系统中的音频处理方法 包括步骤101-104。
[0015] 步骤101:采集当前图像；
[0016] 步骤102 :根据第一策略确定所述当前图像中各个音频采集设备对应的一次混音 权重值；
[0017] 所述第一策略包括：建立各个音频采集设备与划分区域的对应关系；根据声源所 在的区域、声源区域及音频采集设备混音权重动态分配表，确定各个音频采集设备对应的 一次混音权重值。
[0018] 所述声源区域及音频采集设备混音权重动态分配表包括：声源所在区域的音频采 集设备对应的一次混音权重值、划分区域中非声源所在区域中的各个音频采集设备分别对 应的一次混音权重值。
[0019] 举例而言：在另一优选的实施例中，在确定所述当前图像中各个音频采集设备对 应的一次混音权重值的方法还包括：假设声源的发出者为教师，建立教师所在区域和麦克 风的混音权重动态分配表，具体如表1所示，将全景摄像头采集到的图像进行区域划分，具 体如图3所示，将采集到的图像按照6个麦克风的位置划分为6个区域，每个区域分别对应 着一个麦克风，假设教师在区域2中，根据混音权重动态分配表得到区域1中麦克风1对应 的一次混音权重值为0. 5,区域2中麦克风2对应的一次混音权重值为1，区域3中麦克风 3对应的一次混音权重值0. 5,区域4中麦克风4对应的一次混音权重值为0. 25,区域5中 麦克风5对应的一次混音权重值0. 5,区域6中麦克风6对应的一次混音权重值为0. 25。
[0020] 表1混音权重动态分配表
[0021]
[0022] 所述第一策略包括：根据获取的声源与各个音频采集设备之间距离，确定各个音 频采集设备对应的一次混音权重值。
[0023] 根据获取的声源与各个音频采集设备之间距离，确定各个音频采集设备对应的一 次混音权重值的过程为：
[0026] 其中，P(xp，yp)为所述声源位置坐标，所述声源位置坐标通过运动目标检测方法实 时获取；
[0027] 其中，^为第i路音频采集设备位置坐标Mic i (Xi，yi)和声源位置坐标P(xp，yp)之 间距离平方的倒数，i = 1，2, 3……n;
[0028] 其中，&为第i路音频采集设备的一次混音权重值。
[0029] 步骤103 :根据各个音频采集设备采集的音频信息、各个音频采集设备对应的一 次混音权重值确定各个音频采集设备的二次混音权重值；
[0030] 根据各个音频采集设备采集的音频信息、各个音频采集设备对应的一次混音权重 值，获取各个音频采集设备进行一次混音权重分配后的语音信号包络值；对获取的各个音 频采集设备进行一次混音权重分配后的语音信号包络值进行平滑处理；获取各个音频采集 设备平滑处理后的语音信号包络值总和，并根据获取的各个音频采集设备平滑处理后的语 音信号包络值总和，获取各个音频采集设备的语音信号权重值，并对所述语音信号权重值 进行平滑处理，得到二次混音权重值。
[0031] 根据各个音频采集设备采集的音频信息、各个音频采集设备对应的一次混音权重 值，获取各个音频采集设备进行一次混音权重分配后的语音信号包络值的过程为：en Vi = ei|*ki;其中，e ,表示第i路音频采集设备直接采集到的语音信号幅值，h是第i路音频采 集设备的一次混音权重值；enVi表示第i路音频采集设备进行一次混音权重分配后的语音 信号包络值。
[0032] 对一次