导播设备403 ;所述全景摄像机401和所述音 频采集设备402分别与所述智能导播设备403相连；所述全景摄像机401，用于采集当前图 像；所述音频采集设备402,用于采集音频信息；所述智能导播设备403,用于根据第一策略 确定所述当前图像中各个音频采集设备对应的一次混音权重值，并根据各个音频采集设备 采集的音频信息、各个音频采集设备对应的一次混音权重值确定各个音频采集设备的二次 混音权重值；所述智能导播设备403还用于根据各个音频采集设备的二次混音权重值、各 个音频采集设备采集的音频信息，进行混音，并获取混音后的音频输出值。
[0054] 此外，关于上述装置的具体操作过程同上述方法所述，故于此不再赘述。
[0055] 综上所述，相较于先前技术，根据本发明提供的直录播互动系统中的音频处理方 法及装置，首先对获取到的视频图像进行分析，提取出发声者在房间内的具体位置，利用人 员的位置信息提前对房间内的多个麦克风设备分配相应的混音权重值，并且可以随着人员 的移动实时改变权重值的大小，精准地实现混音效果。本发明利用根据发声者实时的位置 变化，能够更加准确有效地根据人员实时位置从而避免权重值变化的滞后，能够使最终的 混音效果变化平缓、自然真实。
[0056] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技 术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种直录播互动系统中的音频处理方法，其特征在于，包括w下步骤： 采集当前图像； 根据第一策略确定所述当前图像中各个音频采集设备对应的一次混音权重值； 根据各个音频采集设备采集的音频信息、各个音频采集设备对应的一次混音权重值确 定各个音频采集设备的二次混音权重值； 根据各个音频采集设备的二次混音权重值、各个音频采集设备采集的音频信息，进行 混音，获取混音后的音频输出值。2. 根据权利要求1所述的方法，其特征在于，所述第一策略包括；建立各个音频采集设 备与划分区域的对应关系；根据声源所在的区域、声源区域及音频采集设备混音权重动态 分配表，确定各个音频采集设备对应的一次混音权重值。3. 根据权利要求2所述的方法，其特征在于，所述声源区域及音频采集设备混音权重 动态分配表包括；声源所在区域的音频采集设备对应的一次混音权重值、划分区域中非声 源所在区域中的各个音频采集设备分别对应的一次混音权重值。4. 根据权利要求1所述的方法，其特征在于，所述第一策略包括： 根据获取的声源与各个音频采集设备之间距离，确定各个音频采集设备对应的一次混 音权重值。5. 根据权利要求4所述的方法，其特征在于，根据获取的声源与各个音频采集设备之 间距离，确定各个音频采集设备对应的一次混音权重值的过程为：其中，P(Vyp)为所述声源位置坐标，所述声源位置坐标通过运动目标检测方法实时获 取； 其中，li为第i路音频采集设备位置坐标MiCi(Xi，yi)和声源位置坐标P(Xp，yp)之间距 离平方的倒数，i= 1，2, 3......n; 其中，ki为第i路音频采集设备的一次混音权重值。6. 根据权利要求1所述的方法，其特征在于，根据各个音频采集设备采集的音频信息、 各个音频采集设备对应的一次混音权重值，获取各个音频采集设备进行一次混音权重分配 后的语音信号包络值； 对获取的各个音频采集设备进行一次混音权重分配后的语音信号包络值进行平滑处 理； 获取各个音频采集设备平滑处理后的语音信号包络值总和，并根据获取的各个音频采 集设备平滑处理后的语音信号包络值总和，获取各个音频采集设备的语音信号权重值，并 对所述语音信号权重值进行平滑处理，得到二次混音权重值。7. 根据权利要求6所述的方法，其特征在于，根据各个音频采集设备采集的音频信息、 各个音频采集设备对应的一次混音权重值，获取各个音频采集设备进行一次混音权重分配 后的语音信号包络值的过程为；envi=|e 其中，ei表示第i路音频采集设备直接采 集到的语音信号幅值，ki是第i路音频采集设备的一次混音权重值；envi表示第i路音频 采集设备进行一次混音权重分配后的语音信号包络值。8. 根据权利要求7所述的方法，其特征在于，对一次混音权重分配后的语音信号包络 值enVi进行平滑处理；其中，处理过程如下；Ei=enVi*h+env'i*(l-h);env'i表示第i 路音频采集设备上一个采样点的语音信号包络值，h表示平滑系数，Ei表示第i路音频采集 设备平滑处理后的语音信号包络值。9. 根据权利要求8所述的方法，其特征在于，获取各个音频采集设备平滑处理后的语 音信号包络值总和即及各个音频采集设备的语音信号权重值10. 根据权利要求9所述的方法，其特征在于，将各个音频采集设备平滑处理后的语音 信号包络值总和E与阔值Eth进行比较，并根据比较结果做出相应处理。11. 根据权利要求10所述的方法，其特征在于，根据比较结果做出相应处理的过程为： 若E《Eth，Eth表示音频采集设备语音信号包络总和的阔值，则对权重值Wi做平滑，得 到二次混音权重值Wi，其中mi、m2表示平滑系数，Wth表示权重值的阔值； 如果E>Eth，对权重值做平滑：其中W/表示第i路音频采集设备上一个采样点所分配的权重值。12. 根据权利要求11所述的方法，其特征在于，根据各个音频采集设备的二次混音权 重值、各个音频采集设备采集的音频信息，进行混音，获取混音后的音频输出值的过程：混 音后的音频输出值13. 根据权利要求12所述的方法，其特征在于，所述方法还包括对混音后的音频输出 值进行限幅处理，根据混音后的音频输出值与预设限幅的阔值上限和预设限幅的阔值下限 的比较，并根据比较结果进行对应的处理，得到混音后的最终输出值。14. 一种直录播互动系统中的音频处理装置，其特征在于，上述装置包括：全景摄像 机、音频采集设备和智能导播设备；所述全景摄像机和所述音频采集设备分别与所述智能 导播设备相连； 所述全景摄像机，用于采集当前图像； 所述音频采集设备，用于采集音频信息； 所述智能导播设备，用于根据第一策略确定所述当前图像中各个音频采集设备对应的 一次混音权重值，并根据各个音频采集设备采集的音频信息、各个音频采集设备对应的一 次混音权重值确定各个音频采集设备的二次混音权重值；所述智能导播设备还用于根据各 个音频采集设备的二次混音权重值、各个音频采集设备采集的音频信息，进行混音，并获取 混音后的音频输出值。
【专利摘要】本发明提供一种直录播互动系统中的音频处理方法及装置，上述方法包括以下步骤：采集当前图像；根据第一策略确定所述当前图像中各个音频采集设备对应的一次混音权重值；根据各个音频采集设备采集的音频信息、各个音频采集设备对应的一次混音权重值确定各个音频采集设备的二次混音权重值；根据各个音频采集设备的二次混音权重值、各个音频采集设备采集的音频信息，进行混音，获取混音后的音频输出值。本发明还提供一种直录播互动系统中的音频处理装置，上述装置包括：全景摄像机、音频采集设备和智能导播设备；所述全景摄像机和所述音频采集设备分别与所述智能导播设备相连。
【IPC分类】G10L19/008, G10L21/0316
【公开号】CN104934037
【申请号】CN201510293434
【发明人】顾驰, 高华
【申请人】阔地教育科技有限公司
【公开日】2015年9月23日
【申请日】2015年6月2日