基于音视频分析的网络通话麦克风状态提示方法及系统与流程

本发明涉及麦克风设备技术领域，特别涉及一种基于音视频分析的网络通话麦克风状态提示方法及系统。

背景技术：

现有技术中，网络通话、网络会议系统都通过检测麦克风设置，帮助用户及时识别麦克风状态，避免出现由于麦克风静音等原因导致发言不能被其他参与者接收、由于没有及时关闭麦克风导致与通话无关的语音信息传送给其他参与者等问题，能有效提高网络通话、网络会议的质量和效率。

目前能实现麦克风状态提示的技术主要有：

方案一：在通话、会议建立时检测麦克风状态并提示，在通话、会议过程中不做麦克风状态的提示。这种方案无法为用户实时更新麦克风状态，容易出现因麦克风静音导致的沟通不畅，用户在发言过程中需要频繁与其他用户确认能否听到他的发言，用户体验不佳。

方案二：在通话、会议过程中使用gui图标或弹窗显示麦克风静音状态。这种方案常用于pc终端和移动终端等带屏设备中，用户在切换到其他应用后或视线脱离屏幕后无法关注到麦克风状态，同样容易出现因麦克风静音导致的沟通问题。

方案三：在通话、会议过程中，部分通话、会议系统把麦克风打开或关闭状态图标使用osd叠加到视频画面上发送给终端设备。这种方案需要集成专业的osd叠加处理模块，仅适用与部分视频会议终端或者视频会议服务器，设备成本和维护成本高。

方案四：在会议过程中，部分会议系统检测到某个会议终端麦克风静音后，会对该终端播放特殊的提示音，如间隔播放“嘟嘟”音。这种方案的问题是提示不够直观，辨识度不高，并且会对会议的正常收听造成一定程度的干扰。

技术实现要素：

本发明提供一种基于音视频分析的网络通话麦克风状态提示方法及系统，可以不依赖于屏幕和视频设备，解决无法为用户实时更新麦克风状态、用户在切换到其他应用后或视线脱离屏幕后无法关注到麦克风状态、设备成本、维护成本高和提示方案不够直观，辨识度低等技术问题。

为了实现上述目的，本发明提供以下技术方案：

一种基于音视频分析的网络通话麦克风状态提示方法，包括以下步骤：

s1、确定终端麦克风是否处于静音状态；

s2、根据用户说话状态发出取消或设置麦克风静音状态的提示，具体包括：当终端设备麦克风处于静音状态时，如人脸识别模块检测到用户讲话动作、或者语音识别模块检测到用户发出的声音，则发出取消麦克风静音状态的第一提示；当终端设备麦克风处于非静音状态时，如所述语音识别模块检测到其他人发出的声音，则发出设置麦克风静音状态的第二提示；

s3、对通话远端信号进行vad检测，如检测到通话远端信号为无效信号，则判定扬声器空闲，则播放上述第一提示或第二提示；

s4、在播放所述提示时，如检测到通话远端信号为有效信号，则停止所述第一提示或者第二提示的播报、或把所述第一提示或第二提示与通话远端信号混音处理后播报。

优选的，所述提示的信息以音频或视频数据的方式存放在电子设备存储器内。

优选的，所述提示为声音信号、文字信号或光电信号。

本发明还提供一种基于音视频分析的网络通话麦克风状态提示系统，包括状态确认模块、提示模块、检测模块及播报模块，

所述状态确认模块，用于确定终端麦克风是否处于静音状态及用户是否处于说话状态；

所述提示模块，用于根据用户说话状态发出取消或设置麦克风静音状态的提示，具体包括：当终端设备麦克风处于静音状态时，如人脸识别模块检测到用户讲话动作、或者语音识别模块检测到用户发出的声音，则发出取消麦克风静音状态的第一提示；当终端设备麦克风处于非静音状态时，如所述语音识别模块检测到其他人发出的声音，则发出设置麦克风静音状态的第二提示；

所述检测模块，用于对通话远端信号进行vad检测，如检测到通话远端信号为无效信号，则判定扬声器空闲，则播放上述第一提示或第二提示；

所述播报模块，用于在播放所述提示时，如检测到通话远端信号为有效信号，则停止所述第一提示或者第二提示的播报、或把所述第一提示或第二提示与通话远端信号混音处理后播报。

优选的，所述提示的信息以音频或视频数据的方式存放在电子设备存储器内。

优选的，所述提示为声音信号、文字信号或光电信号。

通过实施以上技术方案，具有以下技术效果：本发明提供的基于音视频分析的网络通话麦克风状态提示方法及系统，根据用户面部动作识别结果和语音信号声纹识别结果判断用户说话状态，实时提示用户打开或关闭麦克风。可广泛适用于包括移动终端在内的各种类型终端设备和会议系统。本发明基于音视频分析技术，可适用于视频会议、语音会议、视频通话、语音通话等各种应用场景。本发明实现在终端设备上，降低了音视频服务器的运算要求和控制复杂度，提高了通话、会议系统的稳定性。此外本发明在检测到其他人声音时，会及时提醒用户关闭麦克风，可有效保护用户的个人隐私，同时防止通话、会议被无关内容干扰、打断。本发明使用的语音提示音频支持定制，用户可根据其喜好选择个性化音频提示，辨识度较高；本发明对通话远端信号做实时vad检测，在扬声器不被占用的情况下播放语音提示，对用户收听通话、会议内容干扰较小。

附图说明

图1为本发明提供的基于音视频分析的网络通话麦克风状态提示方法的流程示意图；

图2为本发明提供的基于音视频分析的网络通话麦克风状态提示系统的模块示意图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图详细描述本发明提供的实施例。

一种基于音视频分析的网络通话麦克风状态提示方法，如图1所示，包括以下步骤：

s1、确定终端麦克风是否处于静音状态；

在本实施例中，终端麦克风存在两种状态，一种是静音状态，另外一种是非静音状态。其中静音状态是指麦克风处于音量关闭状态；非静音状态是指麦克风处于音量打开状态。

s2、根据用户说话状态发出取消或设置麦克风静音状态的提示，具体包括：当终端设备麦克风处于静音状态时，如人脸识别模块检测到用户讲话动作、或者语音识别模块检测到用户发出的声音，则发出取消麦克风静音状态的第一提示；当终端设备麦克风处于非静音状态时，如所述语音识别模块检测到其他人发出的声音，则发出设置麦克风静音状态的第二提示；

s3、对通话远端信号进行vad检测，如检测到通话远端信号为无效信号，则判定扬声器空闲，则播放上述第一提示或第二提示；其中所述第一提示和所述第二提示可以是语音提示、光电信号提示或文字信号提示等方式。在本实施例中，优选的，所述第一提示和所述第二提示均为语音提示。

s4、在播放所述提示时，如检测到通话远端信号为有效信号，则停止所述第一提示或者第二提示的播报、或把所述第一提示或第二提示与通话远端信号混音处理后播报。

本实施例中，在通话、会议过程中，终端设备通过检测用户面部动作、声音等行为特征和生物特征判断用户的说话状态，结合当前的麦克风设置状态，提醒用户及时打开或关闭麦克风。在本实施例中，优选的，当终端设备麦克风处于静音状态时，如果人脸识别模块检测到用户讲话动作或语音识别模块检测到用户发出的声音，则提醒用户取消麦克风静音状态，避免因麦克风静音等原因导致发言不能被远端用户接收；当终端设备麦克风处于非静音状态时，如果语音识别模块检测到其他人发出的声音，则提醒用户设置麦克风静音，避免跟通话、会议无关的语音信息被传送到远端用户，对通话、会议造成干扰、打断；而且对通话远端信号做实时vad检测，如果远端信号为无效信号，即无有效语音信号则播放语音提示，对用户做出上述打开或关闭麦克风的提醒；在播放语音提示时如果检测到远端信号为有效信号，则语音提示停止播报或者把语音提示和远端信号做混音处理后播报。在本实施例中，语音活动检测(voiceactivitydetection，vad)又称语音端点检测，语音边界检测。通常地，vad用于从声音信号流里识别和消除长时间的静音期，以达到在不降低业务质量的情况下节省话路资源的作用。静音抑制可以节省宝贵的带宽资源，可以有利于减少用户感觉到的端到端的时延。在本实施例中，vad主要用于检测通话远端信号是否存在有效语音。

在上述实施例的基础上，在其他实施例中，进一步的，所述提示的信息以音频或视频数据的方式存放在电子设备存储器内。所述提示优选为语音提示，且以音频文件或数据码流的方式存放在系统存储器内。也可以在系统中预装语音提示素材，用户可以根据自己的喜好对所述语音提示素材的内容、音量及音调等特征进行定制。在本实施例中，优选的，所述提示为声音信号、文字信号或光电信号。

本发明还提供一种基于音视频分析的网络通话麦克风状态提示系统，如图2所示，包括状态确认模块、提示模块、检测模块及播报模块，

所述状态确认模块，用于确定终端麦克风是否处于静音状态及用户是否处于说话状态；

所述提示模块，用于根据用户说话状态发出取消或设置麦克风静音状态的提示，具体包括：当终端设备麦克风处于静音状态时，如人脸识别模块检测到用户讲话动作、或者语音识别模块检测到用户发出的声音，则发出取消麦克风静音状态的第一提示；当终端设备麦克风处于非静音状态时，如所述语音识别模块检测到其他人发出的声音，则发出设置麦克风静音状态的第二提示；

所述检测模块，用于对通话远端信号进行vad检测，如检测到通话远端信号为无效信号，即无有效语音信号，则判定扬声器空闲，则播放上述第一提示或第二提示；

所述播报模块，用于在播放所述提示时，如检测到通话远端信号为有效信号，则停止所述第一提示或者第二提示的播报、或把所述第一提示或第二提示与通话远端信号混音处理后播报。

在上述实施例的基础上，在其他实施例中，进一步的，所述提示的信息以音频或视频数据的方式存放在电子设备存储器内。在本实施例中，优选的，所述提示为声音信号、文字信号或光电信号。

以上对本发明实施例所提供的一种基于音视频分析的网络通话麦克风状态提示方法及系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。