一种自动可视化智慧大数据会议管理方法及系统与流程

本发明属于智能会议管理，具体涉及一种自动可视化智慧大数据会议管理方法及系统。

背景技术：

1、企业管理是对企业生产经营活动进行计划、组织、指挥、协调和控制等一系列活动的总称，是社会化大生产的客观要求。企业管理是尽可能利用企业的人力、物力、财力、信息等资源，实现省、快、多、好的目标，取得最大的投入产出效率。

2、会议是现代社会中企业和政府部门进行思想和问题决策的重要场合，对企业和政府的发展有着重要的意义，随着社会竞争的日益激烈，企事业单位内部会议也不断增多，企业公司内部需要经常通过会议沟通进行问题的解决以及决策的制定，而现在企事业的会议管理工作繁重且处于无系统流程的状态，经常会有参会者忘记会议、因为会议流程的复杂，导致难以正常进行会议、难以完整的记录会议笔记等问题，造成效率低，服务质量不高，不便于管理，容易出错，最终使会议效果受到影响。

3、发明课程

4、为了解决当前会议管理工作繁重且处于无系统流程的状态，经常会有参会者忘记会议、因为会议流程的复杂，导致难以正常进行会议、难以完整的记录会议笔记的技术问题，本发明提供一种自动可视化智慧大数据会议管理方法及系统。

5、第一方面

6、本发明提供了一种自动可视化智慧大数据会议管理方法，包括：

7、s1：获取会议信息；

8、s2：启用视频模组，识别会场的参会人员，在所述参会人员为预设参会人员的情况下，开启会议；

9、s3：所述视频模组获取目标参会人员的瞳孔图像和目标词汇，在所述瞳孔图像和所述目标词汇满足预设条件的情况下，接收目标参会人员的语音，通过语音识别，形成会议记录。

10、其中，所述会议信息包括会议地点，会议时间，参会人数，预设参会人员的信息，其中，所述预设参会人员的信息包括参会人员地址，参会人员编码和参会人员人脸图像。

11、进一步地，所述s2具体包括：

12、s201：启用所述视频模组，识别会场的参会人数；

13、s202：在所述参会人员为零的情况下，关闭会议；

14、s203：在所述参会人员不为零的情况下，获取参会人员的人脸图像，在所述人脸图像与所述参会人员人脸图像匹配的情况下，开启会议；

15、s204：在所述人脸图像与所述参会人员人脸图像不匹配的情况下，向所述参会人员发送参会申请，在所述参会申请被同意的情况下，开启会议。

16、进一步地，所述s3具体包括：

17、s301：在具有会议记录需求的情况下，所述目标参会人员看向所述视频模组并说出所述目标词汇，所述视频模组获取所述目标参会人员的瞳孔图像和所述目标词汇；

18、s302：将所述瞳孔图像和所述目标词汇与所述预设条件进行对比，在所述瞳孔图像和所述目标词汇与所述预设条件匹配的情况下，获取所述目标参会人员的语音，其中，所述预设条件为具有眼眶和瞳孔图像，且所述瞳孔位于所述眼眶中心，所述眼眶具有眼头，眼位，上眼睑和下眼睑，所述预设词汇为记录会议笔记；

19、s303：将所述目标参会人员的语音通过语音识别，形成会议记录。

20、进一步地，所述s302，具体包括：

21、s3021：将所述瞳孔图像和所述目标词汇与所述预设条件进行对比，在所述瞳孔图像和所述目标词汇与所述预设条件匹配的情况下，获取所述会场的语音信号，所述语音信号包括目标语音信号，所述目标语音信号的混响以及背景噪声；

22、s3022：将所述语音信号输入至语音识别模型，其中，所述语音识别模型包括增强模块，映射模块和分离模块；

23、s3023：接收所述分离模块输出的目标语音信号，作为所述目标参会人员的语音。

24、进一步地，所述s3022，具体包括：

25、s30221：将所述语音信号，通过深度循环神经网络，获得第一语音信号，其中，所述深度循环神经网络采用公式：

26、

27、其中，0<l<l，l为深度循环神经网络的层数，是第l层第n帧的激励向量，是第l层第n帧的激活向量，是第l层第n-1帧的激活向量，表示当前层与上一层之间的连接，表示当前层的循环层，和是权重矩阵，是偏差系数矩阵，nl∈r是第l层的节点个数，是n0＝d维的输入特征向量，是激活函数；

28、s30222：将所述第一语音信号输入至所述增强模块，通过变换时间卷积网络，获得语音特征信号，其中，所述变换时间卷积网络包括时间卷积网络和非线性激活函数模块和归一化模块，

29、所述时间卷积网络采用公式：

30、s-conv(y,k,l)＝d-conv(y,k)*l；

31、d-conv(y,k)＝concat(yl*kl)；

32、其中，0<l<l，y∈rg×m为s-conv的输入，k∈rg×m为大小为p的卷积核，yl∈rl×m和kl∈rl×p为矩阵y和k的一行，l∈rg×h×1为大小为1的卷积核，*为卷积操作，d-conv(y,k)*l代表d-conv(·)操作将输入y的每一行与矩阵k的相应行进行卷积；

33、所述非线性激活函数模块采用公式：

34、

35、其中，a∈r是一个可训练的标量，控制所述激活函数的负斜率；

36、所述归一化模块采用公式：

37、

38、

39、

40、其中，fk∈rn×1为输入特征f的第k帧，ft≤k∈rn×k对应着前k个帧的特征[f1,f2,f3,...,fk,]，γ和β∈rn×l是可训练参数；

41、s30223：将所述语音特征信号输入至映射层，从而获得增强语音特征信号，所述映射层包括谱特征算法模块，时频掩码算法模块和损失模块，其中，损失模块包括幅度谱损失和人声损失，

42、所述映射层采用公式：

43、

44、其中，代表输入的混合带噪声语音信号lps特征，代表参考干净语音信号lps特征，表示基于最小均方误差准则的采用对数功率谱(lps)优化目标函数，(l,k)表示时频单元，l为时间帧的索引，k是拼点的索引，表示输入的混合带噪声语音信号特征估计出的irm，表示对应的干净语音信号irm值，为基于最小均方误差准则的采用理想比值掩码(irm)优化目标函数，α是调节两种学习目标之间比例的权重；

45、所述幅度谱损失采用公式：

46、

47、其中，混合语音的复谱可以写成在进行压缩后可以写成也可以写成而为xβ的实部，为xβ的虚部，为预测的信号，为预测的信号；

48、所述人声损失才用公式：

49、

50、

51、其中，a为损失参数，为xβ的实部，为xβ的虚部，为预测的信号，为预测的信号；

52、所述增强语音信息采用公式：

53、

54、其中，是估计的干净语音lps特征，是带噪生语音lps特征经过时频掩码之后的lps特征，lmag是幅度谱损失，lper是人声损失；

55、s30224：将所述增强语音信息输入至所述分离层，所述分离层用于将所述目标参会人员的语音与其他所述参会人员的语音分离。

56、进一步地，所述s30221中还包括：

57、所述深度循环神经网络还包括变量变换层，所述变量变换层用于添加或删除信息，所述变量变换层包括输入层，遗忘层和输出层，所述语音信号通过所述变量变化层后，获得第一语音信号，

58、所述输入层采用公式：

59、it＝σ(wxixt+whiht-1+bi)；

60、ft＝σ(wxfxt+whfht-1+bf)；

61、

62、其中，t表示时间帧序号，σ(·)表示sigmoid函数，i表示输入门激活向量，f表示遗忘门激活向量，o表示输出门激活向量和c表示细胞激活向量，

63、所述遗忘层采用公式：

64、

65、其中，c表示细胞激活向量，表示对应元素相乘，w表示各个门的权重矩阵，b表示各个门的偏置矩阵，t表示时间帧序号，i表示输入门激活向量，f表示遗忘门激活向量和c表示细胞激活向量；

66、所述输出层采用公式：

67、ot＝σ(wx0xt+wh0ht-1+b0)；

68、其中，o表示输出门激活向量，w表示各个门的权重矩阵，b表示各个门的偏置矩阵，t表示时间帧序号；

69、所述第一语音信号采用公式：

70、

71、进一步地，所述会议记录，包括时间戳和所述参会人员的说话内容，所述s303具体包括：

72、s3031：在瞳孔图像和所述目标词汇与所述预设条件匹配的情况下，获取所述第一时间戳；

73、s3032：在所述第一时间戳的情况下，获取所述目标参会人员的说话内容，判断所述说话内容是否为有效内容；

74、s3033：若所述说话内容为有效内容的情况下，在所述第一时间戳后添加所述目标参会人员的说话内容；

75、s3034：若所述说话内容为无效内容的情况下，所述第一时间戳更新为第二时间戳，所述第二时间戳与所述第一时间戳之间相差预设时间。

76、进一步地，在所述s3031之前，还包括：

77、在所述视频模组显示界面上显示第一控件和第二控件，所述第一控件用于在瞳孔图像和所述目标词汇与所述预设条件匹配的情况下，获取所述第一时间戳；所述第二控件用于不获取所述目标参会人员的说话内容，所述第一控件还包括第一子控件，所述第一子控件用于获取语音识别时间，接收到所述语音识别时长的所述目标参会人员的语音，通过语音识别，形成所述会议记录。

78、第二方面

79、本发明提供了一种自动可视化智慧大数据会议管理系统，包括处理器和用于存储处理器可执行指令的存储器；所述处理器被配置为调用所述存储器存储的指令，以执行第一方面中的自动可视化智慧大数据会议管理方法。

80、与现有技术相比，本发明至少具有以下有益技术效果：

81、(1)在本发明中，通过会议系统获取会议信息，在确定会场中的参会人员确实是需要参加本次会议的人员时，直接接通会议，从而避免参会人员不熟悉会议系统，或者会议系统过于繁琐不易操作，导致错过会议。在会场中的没有参会人员时，不接通会议，对于企业来说，可以节约用电，节省资源。

82、(2)在本发明中，在会议进行过程中，会议系统通过获取正在说话的参会人员对于记录会议笔记的指令，进而自动进行会议文字记录。本方案避免了参会人员手工记录会议笔记，或者在系统中手动输入，或在系统中翻找记录工具，造成的效率低下问题。此方案能够简化记录会议笔记的操作，简化操作流程，提升会议质量。

83、(3)在本发明中，通过运用深度循环神经网络的增强层，包括谱特征算法模块，时频掩码算法模块和损失模块的映射层以及能够对于增强语音进行语音分离的分离层，从而能够在繁杂的会议语音中，先消除非人声的噪声，后分离出正在讲话的参会人员的声音进行记录。

84、(4)在本发明中，在自动记录的会议文字记录中增加时间戳，在参会人员进行语音的时候，进行会议记录；在没有参会人员进行语音的时候不记录。本方案可方便用户在会后进行会议记录的查看。

技术实现思路