一种基于互联网的多应用场景的会议交互系统及方法与流程

1.本发明涉及互联网技术领域，具体涉及一种基于互联网的多应用场景的会议交互系统及方法。


背景技术：

2.随着居家办公的需求越来越多，现有的互联网会议技术通常采用远程会议的方式来提高员工在家的工作效率。
3.为了提高会议中沟通的效率，通常会采用共享屏幕的方式来展示用户发言时演讲稿的内容。但共享屏幕方式容易使用户的非会议文件同步共享出去，存在隐私泄漏的问题，因此语音会议能够避免这类情况的发生。
4.但在语音会议中，在面对大文本量的演讲稿时，发言者通常会看着演讲稿进行演讲，但参会的其他人员仅通过语音无法很好的确认发言者的说话内容在演讲稿中的位置，导致效率降低。


技术实现要素：

5.（一）解决的技术问题针对现有技术的不足，本发明提供了一种基于互联网的多应用场景的会议交互系统及方法，解决了现有的语音会议中除发言者外参会的其他人员仅通过语音无法很好的确认发言者的说话内容在演讲稿中的位置的问题。
6.（二）技术方案为实现以上目的，本发明通过以下技术方案予以实现：第一方面，提供了一种基于互联网的多应用场景的会议交互系统，包括：第一终端，第二终端以及网络服务器；所述第一终端包括：会议演讲稿上传模块、语音识别模块、注视区域识别模块、显示内容信息采集模块；所述第二终端包括：会议演讲稿获取模块，实时提示模块；所述网络服务器包括：共享数据库、文本识别模块，提示区域确定模块；所述会议演讲稿上传模块用于上传用户选择的会议演讲稿至网络服务器的共享数据库；所述文本识别模块用于获取会议演讲稿的文本信息；所述文本信息包括：段落序号、行序号以及字符信息；所述会议演讲稿获取模块用于从网络服务器的共享数据库获取从第一终端上传的会议演讲稿；所述语音识别模块用于实时识别用户发言时的在各个预设时间区间内的语音作为用户发言的字符信息；所述注视区域识别模块用于当用户打开会议演讲稿且发言时，获取第一终端的用
户的注视区域；所述显示内容信息采集模块用于当识别到用户的注视区域后，采集第一终端上的显示内容信息；所述显示内容信息包括会议演讲稿的显示区域以及第一终端的用户的注视区域；所述提示区域确定模块用于基于采集的第一终端上的显示内容信息和用户发言时的字符信息，确定第一终端的用户的发言内容在会议演讲稿中的对应位置作为提示位置，再推送给第二终端；所述实时提示模块用于基于所述提示位置，在第二终端打开会议演讲稿后，在会议演讲稿上进行实时标注并向第二终端的用户展示。
7.进一步的，所述基于采集的第一终端上的显示内容信息和用户发言时的字符信息，确定第一终端的用户的发言内容在会议演讲稿中的对应位置作为提示位置，再推送给第二终端，包括：s1、获取显示内容信息中的显示区域和注视区域；s2、对所述注视区域进行外扩，得到注视段落区域；s3、识别注视段落区域的字符信息；s4、计算所述注视段落区域的字符信息与会议演讲稿中每个段落的字符信息的第一匹配度；s5、获取会议演讲稿中第一匹配度最高的段落作为目标段落；s6、识别目标段落的字符信息；s7、计算注视区域的字符信息与目标段落的字符信息的第二匹配度；s8、获取目标段落中第二匹配度最高的行作为目标行；s9、计算用户发言的字符信息与目标行的字符信息的相同字数与目标行的总字数的比值，作为第三匹配度；若第三匹配度大于判定阈值，则将目标段落和目标行作为提示位置。
8.进一步的，所述对所述注视区域进行外扩，得到注视段落区域，包括：s2.1、计算注视区域的包围盒；s2.2、获取段落的行间距和字间距，作为标准间距；s2.3、向包围盒四周进行外扩，直至包围盒边缘的行间距和字间距大于标准间距后停止，得到注视段落区域。
9.进一步的，所述计算所述注视段落区域的字符信息与会议演讲稿中每个段落的字符信息的第一匹配度，包括：s4.1、从会议演讲稿中筛选出行数相同的段落；s4.2、从注视段落区域中随机选择n行中的前m个字符，构成第一样本矩阵；s4.3、从每个所述行数相同的段落中选择对应位置的字符，构成第一对比矩阵；s4.4、计算第一样本矩阵与各个第一对比矩阵的相同字数与第一样本矩阵的总字符数量的比值作为第一匹配度。
10.进一步的，所述计算注视区域的字符信息与目标段落的字符信息的第二匹配度，包括：s7.1、将注视区域的字符信息作为第二样本矩阵；
s7.2、按注视区域的行数对目标段落进行拆分为若干个第二对比矩阵；s7.3、计算第二样本矩阵与各个第二对比矩阵的相同字数与第一样本矩阵的总字符数量的比值作为第二匹配度。
11.第二方面，提供了一种基于互联网的多应用场景的会议交互方法，该方法包括：t1、从第一终端获取会议演讲稿；t2、获取会议演讲稿的文本信息；所述文本信息包括：段落序号、行序号以及字符信息；t3、将会议演讲稿共享至所有第二终端；t4、从第一终端实时获取用户发言的字符信息；所述用户发言的字符信息为用户发言时的在各个预设时间区间内的语音；t5、从第一终端实时获取当用户打开会议演讲稿且发言时的显示内容信息；所述显示内容信息包括当第一终端的用户打开会议演讲稿且发言时的会议演讲稿的显示区域以及第一终端的用户的注视区域；t6、基于所述显示内容信息和用户发言时的字符信息，确定第一终端的用户的发言内容在会议演讲稿中的对应位置作为提示位置，再推送给第二终端，用于在第二终端打开会议演讲稿后，在会议演讲稿上进行实时标注并向第二终端的用户展示。
12.进一步的，所述基于所述显示内容信息和用户发言时的字符信息，确定第一终端的用户的发言内容在会议演讲稿中的对应位置作为提示位置，再推送给第二终端，包括：s1、获取显示内容信息中的显示区域和注视区域；s2、对所述注视区域进行外扩，得到注视段落区域；s3、识别注视段落区域的字符信息；s4、计算所述注视段落区域的字符信息与会议演讲稿中每个段落的字符信息的第一匹配度；s5、获取会议演讲稿中第一匹配度最高的段落作为目标段落；s6、识别目标段落的字符信息；s7、计算注视区域的字符信息与目标段落的字符信息的第二匹配度；s8、获取目标段落中第二匹配度最高的行作为目标行；s9、计算用户发言的字符信息与目标行的字符信息的相同字数与目标行的总字数的比值，作为第三匹配度；若第三匹配度大于判定阈值，则将目标段落和目标行作为提示位置。
13.进一步的，所述对所述注视区域进行外扩，得到注视段落区域，包括：s2.1、计算注视区域的包围盒；s2.2、获取段落的行间距和字间距，作为标准间距；s2.3、向包围盒四周进行外扩，直至包围盒边缘的行间距和字间距大于标准间距后停止，得到注视段落区域。
14.进一步的，所述计算所述注视段落区域的字符信息与会议演讲稿中每个段落的字符信息的第一匹配度，包括：s4.1、从会议演讲稿中筛选出行数相同的段落；s4.2、从注视段落区域中随机选择n行中的前m个字符，构成第一样本矩阵；
s4.3、从每个所述行数相同的段落中选择对应位置的字符，构成第一对比矩阵；s4.4、计算第一样本矩阵与各个第一对比矩阵的相同字数与第一样本矩阵的总字符数量的比值作为第一匹配度。
15.进一步的，所述计算注视区域的字符信息与目标段落的字符信息的第二匹配度，包括：s7.1、将注视区域的字符信息作为第二样本矩阵；s7.2、按注视区域的行数对目标段落进行拆分为若干个第二对比矩阵；s7.3、计算第二样本矩阵与各个第二对比矩阵的相同字数与第一样本矩阵的总字符数量的比值作为第二匹配度。
16.（三）有益效果本发明通过语音会议来解决共享屏幕可能产生的隐私泄漏问题， 并通过第一终端在会议过程中对用户进行语音和视线的识别，得到用户发言时说出的内容与看到的内容，再基于所述显示内容信息和用户发言时的字符信息，确定第一终端的用户的发言内容在会议演讲稿中的对应位置作为提示位置，再推送给第二终端，使第二终端的用户打开会议演讲稿后，可在会议演讲稿上进行实时标注并向用户展示。因此，本发明除了可以用于普通的语音会议中，还针对需要在语音会议中进行大文本量的发言者，进行优化。使除发言者外参会的其他人员可快速确认发言者的说话内容在演讲稿中的位置，保证远程会议时沟通的效率，还不会产生隐私泄漏的问题。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例的系统框图；图2为本发明实施例的显示区域、注视区域、包围盒、注视段落区域的示意图；图3为本发明实施例的流程图。
具体实施方式
19.为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.本技术实施例通过提供一种基于互联网的多应用场景的会议交互方法和系统，解决了现有的语音会议中除发言者外参会的其他人员仅通过语音无法很好的确认发言者的说话内容在演讲稿中的位置的问题。
21.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
22.实施例1：
本发明实施例提出了一种基于互联网的多应用场景的会议交互系统，如图1所示，包括：第一终端，第二终端以及网络服务器。
23.其中，第一终端、第二终端为装有会议软件的智能设备，例如个人电脑，且第一终端为演讲稿的发言者的设备，第二终端为其他参会以人员的设备。
24.所述第一终端包括：会议演讲稿上传模块、语音识别模块、注视区域识别模块、显示内容信息采集模块；所述第二终端包括：会议演讲稿获取模块，实时提示模块；所述网络服务器包括：共享数据库、文本识别模块，提示区域确定模块；所述会议演讲稿上传模块用于上传用户选择的会议演讲稿至网络服务器的共享数据库；所述文本识别模块用于获取会议演讲稿的文本信息；所述文本信息包括：段落序号、行序号以及字符信息；所述会议演讲稿获取模块用于从网络服务器的共享数据库获取从第一终端上传的会议演讲稿；所述语音识别模块用于实时识别用户发言时的在各个预设时间区间内的语音作为用户发言的字符信息；所述注视区域识别模块用于当用户打开会议演讲稿且发言时，获取第一终端的用户的注视区域；所述显示内容信息采集模块用于当识别到用户的注视区域后，采集第一终端上的显示内容信息；所述显示内容信息包括会议演讲稿的显示区域以及第一终端的用户的注视区域；所述提示区域确定模块用于基于采集的第一终端上的显示内容信息和用户发言时的字符信息，确定第一终端的用户的发言内容在会议演讲稿中的对应位置作为提示位置，再推送给第二终端；所述实时提示模块用于基于所述提示位置，在第二终端打开会议演讲稿后，在会议演讲稿上进行实时标注并向第二终端的用户展示。
25.本发明实施例的有益效果为：本发明实施例通过语音会议来解决共享屏幕可能产生的隐私泄漏问题， 并通过第一终端在会议过程中对用户进行语音和视线的识别，得到用户发言时说出的内容与看到的内容，再基于所述显示内容信息和用户发言时的字符信息，确定第一终端的用户的发言内容在会议演讲稿中的对应位置作为提示位置，再推送给第二终端，使第二终端的用户打开会议演讲稿后，可在会议演讲稿上进行实时标注并向用户展示。因此，本发明除了可以用于普通的语音会议中，还针对需要在语音会议中进行大文本量的发言者，进行优化。使除发言者外参会的其他人员可快速确认发言者的说话内容在演讲稿中的位置，保证远程会议时沟通的效率，还不会产生隐私泄漏的问题。
26.下面对本实施例的详细实现过程进行说明：通过第一客户端的会议演讲稿上传模块上传用户选择的会议演讲稿至网络服务器的共享数据库。
27.具体的，会议演讲稿采用统一标准，例如其中的段落间距大于行间距。将会议演讲
稿上传至网络服务器后，存储至共享数据库，所有参会人员都具有该会议演讲稿的下载权限。
28.网络服务器的文本识别模块对会议演讲稿进行文本识别，获取会议演讲稿的文本信息；所述文本信息包括：段落序号、行序号以及字符信息。
29.具体的，例如一篇会议演讲稿通过现有的文本识别技术处理后，可获得每个段落的段落序号和总段落数，以及每个段落中的行序号和总行数，以及字符信息（即每行中的文字内容与排序）。
30.第二终端的会议演讲稿获取模块从网络服务器的共享数据库获取从第一终端上传的会议演讲稿；使第二终端的用户可查看会议演讲稿的原始文件。
31.在会议进行过程中，第一终端的语音识别模块通过现有的语音转文字算法实时识别用户发言时的在各个预设时间区间内的语音作为用户发言的字符信息；预设时间区间可由人工根据需要预先设定。
32.第一终端的注视区域识别模块利用现有的眼球追踪算法在用户打开会议演讲稿且发言时，获取第一终端的用户的注视区域。
33.与此同时，第一终端的显示内容信息采集模块在识别到用户的注视区域后，采集第一终端上的显示内容信息；所述显示内容信息包括会议演讲稿的显示区域以及第一终端的用户的注视区域；具体可通过对第一终端进行录屏实现显示内容信息的采集。
34.完成第一终端的显示内容信息的采集后，需要对显示内容信息进行分析，确定用户发言对应文字在演讲稿中的位置，因此，网络服务器的提示区域确定模块基于采集的第一终端上的显示内容信息和用户发言时的字符信息，确定第一终端的用户的发言内容在会议演讲稿中的对应位置作为提示位置，再推送给第二终端。
35.具体的，包括如下步骤：s1、获取显示内容信息中的显示区域和注视区域；如图2给出的示例，外围的矩形区域为会议演讲稿对应的显示区域；显示区域中的不规则区域为用户的注视区域。
36.s2、对所述注视区域进行外扩，得到注视段落区域；如图2所示，具体包括如下步骤：s2.1、计算注视区域的包围盒；即图2中外切于注视区域的虚线矩形框；s2.2、获取段落的行间距（纵向上同一段落中每行字符的空白区域的高度）和字间距（水平方向字符间的空白区域的宽度），作为标准间距；s2.3、向包围盒四周进行外扩，直至包围盒边缘的行间距和字间距大于标准间距后停止，得到注视段落区域即图2中由点线构成的矩形框。更优的是，先左右方向进行外扩，再进行上下方向进行外扩。
37.s3、识别注视段落区域的字符信息；s4、计算所述注视段落区域的字符信息与会议演讲稿中每个段落的字符信息的第一匹配度；第一匹配度可表示用户注视的短路与会议演讲稿中各个段落的相似程度，值越大，相似程度越高，具体的计算方法包括：s4.1、从会议演讲稿中筛选出行数相同的段落；
s4.2、从注视段落区域中随机选择n行中的前m个字符，构成第一样本矩阵；s4.3、从每个所述行数相同的段落中选择对应位置的字符，构成第一对比矩阵；s4.4、计算第一样本矩阵与各个第一对比矩阵的相同字数与第一样本矩阵的总字符数量的比值作为第一匹配度。
38.举例说明：假设注视段落区域共有10行，则先从会议演讲稿中筛选出行数为10的段落；再从注视段落区域中随机选择 1、3、6、10这4行中各提取出前5个字符，则可得到第一样本矩阵，可记为：其中，t
ij
表示选取的第i个行中的第j个字符，若某行的字符数小于设定，则用null字符进行填充。
39.样本矩阵确定后，即可从筛选出的段落中获取对应的第一对比矩阵，可记为：因此，矩阵中的总字符数为20，假设第一样本矩阵与某第二样本矩阵只有2个字符不一致，则可计算得到第一匹配度为0.9。
40.s5、获取会议演讲稿中第一匹配度最高的段落，表示该段落与发言者视线所见的内容最为相似，因此，可将该段落作为目标段落；进而可确定段落序号。
41.s6、识别目标段落的字符信息，可记为：其中，n为目标段落的总行数，m为每行的字符数；s7、计算注视区域的字符信息与目标段落的字符信息的第二匹配度；具体的：
s7.1、将注视区域的字符信息作为第二样本矩阵；可记为：其中，n’为注视区域的总行数，m’为每行的字符数。
42.s7.2、按注视区域的行数对目标段落进行拆分为若干个第二对比矩阵；举例说明：假设注视区域的行数为2，目标段落的行数为5；则目标段落的第1~2行可构建出第1个第二对比矩阵、第2~3行可构建出第2个第二对比矩阵、第3~4行可构建出第3个第二对比矩阵、第4~5行可构建出第4个第二对比矩阵。此时，每个第二对比矩阵中的行数均为2。
43.s7.3、计算第二样本矩阵与各个第二对比矩阵的相同字数与第一样本矩阵的总字符数量的比值作为第二匹配度。
44.s8、获取目标段落中第二匹配度最高的行，表示与注视区域所在行最为相似，因此作为目标行。
45.在确定目标段落和目标行后，还需要进一步判断用户发言内容与看的内容是否相似，因此需要计算匹配度。
46.s9、计算用户发言的字符信息与目标行的字符信息的相同字数与目标行的总字数的比值，作为第三匹配度；若第三匹配度大于判定阈值，说明用户说的内容和看的内容是一致的，因此将目标段落和目标行作为提示位置。若不大于判定阈值，则说明用户说的内容和看的内容不一致的，无法计算出提示位置。
47.其中，判定阈值为预设值，可由人工根据实际情况提前设定。
48.在每次计算出提示位置后，第二终端的实时提示模块基于网络服务器计算得到的提示位置，在第二终端打开会议演讲稿后，在会议演讲稿上进行实时标注并向第二终端的用户展示。
49.具体的，根据目标段落和目标行进行实时标注时，可采用放大字体、改变字符颜色、高亮标注等可以引导用户的操作中的一种或多种。
50.实施例2：本发明实施例提出了一种基于互联网的多应用场景的会议交互方法，参见图3，该方法包括：t1、从第一终端获取会议演讲稿；t2、获取会议演讲稿的文本信息；所述文本信息包括：段落序号、行序号以及字符信息；t3、将会议演讲稿共享至所有第二终端；t4、从第一终端实时获取用户发言的字符信息；所述用户发言的字符信息为用户发言时的在各个预设时间区间内的语音；t5、从第一终端实时获取当用户打开会议演讲稿且发言时的显示内容信息；所述
显示内容信息包括当第一终端的用户打开会议演讲稿且发言时的会议演讲稿的显示区域以及第一终端的用户的注视区域；t6、基于所述显示内容信息和用户发言时的字符信息，确定第一终端的用户的发言内容在会议演讲稿中的对应位置作为提示位置，再推送给第二终端，用于在第二终端打开会议演讲稿后，在会议演讲稿上进行实时标注并向第二终端的用户展示。
51.可理解的是，本发明实施例提供的基于互联网的多应用场景的会议交互方法与上述基于互联网的多应用场景的会议交互系统相对应，其有关内容的解释、举例、有益效果等部分可以参考基于互联网的多应用场景的会议交互系统中的相应内容，此处不再赘述。
52.综上所述，与现有技术相比，具备以下有益效果：本发明通过语音会议来解决共享屏幕可能产生的隐私泄漏问题， 并通过第一终端在会议过程中对用户进行语音和视线的识别，得到用户发言时说出的内容与看到的内容，再基于所述显示内容信息和用户发言时的字符信息，确定第一终端的用户的发言内容在会议演讲稿中的对应位置作为提示位置，再推送给第二终端，使第二终端的用户打开会议演讲稿后，可在会议演讲稿上进行实时标注并向用户展示。因此，本发明除了可以用于普通的语音会议中，还针对需要在语音会议中进行大文本量的发言者，进行优化。使除发言者外参会的其他人员可快速确认发言者的说话内容在演讲稿中的位置，保证远程会议时沟通的效率，还不会产生隐私泄漏的问题。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
53.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。