远程会议方法、数据交互方法、设备及计算机存储介质与流程

文档序号:30583232发布日期:2022-06-29 13:38阅读:161来源:国知局
远程会议方法、数据交互方法、设备及计算机存储介质与流程

1.本发明涉及通信技术领域,尤其涉及一种远程会议方法、数据交互方法、设备及计算机存储介质。


背景技术:

2.远程会议是指利用现代化的通讯手段、实现跨区域召开的会议。目前的远程会议大多在个人电脑pc端来实现,并且,由于远程会议的界面中往往会需要显示会议内容,因此,主讲人与其他人员之间缺乏人与人之间的自然交互,这样容易出现会议节奏的生硬和信息传递的折损,从而降低了会议的传递质量和效果。


技术实现要素:

3.本发明实施例提供了一种远程会议方法、数据交互方法、设备及计算机存储介质,实现了主讲人与与会人员之间能够通过眼神进行自然交互,从而使得远程会议的节奏更加真实、可靠,保证了会议信息传递的质量和效果。
4.第一方面,本发明实施例提供一种远程会议方法,包括:
5.获取参与远程会议的与会人员的眼动信息;
6.基于所述眼动信息,生成与所述远程会议相对应的交互信息;
7.基于所述交互信息执行与所述远程会议相对应的交互操作,以辅助所述远程会议的进行。
8.第二方面,本发明实施例提供一种远程会议装置,包括:
9.第一获取模块,用于获取参与远程会议的与会人员的眼动信息;
10.第一生成模块,用于基于所述眼动信息,生成与所述远程会议相对应的交互信息;
11.第一处理模块,用于基于所述交互信息执行与所述远程会议相对应的交互操作,以辅助所述远程会议的进行。
12.第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的远程会议方法。
13.第四方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第一方面中的远程会议方法。
14.第五方面,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当所述计算机程序被电子设备的处理器执行时,使所述处理器执行上述第一方面所示的远程会议方法中的步骤。
15.第六方面,本发明实施例提供了一种数据交互方法,包括:
16.获取在显示界面中所显示的待处理数据;
17.确定多个人员分别对所述待处理数据进行查看的眼动信息;
18.基于所述眼动信息,生成与所述待处理数据相对应的交互信息;
19.基于所述交互信息对所述待处理数据进行标注显示。
20.第七方面,本发明实施例提供了一种数据交互装置,包括:
21.第二获取模块,用于获取在显示界面中所显示的待处理数据;
22.第二确定模块,用于确定多个人员分别对所述待处理数据进行查看的眼动信息;
23.第二生成模块,用于基于所述眼动信息,生成与所述待处理数据相对应的交互信息;
24.第二处理模块,用于基于所述交互信息对所述待处理数据进行标注显示。
25.第八方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第六方面中的数据交互方法。
26.第九方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第六方面中的数据交互方法。
27.第十方面,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当所述计算机程序被电子设备的处理器执行时,使所述处理器执行上述第六方面所示的数据交互方法中的步骤。
28.第十一方面,本发明实施例提供一种数据交互方法,包括:
29.获取通过虚拟现实技术所生成的预设虚拟空间;
30.确定参与预设虚拟空间中各个人员所对应的眼动信息;
31.基于所述眼动信息,生成与所述预设虚拟空间相对应的交互信息;
32.基于所述交互信息执行与所述预设虚拟空间相对应的交互操作。
33.第十二方面,本发明实施例提供一种数据交互装置,包括:
34.第三获取模块,用于获取通过虚拟现实技术所生成的预设虚拟空间;
35.第三确定模块,用于确定参与预设虚拟空间中各个人员所对应的眼动信息;
36.第三生成模块,用于基于所述眼动信息,生成与所述预设虚拟空间相对应的交互信息;
37.第三处理模块,用于基于所述交互信息执行与所述预设虚拟空间相对应的交互操作。
38.第十三方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第十一方面中的数据交互方法。
39.第十四方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第十一方面中的数据交互方法。
40.第十五方面,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当所述计算机程序被电子设备的处理器执行时,使所述处理器执行上述第十一方面所示的数据交互方法中的步骤。
41.第十六方面,本发明实施例提供了一种远程会议方法,包括:
42.获取远程会议中各个与会终端的会议权限信息;
43.基于所述会议权限信息确定各个与会终端能够显示的会议数据,所述会议数据包括远程会议中需要进行展示的显示文件的至少一部分;
44.利用所述与会终端对相对应的会议数据进行显示。
45.第十七方面,本发明实施例提供了一种远程会议装置,包括:
46.第四获取模块,用于获取远程会议中各个与会终端的会议权限信息;
47.第四确定模块,用于基于所述会议权限信息确定各个与会终端能够显示的会议数据,所述会议数据包括远程会议中需要进行展示的显示文件的至少一部分;
48.第四处理模块,用于利用所述与会终端对相对应的会议数据进行显示。
49.第十八方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第十六方面中的远程会议方法。
50.第十九方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第十六方面中的远程会议方法。
51.第二十方面,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当所述计算机程序被电子设备的处理器执行时,使所述处理器执行上述第十六方面所示的远程会议方法中的步骤。
52.本实施例提供的技术方案,通过获取参与远程会议的与会人员的眼动信息,而后基于所述眼动信息生成与所述远程会议相对应的交互信息,并基于所述交互信息执行与所述远程会议相对应的交互操作,有效地实现了主讲人能够通过眼神与其他的与会人员进行自然交互操作,这样有利于使得远程会议的节奏更加自然、高效,保证了会议信息传递的质量和效果,进一步提高了该方法的实用性。
附图说明
53.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
54.图1为本发明实施例提供的一种远程会议方法的场景示意图;
55.图2为本发明实施例提供的一种远程会议方法的流程示意图;
56.图3为本发明实施例提供的基于所述眼动信息,生成与所述远程会议相对应的交互信息的流程示意图;
57.图4为本发明实施例提供的远程会议的运行模式为对话模式的示意图一;
58.图5为本发明实施例提供的远程会议的运行模式为对话模式的示意图二;
59.图6为本发明实施例提供的远程会议的运行模式为演讲模式的示意图;
60.图7为本发明实施例提供的远程会议的运行模式为讨论模式的示意图;
61.图8为本发明实施例提供的另一种远程会议方法的流程示意图;
62.图9为本发明实施例提供的标注统计信息的示意图;
63.图10为本发明实施例提供的又一种远程会议方法的流程示意图;
64.图11为本发明实施例提供的生成与所述关注热点信息相对应的交流群组的示意图;
65.图12为本发明实施例提供的还一种远程会议方法的流程示意图;
66.图13为本发明应用实施例提供的一种远程会议方法的流程示意图;
67.图14为本发明实施例提供的一种数据交互方法的流程示意图;
68.图15为本发明实施例提供的另一种数据交互方法的流程示意图;
69.图16为本发明实施例提供的另一种远程会议方法的原理示意图;
70.图17为本发明实施例提供的一种远程会议装置的结构示意图;
71.图18为与图17所示实施例提供的远程会议装置对应的电子设备的结构示意图;
72.图19为本发明实施例提供的一种数据交互装置的结构示意图;
73.图20为与图19所示实施例提供的数据交互装置对应的电子设备的结构示意图;
74.图21为本发明实施例提供的另一种数据交互装置的结构示意图;
75.图22为与图21所示实施例提供的数据交互装置对应的电子设备的结构示意图;
76.图23为本发明实施例提供的又一种远程会议装置的结构示意图;
77.图24为与图23所示实施例提供的远程会议装置对应的电子设备的结构示意图。
具体实施方式
78.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护但是不排除包含至少一种的情况。应当理解,本文中使用的术语“和/或的范围。
79.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
80.取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
81.还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
82.为了便于理解本技术中技术方案的具体实现过程和效果,下面对相关技术进行简要说明:
83.远程会议是指利用现代化的通讯手段、实现跨区域召开的会议。随着科学技术的飞速发展,为了避免因办公场地不同而导致工作效率低下的情况,远程会议成为办公的一种必备实现方式。
84.目前的远程会议大多在个人电脑pc端来实现,并且,由于远程会议的界面中往往需要显示会议内容,因此,主讲人与其他人员之间缺乏肢体语言、眼神接触和表情传递等人与人之间的自然交互,例如:主讲人无法与其他人员进行即时互动,不知道大家是否在听讲会议的内容。或者,主讲人只能通过鼠标、键盘等设备对显示会议内容进行控制或者编辑操作,例如:对显示内容进行放大缩小等显示操作,此时,在利用鼠标满屏进行移动或者点击操作时,容易造成操作忙乱的情况。
85.此外,对于与会人员而言,在向主讲人提问时,容易出现描述不清楚问题对应于显示会议内容的哪个具体位置,从而会降低沟通的质量和效率。在会议进行的过程中,会议文档需要快速演示时,与会人员容易不知道主讲人演讲到的具体位置。
86.基于上述描述可知,现有的远程会议中容易出现会议节奏的生硬和信息传递的折损,从而降低了会议的质量和效果的问题。为了解决上述技术问题,本实施例提供了一种远程会议方法、数据交互方法、设备及计算机存储介质,其中,远程会议方法的执行主体为远程会议装置,远程会议装置可以实现为手机、平板电脑、个人电脑pc、会议室设备、通过增强现实(augmented reality,简称ar)、虚拟现实(virtual reality,简称vr)或混合现实(mixed reality,简称mr)技术所实现的头戴显示设备等能够进行远程会议操作的设备。具体的,参考附图1所示:
87.远程会议装置,用于获取参与远程会议的与会人员的眼动信息,其中,每个与会人员均可以通过各自对应的远程会议装置参与远程会议,例如:与会人员各自对应的远程会议装置可以包括远程会议装置a、远程会议装置b以及远程会议装置c,上述远程会议装置a、远程会议装置b以及远程会议装置c可以通过预设网络与主讲人所对应的远程会议装置进行通信连接,预设网络可以无线网络或有线网络,从而实现了远程会议装置、远程会议装置a、远程会议装置b以及远程会议装置c能够进行同一远程会议。
88.上述的远程会议可以为真实远程会议或者虚拟远程会议,真实远程会议可以是指在现实空间中所形成的远程会议,举例来说,主讲人所对应的远程会议装置位于北京,与会人员所对应的远程会议装置a位于上海,与会人员所对应的远程会议装置b位于深圳,与会人员所对应的远程会议装置c位于广州,通过预设网络以及各个远程会议装置中的会议应用程序,可以直接生成一远程会议,在该远程会议中,主讲人所对应的远程会议装置中可以显示需要说明的会议相关数据以及各个与会人员的图像采集信息,远程会议装置a、远程会议装置b、远程会议装置c可以显示主讲人所说明的会议相关数据、主讲人的图像采集信息和/或其他与会人员的图像采集信息。
89.虚拟远程会议可以是指在虚拟空间中所形成的远程会议,在远程会议为虚拟远程会议时,此时的远程会议装置可以优选为通过ar、vr或mr技术所实现的头戴显示设备,具体的,主讲人所对应的远程会议装置位于北京,与会人员所对应的远程会议装置a位于北京或者上海,与会人员所对应的远程会议装置b位于北京或者深圳,与会人员所对应的远程会议装置c位于北京或者广州,通过预设网络以及各个远程会议装置中的会议应用程序,可以直接生成一虚拟会议室,在虚拟会议室中,可以对应生成远程会议装置所对应的虚拟主讲人以及与远程会议装置a、远程会议装置b以及远程会议装置c各自对应的虚拟与会人员。
90.为了能够保证远程会议的会议质量和效果,可以实时获取参与远程会议的与会人员的眼动信息,其中,与会人员的数量可以为一个或多个,在与会人员的数量为多个时,所
获得的眼动信息也为多个。具体的,该眼动信息可以包括眼球的运动幅度(或者运动距离)、运动方向(上、下、左、右等等)、运动类型(眨眼、闭眼等)、运动次数等等。
91.在获取到眼动信息之后,可以对眼动信息进行分析处理,以生成与远程会议相对应的交互信息,交互信息可以包括以下至少之一:用于向上移动显示数据的交互信息、用于向下移动显示数据的交互信息、用于放大显示数据的交互信息、用于标记显示数据的交互信息、用于向与会人员进行即时对话操作的交互信息等等。在获取到交互信息之后,可以基于所述交互信息执行与所述远程会议相对应的交互操作,例如:可以基于交互信息对显示数据进行调整或者基于交互信息实现主讲人与与会人员之间的对话操作,从而可以有效地辅助所述远程会议顺利、高效地进行。
92.下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合或者拆分。另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
93.图2为本发明实施例提供的一种远程会议方法的流程示意图;参考附图2所示,本实施例提供了一种远程会议方法,该方法的执行主体可以为远程会议装置,该远程会议装置可以实现为软件、或者软件和硬件的组合,具体的,在远程会议装置实现为硬件时,其具体可以是具有显示屏和眼动追踪装置的各种电子设备,包括但不限于智能手机、平板电脑、个人电脑pc、会议室显示设备、通过增强现实(augmented reality,简称ar)、虚拟现实(virtual reality,简称vr)或混合现实(mixed reality,简称mr)技术所实现的头戴显示设备等等。当远程会议装置实现为软件时,其可以安装在上述所例举的电子设备中。基于上述的远程会议装置,本实施例中的远程会议方法可以包括以下步骤:
94.步骤s201:获取参与远程会议的与会人员的眼动信息。
95.步骤s202:基于眼动信息,生成与远程会议相对应的交互信息。
96.步骤s203:基于交互信息执行与远程会议相对应的交互操作,以辅助远程会议的进行。
97.下面对上述各个步骤的具体实现过程和实现效果进行详细说明:
98.步骤s201:获取参与远程会议的与会人员的眼动信息。
99.为了能够保证远程会议的会议质量和效果,可以实时获取参与远程会议的与会人员的眼动信息,其中,与会人员的数量可以为一个或多个,在与会人员的数量为多个时,所获得的眼动信息也为多个。该眼动信息用于表征用户在面对预设界面时,用户眼球的动作记录,其具体可以包括眼球的运动幅度(或者运动距离)、运动路径、运动方向(上、下、左、右等等)、运动类型(眨眼、闭眼等)、运动次数、在预设区域的停留时长、眼睛凝视角信息等等。具体的,眼动信息可以通过眼动仪和/或图像采集装置连续捕捉并记录用户的眼球动作得到,例如:通过眼动仪和图像采集装置可以捕捉到眼睛的注视动作、眼跳动作和追随动作以及各种动作的空间信息和时间信息等等。
100.举例1,远程会议装置上配置有一个或多个图像采集装置,在远程会议装置为会议室显示设备时,由于会议室显示设备所对应的用户可以为一个或多个,为了能够实现对多个用户各自的眼动信息进行准确获取,远程会议装置上可以设置有多个图像采集装置,多个图像采集装置可以均匀分布在远程会议装置的周围。当远程会议装置将显示界面呈现给用户之后,可以通过自身配置的图像采集装置(一个或多个),并利用眼动追踪技术捕获、记
录各个用户的眼动信息,从而可以获得参与远程会议的与会人员的眼动信息。
101.举例2,远程会议装置上配置有一个或多个眼动仪,在远程会议装置为智能手机、平板电脑、个人电脑pc时,由于上述会议室显示设备所对应的用户可以通常为一个,为了能够实现对用户的眼动信息进行准确获取,远程会议装置上可以设置有一个或多个眼动仪,在眼动仪为多个时,多个眼动仪可以均匀分布在远程会议装置的周围。当远程会议装置将显示界面呈现给用户之后,可以通过自身配置的眼动仪(一个或多个),并利用眼动追踪技术捕获、记录用户的眼动信息,从而可以获得参与远程会议的与会人员的眼动信息。
102.步骤s202:基于眼动信息,生成与远程会议相对应的交互信息。
103.由于眼动信息包括眼球的运动幅度、运动路径、运动方向(上、下、左、右等等)、运动类型(眨眼、闭眼等)、运动次数、在预设区域的停留时长、眼睛凝视角信息等信息,而不同的眼动信息可以对应有不同的交互信息,例如:在眼动信息为眼球的向上运动、且运动幅度大于预设阈值时,则可以生成用于实现向上移动显示数据的交互信息;在眼动信息包括在预设区域的停留时长、且停留时长大于或等于预设阈值时,则可以生成用于实现对显示数据进行标记操作的交互信息、或者生成用于实现和与会人员进行即时沟通的交互信息等等。因此,为了能够准确地辅助远程会议正常、高效的进行,在获取到眼动信息之后,可以对眼动信息进行分析处理,以生成与远程会议相对应的交互信息。在一些实例中,预先配置有眼动信息与交互信息之间的映射关系,在获取到眼动信息之后,可以先通过访问预设区域获取到预先存储的映射关系,而后基于眼动信息和映射关系生成与远程会议相对应的交互信息,从而有效地实现了能够快速、准确地生成交互信息。
104.步骤s203:基于交互信息执行与远程会议相对应的交互操作,以辅助远程会议的进行。
105.在生成与远程会议相对应的交互信息之后,可以基于交互信息执行与远程会议相对应的交互操作,例如:在交互信息为用于实现对显示数据进行标记操作的交互信息,则可以基于上述的交互信息对显示数据进行标记操作;在交互信息为用于实现和与会人员进行即时沟通的交互信息时,则可以基于交互信息实现主讲人和与会人员进行即时沟通等等,从而有效地实现了能够稳定、有效地辅助远程会议的正常进行。
106.在又一些实例中,为了能够提高远程会议的安全可靠性,在获取参与远程会议的与会人员的眼动信息之前,还包括:获取参与远程会议的与会人员的身份信息;基于身份信息对与会人员进行身份认证、权限验证操作,从而确定与会人员是否为参与远程会议的合法人员,在与会人员为合法人员时,则可以基于身份信息确定与会人员的权限信息,不同的权限信息可以对应有不同的会议显示数据;在与会人员为非法人员时,则可以禁止与会人员参与远程会议。
107.具体的,为了能够准确地实现不同权限的与会人员可以查看与权限相匹配的数据,本实施例中的方法还可以包括:获取远程会议中各个与会终端的会议权限信息;基于所述会议权限信息确定各个与会终端能够显示的会议数据,所述会议数据包括远程会议中需要进行展示的显示文件的至少一部分;利用所述与会终端对相对应的会议数据进行显示。
108.其中,基于所述会议权限信息确定各个与会终端能够显示的会议数据可以包括:在所述显示文件中,基于所述会议权限信息确定各个与会终端所对应的权限内数据和权限外数据;对所述权限外数据进行处理,获得不能被查看的处理后数据;基于所述处理后数据
和权限内数据,获得各个与会终端能够显示的会议数据。
109.本实施例提供的远程会议方法,通过获取参与远程会议的与会人员的眼动信息,而后基于眼动信息生成与远程会议相对应的交互信息,并基于交互信息执行与远程会议相对应的交互操作,有效地实现了主讲人能够通过眼神与其他的与会人员进行自然交互操作,这样有利于使得远程会议的节奏更加自然、高效,保证了会议信息传递的质量和效果,进一步提高了该方法的实用性。
110.图3为本发明实施例提供的基于眼动信息,生成与远程会议相对应的交互信息的流程示意图;除了基于预先配置的眼动信息与交互信息之间的映射关系来生成与远程会议相对应的交互信息之外,还存在其他的生成交互信息的实现方式,具体的,参考附图3所示,本实施例的基于眼动信息,生成与远程会议相对应的交互信息可以包括:
111.步骤s301:确定远程会议的运行模式。
112.其中,在利用远程会议装置生成远程会议时,所生成的远程会议可以对应有不同的运行模式,在一些实例中,运行模式可以包括以下任意之一:演讲模式、讨论模式、对话模式等等。具体的,当远程会议处于演讲模式时,此时,远程会议中允许发声的人员可以是主讲人,其他与会人员则禁止发声,并且,主讲人所对应的远程会议装置的显示界面中可以显示与会议相关的信息(文档信息、图像信息、视频信息等等)以及各个与会人员的图像信息,具体的,在显示界面的中部可以显示会议相关信息,在显示界面的上端、下端、左端或者右端可以显示各个与会人员的图像采集信息,可以理解的是,在与会人员的数量较多时,各个与会人员的图像信息的显示尺寸相对较小;在与会人员的数量较少时,各个与会人员的图像信息的显示尺寸相对较大。相类似的,与会人员所对应的远程会议装置的显示界面中也可以显示与会议相关的信息以及主讲人的图像采集信息,有效地实现了在进行远程会议的过程中,主讲人能够通过远程会议装置与各个与会人员进行眼神交流,这样有利于提升会议传递的质量和效果。
113.在远程会议处于讨论模式时,远程会议中允许发声的人员可以包括主讲人和/或其他与会人员,且允许发声的人员数量可以为两个或两个以上,以实现讨论操作。具体实现时,主讲人所对应的显示界面中可以显示与会议相关的信息以及各个与会人员的图像采集信息,具体的,需要进行讨论的主讲人和与会人员可以在界面的上半部分进行显示,在界面的下半部分显示会议相关的信息;或者,在界面的上半部分显示会议相关的信息,在界面的下半部分显示进行讨论的主讲人和与会人员,这样可以由于讨论对象可以突出显示,从而可以使得讨论操作更加高效。
114.并且,在显示与会议相关的信息时,为了能够提高讨论质量和效率,在所显示的会议相关信息中,并能够基于眼动信息对讨论的至少部分内容进行标记显示,例如:高亮显示、加重显示、图标显示等等,这样能够使得主讲人和各个与会人员更加直接、快速地定位正在进行讨论的内容,从而实现在进行远程会议的过程中需要进行讨论时,能够及时、有效地进行高效讨论,从而提升会议的质量和效果。
115.在远程会议处于对话模式时,远程会议的允许发声的人员可以包括主讲人和/或其他与会人员,且允许发声的人员数量为两个或两个以上,以实现讨论操作。具体实现时,主讲人所对应的显示界面中可以显示需要进行对话的各个与会人员的图像采集信息,并不需要显示与会议相关的数据,此时,主讲人能够通过远程会议装置与各个与会人员进行眼
神交流。相类似的,正在参与对话的与会人员所对应的显示界面中可以显示主讲人的图像采集信息,未参与对话的与会人员所对应的显示界面中可以显示各个与会人员以及主讲人的图像采集信息,并能够对进行对话操作的与会人员和主讲人的图像采集信息进行标记显示,有效地实现了在进行远程会议的过程中,需要进行对话操作时,能够即时、有效地进行高效对话,有利于提升会议的质量和效果。
116.需要注意的是,远程会议的运行模式并不限于上述所例举的各个模式,本领域技术人员可以根据具体的应用场景或者应用需求进行任意配置,例如:远程会议的运行模式可以包括自由模式,远程会议的显示界面中可以自由切换显示与会议相关的内容或者发言人的图像采集信息,不同的发言人可以对应有不同的图像采集信息等等,在此不再赘述。
117.在进行远程会议时,由于远程会议的不同运行模式具有不同的会议效果,因此,为了能够保证远程会议的高效进行,可以先确定远程会议的运行模式,在一些实例中,远程会议的运行模式可以是基于主讲人的模式选择操作进行确定的,具体的,在进行远程会议之前,主讲人所对应的远程会议装置的显示界面可以显示远程会议所能够实现的运行模式控件,例如:演讲模式控件、对话模式控件、讨论模式控件等等,而后获取用户对上述各个运行模式控件所输入的选择操作,基于选择操作来确定远程会议的当前运行模式,例如;在获取到用户针对演讲模式控件所输入的选择操作时,则可以确定远程会议的当前运行模式为演讲模式。
118.在另一些实例中,远程会议的运行模式可以是基于主讲人对远程会议的声音配置操作或者远程会议的默认声音配置操作自动确定的,此时,确定远程会议的运行模式,包括:获取参与远程会议的各个与会人员所对应的声音配置信息;基于声音配置信息,确定远程会议的运行模式。
119.具体的,由于远程会议的运行模式可以与声音配置信息相关,因此,为了能够准确地确定远程会议的运行模式,在进行远程会议之前,可以先获取各个与会人员(包括:主讲人以及其他与会人员)所对应的声音配置信息,该声音配置信息可以是基于主讲人的声音配置操作所生成的,例如:在主讲人将远程会议中能够进行发声的人员数量限定为1个、2个或多个(2个以上)时,则可以获得相对应的声音配置信息;或者,声音配置信息可以是基于默认配置操作所生成的,例如:默认配置远程会议中允许主讲人进行发声、禁止其他人员进行发声的声音配置信息、默认配置远程会议中允许所有人进行发生的声音配置信息等等。
120.在获取到各个与会人员所对应的声音配置信息之后,可以对各个与会人员所对应的声音配置信息进行分析处理,以确定远程会议的运行模式。在一些实例中,预先配置有各个与会人员所对应的声音配置信息与远程会议的运行模式之间的映射关系,基于映射关系和声音配置信息即可确定远程会议的运行模式。举例来说,当获取到的声音配置信息用于标识在预设时间段内能够进行发声的人员数量为1个时,则可以确定远程会议的运行模式为演讲模式;当获取到的声音配置信息用于标识在预设时间段内能够进行发声的人员数量为2个时,则可以确定远程会议的运行模式为对话模式;当获取到的声音配置信息用于标识在预设时间段内能够进行发声的人员数量为2个以上时,则可以确定远程会议的运行模式为讨论模式。
121.在另一些实例中,由于远程会议中往往会存在显示文件,而不同的运行模式对于显示文件的显示需求不同,因此,远程会议的运行模式不仅与声音配置信息相关,还可以与
显示文件的不同显示需求相关,为了能够准确地确定远程会议的运行模式,本实施例中的基于声音配置信息,确定远程会议的运行模式可以包括:检测远程会议中是否存在显示文件;基于显示文件的检测结果和声音配置信息,确定远程会议的运行模式。
122.在进行远程会议之前,若主讲人存在需要进行展示的显示文件时,则可以将显示文件上传至远程会议装置,或者通过访问预设区域获取到显示文件,以能够通过显示界面对显示文件进行显示;若主讲人不存在需要进行展示的显示文件时,则无需将显示文件上传至远程会议装置。此时,为了能够准确地确定远程会议的运行模式,可以检测远程会议中是否存在显示文件,而后可以对显示文件的检测结果和声音配置信息进行分析处理,以确定远程会议的运行模式。
123.其中,基于显示文件的检测结果和声音配置信息,确定远程会议的运行模式可以包括:基于声音配置信息,统计在预设时间段内能够进行语音交互操作的人员数量;在检测结果为存在显示文件,且人员数量为一个时,则确定运行模式为演讲模式;在检测结果为存在显示文件,且人员数量为至少两个时,则确定运行模式为讨论模式;在检测结果为不存在显示文件,且人员数量为至少两个时,则确定运行模式为对话模式。
124.具体的,由于各个与会人员所对应的声音配置信息能够标识各个与会人员能否进行发声或者语音交互操作,因此,在获取到各个与会人员所对应的声音配置信息之后,基于声音配置信息统计在预设时间段内能够进行语音交互操作的人员数量,而后可以综合显示文件的检测结果和所统计的在预设时间段内能够进行语音交互操作的人员数量来确定远程会议的运行模式。
125.举例来说,在检测结果为存在显示文件,且人员数量为一个时,由于允许进行语音交互操作的人员数量仅为1个,此时,往往是主讲人来对会议内容进行说明,因此可以确定运行模式为演讲模式。在检测结果为存在显示文件,且人员数量为至少两个时,由于允许进行语音交互操作的人员数量为至少两个,此时可以包括主讲人与其他与会人员之间进行交流,进而可以确定运行模式为讨论模式。在检测结果为不存在显示文件,且人员数量为至少两个时,由于远程会议的显示界面中并不存在显示文件,此时可以确定主要是主讲人与其他人员直接进行沟通的场景,进而可以确定运行模式为对话模式。
126.步骤s302:基于眼动信息和运行模式,生成与远程会议相对应的交互信息。
127.由于在远程会议处于不同的运行模式时,同一眼动信息可以生成不同的交互信息,因此,在确定远程会议的运行模式之后,可以对眼动信息和运行模式进行分析处理,以生成与远程会议相对应的交互信息。
128.在一些实例中,基于眼动信息和运行模式,生成与远程会议相对应的交互信息可以包括:在运行模式为对话模式时,基于眼动信息生成与远程会议中的与会人员相对应的对话交互信息,对话交互信息用于确定在远程会议中即将与主讲人进行对话的目标与会人员。
129.具体的,在运行模式为对话模式时,由于此时的远程会议的界面中往往没有显示文件,即仅需显示各个与会人员的图像采集信息,如图4所示,当主讲人为1人,与会人员为8人时,在主讲人的显示界面中,则可以均匀显示8个与会人员的图像采集信息。此时,在获取到主讲人的眼动信息之后,由于此时的眼动信息主要用于确定在远程会议中即将与主讲人进行对话的目标与会人员,因此,可以基于眼动信息生成用于实现主讲人和与会人员之间
进行对话操作的对话交互信息。
130.举例来说,在主讲人在查看远程会议的界面时,可以实时获取主讲人的眼动信息,在眼动信息为停留在预设位置超过预设时长,则可以将预设位置所对应的与会人员可以确定目标与会人员,而后则可以生成与目标与会人员相对应的对话交互信息,该对话交互信息用于确定目标与会人员。
131.在另一些实例中,为了能够保证远程会议在对话模式下的顺利进行,该远程会议装置中还可以包括语音识别装置,通过语音识别装置获取主讲人的语音信息,基于语音信息和眼动信息生成用于实现主讲人与参与远程会议的与会人员之间进行对话操作的对话交互信息,这样可以进一步提高对话交互信息生成的准确率。
132.举例1,参考附图4所示,在进行远程会议的过程中,可以实时获取主讲人的眼动信息和语音信息,当基于主讲人的眼动信息可以确定主讲人停留在页面上部的时间超过预设时长,且基于主讲人的语音信息“请这位同学介绍一下自己”时,则可以基于上述的眼动信息和语音信息确定进行对话操作的目标与会人员,因此,可以生成用于确定目标与会人员的对话交互信息,而后可以基于对话交互信息生成对话提示信息,该对话提示信息仅与目标与会人员相关,其他会与人员所对应的远程会议装置并不会接收到上述的对话提示信息。
133.在交互信息为对话交互信息时,基于交互信息执行与远程会议相对应的交互操作可以包括:基于对话交互信息确定在远程会议中即将与主讲人进行对话的目标与会人员;生成与目标与会人员的对话提示信息,以使得目标与会人员基于对话提示信息与主讲人进行对话。
134.在获取到对话交互信息之后,可以基于对话交互信息确定在远程会议中即将与主讲人进行对话的目标与会人员,为了能够使得目标与会人员可以及时了解到主讲人想要与自己进行对话的意图,可以生成与目标与会人员相对应的对话提示信息,该对话提示信息可以包括以下至少之一:突出显示头像框的信息、生成用于与主讲人进行对话操作的弹窗提示信息等等,上述的对话提示信息可以发送至目标与会人员的远程会议装置中,以使得目标与会人员的远程会议装置中可以显示对话提示信息,进而目标与会人员可以基于对话提示信息与主讲人进行对话操作。
135.举例2,参考附图5所示,在目标与会人员获取到对话提示信息之后,目标与会人员则可以基于对话提示信息了解到主讲人想要与其进行对话,此时,为了能够进一步提高主讲人与各个与会人员进行更加自然的眼神交流,在主讲人的显示界面以及其他各个与会人员的显示界面中,可以将主讲人与目标对话人员进行突出显示,即将主讲人与目标对话人员在界面的中部进行放大显示,其他与会人员进行缩小显示。
136.当目标对话人员与主讲人完成对话操作时,则可以退出目标人员与主讲人之间的突出显示模式,使得主讲人的显示界面恢复至平均显示各个与会人员的头像,这样便于进行下一次的对话操作。
137.上述实现方式中,通过将远程会议配置在对话模式,而后检测主讲人的眼动信息,可以有效地基于眼动信息确定主讲人是否在关注某一个与会人员,若主讲人正在关注某一个与会人员,则控制所关注的与会人员的显示界面收到与交互反馈,从而使得需要进行对话的双方完成了“眼神交流”,自然地建立会议中的对话关系,这样可以有效地解决现有技
术中所存在的由于远程视频缺乏人与人之间的直接接触而导致混淆沟通对象的情况,尤其是在陌生场景(如:新生见面会、无法直呼其名)中,进一步提高了该远程会议方法运行的稳定可靠性。
138.需要注意的是,由于远程会议的运行模式除了对话模式之外,还可以包括演讲模式或者讨论模式,而不同的运行模式可以对应有不同的交互信息的生成方式,因此,本实施例中的另一种基于眼动信息和运行模式,生成与远程会议相对应的交互信息的实现方式可以包括:在运行模式为演讲模式或者讨论模式时,基于眼动信息生成与远程会议中的显示文件相对应的标注交互信息。
139.其中,在远程会议处于演讲模式时,由于主讲人的演讲内容会发生变化,因此,为了能够使得与会人员及时了解到演讲的进度,在运行模式为演讲模式或者讨论模式时,可以获取主讲人和/或各个与会人员所对应的眼动信息,而后可以基于眼动信息生成与远程会议中显示文件相对应的标注交互信息,需要注意的是,主讲人的眼动信息所对应的标注交互信息和各个与会人员的眼动信息所对应的标注交互信息可以不同,具体的,主讲人所对应的标注交互信息主要用于对显示文件的主讲内容进行标注;各个与会人员所对应的标注交互信息主要用于对显示文件中的特定内容进行标注,以表示与会人员对上述特定内容感兴趣或者存在疑问等等。
140.承接上述内容,在交互信息为标注交互信息时,基于交互信息执行与远程会议相对应的交互操作可以包括:基于标注交互信息对显示文件进行标注显示。具体的,基于标注交互信息对显示文件进行标注显示可以包括:确定与眼动信息相对应的与会人员的会议身份;在会议身份为主讲人时,则基于标注交互信息对显示文件中与会议进度相关的数据进行动态标注和/或动态显示;在会议身份为听讲人时,则基于标注交互信息对显示文件中的感兴趣数据进行标注。
141.对于参与远程会议的各个与会人员而言,每个与会人员可以对应有会议身份标识,基于会议身份标识可以确定与眼动信息相对应的与会人员的会议身份,例如:在与会人员为主讲人时,在远程会议的显示界面中可以显示主讲人的身份标识;在与会人员为听讲人时,在远程会议的显示界面中可以显示听讲人身份标识。在确定与眼动信息相对应的与会人员的会议身份之后,可以基于各个与会人员各自对应的会议身份和标注交互信息进行相对应的交互操作,具体的,在会议身份为主讲人时,则基于标注交互信息对显示文件中与会议进度相关的数据进行动态标注和/或动态显示,其中,与会议进度相关的数据进行动态标注可以包括高亮显示、放大显示、特定颜色显示等等,对与会议进度相关的数据进行动态显示可以包括:上下滑动显示、放大显示、缩小显示等操作;在会议身份为听讲人时,则基于标注交互信息对显示文件中的感兴趣数据进行标注。
142.举例3,参考附图6所示,当远程会议处于演讲模式时,主讲人所对应的显示界面中可以显示各个与会人员的图像采集信息以及与会议相关的显示文件,当主讲人演讲到显示文件的第一行数据时,则可以对第一行数据进行高亮显示;当主讲人演讲到显示文件的第三行数据时,则可以对第三行数据进行高亮显示,从而有效地实现了在需要通过远程会议演示相关文件时,可以基于演讲者的眼动信息(视线位置)对显示文件中的数据进行动态标注,进而让与会人员能够实时了解演会议的进度,并保持高度专注。
143.此外,主讲人还能够使用眼动信息与显示文件的数据进行交互操作,具体的,在主
讲人的眼动信息为向上移动时,则可以对显示文件进行自动的上滑操作,在主讲人的眼动信息为向下移动时,则可以对显示文件进行自动的下滑操作;在主讲人的眼动信息为关注预设位置超过预设时长时,则可以对显示文件中预设位置的数据进行放大显示等等,从而实现了主讲人能够通过眼动信息与显示文件进行自动、自然的交互编辑操作,避免了在利用鼠标或者键盘对显示文件进行调整操作时所出现的操作频繁且忙碌的情况出现。
144.相类似的,在与会人员为听讲人时,可以获取听讲人的眼动信息,当眼动信息用于标识听讲人对显示文件中的某一数据的关注时长高于预设时长时,则可以基于听讲人的眼动信息生成标注交互信息,而后可以基于标注交互信息对显示文件中的感兴趣数据(即为上述被关注的数据)进行标注。
145.需要注意的是,为了能够准确地基于标注交互信息对显示文件中与会议进度相关的数据进行动态标注和/或动态显示,除了获取到主讲人的眼动信息之外,还可以获取主讲人的语音信息,结合语音信息和眼动信息生成标注交互信息,而后可以基于所生成的标注交互信息对显示文件中与语音信息相关的数据进行动态标注和/或动态显示。
146.举例4,参考附图7所示,当远程会议处于讨论模式时,由于此时远程会议中能够进行语音交互操作的与会人员的数量为两个或两个以上,并且由于远程会议的显示界面还需要对显示文件进行显示,因此,为了提高讨论的质量和效率,可以基于各个与会人员的眼动信息生成相对应的标注交互信息,而后可以基于标注交互信息对显示文件中的预设数据进行标注显示操作,此时,显示文件中的标注显示数据的数量可以为多个。
147.在一些实例中,为了能够区分出不同的与会人员所对应的显示数据不同,在对显示数据进行标注时,可以附带有各个与会人员所对应的图像信息,以作为身份标识,这样使得参与会议的各个人员可以直观地获知到各个与会人员所关注的显示数据,而后可以基于各个标注的显示数据进行交互显示,这样有效地实现了在远程会议中能够基于特定数据进行快速、可靠地讨论操作。
148.需要注意的是,为了能够准确地基于标注交互信息对显示文件中的预设数据进行标记显示,除了获取到听讲人的眼动信息之外,还可以获取听讲人的语音信息,结合语音信息和眼动信息生成标注交互信息,而后可以基于所生成的标注交互信息对显示文件中与语音信息相关的特定数据进行标注显示。
149.在上述实现方式中,在远程会议中的各个与会人员之间能够进行快速、准确地讨论操作,并且,参与讨论操作的各个人员之间能够通过眼神信息对显示文件中的某个位置数据进行针对性的讨论,其他与会人员能够直观地定位到正在讨论的文件位置,从而有效地省略了用语言描述位置的解释成本或者手动标记位置的执行成本。
150.本实施例中,通过确定远程会议的运行模式,而后基于眼动信息和运行模式生成与远程会议相对应的交互信息,有效地保证了对交互信息进行生成的质量和效率,进一步提高了远程会议的开会质量和效果。
151.图8为本发明实施例提供的另一种远程会议方法的流程示意图;在上述实施例的基础上,参考附图8所示,当与会人员的会议身份为听讲人时,在基于标注交互信息对显示文件中的感兴趣数据进行标注之后,本实施例中的方法还可以包括:
152.步骤s801:对所有听讲人的标注交互信息进行统计,获得标注统计信息。
153.由于远程会议的会议传输质量和效果与听讲人的状态息息相关,为了能够提高远
程会议的会议传输质量和效果,在基于标注交互信息对显示文件中的感兴趣数据进行标注之后,可以对所有听讲人的标注交互信息进行统计,从而与会人员获得标注统计信息,如图9所示,标注统计信息可以包括以下至少之一:显示文件中所对应的标注交互信息的数量、标注交互信息所对应的显示数据位置、标注交互信息所对应的与会人员的身份标识等等。
154.步骤s802:基于标注统计信息,确定主讲人的会议主持状态。
155.其中,主讲人的会议主持状态可以包括:满足预期状态(会议主持状态良好)、不满足预期状态(会议主持状态较差)等等,而由于不同的标注统计信息可以对应有不同的会议主持状态,因此,在获取到标注统计信息之后,可以对标注统计信息进行分析处理,以确定主讲人的会议主持状态。在一些实例中,基于标注统计信息,确定主讲人的会议主持状态可以包括:获取用于对会议主持状态进行分析处理的机器学习模型,上述机器学习模型被训练为用于基于标注统计信息来确定主讲人的会议主持状态,在获取到标注统计信息之后,可以将标注统计信息输入机器学习模型中,从而可以获得机器学习模型所输出的会议主持状态。
156.在另一些实例中,基于标注统计信息,确定主讲人的会议主持状态可以包括:在标注统计信息小于预设数量时,则确定主讲人所对应的会议主持状态不满足预期状态;在标注统计信息大于或等于预设数量时,则确定主讲人所对应的会议主持状态满足预期状态。
157.具体的,预先配置有用于对标注统计信息(主要是指:显示文件中所对应的标注交互信息的数量)进行分析处理的预设数量,在获取到标注统计信息之后,可以将标注统计信息与预设数量进行分析比较,在标注统计信息小于预设数量时,则说明在主讲人主持远程会议的过程中,听讲人对会议内容的关注点较少,此时,可以侧面证明主讲人所主持的远程会议的质量和效果较差,进而可以确定主讲人所对应的会议主持状态不满足预期状态。在标注统计信息大于或等于预设数量时,则说明在主讲人主持远程会议的过程中,听讲人对会议内容的关注点较多,此时,可以侧面证明主讲人所主持的远程会议的质量和效果较好,进而可以确定主讲人所对应的会议主持状态满足预期状态。
158.此外,在获取到标注统计信息之后,还可以对标注统计信息进行显示,以通过屏幕中的头像标签的数量和集中程度,了解与会人员对于主讲内容或者特定问题的关注热度,从而可以营造激烈的讨论氛围,这样有利于提升远程会议的质量和效果。
159.步骤s803:在会议主持状态不满足预期状态时,则生成与主讲人所对应的调整提示信息。
160.具体的,确定会议主持状态不满足预期状态时,为了能够提高远程会议的质量和效果,可以生成与主讲人所对应的调整提示信息,该调整提示信息用于提示主讲人对远程会议的主持模式、主讲风格进行调整,以提升远程会议的会议质量和效果。
161.需要注意的是,本实施例中的方法还可以包括:在会议主持状态满足预期状态时,则无需生成与主讲人所对应的调整提示信息,即使得主讲人可以保持当前远程会议状态的主持状态。
162.本实施例中,通过对所有听讲人的标注交互信息进行统计,获得标注统计信息,而后基于标注统计信息确定主讲人的会议主持状态,在会议主持状态不满足预期状态时,则生成与主讲人所对应的调整提示信息,这样有效地实现了在远程会议的主持状态较差时,可以提醒主讲人及时地对主讲风格、主讲模式进行调整,以提升远程会议的质量和效果,进
一步提高了该远程会议方法的实用性。
163.图10为本发明实施例提供的又一种远程会议方法的流程示意图;在上述实施例的基础上,参考附图10所示,在获取到标注统计信息、且标注统计信息大于或等于预设数量之后,本实施例中的方法还可以包括:
164.步骤s1001:基于标注统计信息,确定所有听讲人所对应的关注热点信息。
165.在对所有听讲人的标注交互信息进行统计,获得标注统计信息之后,可以对标注统计信息进行分析处理,以确定所有听讲人所对应的关注热点信息,在一些实例中,基于标注统计信息,确定所有听讲人所对应的关注热点信息可以包括:基于标注统计信息确定显示文件中所对应的标注交互信息的数量和标注交互信息所对应的显示数据位置;当位于预设区域内的标注交互信息的数量大于或等于预设数量,则可以将预设区域内的数据确定为大部分听讲人所对应的关注热点信息,从而有效地保证了对关注热点信息进行确定的准确可靠性。
166.步骤s1002:基于关注热点信息,生成交互提示信息,交互提示信息用于提示用户是否基于标注统计信息生成与关注热点信息相对应的交流群组。
167.在获取到关注热点信息之后,可以对关注热点信息进行分析处理,以生成交互提示信息,该交互提示信息用于提示用户是否基于标注统计信息生成与关注热点信息相对应的交流群组。该交互提示信息可以为弹窗提示信息,弹窗提示信息中可以包括用于提示用户基于标注统计信息生成与关注热点信息相对应的交流群组的“确认控件”、用于提示用户无需基于标注统计信息生成与关注热点信息相对应的交流群组的“取消控件”。
168.步骤s1003:响应于对交互提示信息的确认信息,生成与关注热点信息相对应的交流群组。
169.在用户针对交互提示信息中的“确认控件”输入执行操作时,则获取到用户对交互提示信息的确认信息,而后则可以基于确认信息生成与关注热点信息相对应的交流群组,该交流群组中可以包括与关注热点信息相对应的所有与会人员信息。举例来说,参考附图11所示,在远程会议中的显示文件中的某一位置对应有三个标注交互信息时,则说明上述显示文件位置所对应的数据为关注热点信息,在获取到用户对交互提示信息的确认信息之后,则可以基于确认信息生成与上述关注热点信息相对应的交流群组,此时的交流群组中可以包括与上述关注热点信息相对应的与会人员以及主讲人员,在交流群组中,与会人员和主讲人员可以针对关注热点信息进行快速、有效地交互操作。
170.此外,本实施例中的方法还可以包括:在用户针对交互提示信息中的“取消控件”输入执行操作时,则获取到用户对交互提示信息的取消信息,此时无需生成与关注热点信息相对应的交流群组,从而有效地实现了可以基于用户需求来灵活地确定是否需要建立交流群组。
171.本实施例中,基于标注统计信息确定所有听讲人所对应的关注热点信息,而后基于关注热点信息生成交互提示信息,并响应于对交互提示信息的确认信息,生成与关注热点信息相对应的交流群组,从而有效地实现了在确定关注热点信息之后,则可以基于关注热点信息生成交流群组,这样能够快速、有效地对关注热点信息进行集中、有针对性的沟通交流操作,从而可以提高远程会议的传输质量和效率。
172.图12为本发明实施例提供的还一种远程会议方法的流程示意图;在上述任意一个
实施例的基础上,参考附图12所示,本实施例中的远程会议方法不仅能够实现在各个运行模式中进行交互操作,还能够实现各个运行模式之间的切换操作,此时,本实施例中的基于眼动信息和运行模式,生成与远程会议相对应的交互信息可以包括:
173.步骤s1201:在运行模式为第一模式时,获取语音信息。
174.其中,第一模式可以为以下任意之一:演讲模式、对话模式、讨论模式;在运行模式为第一模式时,可以获取语音信息,此时的语音信息可以是主讲人所发送的语音信息,也可以是与会人员所发送的语音信息。在语音信息是主讲人所发送的语音信息时,该语音信息可以为“将远程会议的运行模式调整为第二模式”、“请某某同学来讲一下自己的看法”等等;在语音信息是与会人员所发送的语音信息时,该语音信息可以为“对于某某位置而言,我认为......”等等。
175.步骤s1202:基于语音信息和眼动信息,生成与远程会议相对应的模式切换信息。
176.在获取到语音信息和眼动信息之后,可以对语音信息和眼动信息进行分析处理,以生成与远程会议相对应的模式切换信息,该模式切换信息用于将远程会议由第一模式切换为第二模式,其中,第二模式可以为与第一模式不同的其他运行模式。
177.步骤s1203:基于模式切换信息将远程会议由第一模式切换为第二模式。
178.在获取到模式切换信息之后,可以对模式切换信息进行分析处理,以基于模式切换信息将远程会议由第一模式切换为第二模式,从而有效地实现了对远程会议的运行模式进行灵活的切换操作。
179.举例1,远程会议的运行模式可以通过主讲人的控制进行切换,在远程会议的当前运行模式为演讲模式时,若获取到主讲人的语音信息,例如:语音信息为“将远程会议的运行模式切换为对话模式或者讨论模式”或者“请某某同学讲讲自己的看法”,则可以基于上述的语音信息和眼动信息,生成与远程会议相对应的模式切换信息,而后可以基于模式切换信息将远程会议由演讲模式切换为对话模式或者讨论模式。
180.举例2,远程会议的运行模式可以通过与会人员的语音信息进行自动切换,在远程会议的当前运行模式为演讲模式时,在预设时间段内,获取到多个与会人员的语音信息,在同时获得两个与会人员的语音信息时,则可以将远程会议的当前运行模式由演讲模式切换为对话模式;在同时获得多个与会人眼的语音信息时,则可以将远程会议的当前运行模式由演讲模式切换为讨论模式,从而有效地实现了远程会议在不同运行模式之间进行自动有效地切换操作。
181.本实施例中,在远程会议的运行模式为第一模式时,通过获取语音信息,而后可以基于语音信息和眼动信息生成与远程会议相对应的模式切换信息,并基于模式切换信息将远程会议由第一模式切换为第二模式,从而有效地实现了对远程会议的运行模式进行自动或者主动地模式切换操作,进一步提高了远程会议方法使用的灵活可靠性。
182.具体应用时,本应用实施例提供了一种远程会议方法,该方法能够基于眼动追踪技术实现远程会议的信息交互方法,并能够在多种不同的远程会议模式下,让与会者能够进行更自然的人机交互操作,具体实现时,用于实现上述远程会议方法的执行主体可以为基于ar/vr技术所实现的头戴显示设备,也可应用于传动的客户端。
183.以远程会议具有演讲模式、讨论模式和对话模式为例,其中,演讲模式用于实现视线标识的动态引导,讨论模式用于实现多人标识聚焦讨论热区,对话模式用于实现注视唤
起对话关系,参考附图13所示,上述的远程会议方法可以包括如下步骤:
184.步骤1:通过多个远程会议室构成远程会议室(可以为虚拟会议室),而后各个与会人员可以进入虚拟会议室。
185.步骤2:对参会者进行身份识别,并编号。
186.步骤3:通过声音或者环境因素的分析,识别会议的场景模式,例如:演讲模式、对话模式或者讨论模式。
187.步骤4:通过眼动识别技术,实时定位一个或多个“发言人”的视线位置(即为眼动信息)。
188.步骤5:视线所在的位置,将在视频会议界面标注基于角色的交互标识,或者触发某菜单功能(如唤起沟通对象)。
189.本应用实施例提供的技术方案,不仅使得主讲人能够和与会人员之间基于眼动信息进行自然的交互操作,并且还能够使得远程会议的节奏更加自然、灵活、可靠,这样有效地保证了会议信息传递的质量和效果,进一步提高了该方法的实用性。
190.图14为本发明实施例提供的一种数据交互方法的流程示意图;参考附图14所示,本实施例提供了一种数据交互方法,该方法的执行主体可以为数据交互装置,该数据交互装置可以实现为软件、或者软件和硬件的组合,具体的,在数据交互装置为硬件时,其具体可以是具有显示屏和眼动追踪装置的各种电子设备,包括但不限于智能手机、平板电脑、个人电脑pc、会议室显示设备、基于xr技术所实现的头戴显示设备等等。当数据交互装置实现为软件时,其可以安装在上述所例举的电子设备中。本实施例中的数据交互方法可以包括以下步骤:
191.步骤s1401:获取在显示界面中所显示的待处理数据。
192.其中,待处理数据可以包括以下至少之一:图像数据、设计数据、研发数据、消费倾向调查数据等等,上述的待处理数据可以是用户上传至数据交互装置的,从而使得数据交互装置可以获取到需要进行显示的待处理数据;或者,上述的待处理数据可以存储在预设区域中,通过访问预设区域即可获取到需要进行显示的待处理数据。
193.在获取到待处理数据之后,可以将待处理数据在显示界面中进行显示,以使得所有能够查看到显示界面的人员可以基于所显示的待处理数据进行数据交互操作。
194.步骤s1402:确定多个人员分别对待处理数据进行查看的眼动信息。
195.在获取到待处理数据,并对待处理数据进行显示之后,可以确定多个人员分别对待处理数据进行查看的眼动信息,其中,眼动信息的具体获取方式与上述实施例中步骤s201的实现方式相类似,在此不再赘述。
196.步骤s1403:基于眼动信息,生成与待处理数据相对应的交互信息。
197.其中,基于眼动信息,生成与待处理数据相对应的交互信息可以包括:在待处理数据中,基于眼动信息确定各个人员所对应的感兴趣数据;生成各个人员所对应的感兴趣数据相对应的标注交互信息,标注交互信息用于对感兴趣数据进行标注显示。
198.具体的,本实施例中上述步骤的实现方式与上述实施例中步骤s202和步骤s302的实现方式相类似,具体可参考上述陈述内容,在此不再赘述。
199.步骤s1404:基于交互信息对待处理数据进行标注显示。
200.具体的,本实施例中上述步骤的实现方式与上述实施例中步骤s203的实现方式相
类似,具体可参考上述陈述内容,在此不再赘述。
201.举例1,在待处理数据为需要进行分析处理的设计数据或者研发数据时,在获取到上述的设计数据或者研发数据之后,可以通过显示界面对设计数据或者研发数据进行显示,其中,显示界面可以是指在多个数据交互装置所共享的显示界面,即在多个数据交互装置各自对应的显示界面中均可以显示有上述的设计数据或者研发数据。
202.在用户通过数据交互装置的显示界面查看设计数据或者研发数据时,可以通过数据交互装置上的眼动追踪装置获取到各个人员查看设计数据或者研发数据所对应的眼动信息,该眼动信息可以包括:眼球的运动幅度(或者运动距离)、运动路径、运动方向(上、下、左、右等等)、运动类型(眨眼、闭眼等)、运动次数、在预设区域的停留时长、眼睛凝视角信息等等。
203.在获取到各个人员的眼动信息之后,可以对眼动信息进行分析处理,从而可以确定各个人员所对应的感兴趣数据,感兴趣数据可以为设计数据或者研发数据中的部分数据,需要注意的是,一个人员所对应的感兴趣数据的数量可以为一个或多个,而后可以生成与待处理数据中感兴趣数据相对应的交互信息。例如:在设计数据为车辆设计数据时,用户甲所对应的感兴趣数据可以为车头部分数据,用户乙所对应的感兴趣数据可以为车窗部分数据,用户丙所对应的感兴趣数据可以为车灯部分数据等等。
204.在生成上述交互信息之后,可以基于交互信息对待处理数据进行标注显示,主要是针对各个用户各自对应的感兴趣数据进行标注,这样便于使得所有查看设计数据或者研发数据的人员了解到其他用户所对应的感兴趣部分,而后便于基于所标注出来的感兴趣部分进行沟通讨论,例如:用户甲认为车头部分数据的参数不合适,需要进行适当修改;用户乙认为车窗部分数据的尺寸需要进行调整,用户丙认为车灯部分数据中的轮廓需要进行调整等等,这样有效地提高了对设计数据或者研发数据进行沟通、讨论的质量和效率,进一步提高了该数据交互方法的实用性。
205.举例2,在待处理数据为需要进行分析处理的图像数据(例如:广告图、宣传图等等)或者消费倾向调查数据(某一平台所对应的待交易物品所对应的电子数据,例如:所建立的某一超市所对应的待交易物品模型)时,在获取到上述的图像数据或者消费倾向调查数据之后,可以通过显示界面对图像数据或者消费倾向调查数据进行显示,其中,显示界面可以是指在多个数据交互装置所共享的显示界面,即在多个数据交互装置各自对应的显示界面中均可以显示有上述的图像数据或者消费倾向调查数据。
206.在用户通过数据交互装置的显示界面查看图像数据或者消费倾向调查数据时,可以通过数据交互装置上的眼动追踪装置获取到各个人员查看设计数据或者研发数据所对应的眼动信息,该眼动信息可以包括:眼球的运动幅度(或者运动距离)、运动路径、运动方向(上、下、左、右等等)、运动类型(眨眼、闭眼等)、运动次数、在预设区域的停留时长、眼睛凝视角信息等等。
207.在获取到各个人员的眼动信息之后,可以对眼动信息进行分析处理,从而可以确定各个人员所对应的感兴趣部分,感兴趣部分可以为图像数据或者消费倾向调查数据中的部分数据,需要注意的是,一个人员所对应的感兴趣数据的数量可以为一个或多个,而后可以生成与感兴趣部分相对应的交互信息。例如:在图像数据为广告图像时,基于用户甲的眼动信息可以确定用户甲所对应的感兴趣部分可以为图像上半部分,基于用户乙的眼动信息
reality,简称ar)、虚拟现实(virtual reality,简称vr)、混合现实(mixed reality,简称mr)、影像现实(cinematic reality,简称cr)等多种形式,换句话说,xr其实是一个总称,具体包括ar、vr、mr、cr。简单来说,xr可分为多个层次,并能够通过有限传感器输入的虚拟世界到完全沉浸式的虚拟世界。
215.为了能够实现数据交互操作,在用户需要进行数据交互操作时,可以先利用虚拟现实技术和相关数据生成预设虚拟空间,从而可以获得通过虚拟现实技术所生成的预设虚拟空间,在一些实例中,预设虚拟空间可以为预设虚拟会议室或者预设游戏空间等等。
216.步骤s1502:确定参与预设虚拟空间中各个人员所对应的眼动信息。
217.其中,在预设虚拟空间中可以包括两个或两个以上的人员,为了能够实现数据交互操作,可以确定参与预设虚拟空间中各个人员所对应的眼动信息,本实施例中的参与预设虚拟空间中各个人员所对应的眼动信息的具体获取方式与上述实施例中步骤s201的实现方式相类似,具体可参考上述陈述内容,在此不再赘述。
218.步骤s1503:基于眼动信息,生成与预设虚拟空间相对应的交互信息。
219.步骤s1504:基于交互信息执行与预设虚拟空间相对应的交互操作。
220.本实施例中步骤s1503-步骤s1504的具体实现过程和实现效果与上述实施例中步骤s202-步骤s203的具体实现过程和实现效果相类似,具体可参考上述陈述内容,在此不再赘述。
221.举例来说,在预设虚拟空间为通过vr技术所实现的游戏空间时,此时的数据交互装置可以实现为通过vr技术所实现的头戴显示设备,用户可以通过头戴显示设备中所包括的眼动追踪装置获取到用户的眼动信息,而后可以基于眼动信息生成在游戏空间中的交互信息,该交互信息可以包括:切换游戏空间的场景信息、对游戏空间中所显示的界面进行响应操作的信息、对游戏空间中的虚拟物品进行交互操作的信息等等。在获取到用户的交互信息之后,可以基于交互信息执行与预设虚拟空间相对应的交互操作,进而实现了通过眼动信息在预设虚拟空间进行有效地交互操作,进一步提高了该方法的实用性。
222.本实施例中所提供的数据交互方法,通过获取利用虚拟现实技术所生成的预设虚拟空间,确定参与预设虚拟空间中各个人员所对应的眼动信息,而后基于眼动信息生成与预设虚拟空间相对应的交互信息,并基于交互信息执行与预设虚拟空间相对应的交互操作,从而有效地实现了能够根据在预设虚拟空间中的人员各自的眼动信息进行交互操作,并且还能够使得对预设虚拟空间进行交互的节奏更加灵活、可靠,这样有效地保证了数据交互方法的质量和效果,进一步提高了该方法的实用性。
223.图16为本发明实施例提供的另一种远程会议方法的原理示意图;参考附图16所示,本实施例提供了另一种远程会议方法,该方法的执行主体可以为远程会议装置,该远程会议装置可以实现为软件、或者软件和硬件的组合,具体的,在远程会议装置实现为硬件时,其具体可以是具有显示屏和眼动追踪装置的各种电子设备,包括但不限于智能手机、平板电脑、个人电脑pc、会议室显示设备、通过增强现实(augmented reality,简称ar)、虚拟现实(virtual reality,简称vr)或混合现实(mixed reality,简称mr)技术所实现的头戴显示设备等等。当远程会议装置实现为软件时,其可以安装在上述所例举的电子设备中。基于上述的远程会议装置,本实施例中的远程会议方法可以包括以下步骤:
224.步骤s1601:获取远程会议中各个与会终端的会议权限信息。
225.其中,远程会议中可以包括多个不同的与会终端,对于会议中的不同与会终端而言,不同的与会终端可以对应有不同的会议权限信息,而上述的会议权限信息可以直接影响到与会终端的显示数据,因此,为了能够保证数据显示的安全可靠性,在进行一远程会议时,可以获取远程会议中包括的所有与会终端,而后确定各个与会终端的会议权限信息,该会议权限信息用于标识与会终端所对应的数据显示权限。
226.具体的,本实施例对于获取远程会议中各个与会终端的会议权限信息的具体实现方式不做限定,本领域技术人员可以根据具体的应用场景或者应用需求进行设置,在一些实例中,预先配置有用户身份与会议权限信息之间的映射关系,在用户通过与会终端接入到远程会议时,可以获取各个与会终端所对应的用户身份,具体的,可以在与会终端进入远程会议之前,对与会终端所对应的用户进行身份认证操作,例如:让用户输入用户名称、会议密码等等,在获取到用户身份之后,可以基于用户身份和映射关系来确定远程会议中各个与会终端所对应的会议权限信息。
227.举例来说,主讲人所对应的与会终端通过预设网络可以连接多个其他与会终端,以其他与会终端包括:与会终端a、与会终端b、与会终端c为例进行说明,其中,与会终端a对应于用户甲,与会终端b对应于用户乙,与会终端c对应于用户丙。在多个其他与会终端通过预设网络接入与会终端所主持的远程会议之前,可以分别向各个与会终端进行身份识别操作,具体可以在各个与会终端的显示界面中显示用于验证各个与会人员的权限的弹窗信息,该弹窗信息可以获取各个与会人员的身份信息、远程会议的入会密码等信息。
228.在获取到各个与会人员的身份信息之后,可以基于各个与会人员的身份信息来确定各个与会终端所对应的会议权限信息,例如:基于用户甲的身份信息可以确定与会终端a的会议权限信息为会议权限1,该会议权限1的权限较高;基于用户乙的身份信息可以确定与会终端b的会议权限信息为会议权限2,该会议权限2的权限低于会议权限1的权限;基于用户丙的身份信息可以确定与会终端c的会议权限信息为会议权限3,会议权限3的权限低于会议权限2的权限。
229.步骤s1602:基于会议权限信息确定各个与会终端能够显示的会议数据,会议数据包括远程会议中需要进行展示的显示文件的至少一部分。
230.其中,由于不同的会议权限信息可以对应有不同的数据显示权限,因此,为了能够使得在各个与会终端中显示所对应权限的相关数据,在获取到远程会议中各个与会终端的会议权限信息之后,可以对会议权限信息进行分析处理,以确定各个与会终端能够显示的会议数据,其中,会议数据包括远程会议中需要进行展示的显示文件的至少一部分,并且,会议数据可以包括以下至少之一:二维显示数据、三维显示数据等等。
231.在一些实例中,基于会议权限信息确定各个与会终端能够显示的会议数据可以包括:获取远程会议中需要进行展示的显示文件各个部分所对应的文件显示权限;确定与会议权限信息相对应的目标文件显示权限;在显示文件中,将小于或等于目标文件显示权限的所有数据确定为各个与会终端能够显示的会议数据,此时的会议数据仅包括与各个与会终端的会议权限信息相对应的数据,并不包括其他数据,这样有效地实现了能够基于不同的会议权限信息确定与会终端能够显示的会议数据,保证了对会议数据进行确定的准确可靠性。
232.在另一些实例中,基于会议权限信息确定各个与会终端能够显示的会议数据可以
包括:在显示文件中,基于会议权限信息确定各个与会终端所对应的权限内数据和权限外数据;对权限外数据进行处理,获得不能被查看的处理后数据;基于处理后数据和权限内数据,获得各个与会终端能够显示的会议数据。
233.具体的,为了能够准确地获取到各个与会终端能够显示的会议数据,可以先获取远程会议中需要进行展示的显示文件,对于显示文件中的数据而言,不同的数据可以对应有不同的会议权限信息,因此,在获取到会议权限信息之后,可以基于会议权限信息来确定各个与会终端所对应的权限内数据和权限外数据,其中,权限内数据可以是指小于或等于会议权限信息所对应的数据,权限外数据可以是指大于会议权限信息所对应的数据。可以理解的是,对于同一个显示文件而言,不同的会议权限信息可以对应有不同的权限内数据和权限外数据,一般情况下,会议权限信息的优先级越高(例如:会议权限信息为会议权限1),则所对应的权限内数据越多、权限外数据越少,会议权限信息的优先级越低(例如:会议权限信息为会议权限3),则所对应的权限内数据越少、权限外数据越多。
234.在获取到权限内数据和权限外数据之后,由于权限外数据并不能在所对应的会议终端的显示界面上进行显示,因此,为了能够实现具有不同的会议权限信息的与会终端显示所对应权限的数据,而不会显示任何权限外的数据,在获取到权限外数据之后,可以对权限外数据进行处理,具体的,可以对权限外数据进行编码处理、加密处理、删除处理等操作,从而可以获得不能被查看的处理后数据。在获取到处理后数据之后,可以对处理后数据和权限内数据进行拼接或者组合处理,从而可以获得各个与会终端所能够显示的会议数据。
235.举例来说,在主讲人需要进行一个项目汇报操作时,由于此项目包括多个部门,而不同的部门分别负责管理项目的不同部分,为了能够避免不同的部门之间的进度和信息相互影响,因此,不同的部门可以配置有不同的会议权限信息。
236.在主讲人与各个部门的负责人举行远程会议时,则可以基于各个部门的负责人的身份信息确定负责人所对应的与会终端所对应的会议权限信息,例如;第一个部门的负责人所对应的与会终端为与会终端a、第二个部门的负责人所对应的与会终端为与会终端b、第三个部门的负责人所对应的与会终端为与会终端c,通过分析可以确定与会终端a所对应的会议权限信息为会议权限1,与会终端b的会议权限信息为会议权限2,与会终端c的会议权限信息为会议权限3。
237.由于会议权限3的权限低于会议权限2的权限,会议权限2的权限低于会议权限1的权限,而后可以基于会议权限1的权限可以确定与会终端a能够进行显示的数据为整个显示文件,基于会议权限2的权限可以确定与会终端b能够进行显示的数据为部分的显示文件,基于会议权限3的权限可以确定与会终端c能够进行显示的数据为更少部分的显示文件,从而有效地实现了能够准确地基于会议权限信息确定各个与会终端能够显示的会议数据。
238.步骤s1603:利用与会终端对相对应的会议数据进行显示。
239.在获取到各个与会终端所能够显示的会议数据之后,可以利用与会终端对相对应的会议数据进行显示,从而有效地实现了不同权限的用户可以通过与会终端看到和用户权限相匹配的会议数据,进而可以有效地避免对会议数据进行泄露的风险,保证了会议数据显示的安全可靠性。
240.在一些实例中,在与会终端需要进行显示的会议数据由权限内数据和处理后数据所构成时,在对会议数据进行显示时,为了能够准确地区分权限内数据和处理后数据,可以
对处理后数据所对应的部分添加不能进行显示的标识信息,该标识信息可以为“上锁图标”、“xx标识”等等,从而使得用于可以通过所显示的标识信息直观地获知到当前展示的显示文档中,存在与用户权限不匹配的其他数据。
241.需要注意的是,本实施例中的方法还可以包括上述图1-图13所示实施例的方法,本实施例未详细描述的部分,可参考对图1-图13所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图13所示实施例中的描述,在此不再赘述。
242.本实施例提供的远程会议方法,通过获取远程会议中各个与会终端的会议权限信息,而后基于会议权限信息确定各个与会终端能够显示的会议数据,并利用与会终端对相对应的会议数据进行显示,从而有效地实现了能够使得各个与会终端只能显示与会议权限信息相匹配的会议数据,这样不仅保证了数据显示的安全保密性,并且还避免了数据泄露的风险,进一步提高了远程会议的安全可靠性。
243.图17为本发明实施例提供的一种远程会议装置的结构示意图;参考附图17所示,本实施例提供了一种远程会议装置,该远程会议装置用于执行上述图2所示的远程会议方法,具体的,该远程会议装置可以包括:
244.第一获取模块11,用于获取参与远程会议的与会人员的眼动信息;
245.第一生成模块12,用于基于眼动信息,生成与远程会议相对应的交互信息;
246.第一处理模块13,用于基于交互信息执行与远程会议相对应的交互操作,以辅助远程会议的进行。
247.在一些实例中,在第一生成模块12基于眼动信息,生成与远程会议相对应的交互信息时,该第一生成模块12用于执行:确定远程会议的运行模式;基于眼动信息和运行模式,生成与远程会议相对应的交互信息。
248.在一些实例中,在第一生成模块12确定远程会议的运行模式时,该第一生成模块12用于执行:获取参与远程会议的各个与会人员所对应的声音配置信息;基于声音配置信息,确定远程会议的运行模式。
249.在一些实例中,在第一生成模块12基于声音配置信息,确定远程会议的运行模式时,该第一生成模块12用于执行:检测远程会议中是否存在显示文件;基于显示文件的检测结果和声音配置信息,确定远程会议的运行模式。
250.在一些实例中,在第一生成模块12基于显示文件的检测结果和声音配置信息,确定远程会议的运行模式时,该第一生成模块12用于执行:基于声音配置信息,统计在预设时间段内能够进行语音交互操作的人员数量;在检测结果为存在显示文件,且人员数量为一个时,则确定运行模式为演讲模式;在检测结果为存在显示文件,且人员数量为至少两个时,则确定运行模式为讨论模式;在检测结果为不存在显示文件,且人员数量为至少两个时,则确定运行模式为对话模式。
251.在一些实例中,在第一生成模块12基于眼动信息和运行模式,生成与远程会议相对应的交互信息时,该第一生成模块12用于执行:在运行模式为对话模式时,基于眼动信息生成与远程会议中的与会人员相对应的对话交互信息,对话交互信息用于确定在远程会议中即将与主讲人进行对话的目标与会人员;
252.此时,在第一处理模块13基于交互信息执行与远程会议相对应的交互操作时,该第一处理模块13用于执行:基于对话交互信息确定在远程会议中即将与主讲人进行对话的
目标与会人员;生成与目标与会人员的对话提示信息,以使得目标与会人员基于对话提示信息与主讲人进行对话。
253.在一些实例中,在第一生成模块12基于眼动信息和运行模式,生成与远程会议相对应的交互信息时,该第一生成模块12用于执行:在运行模式为演讲模式或者讨论模式时,基于眼动信息生成与远程会议中的显示文件相对应的标注交互信息;
254.在第一处理模块13基于交互信息执行与远程会议相对应的交互操作时,该第一处理模块13用于执行:基于标注交互信息对显示文件进行标注显示。
255.在一些实例中,在第一处理模块13基于标注交互信息对显示文件进行标注显示时,该第一处理模块13用于执行:确定与眼动信息相对应的与会人员的会议身份;在会议身份为主讲人时,则基于标注交互信息对显示文件中与会议进度相关的数据进行动态标注和/或动态显示;在会议身份为听讲人时,则基于标注交互信息对显示文件中的感兴趣数据进行标注。
256.在一些实例中,在基于标注交互信息对显示文件中的感兴趣数据进行标注之后,本实施例中的第一获取模块11、第一处理模块13用于执行以下步骤:
257.第一获取模块11,用于对所有听讲人的标注交互信息进行统计,获得标注统计信息;
258.第一处理模块13,用于基于标注统计信息,确定主讲人的会议主持状态;在会议主持状态不满足预期状态时,则生成与主讲人所对应的调整提示信息。
259.在一些实例中,在第一处理模块13基于标注统计信息,确定主讲人的会议主持状态时,该第一处理模块13用于执行:在标注统计信息小于预设数量时,则确定主讲人所对应的会议主持状态不满足预期状态;在标注统计信息大于或等于预设数量时,则确定主讲人所对应的会议主持状态满足预期状态。
260.在一些实例中,在标注统计信息大于或等于预设数量之后,本实施例中的第一处理模块13用于执行:基于标注统计信息,确定所有听讲人所对应的关注热点信息;基于关注热点信息,生成交互提示信息,交互提示信息用于提示用户是否基于标注统计信息生成与关注热点信息相对应的交流群组;响应于对交互提示信息的确认信息,生成与关注热点信息相对应的交流群组。
261.在一些实例中,在第一生成模块12基于眼动信息和运行模式,生成与远程会议相对应的交互信息时,该第一生成模块12用于执行:在运行模式为第一模式时,获取语音信息;基于语音信息和眼动信息,生成与远程会议相对应的模式切换信息;基于模式切换信息将远程会议由第一模式切换为第二模式。
262.图17所示装置可以执行图1-图13所示实施例的方法,本实施例未详细描述的部分,可参考对图1-图13所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图13所示实施例中的描述,在此不再赘述。
263.在一个可能的设计中,图17所示远程会议装置的结构可实现为一电子设备,该电子设备可以是智能手机、平板电脑、个人电脑pc、会议室显示设备等各种设备。如图18所示,该电子设备可以包括:第一处理器21和第一存储器22。其中,第一存储器22用于存储相对应电子设备执行上述图1-图13所示实施例中远程会议方法的程序,第一处理器21被配置为用于执行第一存储器22中存储的程序。
264.程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第一处理器21执行时能够实现如下步骤:获取参与远程会议的与会人员的眼动信息;基于眼动信息,生成与远程会议相对应的交互信息;基于交互信息执行与远程会议相对应的交互操作,以辅助远程会议的进行。
265.进一步的,第一处理器21还用于执行前述图1-图13所示实施例中的全部或部分步骤。
266.其中,电子设备的结构中还可以包括第一通信接口23,用于电子设备与其他设备或通信网络通信。
267.另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1-图13所示方法实施例中远程会议方法所涉及的程序。
268.此外,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当计算机程序被电子设备的处理器执行时,使处理器执行上述图1-图13所示的远程会议方法中的步骤。
269.图19为本发明实施例提供的一种数据交互装置的结构示意图;参考附图19所示,本实施例提供了一种数据交互装置,该数据交互装置用于执行上述图14所示的数据交互方法,具体的,该数据交互装置可以包括:
270.第二获取模块31,用于获取在显示界面中所显示的待处理数据;
271.第二确定模块32,用于确定多个人员分别对待处理数据进行查看的眼动信息;
272.第二生成模块33,用于基于眼动信息,生成与待处理数据相对应的交互信息;
273.第二处理模块34,用于基于交互信息对待处理数据进行标注显示。
274.在一些实例中,在第二生成模块33基于眼动信息,生成与待处理数据相对应的交互信息时,该第二生成模块33用于执行:在待处理数据中,基于眼动信息确定各个人员所对应的感兴趣数据;生成各个人员所对应的感兴趣数据相对应的标注交互信息,标注交互信息用于对感兴趣数据进行标注显示。
275.图19所示装置可以执行图14所示实施例的方法,本实施例未详细描述的部分,可参考对图14所示实施例的相关说明。该技术方案的执行过程和技术效果参见图14所示实施例中的描述,在此不再赘述。
276.在一个可能的设计中,图19所示数据交互装置的结构可实现为一电子设备,该电子设备可以是智能手机、平板电脑、个人电脑pc、会议室显示设备、基于xr技术所实现的头戴显示设备等各种设备。如图20所示,该电子设备可以包括:第二处理器41和第二存储器42。其中,第二存储器42用于存储相对应电子设备执行上述图14所示实施例中数据交互方法的程序,第二处理器41被配置为用于执行第二存储器42中存储的程序。
277.程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第二处理器41执行时能够实现如下步骤:获取在显示界面中所显示的待处理数据;确定多个人员分别对待处理数据进行查看的眼动信息;基于眼动信息,生成与待处理数据相对应的交互信息;基于交互信息对待处理数据进行标注显示。
278.进一步的,第二处理器41还用于执行前述图14所示实施例中的全部或部分步骤。
279.其中,电子设备的结构中还可以包括第二通信接口43,用于电子设备与其他设备
或通信网络通信。
280.另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图14所示方法实施例中数据交互方法所涉及的程序。
281.此外,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当计算机程序被电子设备的处理器执行时,使处理器执行上述图14所示的数据交互方法中的步骤。
282.图21为本发明实施例提供的另一种数据交互装置的结构示意图;参考附图21所示,本实施例提供了另一种数据交互装置,该数据交互装置用于执行上述图15所示的数据交互方法,具体的,该数据交互装置可以包括:
283.第三获取模块51,用于获取通过虚拟现实技术所生成的预设虚拟空间;
284.第三确定模块52,用于确定参与预设虚拟空间中各个人员所对应的眼动信息;
285.第三生成模块53,用于基于眼动信息,生成与预设虚拟空间相对应的交互信息;
286.第三处理模块54,用于基于交互信息执行与预设虚拟空间相对应的交互操作。
287.图21所示装置可以执行图15所示实施例的方法,本实施例未详细描述的部分,可参考对图15所示实施例的相关说明。该技术方案的执行过程和技术效果参见图15所示实施例中的描述,在此不再赘述。
288.在一个可能的设计中,图21所示数据交互装置的结构可实现为一电子设备,该电子设备可以是可穿戴设备,可穿戴设备可以为:基于增强现实(augmented reality,简称ar)的头戴显示设备、基于虚拟现实(virtual reality,简称vr)或混合现实(mixed reality,简称mr的头戴显示设备、基于(hybrid reality,简称hr)或影像现实(cinematic reality,简称cr)的头戴显示设备。如图22所示,该电子设备可以包括:第三处理器61和第三存储器62。其中,第三存储器62用于存储相对应电子设备执行上述图22所示实施例中数据交互方法的程序,第三处理器61被配置为用于执行第三存储器62中存储的程序。
289.程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第三处理器61执行时能够实现如下步骤:获取通过虚拟现实技术所生成的预设虚拟空间;确定参与预设虚拟空间中各个人员所对应的眼动信息;基于眼动信息,生成与预设虚拟空间相对应的交互信息;基于交互信息执行与预设虚拟空间相对应的交互操作。
290.进一步的,第三处理器61还用于执行前述图15所示实施例中的全部或部分步骤。
291.其中,电子设备的结构中还可以包括第三通信接口63,用于电子设备与其他设备或通信网络通信。
292.另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图15所示方法实施例中数据交互方法所涉及的程序。
293.此外,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当计算机程序被电子设备的处理器执行时,使处理器执行上述图15所示的数据交互方法中的步骤。
294.图23为本发明实施例提供的又一种远程会议装置的结构示意图;参考附图23所示,本实施例提供了又一种远程会议装置,该远程会议装置用于执行上述图16所示的远程会议方法,具体的,该远程会议装置可以包括:
295.第四获取模块71,用于获取远程会议中各个与会终端的会议权限信息;
296.第四确定模块72,用于基于会议权限信息确定各个与会终端能够显示的会议数据,会议数据包括远程会议中需要进行展示的显示文件的至少一部分;
297.第四处理模块73,用于利用与会终端对相对应的会议数据进行显示。
298.在一些实例中,在第四确定模块72基于会议权限信息确定各个与会终端能够显示的会议数据时,该第四确定模块72可以用于执行:在显示文件中,基于会议权限信息确定各个与会终端所对应的权限内数据和权限外数据;对权限外数据进行处理,获得不能被查看的处理后数据;基于处理后数据和权限内数据,获得各个与会终端能够显示的会议数据。
299.图23所示装置可以执行图16所示实施例的方法,本实施例未详细描述的部分,可参考对图16所示实施例的相关说明。该技术方案的执行过程和技术效果参见图16所示实施例中的描述,在此不再赘述。
300.在一个可能的设计中,图23所示远程会议装置的结构可实现为一电子设备,该电子设备可以是智能手机、平板电脑、个人电脑pc、会议室显示设备等各种设备。如图24所示,该电子设备可以包括:第四处理器81和第四存储器82。其中,第四存储器82用于存储相对应电子设备执行上述图16所示实施例中远程会议方法的程序,第四处理器81被配置为用于执行第四存储器82中存储的程序。
301.程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第四处理器81执行时能够实现如下步骤:获取远程会议中各个与会终端的会议权限信息;基于会议权限信息确定各个与会终端能够显示的会议数据,会议数据包括远程会议中需要进行展示的显示文件的至少一部分;利用与会终端对相对应的会议数据进行显示。
302.进一步的,第四处理器81还用于执行前述图16所示实施例中的全部或部分步骤。
303.其中,电子设备的结构中还可以包括第四通信接口83,用于电子设备与其他设备或通信网络通信。
304.另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图16所示方法实施例中远程会议方法所涉及的程序。
305.此外,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当计算机程序被电子设备的处理器执行时,使处理器执行上述图16所示的远程会议方法中的步骤。
306.以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
307.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
308.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机
器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
309.这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
310.这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
311.在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
312.内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
313.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
314.最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1