一种视频会议实现方法、装置、系统及计算机存储介质与流程

文档序号:16149849发布日期:2018-12-05 17:21阅读:220来源:国知局

本发明涉及视频会议技术,具体涉及一种视频会议实现方法、装置、系统及计算机存储介质。

背景技术

目前,为了提高异地会议的会议效果,很多公司倾向于采用视频会议取代电话会议,所述视频会议,也被称为电视会议、视讯会议,是指位于两个或多个不同地点的参会用户,通过摄像设备、通信设备、视频播放设备和网络,进行相互能看到对方人像视频的近似于面对面交谈的会议。通常,视频会议可以通过专业的视频软件如云屋视频会议系统实现。

随着技术的进步和科技的不断发展,出现了一种将真实世界信息和虚拟世界信息无缝集成的新技术,称为增强现实技术(augmentedreality,ar)。所谓ar技术是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3d模型的技术,不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加,这种技术的目标是把虚拟世界套在现实世界并进行互动。现在,ar技术被越来越多的人关注,也慢慢开始在一些领域中应用。

由于视频会议系统利用局端设备和终端设备,实现多点之间的视频通话,已经在企业、事业单位和政府机关得到广泛应用,越来越多的视频会议使用者希望其他参会者“来到”自己的现实环境中,大家进行面对面交流,而不仅仅是透过电视屏幕看到对方。因此,将ar技术应用于视频会议系统中的需求也就应运而生。

现有技术中,在视频会议系统使用ar技术的方法是:获取第一会场的三维影像;通过ar技术将获取的所述三维影像显示给第二会场的用户。但是,基于这种ar技术的视频会议系统存在一定的局限性,所述局限性在于,这种实现方法只能支持两个会场之间简单的三维场景互显示,无法在多个会场之间使用视频会议系统;因此,如果有多个会场,现有技术则无法实现某一参会者同时与所有参与者通过视频会议系统开会。



技术实现要素:

为解决现有存在的技术问题,本发明实施例期望提供一种视频会议实现方法、装置、系统及计算机存储介质,能在多个会场之间实现基于ar技术的视频会议。

本发明实施例的技术方案是这样实现的:

本发明实施例提供了一种视频会议实现方法,所述方法包括:

获取各个会场中每个参会用户采集的会场视频以及各个会场中每个参会用户的人像视频;

根据预设合成方案,将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频;

将所述虚拟视频分别发送到每个参会用户的播放设备上。

优选地,所述获取各个会场中每个参会用户采集的会场视频以及所述参会用户的人像视频,包括:

通过各个会场的会场控制终端,实时获取各个会场中每个参会用户视线范围内的会场视频,并实时获取每个参会用户正面的人像视频。

优选地,所述实时获取各个会场中每个参会用户视线范围内的会场视频,包括:

实时获取各个会场中佩戴于每个参会用户的第一摄像设备摄制的参会用户视线范围内的会场视频;

所述实时获取每个参会用户正面的人像视频,包括:

实时获取各个会场中第二摄像设备摄制的每个参会用户正面的人像视频。

优选地,在将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成之前,所述方法还包括:

对各个会场中每个参会用户采集的会场视频进行无损去除所述第二摄像设备影像的处理;

和/或,对各个会场中每个参会用户的人像视频进行无损去除所述第一摄像设备和播放设备影像的处理。

优选地,所述根据预设合成方案,将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频,包括:

确定当前参会用户,将除当前参会用户之外的所有参会用户的人像视频与主会场的预设参会用户采集的会场视频进行合成,形成供当前参会用户播放的虚拟视频;

或者,确定当前参会用户,将除当前参会用户之外的所有参会用户的人像视频与当前参会用户采集的会场视频进行合成,形成供当前参会用户播放的虚拟视频;

其中,所述当前参会用户为任意一个会场的任意一个参会用户,所述主会场的预设参会用户为主会场中居中位置的参会用户。

本发明实施例还提供了一种视频会议实现装置,所述装置包括获取模块、合成模块和发送模块;其中,

所述获取模块,用于获取各个会场中每个参会用户采集的会场视频以及各个会场中每个参会用户的人像视频;

所述合成模块,用于根据预设合成方案,将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频;

所述发送模块,用于将所述虚拟视频分别发送到每个参会用户的播放设备上。

优选地,所述获取模块具体用于:

通过各个会场的会场控制终端,实时获取各个会场中每个参会用户视线范围内的会场视频,并实时获取每个参会用户正面的人像视频。

优选地,所述获取模块还用于:

实时获取各个会场中佩戴于每个参会用户的第一摄像设备摄制的参会用户视线范围内的会场视频;

实时获取各个会场中第二摄像设备摄制的各个会场中每个参会用户正面的人像视频。

优选地,所述装置还包括预处理模块,用于在将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成之前,对各个会场中每个参会用户采集的会场视频进行无损去除所述第二摄像设备影像的处理;

和/或,对各个会场中每个参会用户的人像视频进行无损去除所述第一摄像设备和播放设备影像的处理。

优选地,所述合成模块具体用于:

确定当前参会用户,将除当前参会用户之外的所有参会用户的人像视频与主会场的预设参会用户采集的会场视频进行合成,形成供当前参会用户播放的虚拟视频;

或者,确定当前参会用户,将除当前参会用户之外的所有参会用户的人像视频与当前参会用户采集的会场视频进行合成,形成供当前参会用户播放的虚拟视频;

其中,所述当前参会用户为任意一个会场的任意一个参会用户,所述主会场的预设参会用户为主会场中居中位置的参会用户。

本发明实施例还提供了一种视频会议实现系统,所述系统包括会场控制终端、服务器、一个以上第一摄像设备、至少一个第二摄像设备和一个以上播放设备;其中,

所述第一摄像设备,用于获取各个会场中每个参会用户采集的会场视频;

所述第二摄像设备,用于获取各个会场中每个参会用户的人像视频;

所述会场控制终端,用于获取各个第一摄像设备摄制的会场视频和各个第二摄像设备摄制的参会用户的人像视频;将获取的会场视频和参会用户的人像视频发送到服务器;并将从服务器接收的虚拟视频发送给所述播放设备;

所述服务器,用于接收会场控制终端发送的会场视频和参会用户的人像视频;根据预设合成方案,将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频;将所述虚拟视频发送到所述会场控制终端;

所述播放设备,用于接收会场控制终端发送的虚拟视频,并为参会用户播放。

优选地,所述服务器为上面所述的任意一种视频会议实现装置。

本发明实施例还提供了一种计算机存储介质,其上存储有可执行程序,所述可执行程序被处理器执行时实现如上面所述的任意一种视频会议实现方法的步骤。

本发明实施例所提供的视频会议实现方法、装置、系统及计算机存储介质,获取各个会场中每个参会用户采集的会场视频以及各个会场中每个参会用户的人像视频;根据预设合成方案,将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频;将所述虚拟视频分别发送到每个参会用户的播放设备上;可见,本发明实施例的视频会议实现方法分别获取各个会场的会场视频和每个参会用户的人像视频,并合成为供播放的虚拟视频,能在多个会场之间使用基于ar技术的视频会议系统,增强参会用户互动参与感,提高异地会议的会议效果。

附图说明

图1为本发明实施例一视频会议实现方法的流程示意图;

图2为本发明实施例二视频会议实现装置的结构组成示意图;

图3为本发明实施例三视频会议实现系统的结构组成示意图;

图4为本发明实施例五基于ar技术的视频会议系统的组网示意图;

图5为本发明实施例五基于ar技术的视频会议系统中控制系统结构示意图;

图6为本发明实施例五基于ar技术的视频会议系统中会场的部署示意图;

图7为本发明实施例五基于ar技术的视频会议系统的架构示意图;

图8为本发明实施例五基于ar技术的视频会议系统的实现流程示意图。

具体实施方式

为了能够更详尽的了解本发明的特点与技术内容,下面将结合附图对本发明的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本发明。

实施例一

图1为本发明实施例一视频会议实现方法的流程示意图,所述方法可以由服务器实现;如图1所示,所述方法包括:

步骤101:获取各个会场中每个参会用户采集的会场视频以及各个会场中每个参会用户的人像视频;

这里,所述会场视频是指每个参会用户采集的自己视线范围内的会场整个空间的视频;

所述人像视频仅指某个参会用户的人像的视频,不包括反映参会用户周边空间内的其它物体或背景的视频。

具体地,服务器在各个会场中每个参会用户采集的会场视频以及各个会场中每个参会用户的人像视频之前,还包括如下步骤:

服务器接与各个会场的终端建立通讯联系;在收到会场控制终端的开会指令后,打开视频和音频传输通道;

这样,便于实时获取各个会场中每个参会用户采集的会场视频以及各个会场中每个参会用户的人像视频。

进一步地,所述获取各个会场中每个参会用户采集的会场视频以及各个会场中每个参会用户的人像视频,包括:

通过各个会场的会场控制终端,实时获取各个会场中每个参会用户视线范围内的会场视频,并实时获取每个参会用户正面的人像视频。

具体地,实时获取各个会场中佩戴于每个参会用户的第一摄像设备摄制的参会用户视线范围内的会场视频;

实时获取各个会场中第二摄像设备摄制的各个会场中每个参会用户正面的人像视频。

所述第一摄像设备可以佩戴于每个参会用户的头部,第二摄像设备可以设置于所述参会用户的对面,摄像头朝向所述参会用户的正面;通常,第一摄像设备每个参会用户一个,而第二摄像设备可以仅设置一个,当然,如果每个参会用户的朝向不一致,可以设置多个第二摄像设备,以保证能拍摄到各个参会用户的正面的人像视频;

这样,各个参会用户观看由所述第一摄像设备和第二摄像设备摄制的视频合成的虚拟视频时,更容易有身临其境的感觉。

在实际应用中,各个会场拥有的设备包括:会场控制终端、一个以上第一摄像设备、至少一个第二摄像设备和一个以上播放设备;其中,

所述会场控制终端,用于实时获取各个第一摄像设备和各个第二摄像设备的视频,其中,第一摄像设备摄制的是会场视频,第一摄像设备摄制的是人像视频,之后将获取到的会场视频和人像视频发送到服务器;所述会场控制终端可以是普通的计算机,所述计算机可以运行linux、windows等操作系统;在无线网速足够的情况下,所述会场控制终端也可以是如手机等移动终端,不作具体限定;

进一步地,所述第一摄像设备和播放设备可以集成到同一副眼镜上,佩戴在每个参会用户的头部;其中,所述第一摄像设备设置在所述眼镜背向参会用户的外表面,所述播放设备设置在所述眼镜朝向参会用户的内表面;这样,所述第一摄像设备摄制的会场视频为参会用户视线范围内会场整个空间的视频,所述播放设备能在参会用户的眼睛前方播放视频;

所述第二摄像设备可以是3d人体扫描仪,能获取每个参会用户人像的三维视频;获取的每个参会用户人像三维视频是独立的,与整个会场内的其它物体或背景是分离的,这样便于将每个参会用户的人像视频合成到任意一个会场的会场视频中。

在实际使用中,集成到同一副眼镜上的所述第一摄像设备和播放设备可以有两种方式的组合:

第一种,所述第一摄像设备是三维摄像设备,摄制的视频配合相应的眼镜,就能播放出三维视频,例如采用色差式或偏光式成像技术,摄制同一场景需要使用两个摄像机,然后将两个摄像机的视频叠加;所述播放设备是普通的视频眼镜(videoglasses)加上色差式或偏光式技术,每个参会用户戴上所述视频眼镜后,无需所述视频眼镜特别处理,每个参会用户就能看到三维虚拟视频,而且由于视频眼镜能虚拟出一个很大的银幕,让每个参会用户有身临其境的感觉;

第二种,所述第一摄像设备是普通的摄像设备,所述播放设备是虚拟现实(vr,virtualreality)眼镜,每个参会用户戴上所述vr眼镜后,所述vr眼镜在虚拟出一个很大的银幕时,还会将普通视频虚拟出三维视频,让每个参会用户有身临其境的感觉;

实际使用中,优选第二种方式,这样摄像设备比较简单,且更容易将每个参会用户的人像视频与会场视频进行合成。

步骤102:根据预设合成方案,将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频;

这里,所述虚拟视频是针对每个参会用户合成的,有多少个参会用户,就需要合成相应数量的虚拟视频,每个参会用户看到的虚拟视频都是不一样的,因为看到的虚拟视频中需要包括所有的参会用户,但剔除自己的人像视频。

本发明实施例中,所述预设合成方案主要包括两种:

第一种,先确定一个当前参会用户,将除当前参会用户之外的所有参会用户的人像视频与主会场的预设参会用户采集的会场视频进行合成,形成供当前参会用户播放的虚拟视频;例如:视频会议中有一个是主会场,其它都是分会场,那么,就是将所有参会用户加入到主会场所在的会场;所确定的当前参会用户可以是任意一个会场的任意一个参会用户,所主会场的预设参会用户一般可以是主会场中居中位置的参会用户,也可以是任意选择的参会用户;

第二种,先确定一个当前参会用户,将除当前参会用户之外的所有参会用户的人像视频与当前参会用户采集的会场视频进行合成,形成供当前参会用户播放的虚拟视频;所确定的当前参会用户可以是任意一个会场的任意一个参会用户。

进一步地,为了虚拟视频中会场的空间能容纳所有的参会用户,所述虚拟视频可以将预设的会场的空间扩大,如可以将会议桌和会场空间扩大;

参会用户在同一个会场如何排列,可以按参会用户的人数讨论:

1)人数较少的情况,如总人数小于10人,会议桌为长方形,观看虚拟视频的参会用户居中坐在一侧,其它会场的参会用户坐在另一侧;

2)人数较多的情况,如总人数在10~30人,会议桌为正方形或圆形,将所有参会用户排列在会议桌四周或圆周上,观看虚拟视频的参会用户居中而坐;

3)人数非常多的情况,总人数在30~100人,则去除会议桌,将所有参会用户排成高低错落的多行,类似阶梯教室的座位,观看虚拟视频的参会用户坐在类似讲台的位置;

如果比第3)种情况的人数还要多的情况,则可以采用分组分别合成等,不作详述。

进一步地,在将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频之前,所述方法还包括:

对各个会场中每个参会用户采集的会场视频进行无损去除所述第二摄像设备影像的处理;

和/或,对各个会场中每个参会用户的人像视频进行无损去除所述第一摄像设备和播放设备影像的处理;

更进一步地,为了便于对每个参会用户的人像视频无损去除第一摄像设备或播放设备的影像,除了将所述第一摄像设备和播放设备集成到同一副眼镜上外,所述眼镜还需要设置为透明的,这样,所述第二摄像设备可以摄制到所述参会用户的全部面部表情;

更具体地,集成所述第一摄像设备和播放设备的眼镜,其尺寸、大小和颜色都是预设的,不同参会用户的眼镜都是相同的,所以,可以在服务器的视频处理单元设置一个相应的处理应用,其处理原理类似于现有的一些修图应用,在获取所述会场视频后自动进行处理;

同理,第二摄像设备也可以进行类似的处理。

步骤103:将所述虚拟视频分别发送到每个参会用户的播放设备上。

具体地,将所述虚拟视频分别发送到佩戴在每个参会用户头部的播放设备上播放;

由于每个参会用户看到的虚拟视频都是不一样的,即每个参会用户看到的虚拟视频中需要包括所有的参会用户,但却没有自己;为了避免混淆,需要给每个参会用户编号,并将合成后的虚拟视频也标上与参会用户编号一致的编号,这样,便于将正确的虚拟视频发送给每个参会用户;

具体的编号的方法可以是给每个参会用户发一个可以被第二摄像设备识别的编号贴纸,也可以是通过第二摄像设备进行人脸识别后自动进行编号;

在实际使用中,编号的方法可以在第一摄像设备的表面进行标记,因为第一摄像设备和播放设备是集成的,当第二摄像设备进行摄制时,能在第一时间识别参会用户的编号,在发送虚拟视频时就能将相应编号的虚拟视频发送给对应的播放设备;

这样,即使参会用户之间交换第一摄像设备,也不影响参会用户观看虚拟视频。

实施例二

图2为本发明实施例二视频会议实现装置的结构组成示意图,如图2所示,所述装置包括获取模块21、合成模块22和发送模块23;其中,

所述获取模块21,用于获取各个会场中每个参会用户采集的会场视频以及各个会场中每个参会用户的人像视频;

所述合成模块22,用于根据预设合成方案,将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频;

所述发送模块23,用于将所述虚拟视频分别发送到每个参会用户的播放设备上。

为了说明的更清楚,下面将分别对各个模块作详细说明:

所述获取模块21,用于获取各个会场中每个参会用户采集的会场视频以及各个会场中每个参会用户的人像视频;

进一步地,所述获取模块21,具体用于:

通过各个会场的会场控制终端,实时获取各个会场中每个参会用户视线范围内的会场视频,并实时获取每个参会用户正面的人像视频。

更具体地,所述获取模块21还用于:

实时获取各个会场中佩戴于每个参会用户的第一摄像设备摄制的参会用户视线范围内的会场视频;

实时获取各个会场中第二摄像设备摄制的各个会场中每个参会用户正面的人像视频。

所述第一摄像设备可以佩戴于每个参会用户的头部,第二摄像设备可以设置于所述参会用户的对面,摄像头朝向所述参会用户的正面,如果每个用户的朝向不一致,可以设置多个第二摄像设备;

这样,每个参会用户观看所述第一摄像设备和第二摄像设备摄制的视频合成的虚拟视频时,更容易有身临其境的感觉。

具体地,所述各个会场的终端包括会场控制终端、第一摄像设备、第二摄像设备和播放设备;其中,

所述会场控制终端,用于实时采集所述第一摄像设备和第二摄像设备的视频,并发送到服务器的;所述会场控制终端可以是普通的计算机,所述计算机可以运行linux、windows等操作系统,在无线网速足够的情况下,所述会场控制终端也可以是如手机等移动终端,不作具体限定;

进一步地,所述第一摄像设备和播放设备可以集成到同一副眼镜上,佩戴在每个参会用户的头部;其中,所述第一摄像设备设置在所述眼镜背向参会用户的外表面,所述播放设备设置在所述眼镜朝向参会用户的内表面;这样,所述第一摄像设备摄制的会场视频为参会用户视线范围内会场整个空间的视频,所述播放设备能在所述参会用户的眼睛前方播放视频;

所述第二摄像设备可以是3d人体扫描仪,能获取每个参会用户的人像三维视频;获取的每个参会用户人像三维视频是独立的,与整个会场内的其它物体或背景是分离的,这样便于将每个参会用户合成到任意一个会场的会场视频中。

在实际使用中,集成到同一副眼镜上的所述第一摄像设备和播放设备可以有两种方式的组合:

第一种,所述第一摄像设备是三维摄像设备,摄制的视频配合相应的眼镜,就能播放出三维视频,例如采用色差式或偏光式成像技术,摄制同一场景需要使用两个摄像机,然后将两个摄像机的视频叠加;所述播放设备是普通的视频眼镜(videoglasses)加上色差式或偏光式技术,每个参会用户戴上所述视频眼镜后,无需所述视频眼镜特别处理,每个参会用户就能看到三维虚拟视频,而且由于视频眼镜能虚拟出一个很大的银幕,让每个参会用户有身临其境的感觉;

第二种,所述第一摄像设备是普通的摄像设备,所述播放设备是虚拟现实(vr,virtualreality)眼镜,每个参会用户戴上所述vr眼镜后,所述vr眼镜在虚拟出一个很大的银幕时,还会将普通视频虚拟出三维视频,让每个参会用户有身临其境的感觉;

实际使用中,优选第二种方式,这样摄像设备比较简单,且更容易将每个参会用户的人像视频与会场视频进行合成。

所述合成模块22,用于根据预设合成方案,将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频;

这里,所述虚拟视频是针对每个参会用户合成的,有多少个参会用户,就需要合成相应数量的虚拟视频,每个所述参会用户看到的虚拟视频都是不一样的,因为看到的虚拟视频中需要包括所有的参会用户,但剔除自己的人像视频。

本发明实施例中,所述预设合成方案主要包括两种:

第一种,先确定一个当前参会用户,将除当前参会用户之外的所有参会用户与主会场的预设参会用户采集的会场视频进行合成,形成供当前参会用户播放的虚拟视频;例如:视频会议中有一个是主会场,其它都是分会场,那么,就是将所有参会用户加入到主会场所在的会场;所确定的当前参会用户可以是任意一个会场的任意一个参会用户,所主会场的预设参会用户一般可以是主会场居中位置的参会用户,也可以是任意选择的参会用户;

第二种,先确定一个当前参会用户,将除当前参会用户之外的所有参会用户与当前参会用户采集的会场视频进行合成,形成供当前参会用户播放的虚拟视频;所确定的当前参会用户可以是任意一个会场的任意一个参会用户。

进一步地,为了虚拟视频中会场的空间能容纳所有的参会用户,所述虚拟视频可以将预设的会场的空间扩大,如可以将会议桌和会场空间扩大;

参会用户在同一个会场如何排列,可以按参会用户的人数讨论:

1)人数较少的情况,如总人数小于10人,会议桌为长方形,观看虚拟视频的参会用户居中坐在一侧,其它会场的参会用户坐在另一侧;

2)人数较多的情况,如总人数在10~30人,会议桌为正方形或圆形,将所有参会用户排列在会议桌四周或圆周上,观看虚拟视频的参会用户居中而坐;

3)人数非常多的情况,总人数在30~100人,则去除会议桌,将所有参会用户排成高低错落的多行,类似阶梯教室的座位,观看虚拟视频的参会用户坐在类似讲台的位置;

如果比第3)种情况的人数还要多的情况,则可以采用分组分别合成等,不作详述。

进一步地,所述装置还包括预处理模块221,所述预处理模块221用于:

在将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频之前,对各个会场中每个参会用户采集的会场视频进行无损去除所述第二摄像设备影像的处理;

和/或,对各个会场中每个参会用户的人像视频进行无损去除所述第一摄像设备和播放设备影像的处理;

更进一步地,为了便于对每个参会用户的人像视频无损去除第一摄像设备或播放设备的影像,除了将所述第一摄像设备和播放设备集成到同一副眼镜上外,所述眼镜还需要设置为透明的,这样,所述第二摄像设备可以摄制到所述参会用户的全部面部表情;

更具体地,集成所述第一摄像设备和播放设备的眼镜,其尺寸、大小和颜色都是预设的,不同参会用户的眼镜都是相同的,所以,可以在服务器的视频处理模块设置一个相应的处理应用,其处理原理类似于现有的一些修图应用,在获取所述会场视频后自动进行处理;

同理,第二摄像设备也可以进行类似的处理。

所述发送模块23,用于将所述虚拟视频分别发送到每个参会用户的播放设备上。

具体地,将所述虚拟视频分别发送到佩戴在每个参会用户头部的播放设备上播放;

由于每个参会用户看到的虚拟视频都是不一样的,即每个参会用户看到的虚拟视频中需要包括所有的参会用户,但却没有自己;为了避免混淆,需要给每个参会用户编号,并将合成后的虚拟视频也标上与参会用户编号一致的编号,这样,便于将正确的虚拟视频发送给每个参会用户;

具体的编号的方法可以是给每个用户发一个可以被第二摄像设备识别的编号贴纸,也可以是通过第二摄像设备进行人脸识别后自动进行编号;

在实际使用中,编号的方法可以在第一摄像设备的表面进行标记,因为第一摄像设备和播放设备是集成的,当第二摄像设备进行摄制时,能在第一时间识别参会用户的编号,在发送虚拟视频时就能将相应编号的虚拟视频发送给对应的播放设备;

这样,即使参会用户之间交换第一摄像设备,也不影响参会用户观看虚拟视频。

本发明实施例中,所述获取模块21、合成模块22、预处理模块221和发送模块23均可由位于服务器的中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)、或现场可编程门阵列(fpga)等实现。

实施例三

图3为本发明实施例三视频会议实现系统的结构组成示意图,如图3所示,一种视频会议实现系统,包括会场控制终端33、服务器34、一个以上第一摄像设备31、至少一个第二摄像设备32和一个以上播放设备35;其中,

所述第一摄像设备31,用于获取各个会场中每个参会用户采集的会场视频;

所述第二摄像设备32,用于获取各个会场中每个参会用户的人像视频;

所述会场控制终端33,用于获取各个第一摄像设备31摄制的会场视频和各个第二摄像设备32摄制的参会用户的人像视频;将获取的会场视频和参会用户的人像视频发送到服务器34;并将从服务器34接收的虚拟视频发送给所述播放设备;

所述服务器34,用于接收会场控制终端33发送的会场视频和参会用户的人像视频;根据预设合成方案,将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频;将所述虚拟视频发送到所述会场控制终端33;

所述播放设备35,用于接收会场控制终端33发送的虚拟视频,并为参会用户播放。

其中,所述服务器34的组成结构、各组成部分之间的连接关系、以及各组成部分的功能原理均与实施例二中视频会议实现装置的描述相同,不再赘述。

实施例四

本实施例中提供了一种计算机存储介质,其上存储有可执行程序,所述可执行程序被处理器执行时实现如实施例一所述视频会议实现方法的步骤。

所述计算机存储介质可以是磁性存储器,也可以是光学存储器,还可以是闪存(flashmemory)等,不作具体限定。

实施例五

图4至图8均为本发明实施例五基于ar技术的视频会议系统的示意图,其中,图4为本发明实施例五基于ar技术的视频会议系统的组网示意图;图5为本发明实施例五基于ar技术的视频会议系统中控制系统结构示意图;图6为本发明实施例五基于ar技术的视频会议系统中会场的部署示意图;图7为本发明实施例五基于ar技术的视频会议系统的架构示意图;图8为本发明实施例五基于ar技术的视频会议系统的实现流程示意图。

如图4所示,所述基于ar技术的视频会议系统的组网包括局端设备和各个会场的终端设备41;其中,

局端设备包括多点控制装置42(mcu,multipointcontrolunit),所述各个会场的终端设备41包括终端设备1至终端设备n;

所述多点控制装置42,用于接收来自终端设备41的三维图像。实现多个地点的会议同时进行相互间的通信。实现音频、视频等数字信号的混合和切换。实现多点视频会议相互通信的管理和控制。它是一个数字处理单元,可以在数字域中实现音频、视频、数据和信令等所有数字信号的切换和混合。它还具备对会议电视网进行有效控制的功能,以及对会议电视系统进行有效管理的功能;

这里,所述多点控制装置42相当于实施例三中的服务器34。

所述会场的终端设备41部署在各个会场中,一个会场部署一台终端设备41,终端设备41的控制模块负责与服务器,会场内的摄像设备、播放设备进行信令交互,终端设备41的收发模块负责与服务器,会场内的摄像设备、播放设备进行媒体交互。终端设备41通过wi-fi(无线保真,wireless-fidelity)或网线连接会场中的摄像设备、播放设备。负责接收会场中摄像设备采集的三维场景和三维人像,通过通信线路,例如网线、光纤或专线等把三维场景和三维人像传输给服务器,并接收服务器发来的三维合成图像;

这里,所述终端设备41相当于实施例三中的会场控制终端33。

具体地,所述局端设备为安装linux操作系统的小型机;

所述终端设备41为安装windows操作系统的个人计算机(pc,personalcomputer)。

图5为本发明实施例五基于ar技术的视频会议系统中控制系统结构示意图,如图5所示,基于ar技术的视频会议系统中的控制系统包括终端设备和局端设备;

所述终端设备包括透明眼镜51、三维扫描仪52和会场控制终端;

这里,所述透明眼镜51相当于实施例三中的第一摄像设备31和播放设备35,所述三维扫描仪52相当于实施例三中的第二摄像设备32;所述会场控制终端相当于实施例三中的会场控制终端33;

所述局端设备相当于实施例三中的服务器34。

所述会场控制终端包括第一控制模块53和第一收发模块54;

所述局端设备包括第二收发模块55、第二控制模块56、媒体控制模块57和媒体处理模块58。

所述透明眼镜51,用于获取各个会场的会场视频;

所述三维扫描仪52,用于获取每个参会用户的人像视频;

所述第一控制模块53,用于控制所述透明眼镜51和三维扫描仪52的工作,并控制所述透明眼镜51和三维扫描仪52摄制的视频通过所述第一收发模块54发送到所述第二收发模块55;

所述第一收发模块54,用于将所述透明眼镜51和三维扫描仪52摄制的视频发送到所述第二收发模块55;接收所述第二收发模块55发出的虚拟视频;

所述第二收发模块55,用于接收所述第一收发模块54发出的所述透明眼镜51和三维扫描仪52摄制的视频;

所述第二控制模块56,用于控制所述第二收发模块55和所述媒体控制模块57的工作;

所述媒体控制模块57,用于实现媒体业务处理所需的媒体处理资源的计算和分配,使所述媒体处理模块58更好的工作;

所述媒体处理模块58,用于视频的处理和不同视频的合成。

图6为本发明实施例五基于ar技术的视频会议系统中会场的部署示意图,如图6所示,所述基于ar技术的视频会议系统中会场的部署包括会场控制终端61、透明眼镜62和三维扫描仪63;

这里,所述会场控制终端61相当于实施例三中的会场控制终端33,所述透明眼镜62相当于实施例三中的第一摄像设备31和播放设备35,所述三维扫描仪63相当于实施例三中的第二摄像设备32。

从图中可以看出,所述透明眼镜62和三维扫描仪63分别设在会议桌的两侧,这是比较优化的布局,便于采集视频会议所需角度的视频;

所述透明眼镜62,用于摄制会场视频,也就是摄制各个会场中每个参会用户视线范围内的会场场景;

所述透明眼镜62,还用于播放局端设备合成的虚拟视频,以使每个参会用户获得更好的参会体验;

所述三维扫描仪63,用于摄制每个参会用户正面的人像视频,所述人像视频是独立的,与整个会场内的其它物体或背景是分离的,这样便于将每个参会用户合成到任意一个会场的会场视频中;

所述会场控制终端61,用于控制所述透明眼镜62和三维扫描仪63的工作,并控制所述透明眼镜62和三维扫描仪63摄制的视频通过所述会场控制终端61发送到所述局端设备;

所述会场控制终端61,通过wi-fi信号连接透明眼镜62和三维扫描仪63;通过专线如虚拟专用网络(vpn,virtualprivatenetwork)连接局端设备。

图7为本发明实施例五基于ar技术的视频会议系统的架构示意图,如图7所示,所述基于ar技术的视频会议系统中会场的架构包括局端设备和三个会场;

所述局端设备设有多点控制装置71,所述多点控制装置71包括信令控制模块(未在图中示出)、网络处理模块713、视频控制模块714和视频编辑模块715;

所述会场均包括会场控制终端721、透明眼镜722和三维扫描仪723。

所述多点控制装置71,用于接收来自终端的三维图像。实现多个地点的会议同时进行相互间的通信。实现音频、视频等数字信号的混合和切换。实现多点视频会议相互通信的管理和控制。它是一个数字处理单元,可以在数字域中实现音频、视频、数据和信令等所有数字信号的切换和混合。它还具备对会议电视网进行有效控制的功能,以及对会议电视系统进行有效管理的功能;所述多点控制装置71具体包括如下几个功能模块:

信令控制模块(未在图中示出),负责与终端进行信息交互;所述信令控制模块的功能作用同图5中的第二控制模块56,所述信令控制模块,在实际使用中,也被称为多点控制应用(mcapp,multipointcontrolapplication);

网络处理模块713,为局端设备上的收发模块,负责局端设备媒体码流的收发;所述网络处理模块713的功能作用同图5中的第二收发模块55,在实际使用中,也被称为网络处理单元(npu,networkprocessunit);

视频控制模块714,实现媒体业务处理所需的媒体处理资源的计算和分配;局端设备上的媒体控制模块;它是对单个mcu上的某个单板或节点的资源计算和分配;可以理解为微观上的资源计算、管理和分配;所述视频控制模块714的功能作用同图5中的媒体控制模块57,在实际使用中,也被称为视频会议媒体处理(vmp,videoconferencemediaprocesser);

视频编辑模块715,局端设备上的媒体处理模块;负责去除三维人像中的透明眼镜722,并把三维人像合成到三维场景中;所述视频编辑模块715的功能作用同图5中的媒体处理模块58,在实际使用中,也被称为视频处理单元(vpu,videoprocessunit);

所述会场控制终端721,用于控制所述透明眼镜722和三维扫描仪723的工作,并控制所述透明眼镜722和三维扫描仪723摄制的视频通过所述会场控制终端721发送到所述局端设备的网络处理模块713;

所述透明眼镜722,用于摄制会场视频,也就是摄制每个参会用户视线范围内的会场场景;

所述透明眼镜722,还用于播放局端设备合成的虚拟视频,以使每个参会用户获得更好的参会体验;

所述三维扫描仪723,用于摄制每个参会用户正面的人像视频,所述人像视频是独立的,与整个会场内的其它物体或背景是分离的,这样便于将每个参会用户合成到任意一个会场的会场视频中;

所述透明眼镜722和三维扫描仪723摄制的视频,通过所述会场控制终端721发送到局端设备进行处理。

为了更好地理解会场视频和人像视频的合成情况,下面结合图7做进一步说明:

如图7所示,图中示出了三个会场,分别为会场1、会场2和会场n;所述会场1有三个参会用户,分别为参会用户1、参会用户2和参会用户3;所述会场2有两个参会用户,分别为参会用户4和参会用户5;所述会场n有1个参会用户,为参会用户n;

下面具体描述每个参会用户看到的虚拟视频情况:

所述会场1中的参会用户1佩戴的透明眼镜722摄制的会场视频为会议桌对面没有参会用户,右边有2个参会用户,即参会用户2和参会用户3;经过局端设备合成后的虚拟视频中,会议桌的对面有3个参会用户,分别为会场2的参会用户4、参会用户5和会场n的参会用户n,但没有自己,这样,参会用户1观看虚拟视频,就如同与参会用户2、参会用户3、参会用户4、参会用户5和参会用户n在自己所在的会场1开会;

所述会场2中的参会用户4佩戴的透明眼镜722摄制的会场视频为会议桌对面没有参会用户,右边有1个参会用户,即参会用户5;经过局端设备合成后的虚拟视频中,会议桌的对面有4个参会用户,分别为会场1的参会用户1、参会用户2、参会用户3和会场n的参会用户n,但没有自己,这样,参会用户4观看虚拟视频,就如同与参会用户1、参会用户2、参会用户3、参会用户5和参会用户n在自己所在的会场2开会;

所述会场3中的参会用户n佩戴的透明眼镜722摄制的会场视频为会议桌对面没有参会用户,旁边也没有参会用户;经过局端设备合成后的虚拟视频中,会议桌的对面有5个参会用户,分别为会场1的参会用户1、参会用户2、参会用户3和会场2的参会用户4、参会用户5,但没有自己,这样,参会用户n观看虚拟视频,就如同与参会用户1、参会用户1、参会用户3、参会用户4和参会用户5在自己所在的会场n开会。

图8为本发明实施例五基于ar技术的视频会议系统的实现流程示意图,如图8所示,所述实现流程包括:

步骤801:呼叫会场终端进入会议;

即服务器与各个会场的终端建立通讯联系;

具体地,是服务器中的多点控制装置呼叫终端进入会议,会场的终端可以包括会场控制终端、第一摄像设备、三维扫描仪和播放设备。

步骤802:建立视频和音频传输通道;

服务器与终端进行信息交互,并负责视频和音频传输通道的打开,为每一个第一摄像设备和三维扫描仪均打开一路视频通道,整个会场打开一路音频通道,以ip地址和端口组合区分不同的通道;

具体地,与终端进行信息交互的是服务器中的多点控制应用。

步骤803:判断进入会议的终端数是否大于1;

当进入会议的终端数小于或等于1,进入步骤809;

当进入会议的终端数大于1,进入步骤804。

步骤804:发出去除人像视频中用户眼镜的通知;

具体地,是服务器中的视频会议媒体处理对视频处理单元发出通知;

如果进入会议的终端数大于1个,视频会议媒体处理通知视频处理单元进行去除人像视频中用户眼镜的通知。

步骤805:判断人像视频的通道码流是否为零;

具体地,可由视频处理单元对各终端发送给服务器的人像视频的通道码流是否为零进行判断;

当通道码流为零,进入步骤807;

当通道码流不为零,进入步骤806。

步骤806:去除人像视频中的用户眼镜;

具体地,视频处理单元去除人像视频中的用户眼镜。

步骤807:判断除目标会场之外是否有人像视频;

即合成所有参会用户的人像视频的会场为目标会场,此目标会场对每个参会用户来说,可能不一样;

如果没有,进入步骤809;

如果有,进入步骤808。

步骤808:合成为虚拟视频,并发送终端;

具体地,按预设合成方案,将各个会场中每个参会用户的人像视频与预设参会用户采集的会场视频进行合成,形成供播放的虚拟视频;并将虚拟视频发送到各终端,终端会转发到播放设备;

进入步骤810。

步骤809:把本会场的会场视频发送给终端;

在没有其它人像视频的情况下,直接将本会场的会场视频发送给终端;

此步骤可以用于在会议刚开始时,各会场的终端都还未开始工作的情况,减轻服务器工作负荷。

步骤810:判断是否接收到会议结束的指令;

如果未收到会议结束指令,进入步骤803;

如果收到会议结束指令,结束流程。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1