基于AR的视频会议系统和基于AR的视频会议方法与流程

本发明涉及视频会议技术领域，特别涉及一种基于ar的视频会议系统和一种基于ar的视频会议方法。

背景技术：

目前市场上的会议系统主要包含传统会议和电话会议；所谓传统会议，通俗来讲，就是多人面对面开会；而电话会议目前通常是与会人员通过手机、电话参与到会议中来，没有办法实现类似“面对面”的沟通交流、场景单一，没有办法根据用户的需求，让用户自己定制属于自己的场景或者实际的与会场景。基于此，本专利提出的一种基于ar的视频会议显示系统通过图像处理和虚拟现实和增强现实技术，将虚实场景结合起来，通过ar和vr技术通过移动互联网实现真实的与会场景。

因此，如何设计出一种基于ar的视频会议系统成为本领域亟需解决的技术问题。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种基于ar的视频会议系统和一种基于ar的视频会议方法。

为了实现上述目的，本发明的第一方面，提供了一种基于ar的视频会议系统，所述系统包括摄像头模块、图像处理模块、ar数据处理模块和ap服务器模块；

所述摄像头模块用于获取目标会议的初始会议场景以及获取各与会人员的人体深度信息；

所述图像处理模块用于对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的人体轮廓图；

所述ar数据处理模块用于对所述各与会人员的人体深度图像进行处理，以提取所述各与会人员的实际与会场景位置，并将所述各与会人员的实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置；

所述ap服务器模块用于将所述各与会人员的人体轮廓图和所述各与会人员的实际与会场景位置进行合成处理，以获得各与会人员的目标会议的实际会议场景。

优选地，所述系统还包括音频处理模块，所述音频处理模块用于实时处理各与会人员的语音信息。

优选地，所述系统还包括会议内容存储模块，所述会议内容存储模块用于保存所述系统中的数据。

优选地，所述系统还包括投影模块，所述投影模块用于将所述各与会人员的三维场景图进行投影显示。

优选地，所述人体深度信息包括人体深度图像和人体彩色图像，所述摄像头模块包括彩色摄像头和红外摄像头；

所述彩色摄像头用于获取所述人体彩色图像以及所述目标会议的初始会议场景；

所述红外摄像头用于获取所述人体深度图像；

所述图像处理模块用于对所述各与会人员的人体彩色图像进行处理，以提取所述各与会人员的人体轮廓图；

所述ar数据处理模块用于对所述各与会人员的人体深度图像进行处理，以提取所述各与会人员的实际与会场景位置。

本发明的第二方面，提供了一种基于ar的视频会议方法，所述方法包括：

获取目标会议的初始会议场景以及获取各与会人员的人体深度信息；

对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的人体轮廓图；

对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的实际与会场景位置，并将所述各与会人员的实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置；

将所述各与会人员的人体轮廓图和所述各与会人员的实际与会场景位置进行合成处理，以获得各与会人员的目标会议的实际会议场景。

优选地，所述方法还包括：

实时处理各与会人员的语音信息。

优选地，所述方法还包括：

保存所述实际会议场景以及各与会人员的语音信息。

优选地，所述方法还包括：

将所述各与会人员的三维场景图进行投影显示。

优选地，所述人体深度信息包括人体深度图像和人体彩色图像；

所述对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的人体轮廓图的步骤包括：

对所述各与会人员的人体彩色图像进行处理，以提取所述各与会人员的人体轮廓图；

所述对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的实际与会场景位置的步骤包括：

对所述各与会人员的人体深度图像进行处理，以提取所述各与会人员的实际与会场景位置。

本发明的基于ar的视频会议系统，首先，利用摄像头模块获取目标会议的初始会议场景以及获取各与会人员的人体深度信息。之后，图像处理模块对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的人体轮廓图。其次，ar数据处理模块对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的实际与会场景位置，并将所述各与会人员的实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置。最后，ap服务器模块将所述各与会人员的人体轮廓图和所述各与会人员的实际与会场景位置进行合成处理，以获得各与会人员的目标会议的实际会议场景。因此，可以通过三维虚实结合，将各与会人员实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置，并最终获得目标会议的实际会议场景，这样，可以实现不同的与会人员在不同的地方在一起开会的场景。因此，本发明的基于ar的视频会议系统，相对传统的电话会议而言，可以克服不能让用户自己定制会议场景或者实时场景的缺陷。

本发明的基于ar的视频会议方法，首先，获取目标会议的初始会议场景以及获取各与会人员的人体深度信息。之后，对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的人体轮廓图。其次，对所述各与会人员的人体深度图像进行处理，以提取所述各与会人员的实际与会场景位置，并将所述各与会人员的实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置。最后，将所述各与会人员的人体轮廓图和所述各与会人员的实际与会场景位置进行合成处理，以获得各与会人员的目标会议的实际会议场景。因此，可以通过三维虚实结合，将各与会人员实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置，并最终获得目标会议的实际会议场景，这样，可以实现不同的与会人员在不同的地方在一起开会的场景。因此，本发明的基于ar的视频会议方法，相对传统的电话会议而言，可以克服不能让用户自己定制会议场景或者实时场景的缺陷。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为本发明第一实施例中基于ar的视频会议系统的结构示意图；

图2为本发明第二实施例中基于ar的视频会议方法的流程图。

附图标记说明

100：基于ar的视频会议系统；

110：摄像头模块；

111：彩色摄像头；

112：红外摄像头；

120：图像处理模块；

130：ar数据处理模块；

140：ap服务器模块；

150：音频处理模块；

160：会议内容存储模块；

170：投影模块。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

参考图1，本发明的第一方面，涉及一种基于ar的视频会议系统100，所述系统包括摄像头模块110、图像处理模块120、ar数据处理模块130和ap服务器模块140。

其中，上述摄像头模块110用于获取目标会议的初始会议场景以及获取各与会人员的人体深度信息。

上述图像处理模块120用于对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的人体轮廓图。

上述ar数据处理模块130用于对所述各与会人员的人体深度图像进行处理，以提取所述各与会人员的实际与会场景位置，并将所述各与会人员的实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置。

上述ap服务器模块140用于将所述各与会人员的人体轮廓图和所述各与会人员的实际与会场景位置进行合成处理，以获得各与会人员的目标会议的实际会议场景。

本实施例的基于ar的视频会议系统100，首先，利用摄像头模块110获取目标会议的初始会议场景以及获取各与会人员的人体深度信息。之后，图像处理模块120对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的人体轮廓图。其次，ar数据处理模块130对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的实际与会场景位置，并将所述各与会人员的实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置。最后，ap服务器模块140将所述各与会人员的人体轮廓图和所述各与会人员的实际与会场景位置进行合成处理，以获得各与会人员的目标会议的实际会议场景。因此，可以通过三维虚实结合，将各与会人员实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置，并最终获得目标会议的实际会议场景，这样，可以实现不同的与会人员在不同的地方在一起开会的场景。因此，本实施例的基于ar的视频会议系统100，相对传统的电话会议而言，可以克服不能让用户自己定制会议场景或者实时场景的缺陷。

优选地，所述系统还包括音频处理模块150，所述音频处理模块150用于实时处理各与会人员的语音信息。

具体地，上述音频处理模块150可以针对各与会人员的主要内容语音部分，去除干扰的噪声，还原语音的真实性，从而保证会议更好的效果。

优选地，所述系统还包括会议内容存储模块160，所述会议内容存储模块160用于保存所述系统中的数据。

例如，上述会议内容存储模块160可以用于保存目标会议的实际会议场景，各与会人员的语音信息以及目标会议的初始会议场景等。这样可以方便后期进行重新审查会议内容。

优选地，所述系统还包括投影模块170，所述投影模块170用于将所述各与会人员的三维场景图进行投影显示。

也就是说，上述的投影模块170可以将经过处理后合成的实际会议场景通过投影模块170进行投射出来(例如，投射到显示屏等具有显示功能的器件上)，提高会议的实际效果。

优选地，所述人体深度信息包括人体深度图像和人体彩色图像，所述摄像头模块110包括彩色摄像头111和红外摄像头112。

所述彩色摄像头111用于获取所述人体彩色图像以及所述目标会议的初始会议场景。

所述红外摄像头112用于获取所述人体深度图像。

所述图像处理模块120用于对所述各与会人员的人体彩色图像进行处理，以提取所述各与会人员的人体轮廓图。也就是说，所述图像处理模块120，可以通过对人体彩色图像进行图像数据分析、抠图算法、图像合成算法，实现对所述各与会人员的人体彩色图像进行抠图处理，获得表征人物的图像。

所述ar数据处理模块130用于对所述各与会人员的人体深度图像进行处理，以提取所述各与会人员的实际与会场景位置。也就是说，所述ar数据处理模块130可以通过对各与会人员的人体深度图像进行数据的分析、降噪算法、提取深度图算法、以及通过深度图的数据合成得到人物骨架，通过人物骨架获取到各与会人员的实际与会场景位置等。

需要说明的是，如果有其他的与会人员参与进来，上述的ap服务器模块140，还可以再将该会员添加进会议场景中来。然后在将合成后的实际会议场景发送给各个参与进来的与会人员。

下面详细介绍基于ar的视频会议系统100中一种具体地会议流程：

发起会议：

会议主持人发起会议，主会场(目标会议的初始会议场景所在的会场)在彩色摄像头111和红外摄像头112的视场角之内，以确保所有的与会人员都能够在拍摄的范围内。

加入会议：

主会场外的人，可以通过移动终端发起会议连接请求，会议连接请求的方式是通过移动互联网进行数据传输，当发起会议连接请求的时候，移动终端会在当前的空旷的区域内投射出主会场中的实际的场景，发起参与会议的人可以通过虚拟场景走到会议的场所中，同样该发起参与会议的人员也同样会投射到主会场中去。

摄像头模块110采集数据：

红外摄像头112发射红外光，然后由红外接收摄像头接收到会场内所覆盖到的场景，然后进行噪声处理，通过算法提取人物骨架出来，然后在根据深度的信息将人体的关节等信息及深度信息反馈出来提供给ap服务器模块140，方便ap服务器模块140结合彩色图像提供的数据将人物的三维的立体的合成人物通过光学现象展现到会场当中去。

彩色摄像头111采集会场场景，将采集的图像进行效果处理，将采集到的图像中的人通过图像处理技术，将人抠出来，然后在进行空间图像处理进行虚拟化，然后将虚拟化的人物传送给ap服务器模块140当中，为下一步在ap服务器模块140中进行人物的合成提供材料。

音频处理模块150：

从mic录入声音道音频处理模块150中，由音频处理模块150将声音信号进行处理，将处理完成后的数据输入到ap服务器模块140当中。

ap服务器模块140：

ap服务器模块140收到摄像头模块110采集到的数据、音频处理模块150处理后的数据进行合成。

会议内容存储模块160：

将ap服务器模块140合成后的数据进行保存。

投影模块170：

将ap服务器模块140处理完成后的数据通过投影模块170投射出来，音频处理模块150处理后的数据通过扬声器播放出来。从而得到实时音频的三维会议现场，从而各与会人员通过其各自移动终端在该视频会议系统中进行会议，都有种在会场当中开会的感觉。

当整个会场投射出来以后，这时候与会人员可以直接走到会场中去，然后反馈给会场中的其他成员，这样就可以使得与会的每个成员都有身临其境的感觉。

本发明的第二方面，提供了一种基于ar的视频会议方法s100，所述方法s100包括：

s110、获取目标会议的初始会议场景以及获取各与会人员的人体深度信息。

s120、对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的人体轮廓图。

s130、对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的实际与会场景位置，并将所述各与会人员的实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置。

s140、将所述各与会人员的人体轮廓图和所述各与会人员的实际与会场景位置进行合成处理，以获得各与会人员的目标会议的实际会议场景。

本实施例的基于ar的视频会议方法s100，首先，获取目标会议的初始会议场景以及获取各与会人员的人体深度信息。之后，对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的人体轮廓图。其次，对所述各与会人员的人体深度信息进行处理，以提取所述各与会人员的实际与会场景位置，并将所述各与会人员的实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置。最后，将所述各与会人员的人体轮廓图和所述各与会人员的实际与会场景位置进行合成处理，以获得各与会人员的目标会议的实际会议场景。因此，可以通过三维虚实结合，将各与会人员实际与会场景位置加入到所述目标会议的初始会议场景中的指定与会位置，并最终获得目标会议的实际会议场景，这样，可以实现不同的与会人员在不同的地方在一起开会的场景。因此，本实施例的基于ar的视频会议方法s100，相对传统的电话会议而言，可以克服不能让用户自己定制会议场景或者实时场景的缺陷。

优选地，所述方法s100还包括：

实时处理各与会人员的语音信息。

具体地，可以利用上述的音频处理模块150，针对各与会人员的主要内容语音部分，去除干扰的噪声，还原语音的真实性，从而保证会议更好的效果。

优选地，所述方法s100还包括：

保存所述实际会议场景以及各与会人员的语音信息。

例如，可以利用上述的会议内容存储模块160，保存目标会议的实际会议场景，各与会人员的语音信息以及目标会议的初始会议场景等。这样可以方便后期进行重新审查会议内容。

优选地，所述方法s100还包括：

将所述各与会人员的三维场景图进行投影显示。

也就是说，可以利用上述的投影模块170，对经过处理后合成的实际会议场景通过投影模块170进行投射出来(例如，投射到显示屏等具有显示功能的器件上)，提高会议的实际效果。

优选地，所述人体深度信息包括人体深度图像和人体彩色图像；

所述步骤s120包括：

对所述各与会人员的人体彩色图像进行处理，以提取所述各与会人员的人体轮廓图。

所述步骤s130包括：

对所述各与会人员的人体深度图像进行处理，以提取所述各与会人员的实际与会场景位置。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。