一种基于虚拟现实的3d场景网络视频会议系统的制作方法
【专利摘要】本发明提供一种基于虚拟现实的3D场景网络视频会议系统，包括3D场景的虚拟会议大厅模块（1）、3D场景的虚拟会议室模块（2）、视频会议服务器（3）和仿真数据库（4）；虚拟会议大厅模块（1）包括：3D会议大厅（1-1）、服务台模块（1-2）、会议登录模块（1-3）；虚拟会议室模块（2）包括3D会议室（2-1）、用于模拟真实的会议室、互动工具模块（2-2）、人员在线离线控制模块（2-3）；本发明改变了传统的网络视频会议管理和使用的模式，使得管理员可以更容易对会议系统进行管理，使得与会者可以以接近实际开会的方式参加会议和进行会议，降低了系统的应用门槛，减少了系统培训的成本。
【专利说明】一种基于虚拟现实的3D场景网络视频会议系统
【技术领域】
[0001]本发明涉及一种仿真系统，尤其是基于虚拟现实技术实现的3D场景网络视频会议客户端软件，属于计算机【技术领域】。
【背景技术】
[0002]当前市场流行的软件视频会议系统都是基于页面和二维客户端的形式，其中会议信息由Web页面提供，客户端采用window窗口形式表现，很难给人以身临其境的参会体验，window窗口的客户端需要使用者提前学习操作才会使用，3D情景会议室让人们更是耳目一新，采用3D虚拟现实技术在现有的会议系统上进行场景3D化，结合视频会议和3D技术实现在语音、视频系统与3D虚拟画面的全面结合下，直观生动的进行网络视频会议，缩短人与人之间的距离，实现跨地域的连接与互动。可通过屏幕上虚拟世界内的交互展示，近距离、生动的感受到来自不同地区演讲者的风格，会使会议召开，更加真实，效果更加明显。虚拟现实技术的3D场景网络视频会议系统是以现实情境的重现，使人犹如在现实的空间进行参会活动，如进入办公大楼，前台查询会议信息，进入会议室参会，打开投影机等动作。
【发明内容】
[0003]本发明所要解决的技术问题是基于虚拟现实技术模拟真实的会议场景，实现3D会议大厅和3D会议室，所有功能都需要在3D场景中完成。3D会议场景的主要功能，一是展现真实场景、二是能够支持真实场景下的操作。使得与会者可以以接近实际开会的方式参加会议和进行会议，降低了系统的应用门榲，减少了系统培训的成本。
[0004]为解决上述技术问题，一种基于虚拟现实的3D场景网络视频会议系统。包括3D场景的虚拟会议大厅模块、3D场景的虚拟会议室模块、视频会议服务器和仿真数据库；虚拟会议大厅模块和虚拟会议室模块的数据存储在仿真数据库中，虚拟会议大厅模块和虚拟会议室模块通过网络协议与视频会议服务器建立连接。
[0005]的虚拟会议大厅模块包括以下组件:
3D会议大厅:模拟真实的会议大厅。包括会议统计单元、会议安排单元、显示屏，会议统计单元统计仿真数据库中当前3D会议室的占用、空闲数据，并在显示屏上显示；会议大厅是虚拟现实的，与会者也可以在会议大厅中自由行走至要加入的会议室。
[0006]服务台模块:用于会议室状态查询、会议创建和预约功能。在会议大厅中需要完成的操作大多数都需要在服务台完成，如会议室状态、会议查询、会议创建和预约、会议参加等。可在服务台放置可操作的计算机来完成相关操作。
[0007]会议登录模块:用于进入虚拟会议室参会。
[0008]3D会议大厅、服务台模块和会议登录模块顺序连接；
的虚拟会议室模块包括以下组件:
3D会议室:3D会议室是会议进行时的场景，用于模拟真实的会议室，模拟真实的会议室，使与会者有身临其境的感觉，场景中应具备会议的基础设施，包括会议桌椅、投影仪、屏幕、麦克风，另外相关的设备应可以在3D场景中直接进行操作，完成会议中与会者的交互。
[0009]会议室互动工具模块:用于会议室工具的操作。会议室中可操作的会议工具都是独立的3D模型，对各种工具进行不同操作。
[0010]人员在线离线控制模块:用于参会人员模型的显示。人员在线时，系统自动在相应座位上实时放置半透明渲染的名牌，人员离线时名牌消失。
[0011]3D会议室与互动工具模块、人员在线离线控制模块连接。
[0012]前述的基于虚拟现实的3D场景网络视频会议系统，会议室互动工具模块2-2包括视频控制模块、音频控制模块和投影模块，视频控制模块、音频控制模块和投影模块都是独立的三维模型。
[0013]视频控制模块:会议中可根据实际需要或网络情况通过3D会议室中的操作来控制视频路数。可点击名牌打开或关闭该人员的视频窗口，选择指定视频窗口的大小和位置，可将指定视频投放至投影屏幕或LED显示屏。视频控制模块控制视频路数方法具体包括以下步骤:
1)定义第一变量保存会议可打开的最大数，整形变量通过查询仿真数据库获取最大数
值；
2)定义第二变量保存已经打开的视频数量；
3)每次打开视频时，第二变量都要和第一变量比较，保持第二变量的值小于或和等于
第一变量；
4)视频会议服务器接收来自视频控制模块的打开命令申请，视频会议服务器收到视频数据后，查询仿真数据库获取参会人员名牌的位置信息，计算出视频显示区域，将视频显示在区域；
5)视频服务器接收来自视频控制模块的关闭命令申请，视频服务器查询仿真数据库获相应参会人员名牌的位置信息，计算出视频显示区域并把区域清空。
[0014]音频控制模块:可通过操作3D会议室中的喇叭、麦克风等设备来控制语音开关、音量及麦克风启闭。音频控制模式可以通过3D视频会议室中喇叭和麦克风按钮来控制计算器的语音开关、音量和麦克风的打开和关闭。通过点击3D会议室中喇叭和麦克风，通过调用计算机操作系统的音频控制API接口，传递相应的音频控制信息来控制计算机的音频设备。
[0015]投影模块:三维会议室中具有模拟真实效果和功能的投影仪，通过它可以播放会议所需的视频或图文资料。主讲人可以上传视频、PPT、W0RD、EXCEL等文件进行在线同步播放和浏览。
[0016]较优地，3D会议室(2-1)包括基础设施构件、会议设备构件和会议室构件；3D会议室(2-1)的构件基于统一建模实现，将基础设施构件、会议设备构件和会议室构件抽象为统一的底层数据模型、逻辑机制、操作模式；基础设施构件、会议设备构件和会议室构件包括3D显示模型、逻辑功能以及数据接口三种属性。
[0017]本发明所达到的有益效果:
本发明的基于虚拟现实技术的实现的3D场景网络视频会议客户端软件，通过建立与现实会议大厅环境和会议室功能完全相似的仿真模型，建立与现实环境中组织一次会议完全一致的虚拟仿真环境，允许用户通过交互操作方式来进行包括在会议大厅组织和查询会议，步入要参加的会议室，打开投影机，观看投影等操作，从而能够完全仿真真实的开会过程，从而彻底改变传统的二维视频会议的基于页面和二维客户端的形式参会模式，使得与会者可以以接近实际开会的方式参加会议和进行会议，降低了系统的应用门槛，减少了系统培训的成本，提高了工作效率。
【专利附图】
【附图说明】
[0018]图1为本发明的系统结构示意图；
图2为本发明的系统虚拟会议大厅模块、虚拟会议室模块逻辑关系图；
图3为本发明的系统数据逻辑控制流图。
【具体实施方式】
[0019]下面结合附图对本发明作更进一步的说明。
[0020]如图1所示，一种基于虚拟现实的3D场景网络视频会议系统，包括3D场景的虚拟会议大厅模块(1)、3D场景的虚拟会议室模块(2)、视频会议服务器(3)和仿真数据库(4);虚拟会议大厅模块(I)和虚拟会议室模块(I)的数据存储在仿真数据库(4)中，虚拟会议大厅模块(I)和虚拟会议室模块(2)通过网络协议与视频会议服务器(3)建立连接。
[0021]如图2和图3所示，虚拟会议大厅模块包括以下组件:
3D会议大厅(1-1):模拟真实的会议大厅。包括会议统计单元、会议安排单元、显示屏，会议统计单元统计仿真数据库(4)中当前3D会议室的占用、空闲数据，并在显示屏上显示；会议大厅是虚拟现实的，与会者也可以在会议大厅中自由行走至要加入的会议室。
[0022]服务台模块:用于会议室状态查询、会议创建和预约功能。在会议大厅中需要完成的操作大多数都需要在服务台完成，会议室状态、会议查询、会议创建和预约、会议参加。可在服务台放置可操作的计算机来完成相关操作。所述服务台模块(1-2)包括会议室状态查询单元、会议查询单元、会议创建单元、会议预约单元、会议参加单元；
会议室状态查询单元是通过操作服务台提供的虚拟电脑屏幕上的菜单查询，点击对应会议室名称，根据选择的会议室名称检索仿真数据库(4)中会议室的占用标识状态，一般I表示会议室已经占有，O表示会议室空闲状态。
[0023]会议查询单元同样通过操作服务台提供的虚拟电脑屏幕上的菜单查询，通过点击对于会议室的会议查询按钮，提供会议室关键词检索仿真数据库(4)中相关会议室的会议信息，以列表的形式显示在服务台的电脑屏幕上。
[0024]会议创建单元将仿真数据库(4)中的目标会议室由空闲标识为会议占用，会议预约单元在仿真数据库(4)的目标会议室数据中增加参会人信息，会议可以打开视频数量，视频的分辨率，视频的帧率参数信息。会议参加单元通过仿真数据库(4)中数据信息的对应匹配将参会人弓I入到目标会议室。
[0025]会议登录模块:用于进入虚拟会议室参会。
[0026]3D会议大厅(1-1 )、服务台模块(1-2)和会议登录模块(1-3)顺序连接；
的虚拟会议室模块包括以下组件:
3D会议室(2-1):3D会议室是会议进行时的场景，用于模拟真实的会议室，模拟真实的会议室，使与会者有身临其境的感觉，场景中应具备会议的基础设施，包括会议桌椅、投影仪、屏幕、麦克风，另外相关的设备应可以在3D场景中直接进行操作，完成会议中与会者的交互。
[0027]会议室互动工具模块:用于会议室工具的操作。会议室中可操作的会议工具都是独立的3D模型，对各种工具进行不同操作。会议室互动工具模块2-2包括视频控制模块、音频控制模块和投影模块，所述视频控制模块、音频控制模块和投影模块都是基于独立的三维模型实现。
[0028]视频控制模块控制方法为:打开视频路数的控制逻辑是先定义一个整形变量CanOpenCount来保存会议可打开的最大数,通过查询仿真数据库(4)获取最大数值；再定义一个整形变量OpenedCount保持已经打开的视频数量,每打开一路视频,该变量加一,关闭一路视频则该变量减一；每次打开视频时，OpenedCount变量都要和CanOpenCount变量比较，OpenedCount变量不能大于CanOpenCount变量。打开视频通过名牌发送打开视频命令给视频服务器，视频服务器根据打开命令申请，通过网络发送视频数据给视频控制模块，收到视频数据后，查询仿真数据库(4)获取该名牌的位置信息，然后计算出视频显示区域，将视频显示在该区域，关闭视频也是通过点击名牌发送关闭视频命令给视频服务器，视频服务器根据关闭命令申请，先关闭视频数据，然后发信息给视频控制模块视频已经关闭信息，查询仿真数据库(4)获取该名牌的位置信息，计算出视频显示区域并把该示区域清空。
[0029]音频控制模式可以通过3D视频会议室中喇叭和麦克风按钮来控制计算器的语音开关、音量和麦克风的打开和关闭。通过3D会议室中喇叭和麦克风发送命令，通过调用计算机操作系统的音频控制API接口，传递相应的音频控制信息来控制计算机的音频设备。
[0030]所述投影模块包括投影仪，通过所述投影仪播放会议所需的视频或图文资料。
[0031]人员在线离线控制模块:用于参会人员模型的显示。人员在线时，系统自动在相应座位上实时放置半透明渲染的名牌，人员离线时名牌消失。
[0032]3D会议室(2-1)与互动工具模块(2-2)、人员在线离线控制模块2_3连接。
[0033]3D虚拟会议室应具备会议的基础设施，如会议桌椅、投影仪、屏幕、麦克风等，相关的设备应可以在3D场景中直接进行操作，完成会议中与会者的交互，另外会议室还要和现实会议室保留如会议室是否正在进行会议，会议室的使用情况查询等属性。本项目按照会议室基础设置，设备操作和会议室属性，将虚拟会议室按照统一建模的原则分为基础设施构件、会议设备构件以及会议室构件三个模型，将各种不同功能的设备抽象为统一的底层数据模型、逻辑机制、操作模式等共性特点，解决虚拟实验多领域建模的关键技术。
[0034]基础设施构建只是会议室装饰作，没有操作属性。会议设备构件是具有独立操作功能的最小单位。会议室是基础设施构件和会议设备的逻辑组合体，另外会议室具有特有的属性。
[0035]统一模型中各种属性都是通过标准格式进行描述，其扩展机制保证数据链符合上下游的数据传递。逻辑通过抽象为通用的逻辑和特殊的逻辑，使用面向对象的定义方法来表述，使得逻辑能够方便继承和变异。
[0036]会议室构件都能够实现一个会议的独立操作功能，每个会议构件包含3D显示模型、逻辑功能以及数据接口三种属性。3D显示模型体现了会议室的外观显示属性，逻辑功能包含了模型的操作特性，数据接口实现了输入输出数据，数据包括会议的名称、会议开始时间、会议预计参会人数和会议主题等。[0037]会议室包含的属性有当前会议室的状态，空闲或已有预约。当前是否有正在进行的会议。
[0038]虚拟环境下为实现交互操作通过设备驱动模块捕获用户的输入信号，并定义了仿真与会者的概念，将输入信号转换为接近实际操作方式的自然交互信号，达到交互操作的目的。
[0039]交互硬件驱动模块提供了常用输入设备如鼠标、键盘等的信号捕获功能，能够实时响应用户对外设硬件的操作状态。
[0040]仿真与会者获取对输入设备采集到的各种事件以及用户的菜单操作事件，使用二维到三维环境的位置映射方法，转换成贴近于实际操作的自然交互信号。其中包括与会者观察点实时运动的交互操作，以及针对设备构件的按下、旋转等操作。
[0041]所述3D会议大厅(1-1)、服务台模块(1-2)、会议登录模块、3D会议室(2-1)与互动工具模块(2-2)、人员在线离线控制模块(2-3)之间的数据控制通过虚拟环境下的交互操作实现；
虚拟环境下的交互操作具体包括以下步骤，
1)服务台模块(1-2)和互动工具模块(2-2)的交互硬件设备备如鼠标、键盘等获取交互操作命令，实时响应用户对外设硬件的操作状态；
2)仿真的参会人员获取对输入设备采集到的各种事件以及用户的菜单操作事件，使用二维到三维环境的位置映射方法，将映射的数据转换成贴近于实际操作的自然交互信号；其中包括与会者观察点实时运动的交互操作，以及针对设备构件的按下、旋转等操作。
[0042]3)记录用户操作过程的视点操作:包括对3D会议大厅(1_1)、3D会议室(2-1)与互动工具模块(2-2)的移动、平移和旋转；
4)将输入信号转换为接近实际操作方式的自然交互信号，达到交互操作的目的。
[0043]以上仅是本发明的优选实施方式，应当指出:对于本【技术领域】的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【权利要求】
1.一种基于虚拟现实的3D场景网络视频会议系统，其特征在于:包括3D场景的虚拟会议大厅模块(1)、3D场景的虚拟会议室模块(2)、视频会议服务器(3)和仿真数据库(4)；所述虚拟会议大厅模块(I)和虚拟会议室模块(I)的数据存储在仿真数据库(4 )中，所述虚拟会议大厅模块(I)和虚拟会议室模块(2 )通过网络协议与视频会议服务器(3 )建立连接； 所述虚拟会议大厅模块(I)包括: 3D会议大厅(1-1):用于模拟真实的会议大厅；包括会议统计单元、会议安排单元、显示屏，所述会议统计单元统计所述仿真数据库中当前3D会议室的占用、空闲数据，并在显示屏上显示； 服务台模块(1-2):用于会议室状态查询、会议创建和预约功能； 会议登录模块(1-3):用于进入虚拟会议室参会； 所述3D会议大厅(1-1)、服务台模块(1-2)和会议登录模块(1-3)顺序连接； 所述的虚拟会议室模块(2)包括: 3D会议室(2-1):用于模拟真实的会议室； 互动工具模块(2-2):用于会议室工具的操作； 人员在线离线控制模块(2-3):用于参会人员模型的在线离线控制显示； 所述3D会议室(2-1 )与互动工具模块(2-2)、人员在线离线控制模块(2-3)顺序连接。
2.根据权利要求1所述的一种基于虚拟现实的3D场景网络视频会议系统，其特征在于:所述3D会议大厅(1-1)包括会议统计单元、会议安排单元，所述会议统计单元统计所述仿真数据库中当前3D会议室的占用、空闲数据，并在显示屏上显示。
3.根据权利要求1所述的一种基于虚拟现实的3D场景网络视频会议系统，其特征在于:所述服务台模块(1-2)包括会议室状态查询单元、会议查询单元、会议创建单元、会议预约单元、会议参加单元； 会议室状态查询单元通过服务台模块选择的3D会议室名称检索仿真数据库中会议室的占用标识状态，显示会议室占用或者空闲状态； 会议查询单元通过服务台模块选择的3D会议室名称，查询会议室关键词检索仿真数据库中相关会议室的会议信息数据，将所述数据以列表的形式反馈给服务台模块； 会议创建单元将仿真数据库(4)中的目标会议室由空闲标识为会议占用； 会议预约单元在仿真数据库(4)的目标会议室数据中增加参会人信息、视频数量、视频分辨率、视频的帧率参数信息； 会议参加单元通过仿真数据库(4)中数据信息的对应匹配将参会人引入到目标会议室。
4.根据权利要求1所述的一种基于虚拟现实的3D场景网络视频会议系统，其特征在于:所述人员在线离线控制模块(2-3)的参会人员模型的显示消失方法包括以下步骤， 仿真数据库(4)中存储人员模型和名牌模型数据，参会人员在线离线状态保存视频会议服务器(3)上，视频会议服务器(3通过网络协议将所述人员模型和名牌模型数据传送给人员在线离线控制模块(2-3)，人员在线离线控制模块(2-3)收到人员在线状态通知，从仿真数据库读取人员和名牌模型，根据3D会议室参会人员数量计算人员和名牌模型的排放位置，并把所述排放位置信息保存在仿真数据库(4);人员在线离线控制模块(2-3)收到人员离线状态通知，从仿真数据库查询离线人员的位置信息，然后将人员和名牌删除。
5.根据权利要求1所述的一种基于虚拟现实的3D场景网络视频会议系统，其特征在于:所述3D会议大厅(1-1)、服务台模块(1-2)、会议登录模块、3D会议室(2-1)与互动工具模块(2-2)、人员在线离线控制模块(2-3)之间的数据控制通过虚拟环境下的交互操作实现； 虚拟环境下的交互操作具体包括以下步骤， 1)服务台模块(1-2)和互动工具模块(2-2)的交互硬件设备获取交互操作命令，实时响应用户对外设硬件的操作状态； 2)仿真的参会人员获取对输入设备采集到的各种事件以及用户的菜单操作事件，使用二维到三维环境的位置映射方法，将所述映射的数据转换成贴近于实际操作的自然交互信号； 3)记录用户操作过程的视点操作:包括对3D会议大厅(1-1)、3D会议室(2-1)与互动工具模块(2-2)的移动、平移和旋转； 4)将输入信号转换为接近实际操作方式的自然交互信号，达到交互操作的目的。
6.根据权利要求1所述的一种基于虚拟现实的3D场景网络视频会议系统，其特征在于:所述的会议室互动工具模块(2-2)包括视频控制模块、音频控制模块和投影模块，所述视频控制模块、音频控制模块和投影模块都是基于独立的三维模型实现。
7.根据权利要求6所述的一种基于虚拟现实的3D场景网络视频会议系统，其特征在于:所述视频控制模块用于控制视频路数，所述控制视频路数方法具体包括以下步骤， 1)定义第一变量保 存会议可打开的最大数，所述整形变量通过查询仿真数据库获取最大数值； 2)定义第二变量保存已经打开的视频数量； 3)每次打开视频时，第二变量都要和第一变量比较，保持第二变量的值小于或和等于第一变量； 4)视频会议服务器接收来自视频控制模块的打开命令申请，视频会议服务器收到视频数据后，查询仿真数据库获取参会人员名牌的位置信息，计算出视频显示区域，将视频显示在所述区域； 5)视频服务器接收来自视频控制模块的关闭命令申请，视频服务器查询仿真数据库获相应参会人员名牌的位置信息，计算出视频显示区域并把所述区域清空。
8.根据权利要求6所述的一种基于虚拟现实的3D场景网络视频会议系统，其特征在于:所述音频控制模块通过3D视频会议室中喇叭和麦克风来控制计算器的语音开关、音量和麦克风的打开和关闭，3D视频会议室通过调用计算机操作系统的音频控制API接口，传递相应的音频控制信息来控制计算机的音频设备。
9.根据权利要求6所述的一种基于虚拟现实的3D场景网络视频会议系统，其特征在于:所述投影模块包括投影仪，通过所述投影仪播放会议所需的视频或图文资料。
10.根据权利要求1所述的一种基于虚拟现实的3D场景网络视频会议系统，其特征在于:所述3D会议室(2-1)包括基础设施构件、会议设备构件和会议室构件；所述3D会议室(2-1)的构件基于统一建模实现，将基础设施构件、会议设备构件和会议室构件抽象为统一的底层数据模型、逻辑机制、操作模式；所述基础设施构件、会议设备构件和会议室构件包括3D显示模型、逻辑功能和数据接口属性。
【文档编号】H04N7/15GK103888714SQ201410106969
【公开日】2014年6月25日 申请日期:2014年3月21日 优先权日:2014年3月21日
【发明者】赵新冬, 张量, 王勤, 戴威 申请人:国家电网公司, 江苏省电力公司, 江苏省电力公司电力科学研究院