大型多媒体会议发布系统的问答系统的制作方法

专利名称：大型多媒体会议发布系统的问答系统的制作方法
技术领域：
本发明涉及计算机和互联网通信领域，具体来讲是适用于互联网大型多媒体会议 系统，一般用于互联网上商业新产品发布，大型研讨会议等。
背景技术：
随着互联网商业应用普及，越来越多的人们通过互联网获取信息，购买产品，而生 产厂商也越来越多地通过互联网多媒体会议发布产品信息或推广自己产品，使得互联网上 的市场活动越来越频繁，规模也越来越大。在互联网大型多媒体会议中，利用现行的多媒体 广播技术，可以将会议现场发布到众多的听众，能够解决多媒体发布会议的发布需求。但 是，在大部分推广会议中，都毫无例外的需要主持者与广大参与者互动，如问答，讨论。现在 的媒体发布活动都不能提供直接的音视频提问，作为转换，参与人通过文本方式将问题传 给主持人，主持人用音频回答，基本上没有问答者与主持人直接交流，严重互联网多媒体发 布的效果。现有的互联网发布系统，由TOB发布管理服务器，流媒体广播服务器，媒体发布推 送接入点，媒体发布网络，媒体接收终端(用户终端)组成。媒体发布推送点一般是固定会 场，提前设置，连接到WEB发布管理服务器，媒体推送到流媒体广播服务器。媒体接收终端 (用户终端)一般是浏览器，也有带有P2P功能的程序，首先登陆到WEB发布管理服务器， 获取接收媒体的地址，使用流媒体播放器观看互联网广播，同时终端会保持同WEB发布管 理服务器连接，文字提问通过WEB服务器转发给推送接入点。一般来讲，媒体发布网络采用 ⑶N网或是P2P终端组网，有效降低了服务器的出口带宽，大多数用户通过⑶N接入点，或 者P2P结点，就近获取媒体流。由于⑶N和P2P —般用于文件方式发布，实时性差，媒体延 时一般在30秒左右，无法进行实时双向沟通。目前常见的流媒体发布系统有Microsoft的MediaPlayer，Real的RealTime， Apple的QuickTime和Adobe的Flash，而TOB服务器容易搭建，因此基于此方案的提供商
非常多。另一种Internet多媒体会议方式，采用中心服务器，所有客户端连接到服务器， 由服务器分发媒体，该方式的优点是实时性好，支持互动，能够实现问答等强交互需求，缺 点是出口带宽高，不能适应大规模发布的要求。

发明内容
本发明的目的在于通过构造一个访谈模式的互联网发布系统，升级目前流行的互 联网广播发布系统，在保障大规模参与人收看发布活动的前提下，提供参与人同主持人的 双向互动，提升互联网多媒体发布系统的效果。本发明大型多媒体会议发布系统的问答系统采用的技术方案为一种大型多媒体会议发布系统的问答系统，其中主持人和嘉宾是在一个具有双 向强交互、低延时的网上虚拟会议室举办发布活动，该网上虚拟会议室的音频和视频以流媒体方式发布，文档类数据业务以互联网接入方式发布，广大参与者通过互联网方式收看 发布活动；当会议进入问答阶段后，网上虚拟会议室中的主持人或授权嘉宾从广大听众中 选择一个或几个参与者进入虚拟会议室，进入网上虚拟会议室的参与者同嘉宾一样在虚拟 会议室中同主持人互动，实现如同进入发布现场一样的效果，问答互动，双向交流；问答结束后，主持人或授权嘉宾收回问答参与者的权限；问答结束后，参与人选择回到原来的模式。一种大型多媒体会议发布系统的问答系统，包含有虚拟会议室系统和会议室发布系统，虚拟会议室系统包含会议管理服务器和业务服务器，该会议管理服务器包含会议相 关管理模块和服务器相关管理模块，该虚拟会议室系统还包含有转换服务器，该转换服务器的功能是将业务服务器中 的数据和信令转换成RIA富媒体，并将RIA富媒体的输入转换成业务服务器发送的信令和 数据，通过RIA富媒体服务器，与客户端进行双向互动；该会议室发布系统包含发布服务器，该发布服务器的功能是将会议中的业务服务 编码，推送到流媒体服务器，流媒体服务器广播到客户端，发布服务器提供消息接口给会议 相关管理模块；该服务器相关管理模块记录所有转换服务器和发布服务器的服务器数据结构并 为会议室相关管理模块提供服务器调用接口；该会议室相关管理模块为每个会议分配发布服务器地址和转换服务器地址；为每 个会议中所使用的业务服务分配发布服务器地址和转换服务器地址；该会议相关管理模块具有切换用户类型接口，该切换用户类型接口将用户类型在 WEB客户端和RIA富媒体客户端之间切换；当发布会议时，会议相关管理模块调用发布服务器，发布服务器将会议中的内容 广播到TOB客户端；当用户参与问答时，会议室相关管理模块通过切换用户类型接口将TOB客户端转 换为RIA富媒体客户端，RIA富媒体客户端通过转换服务器与虚拟会议室系统业务服务器 双向互动。一种大型多媒体会议发布系统的问答系统，通过如下步骤实现当WEB客户端申请问答时，问答信令通过浏览器发送给了 WEB服务器，TOB服务器 发送给会议管理服务器，会议管理服务器发送给主持人客户端，主持人客户端显示该用户 申请提问；主持人客户端收到参会人提问申请以后，主持人或授权嘉宾根据会议进程需要， 选择参会人进入问答模式，此时主持人或授权嘉宾从管理客户端发出信令，通过接入、传输 服务器发送到业务管理服务器，业务管理服务器请求转换服务器，分配双向交流信道给指 定的客户端，分配到资源后，通知WEB服务器该终端切换到问答客户端，同时下发通道信息 给该用户的WEB浏览器，该用户浏览打开一个新窗口，启动会议RIA富媒体客户端，同时暂 时停止浏览器的流媒体播放，这时该用户如同嘉宾一样，使用RIA富媒体客户端同主持人 及嘉宾进行双向交流，同时WEB服务发送信令给会议管理服务器，该用户已经进入问答模 式，会议管理服务通知主持人客户端，该用户已经进入问答模式。参会人提问完成后，主持人或授权嘉宾根据会议进程，收回该参与人权限，主持人或授权嘉宾从管理客户端发出信令，通过接入、传输服务器发送到业务管理服务器，业务管 理服务器通知WEB服务器，FLASH客户端停止工作，恢复流媒体播放，该用户回到原来模式。参会人提问完成后，自己选择回到原来模式，这时，信令送到WEB服务器，转发给 业务服务器，业务服务器通知主持人和嘉宾，该用户的提问模式结束，同时通知转换服务 器，收回该参与人的信道，WEB服务器收到信令后，产生浏览器事件，让该参会人的浏览器回 到流媒体播放，并关闭RIA富媒体客户端。参会人收看会议进入稳定状态后，WEB服务根据轮换法则，让各个与会下载RIA富 媒体应答客户端，使得网络流量平均，而且在问答切换时不用下载，减少切换时间。本发明的有益效果是，改变目前物理会议室发布模式，采用互联网虚拟会议室，主 持人，嘉宾通过虚拟会议室的强交互，通过互联网广播发送给广大与会者，减少发布活动的 会议室和差旅成本，并且使得发布活动能随时随地进行。而临时将互联网听众加入到虚拟 会议室，在保障低带宽情况下，解决了发布活动的老大难问题，实时问答互动。



图1为本发明大型多媒体会议发布系统的问答系统的系统构架图；图2为本发明大型多媒体会议发布系统的问答系统的传输模式示意图；图3为本发明大型多媒体会议发布系统的问答系统的客户端的系统构架图；图4为本发明大型多媒体会议发布系统的问答系统中主持人及嘉宾登陆的流程 图；图5为本发明大型多媒体会议发布系统的问答系统中参与人登陆的流程图；图6为本发明大型多媒体会议发布系统的问答系统中启动应答模式的流程图；图7为本发明大型多媒体会议发布系统的问答系统中用户申请提问的流程图；图8为本发明大型多媒体会议发布系统的问答系统中批准用户进入提问模式的 流程图；图9为本发明大型多媒体会议发布系统的在问答过程中各个服务器相互作用的 流程图；图10为本发明大型多媒体会议发布系统的问答系统的总体部署图。
具体实施例方式本发明大型多媒体会议发布系统的问答系统，主要用于解决多媒体大型会议系 统中的广大参与者与会议主持人的问答互动问题，在保障较低带宽的前提下，让原来发布 系统的广大听众能够受控的同主持人及嘉宾双向沟通，极大提升网络多媒体发布会议的效 率；也使得互联网多媒体发布不在依赖地点，嘉宾、主持人和广大参与者都可以在不同地点 接入，方便了发布活动的随时随地进行，降低了发布活动成本。具体来讲，主持人和嘉宾是在一个具有双向强交互、低延时的网上虚拟会议室举 办发布活动，该网上虚拟会议室的音频和视频以流媒体方式发布，文档等数据业务以互联 网接入方式发布，广大受众可以通过互联网方式收看发布活动。由于发布会议室是互联网 虚拟会议室，主持人可以从广大听众中选择一个或几个进入虚拟会议室，这几个听众就如 同嘉宾一样在虚拟会议室同主持人互动，实现如同进入发布现场一样的效果，问答互动，双向交流。请参见图1，本发明大型多媒体会议发布系统的问答系统包含有虚拟会议室系统 和会议室发布系统。其中，虚拟会议室系统的功能是支持小于20人的参与者，每位参与者 可以使用音频视频及文字、文档及其他数据共享，使得大家如同在一个会议室一样，充分交 流。虚拟会议室系统，包含，服务器端和客户端。服务器端包含有会议管理服务器、业 务服务器、接入、传输服务器、转换服务器，服务器端的功能是负责会议室管理及提供双向 的音视频及数据共享服务。客户端包含WEB客户端、FLASH客户端和管理客户端，客户端 的功能是实现用户参与会议、参与问答的终端。FLASH客户端是基于FLASH实现的客户端， 一般用于广大听众进入问答环节，管理客户端是主持人和嘉宾用的客户端，功能上比FLASH 客户端丰富一些，主要是数据共享功能要丰富充分，也要高效得多，能够使用本地资源。
会议室发布系统包含会议室发布服务器和流媒体服务器，发布子服务器将虚拟会 议室的音视频、数据共享等场景合成为一路音视频流媒体，推送给流媒体服务器，流媒体服 务器负责将其在网络上发部，广大参会者通过IE等浏览器收看虚拟会议室的多媒体流，参 与发布活动。当一个发布活动的听众，被邀请进入虚拟会议室时，启用FLASH客户端，用户仍然 保持用浏览器方式，不过浏览的是FLASH网页，FLASH插件会同虚拟会议室的FLASH服务器 联系，进入虚拟会议室。因此在该系统中，发布活动的听众始终保持使用浏览器方式参与会议，无需安装 特别的应用程序。用于广大发布活动的受众基本上是在使用多媒体广播收听方式，如同当前其他发 布系统一样，带宽较低，在虚拟会议室人数保持在20人一下，也对服务的带宽不构成压力， 因此，该方式仍然有效解决了受众需要双向互动与带宽需求间的矛盾，在有限带宽下提供 大规模用户接入使用。比较目前通常的互联网发布系统，通过一个会场，将嘉宾连同主持人一起在主会 场，并要请一定数量的听众进入主会场，然后将主会场的声音和图像通过互联网广播方式 发布给网上与会者，同时该发布网站提供双向文字聊天功能，网上与会者仅仅观看发布音 视频，通过文字聊天方式将问题提给主持人，由主持人选择回答者回答。该方法最大问题是 需要会议室，主持人和嘉宾必须到一起，其成本和费用较高。采用该发明方式，支持人和嘉宾可以在不同地点，不需要特定会议室，直接以网上 虚拟会议室模式将主持人和嘉宾活动发布给广大与会者，极大节省差旅和会议室成本，可 以随时随地进行发布活动。通过将提问者临时加入到虚拟会议室，如同嘉宾一样在会议中通主持人与嘉宾互 动，实现了可控的问答模式，解决普通互联网发布会议中的问答问题，使得网络用户同现场 用户一样可以实现音视频互动，使得会议的听众成为了真正的参与者，提高了会议的通信 能力。关于本发明的系统和实现方法，现结合附图具体描述如下会议室发布系统包含TOB服务器、发布服务器、流媒体服务器和FLASH服务器。虚 拟会议室系统和会议室发布系统相互交互实现虚拟会议室的功能。
虚拟会议室系统通过传递消息(Message)实现各功能模块的连接，下表为消息 (Message)的结构组成，在整个虚拟会议室系统中没有特别指明的消息均为这一消息结构。 下面分别介绍各个功能模块的数据结构及功能(一)、会议管理服务器会议管理服务器的功能是服务管理所有召开的会议，负责将受众转换成虚拟会议 室的与会者。更具体来讲包括分配接入、传输服务器，分配业务服务器，分配转换及发布服 务器给一个用户，并负责处理用户关于会议相关的请求，负责将用户状态从收听状态转换 到双向交互状态，是虚拟会议室和发布的核心部分。会议管理服务器根据功能划分，包含会议相关管理模块及服务器相关管理模块两 部分，会议相关管理模块主要功能是维护会议状态及会议中用户状态，而服务器相关管理 模块的主要功能是维护同各种服务器的心跳，为会议及用户分配服务器，完成服务器故障 时的切换等工作。下面一一描述各部分实现。1、会议相关管理模块的数据组成和功能细分会议相关管理模块管理的会议以列表形式保存会议管理服务器中，该会议列表记 录着所有当前会议的信息，会议(Conference)列表的结构包含 会议的用户列表(nuiserList)记录了参与人的所有信息，其结构组成如下表所 述 参与人在TOB服务器登陆时，根据登陆消息决定用户角色，用户角色可以是主持 人、嘉宾或参与人。登陆消息由WEB服务器发送到会议管理服务器，由会议相关管理模块 提供的管理接口根据角色分配服务器，让参会人能够正常入会(参见下述用户加入会议接 口)。用户号是会议中参与者的唯一标识，用户类型决定了当前用户被分配的客户端类型， 会议中如果参与人参与问答，实际是会议相关管理模块将参与者的用户类型从WEB客户端 提升到FLASH客户端或管理客户端，使得用户可以使用双向交流功能。用户状态标识用户 目前是处于在线或下线、是否处于临时问答状态。会议相关管理模块将登陆的参与人设成 WEB客户端类型，即参与人首先成为流媒体广播的受众，仅能收听流媒体(包括FLASH流媒 体)广播。接入、传输服务器地址(nutransferServer)记录着客户端连接的接入、传输服 务地址，是在用户登录时就分配好的，对于WEB客户端，该地址依然分配，但仅仅在用户参 与问答，且已经安装有客户端时，客户端会自动被调起，连接该地址，进入问答环节。对于客户端登陆的用户，会议管理服务器根据其账户，将其设置成主持人或嘉宾， 这些人进入会议室，所有与会者都能看到。其中WEB客户端的参与者能看到主持人和嘉宾， 但WEB客户端参与人不能看到WEB客户端的其它参与人。会议列表中的业务服务列表(n^serviceList)是记录了各个业务服务所在的业
务服务器，具体定义如下 会议相关管理模块提供会议管理接口给TOB服务器，这样，管理者或是TOB用户就 能通过会议管理接口管理会议，该会议管理接口包含创建会议rreateConference (会议参数)，返回会议ID。创建会议，填充会议记 录，并将记录加入会议列表中。结束会议deleteConference (会议ID)，没有返回。如果会议没有停止，停止会 议，从会议列表中移除会议。开启会议=StartConference (会议ID)，返回成功或失败。设置会议状态为开启状 态，发送消息给所有与会用户，会议开启，可以使用业务。关闭会议utopConference (会议ID)，返回成功或失败。设置会议状态为关闭状 态，发送消息给所有与会用户，会议关闭，关闭会议中的所有业务。锁定会议dockConference (会议ID)，返回锁定状态。禁止新的用户加入到会议。会议解锁wnlockConference (会议ID)，返回锁定状态。允许新的用户加入到会 议。
用户加入会议USerJ0in (会议ID，用户记录)，返回分配的接入、传输服务地址或 转换服务器地址。如果会议允许新的用户加入到会议，将用户加入到会议记录的用户列表 中，根据用户类型，分配接入、传输服务地址或转换服务器地址，返回该地址。并将用户ID 记录到相应服务器用户列表，通知服务器该用户加入会议。用户退出会议=UserQUit (会议ID，用户ID)，返回成功或失败。首先通知用户所 用服务器，该用户退出会议，然后从服务器记录中移除该用户ID，最后从列表中移除用户记录。切换用户类型=UserTypeChange (会议ID，用户ID，用户类型)，用户类型在TOB客 户端和FLASH客户端之间切换，返回成功或者失败信息。该接口是交换方式切换的接口，查 找会议用户信息，设置用户类型，根据当前用户类型，通知相应服务器用户状态的切换，包 含该用户使用的业务服务器及转换服务器等。获得会议用户列表getUSerLiSt (会议ID)，返回该会议用户列表。业务及TOB服 务器通过该接口获取用户列表，用于显示或业务处理。WEB服务器除了通过以上接口外，还通过消息接口，将用户消息发送给会议管理服 务器，由会议管理服务器对会议消息作出响应。上述接口是会议管理服务器的对外功能。2、服务器相关管理模块会议管理服务器除会议相关的管理外，还要管理业务服 务器、接入、传输服务器、转换服务器和发布服务器，并结合负载均衡算法，分配相关服务器 给各个会议。所有服务器保存在服务器管理数据结构(ServerManager)中，具体定义如下这些服务器实时记录数据结构(Server)如下 服务器相关管理模块对会议相关管理模块提供服务器调用接口(函数接口)，包 括如下接口请求服务器=ServerReq (服务器类型，confID)，返回服务器ID。业务服务器增加用户=ServiceAddUser (服务器ID，conf ID, userID)在服务器上 增加一个用户，用于负载记算。业务服务器删除用户=DeleteUser (服务器ID，confID, userID)，从服务器上剔除 一个用户，用于负载记算。获取服务器记录getServer(服务器ID)，返回服务器数据结构(Server)获取服 务器详细资料。切换服务器=ServerMigrate (原服务器ID，confID列表)返回新服务器ID散列 数组，该方法用于服务器故障时服务器切换，返回散列数组的下标是会议ID，即可能根据负 载情况，将会议分配到不同服务器上。服务器相关管理模块在数据结构的基础上提供不同的服务器调用接口给不同的 服务，服务器相关管理模块与所有的业务服务器，接入、传输服务器，转换服务器之间设置 有管理接口，这些接口比较一致，包含注册、注销和心跳。具体内容如下月艮务器注册serverRegister (m_serverType, server),返回 m_serverID 将服务器类型和服务器记录数据结构输入，返回服务器ID。记录服务到服务器管理 (ServerManager)数据结构的!^servers Map中，并且根据服务器种类，加入不同服务器到 m_serviceServers> m_transferServers 或 m_transIateServers,建立至Ij月艮务器心跳接收， 任务分配根据列表及心跳数据挑选服务器给不同会议及用户。月艮务器注销:serverUnregist (m_serverType, m_serverID),返回成功或失败 停止服务器心跳接收，从服务器管理(ServerManager)数据结构的n^serversMap中 移除月艮务器i己录，牛艮据月艮务器禾中类，从m_serviceServers> m_transferServers或m_ translateServers中移除月艮务器。服务器心跳heartbeat(服务器 ID，m_cpu, m_memory, m_io, m_disk)，发送心跳， 包含一个server的可用数据。服务器相关管理模块在分配服务器时根据服务器类型，查找到相应的服务器列表，首先剔除不可以使用的服务器，根据m_Cpu，m_mem0ry，m_i0和m_disk各占30%、30%， 30 %，10 %的权重来计算服务器使用度，此外，还要根据服务器上的人数，计算出每个用户 对m_cpu，m_memory，m_io和m_disk使用量，将使用量按照30%、30%，30%，10%的权重计 算出单个人使用的情况，根据使用度计算结果，计算剩余的能力(定义机器加权最大能力， 一般是机器cpU、mem0ry、i0和disk上限值计算所得一种机器为一个常量，减去使用度即为 剩余能力)，将剩余能力除以单个人使用的情况，按照数值取最大值分配机器。在服务器发生故障时，服务器相关管理接收不到服务器的心跳，在连续两次心跳 没有接收到时，通知会议相关管理服务器故障，会议管理查找所有在该服务器上的会议，调 用ServerMigrate实现服务器切换。 (二)、业务服务器业务服务器整个虚拟会议室系统的基础，负责提供虚拟会议室内的各项服务，包 含但不局限于语音服务、视频服务、文字聊天、文字调查、文字问答、白板共享、桌面共享和 应用共享。下面一一列举了各服务模块具体实现的功能语音服务包含控制各个与会者语音，包括静音、悄悄话、混音、分发音频数据和音 量大小调节等功能。视频服务包含控制各个与会者的视频，包含共享，视频混合，分发视频数据等功 能。文字聊天支持所有与会者的文字聊天功能，包括从TOB服务器来的聊天文字消 肩、ο文字调查通过下发调查问卷方式，直接在会议中发起调查，并能统计、广播调查 的结果。文字问答通过文字方式提问，嘉宾或支持人以文字方式应答，在不影响会议情况 下，回答受众问题。白板共享虚拟白板共享，所有虚拟会议室中的参与者可以再白板上画图，帮助表 达和讨论。文档共享主持人和嘉宾向所有与会者共享文档，如PPT演示等。桌面共享主持人和嘉宾将自己电脑桌面共享给所有与会者，对于演示或展示产 品界面，更为友好。应用共享如同桌面共享一样，将主持人和嘉宾将自己的应用展示给与会者，演示 产品功能是非常有效。所有的业务服务器提供的业务服务都是具有相应功能的服务器实现的，本系统中 的音频服务、视频服务、白板共享、文档共享、桌面共享、聊天、问答、调查等具体业务服务器 均为现有成熟技术，在此不在赘述。业务服务器提供消息接口给接入、传输服务器、发布服务器和转换服务器，将业务 的信令处理结果以消息方式通知客户端或是发布服务器和转换服务器，每个业务服务器都 要向会议管理服务器注册，由会议管理服务器分配会议到不同的业务服务器，业务服务器 定期向会议管理服务器发心跳，带有服务器可用性数据，以利于会议管理掌握服务器状态， 分配会议资源。所有业务服务器都记录自己处理的会议，也是一个会议列表，不过业务服务器的 上述会议结构中的用户列表记录了会议中的所有用户，用户数据结构与会议管理 中的定义相同。会议结构中业务组列表(m_gr0UpList)是业务实例的列表，每个业务实例 是一个Group，具体定义如下 业务服务器提供公用的消息接口 信令消息接收uendMessage (消息结构)，返回消息处理结果。会议管理服务器，接入、传输服务器，发布服务器和转换服务器均通过该消息接口 向业务服务器发送消息，业务服务器根据消息内容作相应处理。除公用消息接口外，业务服务器中的各服务器还给会议管理服务器提供以下接 Π 创建业务月艮务:createService (conf ID, m_translaterServer, m_distServer)，返 回业务组ID。该接口用于会议管理创建会议中的业务服务，一般是在会议开始时，缺省需要 创建的业务服务，在会议中可以随时开启新的业务服务。删除业务实例deleteSerViCe(m_gr0upID)，没有返回。一般用于会议结束时删除业务实例。用户加入业务userJoin(confID，userID)，返回成功或失败。用户加入该业务，一 般用于会议中用户登录时的业务处理，用户退出业务uSerQuit (COnfID，uSerID)，没有返回。用于用户退出会议时的业 务处理。会议管理服务器调用这些接口，管理分配业务实例到不同的业务服务器。 会议客户的数据流通过接入、传输服务器和转换服务器送到业务服务器，服务器 处理后，结果以数据消息方式，通过接入、传输、转换服务和发布服务器送抵用户终端。(三)、接入、传输服务器虚拟会议客户端直接连接到服务器端接入、传输服务器，用户的所有数据和信 令，都通过接入、传输服务器送达到会议管理服务器和业务服务器，在接入、传输服务器 中，主要关注每个客户端连接情况，每个用户的每个业务实例即Group，都分到一个通道 (Channel)，用户通过各个通道(Channel)发送数据给不同的业务服务器和会议管理服务 器，每个会议中预设一个特定的Group表示会议管理服务器。接入、传输服务器的数据以通 道为中心，通道(Channel)的具体定义如下 接入、传输服务器保存了一个以通道ID为键值的通道Map，所有通道都保存在该 Map中，除此以外，为了查找方便，还建立了以{conffD，group ID, userlD}为组合键值的通 道Map，可以简单的用会议号、Group号和用户号查找一个通道。接入、传输服务器保持同客户端的连接(nucormect)，当用户端的消息通过网络送 到服务器时，消息(Message)中含有C0nfID、gr0upID和userlD，接入、传输模块要根据消息 中的这些字段查找到通道，然后将消息转发给通道中的业务服务器或会议管理服务器(m_ server)，即通过调用业务服务器或会议管理服务器的sendMessage接口，将消息发送给服 务器。
接入、传输服务器一样提供消息接口，其他服务器都可通过该接口发送消息给客户端信令消息接收uendMessage (消息结构)，返回消息处理结果。当有业务服务器或是会议管理服务器调用该接口时，接入、传输模块根据消息中 的C0nfID、gr0upID和userID查找到通道，用通道的连接(m_c0rmect)，将消息发送给用户。同所有业务服务一样，接入、传输服务器需要向会议管理注册，并发送心跳数据， 会议管理负责按照负载均衡原则分配用户到不同的接入、传输服务器。(四)、转换服务器转换服务器(又称FLASH融合模块)的功能是将业务服务器中的桌面共享、应用 共享、文档共享、白板共享、文字调查、文字问答和文字聊天的数据和信令转换成RIA富媒 体，如FLASH的对象或流，并将RIA富媒体(FLASH对象或流)的输入转换成业务服务器发 送的信令和数据，通过Flash (RIA富媒体)服务器，与浏览器客户进行双向互动。本发明中 Flash技术是RIA富媒体中的一种，本发明可采用其他富媒体形式，并不限定于Flash技术。转换服务器负责将FLASH消息，一般是一个java Map管理的属性池，转换成消息 结构，发送给相应的服务或会议管理，另一方面，将消息结构转换成FLASH消息，即将消息 中的各项值以名字为键值，保存到Java Map中去，构造出FLASH消息，驱动FLASH客户端。 对于业务数据，转换成RTMP流形式，直接发送至FLASH服务器分发，这包含音视频数据和桌 面共享数据，其他数据仍然以FLASH消息方式分发到FLASH客户端。本发明中FLASH客户 端是RIA富媒体客户端的一种形式，该客户端还可以采用RIA富媒体的其他形式，本发明实 施例仅为表述方便，采用Flash进行限定描述。转换服务器主要是以业务实例为一个共享对象分发数据的，转换端作为一个共享 对象的终端，向共享对象发送数据，同时将从共享对象中获取客户端的FLASH消息对象，将 FLASH消息对象转换成消息对象。转换服务器如同接入、传输服务器一样，保存每个用户的连接通道，通道结构定义 也与接入、传输服务的相仿，唯一不同是不记录连接，而是记录个体的RTMP连接对象，具体 定义如下 除了 RTMP连接用于发送单个用户的点对点消息外，在FLASH服务器上，还有共享 对象，用于发送共享消息，用于每个业务组的共享消息发布，转换服务器基于RED5的ORG服 务器，前端的FLASH服务器基于RED5的Edge服务器，前端仅仅是分发服务，转换服务器是 业务相关的处理，共享对象记录在Map中，以会议号和Group号联合为键值，需要分发的消 息在找到对象后直接发送给对象分发。(五)、客户端客户端的功能是为了提高主持人和嘉宾的交互效率，安装到主持人和嘉宾的终端 计算机上的程序，主要功能是收集用户操作信息及媒体数据，发送给相应服务器，并将服务 器下发的信令和数据实现为动作或媒体，展现给用户。主持人和嘉宾需要该程序，以高效方 式控制、参与会议。按照功能和角色分为WEB客户端(浏览器客户端)、FLASH客户端和管 理客户端。客户端是一个Windows的应用程序，负责收集用户指令，展现系统功能，该客户 端系统构架如图3所示，包含有应用的框架，Plug-in管理，所有的业务均以插件形式存在， 为业务扩展流下空间。每一个插件对应用于一个业务服务器，与其通信，实现业务功能。该 客户端同普通的IM客户端(如MSN) —样，负责用户在虚拟会议室中的交互。一般嘉宾和 主持人使用管理客户端，以提升互动的质量。普通的与会者一般使用浏览器客户端，包含 Flash插件，保障以流媒体方式收看会议广播，当要提问时，转换到Flash方式，进行双向互 动，此时用户使用的客户端从WEB客户端转换为FLASH客户端。客户端为现有成熟技术，在 此不再赘述。二、会议室发布系统如图1所示，会议室发布系统含有TOB服务器、发布服务器、流媒体服务模块和 FLASH服务模块，TOB服务器是系统的入口，是发布服务器与FLASH服务器的管理者，是该系 统的核心。发布服务器利用Encoding技术，将会议室中的音视频编码成网络流媒体，推送 给流媒体服务器广播分发。FLASH服务器是RED5的Edge服务器，负责FLASH流媒体广播， FLASH客户端的信令分发等；下面一一介绍l、Wra 服务器所有与会人，包括客户端的主持人和嘉宾，WEB接入的广大参与者，都是通过TOB 登录上系统的，因此WEB服务器首先是该系统的登录门户，实现用户管理相关的功能，包括 用户注册，用户会议预定等功能，此为现有成熟技术，在此不再详述。会议的第一个用户登录后，WEB服务器首先要调用会议相关管理模块提供的创建 会议管理接口创建会议，在会议列表中添加了一条会议记录，使得一个会议被创建，且该用 户的内容被写入用户列表，并且对会议所需的服务器进行资源分配，但并不开启会议。WEB 服务器在主持人入会时，调用会议相关管理模块的开启会议接口开启会议，WEB服务器并不 保存会议数据，当信令到达时，到会议管理查询，根据查询结果判断应该采取的行动。对于主持人和嘉宾从TOB服务器端登录后，返回网页会检查是否存在客户端软件，如果有，直接调起客户端，将用户、接入、传输地址等相关消息同时提交客户端，客户端 直接连接接入、传输服务，开始会议。如果没有客户端，提示下载客户端，然后调起客户端。 如果用户不下载客户端，则用FLASH客户端模式，这时的嘉宾或主持人无法共享自己桌面， 其它功能同客户端一样，但交互能力略差。对于普通参与人入会，在TOB端登陆后，直接返回网页包含到发布服务器的流媒 体连接器，采用微软的MediaPlay、REAL的RealPlayer或是Apple的QuickTime，这媒体系 统都有浏览器插件，对每一场会议，根据需求，仅仅可以使用一种发布方式。这样返回网页 只要同流媒体服务器连接，观看会议进程。在返回的网页中，除了媒体播放，还含有数据共 享，如文档共享、聊天等，都以Flash广播方式，通过提取FLASH的静态页面实现，在流媒体 广播中，加有数据消息，通知页面数据共享页面改变，页面刷新FLASH的静态页，实现数据 共享同虚拟会议室中数据共享同步。会议中的提问请求，由WEB客户端浏览器发送到WEB服务器，TOB客户端将请求发 送给会议管理服务器，并根据会议管理服务器的应答，决定是否让一个WEB浏览器端开启 FLASH客户端程序，在这时，需要会议管理服务器分配相应资源，保障该FLASH客户端能使 用会议的音视频和其他数据共享业务，主持问答双向实时互动。TOB服务器如同大多数TOB JAVA服务器一样，是个粘合层，将发布，会议室，FLASH 客户端及客户端粘结在一起，完成系统功能。该方式保障了参会者能够观看到会议进展，而 且可控的将部分用户转换到强交互方式，实现虚拟现场的问答方式。2、发布服务器发布服务如同一般的流媒体发布的Endcoding终端一样，将会议中的音视频流编 码，推送到流媒体服务器，会议管理服务器会为每个会议分配发布服务器，发布服务也要记 录分配到的会议和会议的业务服务器，这里一般记录音视频业务服务器，具体会议记录如 下 这样，发布服务器中的业务服务器处接收每个媒体流数据，调用Microsoft、Real 或Apple的Encoding程序，完成编码，同时推送到流媒体服务，流媒体服务广播到广大用户。 发布服务器也有消息接口，业务服务器及会议管理服务器通过消息接口将数据及信令发送到发布服务器，该接口定义如下信令消息接收uendMessage (消息结构)，返回消息处理结果。发布服务器将接收到的音视频数据消息，通过Encoding程序，编码并推送给流媒 体服务，广播给广大与会者。对于文档共享，发布服务器将接收到的数据即文档页面的图片转换成静态Flash 页面保存在Web服务器端，当接收到翻页消息时，在流媒体Encoding程序中叠加翻页消息， 广播给广大参会者，参会者浏览器网页会主动到Web服务器提取所要的页面。对于问答，调查业务，发布服务器采用相同策略，将数据即XML格式的文字转换成 Flash静态页面，发布消息给客户端。对于白板，聊天和桌面共享等服务，方式比较复杂，除生成静态页面外，还要生成 增量数据，通过FLASH广播(富媒体RIA)，发布增量数据，这时，客户端需要保持Flash连 接，如同流媒体播放一样，对Server端推送的增量数据做处理。对于聊天，数据是文字，白 板是图形信息，而桌面比较复杂，是分区的小块图片，都是容易转换成FLASH Object，发送 到FLASH广播服务器进行广播。3、流媒体服务器该服务是标准的流媒体发布服务器，根据需要，可以部署微软的MediaPlayer、 Real的RealOne和Apple的QuickTime流媒体发布服务器，基本是选型部署，无需开发，这 里不再详细说明。4、FLASH 服务器这里是RED5的Edge，仅仅是FLASH分发服务器，包括FLASH流媒体分发及FLASH 对象共享的消息分发，也是仅仅部署，无需开发。三、具体使用过程对于一场发布，可以分为几个阶段，预备阶段，注册阶段，会议阶段，本发明与会议 阶段相关，为了较好说明具体使用过程，对其他几个阶段也加以简单说明。1、预备阶段在预备阶段，用户通过TOB服务器预定会议，并指定主持人，要邀请的嘉宾，及要 邀请的参与人，这时WEB服务器分配主持人的账号、密码，嘉宾账号，密码，以Email方式通 知主持人和嘉宾其账户与密码，并且提醒主持人和嘉宾提前下载客户端，以方便会议使用。 Email中同时有主持人和嘉宾的参与的URL，点击直接登录入会。对于参与人，一般分成公开发布会议，和内部发布会议，公开发表参与人来源较 多，除主办方提供，网上广告吸引参与人参与也是常用模式，内部发布，仅仅支持主办方提 供的参与人列表，但不管如何，参与人需要注册登记，确定出席。而主办提供名单，WEB服务 将发送Email邀请其注册。2、注册阶段在此阶段，被邀请的参与人或是通过广告直接邀请到的参与人，登录到TOB站点， 注册参与发布活动，该阶段结束时，会提供给客户参与人的注册情况，以方便客户管理会 议。注册阶段，参与人注册后会受到Email通知，包括会议日程，登录URL等。3、会议阶段会议阶段是发布活动的主体，也是本专利设计的主要参与过程，这里从主持人登
20陆开始，详细描述各个子系统的工作流程。3.1、登录过程主持人和嘉宾使用浏览器登陆，如图4所示，当检查没有下载客户端时，下载客户 端，如果下载客户端失败，或调起客户端失败，采用FLASH客户端方式加入会议。登录成功时，主持人和嘉宾以管理客户端或者是FLASH客户端的形式参与双向互 动，而对于参与者登陆，如图5所示，是仅仅用TOB服务，FLASH发布服务及流媒体发布服务 收听发布内容。3. 2、问答开启在会议过程中，主持人或者授权的嘉宾有权开启问答，在问答开启之前，参与人的 WEB浏览器端，仅仅能收听会议进程，或者采用TOB端的聊天服务向会议主持人发出信息， 但没有音视频等业务的双向互动，在问答开启时，客户端出现提问申请按钮或举手按钮，参 与人可以申请成为嘉宾模式的参与人，进行双向交流，并且让所有与会者可以看到或听到 自己的提问及对回答的响应。图6是开启问答过程的流程图，由主持人开启，上传到会议管理，会议管理通知所 有的与会者，包含以浏览器观看的客户端。浏览器观看端激活或者显示提问申请按钮或举 手按钮，问答开启完成。3. 3、申请进入问答参会人在问答开启以后，可以按动申请按钮申请提问，信令通过浏览器发送给了 WEB服务，WEB服务发送给会议管理服务，会议管理服务发送给主持人客户端，主持人客户 端显示该用户申请提问，这样申请提问流程完成。如图7所示，是整个申请过程。由于主持人也使用FLASH客户端，会议管理发也送 给该信令给转换服务器，以支持该模式。3. 4、允许进入问答参会人申请提问以后，主持人或授权嘉宾根据会议进程需要，选择参会人进入问 答模式，这时主持人或授权嘉宾从自己的客户端发出信令，通过接入、传输服务发送到业务 管理，业务管理服务请求转换服务，分配双向交流信道给指定的客户端，当分配到资源后， 通知WEB服务器该终端切换到问答客户端，同时下发通道信息给该用户的WEB浏览器，该用 户浏览打开一个新窗口，启动会议FLASH客户端，同时暂时停止浏览器的流媒体播放，即广 播接收。这时该用户如同嘉宾一样，可以使用FLASH客户端同主持人及嘉宾进行双向交流， 同时WEB服务发送信令给会议管理，该用户已经进入问答模式，会议管理服务通知主持人 客户端，该用户已经进入问答模式。如图8所示，是主持人邀请参会人进入问答模式到收到应答消息的全过程。请同 时参见图9，其为本发明大型多媒体会议发布系统的在问答过程中各个服务器相互作用的 流程图，记载了在问答过程中各个服务器相互作用的流程。3. 5、收回问答权限参会人提问完成后，主持人或授权嘉宾根据会议进程，可以收回该参与人权限，主 持人或授权嘉宾从自己的客户端发出信令，通过接入、传输服务发送到业务管理，业务服务 器通知WEB服务，这样FLASH客户端停止工作，恢复流媒体播放，该用户回到原来模式。3. 6、放弃问答权限
参会人提问完成后，自己可以选择回到原来模式，这时，信令送到TOB服务器，转 发给业务服务，业务服务通知主持人和嘉宾，该用户的提问模式结束。同时通知转换服务 器，收回该参与人的信道。TOB服务器收到信令后，产生浏览器事件，让该参会人的浏览器回到流媒体播放， 并关闭FLASH客户端。3. 7、关于切换效率设计在与会者收看会议进入稳定状态后，WEB服务根据轮换法则，让各个与会下载 FLASH应答客户端，使得网络流量平均，而且在问答切换时不用下载，减少切换时间。五、其他说明 系统支持分布部署，通过业务服务器之间的业务数据同步，如图2中的专线连接， 系统实现在不同点的部署，由于仅仅对上行数据需要同步，各个地点间的同步数据有限，可 以通过专线，也可以用VPN线路，这样可以控制部署成本。系统中关键性能体现在转换服务和广播服务，通过业务管理分配时，考虑到效率 问题，尽量保持这两个种服务器在低负载情况下工作。系统部署要根据业务的需求决定具体的部署规模，这里给出的是典型部署方式， 如图10所示的部署方案。首先是会议管理的部署，这是系统的数据中枢，采用双机热备方式保障系统可靠 性。会议管理管理的机器如业务服务器、转换服务器等，采用n+1备份方式，即在业务需要η 台服务器支持时，需要一台作为备份，在服务器出现问题是，会议管理会将业务迁移到其他 服务器上，保障系统可用性。业务服务部署，每个业务服务器部署一种业务，对于一种业务可以部署多个业务 服务器，采用n+1热备，会议管理根据心跳情况自动切换服务，实现在一个业务服务器出现 故障时的业务切换，保障业务不中断。转换服务器、发布服务器和接入传输服务器如同业务服务器一样，采用n+1备份 方式，保障业务的可靠性。需要注意的是，转换服务器同时部署RED5即Flash服务，该Flash 服务器提供双向Flash交互，采用会议管理的负载均衡机制，采用N+1备份，由于一般会 议的同时提问者较少，一般该机器仅仅部署一台，在WEB服务器中选一台也部署上转换及 Flash服务作为备份即可。对于Flash和流媒体广播服务，采用双机热备，保障发布的可靠度。由于大量的与 会者采用收听模式，通过该服务器观看会议，该服务器通过CDN网络发布媒体，直接接入该 机器的用户量并不多，因此仅仅采用双机热备。比较特殊的是TOB服务器，会议管理仅仅拿到TOB前端的HTTPD服务器的地址及 负载，业务处理在WEB服务器上，Apache通过JK-MOD实现同TOB应用服务器连接，并实现 负载均衡。用户仅仅同Http服务器连接，该方式是成熟的TOB应用部署，HTTPD服务器采 用n+1备份。以支持大量客户接入。
权利要求
一种大型多媒体会议发布系统的问答系统，其特征在于主持人和嘉宾是在一个具有双向强交互、低延时的网上虚拟会议室举办发布活动，该网上虚拟会议室的音频和视频以流媒体方式发布，文档类数据业务以互联网接入方式发布，广大参与者通过互联网方式收看发布活动；当会议进入问答阶段后，网上虚拟会议室中的主持人或授权嘉宾从广大听众中选择一个或几个参与者进入虚拟会议室，进入网上虚拟会议室的参与者同嘉宾一样在虚拟会议室中同主持人互动，实现如同进入发布现场一样的效果，问答互动，双向交流。
2.如权利要求1所述的大型多媒体会议发布系统的问答系统，其特征在于问答结束 后，主持人或授权嘉宾收回问答参与者的权限。
3.如权利要求1所述的大型多媒体会议发布系统的问答系统，其特征在于问答结束 后，参与人选择回到原来的模式。
4.一种大型多媒体会议发布系统的问答系统，包含有虚拟会议室系统和会议室发布系 统，虚拟会议室系统包含会议管理服务器和业务服务器，该会议管理服务器包含会议相关 管理模块和服务器相关管理模块，其特征在于该虚拟会议室系统还包含有转换服务器，该转换服务器的功能是将业务服务器中的数 据和信令转换成RIA富媒体，并将RIA富媒体的输入转换成业务服务器发送的信令和数据， 通过RIA富媒体服务器，与客户端进行双向互动；该会议室发布系统包含发布服务器，该发布服务器的功能是将会议中的业务服务编 码，推送到流媒体服务器，流媒体服务器广播到客户端，发布服务器提供消息接口给会议相 关管理模块；该服务器相关管理模块记录所有转换服务器和发布服务器的服务器数据结构并为会 议室相关管理模块提供服务器调用接口；该会议室相关管理模块为每个会议分配发布服务器地址和转换服务器地址；为每个会 议中所使用的业务服务分配发布服务器地址和转换服务器地址；该会议相关管理模块具有切换用户类型接口，该切换用户类型接口将用户类型在WEB 客户端和RIA富媒体客户端之间切换；当发布会议时，会议相关管理模块调用发布服务器，发布服务器将会议中的内容广播 到TOB客户端；当用户参与问答时，会议室相关管理模块通过切换用户类型接口将WEB客户端转换为 RIA富媒体客户端，RIA富媒体客户端通过转换服务器与虚拟会议室系统业务服务器双向 互动。
5.如权利要求4所述的大型多媒体会议发布系统的问答系统，其特征在于该转换服 务器保存每个用户的连接通道，该连接通道中记录富媒体RIA连接，该富媒体RIA连接用于 发送单个用户的点对点消息，在RIA富媒体服务器上共享对象，用于发送共享消息，用于每 项业务服务的共享消息发布。
6.如权利要求4所述的大型多媒体会议发布系统的问答系统，其特征在于该发布服 务器将业务服务中的音视频数据消息，通过Encoding程序，编码并推送给流媒体服务。
7.如权利要求4所述的大型多媒体会议发布系统的问答系统，其特征在于该发布服 务器将业务服务中的文档共享、文字问答、文字调查数据转换成静态RIA富媒体页面保存 在Web服务器端，当接收到翻页消息时，在流媒体Encoding程序中叠加翻页消息，广播给广大参会者，参会者浏览器网页会主动到Web服务器提取所要的页面。
8.如权利要求4所述的大型多媒体会议发布系统的问答系统，其特征在于该发布 服务器将白板共享，聊天共享和桌面共享服务转换生成静态页面并生成增量数据，通过富 媒体RIA发布增量数据，这时，客户端需要保持RIA富媒体连接，如同流媒体播放一样，对 Server端推送的增量数据做处理。
9.一种大型多媒体会议发布系统的问答系统，其特征在于通过如下步骤实现当TOB客户端申请问答时，问答信令通过浏览器发送给了 WEB服务器，TOB服务器发送 给会议管理服务器，会议管理服务器发送给主持人客户端，主持人客户端显示该用户申请 提问；主持人客户端收到参会人提问申请以后，主持人或授权嘉宾根据会议进程需要，选择 参会人进入问答模式，此时主持人或授权嘉宾从管理客户端发出信令，通过接入、传输服务 器发送到业务管理服务器，业务管理服务器请求转换服务器，分配双向交流信道给指定的 客户端，分配到资源后，通知WEB服务器该终端切换到问答客户端，同时下发通道信息给该 用户的TOB浏览器，该用户浏览打开一个新窗口，启动会议RIA富媒体客户端，同时暂时停 止浏览器的流媒体播放，这时该用户如同嘉宾一样，使用RIA富媒体客户端同主持人及嘉 宾进行双向交流，同时WEB服务发 送信令给会议管理服务器，该用户已经进入问答模式，会 议管理服务通知主持人客户端，该用户已经进入问答模式。
10.如权利要求9所述的大型多媒体会议发布系统的问答系统，其特征在于还包含如 下步骤参会人提问完成后，主持人或授权嘉宾根据会议进程，收回该参与人权限，主持人或授 权嘉宾从管理客户端发出信令，通过接入、传输服务器发送到业务管理服务器，业务管理服 务器通知WEB服务器，RIA富媒体客户端停止工作，恢复流媒体播放，该用户回到原来模式。
11.如权利要求9所述的大型多媒体会议发布系统的问答系统，其特征在于还包含如 下步骤参会人提问完成后，自己选择回到原来模式，这时，信令送到WEB服务器，转发给业务 服务器，业务服务器通知主持人和嘉宾，该用户的提问模式结束，同时通知转换服务器，收 回该参与人的信道，WEB服务器收到信令后，产生浏览器事件，让该参会人的浏览器回到流 媒体播放，并关闭RIA富媒体客户端。
12.如权利要求9所述的大型多媒体会议发布系统的问答系统，其特征在于还包含如 下步骤参会人收看会议进入稳定状态后，WEB服务根据轮换法则，让各个与会下载RIA富媒体 应答客户端，使得网络流量平均，而且在问答切换时不用下载，减少切换时间。
全文摘要
一种大型多媒体会议发布系统的问答系统，主持人和嘉宾是在一个具有双向强交互、低延时的网上虚拟会议室举办发布活动，该虚拟会议室的音频和视频以流媒体方式发布，文档类数据业务以互联网接入方式发布，广大参与者通过互联网收看发布活动；当会议进入问答阶段后，主持人或授权嘉宾从广大听众中选择一个或几个参与者进入虚拟会议室，进入网上虚拟会议室的参与者同嘉宾一样在虚拟会议室中同主持人互动。本发明改变物理会议室发布模式，主持人，嘉宾通过虚拟会议室的强交互，通过互联网广播发送给广大与会者，减少发布活动的会议室和差旅成本，发布活动能随时随地进行，而临时将互联网听众加入到虚拟会议室，在保障低带宽情况下，解决了发布活动的老大难问题，实时问答互动。
文档编号H04L12/18GK101848221SQ20101018456
公开日2010年9月29日 申请日期2010年5月20日 优先权日2010年5月20日
发明者李彦涛 申请人:创想空间软件技术(北京)有限公司