会议终端、会议服务器、会议系统及数据处理方法

专利名称：会议终端、会议服务器、会议系统及数据处理方法
技术领域：
本发明涉及^f见频会议系统，特别是指一种会议终端、会议服务器、会议系 统及数据处理方法。
背景技术：
在最早的视频会议中，人们只能通过图像和声音进行交互，后来R261协 议允许视频会议的参与者通过活动视频通道传递4CIF大小的静止图文，以便 参与者之间分享胶片，但是这种分享是通过抢占活动视频通道来实现的， 一方 面胶片分辨率不高，另 一方面传输胶片时会引起活动视频出现停顿。
后来，R239标准协议的出现，参与者可以创建一个辅流通道单独传输胶 片，而用主流通道来传输活动视频，使得活动视频和胶片传送互不影响。 一种 典型的应用场景如图1所示，会议终端12同时接收到摄像机11摄入的会议图 像和计算机10的文件(如PPT或Word文档)，并对摄像机11摄入的会议图 #_和计算机10的文件经过纟见频编码(通常采用H.263或者H.264等编码标准) 后，通过H.239协议标准提供的通道将两路视频流同时发送给MCU (多点控 制单元)13, MCU 13再转发给其他的与会终端14,终端14在接收到两路3见 频流后，进行解码，即可得出两路不同的视频图像，并在投影仪16或者电视 机15上进行显示。通过这种方式，任意一个与会者都可以向所有人共享自己 的文档，实现了一个简单的数据交互。然而，H，239的这种胶片共享的方式最 大缺点是参与者不能交互，主讲者在对胶片进行阐述时，其它的参与者只能 看胶片，不能在胶片上作标记，因此降低了讨论效率，讨论者参与感不强。
针对这种现象，在现有技术中，出现了一种利用在电子白板上做标记，以 达到视频会议的参与者相互交互的目的，如图2所示，在会议服务器侧放置一 台电子白板服务器20,每一个视频会议终端放置一台电子白板客户端，如客 户端21，客户端22,客户端23，客户端24和客户端25等，这些客户端通常
为一台PC,有的客户端还可以是会议子系统中的会议服务器或者会议客户机 等，所有的客户端都通过网络连接在到该电子白板服务器20上，该电子白板 服务器20启动一个电子白板，该电子白板可以是空白背景，也可以以图片或 者胶片作为背景；电子白板服务器20将电子白板上的内容以图片的方式发送 给所有客户端，因此，每个客户端都可以看到相同的内容；与会者通it^户端 在电子白板上做一些标记如画线、画圓、输入文字等操作，这些操作都被传 到电子白板服务器20上；电子白板服务器20接收客户端的操作后，更新电子 白板的内容，再把更新后的电子白板内容发送给所有客户端，因此实现了所有 的参与者共享白板进行讨论的目的。但这种方式在使用范围上受到限制，如用
户不能在胶片上进行做标记，即该系统无法实现共享作标记的胶片，另外，该 系统需要再建一套电子白板系统，每个会场至少配备一台计算机，增加了系统 复杂度和建设成本。
现有技术中，与上述在电子白板上做标记的方式相似的还有一种远程协作 的方法，如图3所示，该系统中包括一个远程协作服务器30,每一个视频会 场配备一台计算机，如计算机31，计算机32，计算机33，计算机34等，这 些计算机通过网络与远程协作服务器30连接，需要共享自己桌面的会场开启 一个远程协作服务，将自己的计算机桌面图像(如PPT, Word文档等)共享 给所有与会者；其他会场的与会者可通过本地计算机连接到远程协作服务器 30后，就可看到远程协作服务器30共享的计算机桌面，并且通过本地的鼠标、 键盘等操作也会传给远程协作服务器30，因此所有的与会者可以共同操作同 一个应用程序，如PPT、 Word等。^旦这种系统同样需要再建一套远程协作的 系统，每个会场至少配备一台计算机，增加系统的复杂度和成本；更重要的是， 需要为每个会场的每台计算机中配置特殊的远程协作参数，且使用者需要操作 两套系统，如一个共享的远程系统， 一个本地的系统，并且要共享PPT、 Word 等文档需要事先拷贝到会场的计算机中，不能实现笔记本电脑这样的计算机即 插即用的特性，操作不方便。
综上，发明人在实现本发明的过程中，发现现有技术至少存在如下问题 在视频^i义系统中，与会者进行数据交互时，现有的视频会议系统为与会 者提供的交互数据受到限制，如在电子白板的系统中，为胶片做标记就不能实现，且电子白板等视频会议系统复杂，成本高。

发明内容
本发明要解决的技术问题是提供一种会议终端、会议服务器、会议系统及 数据处理方法，在不增加会议系统复杂度的情况下，允许任意会议终端之间进 行数据交互，提高会议用户的讨论效率。
为解决上述技术问题，本发明的实施例提供技术方案如下 一方面，提供一种会议终端，包括 标记获取模块，用于获取标记数据信号； 图像获取才莫块，用于获取图像数据信号；
叠加模块，用于将所述图像数据信号和所述标记数据信号进行叠加，生成
混合图像数据信号；
输出模块，用于输出所述混合图像数据信号。
另一方面，提供一种会议服务器，包括
图像数据接收模块，用于接收会议终端发送的图像数据信号；
标记接收模块，用于接收会议终端发送的标记数据信号；
叠加模块，用于对所述图像数据信号和所述标记数据信号进行叠加，生成
混合图像数据；
发送模块，用于发送所述混合图像数据或者所述图像数据信号或者所述标 记数据信号。
再一方面，提供一种会议系统，包括第一会议终端，会议JI良务器和至少 一个第二会议终端；其中，
所述第一会议终端包括
图像获取模块，用于获取所述会议服务器发送图像数据信号； 标记发送模块，用于获取标记数据信号，并向所述会议服务器发送标记数 据信号；
所述会议服务器包括
图像数据接收模块，用于接收所述图像数据信号；
标记接收模块，用于接收所述标记数据信号；
叠加模块，用于对所述图像数据信号和所述标记数据信号进行叠加，生成
混合图像数据；
发送模块，用于向所述第一会议终端和所述至少一个第二会议终端发送所
述混合图像数据。
所述至少一个第二会议终端，用于接收并显示所述混合图像数据。 还提供一种会议系统，包括第一会议终端，会议服务器和至少一个第二
会议终端；其中，所述第一会议终端包括
图像获取模块，用于获取所述会议服务器发送图像数据信号； 标记发送模块，用于获取标记数据信号，并向所述会议服务器发送所述标
记数据信号；
所述会议服务器用于接收所述图像数据信号和所述标记数据信号，并转
发；
所述至少一个第二会议终端包括
第一定时器，用于产生第一时间间隔值；
图像获取模块，用于获取所述会议服务器转发的图像数据信号；
第一外部标记获取模块，用于获取所述会议服务器转发的标记数据信号，
并按照所述第 一时间间隔值输出所述标记数据信号，产生第 一标记数据信号；
第一叠加模块，用于将所述图像数据信号和所述第一标记数据信号进行叠 加，生成第一混合图像数据信号；
显示模块，用于显示所述第一混合图像数据信号。
还提供一种会议系统，包括第一会议终端，会议服务器和至少一个第二 会议终端；其中，所述第一会议终端包括
第一定时器，用于产生第一时间间隔值；
第二定时器，用于产生第二时间间隔值；
第一内部标记获取才莫块，用于获取本地会议终端发送的标记数据信号，并 按照所述第 一时间间隔值输出所述标记数据信号，产生第 一标记数据信号； 第二内部标记获取^:莫块，用于获取本地会议终端发送的标记数据信号，并
按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号；
第二叠加冲莫块，用于将所述图像数据信号和所述第一标记数据信号进行叠 加，生成第二混合图像数据；
第二发送模块，用于向所述本地会议终端的显示屏幕上发送所述第一混合 图像数据，或者通过辅流通道向所述会议服务器发送所述第二混合图像数据；
所述会议服务器，用于接收所述第二混合图像数据，并转发；
所述第二会议终端，用于接收所述第二混合图像数据并显示。
本发明的实施例还提供一种数据处理方法，包括
获取图像数据信号；
获取标记数据信号；
将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信
号；
输出所述混合图像数据信号。
本发明的实施例还提供一种数据处理方法，包括 接收会议终端发送的图像数据信号和标记数据信号； 对所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据； 向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记 数据信号。
本发明的实施例具有以下有益效果
上述技术方案中，会议终端将其获取的图像数据信号和标记数据信号进行 叠加，生成混合图像数据信号，如该混合图像数据信号为添加了标记的胶片， 在不增加会议系统复杂度的情况下，该会议终端允许与会者在观看胶片的时 候，同时在胶片上画上自己的标记，提高视频会议用户的参与感，提高讨论效 率。


图1为现有技术中会议系统的应用场景结构示意图2为现有技术中会议系统中，利用电子白板进行交互的应用场景结构示
意图3为现有技术中的会议系统，利用远程协作服务器进行交互的应用场景 结构示意图4为本发明的实施例会议终端的整体结构示意图； 图5为图4所示的会议终端的一具体结构示意图6为图5所示的会议终端接收本地标记数据信号，并在本地叠加，形成
混合图像数据的 一具体结构示意图7为图5所示的会议终端在发送本地的标记数据信号时，第一令牌控制
模块从H.239的辅流通道中先申请令牌，得到令牌后再开始记录和发送标记数
据信号的结构示意图8为图5所示的会议终端接收外部标记数据信号，并在本地叠加，形成
混合图傳Jt据的 一具体结构示意图9为图8中的第一外部标记接收模块的具体结构示意图10为图5所示的会议终端在进行本地叠加时，第二令牌控制模块从
H,239的辅流通道中先申请令牌，得到令牌后再进行叠加，形成混合图像数据
的结构示意图11为图1所示会议终端的另一具体结构示意图12为本发明的实施例会议服务器的结构示意图13为图12所示会议服务器的一具体实施例结构示意图14为本发明的实施例的一种会议系统结构示意图15为图14所示会议系统的多MCU级联的应用场景示意图16为本发明的实施例的另一种会议系统结构示意图17为图16所示会议系统的多MCU级联的应用场景示意图18为本发明的实施例的又一种会议系统结构示意图19为图18所示会议系统的多MCU级联的应用场景示意图20为本发明的实施例的数据处理方法的流程示意图21为本发明的实施例的另一数据处理方法流程示意图。
具体实施例方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面 将结合附图及具体实施例进行详细描述。
本发明的实施例针对现有技术中不能将H.239标准的双流功能和类似电 子白板任意添加标记的功能结合起来，使用户的参与感不强的问题，提供一种 会议终端，会议服务器，会议系统及会议系统中数据处理的方法。
会议终端的实施例一
如图4所示，为会议终端的实施例结构示意图，本发明的实施例会议终端 40包括
标记获取才莫块41,用于获取标记数据信号； 图像获取模块42，用于获取图像数据信号；
叠加模块43,用于将所述图像数据信号和所述标记数据信号进行叠加， 生成混合图像数据信号；
输出模块44，用于输出所述混合图像数据信号，该混合图像数据信号既 可以输出到本地会议终端的显示屏上进行显示，也可以输出到^i义服务器，如 MCU,再由MCU转发给其他的会议终端。
这里的^i义终端40可以为视频会议中的某一会场的终端，图像数据信号 可以为胶片或者类似胶片的文件等，标记数据信号为圆圈，批注等，该会议终 端40将其接收的图像数据信号和标记数据信号进行叠加，生成混合图像数据 信号，如该混合图像数据信号为添加了标记的胶片，在不增加会议系统复杂度 的情况下，该会议终端允许与会者在观看胶片的时候，同时在胶片上画上自己 的标记，提高视频会议用户的参与感，提高讨论效率。
会议终端实施例二
如图5所示，在会议终端实施例一的基础上，该会议终端40还可以包括 第一定时器45,用于产生第一时间间隔值；第二定时器46，用于产生第二时 间间隔值；这两个定时器在具体实现时，也可以为同一定时器，该定时器可以 输出两个时间间隔值；
相应的，上述标记获取模块41包括第一标记获取模块411,用于接收 所述标记数据信号，并按照该第一时间间隔值输出上述标记数据信号，产生第
一标记数据信号；该第一时间间隔值是用来控制标记数据信号在本地会议终端
的显示屏幕上显示的，保证了本地显示屏的实时显示效果，该第一时间间隔值
一般设得比较短，如果该会议终端40的显示屏幕为一电视机，则该第一时间 间隔值的最佳间隔是与该电视机的帧间隔相同。
第二标记获取模块412，用于获取上述标记数据信号，并按照该第二时间 间隔值输出上述标记数据信号，产生第二标记数据信号；由于该标记数据信号 发送到远端的会议终端时，需要在H,239辅流通道中进行传输，因此该第二时 间间隔值不宜设定的太短，为了降低传输的数据量，可以将该第二时间间隔值 :没定的大一些，如1秒一次。
会议终端实施例三
如图6所示，上述会议终端实施例二中的第一标记接收模块411可以具体 为第一内部标记获取模块4110，用于获取本地会议终端发送的标记数据信 号，并按照该第一时间间隔值输出所述标数据信号，产生第一标记数据信号； 如用户通过本地会议终端的触摸屏幕在图像接收模块42所接收的图像数据信 号(如胶片，该胶片可以是本地的胶片，也可以是接收到远端会议终端发送的 胶片)上，添加了圓圈标记，该第一内部标记获取模块4110就会按照第一时 间间隔值输出该圆圈标记，产生第 一记数据信号。
另外，上述第二标记获取模块412也可以具体为第二内部标记获取模块 4120,用于接收本地会议终端发送的标记数据信号，并按照上述第二时间间隔 值输出该标记数据信号，产生第二标记数据信号。
该会议终端还包括一标记编码模块47和标记发送模块48,其中上述第二 内部标记获取模块所产生的第二标记数据信号传输至该标记编码才莫块47,该 标记终端编码模块47将该第二标记数据信号进行编码，产生第三标记数据信 号；该第三标记数据信号传输至该标记发送模块48,该标记发送模块通过 11239协议的辅流通道向会议系统中的会议服务器发送该第三标记数据信号， 再由该会议服务器转发给其他的会议终端。
会议终端的实施例四
如图7所示，在上述会议终端的实施例中，会议终端在与会议服务器和其
他会议终端进行传输数据的过程中，采用H.239协议的辅流通道或者自定义通 道进行传输，而H.239的主流用于传输活动视频，这样，使静态图像数据的传 输和活动视频的传输不冲突。而采用H.239的辅流通道进行传输上述本地会议 终端产生的标记数据信号或者混合图像数据时，为了保证会议系统中各个会议 终端之间的传输不混乱，釆用令牌互斥的方式进行，先判断该H.239的辅流通 道是否支持标记辅流，如果支持，则该会议终端40还可包括
第一令牌控制模块49，用于在所述H.239协议的辅流通道中申请令牌， 申请成功并得到一令牌后，产生第一控制信号；
上述标记发送模块48根据该第一控制信号通过H.239协议的一个辅流通 道向会议服务器发送该第三标记数据信号。
也就是说，当前会议终端T1在发送自己的标记数据信号前，先申请一令 牌后，自己的标记数据信号才允许在本地显示和发送到远端会议服务器，再由 会议服务器转发给其他的会议终端；而系统中的会议终端T2要想发送自己的 标记数据信号，也必须先申请令牌后，才可以发送自己的标记数据信号，当前 的令牌拥有者由会议终端Tl变成了会议终端T2，这样可以保证多个会议终端 发送标记数据信号不被打乱。
会议终端的实施例五
如图8所示，上述所有会议终端的实施例中，该会议终端还应当具有接收 功能，具体来讲，上述第一标记获取模块411具体为
第一外部标记获取模块4111，用于接收会议服务器发送的除本地会议终 端外的至少一个其他会议终端的标记数据信号，并按照上述第一定时器45产 生的第一时间间隔值输出该标记数据信号，产生第一标记数据信号。
该叠加模块43具体为第二叠加模块431，用于将所述图像数据信号和 所述第一标记数据信号进行叠加，生成第二混合图像数据信号；
上述输出模块44具体为第二发送模块441,用于向本地会议终端的显 示屏幕上发送该第二混合图像数据，并显示。
会议终端实施例六
如图9所示，在一个讨论过程中，可能会有多个会场的会议终端需要同时
作标记，为了保证不同会场的标记数据信号的顺序不被打乱，需要进行互斥处 理，在上述会议终端实施例五的基础上，当该第一标记获取模块411接收到多
个会议终端发送的标记数据信号时，该第一外部标记获取模块4H1包括
第一外部标记获取子模块41110,用于接收会议服务器发送的除本地会议 终端外的至少 一个其他会议终端的标记数据信号；
至少一个解码器，如解码器l,解码器2，解码器3等，这里的每一个解 码器对应一个会场，也就是说， 一个会场(即一个其他会议终端)发送来的标 记数据信号均进入一个解码器进4于解码，各个解码器对接收到的标记数据信号 解码后，生成一标记数据信号队列；
标记输出模块41111，用于按照上述第一时间间隔值和该标记数据信号队 列的顺序输出所述标记数据信号，生成至少一个第一标记数据信号。之后再将 这些第一标记数据信号顺序送入第二叠加模块431中进行叠加，为了保证在叠 加时，能够区分出是那个会议终端发送的标记数据信号，每个会议终端在发送 自己的标记数据信号时，要包括自己的会议号，终端号和相应的标记数据信号 的内容，这些标记数据信号的内容可以用矢量图、二值位图、YUV或者RGB 等彩色位图；在使用矢量图或二值位图的时候，可以由会议服务器MCU随机 给每个会议终端分配一种填充颜色，会议终端的叠加模块在叠加不同会场轨迹 的时候使用会议服务器分配的颜色进行填充；在使用YUV、 RGB等彩色位图 表示轨迹的时候，系统中必须统一指定一种透明颜色，以便接收端能正确识别 出轨迹的位置与胶片叠加，这样可以保证标记数据信号和图像数据信号叠加 后，每一个会场的混合图像数据的完整性。
在一会议终端接收到其他的会议终端发送的标记数据信号时，同时该会议 终端又收到了 一个图像数据信号，此时该会议终端就会将其接收到的图像数据 信号和标记数据信号进行叠加，形成完整的混合图像数据，这样该会议终端也 就知道对方对当前的图像数据作了那些标记。
会议终端的实施例七
如图IO所示，当会议系统不支持标记辅流时，此时会"R终端只能向其他 终端发送混合图像数据，而该混合图像数据是在本地会议终端上叠加生成的，
为了保证各个终端发送的混合图像数据的顺序，上述会议终端40还可包括
第二令牌控制模块50,用于在H.239协议的另一个辅流通道中申请令牌， 申请成功并得到一令牌后，产生第二控制信号，叠加模块43在得到该第二控 制信号时，就可以开始记录标记数据信号和图像数据信号，并对图像数据信号 和标记数据信号进行叠加，生成混合图像数据信号。
也就是说，会议终端Tl在其接收到的胶片上添加标记之前，先申请H.239 辅流通道控制令牌，在得到令牌后，开始记录用户添加的标记数据信号，并将 该标记数据信号叠加到胶片上，形成一混合图像数据，将编码后的混合图像数 据通过辅流通道发送给会议服务器，再由会议服务器转发给其他的会议终端。 其他会议中的会议终端如果想添加自己的标记数据信号，也进行同样的动作， 这样通过不断的切换H.239辅流通道发送令牌，各个会场的会议终端都可以将 自己的标记添加到该胶片上。
相应的，上述叠加模块43具体为第一叠加模块430，用于将上述图像 数据信号和该第一标记数据信号进行叠加，生成第一混合图像数据，如添加了 标记的胶片；
上述输出模块44具体为第一发送模块440,用于向该本地会议终端的 显示屏幕上发送该第一混合图像数据，或者通过H.239协议的辅流通道向会议 服务器发送所述第一混合图像数据。这样，用户在触摸屏上添加标记之后，就 会及时地看到自己绘制的标记轨迹，该第一混合图像数据不仅可以本地会议终 端上显示，也同样可以通过H.239协议的辅流通道向会议服务器发送该第一混 合图像数据，再由该会议服务器转发给其他的会议终端，这样其他的会议终端 就能看到当前该用户添加标记后的胶片了 。
会议终端的实施例八
如图ll所示，上述各图中所示实施例的会议终端40中，还可包括 图像数据保存模块51,用于在本地会议终端上保存所述混合图像数据。
在会议进行过程中，每一个添加过标记的胶片都可以在本地会议终端上保存，
以便记录会议的过程。
标记擦除模块52，用于将所述混合图像中的标记数据信号进行擦除；用
户在添加标记数据信号的过程中，可以将其已经添加的标记数据信号擦除，在
令牌控制模式下，令牌所有者可以发一条指令让叠加模块43擦除已经添加的 标记；
图像发送模块53,用于将图像内部接收模块420所接收的本地会议终端 的图像数据信号向会议服务器发送，再由会议服务器转发给其他的会议终端， 这样其他的会议终端均可以观看到本地会议终端的图像数据。
另外，上述图像获取42模块包括内部图像获取模块420，用于获取本 地会议终端发送的图像数据信号；外部图像获取模块421,用于获取会议服务 器发送的其他会议终端的图像数据信号；
在上述的所有实施例中，图像获取模块42所接收的图像数据信号除了可 以为胶片，还可以为一白色背景，该白色背景由会议终端的输入设备产生，如 通过触摸屏绘制标记后系统自动生成一白色背景，所有用户标记数据信号都会 叠加在该白色背景上，这样用户使用起来更加方便和随意。
上述的各个会议终端的实施例，无需增加其他的设备，在现有的R239双 流的基础上实现与会者之间的数据协作，提高用户的参与感，提高讨论效率。
会议服务器的实施例一
如图12所示，本发明的实施例还提供一种会议服务器60,该会议服务器
通常为一MCU(多点控制单元)，用在视频会议中，为视频会议中的各个会议
终端提供数据的转发和服务。该会议服务器60包括
图像数据接收模块61 ，用于接收会议终端发送的图像数据信号；
标记接收模块62，用于接收会议终端发送的标记数据信号；
叠加模块63，用于对所述图像数据信号和所述标记数据信号进行叠加，
生成混合图像数据；
发送模块64,用于向会议终端发送所述混合图像数据或者所述图像数据
信号或者所述标记数据信号。 会议服务器的实施例二
如图13所示，上述叠加模块63在对图像数据信号和标记数据信号进行叠 加时，可能会收到多个会议终端发送的标记数据信号，该叠加模块63需要对
每个会议终端发送的标记数据信号进行区分，该叠加模块63具体包括
填充模块631,用于为所述标记数据信号分配填充颜色或者透明颜色，并 利用所述填充颜色或者透明颜色对所述标记数据信号进行处理，产生颜色标记 数据信号；标记数据信号的内容可以用矢量图、二值位图、YUV或者RGB等 彩色位图表示；在使用矢量图或二值位图的时候，可以随机给每个会议终端的 标记数据信号分配一种填充颜色，叠加模块63在叠加不同会场轨迹的时候使 用上述填充颜色进行填充；在使用YUV、 RGB等彩色位图表示标记数据信号 的时候，MCU须指定一种透明颜色，以便接收会议终端能正确识别出轨迹的 位置，这样可以保证标记数据信号和图像数据信号叠加后，每一个会场的混合 图像数据的完整性。
处理模块632,用于将所述图像数据信号和所述颜色标记数据信号进行叠 加，生成混合图像数据。
该会议服务器60在向会议终端发送混合图像数据或者标记数据信号时， 还可包括发送控制^t块，用于选择H,239协议的一辅流通道，控制所述发送 模块64通过所述辅流通道向会议终端发送所述混合图像数据或者所述标记数 据信号；当系统中有多个会议服务器的情况下，该会议服务器还可将其叠加的 混合图像数据或者会议终端发送过来的标记数据信号或者会议终端发送过来 的图像数据信号转发给其他的会议服务器，再由其他的会议服务器发送给与该 其他的会议服务器连接的会议终端。
该会议服务器60在会议终端不具有叠加功能时，将各个会议终端发送的 图像数据信号(如胶片)和标记数据信号进行叠加，然后再转发给其他的会议 终端，使会议系统中的各个会议终端都能够看到其他会议终端添力。的标记，实 现与会者之间的协作，提高用户的参与感，提高用户的讨论效率。
会议系统的实施例
下面将上述的会议终端和会议服务器组成的会议系统进^f于介绍 上述的会议终端和会议服务器主要可以组成以下三种应用场景 一，会议终端1将共享的图像数据信号发送给会议服务器，会议终端2 将本地的标记数据信号也发送给会议服务器，由会议服务器对图像数据信号和
标记数据信号叠加后，形成一混合图像数据，再发送给所有的会议终端，会议 终端接收到会议服务器发送的混合图像数据时，对该混合图像数据进行解码并
显示；
二，会议终端1将共享的图像数据信号发送给会议服务器，会议终端2 将本地的标记数据信号发送给会议服务器，再由会议服务器转发给所有的会议 终端，会议终端在接收到图像数据信号和标记数据信号时，对图像数据信号和 标记数据信号进行叠加，并显示；
三，会议终端1将共享的图像数据信号(该图像数据信号可为本地的图像 数据，也可为接收到的远端的图像数据)和本地的标记数据信号在本地叠加后， 生成一混合图像数据，再将混合图像数据通过H.239辅流通道发送给会议服务 器，再由会议服务器转发给其他的会议终端2，其他的会议终端2接收到混合 图像数据时，对该混合图像数据进行解码并显示。
上述各种应用场景中，各会议终端都是对等的，会议终端1具有在本地叠 加的能力，会议终端2也具有在本地叠加的能力，会议终端1具有发送本地图 像数据和标记数据信号的能力，会议终端2也具有发送本地图像数据和标记数 据信号的能力。
会议系统的实施例一
如图14所示，为上述第一种应用场景的会议系统结构示意图，该会议系 统包括会议终端71，与该会议终端71连接的一笔记本电脑72;会议服务器 73;会议终端74，与会议终端74连接的带触摸屏的显示器75;会议终端76, 与会议终端76连接的普通显示器77，该会议终端76的个数不作限制，这里 的每一个会议终端都代表一个会场；其中，上述会议终端71包括
图像发送模块53,用于向会议服务器73发送图像数据信号；
上述会议终端74包括
标记发送模块48,用于向会议服务器73发送标记数据信号； 会议服务器73如上述会议服务器60，包括
图像数据接收模块61,用于接收图像发送模块53发送的图像数据信号； 标记接收模块62,用于接收所述标记发送模块48发送的标记数据信号；
叠加模块63，用于对所述图像数据信号和所述标记数据信号进行叠加， 生成混合图像数据；
发送模块64，用于向会议终端71，会议终端74,会议终端76发送所述 混合图像数据。
会议终端71和会议终端76,用于接收并显示所述混合图像数据。 具体来讲，该应用场景主要包括以下流程
1 )会议终端71是需要和其他与会者共享胶片的会场，使用者只需要将笔 记本电脑通过普通的VGA电缆连接到会议终端71，再通过H.239辅流通道将 自己的胶片发送给会议服务器73，再由会议服务器73将该胶片发送给会议终 端74和会议终端76;
2 )会议终端74是一个接有带触摸屏显示器75的会场，该会场用户在观 看胶片的过程中发现有一个地方有疑问需要与其他人讨论，因此，他在显示器 75上需要讨论的地方画了一个圆圈，该圆圈被显示器上的触摸屏记录下来， 并且通过会议终端74传递给会议服务器73;当然，在会议服务器73没有该 会议终端74的用户所观看的胶片时，该会议终端74还需要将该胶片也发送给 会议服务器73。
3 )会议服务器73接收到会议终端74发送过来的圆圏标记后，先将胶片 视频流进行解码，得到胶片图像；再将会议终端72发送的圓形标记叠加到胶 片图像上；将叠加圆形标记的混合图像进行编码；把编码后的混合图像码流通 过H.239辅流通道发送给所有会场；
4 )会议终端76是一个普通会场，该会议终端76连接一普通的显示器77, 该会场通过H.239辅流通道接收到会议服务器73发送的混合图像视频码流， 进行解码后即可看到叠加了会议终端74会场发送的圆形标记的胶片图像。
同样，会议终端71和其他所有会场也会接收到和会议终端76 —样的胶片 图像。如果有其他会场具备会议终端74—样的标记输入设备，其他会场也可 以发送自己的标记并且被所有的会场看到。
会议系统的实施例二
如图15所示，在上述会议系统的实施例一的基础上，描述会议系统中多 会议服务器级联的应用场景，该图中的双箭头表示混合图像数据流的传输
当系统中的会议服务器为多个时，这多个会议服务器之间采用级联的方式 连接，每一个会议服务器下都可连接一个或者多个会议终端，其中一个会议服 务器为主会议服务器，而其他的会议服务器为从会议服务器，会议终端发送的 共享图像数据信号和添加的标记数据信号的叠加由主会议服务器进行；
该实施例中，以两个MCU (会议服务器)级联的实例进行说明，其中包 括MCU1， MCU2，会议终端T1，会议终端T2,会议终端T3; MCU1为主 MCU， MCU2为从MCU,多于2个MCU级联的情况，也是如此，其中一个 MCU为主MCU，其他MCU为从MCU;
会议中，会议终端T1将共享图像数据信号发送给与其相连的MCU2，会 议终端T2也将它的标记数据信号发送给与其相连的MCU2上，从MCU2将 Tl的共享图像数据信号和T2的标记数据信号，转发给会议系统中的主MCU， 即MCU1，由会议系统中主MCU (MCU1)完成对图像数据信号和标记数据 信号的叠加，压缩形成混合图像数据，然后再转发给会议系统中的各个会议终 端，对于连接在从MCU (MCU1 )上的会议终端，混合图像数据由主MCU先 发送给会议中的各个从MCU,然后由从MCU进行转发。会议系统中的各个 终端收到混合图像数据时，对其进行解码并显示。
对于更多级的MCU级联，与上面类似，会议中图像数据信号和标记数据 信号的叠加工作，是由级联会议系统中的主MCU完成。
上述描述的是系统中多MCU级耳关时一个可以为主MCU，其他的均为从 MCU的情况，当然，系统中的多个MCU也可均为主MCU。即每个MCU均 可以进行叠加和转发的工作，为了^f吏多个MCU能够协调的工作，系统中还可 以包括控制单元，用于获取所述标记数据信号的发送时间，按照所述标记数 据信号的发送时间的先后顺序，产生一控制信号；
所述至少两个主会议服务器中的所述叠加模块，根据所述控制信号对所述 图像数据信号和所述标记数据信号进行叠加，生成所述混合图像数据，并将混 合图像数据信号发送给系统中的各会议终端。上述的控制单元可以通过系统中 的GATEKEEPER (网守，是一种采用软交换方式的交换服务器，负责VoIP
网路上的讯号交换及控制功能)来实现，当然采用其他类似功能的控制^t块也 可以实现。
外，还可以采用令牌控制的方式，系统中，将各个会议终端发送标记数据信号 的时间通知各个主会议服务器，主会议服务器根据该标记信号的发送时间主动 获取一控制令牌，当该主会议服务器完成叠加工作之后，按照各个会议终端发 送的标记数据信号的时间先后顺序，下一个主会议服务器获取该控制令牌，继 续进行叠加工作，直到最后一个主会议服务器完成叠加，将最终的混合图像数
据信号发送给系统中的各个会议终端；上述控制令牌是各个主会议服务器主动 获取的，当然也可以由GATEKEEPER主动将控制令牌分配给各个主会议服务 器使用。
会议系统的实施例三
如图16所示，为上述第二种应用场景的会议系统结构示意图，该会议系 统包括会议终端81，与该会议终端81连接的一笔记本电脑82和一普通显 示器83;会议服务器84;会议终端85,与会议终端85连接的带触摸屏的显 示器86;会议终端87，与会议终端87连接的普通显示器88;这里的每一个 会议终端都代表一个会场；会议终端87的个数不作限制，其中，上述会议终 端81包括
图像发送模块53，用于向会议服务器83发送图像数据信号； 会议终端85包括
标记发送模块48，用于向会议服务器83发送标记数据信号； 会议服务器83将接收图像数据信号和标记数据信号转发会议终端87和会 议终端81;
会议终端87和会议终端81均包括
第一定时器45，用于产生第一时间间隔值；
第二定时器46,用于产生第二时间间隔值；
图像接收模块42，用于接收所述会议服务器转发的图像数据信号；
第一外部标记接收模块4111，用于接收所述会议服务器83转发的标记数
据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数
据信号；
第二叠加模块431，用于将所述图像数据信号和所述第一标记数据信号进 行叠加，生成第二混合图像数据信号；
显示模块，如显示器88，用于显示所述第二混合图像数据信号。
会议终端87在接收到多个会议终端的标记数据信号时，为了保证接收方 在叠加时，能够区分出是哪个会议终端发送的标记数据信号，每个会议终端在 发送自己的标记数据信号时，要包括自己的会议号，终端号和相应的标记数据 信号的内容，这些标记数据信号的内容可以用矢量图、二值位图、YUV或者 RGB等彩色位图；在使用矢量图或二值位图的时候，可以由会议服务器随机 给每个会议终端分配一种颜色，会议终端的叠加模块在叠加不同会场轨迹的时 候使用会议服务器分配的颜色进行填充；在使用YUV、 RGB等彩色位图表示 轨迹的时候，系统中必须统一指定一种透明颜色，以便接收端能正确识别出标 记轨迹的位置与胶片叠加。具体讲上述第一外部标记接收模块4111包括
第一外部标记接收子才莫块41110,用于接收所述会议服务器发送的除本地 会议终端外的至少一个其他会议终端的标记数据信号，纟艮据上述标记数据信号 中会议号，终端号等信息找到相应的解码器，并发送属于该解码器的标记数据 信号；
至少一个解码器，用于对所述至少一个其他会议终端的标记数据信号分别 进行解码，生成一标记数据信号队列；
标记输出模块41111，用于按照所述第一时间间隔值和所述标记数据信号 队列的顺序输出所述标记数据信号，生成至少一个第一标记数据信号。
该应用场景主要包括以下流程
1) 会议终端81是需要跟其他与会者共享胶片的会场，使用者只需将笔记 本电脑(目前一般是通过VGA线缆)连接到第一会议终端81，再通过H.239 辅流通道将自己的胶片发送给所有与会者；
2) 会议终端85是一个接有带触摸屏显示器86的会场，该会场的用户在 观看胶片的过程中发现有一个地方有疑问需要与其他人讨论，因此他在显示器
上需要讨论的地方画了一个圓圏，该圆圈被显示器上的触摸屏记录下来，并且
通过会议终端85传递给会议服务器84;
3 )会议服务器84将会议终端85发送的圆形标记发送给会议终端87和会 议终端81。
4)会议终端87是一个普通会场，该会场同时收到会议终端81发送的胶 片码流和会议终端85发送的圆形标记，会议终端87对胶片码流进行解码后得 到胶片图像，再将圓形标记叠加到该胶片图像上即可看到叠加了圆形标记的胶 片图像。
如果有其他会场具备会议终端85 —样的标记输入设备，其他会场也可以 发送自己的标记并且被所有的会场看到。 会议系统实施例四
如图17所示，在上述会议系统的实施例三的fc出上，描述会议系统中多 会议服务器级联的应用场景，该图中的双箭头表示混合图像数据流的传输
假设，系统中有两个MCU进行级联，其中MCU1为主MCU， MCU2为 从MCU，多于2个MCU级联的情况，与此类似，其中一个MCU为主MCU， 其他MCU为从MCU;
会议系统中，会议终端Tl将共享的图像数据信号发送给会议系统中与其 相连的MCU2,会议终端T2将本地的标记数据信号发送给与其相连的MCU2， 从MCU2将Tl的共享图像数据信号和T2的标记数据信号，转发给会议系统 中的主MCU，即MCU1 ，由会议系统中主MCU直接将接收到的共享图像数 据信号和标记数据信号转发给会议系统中的各个会议终端，对于连接在从 MCU上的会议终端，共享图像数据信号和标记数据信号由主MCU先发送给 会议系统中的各个从MCU，然后由从MCU进行转发。会议系统中的各个会 议终端收到共享图像数据信号和标记数据信号后，对其进行叠加，然后显示。
对于更多级的MCU级联，操作与上面类似，发送给会议系统中各个会议 终端的共享图像数据信号和标记数据信号，是由级联会议中的主MCU来统一 收集、转发来完成的。
该实施例中，若多个MCU均为主MCU时，同样MCU会按照标记数据
信号的添加时间先后顺序，产生一控制信号，各主MCU才艮据该控制信号将其 接收到的标记数据信号顺序转发给接收端的会议终端，由接收端的会议终端进 行叠加，并显示。当然也可以按照各标记数据信号的添加时间先后顺序获取一
控制令牌，该控制令牌即可以是主MCU主动获取，也可以是系统的中的控制 单元进行下发，各主MCU根据该控制令牌对其接收到的标记数据信号进行转 发，由各个接收端会议终端接收并进行叠加。 会议系统的实施例五
如图18所示，为上述第三种应用场景的会议系统结构示意图，该会议系 统包括会议终端91，与该会议终端91连接的一笔记本电脑92;会议服务器 93;会议终端94,与会议终端94连接的带触摸屏的显示器95;会议终端96， 与会议终端96连接的普通显示器97;这里的每一个会议终端都代表一个会场， 会议终端96的个数不作限制，其中，上述会议终端91包括
第一定时器45,用于产生第一时间间隔值；
第二定时器46，用于产生第二时间间隔值；
第一内部标记接收^^莫块4110，用于接收本地会议终端发送的标记数据信 号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信
号；
第二内部标记接收模块4120，用于接收本地会议终端发送的标记数据信 号，并按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信 号。
第一叠加模块430，用于将所述图像数据信号和所述第一标记数据信号进 行叠加，生成第一混合图像数据；
第一发送模块440,用于向所述本地会议终端的显示屏幕上发送所述第一 混合图像数据，或者通过H.239协议的辅流通道向所述会议服务器发送所述第 一混合图像数据；
所述会议服务器93 ，用于接收所述至少 一个会议终端94发送的所述第一 混合图像数据，并转发；
所述会议终端96和会议终端91,用于接收所述第一混合图像数据，对所
述第一混合图像数据进行解码，并显示。
具体来讲，该应用场景主要包括以下流程
1) 在初始状态下，会议终端91连接笔记本电脑，并且申请到H.239辅流 令牌，通过辅流通道向其他会场共享胶片(相当于把共享胶片通过辅流通道发 送其他终端)，因此会议终端94和会议终端96都看到会议终端91的胶片。
2) 当观看到某个胶片时，会议终端94的用户想在胶片上做一个标记，为 了能将自己的标记传给其他人，第一会议终端的操作过程如下
2.1) 申请H.239辅流通道控制令牌；
2.2) 判断会议控制者(当前令牌拥有者)是否同意申请，若是，得到令 牌，开始记录会议终端94的触摸屏95的标记数据信号，并将该标记数据信号 叠加到该会议终端94所观看的胶片图像上；
2.3) 将叠加标记数据信号后的胶片进行编码；
2.4 )将编码后的胶片码流通过H.239辅流通道发送会议服务器93。
此时会议终端94为H.239辅流的发送者，其他会场如果想添加自己的标 记，也做同样操作，这样通过不断切换11.239辅流发送令牌，各个会场都可以 将自己的标记添加到该胶片上。
当然，在该种系统中，会议终端94也可以采用令牌控制的方式单独发送 通过触摸屏95所添加的标记，将标记作为H.239的第二路辅流(胶片传输为 第一路辅流)，在会议召开时能力交换需要增加两个参数l.是否支持第二路 辅流；2.第二路辅流是否是标记信息；
如果第二路辅流是标记信息，则默认使用令牌的方式进行控制。也就是说， 发送标记时，也采用申请令牌的方式进行，本方案中所说"第二路"仅表明一 个序号，区别胶片辅流，实际上可以是任意一个辅流。
采用令牌控制方式发送标记的流程如下
3.1) 申请标记辅流控制令牌；
3.2) 申请成功，则得到一令牌，开始记录通过触摸屏95所添加的标记数 据信号；
3.3) 将用户的标记数据信号(标记轨迹)作为单独辅流发送给会议服务
器93,再由会议服务器93转发给其他的会议终端。
当然在实际的使用过程中，可以将上述令牌控制标记数据信号发送的方式
和令牌控制混合胶片的方式结合起来。 会议系统的实施例六
如图19所示，在上述会议系统的实施例五的基础上，描述会议系统中多 会议服务器级联的应用场景，该图中的双箭头表示混合图像数据流的传输
假设，系统有两个MCU进行级联，其中MCU1为主MCU， MCU2为从 MCU，多于2个MCU级联的情况，与此类似，其中一个MCU必定为主MCU, 其他MCU为从MCU;
会议终端Tl将共享的图像数据信号和本地的标记数据信号在本地叠加之 后生成一混合图像数据，在将混合图像数据通过H.239辅流通道发送给 MCU2， MCU2将其转发给会议中的主MCU( MCU1 )，会议中主MCU( MCU1 ) 将收到的混合图像数据发送给会议系统中的各个从MCU，连接在会议系统中 从MCU上的会议终端，通过从MCU接收该从MCU转发的混合图像数据。
对于更多的MCU级联，操作与上面类似，发送给会议系统中各个会议终 端的混合图像数据，是由级联会议中的主MCU来统一转发来完成的，当然系 统中的各个MCU也都可以为主MCU,为了保证系统中网络不被拥塞，各个 MCU之间需要以一定的顺序进行转发，并选择其中一个MCU将混合图像数 据进行最后的转发。
在上述会议系统的所有实施例中，会议终端与会议服务器之间进行数据传 输时，当网络出现拥塞或者是丢包的时候，可以采用如下方法解决网络拥塞或 者丟包的问题，使会议系统中的用户有更好的参与体验
1) 采用可靠的传输，如图像数据信号、混合图像数据信号等数据量较 大的数据采用UDP协议进行传输，不致出现网络的拥塞；
2) 采用抗丟包技术，使用一些丢包恢复技术，进行冗余数据传输，当出 现小丟包时，如标记数据信号，因为其数据量较小，接收端通过冗余数据及收 到的数据一同恢复出被丟失的数据，可以使用可靠的传输协议TCP协议来进 行传输，以确保标记数据信号能够安全地在各个设备间传输；当然，标记数据
信号，也可以使用可靠的传输，如使用UDP协议进行传输。
所有的现有系统上的抗丟包技术，都可以应用到本交互应用上来，以改善
丢包或是网络拥塞情况下的应用体验。
在标记数据信号由会议终端发送给会议服务器，再由会议服务器转发给其
他的会议终端时，可以通过如上述IP网的TCP协议、UDP协议，当然也可以 采用如H.320系统的HMLP协议进行传输，为了保证实时性，在IP网络中通 常使用UDP协议进行传输。
当然，在MCU侧或者接收侧的会议终端侧，也可以通过记录接收到数据 的时间，并按照接收时间的先后顺序对接收到的图像数据信号和标记数据信号 进行叠加，以保证各个会议终端添加的标记数据信号能够被正确的叠加，提高 用户的体验；或者会议终端在发送图像数据信号、标记数据信号时，添加一时 间戳，记录发送的时间，MCU接收到该图像数据信号或者标记数据信号时， 可以获取该时间戳，尤其是对于标记数据信号，按照标记数据信号的发送时间 对图像数据进行叠加，使各个会议终端的标记数据信号与图像数据信号能够被 正确的叠加，提高用户的体验和参与感。
在上述的几种会议系统，在实现用户相互协作交互的过程中，无需另外构 造数据会议系统和设备，在现有的H.239双流的基础上实现与会者之间的数据 协作，提高用户的参与感和讨论效率。
方法的实施例
如图20,本发明的实施例还提供一种数据处理方法，包括 步骤S160,获取图像数据信号； 步骤S161,获取标记数据信号；
步骤S162，将所述图像数据信号和所述标记数据信号进行叠加，生成混 合图像数据信号；
步骤S163，输出所述混合图像数据信号，该混合图像数据即可以输出到 本地会议终端上进行显示，也可以输出到会议服务器，再由会议服务器转发给 其他的会议终端。
该方法通过将获取的图像数据信号和标记数据信号进行叠加，生成混合图
像数据信号，如该混合图像数据信号为添加了标记的胶片，该允许与会者在观 看胶片的时候，同时在胶片上画上自己的标记，提高视频会议用户的参与感， 提高讨论效率。
下面为上述图20所示的方法的一具体实现过程
步骤S170,获取图像数据信号；
步骤S171，获取本地会议终端输入的标记数据信号；
步骤S172，产生第一时间间隔值；
步骤S173,产生第二时间间隔值；
步骤S174,按照所述第一时间间隔值输出所述标记数据信号，产生第一 标记数据信号；
步骤S175,按照所述第二时间间隔值输出所述标记数据信号，产生第二 标记数据信号，并对该第二标记数据信号进行编码，生成第三标记数据信号；
步骤S176,判断是否支持标记辅流，若支持，执行步骤S177,若不支持 执行步骤S178或者通过自定义通道发送所述第三标记数据信号；
步骤S177，在H.239协议的辅流通道中申请令牌，申请成功并得到一令 牌后，产生第一控制信号，根据所述第一控制信号通过H.239协议的一个辅流 通道向会议服务器发送所述第三标记数据信号；
步骤S178，在H.239协议的另一个辅流通道中申请令牌，申请成功并得 到一令牌后，产生第二控制信号，根据所述第二控制信号将所述图像数据信号 和所述第一标记数据信号进行叠加，生成第一混合图像数据；
步骤S179，向所述本地会议终端的显示屏幕上发送所述第一混合图像数 据，或者通过H.239协议的辅流通道向会议服务器发送所述第一混合图像数 据，再由会议服务器转发给其他的会议终端。
另外，若接收的标记数据信号为其他终端发送的标记数据信号时，上述图 17所示的方法还可以具体为
上述图20所示的方法的另一具体实现过程
步骤S180，获取图像数据信号；
步骤S181，获取会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号；
步骤S182，产生第一时间间隔值；
步骤S183,对所述至少一个其他会议终端的标记数据信号分别进行解码， 生成一标记数据信号队列；
步骤S184,按照所述第一时间间隔值，根据所述标记数据信号队列的顺 序输出所述标记数据信号，生成至少一个第 一标记数据信号；
步骤S185,将所述图像数据信号和所述第一标记数据信号进行叠加，生 成第二混合图像数据信号；
步骤S186，向本地会议终端的显示屏幕上发送所述第二混合图像数据。
其中上述标记数据信号包括会议标号，会议终端标号和标记数据信号内 容；其中，会议标号，会议终端标号主要为了保证接收方在叠加时，能够区分 出是那个会议终端发送的标记数据信号；而标记数据信号内容用矢量图、二值 位图、YUV色彩位图或者RGB色彩位图来表示，在使用矢量图或二值位图的 时候，可以由会议服务器随机给每个会议终端分配一种颜色，会议终端的叠加 模块在叠加不同会场轨迹的时候使用会议服务器分配的颜色进行填充；在使用 YUV、 RGB等彩色位图表示轨迹的时候，系统中必须统一指定一种透明颜色， 以便接收端能正确识别出标记数据信号的位置与胶片叠加。
另一方法的实施例
如图21所示，本发明的实施例还提供一种数据处理方法，包括 步骤S190，接收会议终端发送的图像lt据信号和标记数据信号； 步骤S191,对所述图像数据信号和所述标记数据信号进行叠加，生成混 合图像数据；
步骤S192，向会议终端发送所述混合图像数据或者所述图像数据信号或 者所述标记数据信号。
步骤S191包括为所述标记数据信号分配填充颜色或者透明颜色，并利 用所述填充颜色或者透明颜色对所述标记数据信号进行处理，产生颜色标记数 据信号；标记数据信号的内容可以用矢量图、二值位图、YUV或者RGB等彩 色位图表示； 将所述图像数据信号和所述颜色标记数据信号进行叠加，生成混合图像数 据。在使用矢量图或二值位图的时候，可以随机给每个会议终端的标记数据信 号分配一种填充颜色，在叠加不同会场轨迹的时候使用上述填充颜色进行填
充；在使用YUV、 RGB等彩色位图表示标记数据信号的时候，MCU须指定 一种透明颜色，以便接收会议终端能正确识别出轨迹的位置，这样可以保证标 记数据信号和图像数据信号叠加后，每一个会场的混合图像数据的完整性。
步骤S192中，向会议终端发送所述混合图像数据或者所述标记数据信号 时，该会议服务器可选择H,239协议的一辅流通道，通过所述辅流通道向会议 终端发送所述混合图像数据或者所述标记数据信号。支持H,239协议，系统结 构筒单，且使会议系统中的各个会议终端都能够看到其他会议终端添加的标 记，实现与会者之间的协作，提高用户的参与感，提高用户的讨论效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤 是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一可读取存
储介质中，该程序在执行时，包括如上述方法实施例的步骤。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技 术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰， 这些改进和润饰也应^L为本发明的保护范围。
权利要求
1.一种会议终端，其特征在于，包括标记获取模块，用于获取标记数据信号；图像获取模块，用于获取图像数据信号；叠加模块，用于将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号；输出模块，用于输出所述混合图像数据信号。
2. 根据权利要求1所述的会议终端，其特征在于，还包括 第一定时器，用于产生第一时间间隔值；第二定时器，用于产生第二时间间隔值； 所述标记获取才莫块具体包括第一标记获取模块，用于获取所述标记数据信号，并按照所述第一时间间 隔值输出所述标记数据信号，产生第一标记数据信号；第二标记获取才莫块，用于获取所述标记数据信号，并按照所述第二时间间 隔值输出所述标记数据信号，产生第二标记数据信号。
3. 根据权利要求2所述的会议终端，其特征在于， 所述第 一标记获取模块具体为第一内部标记获取模块，用于获取本地会议终端发送的标记数据信号，并 按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号； 所述第二标记获取模块具体为第二内部标记获取模块，用于获取本地会议终端发送的标记数据信号，并 按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号。
4. 根据权利要求3所述的会议终端，其特征在于，还包括 标记编码模块，用于将所述第二标记数据信号进行编码，产生第三标记数据信号；标记发送模块，用于通过辅流通道或者自定义通道向会议服务器发送所述 第三标记数据信号。
5. 根据权利要求4所述的会议终端，其特征在于，还包括 第一令牌控制模块，用于在所述辅流通道中申请令牌，申请成功并得到一令牌后，产生第一控制信号；所述标记发送模块根据所述第一控制信号通过所述辅流通道向所述会议 服务器发送所述第三标记数据信号。
6. 根据权利要求2所述的会议终端，其特征在于， 所述第 一标记获取才莫块具体为第一外部标记获取溪块，用于获取会议服务器发送的除本地会议终端外的 至少 一个其他会议终端的标记数据信号，并按照所述第 一 时间间隔值输出所述 标记数据信号，产生第一标记数据信号。
7. 根据权利要求6所述的会议终端，其特征在于， 所述第一外部标记获取^t块包括第一外部标记获取子冲莫块，用于获取所述会议服务器发送的至少一个所述 其他会议终端的标记数据信号；至少一个解码器，用于对所述至少一个所述其他会议终端的标记数据信号 分别进行解码，生成一标记数据信号队列；标记输出冲莫块，用于按照所述标记数据信号队列的顺序输出所述标记数据 信号，生成至少一个第一标记数据信号。
8. 根据权利要求7所述的会议终端，其特征在于， 所述叠加模块具体为第一叠加模块，用于将所述图像数据信号和所述第一标记数据信号进行叠 加，生成第一混合图像数据信号； 所述输出模块具体为第一发送模块，用于向本地会议终端的显示屏幕上发送所述第一混合图像 数据。
9. 根据权利要求3所述的会议终端，其特征在于，还包括 第二令牌控制模块，用于在辅流通道中申请令牌，申请成功并得到一令牌后，产生第二控制信号。
10. 根据权利要求9所述的会议终端，其特征在于， 所述叠加模块具体为第二叠加模块，用于根据所述第二控制信号将所述图像数据信号和所述第 一标记数据信号进行叠加，生成第二混合图像数据； 所述输出^^莫块具体为第二发送模块，用于向所述本地会议终端的显示屏幕上发送所述第一混合 图像数据，或者通过所述辅流通道向会议服务器发送所述第二混合图像数据。
11. 根据权利要求1-IO任一项所述的会议终端，其特征在于，还包括 标记擦除模块，用于将所述混合图像中的标记数据信号进行擦除；或 图像数据保存模块，用于在本地会议终端上保存所述混合图像数据；或 图像发送模块，用于向会议服务器发送图像数据信号。
12. 根据权利要求1 - IO任一项所述的会议终端，其特征在于，所述图像 获取模块包括内部图像获取模块，用于获取本地会议终端发送的图像数据信号； 外部图像获取模块，用于获取会议服务器发送的除本地会议终端外的其他 会议终端的图像数据信号。
13. —种会议服务器，其特征在于，包括图像数据接收模块，用于接收会议终端发送的图像数据信号； 标记接收模块，用于接收会议终端发送的标记数据信号； 叠加模块，用于对所述图像数据信号和所述标记数据信号进行叠加，生成 混合图像数据；发送模块，用于发送所述混合图像数据或者所述图像数据信号或者所述标 记数据信号。
14. 根据权利要求13所述的会议服务器，其特征在于，所述叠加模块包括填充模块，用于为所述标记数据信号分配填充颜色或者透明颜色，并利用 所述填充颜色或者透明颜色对所述标记数据信号进行处理，产生颜色标记数据 信号； 处理模块，用于将所述图像数据信号和所述颜色标记数据信号进行叠加， 生成混合图像数据。
15. 根据权利要求13或14所述的会议服务器，其特征在于，还包括 发送控制模块，用于选择辅流通道，控制所述发送模块通过所述辅流通道向会议终端或者其他会议服务器发送所述混合图像数据或者所述图像数据信 号或者所述标记数据信号。
16. —种会议系统，其特征在于，包括第一会议终端，会议服务器和至 少一个第二会议终端；其中，所述第一会议终端包括图像获取模块，用于获取所述会议服务器转发的图像数据信号； 标记发送模块，用于获取标记数据信号，并向所述会议服务器发送标记数 据信号；所述会议服务器包括图像数据接收模块，用于接收系统中任一会议终端发送的图像数据信号； 标记接收模块，用于接收所述标记数据信号；叠加模块，用于对所述图像数据信号和所述标记数据信号进行叠加，生成 混合图像数据；发送模块，用于向所述第一会议终端和所述至少一个第二会议终端发送所 述混合图像数据；所述至少一个第二会议终端，用于接收并显示所述混合图像数据。
17. 根据权利要求16所述的系统，其特征在于，所述会议服务器为至少 两个级联的会议服务器。
18. 根据权利要求17所述的系统，其特征在于，所述至少两个会议服务 器包括 一主会议服务器和至少一个从会议服务器；所述主会议服务器，向所述至少一个从会议服务器和与所述主会议服务器 连接的会议终端发送所述混合图像数据；所述从会议服务器，将其接收到的所述混合图像数据向与所述从会议服务 器连接的会议终端发送。
19. 才艮据权利要求17所述的系统，其特征在于，所述至少两个会议服务 器均为主会议服务器，所述系统还包括控制单元，用于获取所述标记数据信号的发送时间，按照所述标记数据信 号的发送时间的先后顺序，产生一控制信号；所述至少两个主会议服务器中的所述叠加模块，根据所述控制信号对所述 图像数据信号和所述标记数据信号进行叠加，生成所述混合图像数据。
20. 根据权利要求19所述的系统，其特征在于，所述至少两个主会议服 务器根据所述控制信号，获取一控制令牌，所述叠加模块根据所述控制令牌对 所述图像数据信号和所述标记数据信号进行叠加，生成所述混合图像数据。
21. —种会议系统，其特征在于，包括第一会议终端，会议服务器和至 少一个第二会议终端；其中，所述第一会议终端包括图像获取模块，用于获取所述会议服务器发送图像数据信号； 标记发送模块，用于获取标记数据信号，并向所述会议服务器发送所述标 记数据信号；所述会议服务器用于接收所述图像数据信号和所述标记数据信号，并转发；所述至少一个第二会议终端包括第一定时器，用于产生第一时间间隔值；图像获取模块，用于获取所述会议服务器转发的图像数据信号；第一外部标记获取模块，用于获取所述会议服务器转发的标记数据信号， 并按照所述第 一时间间隔值输出所述标记数据信号，产生第 一标记数据信号；第一叠加模块，用于将所述图像数据信号和所述第一标记数据信号进行叠 加，生成第一混合图像数据信号；显示模块，用于显示所述第一混合图像数据信号。
22. 根据权利要求21所述的系统，其特征在于，所述第一外部标记获取 模块包括第一外部标记获取子模块，用于获取所述会议服务器转发的至少一个其他会议终端的标记数据信号；至少一个解码器，用于对所述至少一个其他会议终端的标记数据信号分别 进行解码，生成一标记数据信号队列；标记输出模块，用于按照所述第一时间间隔值和所述标记数据信号队列的 顺序输出所述标记数据信号，生成至少一个第 一标记数据信号。
23. 根据权利要求21或22所述的系统，其特征在于，所述会议服务器为 至少两个级联的会议服务器。
24. 根据权利要求23所述的系统，其特征在于，所述至少两个会议服务 器包括 一主会议服务器和至少一个从会议服务器；所述主会议服务器，向所述至少一个从会议服务器和与所述主会议服务器 连接的会议终端发送所述图像数据信号和所述标记数据信号；所述从会议服务器，将其接收到的所述图像数据信号或所述标记数据信号 向与所述从会议服务器连接的会议终端发送。
25. 根据权利要求23所述的系统，其特征在于，所述至少两个会议服务 器均为主会议服务器，所述系统还包括控制单元，用于获取所述标记数据信号的发送时间，按照所述标记数据信 号的发送时间的先后顺序，产生一控制信号；所述至少两个主会议服务器根据所述控制信号转发所迷图像数据信号和 所述标记数据信号。
26. 根据权利要求25所述的系统，其特征在于，所述至少两个主会议服 务器根据所述控制信号，获取一控制令牌，并根据所述控制令牌对所述图像数 据信号和所述标记数据信号进行转发。
27. —种会议系统，其特征在于，包括第一会议终端，会议服务器和至 少一个第二会议终端；其中，所述第一会议终端包括第一定时器，用于产生第一时间间隔值；第二定时器，用于产生第二时间间隔值；第一内部标记获取模块，用于获取本地会议终端发送的标记数据信号，并 按照所述第 一 时间间隔值输出所述标记数据信号，产生第 一标记数据信号； 第二内部标记获取模块，用于获取本地会议终端发送的标记数据信号，并按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号； 第二叠加模块，用于将所述图像数据信号和所述第一标记数据信号进行叠加，生成第二混合图像数据；第二发送模块，用于向所述本地会议终端的显示屏幕上发送所述第一混合图像数据，或者通过辅流通道向所述会议服务器发送所述第二混合图像数据； 所述会议服务器，用于接收所述第二混合图像数据，并转发； 所述至少一个第二会议终端，用于接收所述第二混合图像数据并显示。
28. 根据权利要求27所述的系统，其特征在于，所述第一会议终端还包括第二令牌控制模块，用于在另一个辅流通道中申请令牌，申请成功并得到 一令牌后，产生第二控制信号；所述第二叠加模块根据所述第二控制信号将所述图像数据信号和所述第 一标记数据信号进行叠加，生成第二混合图像数据。
29. 根据权利要求27或28所述的系统，其特征在于，所述会议服务器为 至少两个级联的会议服务器。
30. 根据权利要求29所述的系统，其特征在于，所述至少两个会议服务 器包括 一主会议服务器和至少一个从会议服务器；所述主会议服务器，向所述至少一个从会议服务器和与所述主会议服务器 连接的会议终端发送所述第二混合图像数据；所述从会议服务器，将其接收到的所述第二混合图像数据向与所述从会议 服务器连接的会议终端发送。
31. —种数据处理方法，其特征在于，包括 获取图像数据信号； 获取标记数据信号；将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号； 输出所述混合图像数据信号。
32. 根据权利要求31所述的方法，其特征在于，所述获取标记数据信号 的步骤之后还包括产生第一时间间隔值； 产生第二时间间隔值；按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号。
33. 根据权利要求32所述的方法，其特征在于，所述获取标记数据信号 的步骤具体为获取本地会议终端发送的标记数据信号。
34. 根据权利要求33所述的方法，其特征在于，所述按照所述第二时间 间隔值输出所述标记数据信号，产生第二标记数据信号的步骤之后还包括将所述第二标记数据信号进行编码，产生第三标记数据信号； 通过辅流通道向会议服务器发送所述第三标记数据信号。
35. 根据权利要求34所述的方法，其特征在于，所述通过辅流通道向会 议服务器发送所述第三标记数据信号的步骤具体为在所述辅流通道中申请令牌，申请成功并得到一令牌后，产生第一控制信号；根据所述第一控制信号通过所述辅流通道向所述会议服务器发送所述第 三标记数据信号。
36. 根据权利要求32所述的方法，其特征在于，所述获取标记数据信号 的步骤具体为获取会议服务器发送的除本地会议终端之外的至少 一个其他会议终端的 标记数据信号。
37. 根据权利要求36所述的方法，其特征在于，所述接收会议服务器发 送的至少 一个其他会议终端的标记数据信号的步骤之后还包括 对所述至少一个其他会议终端的标记数据信号分别进行解码，生成一标记数据信号队列；按照所述第一时间间隔值，根据所述标记数据信号队列的顺序输出所述标 记数据信号，生成至少一个第一标记数据信号。
38. 根据权利要求37所述的方法，其特征在于，所述将所述图像数据信 号和所述标记数据信号进行叠加，生成混合图像数据信号的步骤具体为将所述图像数据信号和所述至少一个第一标记数据信号进行叠加，生成第 一混合图像数据信号；所述输出所述混合图像数据信号的步骤具体为向本地会议终端的显示屏幕上发送所述第 一混合图傳_数据。
39. 根据权利要求33所述的方法，其特征在于，按照所述第一时间间隔 值输出所述标记数据信号，产生第 一标记数据信号的步骤后还包括在辅流通道中申请令牌，申请成功并得到一令牌后，产生第二控制信号； 将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信 号的步骤具体为根据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进 行叠加，生成第二混合图像数据；所述输出所述混合图像数据信号的步骤具体为向所述本地会议终端的显示屏幕上发送所述第二混合图像数据，或者通过 辅流通道向会议服务器发送所述第二混合图像数据。
40. 根据权利要求31至39任一项所述的方法，其特征在于，所述标记数 据信号包括会议标号，会议终端标号和标记数据信号内容。
41. 根据权利要求40所述的方法，其特征在于，所述标记数据信号内容 用矢量图、二值位图、YUV色彩位图或者RGB色彩位图表示。
42. 根据权利要求31至39任一项所述的方法，其特征在于，所述图像数 据信号为胶片图像数据或者白色背景图像数据。
43. —种数据处理方法，其特征在于，包括 接收会议终端发送的图像数据信号和标记数据信号；对所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据； 向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记 数据信号。
44. 根据权利要求43所述的方法，其特征在于，所述对所述图像数据信 号和所述标记数据信号进行叠加，生成混合图像数据的步骤包括为所述标记数据信号分配填充颜色或者透明颜色，并利用所述填充颜色或 者透明颜色对所述标记数据信号进行处理，产生颜色标记数据信号；将所述图像数据信号和所述颜色标记数据信号进行叠加，生成混合图像数据。
45. 根据权利要求43或44所述的会议服务器，其特征在于，所述向会议 终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号的 步骤具体为选择一辅流通道，通过所述辅流通道向会议终端发送所述混合图^f象数据或 者所述标记数据信号。
全文摘要
本发明实施例提供一种会议终端、会议服务器、会议系统及数据处理方法，其中，会议终端包括标记获取模块，用于获取标记数据信号；图像获取模块，用于获取图像数据信号；叠加模块，用于将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号；输出模块，用于输出所述混合图像数据信号。通过采用本发明的实施例，可以提高视频会议用户的参与感，提高讨论效率。
文档编号H04N7/15GK101370115SQ20081022437
公开日2009年2月18日 申请日期2008年10月20日 优先权日2008年10月20日
发明者王浦林, 魏小霞, 龙彦波 申请人:深圳华为通信技术有限公司