一种视频电子白板业务实现方法及装置制造方法
【专利摘要】本发明公开了一种视频电子白板业务实现方法，该方法借助视频电话中传输视频图像的原理，在双方话机视频电话的技术基础上，将视频图像的采集源从摄像头传感器切换为显示屏数据帧缓冲区，同时通过设置专门的虚拟摄像头完成电子白板数据采集工作，再将其按协商的格式编码后经RTP传输至被呼叫方端加以显示。通过本发明技术方案在视频话机间实现了语音、视频和白板功能的沟通，且成本低，互通性强，能兼容其他规格的视频话机。
【专利说明】一种视频电子白板业务实现方法及装置
【技术领域】
[0001]本发明属于通讯【技术领域】，尤其涉及嵌入式通讯设备的视频电子白板业务实现方法及通讯终端的电子设备。
【背景技术】
[0002]电话是近代通信领域最重要的发明之一，它的出现使信息即时的双向交流得以实现。今天，电话的作用非但没有减弱，反而得到更广泛地应用，并伴随着科学技术的发展，如今的电话除了用于实时传输音频数据外还可以用于传输视频数据，以满足人们多样化的需求。
[0003]然而，现有电话所提供的音频/视频电话功能并不能满足所有的通话应用场景，如:(1)通过绘制方案图进行讨论的；(2)需根据结构设计图/流程图等图稿进行会议讨论；(3)需根据指定文档进行会议讨论；(4)需导入图片/照片等资料进行会议讨论。在这些应用场合中，语音或视频电话满足不了需求，能在与会者间共享图片、文字资料的电子白板技术运应而生。常见的有单机的可触控电子白板、基于因特网网络服务器的电子白板，但是，这些电子白板仍具有如下不足:
*单机电子白板仅能给本地人员做演示、展览的用途，无法给远程人员演示；
*基于因特网网络服务器的电子白板需要结合特定的服务器和终端，成本高，设备兼容性差，每个厂商的服务器、设备或者浏览器插件必须结合自己的设备或服务器才能使用。
[0004]为了克服现有话机电子白板功能不足，本发明将公开一种具有视频电子白板业务的话机，基于视频通/[目的基础上，可实现语首、视频和白板功能的沟通。
【发明内容】
[0005]本发明的目的在于提供一种视频电子白板业务实现方法，直接采集显示数据帧缓冲区的数据，并经视频编码、处理后通过流媒体格式传输到对方设备并显示，从而不依赖服务器以实现终端设备间的视频电子白板功能，降低了实现成本。
[0006]为了实现上述发明目的，本发明的技术方案如下:
一种视频电子白板业务实现方法，在可实现视频电话的主叫方和被叫方间进行通讯，其特征在于，所述方法包括:a、所述主叫方与所述被叫方建立视频电话模式，所述主叫方在发送邀请信令时携带视频编码格式，由此和所述被叫方协商统一的视频编码格式山、启动电子白板显示，所述主叫方的显示屏接收电子白板数据输入并将其加以显示；c、所述主叫方启动虚拟摄像头工作，并由所述虚拟摄像头采集显示数据帧缓冲区，也即采集所述电子白板数据；d、所述电子白板数据经采集后按照所述视频编码格式进行编码、压缩处理，之后再经流媒体传输协议传送至所述被叫方加以显示。
[0007]进一步地，上述方法中，所述电子白板数据包括:画图板输入数据、导入图片数据、导入文档数据、菜单界面数据。
[0008]进一步地,上述方法中，所述启动虚拟摄像头工作是通过启动虚拟摄像头驱动模块，并由其负责所述虚拟摄像头中的采集预处理模块完成所述电子白板数据的采集工作。
[0009]进一步地，上述方法中，所述虚拟摄像头负责设置所述采集预处理模块的各个参数，包括:分辨率大小、帧率大小、采集视频帧格式。
[0010]进一步地，上述方法中，所述虚拟摄像头的最大分辨率等于显示屏的分辨率，所述采集预处理模块调用硬件缩放功能模块来实现动态缩放任意大小的分辨率，所述采集预处理模块还用于实现动态帧率的控制、视频帧格式的设置。
[0011]为了解决上述技术问题，本发明还提供了一种视频电子白板业务实现装置，支持视频电话功能，包括控制器、存储器、显示屏、视频编码模块、视频解码模块，其特征在于，所述装置还包括虚拟摄像头、虚拟摄像头驱动，以及电子白板数据输入，其中，所述虚拟摄像头包括显示数据帧缓冲区、采集预处理模块，所述采集预处理模块用于在“视频电子白板功能”下采集所述显示数据帧缓冲区中的数据；
所述虚拟摄像头驱动，负责设置虚拟摄像头中的所述采集预处理模块的各个参数，包括分辨率大小、帧率大小、采集视频格式，以及负责完成与应用程序的交互、所述装置内部各功能模块的数据传输；所述电子白板数据输入，用于在所述“视频电子白板功能”下导入电子白板显示输入数据。
[0012]进一步地，上述装置中，所述视频编码模块接收所述虚拟摄像头传输来的视频流，按照在视频电话模式下与被叫方协商的视频编码格式进行编码，完成编码后再经网络流媒体传输至所述被叫方加以显示；所述电子白板数据输入包括:画图板输入、导入图片、导入文档、菜单操作；所述虚拟摄像头的最大分辨率等于显示屏的分辨率，所述采集预处理模块调用硬件缩放功能模块来实现动态缩放任意大小的分辨率，所述采集预处理模块还用于实现动态帧率的控制、视频帧格式的设置。
[0013]本发明公开的视频电子白板业务实现方法及装置，充分利用了现有话机视频电话中视频编码技术、流媒体传输技术，并整合虚拟摄像头功能模块，通过其对显示数据帧缓冲区的数据采集、编码后传输至对方话机加以显示。此外，该虚拟摄像头还可以同实际摄像头一样支持动态分辨率调整、动态帧率控制，以及多种视频帧格式设置。采用本发明的技术方案可以以较低成本、满足一定场景的电子白板传输功能，从而提高终端话机的可用性和用户体验。
【专利附图】
【附图说明】
[0014]图1为普通VoIP电话在视频电话模式下的工作示意图；
图2为本发明【具体实施方式】中具有视频电子白板功能的工作示意图；
图3为本发明【具体实施方式】中具有视频电子白板功能的话机示意图；
图4为本发明【具体实施方式】中视频电子白板业务的工作流程图。
【具体实施方式】
[0015]本发明的基本原理是:在实现视频电话的技术基础上，将视频图像的采集源从普通摄像头传感器切换成LCD显示的图像，并在采集过程中完全模拟实际摄像头的参数设置，如:动态调整分辨率、支持动态帧率控制、支持多视频帧格式等，后续通过RTP传输采集处理后的视频媒体信息，参与视频电话的另一话机接收到视频包并在LCD显示屏上显示出来，即可实现双方话机的电子白板传输功能。
[0016]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例中的技术方案进行清楚、完整的描述。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例都属于本发明保护的范围。
[0017]图1为普通VoIP电话在视频电话模式下的工作示意图。由图可知，话机A和话机B在视频电话模式下，话机A端的摄像头传感器的数据经视频采集、编码处理后再通过RTP流媒体传输协议网络传输至话机B，话机B将获取到的视频数据解码后在LCD显示端视频输出。
[0018]在本发明【具体实施方式】中，我们选用支持视频电话功能的VoIP话机A和话机B为例进行说明。在实际应用中，本发明的视频电子白板业务应用不限于上述VoIP话机，在其他具备视频通信功能的终端设备也可以实现。
[0019]图2为本发明【具体实施方式】中具有视频电子白板功能的工作示意图。如图所示，话机A能够实现本发明视频电子白板功能，话机B是任一支持视频电话的普通VoIP话机。当两端话机建立视频电话后，通过对“视频电子白板”菜单的操作，话机A便进入本发明的视频电子白板传输方式。此时，话机A的视频采集源将从摄像头传感器切换为LCD显示数据帧缓冲区，且LCD显示屏上也从显示远端/本地的视频图像变为电子白板显示画面。用户通过画图板输入、导入图片、导入文档、菜单操作等方式对输入电子白板显示数据，话机A通过对IXD显示数据帧缓冲区的视频采集、处理，并按照与话机B协商的编码格式编码后以RTP/SRTP流媒体传输协议传输至话机B端加以显示。
[0020]图3为本发明【具体实施方式】中具有视频电子白板功能的话机示意图。如图所示，话机A300包括以下功能模块:1XD显示数据帧缓冲区301、采集预处理模块302、虚拟摄像头驱动303、视频编码模块304、IXD显示屏305、视频接收模块306、视频解码模块307、电子白板数据输入308、存储器309、控制器310，以及普通摄像头311。
[0021]其中，IXD显示数据帧缓冲区301和采集预处理模块302共同构成了一个虚拟摄像头，为了能够实现本发明的视频电子白板功能，话机A将从LCD显示数据帧缓冲区301内采集数据，并在软件上实现一个类似于摄像头的采集预处理模块302。该虚拟摄像头和真实的普通摄像头311的区别在于采集的数据源不同，在普通视频电话中是采集摄像头传感器的数据，而在本发明的视频电子白板业务中是采集上述LCD显示数据帧缓冲区301中存储的数据。此外，采集预处理模块302还可实现帧率和帧格式的动态控制，以及用于通过调用硬件Resizer引擎(图中未显示)实现在最大分辨率下的动态缩放任意大小。
[0022]虚拟摄像头驱动303，负责设置虚拟摄像头中的采集预处理模块302的各个参数，如分辨率大小、帧率大小、采集视频格式等，以及负责完成和应用程序的交互和话机A内部各模块间的数据传输。
[0023]视频编码模块304，负责对所接收的视频流数据进行编码，在本发明中对虚拟摄像头传输过来的视频流数据按照视频电话创建过程中协商的编码格式，如H263、H264、H265来进行编码，并将编码后的数据经RTP/SRTP流媒体协议传输到话机B端加以显示。
[0024]IXD显示屏305，在视频电话过程中用于显示话机B传输过来的视频数据，以及显示用户通过画图板输入、导入图片/文档，以及菜单操作等方式输入的数据。在本发明【具体实施方式】中，电子白板具有如下功能:
Cl.画图板功能:话机A的用户可使用画图板功能，选择画笔/画刷的线条粗细，颜色，绘制图案/流程图，话机B的LCD上可以看到话机A所绘制图案/流程图；
c2.导入图片功能:话机A的用户可以选择导入话机上/话机所连接的移动存储设备上的图片，在此图片上也可继续使用画图板功能，话机B的IXD上可以看到话机A所导入的图片和基于此图片使用画图板功能的修改；
c3.导入文档功能:话机A的用户可以选择导入话机上/话机所连接的移动存储设备上的文本文档/文字处理文档(word/power point和excel)文档,话机B的IXD上可以看到话机A所导入的文档；
c4.保存界面功能:话机A的用户可以保存当前电子白板界面显示内容为图片格式； c5.录像/录音功能:话机A的用户可以开始录像/录音，以视频形式保存电子白板会话；
c6.退出电子白板:话机A的用户可退出电子白板，切换回普通的视频电话工作模式。
[0025]视频接收模块306，用于接收视频电话过程中话机B传输过来的RTP视频数据。
[0026]视频解码模块307，将接收到的视频数据解码后传输至IXD显示屏305。
[0027]电子白板数据输入308，包括画图板输入、导入图片、导入文档、菜单操作等几种常见的输入方式。
[0028]存储器309，存放预先设置的虚拟摄像头的规格参数，包括动态帧率、视频格式等，以及IXD显示屏305的分辨率。
[0029]控制器310，负责完成话机内部各个功能单元的协调，指挥整个话机系统的操作，主要用于控制IXD显示屏305的数据输入的切换、虚拟摄像头驱动303的启动/切换。例如，当话机A启动“视频电话模式”下的“视频电子白板功能”时，LCD显示屏305切换成电子白板界面的显示，如果此时LCD显示屏305是显示来自话机B传输过来的视频，控制器310在接通电子白板数据输入307前还需断开视频解码模块306的数据输入。与此同时，启动虚拟摄像头驱动303的工作，将视频采集源从普通摄像头311切换为IXD显示数据帧缓冲区301。此外，在“视频电子白板功能”下对分辨率的动态调整、帧率的动态控制，以及视频帧格式的选择也是通过控制器310对虚拟摄像头驱动303进行控制来实现的。至于控制器310是否需要停止普通摄像头311工作视具体工作模式不同来处理，例如，在“视频电话模式”下，如果普通摄像头311处于工作状态中，当话机进入“视频电子白板功能”时则需要在普通摄像头311和虚拟摄像头驱动303之间进行切换，否则直接接通虚拟摄像头驱动303。
[0030]普通摄像头311，用于在“视频电话模式”下的视频拍摄，该普通摄像头311具体包括摄像头传感器、采集控制器件、普通摄像头驱动，以及编码等功能单元，由于这部分对于视频电话技术而言属于现有技术范畴，对本领域技术人员来说也是可以知晓的，故详细的工作原理不再赘述。
[0031]图4为本发明【具体实施方式】中视频电子白板业务的工作流程图。该图主要披露了话机A端实现电子白板功能的流程图，包括以下步骤:
步骤S401:创建“视频电话模式”，话机A通过与话机B创建视频电话协商统一使用的编码、解码的格式，具体实现过程如下: (1)呼叫方话机A向话机B发送一个携带视频编码的Invite请求；
(2)话机B接收到Invite请求后,它将一个180的响铃消息回复给话机A；
(3)话机B在摘机后，也即接听电话后回一个200OK给话机A，表示可以进行随后的通话操作；
(4)话机A直接发送一个ACK消息给话机B；
(5)话机A和话机B进行流媒体的通信，采用RTP流媒体传输协议对Aud1、Video数据进行传输。
[0032]步骤S402:启动“视频电子白板功能”，话机A在“视频电话模式”下，用户通过对键盘/软按键的菜单操作选择启动“视频电子白板功能”。
[0033]在本发明【具体实施方式】中，话机A的视频电子白板不同于常见的电子白板，采用本发明设计的电子白板，基于视频电话的基础上，类似一种peer-to-peer的架构。对对方设备的要求则很基本，只要是支持VoIP业界标准的视频电话即可。兼容性很高，基本能兼容市面所有视频话机进行电子白板沟通，而无需另外架构服务器，花费其他支出。因此，上述提及的“视频电子白板功能”实际上是在“视频电话模式”下的一个子功能。
[0034]而常见的两种电子白板:
1)单机的独立设备的电子白板，常见的大屏幕的触摸屏，或者触控板控制的白板，只适合在一个固定环境下演示给的现场人看，可以理解为是传统黑板的替代，加以电子化和文档、图片等现代化数据交互的形式；
2)类似Netmeeting、游戏“我画你猜”这种C、S架构的服务器，功能完备，但首先要求有个Server可以处理Cl inet发送过来的“白板数据”,把多个Cl ient的白板数据综合处理成一份，再发送给各个Client ;这就要求，Server、Client都是用约定的协议互通,而在业界并无这种协议，各厂商所采用的实现各异，兼容性很差，几乎没有看到可以用一家的client用在另一家的Server上的，架构服务器的成本和技术门槛也不是一般中小企业能接受的。
[0035]步骤S403:启动电子白板显示，即通过画图板输入、导入图片、导入文档、菜单操作等方式进行电子白板显示内容输入。
[0036]在本发明【具体实施方式】中，根据对IXD显示输入的数据不同，分为两类IXD显示:第一种是视频电话模式下，对方话机B的摄像头拍摄并传输过来的视频数据；第二种是本地话机的电子白板显示，如:画图板输入，即用户通过用手指或笔触及触摸屏上输入区域来完成书写、绘画等方式输入；话机A系统导入的图片、文档；以及菜单操作，即通过调用预存的界面按钮、图标、菜单或其他输入/输出元素，以提供给用户进行操作或浏览。
[0037]步骤S404:启动虚拟摄像头工作，普通摄像头工作时表现为切换摄像头工作模式，启动虚拟摄像头，同时关闭普通摄像头工作。具体而言就是通过启动虚拟摄像头驱动、软件采集预处理模块的工作来对LCD显示数据帧缓冲区进行数据采集等。
[0038]步骤S405:调整虚拟摄像头的工作参数，分辨率可以在IXD所支持的最大分辨率下，通过调用硬件Resizer引擎来实现动态缩放任意大小。帧率和帧格式可以参考之前虚拟摄像头默认的数值大小进行设置。该步骤是对上一步骤S404启动虚拟摄像头对LCD显示数据帧缓冲区进行数据采集过程中的一个优化，根据具体的应用场景该步骤也可以设置在步骤S404之前。
[0039]在本发明【具体实施方式】中，虚拟摄像头的最大分辨率等于LCD的分辨率，若LCD分辨率为800*600，则其最大分辨率为800*600 ;虚拟摄像头所支持的动态帧率最大为20FPS ；视频帧格式可以是:RGB24/RGB16/YUV422 (YUYV, UYUV)。
[0040]步骤S406:视频数据编码并传输，根据步骤S401在创建视频电话时协商确定的编码、解码格式，对所采集的电子白板数据进行编码处理后通过RTP传输至对方话机B加以显
/Jn ο
[0041]步骤S407:关闭“视频电子白板功能”，系统退回“视频电话模式”。控制器切断IXD显示端的电子白板数据输入，将虚拟摄像头工作切换至普通摄像头工作，话机A与话机B继续以普通视频电话模式进行通信。
[0042]在本发明【具体实施方式】中，话机B端的工作机制与普通视频电话模式下的工作机制并无二致，唯一变化的只是所接收的RTP数据不再是话机A摄像头拍摄的视频而是其电子白板显示的内容，因此话机A和话机B之间不需要重新进行信令协商。此外，对于该视频电子白板的内容，话机B也可进行相关保存操作:将重要的图片保存下来；或者视频保存。
[0043]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种视频电子白板业务实现方法，在可实现视频电话的主叫方和被叫方间进行通讯，其特征在于，所述方法包括: a、所述主叫方与所述被叫方建立视频电话模式，所述主叫方在发送邀请信令时携带视频编码格式，由此和所述被叫方协商统一的视频编码格式； b、启动电子白板显示，所述主叫方的显示屏接收电子白板数据输入并将其加以显示； C、所述主叫方启动虚拟摄像头工作，并由所述虚拟摄像头采集显示数据帧缓冲区，也即采集所述电子白板数据； d、所述电子白板数据经采集后按照所述视频编码格式进行编码、压缩处理，之后再经流媒体传输协议传送至所述被叫方加以显示。
2.如权利要求1所述的方法，其特征在于，所述电子白板数据包括:画图板输入数据、导入图片数据、导入文档数据、菜单界面数据。
3.如权利要求1或2所述的方法，其特征在于，所述启动虚拟摄像头工作是通过启动虚拟摄像头驱动模块，并由其负责所述虚拟摄像头中的采集预处理模块完成所述电子白板数据的采集工作。
4.如权利要求3所述 的方法，其特征在于，所述虚拟摄像头负责设置所述采集预处理模块的各个参数，包括:分辨率大小、帧率大小、采集视频帧格式。
5.如权利要求4所述的方法，其特征在于，所述虚拟摄像头的最大分辨率等于显示屏的分辨率，所述采集预处理模块调用硬件缩放功能模块来实现动态缩放任意大小的分辨率，所述采集预处理模块还用于实现动态帧率的控制、视频帧格式的设置。
6.如权利要求3所述的方法，其特征在于，在所述启动电子白板显示之前，所述主叫方对所述显示屏的输入信号进行切换和控制，也即接通所述电子白板数据输入，同时，在所述主叫方启动虚拟摄像头时，关闭普通摄像头。
7.一种视频电子白板业务实现装置，支持视频电话功能，包括控制器、存储器、显示屏、视频编码模块、视频解码模块，其特征在于，所述装置还包括虚拟摄像头、虚拟摄像头驱动，以及电子白板数据输入，其中， 所述虚拟摄像头包括显示数据帧缓冲区、采集预处理模块，所述采集预处理模块用于在“视频电子白板功能”下采集所述显示数据帧缓冲区中的数据； 所述虚拟摄像头驱动，负责设置虚拟摄像头中的所述采集预处理模块的各个参数，包括分辨率大小、帧率大小、采集视频格式，以及负责完成与应用程序的交互、所述装置内部各功能模块的数据传输； 所述电子白板数据输入，用于在所述“视频电子白板功能”下导入电子白板显示输入数据。
8.如权利要求7所述的装置，其特征在于，所述视频编码模块接收所述虚拟摄像头传输来的视频流，按照在视频电话模式下与被叫方协商的视频编码格式进行编码，完成编码后再经网络流媒体传输至所述被叫方加以显示。
9.如权利要求8所述的装置，其特征在于，所述电子白板数据输入包括:画图板输入、导入图片、导入文档、菜单操作。
10.如权利要求9所述的装置，其特征在于，所述虚拟摄像头的最大分辨率等于显示屏的分辨率，所述采集预处理模块调用硬件缩放功能模块来实现动态缩放任意大小的分辨率，所述采集预 处理模块还用于实现动态帧率的控制、视频帧格式的设置。
【文档编号】H04N19/112GK104079862SQ201310107592
【公开日】2014年10月1日 申请日期:2013年3月30日 优先权日:2013年3月30日
【发明者】黄晓晖, 李建文, 徐家亮, 徐晓峰, 李夏宾 申请人:深圳市潮流网络技术有限公司, 潮流网络有限公司