专利名称：手机视频实时采集和发布的方法及系统的制作方法
技术领域：
本发明涉及一种移动终端的视频采集发布技术，尤其涉及一种手机视频实时采集和发布的方法及系统。
背景技术：
随着移动通讯技术的发展和日趋成熟，移动通讯数据网络的带宽不断增大；同时， 智能手机平台的推广，市场上的智能手机用户数量不断增加；手机终端和移动通讯网络的发展，为在手机终端开展数据业务提供了基础。目前，在手机终端开展的数据业务包括短信息、电子邮件、WAP服务和网络视频浏览，甚至越来越多的个人应用，如即时通讯，股票信息， 位置信息等服务内容。然而，现有的手机视频技术大都是对网络视频的浏览，而针对视频的采集，发布以及视频信息实时与其他手机用户或者互联网用户的分享则比较少。现有的手机音视频采集和分享技术，一般是用手机进行音视频拍摄后在手机上本地生成视频文件，再通过移动网络去发布，这样不仅占用手机的存储空间较大，并且由于其采集和发布时异步完成的，实时性也较差。
发明内容
本发明的目的在于提供一种手机视频实时采集和发布的方法及系统，以实现手机视频的同步实时采集和发布、边采集边发布，且占用很少的手机的存储空间。为达到上述目的，本发明一方面提供了一种手机视频实时采集和发布的方法，包括以下步骤调用手机的或者与所述手机相连的麦克风和摄像头进行音视频采集；将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳；将所述音频编码数据和视频编码数据通过移动通信网络进行实时分片传输到视频服务器；所述视频服务器将所述音频编码数据和视频编码数据分别进行格式转换处理后， 根据所述音频编码数据和视频编码数据的时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件；所述视频服务器将所点播视频文件发送到存储设备，而将所述直播视频文件发送到流媒体直播服务器，由所述流媒体直播服务器将所述直播视频文件解析后再转换成视频流数据通过网络进行实时发布。本发明的手机视频实时采集和发布的方法，在所述将音频编码数据和视频编码数据通过网络实时传输到视频服务器之前，还包括将所述音频编码数据和视频编码数据进行缓冲处理。本发明的手机视频实时采集和发布的方法，所述移动通信网络包括GSM、CDMA、CDMA2000、WCDMA、TD-SCDMA, WiMax 或 WiFi 网络。再一方面，本发明还提供了一种手机视频实时采集和发布的系统，包括源手机终端、视频服务器和流媒体直播服务器，其中，所述源手机终端包括采集编码模块，用于调用自身的或者与自身相连的麦克风和摄像头进行音视频采集，并将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳；第一网络通讯模块，用于将所述音频编码数据和视频编码数据通过移动通信网络实时分片传输到所述视频服务器；所述视频服务器包括第二网络通讯模块，用于实时接收所述第一网络通讯模块发送的音频编码数据和视频编码数据；格式转换模块，用于将所述第二网络通讯模块接收到音频编码数据和视频编码数据分别进行格式转换处理；同步混合模块，用于根据所述音频编码数据和视频编码数据的时戳对所述格式转换模块进行格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件；存储设备，用于存储所述点播视频文件；所述流媒体直播服务器包括解析模块，用于读取所述同步混合模块生成的直播视频文件，对其进行解析；转换模块，用于将所述解析模块解析后得到的数据转换成视频流数据；发布模块，用于将所述转换模块得到的视频流数据通过网络进行实时发布。本发明的手机视频实时采集和发布的系统，所述源手机终端还包括缓冲模块，用于缓冲输出所述采集编码模块得到的音频编码数据和视频编码数据至所述第一网络通讯模块。本发明的手机视频实时采集和发布的系统，所述移动通信网络包括GSM、CDMA、 CDMA2000、WCDMA、TD-SCDMA, WiMax 或 WiFi 网络。本发明的手机视频实时采集和发布的技术方案，首先调用手机的或者与手机相连的麦克风和摄像头进行音视频采集；然后将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳；其次将音频编码数据和视频编码数据通过移动通信网络实时分片传输到视频服务器；再次视频服务器将音频编码数据和视频编码数据分别进行格式转换处理后，根据音频编码数据和视频编码数据的时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件；最后视频服务器将所点播视频文件发送到存储设备，而将直播视频文件发送到流媒体直播服务器，由流媒体直播服务器将所述直播视频文件解析并转换成视频流数据后通过网络进行实时发布。从而实现了手机视频的实时采集和发布，并且由于是采用边采集边发布，生成的音视频数据会实时发送到服务器上去， 占用手机本身的存储空间很小，减少了整个采集和发布的时间，此外，由于视频服务器生成一路或多路点播视频文件和一路直播视频文件，既实现了视频的实时直播又实现了视频的异步点播。
图1为本发明的手机视频实时采集和发布的方法流程图；图2为本发明的手机视频实时采集和发布的系统；图3为本发明的手机视频分享的方法流程图；图4为本发明的手机视频分享的系统。
具体实施例方式下面结合附图对本发明的具体实施方式
进行详细描述参考图1所示，本发明的手机视频实时采集和发布的方法包括如下步骤步骤S101、调用手机的麦克风和摄像头或者其他跟手机相连接的音频、视频采集设备进行音频和视频采集。步骤S102、将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩， 同时将编码后得到的音频编码数据和视频编码数据标记时戳，以备在视频服务器上进行同步处理。步骤S103、将音频编码数据和视频编码数据进行缓冲处理。步骤S104、将音频编码数据和视频编码数据通过移动通信网络实时分片传输到视频服务器。其中，移动通信网络可以选择GSM、CDMA、CDMA2000、WCDMA, TD-SCDMA, WiMax或 WiFi网络中的任意一种接入。由于移动通信网络的不稳定性，传输时还可利用现有的传输通道检测技术(如滑动窗口等)，根据网络现状自适应调整音频编码数据和视频编码数据的传输质量，包括每帧图像质量和帧率等，以保证音频编码数据和视频编码数据实时传输的可靠性。步骤S105、视频服务器将音频编码数据和视频编码数据分别进行格式转换处理， 可以将一种编码格式同时转成几种编码格式，以适应播放终端对视频格式的不同要求。步骤S106、视频服务器根据音频编码数据和视频编码数据的时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件，从而为点播和实时直播提供了对应的格式视频文件。步骤S107、视频服务器将所点播视频文件发送到存储设备，而将直播视频文件采用UDP、TCP协议流媒体服务器发送到流媒体直播服务器，由流媒体直播服务器将直播视频文件解析后再转换成视频流数据通过网络进行实时发布。参考图2所示，本发明的手机视频实时采集和发布的系统，包括源手机终端1、视频服务器2和流媒体直播服务器3，其中源手机终端1包括采集编码模块11，用于调用自身的或者与自身相连的麦克风和摄像头进行音视频采集，并将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳。缓冲模块12，用于缓冲输出采集编码模块11得到的音频编码数据和视频编码数据至第一网络通讯模块13。第一网络通讯模块13，用于将音频编码数据和视频编码数据通过移动通信网络(如GSM、CDMA、 CDMA2000、WCDMA、TD-SCDMA, WiMax或WiFi网络等)实时分片传输到视频服务器2。视频服务器2包括第二网络通讯模块21，用于实时接收第一网络通讯模块13发送的音频编码数据和视频编码数据。格式转换模块22，用于将第二网络通讯模块21接收到的音频编码数据和视频编码数据分别进行格式转换处理。同步混合模块23，用于根据音频编码数据和视频编码数据的时戳对格式转换模块22进行格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件。存储设备24，用于存储点播视频文件，以备点播。流媒体直播服务器3包括解析模块31，用于读取同步混合模块23生成的直播视频文件，对其进行解析；转换模块32，用于将解析模块31解析后的得到的数据转换成视频流数据；发布模块33，用于将转换模块32得到的视频流数据通过网络进行实时发布。本发明的手机视频实时采集和发布的技术方案，相比较现有技术在手机端生成音视频文件再进行服务器上传的方式，能够加快视频的上传时间。传统的手机端拍摄，本地存储，然后上传服务器的时间为拍摄时间+音视频文件传输时间；而本发明的手机视频实时采集和发布的技术方案，在视频采集的同时，进行分片数据上传，按照数据帧进行数据编码、压缩，传输，视频拍摄和上传的时间几乎同步，从而，减少了音视频文件生成后，再进行传送的时间。其次，传统方式对手机本身的存储空间的要求会大，即整个音视频文件都需要在手机本地进行存储，然后再发送到服务器上去，这样就要求手机本身的存储空间能够充分大，尤其是针对时间长，音视频质量要求高的音视频数据，这些数据需要高的存储空间。 而本发明的手机视频实时采集和发布的技术方案，采用边采集边发布的方式，生成的音视频数据会实时发送到服务器上去，占用手机本身的存储空间很小，因为而不需要手机本地进行数据的完整存储。上述介绍了本发明的手机视频实时采集和发布，接下来将描述如何分享这些视频资源。参考图3所示，本发明的手机视频实时分享的方法，包括以下步骤步骤S301、源手机终端实时获取音频编码数据和视频编码数据并将其标记时戳后实时传输到视频服务器。步骤S302、视频服务器将音频编码数据和视频编码数据分别进行格式转换处理， 根据音频编码数据和视频编码数据的时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件，保存点播视频文件并将直播视频文件发送给流媒体直播服务器。步骤S303、在生成点播视频文件和直播视频文件后，视频服务器返回点播视频文件和/或直播视频文件的视频属性数据给源手机终端或通讯代理设备，该视频属性数据包括视频的发布地址、视频流格式，视频文件大小和视频分辨率等信息。步骤S304，源手机终端将该视频属性数据按照点对点短消息通讯协议封装成点对点短消息或按照WDP、WSP协议封装成WAP PUSH信息。为了区分这种包含视频信息数据的点对点短消息与WAP PUSH信息，可以对点对点短消息和WAP PUSH信息中包含的视频属性数据进行定义，以便于目标手机终端(即被分享手机终端)的识别，并提交和调用视频浏览器。如果是按照WDP、WSP协议封装成WAP PUSH信息，则一般采用XML文件定义，然后进行 XML向WBXML文件转换，并按照WDP、WSP协议将WBXML文件封装成WAP PUSH信息，或者按照点对点短消息通讯协议将WAP PUSH信息再封装成点对点短消息。如果是按照点对点短消息通讯协议封装成点对点短消息，包含视频属性数据的点对点短消息的内容格式可以采用TLV(Tag，Length，Value)格式、XML文件、特殊分隔符分隔或者其他格式定义。例如采用
TLV格式，其定义如下表所示，
权利要求
1.一种手机视频实时采集和发布的方法，其特征在于，包括以下步骤 调用手机的或者与所述手机相连的麦克风和摄像头进行音视频采集；将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳；将所述音频编码数据和视频编码数据通过移动通信网络进行实时分片传输到视频服务器；所述视频服务器将所述音频编码数据和视频编码数据分别进行格式转换处理后，根据所述音频编码数据和视频编码数据的时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件；所述视频服务器将所点播视频文件发送到存储设备，而将所述直播视频文件发送到流媒体直播服务器，由所述流媒体直播服务器将所述直播视频文件解析后再转换成视频流数据通过网络进行实时发布。
2.根据权利要求1所述的手机视频实时采集和发布的方法，其特征在于，在所述将音频编码数据和视频编码数据通过网络实时传输到视频服务器之前，还包括将所述音频编码数据和视频编码数据进行缓冲处理。
3.根据权利要求2所述的手机视频实时采集和发布的方法，其特征在于，所述移动通信网络包括 GSM、CDMA、CDMA2000、WCDMA、TD-SCDMA, WiMax 或 WiFi 网络。
4.一种手机视频实时采集和发布的系统，其特征在于，包括源手机终端、视频服务器和流媒体直播服务器，其中，所述源手机终端包括采集编码模块，用于调用自身的或者与自身相连的麦克风和摄像头进行音视频采集， 并将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳；第一网络通讯模块，用于将所述音频编码数据和视频编码数据通过移动通信网络实时分片传输到所述视频服务器； 所述视频服务器包括第二网络通讯模块，用于实时接收所述第一网络通讯模块发送的音频编码数据和视频编码数据；格式转换模块，用于将所述第二网络通讯模块接收到音频编码数据和视频编码数据分别进行格式转换处理；同步混合模块，用于根据所述音频编码数据和视频编码数据的时戳对所述格式转换模块进行格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件；存储设备，用于存储所述点播视频文件； 所述流媒体直播服务器包括解析模块，用于读取所述同步混合模块生成的直播视频文件，对其进行解析； 转换模块，用于将所述解析模块解析后得到的数据转换成视频流数据； 发布模块，用于将所述转换模块得到的视频流数据通过网络进行实时发布。
5.根据权利要求4所述的手机视频实时采集和发布的系统，其特征在于，所述源手机终端还包括缓冲模块，用于缓冲输出所述采集编码模块得到的音频编码数据和视频编码数据至所述第一网络通讯模块。
6.根据权利要求5所述的手机视频实时采集和发布的系统，其特征在于，所述移动通信网络包括 GSM、CDMA、CDMA2000、WCDMA, TD-SCDMA, WiMax 或 WiFi 网络。
全文摘要
本发明公开了一种手机视频实时采集和发布的方法及系统，该方法包括调用手机的或者与手机相连的麦克风和摄像头进行音视频采集；将采集到的原始音频数据和原始视频数据进行编码压缩，将编码后得到的音频编码数据和视频编码数据标记时戳；将音频编码数据和视频编码数据实时分片传输到视频服务器；视频服务器将音频编码数据和视频编码数据分别进行格式转换处理后根据时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成点播视频文件和直播视频文件；视频服务器将点播视频文件发送到存储设备，将直播视频文件发送到流媒体直播服务器，由流媒体直播服务器将直播视频文件解析后再转换成视频流数据通过网络进行实时发布。
文档编号H04L29/06GK102447893SQ20101029816
公开日2012年5月9日 申请日期2010年9月30日 优先权日2010年9月30日
发明者曹学武 申请人:北京沃安科技有限公司