专利名称：手机面向机顶盒和pc进行视频直播的系统及其工作方法
技术领域：
本发明涉及网络多媒体电视技术领域、视频传输领域、手机通讯领域，尤其涉及应 用于手机视频采集及监控领域的架构设计方案。
背景技术：
手机视频直播是采用带有摄像头的手机拍摄视频，并通过网络将正在拍摄的视频 直播出去，在直播的时候其他人可以通过具有IP通讯能力的电视机顶盒或者连网的个人 电脑或手机来观看视频。目前手机直播视频存在的技术难度在于手机的运算处理能力较弱，手机连接 INTERNET的网络方式有3G，WIFI，GPRS，这些方式相对于有线连接来说都较不可靠，且带宽 较低，尤其是GPRS连网方式，其上传带宽在每秒十几KBYTE以下。因此，现有的做法是由手 机拍摄图像，然后再通过计算机等将其拍摄的图像送至电视台等等节目制作平台编辑后供 用户端播放。然而，不同类型的用户终端观看视频直播时对视频编码的要求是不一样的，并且 交互协议也不一样，如个人电脑观看直播视频时是要求得到的是FLASH视频，机顶盒观看 直播时要求的编码类型是MPEG，2，手机观看直播视频时要求的编码类型是H263，而现有的 一种直播服务器对所有的客户端发送的只能是同一种编码类型的视频流，这就导致每一种 直播视频服务器的服务范围极为有限，使得视频服务器供应商难以获得更多的利润，而且， 对于客户端，其若需要不同编码类型的视频流，则需要连接不同种类的直播视频服务器，使 得客户端的使用极为不便。因此，如何将手机作为视频源以及突破现有直播视频服务器的局限性，形成一种 以手机面向机顶盒和PC进行视频直播的系统，实已成为本领域技术人员亟待解决的技术课题。
发明内容
本发明的目的在于提供一种手机面向机顶盒和PC进行视频直播的系统及其工作 方法。为了达到上述目的及其他目的，本发明提供的手机面向机顶盒和PC进行视频直 播的系统，包括手机和与手机无线连接的视频服务器。其中，所述手机包括用于存储及缓冲发送信息的手机存储单元；用于摄取视频 信号的手机视频采集单元；用于采集的音频信号的手机音频采集单元；用于对所述手机 视频采集单元所摄取的视频信号进行实时编码的手机视频编码单元；用于对手机音频采集 单元所采集的音频信号进行实时编码的手机音频编码单元；用于将所述手机视频编码单 元和手机音频编码单元各自编码后的数据分别写入所述手机存储单元的缓存区以待分别 发送的写入单元、用于将所述缓存区中的数据无线传送到所述视频服务器上的无线收发单 元；以及用于将所述缓存区中的所述无线收发单元已经发送的数据删除的删除单元。
所述视频服务器包括用于存储音视频数据的服务器存储单元；用于收发来自所 述手机的无线收发单元及直播客户端的信息的网络通讯单元；用于将所述网络通讯单元接 收的所述手机上传上传的视频数据解码为视频YUV数据的视频解码单元；用于将所述网络 通讯单元接收的所述手机所上传的音频数据解码为音频PCM格式数据的音频解码单元；用 于将视频解码单元和音频解码单元解码后所得的音频PCM和视频YUV数据放入所述服务器 存储单元中的缓存区分别予以缓存以备待用的数据缓冲单元；用于将数据缓存区中的音视 频数据按照其时间戳进行同步的音视频同步单元；用于处理所述网络通讯单元接收的直播 客户端的直播请求，以确定直播客户端所需要的音视频信息和其所采用的音视频编码格式 的直播信令处理单元；用于根据所述直播信令处理单元所确定的直播客户端所需要的音视 频信息和音视频编码格式，将缓存的对应视频YUV数据进行相应编码的服务器视频编码单 元；用于根据所述直播信令处理单元所确定的直播客户端所需要的音视频信息和音视频编 码格式，将缓存的对应音频PCM数据进行相应编码的服务器音频编码单元；用于将服务器 视频编码单元和服务器音频编码单元编码后的音视频数据交由网络通讯单元发送到直播 客户端的直播数据发送单元。此外，所述视频服务器还可包括一用于将服务器视频编码单元和服务器音频编码 单元编码后的音视频数据按照工业标准生成标准的视频文件，并存入所述服务器存储单元 以供客户端非直播的点播使用的合并流单元。本发明的手机面向机顶盒和PC进行视频直播的系统的工作方法，包括步骤1)手 机音频采集单元和手机视频采集单元分别采集音频数据和视频数据，并对各自所采集的数 据以当前采集时间进行时间标记；2)手机视频编码单元和手机音频编码单元各自将视频 数据和音频数据分开进行编码；3)手机的写入单元将所述手机视频编码单元和手机音频 编码单元各自编码后的数据分别写入所述手机存储单元的缓存区以待分别发送；4)手机 的无线收发单元所述缓存区中的数据无线传送到视频服务器上，手机的删除单元将所述缓 存区中的所述无线收发单元已经发送的数据删除；5)视频服务器的网络通讯单元接收来 自所述手机的无线收发单元的音频数据和视频数据和直播客户端发送直播请求；6)视频 服务器的视频解码单元和音频解码单元各自将所述网络通讯单元接收的的视频数据解码 为视频YUV数据、音频数据解码为音频PCM格式数据；7)视频服务器的数据缓冲单元将视 频解码单元和音频解码单元解码后所得的音频PCM和视频YUV数据放入所述服务器存储单 元中的缓存区分别予以缓存以备待用；8)视频服务器的音视频同步单元将缓存区中的音 视频数据按照其时间戳进行同步；9)视频服务器的直播信令处理单元处理所述网络通讯 单元接收的直播客户端的直播请求，以确定直播客户端所需要的音视频信息和其所采用的 音视频编码格式；10)视频服务器的服务器视频编码单元和服务器音频编码单元各自根据 所述直播信令处理单元所确定的直播客户端所需要的音视频信息和音视频编码格式，将缓 存的对应视频YUV数据进行相应编码和对应音频PCM数据进行相应编码；以及11)视频服 务器的直播数据发送单元将服务器视频编码单元和服务器音频编码单元编码后的音视频 数据交由网络通讯单元发送到直播客户端。此外，还可包括服务器的合并流单元将视频编码单元和音频编码单元编码后的音 视频数据按照工业标准生成标准的视频文件，并存入所述存储单元以供客户端非直播的点 播使用的步骤。
综上所述，本发明的手机面向机顶盒和PC进行视频直播的系统由作为视频直播 系统的视频源的手机将音视频数据发送到视频服务器后，视频服务器应各直播客户端的请 求，对视频数据和音频数据进行符合各客户端各自要求的编码，由此，可实现由手机上传一 路实时的音视频输入而输出多路不同格式的音视频流。以满足不同的客户端的需求，可大 大提升手机和视频服务器的卖点。
图1为本发明的手机面向机顶盒和PC进行视频直播的系统架构示意图。图2为本发明的手机面向机顶盒和PC进行视频直播的系统中的手机架构示意图。 图3为本发明的手机面向机顶盒和PC进行视频直播的系统中的视频服务器架构示意图。
具体实施例方式请参见图1，本发明的手机面向机顶盒和PC进行视频直播的系统至少包括手机 和与手机无线连接的视频服务器。请参见图2，所述手机包括用于存储信息及缓冲发送的手机存储单元；用于摄取 视频信号的手机视频采集单元；用于采集的音频信号的手机音频采集单元；用于对所述手 机视频采集单元所摄取的视频信号进行实时编码的手机视频编码单元；用于对手机音频 采集单元所采集的音频信号进行实时编码的手机音频编码单元；用于将所述手机视频编码 单元和手机音频编码单元各自编码后的数据分别写入所述手机存储单元的缓存区以待分 别发送的写入单元、用于将所述缓存区中的数据无线传送到所述视频服务器上的无线收发 单元；以及用于将所述缓存区中的所述无线收发单元已经发送的数据删除的删除单元。其中，所述手机音频采集单元可每次采集20ms的音频信号，并将每次采集的音频 信号断打上当前的时间戳；所述手机音频编码单元采用AMR或mp3编码格式进行编码；所 述手机视频采集单元可以每秒12到30幅范围内的采样频率采集视频信号，并将每次采集 的视频信号打上当前的时间戳；所述手机视频编码单元采用MPEG2、MPEG4或H263编剧格式 进行编码。请参见图3，所述视频服务器包括用于存储音视频数据的服务器存储单元；用于 收发来自所述手机的无线收发单元及直播客户端的信息的网络通讯单元；用于将所述网络 通讯单元接收的所述手机上传上传的视频数据解码为视频YUV数据的视频解码单元；用于 将所述网络通讯单元接收的所述手机所上传的音频数据解码为音频PCM格式数据的音频 解码单元；用于将视频解码单元和音频解码单元解码后所得的音频PCM和视频YUV数据放 入所述服务器存储单元中的缓存区分别予以缓存以备待用的数据缓冲单元；用于将数据缓 存区中的音视频数据按照其时间戳进行同步的音视频同步单元；用于处理所述网络通讯单 元接收的直播客户端的直播请求，以确定直播客户端所需要的音视频信息和其所采用的音 视频编码格式的直播信令处理单元；用于根据所述直播信令处理单元所确定的直播客户端 所需要的音视频信息和音视频编码格式，将缓存的对应视频YUV数据进行相应编码的服务 器视频编码单元；用于根据所述直播信令处理单元所确定的直播客户端所需要的音视频信 息和音视频编码格式，将缓存的对应音频PCM数据进行相应编码的服务器音频编码单元； 用于将服务器视频编码单元和服务器音频编码单元编码后的音视频数据交由网络通讯单
6元发送到直播客户端的直播数据发送单元。其中，所述视频服务器的缓存区可包括用于缓存视频数据的视频缓存子区和用于 缓存音频数据的音频缓存子区；而所述直播客户端采用HTTP协议或RTSP协议和网络通 讯单元进行通讯的直播播放器、和网络通讯单元采用HTTP协议进行通讯的PC机、以及和 网络通讯单元采用RTSP协议或HTTP协议进行通讯的机顶盒等；而所述网络通讯单元采用 TCP协议与所述无线收发单元进行通讯。此外，所述视频服务器还可包括一用于将服务器视频编码单元和服务器音频编码 单元编码后的音视频数据按照工业标准生成标准的视频文件，并存入所述服务器存储单元 以供客户端非直播的点播使用的合并流单元。上述手机面向机顶盒和PC进行视频直播的系统的工作方法如下首先，手机音频采集单元和手机视频采集单元分别采集音频数据和视频数据，并 对各自所采集的数据以当前采集时间进行时间标记；接着，手机视频编码单元和手机音频编码单元各自将视频数据和音频数据分开进 行编码；接着，手机的写入单元将所述手机视频编码单元和手机音频编码单元各自编码后 的数据分别写入所述手机存储单元的缓存区以待分别发送；接着，手机的无线收发单元所述缓存区中的数据无线传送到视频服务器上，手机 的删除单元将所述缓存区中的所述无线收发单元已经发送的数据删除；接着，视频服务器的网络通讯单元接收来自所述手机的无线收发单元的音频数据 和视频数据和直播客户端发送直播请求；接着，视频服务器的视频解码单元和音频解码单元各自将所述网络通讯单元接收 的的视频数据解码为视频YUV数据、音频数据解码为音频PCM格式数据；接着，视频服务器的数据缓冲单元将视频解码单元和音频解码单元解码后所得的 音频PCM和视频YUV数据放入所述服务器存储单元中的缓存区分别予以缓存以备待用；接着，视频服务器的音视频同步单元将缓存区中的音视频数据按照其时间戳进行 同步；接着，视频服务器的直播信令处理单元处理所述网络通讯单元接收的直播客户端 的直播请求，以确定直播客户端所需要的音视频信息和其所采用的音视频编码格式；接着，视频服务器的服务器视频编码单元和服务器音频编码单元各自根据所述直 播信令处理单元所确定的直播客户端所需要的音视频信息和音视频编码格式，将缓存的对 应视频YUV数据进行相应编码和对应音频PCM数据进行相应编码，两者各自能同时进行多 路编码；接着，视频服务器的直播数据发送单元将服务器视频编码单元和服务器音频编码 单元编码后的音视频数据交由网络通讯单元发送到直播客户端；最后，服务器的合并流单元将视频编码单元和音频编码单元编码后的音视频数据 按照工业标准生成标准的视频文件，并存入所述存储单元以供客户端非直播的点播使用的步骤。由上可见，1、手机是将音频数据和视频帧数据分开发送而不是传送合并好的视频 流；2、手机存储单元存在一个数据缓冲区，即编码后的音频数据和视频数据并没有直接发送，而是先放入缓冲区，然后再由手机的无线收发单元从缓冲区中取数据发送，这样做的目 的是因为手机无线所采用的通讯网络并不可靠且带宽较低，当网络条件不好的时候可以先 把数据缓冲而不是丢弃，这样可使视频服务器上保存的视频文件数据是完整的；3、在视频 服务器中存在单独的音频数据缓存子区和视频数据缓存子区，这两个缓存子区的存在为在 视频服务器完成音视频的同步提供了条件；4、服务器音频缓存子区和服务器视频缓存子区 在音频解码模块和视频解码模块后面，其中存放的是解码后的音频和视频数据，这为视频 服务器同时输出多路不同编码格式的直播流提供了条件；5、在视频服务器中，将直接数据 发送单元和流合并单元分开，这样在视频服务器提供直播服务的同时，也保存了一份视频 文件供将来进行点播之用；6、音视频的同步处理在视频服务器中的音视频同步处理单元中 完成，而不是在直播客户端完成。综上所述，本发明的的手机面向机顶盒和PC进行视频直播的系统及其工作方法 是由手机作为视频直播系统的视频源，而视频服务器接收视频源的数据后，应各直播客户 端的请求，对视频数据和音频数据进行符合各客户端各自要求的编码，由此，可实现由手机 上传一路实时的音视频输入而输出多路不同格式的音视频流。以满足不同的客户端的需 求，可大大提升手机和视频服务器的卖点。上述实施例仅列示性说明本发明的原理及功效，而非用于限制本发明。任何熟悉 此项技术的人员均可在不违背本发明的精神及范围下，对上述实施例进行修改。因此，本发 明的权利保护范围，应如权利要求书所列。
8
权利要求
一种手机面向机顶盒和PC进行视频直播的系统，其特征在于包括手机和与手机无线连接的视频服务器，其中，所述手机包括用于存储及缓冲发送信息的手机存储单元；用于摄取视频信号的手机视频采集单元；用于采集音频信号的手机音频采集单元；用于对所述手机视频采集单元所摄取的视频信号进行实时编码的手机视频编码单元；用于对手机音频采集单元所采集的音频信号进行实时编码的手机音频编码单元；用于将所述手机视频编码单元和手机音频编码单元各自编码后的数据分别写入所述手机存储单元的缓存区以待分别发送的写入单元、用于将所述缓存区中的数据无线传送到所述视频服务器上的无线收发单元；以及用于将所述缓存区中的所述无线收发单元已经发送的数据删除的删除单元；所述视频服务器包括用于存储音视频数据的服务器存储单元；用于收发来自所述手机的无线收发单元及直播客户端的信息的网络通讯单元；用于将所述网络通讯单元接收的所述手机上传的视频数据解码为视频YUV数据的视频解码单元；用于将所述网络通讯单元接收的所述手机所上传的音频数据解码为音频PCM格式数据的音频解码单元；用于将视频解码单元和音频解码单元解码后所得的音频PCM和视频YUV数据放入所述服务器存储单元中的缓存区分别予以缓存以备待用的数据缓冲单元；用于将数据缓存区中的音视频数据按照其时间戳进行同步的音视频同步单元；用于处理所述网络通讯单元接收的直播客户端的直播请求，以确定直播客户端所需要的音视频信息和其所采用的音视频编码格式的直播信令处理单元；用于根据所述直播信令处理单元所确定的直播客户端所需要的音视频信息和音视频编码格式，将缓存的对应视频YUV数据进行相应编码的服务器视频编码单元；用于根据所述直播信令处理单元所确定的直播客户端所需要的音视频信息和音视频编码格式，将缓存的对应音频PCM数据进行相应编码的服务器音频编码单元；用于将服务器视频编码单元和服务器音频编码单元编码后的音视频数据交由网络通讯单元发送到直播客户端的直播数据发送单元。
2.根据权利要求1所述的手机面向机顶盒和PC进行视频直播的系统，其特征在于，所 述手机音频采集单元每次采集20ms的音频信号，并将每次采集的音频信号断打上当前的 时间戳；所述手机音频编码单元采用AMR或mp3编码格式进行编码。
3.根据权利要求1所述的手机面向机顶盒和PC进行视频直播的系统，其特征在于，所 述手机视频采集单元以每秒12到30幅范围内的采样频率采集视频信号，并将每次采集的 视频信号打上当前的时间戳；所述手机视频编码单元采用MPEG2、MPE64或H263编码格式进 行编码。
4.根据权利要求1所述的手机面向机顶盒和PC进行视频直播的系统，其特征在于，所 述视频服务器还包括一合并流单元，用于将服务器视频编码单元和服务器音频编码单元编 码后的音视频数据按照工业标准生成标准的视频文件，并存入所述服务器存储单元以供客 户端非直播的点播使用。
5.根据权利要求1所述的手机面向机顶盒和PC进行视频直播的系统，其特征在于，所 述视频服务器的缓存区包括用于缓存视频数据的视频缓存子区和用于缓存音频数据的音 频缓存子区。
6.根据权利要求1所述的手机面向机顶盒和PC进行视频直播的系统，其特征在于， 所述直播客户端包括直播播放器、机顶盒和PC机，其中，直播播放器和网络通讯单元采用HTTP协议或RTSP协议进行通讯，PC机和网络通讯单元采用HTTP协议进行通讯，机顶盒和 网络通讯单元采用RTSP协议或HTTP协议进行通讯。
7.根据权利要求1所述的手机面向机顶盒和PC进行视频直播的系统，其特征在于，所 述无线收发单元采用TCP协议与所述网络通讯单元进行通讯。
8.—种手机面向机顶盒和PC进行视频直播的系统的工作方法，其特征在于包括步骤1)手机音频采集单元和手机视频采集单元分别采集音频数据和视频数据，并对各自所 采集的数据以当前采集时间进行时间标记；2)手机视频编码单元和手机音频编码单元各自将视频数据和音频数据分开进行编码；3)手机的写入单元将所述手机视频编码单元和手机音频编码单元各自编码后的数据 分别写入所述手机存储单元的缓存区以待分别发送；4)手机的无线收发单元所述缓存区中的数据无线传送到视频服务器上，手机的删除单 元将所述缓存区中的所述无线收发单元已经发送的数据删除；5)视频服务器的网络通讯单元接收来自所述手机的无线收发单元的音频数据和视频 数据和直播客户端发送直播请求；6)视频服务器的视频解码单元和音频解码单元各自将所述网络通讯单元接收的的视 频数据解码为视频YUV数据、音频数据解码为音频PCM格式数据；7)视频服务器的数据缓冲单元将视频解码单元和音频解码单元解码后所得的音频 PCM和视频YUV数据放入所述服务器存储单元中的缓存区分别予以缓存以备待用；8)视频服务器的音视频同步单元将缓存区中的音视频数据按照其时间戳进行同步；9)视频服务器的直播信令处理单元处理所述网络通讯单元接收的直播客户端的直播 请求，以确定直播客户端所需要的音视频信息和其所采用的音视频编码格式；10)视频服务器的服务器视频编码单元和服务器音频编码单元各自根据所述直播信令 处理单元所确定的直播客户端所需要的音视频信息和音视频编码格式，将缓存的对应视频 YUV数据进行相应编码和对应音频PCM数据进行相应编码；11)视频服务器的直播数据发送单元将服务器视频编码单元和服务器音频编码单元编 码后的音视频数据交由网络通讯单元发送到直播客户端。
9.根据权利要求8所述的手机面向机顶盒和PC进行视频直播的系统的工作方法，其特 征在于还包括服务器的合并流单元将视频编码单元和音频编码单元编码后的音视频数据 按照工业标准生成标准的视频文件，并存入所述存储单元以供客户端非直播的点播使用的 步骤。
10.根据权利要求8所述的手机面向机顶盒和PC进行视频直播的系统的工作方法，其 特征在于步骤10)中的服务器视频编码单元和服务器音频编码单元各自能同时进行多路 编码。
全文摘要
本发明的手机面向机顶盒和PC进行视频直播的系统级工作方法涉及网络多媒体电视技术领域、视频传输领域、手机通讯领域，系统包括作为视频直播系统的视频源的手机和与手机无线连接的视频服务器，其中，手机包括视频采集单元，手机视频编码单元，音频采集单元、音频编码单元、写入单元、手机存储单元、无线收发单元、及删除单元；视频服务器包括网络通讯单元，视频解码单元、音频解码单元、数据缓冲单元、服务器存储单元、音视频同步单元、直播指令处理单元、服务器视频编码单元、服务器音频编码单元、直播数据发送单元等。由此可实现应用手机采集视频，通过3G无线网络、WIFI或GPRS无线通讯网络，面向多种类型的终端尤其包括机顶盒进行直播的功能。
文档编号H04L29/06GK101945096SQ20101022570
公开日2011年1月12日 申请日期2010年7月13日 优先权日2010年7月13日
发明者李青, 罗璇滨, 董道国 申请人:上海未来宽带技术及应用工程研究中心有限公司