本发明涉及互联网技术，尤其涉及一种网络直播系统和网络直播数据的处理方法。
背景技术：
网络直播用于教育和培训的场景随处可见。业界也会将直播节目直接录制下来，随后用于互联网播放。
图1所示的是一种典型的现有网络直播系统。该网络直播系统1通常包括网络直播设备101、网络直播服务器102、移动设备103和电脑104。
网络直播设备101至少由直播电脑、麦克风和录像设备连接构成；网络直播服务器102通常是由流媒体服务器构成；移动设备103通常是移动通信终端或者具有移动通信能力的平板电脑；电脑104通常是接入互联网的PC机。
一般情况下，上述的网络直播系统1在工作时，在网络直播设备101上，通常是以录屏方式产生音视频数据，这些音视频数据被网络直播设备101以文件或者视音频流的方式发送到网络直播服务器102，再由网络直播服务器102通过互联网分发给移动设备103、电脑104；这样就实现了直播节目的生成、传输和播放。一些情形下，为保证节目能够在后续实现互联网再播，网络直播设备101或者网络直播服务器102还要对播出的音视频数据进行存储。
基于前述的网络直播系统，由于录制的音视频节目以视频格式存放和播出，导致需要很大的存储空间才能保存这些节目的音视频数据；在播放节目时，这些音视频节目还需要占用很大的带宽资源，最终导致网络直播的成本过高。
在前述情形下，无论网络直播和还是录播，相应的音视频数据通常是从网络直播系统到受众的单向播放，因此也不具备演播者与收看者之间进行互动的基础。
此外，录屏生成网络直播节目的方式，导致网络直播设备101或者网络直播服务器102在产生大量的音视频数据时，不可能进行必要的标识处理，使得大量的网络直播视频数据无法进行后续的剪辑、编辑，业界很难对丰富的网络直播资源做有效的数字化处理和再利用。
在编号为201510447092.2的中国发明专利申请中，披露了一种在数字音频信号中嵌入数据的技术，这使得业界在克服上述的现有技术缺陷时具有了可能的前景。
技术实现要素：
本发明的第一个方面的目的是提供一种网络直播系统，该系统具有不同于现有技术仅由视频录屏方式录制和传播直播节目的系统结构，以大幅度降低互联网直播节目传播的带宽消耗。
本发明的第二个方面的目的是提供一种网络直播数据的处理方法，该方法区别于现有技术仅利用录屏技术输出视频直播数据的方式，可以降低互联网直播节目传播对于大带宽的需求和消耗。
本发明的第一个方面的目的采用如下的技术方案实现：
提供一种网络直播系统，包括：演播端、服务端、接收端；其中：所述演播端和所述服务端通信连接，所述服务端经由互联网与所述接收端通信连接；
所述演播端包括：至少具有麦克风的电脑、平板电脑和/或智能手机，并且被设置为能够向所述服务端发送音频、图片控制命令和/或图片；
所述服务端包括：音频流媒体单元和应用服务单元；所述音频流媒体单元以及所述应用服务单元分别和所述接收端通信连接；
所述音频流媒体单元被设置为：能够向所述接收端发送所述的音频；
所述应用服务单元被设置为：能够向所述接收端发送所述图片控制命令和/或图片；
和/或，
所述接收端包括一个以上的平板电脑、智能手机和/或电脑设备；多个所述接收端相互独立；
所述接收端被设置为：能够接收所述服务端传送的音频、图片控制命令和/或图片，以及能够播放音频，并根据所述图片控制命令显示所述图片。
本发明的第一个方面的目的采用如下的技术方案实现：
提供一种网络直播数据的处理方法，包括：
向音频流媒体单元发送音频的步骤；
向应用服务单元发送图片控制命令和/或图片的步骤；
所述音频流媒体单元发送音频的步骤；
所述应用服务单元发送图片控制命令和/或图片的步骤；
和/或，
接收所述音频流媒体单元、应用服务单元发送的音频、图片控制命令和/或图片的步骤；和/或，播放音频，以及根据所述图片控制命令显示所述图片的步骤。
本发明上述的系统和方法，由于使用音频服务单元和应用服务单元来替代现有技术的视频录屏体系和方式，使得直播节目的数据构成发生了质的改变，由此大幅度降低了传播直播节目的带宽消耗，从而能高效地利用网络资源，降低网络直播的运营成本。
以下结合附图和若干具体的实施方式对本发明的技术方案做更为详细的说明：
附图说明
图1是相对于本发明的现有技术中典型的直播体系结构示意图；
图2是本发明的直播系统的第一类实施方式示意图；
图3是本发明的直播系统的第二类实施方式示意图；
图4是本发明的直播系统的第三类实施方式示意图；
图5是本发明的直播系统的第四类实施方式示意图；
图6是本发明的直播系统的第五类实施方式示意图。
具体实施方式
参见图2，本发明的第一类网络直播系统2主要包括：演播端201、服务端202、接收端203、204。其中：演播端201和服务端202通信连接，服务端202经由互联网与接收端203、204通信连接。
以上所说的通信连接是指能够实现通信双方交换数据的所有有线、无线的通信连接方式；例如：3G、4G、5G等移动通信连接方式，蓝牙、WiFi通信连接方式，卫星微波通信连接方式，以及基于同轴电缆、光纤以及双绞线等有线方式的网络通信连接方式；当然也并不限制于此，所属领域技术人员可以根据实际的需要决定选用任何可以用于本发明技术方案的任何通信连接。以下内容中，如果没有特别提及或者说明，所有述及的通信连接，其含义均如上所述。
前述的演播端201可以是具有麦克风的电脑，该电脑能够与其它设备通信连接；演播端201也可以是智能手机或者平板电脑等具有移动通信功能的移动设备；这些演播端201设备至少应该被安装一些软件或者硬件，使得它们能够向前述的服务端202发送音频、图片控制命令和/或图片等信息。
前述的服务端202在具体的构成上至少包括：应用服务单元2021和音频流媒体单元2022这两部分；应用服务单元2021可以是互联网应用服务武器，其中至少应当被安装一些软件或者硬件，使得它能够和接收端203、204通信连接，并向接收端203、204发送图片控制命令和/或图片。音频流媒体单元2022可以是互联网流媒体服务器，其中至少也应当被安装一些软件或者硬件，使得它能够和前述的接收端203、204通信连接，以及向接收端203、204发送音频。
前述的接收端203可以是具有移动通信功能的移动设备；例如：智能手机、平板电脑，等等；接收端204则是指通过有线方通信连接方式连接到互联网的台式电脑、笔记本电脑。以下内容中，如果没有特别提及或者说明，所有述及的接收端203和接收端204，其含义均如上所述。
本发明的发明人在大量研究网络直播技术以及网络直播教育、培训、娱乐、新闻报道等具体应用时发现：一般情况下，适于智能手机播放的视频，其一分钟需要传输的视频数据量非常大；即使采用业界常用的视频压缩技术，需要传输的视频数据通常在6～8M字节/分钟。所以，采用视频来进行直播，就必须要传送大量的视频数据，必须要占用大量的网络带宽资源才能实现。需要发送的视频数据量会随着收看直播客户端的增多而成倍增加。不仅如此，在收看直播客户端跨区域分布时，为了保证直播的用户体验，通常还需要建立跨区域分布的流媒体服务器云平台，而平台内各服务器之间同样存在大量的视频数据存储和收发。显然，海量视频数据的存储和传播是互联网直播成本居高不下的关键所在。
在互联网直播的实际应用场合，采用视频的方式进行直播虽然生动，但并不是所有的视频画面都是有用的。在诸如教育、培训等方面的应用中，需要播放的往往是那些像幻灯片一样的静态画面。这些静态画面的一般会十几秒、几十秒甚至更长的时间以后才会被切换。而一幅适于在智能手机上清晰显示的静态图片，其数据量也就是百KB字节的左右；同时，一分钟的音频数据通常也只有200KB字节。因此，如果在互联网直播中以图片加音频来替代视频，每分钟所需要的数据流也只有数百KB字节，只有视频直播所需数据流量的十分之一。这显然能节省大量的数据传送量，同时也及大地降低了互联网直播对互联网带宽的需求。
如前所述，本发明上述一类具体的网络直播系统2与现有的网络直播系统1不同的是：在本发明前述的网络直播系统2中，使用由应用服务单元2021和音频流媒体单元2022所构成的服务端202替代现有的网络直播系统1中的网络直播服务器102。因此，采用网络直播系统2，就可以实现前述用图片加音频的直播节目来替代纯视频的直播节目的方式，从而可以极大地降低数据传送量对互联网带宽的需求。
在本发明中，前述的网络直播系统2的具体工作过程是这样的：在直播之前或者直播的过程中，演播端201一方面会将直播所需的图片发送给应用服务单元2021，另一方面会将直播时的音频发送给音频流媒体单元2022。通常情况下，应用服务单元2021会将图片发送给接收端203、204，音频流媒体单元2022会将音频发送给接收端203、204。这样，接收端203、204就可以在屏幕上显示图片的同时播放来自演播端201的音频。
此外，直播人员(演员、工作人员等)在直播时可以借助于对演播端201的输入设备(例如：键盘、鼠标、按键、触摸屏等)的操作，通过演播端201向应用服务单元2021发送图片控制命令，控制在直播过程中需要显示的图片以及多个不同图片之间的切换。例如：教师可以将幻灯片事先制作成一个或者多个图片，借助于演播端201逐一或者全部发送给应用服务单元2021；当然也可以在开始直播时再逐一发送。应用服务单元2021在接收到演播端201发送的一个或多个图片时，也可以直接全部分发给接收端203、204，或者在在开始直播时再逐一分发。
开始直播时，教师可以借助演播端201将其授课的音频发送给音频流媒体单元2022；音频流媒体单元2022再将音频分发给接收端203、204。教师可以借助于演播端201的输入设备，例如：点击鼠标、按动键盘、触控智能手机或者平板电脑上的触控按钮等，选择切换当前需要显示或者切换的图片。当教师借助于演播端201发出了这样的切换显示图片的图片控制命令时，这个图片控制命令会以一定的格式发送给应用服务单元2021和/或接收端203、204。应用服务单元2021收到这样的图片控制命令时，如果此前应用服务单元2021没有事先向接收端203、204分发过前述的图片，则会立即向接收端203、204分发将需要显示的图片，同时还将图片控制命令也分发出去，以使接收端203、204在接收到相应的图片和命令时，立即播放显示该图片。应用服务单元2021收到这样的图片控制命令时，如果此前应用服务单元2021已经事先向接收端203、204分发过前述的图片，则会立即将图片控制命令分发出去，以使接收端203、204在接收到相应的图片控制命令时，立即播放显示事先接收到的该图片。
这样，教师就可以借助于本发明的前述网络直播系统2，像讲解幻灯片那样直播其讲授的课程。在这样的直播过程中，由于不需要分发、传输视频，而只是分发、传输图片和音频，传送的数据量远比现有技术方案中发送视频的数据传输量要少得多。在线收看直播节目的人越多，则越能显示出本发明前述网络直播系统2的低成本运营优势。
需要说明的是：在应用服务单元2021和音频流媒体单元2022之间可以建立相互的通信连接，以便于在播放直播节目过程中进行信息的交互，这样还可以实现音频和图片控制的同步和配合。
另一方面，在前述的网络直播系统2中，借助于诸如安装软件客户端等方式，可以使接收端203、204能够接收应用服务单元2021分发的图片控制命令和/或图片，以及音频流媒体单元2022传送的音频，并且能够根据图片控制命令将这些音频和图片进行播放和显示。
参见图3，基于前述的网络直播系统2，还可以为服务端202增设视频流媒体单元以构成本发明的第二类网络直播系统3。
在本发明的网络直播系统3中，其他部分基本上和前述的网络直播系统2相同。网络直播系统3和前述网络直播系统2的区别在于：在网络直播系统3的服务端202中增设有视频流媒体单元2024。视频流媒体单元2024和演播端201通信连接，并且和接收端203、204也分别通信连接。
如前所述：本发明的网络直播系统2是以播放音频和图片为基础的网络直播系统。其最大的优势在于：既可以在直播时向受众提供可视化图像，同时又能充分地降低对网络流量资源的需求和占用，从而也能充分地降低网络直播的成本。但是，在一些情形下，视频的播放也有其不可替代的作用。例如：展示一种机械结构在工作过程中的形态、讲解物质在发生化学反应时的演变过程，等等，在这些情形下，播放相应的短视频还是最为合适的一种选择。因此，本发明在前述网络直播系统2的基础上，增设了上述的视频流媒体单元2024。这样，在使用本发明的网络直播系统3时，既可以尽可能地使用音频结合图片来降低网络直播的流量需求，又可以在必要时，能够以插入短视频的方式提供更为理想的直播效果。
为了达到上述的目的，在使用本发明的网络直播系统3中，演播端201需要通过软件或者硬件的方式设置为具有向视频流媒体单元2024发送视频控制命令和/或视频的能力；而视频流媒体单元2024被设置为能够将前述接收到的视频控制命令和/或视频向接收端203、204逐一分发。
还是以培训授课为例：在开始直播时，教师可以借助演播端201，像前述发送图片的方式那样，将其授课需要的短视频实时或者异步地发送给视频流媒体单元2024。在进行正常的音频加图片模式的网络直播过程中，在需要插入短视频的时候，教师或者直播工作人员可以借助于演播端201的输入设备，例如：点击鼠标、按动键盘、触控智能手机或者平板电脑上的触控按钮等，选择切换当前需要播放的短视频。当教师借助于演播端201发出了这样切换为播放短视频的视频控制命令时，这个视频控制命令会以一定的格式发送给视频流媒体单元2024和/或应用服务单元2021和/或接收端203、204。视频流媒体单元2024收到这样的视频控制命令时，如果此前视频流媒体单元2024没有事先向接收端203、204分发过前述的短视频，则会立即向接收端203、204分发将需要播放的视频数据，同时还将视频控制命令也分发出去，以使接收端203、204在接收到相应的视频流和视频控制命令时，立即播放显示该端视频。当然，演播端201所发出的视频控制命令并不仅仅是启动播放视频的控制命令，自然也包括控制视频暂停、快进、快退、跳进(播放位置跳到后面某一时间点上继续播放)、跳退(播放位置跳到前面某一时间点上继续播放)和停止播放视频等控制命令。视频流媒体单元2024和/或接收端203、204在接收到视频控制命令时需要先对该命令进行必要的解析，以确定执行相应的操作。
前述视频控制命令也会由演播端201或者视频流媒体单元2024发送给应用服务单元2021。在应用服务单元2021收到这样的视频控制命令时，尤其是收到启动播放视频或停止播放视频的控制命令时，应用服务单元2021将根据这样的视频控制命令，形成停止图片播放或者开始图片播放的图片控制命令，并将这样的图片控制命令发送给接收端203、204，以使该接收端203、204在接收到这样的图片控制命令时执行相对应的操作。
前述视频控制命令也会由演播端201或者视频流媒体单元2024发送给音频流媒体单元2022。当音频流媒体单元2022收到这样的视频控制命令时，尤其是收到启动播放视频或停止播放视频的控制命令时，音频流媒体单元2022将根据这样的视频控制命令，形成停止音频控制命令(例如：启动音频播放命令、停止音频播放命令)，并将音频控制命令发送给接收端203、204，以使该接收端203、204在接收到音频控制命令时执行相对应的操作。
事实上，如前所述的图片控制命令、音频控制命令，既可以分别由应用服务单元2021、音频流媒体单元2022根据收到的视频控制命令解析处理而产生，也可以直接来自于演播端201自身的直接产生并发送。无论来自哪个途径，其最终都是使视频的播放与图片加音频的播放之间形成良好的切换。
与应用服务单元2021类似，如果视频流媒体单元2024事先已经向接收端203、204分发过前述的短视频，在收到播放短视频的视频控制命令时，视频流媒体单元2024会立即将视频控制命令分发出去，以使接收端203、204在接收到相应的视频控制命令时，立即播放事先接收到的该短视频。
视频流媒体单元2024在收到视频控制命令时，如果事先视频流媒体单元2024没有向接收端203、204分发过前述的短视频，则会立即向接收端203、204分发将需要播放的短视频，同时还将视频控制命令也分发出去，以使接收端203、204在接收到相应的短视频和视频控制命令时，立即播放显示该短视频。
在接收端203、204中，需要通过安装相应的软件，使得接收端203、204能够接前述的视频控制命令和/或视频，并且能够根据前述的图片控制命令、视频控制命令来控制视频或者图片以及音频的播放。
本发明的网络直播系统3的一个典型工作过程如下：
如前所述，在实现网络直播系统2全部功能的基础上，网络直播系统3中的视频流媒体单元2024可以事先或者同步地接收来自演播端201的视频；开始直播时，直播人员可以借助于演播端201的输入设备选择当前需要播放的是图片和音频，还是视频。如果是前者，则按照前述网络直播系统2的工作过程运行；如果是后者，则演播端201会向应用服务单元2021、音频流媒体单元2022和视频流媒体单元2024发送图片控制命令、音频控制命令和/或视频控制命令，以使应用服务单元2021和接收端203、204基于这些命令停止播放图片和音频，同时，使视频流媒体单元2024和接收端203、204基于这些命令时开始播放视频；或者，演播端201向应用服务单元2021、音频流媒体单元2022和视频流媒体单元2024发送图片控制命令、音频控制命令和/或视频控制命令，以使应用服务单元2021和接收端203、204基于这些命令开始播放图片和音频，同时，使视频流媒体单元2024和接收端203、204基于这些命令停止播放视频。
此外，需要说明的是：与前述的网络直播系统2一样，在直播的过程中，在应用服务单元2021和音频流媒体单元2022以及视频流媒体2024之间可以建立相互的通信连接，以便于在播放直播节目过程中进行控制命令和信息的交互。
参见图4，在前述的网络直播系统2和网络直播系统3的基础上，本发明的另一类网络直播系统4中还在服务端202中增加设置了即时消息单元2023；即时消息单元2023由即时消息收发单元和即时消息处理单元构成(图中示意省略)。即时消息处理单元2023一方面和演播端201通信连接；另一方面和接收端203、204通信连接。
在网络直播系统4中，即时消息收发单元为能够接收来自接收端203、204所发送的即时消息；即时消息处理单元则能够将来自接收端203、204的即时消息转换为消息图片，并向所述演播端发送该消息图片。
一方面，这些被消息收发单元2023接收到的即时消息当然可以向现有技术那样，立即被转发给演播端201；另一方面，即时消息收发单元2023接收到的即时消息在本发明的网络直播系统4中还被送到即时消息处理单元，并由即时消息处理单元转换为消息图片后，再发送给演播端201。演播端201则能够接收并且显示由即时消息处理单元转换的消息图片。
在网络直播教育、培训、娱乐、新闻报道等具体应用中，直播的一方会有和收看的一方进行互动的需求，这一点，在现有的网络直播系统中也可以见到。但是，网络直播，尤其是教育、培训类等方面的应用，直播的一方往往会需要根据当时收看者的一些问题当场做出答复。为了使包括提出问题的收看者在内的所有收看者都能了解直播一方所回答的问题是什么，就需要将该问题同时呈现给所有的收看者。为了达到此目的，就需要如图4所显示的那样的系统以及上述披露的技术方案。
还是以网络直播教学为例：在应用本发明的网络直播系统4进行网络直播教学时，除了可以实现前述网络直播系统2和/或网络直播系统3的功能之外，由于按照上述所披露的技术方案，在服务端202设置了即时消息单元2023，演播端201就可以借助于即时消息单元2023接收到来自接收端203、204的即时消息。收看者可以借助于即时消息的功能向授课者提出问题。为了防止大量的即时消息对授课者的正常直播造成影响，可以让即时消息单元2023中的即时消息处理单元先行进行延时处理，一方面可以使授课者可以选择在合适的时机来观看和解答有关问题；另一方面，鉴于在直播过程中现场解答问题，有必要让所有的收看者都能看到被解答的问题的内容，为此可以由前述的即时消息处理单元提供的将即时消息转换为消息图片的功能来将即时消息转换为消息图片。在授课者直播解答问题时，可以向前述播放普通图片那样，将所解答问题所对应的消息图片利用本发明的网络直播系统4发送给所有收看者的接收端203、204。为此，即时消息单元2023需要将转换好的消息图片发送给演播端201。当然，由于服务端202本身内部的各单元可以相互通信连接，因此，也可以采用前述的图片控制命令的方式来使消息图片直接由即时消息处理单元提供给应用服务单元2021。
如同不能观看实况转播的足球比赛一样，由于多种原因的显示或影响，例如：时间不合适、网资源有限、人数的限制，等等，并不是所有的人都能观看到网络直播的节目。因此，像观看足球比赛实况重播那样，以点播的方式观看录制下来的网络直播节目(以下简称为：录播)也具有广泛的需求。
但是，基于如图所示现有技术的网络直播系统1，只能播放视频形式的录播节目，因此，同样面对播出带宽资源占用过高，视频数据存储空间消耗巨大，播出成本高居不下的问题。
如前所述：既然，本发明的网络直播系统2、3和/或4能够很好地解决上述现有技术的问题，因此，依然可以在本发明的网络直播系统2、3和/或4的基础之上，进一步解决网络直播系统在录播场景下带宽资源占用过高，视频数据存储空间消耗巨大，播出成本高居不下的问题。
参见图5、图6，在前述的网络直播系统2～4的基础上，本发明的另一类网络直播系统5中还在服务端202中增加设置了音频嵌入单元2025和/或音频嵌入单元2026；音频嵌入单元2025和/或音频嵌入单元2026和演播端201通信连接。其中，音频嵌入单元2025能够接收演播端201发送的图片控制命令；并能根据图片控制命令向音频中嵌入数据；音频嵌入单元2026能够接收演播端201发送的视频控制命令，并能根据视频控制命令向视频中嵌入数据。
由于在本发明的网络直播系统2～4的基础上增设了音频嵌入单元2025和/或音频嵌入单元2026，在利用本发明的网络直播系统2、3和/或4进行直播的同时，可以利用音频嵌入单元2025和/或音频嵌入单元2026向直播的音频和/或视频中嵌入一些录播控制数据，这些录播控制数据来自图片控制命令和/或视频控制命令，可以用于在录播时的播放控制。
有关音频数据嵌入的具体技术内容请参考编号为201510447092.2的中国发明专利申请。此外，在本发明提出申请之前，一些科技杂志对于在音频中嵌入数据的技术也有所披露。在本发明中不再展开阐述。
需要说明的是：音频嵌入单元2025和音频嵌入单元2026虽然都能完成向音频中嵌入数据的功能，但是，两者之前还是具有微小的区别。音频嵌入单元2025用于向普通的音频流或者音频文件中嵌入数据，而音频嵌入单元2026则用于向视频流或者视频文件中音频流或者音频文件中嵌入数据。
参见图5，音频嵌入单元2025通常伴随应用服务单元2021设置，以使应用服务单元2021在接收到图片控制命令时，产生与该图片控制命令相关的数据，例如：图片开始或者停止播放的时间、图片的标识信息等，再将这些数据发送给音频嵌入单元2025，由音频嵌入单元2025按照数据嵌入的规则，嵌入到当前播放的音频之中。
参见图6，音频嵌入单元2026则通常伴随视频流媒体单元2024设置，以使视频流媒体单元2024在接收到视频控制命令时，产生与该视频控制命令相关的数据，例如：视频开始或者停止播放的时间、视频的标识信息等，再将这些数据发送给音频嵌入单元2026，由音频嵌入单元2026按照数据嵌入的规则，嵌入到当前播放的视频的音频部分之中。
基于上述在音频和/或视频中嵌入数据的技术方案，也需要对于接收端203、204进行设置，例如：在接收端203、204安装必要的软件，使得接收端203、204在接收到前述被嵌入数据的音频和/或视频时，能够对这些音频和/或视频进行处理，以读出嵌入其中的数据。此外，在读出嵌入数据的基础上，就像直播那样，利用这些数据来执行播放这些音频、视频和/或图片的操作。
如前所述，由于本发明的网络直播系统5在前述网络直播系统2、3和/或4的基础上中增加设置了音频嵌入单元2025和/或音频嵌入单元2026，首先可以在保证如网络直播系统2、3和/或4那样，既节省又确保品质的直播。
另一方面，借助于音频嵌入单元2025和音频嵌入单元2026的嵌入功能，可以在直播的同时，自动化地向直播节目中的音频和/或视频部分嵌入数据。这些被嵌入数据的音频和/或视频，既可以直接用来录播，也可以用于后期高效的编辑和制作。音频和/或视频中被嵌入的数据是自动编辑、检索和其他多方面自动化处理的基础信息。
参见图2～6，本发明的网络直播系统2～5中的任一系统内所设置的应用服务单元2021、音频流媒体单元2022、视频流媒体单元2024、即时消息单元2023、音频嵌入单元2025、2026，虽然在各个示意图中都是分立设置的；但是，对于本领域技术人员而言，这只是一种计算机网络逻辑结构上的表达。在具体的实际应用中，它们中任意的单元在物理上的组合或者分立都是可能的，并且都是由具体的实施者在每一个具体的设计和建设过程中去决定，本发明在此只是说明，而不做任何限制。
此外，鉴于本发明的网络直播系统2～5的用途，系统内所设置的应用服务单元2021、音频流媒体单元2022、视频流媒体单元2024、即时消息单元2023、音频嵌入单元2025、2026中的任何一个单元，都可以采用分布式设置的方式部署于网络系统或者互联网络云端。在具体的实际应用中，它们的部署方式都是由具体的实施者在每一个具体的设计和建设过程中去决定，本发明在此也只是说明，而不做任何限制。
以上内容，用附图2～6所披露的是本发明的第一个方面，即本发明的网络直播系统。该系统为实现大幅度降低网络直播和录播的数据流量，大幅度节省直播和录播所需的数据存储空间，以及播出与收看方在网络直播时的互动提供了技术物质基础。以下，则通过另一个方面的若干类具体实施方式披露本发明另一个方面的网络直播数据的处理方法。
在本发明有关网络直播数据的处理方法的第一类具体的实施方式中包括如下的操作：
向应用服务单元发送图片控制命令和/或图片的步骤；以及，应用服务单元发送图片控制命令和/或图片的步骤；
向音频流媒体单元发送音频的步骤；以及，音频流媒体单元发送音频的步骤。
需要说明的是：前述各个步骤相互之间既可以是同步的，也可以是异步的；它们之间先后的顺序也可以任意安排。同时，向应用服务单元发送图片控制命令和/或图片的步骤，以及应用服务单元发送图片控制命令和/或图片的步骤中，图片控制命令和图片的发送，同样既可以同步，也可以异步，没有固定的先后顺序。但是，当某图片与音频具有确定的对应关系时，即当相应断落的音频被播放时，该图片一定不迟于相应音频流数据发送。
参见图2，在本发明中，前述的网络直播数据的处理的具体工作过程是这样的：在直播之前或者直播的过程中，演播端201一方面会将直播所需的图片发送给应用服务单元2021，另一方面会将直播时的音频发送给音频流媒体单元2022。通常情况下，应用服务单元2021会将图片发送给接收端203、204，音频流媒体单元2022会将音频发送给接收端203、204。这样，接收端203、204就可以在屏幕上显示图片的同时播放来自演播端201的音频。
此外，直播人员(演员、工作人员等)在直播时可以借助于对演播端201的输入设备(例如：键盘、鼠标、按键、触摸屏等)的操作，通过演播端201向应用服务单元2021发送图片控制命令，控制在直播过程中需要显示的图片以及多个不同图片之间的切换。例如：教师可以将幻灯片事先制作成一个或者多个图片，借助于演播端201逐一或者全部发送给应用服务单元2021；当然也可以在开始直播时再逐一发送。应用服务单元2021在接收到演播端201发送的一个或多个图片时，也可以直接全部分发给接收端203、204，或者在在开始直播时再逐一分发。
开始直播时，教师可以借助演播端201将其授课的音频发送给音频流媒体单元2022；音频流媒体单元2022再将音频分发给接收端203、204。教师可以借助于演播端201的输入设备，例如：点击鼠标、按动键盘、触控智能手机或者平板电脑上的触控按钮等，选择切换当前需要显示或者切换的图片。当教师借助于演播端201发出了这样的切换显示图片的图片控制命令时，这个图片控制命令会以一定的格式发送给应用服务单元2021和/或接收端203、204。应用服务单元2021收到这样的图片控制命令时，如果此前应用服务单元2021没有事先向接收端203、204分发过前述的图片，则会立即向接收端203、204分发将需要显示的图片，同时还将图片控制命令也分发出去，以使接收端203、204在接收到相应的图片和命令时，立即播放显示该图片。应用服务单元2021收到这样的图片控制命令时，如果此前应用服务单元2021已经事先向接收端203、204分发过前述的图片，则会立即将图片控制命令分发出去，以使接收端203、204在接收到相应的图片控制命令时，立即播放显示事先接收到的该图片。
这样，教师就可以借助于本发明的前述网络直播数据的处理方法，像讲解幻灯片那样直播其讲授的课程。在这样的直播过程中，由于不需要分发、传输视频，而只是分发、传输图片和音频，传送的数据量远比现有技术方案中发送视频的数据传输量要少得多。在线收看直播节目的人越多，则越能显示出本发明的网络直播数据的处理方法的低成本运营优势。
相对于网络侧的操作步骤，对于接收并播放直播信息的一侧，例如：前述图2中的接收端203、204，需要执行的步骤如下：
接收由音频流媒体单元、应用服务单元发送的音频、图片控制命令和/或图片的步骤；和/或，播放音频，以及根据图片控制命令显示图片的步骤。
与前述网络侧各个步骤的操作关系类似，接收端203、204一侧所执行的上述各个步骤之间的顺序也是可以不固定的。
在本发明有关网络直播数据的处理方法的第二类具体的实施方式中，除了需要执行前述第一类具体的实施方式中的各个步骤之外，还包括如下的操作：
向视频流媒体单元和/或应用服务单元发送视频控制命令和/或视频的步骤。
视频流媒体单元发送视频控制命令和/或视频的步骤；应用服务单元根据视频控制命令发送图片控制命令的步骤；音频流媒体单元根据视频控制命令发送音频控制命令的步骤。
如前所述：本发明前述的网络直播数据的处理方法最大的优势在于：既可以在直播时向受众提供可视化图像，同时又能充分地降低对网络流量资源的需求和占用，从而也能充分地降低网络直播的成本。但是，在一些情形下，视频的播放也有其不可替代的作用。例如：展示一种机械结构在工作过程中的形态、讲解物质在发生化学反应时的演变过程，等等，在这些情形下，播放相应的短视频还是最为合适的一种选择。因此，本发明在前述网络直播数据的处理方法的基础上，增设了上述的视频流媒体的处理操作。这样，在使用本发明的上述网络直播数据的处理方法使，既可以尽可能地使用音频结合图片来降低网络直播的流量需求，又可以在必要时，能够以插入短视频的方式提供更为理想的直播效果。
参见图3，为了达到上述的目的，在本发明的网络直播数据的处理方法中，需要向视频流媒体单元发送视频控制命令和/或视频；视频流媒体单元也需要将前述接收到的视频控制命令和/或视频向接收端203、204逐一分发。
还是以培训授课为例：在开始直播时，教师可以借助演播端201，像前述发送图片的方式那样，将其授课需要的短视频实时或者异步地发送给视频流媒体单元2024。在进行正常的音频加图片模式的网络直播过程中，在需要插入短视频的时候，教师或者直播工作人员可以借助于演播端201的输入设备，例如：点击鼠标、按动键盘、触控智能手机或者平板电脑上的触控按钮等，选择切换当前需要播放的短视频。当教师借助于演播端201发出了这样切换为播放短视频的视频控制命令时，这个视频控制命令会以一定的格式发送给视频流媒体单元2024和/或应用服务单元2021和/或接收端203、204。视频流媒体单元2024收到这样的视频控制命令时，如果此前视频流媒体单元2024没有事先向接收端203、204分发过前述的短视频，则会立即向接收端203、204分发将需要播放的视频数据，同时还将视频控制命令也分发出去，以使接收端203、204在接收到相应的视频流和视频控制命令时，立即播放显示该端视频。当然，演播端201所发出的视频控制命令并不仅仅是启动播放视频的控制命令，自然也包括控制视频暂停、快进、快退、跳进(播放位置跳到后面某一时间点上继续播放)、跳退(播放位置跳到前面某一时间点上继续播放)和停止播放视频等控制命令。视频流媒体单元2024和/或接收端203、204在接收到视频控制命令时需要先对该命令进行必要的解析，以确定执行相应的操作。
前述视频控制命令也会由演播端201或者视频流媒体单元2024发送给应用服务单元2021。在应用服务单元2021收到这样的视频控制命令时，尤其是收到启动播放视频或停止播放视频的控制命令时，应用服务单元2021将根据这样的视频控制命令，形成停止图片播放或者开始图片播放的图片控制命令，并将这样的图片控制命令发送给接收端203、204，以使该接收端203、204在接收到这样的图片控制命令时执行相对应的操作。
前述视频控制命令也会由演播端201或者视频流媒体单元2024发送给音频流媒体单元2022。当音频流媒体单元2022收到这样的视频控制命令时，尤其是收到启动播放视频或停止播放视频的控制命令时，音频流媒体单元2022将根据这样的视频控制命令，形成停止音频控制命令(例如：启动音频播放命令、停止音频播放命令)，并将音频控制命令发送给接收端203、204，以使该接收端203、204在接收到音频控制命令时执行相对应的操作。
事实上，如前所述的图片控制命令、音频控制命令，既可以分别由应用服务单元2021、音频流媒体单元2022根据收到的视频控制命令解析处理而产生，也可以直接来自于演播端201自身的直接产生并发送。无论来自哪个途径，其最终都是使视频的播放与图片加音频的播放之间形成良好的切换。
与应用服务单元2021类似，如果视频流媒体单元2024事先已经向接收端203、204分发过前述的短视频，在收到播放短视频的视频控制命令时，视频流媒体单元2024会立即将视频控制命令分发出去，以使接收端203、204在接收到相应的视频控制命令时，立即播放事先接收到的该短视频。
视频流媒体单元2024在收到视频控制命令时，如果事先视频流媒体单元2024没有向接收端203、204分发过前述的短视频，则会立即向接收端203、204分发将需要播放的短视频，同时还将视频控制命令也分发出去，以使接收端203、204在接收到相应的短视频和视频控制命令时，立即播放显示该短视频。
由于在网络侧增加了上述有关视频数据的处理操作，相对应地，在接收和播放的一侧，也需要增加如下的操作步骤：
接收由视频流媒体单元发送的视频控制命令和/或视频的步骤；根据图片控制命令、音频控制命令和/或视频控制命令播放视频或者播放图片和音频的步骤。
需要说明的是：前述关于接收和播放一侧的操作步骤，与前述网络侧各个步骤的操作关系类似，接收端203、204一侧所执行的上述各个步骤之间的顺序也是可以不固定的。
在前述的网络直播数据处理方法的基础上，本发明的另一类网络直播数据的处理方法中还在增加了即时消息单元收发和处理即时消息的操作步骤，具体包括：
即时消息处理单元将即时消息转换为消息图片的步骤；即时消息收发单元接收、发送消息图片的步骤；以及接收和/或显示所述消息收发单元发送的消息图片的步骤。
参见图4，在前述的网络直播数据的处理方法的基础上，本发明的另一类网络直播数据的处理方法中还在服务端202中增加设置了即时消息单元2023；即时消息单元2023由即时消息收发单元和即时消息处理单元构成(图中示意省略)。即时消息处理单元2023一方面和演播端201通信连接；另一方面和接收端203、204通信连接。
在本实施方式的网络直播数据的处理方法，即时消息收发单元为能够接收来自接收端203、204所发送的即时消息；即时消息处理单元则能够将来自接收端203、204的即时消息转换为消息图片，并向演播端201发送该消息图片。
一方面，这些被消息收发单元2023接收到的即时消息当然可以向现有技术那样，立即被转发给演播端201；另一方面，即时消息收发单元2023接收到的即时消息，在本发明的网络直播数据的处理方法中还被送到即时消息处理单元，并由即时消息处理单元转换为消息图片后，再发送给演播端201。演播端201则能够接收并且显示由即时消息处理单元转换的消息图片。
在网络直播教育、培训、娱乐、新闻报道等具体应用中，直播的一方会有和收看的一方进行互动的需求，这一点，在现有的网络直播系统中也可以见到。但是，网络直播，尤其是教育、培训类等方面的应用，直播的一方往往会需要根据当时收看者的一些问题当场做出答复。为了使包括提出问题的收看者在内的所有收看者都能了解直播一方所回答的问题是什么，就需要将该问题同时呈现给所有的收看者。为了达到此目的，就需要如图4所显示的那样的系统以及上述披露的技术方案。
还是以网络直播教学为例：在应用本发明的网络直播数据的处理方法进行网络直播教学时，除了可以实现前述网络直播数据的处理方法的功能之外，由于按照上述所披露的技术方案，在服务端202设置了即时消息单元2023，演播端201就可以借助于即时消息单元2023接收到来自接收端203、204的即时消息。收看者可以借助于即时消息的功能向授课者提出问题。为了防止大量的即时消息对授课者的正常直播造成影响，可以让即时消息单元2023中的即时消息处理单元先行进行延时处理，一方面可以使授课者可以选择在合适的时机来观看和解答有关问题；另一方面，鉴于在直播过程中现场解答问题，有必要让所有的收看者都能看到被解答的问题的内容，为此可以由前述的即时消息处理单元提供的将即时消息转换为消息图片的功能来将即时消息转换为消息图片。在授课者直播解答问题时，可以向前述播放普通图片那样，将所解答问题所对应的消息图片利用本发明的网络直播数据的处理方法发送给所有收看者的接收端203、204。为此，即时消息单元2023需要将转换好的消息图片发送给演播端201。当然，由于服务端202本身内部的各单元可以相互通信连接，因此，也可以采用前述的图片控制命令的方式来使消息图片直接由即时消息处理单元提供给应用服务单元2021。
如同不能观看实况转播的足球比赛一样，由于多种原因的显示或影响，例如：时间不合适、网资源有限、人数的限制，等等，并不是所有的人都能观看到网络直播的节目。因此，像观看足球比赛实况重播那样，以点播的方式观看录制下来的网络直播节目(以下简称为：录播)也具有广泛的需求。
但是，基于如图1所示现有技术的网络直播系统1，只能播放视频形式的录播节目，因此，同样面对播出带宽资源占用过高，视频数据存储空间消耗巨大，播出成本高居不下的问题。
如前所述：既然，前述本发明的网络直播数据的处理方法能够很好地解决上述现有技术的问题，因此，依然可以在前述本发明的网络直播数据的处理方法的基础之上，进一步解决网络直播系统在录播场景下带宽资源占用过高，视频数据存储空间消耗巨大，播出成本高居不下的问题。
参见图5、图6，在前述的网络直播数据的处理方法的基础上，本发明的另一类网络直播数据的处理方法中还增加了接收图片控制命令和/或视频控制命令的步骤；根据图片控制命令和/或视频控制命令向音频和/或视频中嵌入数据的步骤；以及，
在接收到音频和/或视频时，对音频和/或视频进行处理以读出嵌入数据的步骤；和/或，根据嵌入数据执行播放音频、视频和/或图片的步骤。
参见图5、图6，在本发明上述的网络直播数据的处理方法所对应的一类网络直播系统中，音频嵌入单元2025能够接收演播端201发送的图片控制命令；并能根据图片控制命令向音频中嵌入数据；音频嵌入单元2026能够接收演播端201发送的视频控制命令，并能根据视频控制命令向视频中嵌入数据。
由于本发明的网络直播数据的处理方法在利用本发明的网络直播数据的处理方法进行直播的同时，可以利用音频嵌入单元2025和/或音频嵌入单元2026向直播的音频和/或视频中嵌入一些录播控制数据，这些录播控制数据来自图片控制命令和/或视频控制命令，可以用于在录播时的播放控制。
有关音频数据嵌入的具体技术内容请参考编号为201510447092.2的中国发明专利申请。此外，在本发明提出申请之前，一些科技杂志对于在音频中嵌入数据的技术也有所披露。在本发明中不再展开阐述。
需要说明的是：音频嵌入单元2025和音频嵌入单元2026虽然都能完成向音频中嵌入数据的功能，但是，两者之前还是具有微小的区别。音频嵌入单元2025用于向普通的音频流或者音频文件中嵌入数据，而音频嵌入单元2026则用于向视频流或者视频文件中音频流或者音频文件中嵌入数据。
参见图5，音频嵌入单元2025通常伴随应用服务单元2021设置，以使应用服务单元2021在接收到图片控制命令时，产生与该图片控制命令相关的数据，例如：图片开始或者停止播放的时间、图片的标识信息等，再将这些数据发送给音频嵌入单元2025，由音频嵌入单元2025按照数据嵌入的规则，嵌入到当前播放的音频之中。
参见图6，音频嵌入单元2026则通常伴随视频流媒体单元2024设置，以使视频流媒体单元2024在接收到视频控制命令时，产生与该视频控制命令相关的数据，例如：视频开始或者停止播放的时间、视频的标识信息等，再将这些数据发送给音频嵌入单元2026，由音频嵌入单元2026按照数据嵌入的规则，嵌入到当前播放的视频的音频部分之中。
基于上述在音频和/或视频中嵌入数据的技术方案，也需要对于接收端203、204进行设置，例如：在接收端203、204安装必要的软件，使得接收端203、204在接收到前述被嵌入数据的音频和/或视频时，能够对这些音频和/或视频进行处理，以读出嵌入其中的数据。此外，在读出嵌入数据的基础上，就像直播那样，利用这些数据来执行播放这些音频、视频和/或图片的操作。
如前所述，本发明网络直播数据的处理方法，一方面可以实现既节省又确保品质的直播。另一方面，还可以在直播的同时，自动化地向直播节目中的音频和/或视频部分嵌入数据。这些被嵌入数据的音频和/或视频，既可以直接用来录播，也可以用于后期高效的编辑和制作。音频和/或视频中被嵌入的数据是自动编辑、检索和其他多方面自动化处理的基础信息。
以上所述仅为发明的若干类具体的实施方式，并不用于限制本发明的技术方案。对于本领域技术人员来说：上述各类具体的实施方式还具有有各种可以预见的更改和变化；而基于本发明上述所披露的内容任何修改、等同替换或者改进，均应包含在本发明的权利要求请求的保护范围之内。