一种基于智能电视的数据处理方法和装置与流程

技术领域

本申请涉及数据处理技术，特别涉及一种基于智能电视的数据处理方法和装置。

背景技术：

顺应电视机“高清化”、“网络化”、“智能化”的趋势，智能电视逐渐普及。智能电视将实现网络搜索、IP电视、BBTV网视通等各种应用服务。

目前，随着智能电视技术的不断发展，智能电视正在成为继计算机、手机之后的第三种信息访问终端，为了方便用户可以利用智能电视随时访问自己需要的信息，在现有技术中，实现智能电视、网络之间跨平台交互的数据处理，是当前亟待解决的技术问题。

技术实现要素：

本申请提供了一种基于智能电视的数据处理方法和装置，以实现智能电视、网络之间跨平台交互的数据处理。

本申请提供的技术方案包括：

一种基于智能电视的数据处理方法，包括：

智能电视机作为客户端，与服务器之间通过自定义的通信标识符进行通信，以获取服务器的网络授权；

所述客户端在需要发送视频邮件时，利用所述服务器授权的网络标识ID登陆至服务器，在完成登陆后获取由服务器嵌入至本客户端的HTML页面；所述HTML页面至少包括：收发栏、工具栏和邮件编辑区；

所述客户端在所述HTML页面的收发栏中至少添加收件人信息、发件人信息、邮件标题、以及邮件发送时间；

所述客户端在所述HTML页面的工具栏选中插入视频选项，以使所述HTML页面的邮件编辑区添加一个视频选择区；

所述客户端在所述HTML页面的邮件编辑区撰写邮件内容，并在视频选择区选择发送本地视频文件时，将本地视频文件上传至服务器，在选择发送录制的视频文件时，调整视频区的大小，以视频区大小映射视频分辨率打开录制设备开始录制视频文件，并将录制的视频文件上传至服务器；

所述客户端在将视频文件上传至服务器后，通知服务器发送，以由服务器按照邮件产生器理解的格式对所述HTML页面进行打包生成一视频邮件，并发送至收件人。

一种基于智能电视的数据处理方法，包括：

服务器对作为客户端的智能电视机进行网络授权；

所述服务器接收所述客户端通过HTTP发送的带有自定义的收取邮件标识符的连接请求，识别该连接请求所请求的邮件是否已过期，如果否，则返回带有自定义的授权收取邮件标识符的应答至客户端，如果是，则返回带有自定义的拒绝收取邮件标识符的应答至客户端；

所述服务器接收所述客户端发送的带有播放调整标识符的播放请求，所述播放请求是在所述客户端接收到带有授权收取邮件标识符的应答时发送的；

所述服务器根据所述播放请求中的参数，控制多媒体流在客户端播放。

一种基于智能电视的数据处理装置，该装置为智能电视机，包括：

通信模块，用于与服务器之间通过自定义的通信标识符进行通信，以获取服务器的网络授权；

登陆模块，用于在所述装置需要发送视频邮件时，利用所述服务器授权的网络标识ID登陆至服务器，在完成登陆后获取由服务器嵌入至本客户端的HTML页面；所述HTML页面至少包括：收发栏、工具栏和邮件编辑区；

页面处理模块，用于对所述HTML页面执行以下处理：在所述HTML页面的收发栏中至少添加收件人信息、发件人信息、邮件标题、以及邮件发送时间，通过在所述HTML页面的工具栏选中插入视频选项，以使所述HTML页面的邮件编辑区添加一个视频选择区，以及在所述HTML页面的邮件编辑区撰写邮件内容，并在视频选择区选择发送本地视频文件时，将本地视频文件上传至服务器，在选择发送录制的视频文件时，调整视频区的大小，以视频区大小映射视频分辨率打开录制设备开始录制视频文件，并将录制的视频文件上传至服务器；

通知模块，用于在所述页面处理模块完成将视频文件上传至服务器后，通知服务器发送，以由服务器按照邮件产生器理解的格式对所述HTML页面进行打包生成一视频邮件，并发送至收件人。

一种基于智能电视的数据处理装置，该装置为服务器，包括：

网络处理模块，用于对作为客户端的智能电视机进行网络授权；

邮件请求处理模块，用于接收所述客户端通过HTTP发送的带有自定义的收取邮件标识符的连接请求，识别该连接请求所请求的邮件是否已过期，如果否，则返回带有自定义的授权收取邮件标识符的应答至客户端，如果是，则返回带有自定义的拒绝收取邮件标识符的应答至客户端；

播放请求处理模块，用于接收所述客户端发送的带有播放调整标识符的播放请求，根据所述播放请求中的参数，控制多媒体流在客户端播放；其中，所述播放请求是在所述客户端接收到带有授权收取邮件标识符的应答时发送的。

由以上技术方案可以看出，本发明中，通过客户端和服务器之间的交互实现了智能电视、网络之间跨平台交互的数据处理，并且，本发明中，当客户端发送视频邮件时，与传统的发送电子邮件流程相比，本发明不需要用户花费大量时间上传大容量的附件，其上传可在视频录制时完成，提高邮件发送效率；

进一步地，本发明中，服务器发送的仅是一个打包后的HTML页面，也就是说，收件人只是接收一个HTML页面，这能保证收件人后续可以使用网页浏览视频时边下载边浏览。

附图说明

图1为本发明实施例提供的方法流程图；

图2为本发明实施例提供的网络授权流程图；

图3为本发明实施例提供的录制授权流程图；

图4为本发明实施例提供的服务器动态分配存储空间示意图；

图5为本发明实施例提供的录制视频文件流程图；

图6为本发明实施例提供的音、视频数据复合流程图；

图7为本发明实施例提供的视频邮件通知发送流程图；

图8为本发明实施例提供的服务器向客户端发送视频邮件的流程图；

图9为本发明实施例提供的步骤805实现流程图；

图10为本发明实施例提供的服务器选择多媒体流传送的示意图；

图11为本发明实施例提供的装置结构图；

图12为本发明实施例提供的装置结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明提供了一种基于智能电视的数据处理方法，如图1所示，该方法包括图1所示的流程：

步骤101，智能电视机作为客户端，与服务器之间通过自定义的通信标识符进行通信，以获取服务器的网络授权。

这里，本步骤101具体可通过图2所示流程实现：

图2为本发明实施例提供的网络授权流程图。如图2所示，该流程包括以下步骤：

步骤201，客户端通过HTTP发送带有自定义的申请访问标识符[CL_USER_ACCESS]的连接请求。

这里，连接请求携带如下参数：

CLIENT_ID：为客户端ID，传送时将通过客户端的私钥进行加密，在服务器端使用公钥进行解密，验证客户端真实身份，占用11个字节。

TIMESTAMP：为发送消息的时间，同样会通过私钥进行加密，用以验证客户端真实身份，占用11个字节。

步骤202，服务器匹配发送该连接请求的客户端的信息，确定是否授权客户端访问。

这里，匹配的客户端信息至少包括用户名和密码。

步骤203，服务器在授权时，发送带有自定义的访问授权标识符[SR_ACCESS_ACCEPT]的应答至客户端，反之，在不授权时，发送带有自定义的访问拒绝标识符[SR_ACCESS_REJECT]的应答至客户端。

这里，带有[SR_ACCESS_ACCEPT]的应答携带TIMESTAMP和SERVER_ID。其中，SERVER_ID:为服务器ID，服务器将发送确认信息至客户端，包含经过服务器私钥加密的服务器ID，客户端使用公钥进行解密，用于验证服务器端真实身份，占用11个字节。

步骤204，客户端在接收到带有[SR_ACCESS_ACCEPT]的应答时，通过HTTP发送带有自定义的性能参数标识符[CL_PROFILE]的性能消息。

这里，之所以发送性能消息目的是便于告知服务器本客户端的实际情况，以便服务器管理。其中，该性能消息携带的性能参数至少包括：

客户端的CPU主频(CPU_FREQ)，占用10个字节。

客户端播放器支持的最大内存大小(MEM)，占用5个字节。

客户端支持的最大分辨率(RES)，占用5个字节。

客户端的网络速率(RATE)，占用6个字节。

步骤205，服务器记录性能消息中的性能参数，返回带有自定义的性能确认标识符[SR_PROFILE_DONE]的应答。

至此，完成图2所示的流程。

通过图2所示流程即可完成网络授权。

步骤102，所述客户端在需要发送视频邮件时，利用所述服务器授权的网络标识(ID)登陆至服务器，在完成登陆后获取由服务器嵌入至本客户端的HTML页面。

步骤103，所述客户端对所述HTML页面进行处理。

优选地，本发明中，HTML页面主要由工具栏、邮件编辑区、收发栏以及视频库组成。基于此，本步骤103中，客户端对所述HTML页面进行处理具体为：

在HTML页面的工具栏部分，除了插入图片或附件等选项外，本发明还增加了插入视频和取消发送的选项。

1)对于插入视频的选项，在邮件编辑区会添加一个视频选择区，此视频选择区会提供用户选择添加本地视频或录制视频的标签，具体在下文进行描述。

2)对于取消发送的选项，在服务器投递邮件之前，该选项可选，否则不可选。

在HTML页面的邮件编辑区部分，可以撰写邮件的内容，并且，当用户在视频选择区选择发送本地视频文件时，将本地视频文件上传至服务器，在选择发送录制的视频文件时，调整视频区的大小，以视频区大小映射视频分辨率打开录制设备开始录制视频文件，并将录制的视频文件上传至服务器。

在HTML页面的收发栏部分，优选地，该收发栏由发件栏和收件栏组成，用户可以根据收发需求点击组件。

1)对于发件栏，用户可以添加收件人地址、抄送人地址和标题内容，并点击发送按钮进行邮件的发送。

2)对于收件栏，显示该邮件的发件人、收件人、抄送人、标题内容及发送时间等信息。

在HTML页面的视频库部分，待发送的视频会以缩略图的形式在视频预览界面展示出来，用户可以通过点击进入视频预览界面，通过设定触发方式触发比如长按插入视频到邮件编辑区。

至此，通过上面描述，即可完成HTML页面的处理。

步骤104，所述客户端在将视频文件上传至服务器后，通知服务器发送，以由服务器按照邮件产生器理解的格式对所述HTML页面进行打包生成一视频邮件，并发送至收件人。

这里，步骤104中服务器按照邮件产生器理解的格式对所述HTML页面进行打包生成一视频邮件具体在下文进行描述。

至此，完成图1所示的流程。

从图1所示的客户端发送视频邮件的流程可以看出，本发明中，用户不需要花费大量时间上传大容量的附件，其上传可在视频录制时完成，并且，本发明中，服务器发送的仅是一个打包后的HTML页面，也就是说，收件人只是接收一个HTML页面，这能保证收件人后续可以使用网页浏览视频时边下载边浏览。

在图1所示流程中，步骤103中，在客户端开始录制视频之前，还需要通过自定义的通信标识符与服务器进行通信，以确认服务器是否授权录制视频。

其中，该通信流程主要包含如图3所示的各个步骤：

步骤301，客户端通过HTTP发送带有自定义的录制视频标识符[CL_A_NEW_VIDEO]的连接请求。

步骤302，服务器接收请求后，动态为客户端分配存储空间。

其中，该动态分配存储空间可为：首先预设一个L比如L取值为20兆的存储空间和L比如L取值为20兆的缓冲存储，在录制内容超过预设的存储空间后，翻倍增加存储空间，但是缓冲存储的大小保持L比如L取值为20兆不变，也即分配的存储空间mm_storage＝M+20，(M＝20，40，80，…，10x2n；n＝1，2，…)，以L取值为20兆为例，则分配的存储空间如图4所示。通过这样分配存储空间，能够保证录制完成之后，存储空间为录制的视频文件的大小。

步骤303，服务器根据录制条件是否满足，发送带有自定义的授权录制标识符[SR_PVR_ACCEPT]或拒绝录制标识符[SR_PVR_REJECT]的应答给客户端。

步骤304，客户端在接收到带有[SR_PVR_ACCEPT]的应答时，录制视频文件，在接收到带有[SR_PVR_REJECT]的应答时，关闭录制通信。

至此，完成图3所示流程。

优选地，本发明中，上述步骤103中的客户端录制视频文件主要包括图5所示流程：

参见图5，图5为本发明实施例提供的录制视频文件流程图。如图5所示，该流程可包括以下步骤：

步骤501，采集音、视频数据。

这里，可通过连接在客户端上的麦克风和摄像头分别采集音、视频数据。

其中，在采集音、视频数据时，可根据用户的输入配置音视频的采集参数，对于视频而言，其采集参数可包括：分辨率、YUV格式、亮度、色度、饱和度等配置参数；对于音频而言，其采集参数可包括：采样率、位深度等参数。

需要说明的是，本发明中，音、视频的采集参数可以由用户根据实际需求进行调整。

另外，还需要说明的是，本发明中，优选地，音频和视频的采集间隔须小于同步约束间隔。

步骤502，对采集的音、视频数据进行编码。

本步骤502中，在对音、视频数据编码时，可根据用户的输入配置音视频的编码参数，对于视频而言，其编码参数可包括：编码格式、帧率、GOP、码流比特率等；对于音频而言，其编码参数可包括：音频格式、码流比特率等；需要说明的是，本发明中，音、视频的编码参数可以由用户根据实际需求进行调整。

步骤503，对编码后的音、视频进行复合。

本步骤503中，在音、视频复合时，可根据用户的输入配置视频文件的容器类型，设置视频文件时长或总的文件长度限制，对音视频的原始数据包打包。为了保证音、视频编码的同步，应该记录音视频的时间戳，并加入到音视频帧头中。

本发明中，由于视频数据比较大，而音频数据小得多，并且每次采集编码视频帧所消耗的时间也不完全相同，所以不能保证一帧音频数据采集完成时，视频数据也能刚好采集完整数帧，所以本发明中，以系统时间作为参考时钟，并选择视频帧作为参考点，在采集编码一帧视频数据的过程中将已处理好的音频帧依次缓存到一个音频缓冲区中，当一帧视频数据采集编码完成后，以系统参考时钟作为时间戳添加到视频帧头中，并取得音频缓冲区中的所有音频数据作为一个音频帧，并在帧头中添加同样的系统参考时钟作为时间戳信息，具体流程如图6所示。

至此，完成图5所示流程。

本发明中，在上述步骤104中，客户端通知服务器发送视频邮件可通过图7所示流程实现：

参见图7，图7为本发明实施例提供的视频邮件通知发送流程图。如图7所示，该流程可包括以下步骤：

步骤701，客户端端通过HTTP发送带有自定义的发送邮件标识符[CL_A_NEW_VE]的连接请求。

步骤702，服务器根据步骤102处理后的HTML页面确定是否投递视频邮件至收件人的邮箱。

步骤703，服务器在步骤702的确定结果为是时，发送带有自定义的授权发送标识符[SR_VE_ACCEPT]的应答给客户端，而在步骤702的确定结果为否时，发送带有自定义的拒绝发送标识符[SR_VE_REJECT]的应答给客户端。

步骤704，客户端在收到带有[SR_VE_ACCEPT]的应答时，点击触发HTML页面上的发送选项，以通知服务器发送视频邮件。

至此，完成图7所示流程。

本发明中，上述步骤104中，服务器按照邮件产生器理解的格式对所述HTML页面进行打包生成一视频邮件具体可为：

在邮件产生装置下，定义了邮件信息文件，视频文件，脚本更新文件以及一些临时文件等，在客户端完成撰写邮件和上传视频后，视频邮件产生器自动获取邮件内容到邮件信息文件和视频文件中，并更新视频邮件产生器脚本，最终生成新邮件，即：video_email_id.html。

其中，邮件信息文件定义MailInfo.txt，获取邮件内容并整理成视频邮件产生器理解的文件格式，如txt文件格式，主要包括发件人，收件人，抄送人，标题和内容等。

视频文件定义MediaInfo.txt，获取视频路径和视频格式信息等。

脚本更新文件定义VideoEmail.sh，更新邮件信息文件和视频文件的内容到新邮件。

更新邮件信息，定义变量FileC负责查询邮件信息文件，可以利用搜寻后缀名的方法查询邮件目录下存在的txt文件，即：${FileC:-4}＝“.txt”，并根据预定义变量Level，该Level值由更新内容是否为NULL定义，逐级更新邮件内容，具体实施如下：

Level1，发件人信息更新：video_email_simple.html更新为addFrom.html；

Level2，收件人信息更新：addFrom.html更新为addTo.html；

Level3，抄送人信息更新：addTo.html更新为addCc.html；

Level4，标题信息更新：addCc.html更新为addSubject.html；

Level5，邮件内容更新：addSubject.html更新为addContent.html；

更新视频文件信息，定义变量URL负责视频链接，变量MediaC负责视频的内容，继续更新邮件内容，具体实施如下：

Level6，视频信息更新：addContent.html更新为video_email_id.html。

在生成视频邮件时，由于定义了各类模板控制更新邮件内容，所以仅需填充必要的数据即可，如在HTML页面插入视频，仅需打包表1中视频标签属性和值并发送至Flash播放器即可，具体如下：

表1

至此，完成了服务器如何按照邮件产生器理解的格式对所述HTML页面进行打包生成一视频邮件的描述。

以上对客户端如何发送视频邮件的方法进行了描述，本发明中，还描述了服务器如何向客户端发送视频邮件，下面进行描述：

参见图8，图8为本发明实施例提供的服务器向客户端发送视频邮件的流程图。如图8所示，该流程可包括以下步骤：

步骤801，服务器对作为客户端的智能电视机进行网络授权。

本步骤801具体实现可参考上述图2所示流程，这里不再赘述。

步骤802，服务器接收所述客户端通过HTTP发送的带有自定义的收取邮件标识符[CL_VE_PATH]的连接请求。

步骤803，服务器判断连接请求所请求的邮件过期与否，如果否，则返回带有自定义的授权收取邮件标识符[SR_VE_PATH_ACCEPT]的应答至客户端，如果是，则返回带有自定义的拒绝收取邮件标识符[SR_VE_PATH_REJECT]的应答至客户端。

步骤804，服务器接收所述客户端发送的带有播放调整标识符[CL_ADJUST]的播放请求，所述播放请求是在所述客户端接收到带有[SR_VE_PATH_ACCEPT]的应答时发送的。

步骤805，所述服务器根据所述播放请求中的参数，控制多媒体流在客户端播放。本步骤具体包括：服务器解析所述播放请求中的延迟参数FRAME_DELAY和网速参数RATE_CHANGE，依据所述FRAME_DELAY、RATE_CHANGE、以及所述客户端的性能参数，实时调整多媒体流传输的码率，以控制传输的多媒体流在客户端流畅播放。

这里，FRAME_DELAY为客户端在播放的时候，产生的解码延迟时间，占用13个字节。而RATE_CHANGE为客户端在播放过程中实际网速，占用13个字节。

至此，完成图8所示的流程。

需要说明的是，本发明中，客户端与服务器之间所有自定义的标识符均是通过在包头的数据段添加的，该自定义标识符值占据16位宽度，标识符的大小根据位宽值设置。

本发明中，服务器是基于云存储模式，在步骤805中，其依据所述FRAME_DELAY、RATE_CHANGE、以及所述客户端的性能参数，实时调整多媒体流传输的码率可通过图9所示流程实现：

参见图9，图9为本发明实施例提供的步骤805实现流程图。如图9所示，该流程可包括以下步骤：

步骤901，在所述FRAME_DELAY大于每帧解码时间的最大值时，执行步骤902，在所述FRAME_DELAY小于1/2fps时，执行步骤903，在所述RATE_CHANGE小于当前层的码率时，执行步骤904。

本发明中，服务器端支持一个在空域上拥有N层的空间和每个空间层在时域上具有不多于3个时间层的可伸缩多媒体流，假如多媒体流的空间层为{L₀,L₁,L₂,L₃,…,L_N-1}，若每一空间层附带3个时间分层，记最大帧率为fps，则每种空间层次下时间层次本别是fps，fps/2,fps/4。

其中，多媒体流中各层通过以下决策决定：

记R_X为第X层的码率，假如L₀到L_N-1空间分辨率越来越大，则L₀到L_N-1的码率递增，若网速为R，设备支持最大分辨率为res，初始层号K将如下决定。

当存在一个层k，其分辨率与设备分辨率最接近且码率小于当前的网速乘以λ，λ为一个大于1的系数，λ值将确保音频部分的传输以及在一定的网速波动条件下流畅播放。

若不存在这样的层，则选取码率小于λR且与λR最接近的层。

若λR小于基础层的码率，则选取基础层且时域分层最低层作为初始分层。

基于上述决策，则图10示出了多媒体流中各个层间结构图。

本发明中，如果FRAME_DELAY大于每帧解码时间的最大值，则预示该视频在客户端将无法流畅播放，服务器将调整传输的多媒体流，具体见步骤902；而当FRAME_DELAY小于1/2fps时，则意味着客户端CPU仍有大量空闲时间，可以据此提升码流质量，具体见步骤903描述。而当RATE_CHANGE小于当前层的码率，则意味着此时没有必要调整码流，可继续按照原由方式进行码流传输。

步骤902，比较已记录的所述客户端性能参数中的CPU_FREQ和Q_Low,所述Q_Low,为当前层支持流畅播放所需要的CPU主频值，如果前者小于后者，则选择相对于当前层，空域上低一层的多媒体流传送，如果前者大于等于后者，则选择相对于当前层，时域上低一层的多媒体流传送。

步骤903，在所述RATE_CHANGE大于R`且大于R``时，选择相对于当前层，空域上高一层的多媒体流传送，在所述RATE_CHANGE大于R`且小于R``时，选择相对于当前层，时域上高一层的多媒体流传送；其中，所述R`为相对于当前层时域上高一层的码率，R``为相对于当前层，空域上高一层的码率。

步骤904，结束调整。

至此，完成图9所示流程。

其中，在图9所示流程中，服务器选择多媒体流传送可通过以下步骤实现：

通过文件读取器读取所选择的多媒体流并放入至内存中；

接着使用文件解复用器将多媒体流中的视频数据和音频数据分开；

仅将视频数据输入NAL包选择器，以使得视频数据输入至NAL包选择器后组织成多个NAL单元；

对NAL包选取器所输入的NAL单元进行选取，然后将音频数据和处理完成的视频数据分别送入网络组包器，进行打包处理，最后作为网络数据流输出。

图10示出了服务器选择多媒体流传送的示意图。

本发明中，层数越低，表明码率越小，在解码过程中，高一层的解码可能会依赖低一层的数据，而低一层的数据绝不依赖高一层的数据，因此，对NAL包选择器所输入的NAL包进行选取具体可为：将服务器之前决策定出所要传送的多媒体流的具体码率规格映射为相应的目标dependency_id(用U表示)和目标temporal_id(用V表示),从NAL包选择器所输入的所有NAL单元中读取NAL Type＝第一值的NAL单元，这里，第一值表示SVC扩展头header的NAL单元，其具体可为14，如果该读取的NAL单元的dependency_id≤U,temporal_id≤V，则表明该NAL单元之后的所有NAL单元皆为需要选取发出的，否则跳过其后的所有NAL包。如再遇到NAL Type等于第一值的NAL包，重新进行判断。

至此，完成本发明提供的方法描述。

下面对本发明提供的装置进行描述：

参见图11，图11为本发明实施例提供的装置结构图。该装置为智能电视机，应用于图1所示流程，可包括：

通信模块，用于与服务器之间通过自定义的通信标识符进行通信，以获取服务器的网络授权；

登陆模块，用于在所述装置需要发送视频邮件时，利用所述服务器授权的网络标识ID登陆至服务器，在完成登陆后获取由服务器嵌入至本客户端的HTML页面；所述HTML页面至少包括：收发栏、工具栏和邮件编辑区；

页面处理模块，用于对所述HTML页面执行以下处理：在所述HTML页面的收发栏中至少添加收件人信息、发件人信息、邮件标题、以及邮件发送时间，通过在所述HTML页面的工具栏选中插入视频选项，以使所述HTML页面的邮件编辑区添加一个视频选择区，以及在所述HTML页面的邮件编辑区撰写邮件内容，并在视频选择区选择发送本地视频文件时，将本地视频文件上传至服务器，在选择发送录制的视频文件时，调整视频区的大小，以视频区大小映射视频分辨率打开录制设备开始录制视频文件，并将录制的视频文件上传至服务器；

通知模块，用于在所述页面处理模块完成将视频文件上传至服务器后，通知服务器发送，以由服务器按照邮件产生器理解的格式对所述HTML页面进行打包生成一视频邮件，并发送至收件人。

优选地，本发明中，所述页面处理模块通过以下步骤录制视频文件：

采集音、视频数据；

对采集的音、视频数据进行编码；

系统时间作为参考时钟，并选择视频帧作为参考点，在采集编码一帧视频数据的过程中将已处理好的音频帧依次缓存到一个音频缓冲区中，当一帧视频数据采集编码完成后，以当前系统时间作为时间戳添加到视频帧头中，并取得音频缓冲区中的所有音频数据作为一个音频帧，在音频帧头中添加同样的系统时间作为时间戳。

另外，本发明还提供了另一种基于智能电视的数据处理装置，如图12所示，其中，该装置为服务器，包括：

网络处理模块，用于对作为客户端的智能电视机进行网络授权；

邮件请求处理模块，用于接收所述客户端通过HTTP发送的带有自定义的收取邮件标识符的连接请求，识别该连接请求所请求的邮件是否已过期，如果否，则返回带有自定义的授权收取邮件标识符的应答至客户端，如果是，则返回带有自定义的拒绝收取邮件标识符的应答至客户端；

播放请求处理模块，用于接收所述客户端发送的带有播放调整标识符的播放请求，根据所述播放请求中的参数，控制多媒体流在客户端播放；其中，所述播放请求是在所述客户端接收到带有授权收取邮件标识符的应答时发送的。

所述播放请求处理模块根据所述播放请求中的参数，控制多媒体流在客户端播放，具体包括：解析所述播放请求中的延迟参数FRAME_DELAY和网速参数RATE_CHANGE，依据所述FRAME_DELAY、RATE_CHANGE、以及所述客户端的性能参数，实时调整多媒体流传输的码率，以控制传输的多媒体流在客户端正常播放。

本发明中，所述多媒体流在空域上拥有N层的空间，每一空间层在时域上具有不多于三个时间层；

基于此，所述播放请求处理模块依据FRAME_DELAY、RATE_CHANGE、以及所述客户端的性能参数，实时调整传输的码率包括：

如果所述FRAME_DELAY大于每帧解码时间的最大值，则，

比较已记录的所述客户端性能参数中的CPU_FREQ和Q_Low,所述Q_Low,为当前层支持流畅播放所需要的CPU主频值，如果前者小于后者，则选择相对于当前层，空域上低一层的多媒体流传送，如果前者大于等于后者，则选择相对于当前层，时域上低一层的多媒体流传送；

如果所述FRAME_DELAY小于1/2fps，则在所述RATE_CHANGE大于R`且大于R``时，选择相对于当前层，空域上高一层的多媒体流传送，在所述RATE_CHANGE大于R`且小于R``时，选择相对于当前层，时域上高一层的多媒体流传送；其中，所述R`为相对于当前层时域上高一层的码率，R``为相对于当前层，空域上高一层的码率。

所述多媒体流包括音频流和/或视频流。

尤其是，在一种优选实施例中，所述视频流在空域上拥有N层的空间，每一空间层在时域上具有不多于三个时间层；

所述播放请求处理模块依据FRAME_DELAY、RATE_CHANGE、以及所述客户端的性能参数，实时调整传输的码率包括：

如果所述FRAME_DELAY大于每帧解码时间的最大值，则，

比较已记录的所述客户端性能参数中的CPU_FREQ和QLow,所述QLow,为当前层支持流畅播放所需要的CPU主频值，如果前者小于后者，则选择相对于当前层，空域上低一层的视频流传送，如果前者大于等于后者，则选择相对于当前层，时域上低一层的视频流传送；所述视频流在空域上拥有N层的空间，每一空间层在时域上具有不多于三个时间层；

如果所述FRAME_DELAY小于1/2fps，则在所述RATE_CHANGE大于R`且大于R``时，选择相对于当前层，空域上高一层的视频流传送，在所述RATE_CHANGE大于R`且小于R``时，选择相对于当前层，时域上高一层的视频流传送；其中，所述R`为相对于当前层时域上高一层的码率，R``为相对于当前层，空域上高一层的码率。

至此，完成本发明提供的装置描述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。