移动终端视频共享方法

移动终端视频共享方法
【专利摘要】本发明提供了一种移动终端视频共享的方法，该方法包括以下步骤：（1）一个或多个作为发送端的移动终端对将要共享的视频数据进行编码压缩后传输给一个或多个服务器；（2）所述一个或多个服务器储存所述编码压缩后的视频数据；（3）一个或多个作为接收端的移动终端从服务器获得所述编码压缩后的视频数据，对接收到的所述视频数据进行解压解码后调用相应的驱动接口对所述视频数据进行播放。本发明还提供了实时编码优化方法。所述方法可以满足大数据量的视频实时共享要求。
【专利说明】
移动终端视频共享方法
技术领域
[0001 ]本发明设及移动通信领域，具体地设及一种移动终端视频共享方法。
【背景技术】
[0002] 互联网时代网络正在带给人们各种各样的信息，运些信息不只是单纯文本、图像 和简单的声音文件，而是包含音、视频的多媒体技术，包括广播电视、新闻剪辑电台、电影、 监控视频等。想要使用运些多媒体信息，就必须实现视频、音频信息在网络上的传输，但随 着上网人数的趋增，而网络硬件设备的本身局限性，使得媒体文件的大小成为网络传输一 个不可忽视的参数。人们希望能在网络上实时地看到清晰、流杨的媒体演示或共享。
[0003] 移动终端在媒体功能中所起的作用越来越重要，通过移动终端实现媒体资料共享 也逐渐显现它在资源共享方面的重要性。目前，移动终端之间的视频等媒体信息的实时共 享一般是通过先将视频等媒体文件传输到接收端，再由接收端进行媒体文件的解码与播 放。但是，如果接收端不支持相关媒体文件的解码，则该接收端就无法播放运些媒体文件， 而且，由于文件传输需要一段时间，接收端需要等待较长的时间进行文件下载，才能进行播 放;此外，对于需要分享其实时播放或显示内容的移动终端用户，可能还需要将运些内容录 制成文件，再传输到接收端，不能满足实时与同步性。
[0004] 另外，由于信息技术的不断进步，视频或者图像设备和平台也越来越丰富，由于图 像视频的格式和标准没有得到统一，运使得视频图像跨平台或者是不同的设备之间很难得 到共享。如果在编码端采用独特或者过于复杂编码方式，解码端并不知道编码端的编码方 式W及可能由于编码端编码方式难度很大。解码端不能过对已编码的视频序列进行解码， 运种标准的不统一性就造成了视频或图像的可操作性和应用性变差，甚至使得视频的压缩 技术失去意义。在制定标准的过程中产生了很多不同的标准，经过实践的检验，保留下来几 个大的视频图像标准，运就有利于竞争机制的保持，也加强了视频图像标准的统一性。
[0005] CN200810066097.0的专利申请提出了" 一种共享播放多媒体文件的方法及多媒体 播放器"，该专利申请提出的方法和多媒体播放器虽然可W通过实时流的方式对播放器中 的媒体进行缓冲，但还需播放器进行媒体解码，对播放器解码能力要求较高，对一些播放器 不支持的文件格式没有办法共享播放;并且，该专利申请提出的方法和多媒体播放器未设 及与解决非实体文件的实时共享问题，例如，终端如何将其CMMB或收音机所接收到的视频 或音频信息实时共享给其他终端，或如何将终端的LCD显示内容或声音实时共享给其他终 JLjJU 乂而。
[0006] CN200910205518公开了一种实现移动终端音视频实时共享的方法，包括W下步 骤:A、发送端记录将要播放的音视频数据，对所述音视频数据进行编码压缩后传输给接收 端;B、接收端对接收到的所述音视频数据进行解压解码后调用相应的驱动接口对所述音视 频数据进行播放。
[0007] CN102326356A公开了一种在包括多个视频捕捉设备（102)的通信网络（100)中的 节点（101)处的计算机实现的视频共享方法，所述方法包括:接收同一事件的多个视频流 (200)，每个视频流源自所述视频捕捉设备中的不同的一个;获取关于所述视频流的上下文 信息（202);提供视频流输出用于由所述通信网络中其他实体共享(206)，所述视频流输出 是在所述上下文信息的基础上从已接收的视频流生成的。
[000引 CN101625701A公开了一种视频共享方法，包括W下步骤:移动终端将视频文件上 传给内容管理口户;所述内容管理口户把视频文件发布到流媒体平台上;把视频文件在所 述流媒体平台的链接通知给其他移动终端。
[0009] CN104902311A公开了一种音视频资源共享的方法，包括:接收智能移动终端发送 的节目播放请求消息;根据所述节目播放请求消息，确定节目标识;根据所述节目标识，获 取所述节目标识对应的节目信息；根据所述节目信息，获取传输流TS数据;解扰所述TS数 据，得到所述节目标识对应的清流TS数据;从所述清流TS数据中录制出音频数据及视频数 据并将所述音频数据及视频数据进行实时流传输化S切片处理，得到播放TS数据;将所述播 放TS数据发送至所述智能移动终端。
[0010] CN101707686A公开了一种移动终端之间共享视频的方法，所述方法包括:主叫终 端将视频文件上传至媒体服务器;被叫终端通过移动网络与所述媒体服务器建立视频链 路，所述媒体服务器通过所述视频链路向所述被叫终端发送所述视频文件的视频流;被叫 终端接收所述媒体服务器发送的视频流，完成所述视频文件的播放。
[0011] CN101883147A公开了一种实现多方视频共享的方法，该方法包括:主叫终端通过 视频共享服务器向多个被叫终端发起视频共享请求，收到视频共享请求的被叫终端向视频 共享服务器回复响应消息;视频共享服务器按照被叫终端的归属地、终端类型、接入方式和 上行带宽的优先级顺序确定被叫终端的视频数据方向；被叫终端根据所确定的视频数据方 向为其他终端提供共享的视频数据。
[0012] CN101127874A公开了一种在移动通信终端中进行的视频电话中共享屏幕的方法， 该方法包括:如果在视频电话中出现了屏幕共享的事件，则向接通的终端发送屏幕共享请 求信号;和当从接通的终端接收到屏幕共享接受信号时，捕获屏幕上显示的图像，并把所捕 获的图像发送到接通的终端。
[0013] 肝2003-012734A公开了一种利用静止图像或运动图像执行视频通信的移动视频 电话终端，包括：图像拍摄部分，用于拍摄第一显示信息;视频电话通信执行部分，用于在视 频通信中接收来自接收端的第二显示信息W执行视频电话通信;数据通信执行部分，用于 通过预定的基站获取第=显示信息；图像合成部分，用于通过将从第一至第=显示信息中 选择的至少两个显示信息相结合，W产生第四显示信息;发送图像选择部分，用于将第一至 第四显示信息输入到其中，W选择显示信息至少其中之一，并将其作为发送图像发送到接 收端；W及显示图像选择部分，用于选择第一至第四显示信息其中之一并将其作为显示图 像进行显示。
[0014] W02014/093668A1公开了一种用于视频编辑和创建的方法，包括:a.接收多个视 频，每个接收的视频与位置信息和时间信息关联;b.基于所述位置信息和时间信息将所述 接收的视频分组到事件;C.基于所述时间信息同步所述事件的所述接收的视频;d.将所述 事件的每个接收的视频划分为预定持续时间的多个视频段，每个视频段与时间间隔关联； W及e.显示与相同时间间隔对应的多个视频段。
[001引"基于40化01(1和H.264的实时视频监控系缩'，任克强等，计算机现慢与控制，2013 年，21(9) ,2448-2450,为了提高无线视频监控系统的实时性和普适性，设计并实现了一种 基于Amlroid平台的实时视频监控系统;介绍了视频监控系统的组成，重点论述了视频监控 系统主要模块设计W及RTP/RTCP协议重组优化方案;并WPC机作为服务器采集实时视频， 选取An化Oid手机和Amlroid平板电脑作为不同的客户端，分别在移动3G网络和WLAN网络环 境中对系统进行了测试;测试结果表明，系统在不同无线网络和不同移动终端中均能可靠 的工作，客户端所获取的实时视频图像稳定流杨，具有较好的实时性能。
[0016] 在上述文献和其它现有技术中，通常是将视频发送至服务器，由服务器进行转码 操作，运增加了服务器的负荷，另外在转码中未进行有效优化，使得转码耗时过长，严重限 制了视频数据的实时共享。因此需要一种能够W高的传输速度实现移动终端视频的实时共 享的方法。

【发明内容】

[0017] 为解决上述问题，本发明人经过深入研究和大量实验，提供了一种移动终端视频 共享的方法，该方法包括W下步骤：
[0018] (1)-个或多个作为发送端的移动终端对将要共享的视频数据进行编码压缩后传 输给一个或多个服务器；
[0019] (2)所述一个或多个服务器储存所述编码压缩后的视频数据；
[0020] (3)-个或多个作为接收端的移动终端从服务器获得所述编码压缩后的视频数 据，对接收到的所述视频数据进行解压解码后调用相应的驱动接口对所述视频数据进行播 放。
[0021 ]优选地，所述编码或解码采用H. 264标准进行。
[0022] 优选地，所述移动终端是基于Amlroid平台或IOS平台。
[0023] 优选地，所述移动终端包括视频流媒体控制模块，发送模块和接收模块，W及视频 编码和解码模块。
[0024] 在一个优选实施方式中，所述服务器具有中间节点调节功能，节点的管理工作主 要由供应节点发起，由服务器进行中间调节，由用户节点配合完成，供应节点使用一张节点 列表来存储所有节点的信息，同时有另一张表存储被分享视频的特性。所有节点都会有一 张表用来记录其上下家节点的信息。服务器的实时中间节点调节方法优选为如下：1)新用 户节点连接到同步协作网络，发送请求或询问给供应节点；2)供应节点根据当前总的节点 数进行判断，确定是否使用网络编码:若节点数小于m(m优选>10,下同），不进行网络编码， 反之则进行网络编码;供应节点直接发送同步视频块给用户节点，用户节点互相交换接收 到的数据;若节点数大于m，则使用网络编码(给定的k和n)，反之则进行网络编码;供应节点 随机选取k个供应节点，作为新加入节点的上家;发送SELECTION给相关的节点，运k个将收 到编码的同步视频块直接推送至新加入节点；3)若新加入节点成为再生节点，则发送REGEN 通知供应节点，供应节点序列进行更新n = n+l;4)用户节点定期发送ROUTI肥，W表示其还 处于正常的健康状态;5)退出时，用户节点发送卵口通知供应节点。
[0025] 优选地，在该中间节点调整过程中，可W选择用TCP发送通信控制数据包，而选择 使用UDP发送同步视频块。
[0026] 该方法可W极大地改善用户体验。本发明人根据不同的网络编码设置，测试了一 次同步过程所需要的平均延时时间。在不同的编码条件下，供应节点在快进2分钟之后，所 有节点达到同步所需要的平均时间延时。随着节点数量的增加，使用了网络编码策略的平 均延时会小于不使用网络编码的情况，平均延时最多减少了 55%。使用网络编码策略时，n、 k两值也会影响到平均延时。当k相等时，n值较小的策略在节点少时(节点数小于10)系统平 均延迟小于n值较大的情况，时间缩短0.3秒-0.5秒;但当系统节点逐渐变多时，采用上述节 点调节方法时，与不采用该方法相比，可显著缩短延迟时间，时间缩短0.5秒-1.0秒。当n值 固定时，k值较大时的延时明显高于k值较小时。随着节点数目的增多，达到同步所需要的平 均时间延时也会增大，而且增幅会逐渐增大。同时使用了网络编码后，平均时间延时都会降 低，因此本发明的上述节点调节方法对网络用户较多的情形可有效促进了视频的同步观 看，显著增加了用户体验。
[0027] 在一个优选实施方式中，在前述步骤(1)和(3)中：
[0028] (a)移动终端W特定的速率定时抽取将要播放的视频数据，按时间顺序将相邻At 时间内抽取的视频数据存储在不同的缓冲区中，形成多个At时间数据包;所述抽取视频数 据具体实现为:按照抽取周期定时采样视频数据，并且抽取所述抽取周期内完整的视频数 据；
[0029] (b)轮流编码压缩所述不同的缓冲区中的A t时间数据包；
[0030] (C)将编码压缩后的A t时间数据包存储于数据队列中；
[0031 ] (d)将编码压缩后的A t时间数据包传输给服务器；
[0032] (e)接收端的移动终端从服务器获得所述编码压缩后的视频数据，对接收到的所 述视频数据进行解压解码后调用相应的驱动接口对所述视频数据进行播放，其中接收端接 收移动终端发来的所述A t时间数据包，对所述A t时间数据包进行解压解码后交替存储于 不同的缓冲区中，轮流地从所述不同的缓冲区中取出所述A t时间数据包中的视频数据进 行分离和调整后，调用LO)驱动接口和CODE码E动接口分别对所述视频数据进行播放。
[0033] 该方法可显著降低对移动终端播放器解码能力的要求。
[0034] 所述A t可W优选使得PSNR损失<10 %。
[0035] 进一步地，如果移动终端采集到的视频信息为非H. 264编码，则进行基于H. 264进 行转码，将其转换成标准H. 264编码，同时根据对网络状况的实时监控对帖率、码率和视频 图像分辨率进行实时调整来保证高质量的网络视频传输;其中对网络状况的实时监控是基 于TCP建立下式（1)所示的模型来估算网络速度，然后根据估算结构来动态调整视频，例如 调整前沐At.-
[0036] (I)
[0037] 其中PSize是数据包的大小，P为平均丢包率，RTT为平均往返时延，T日为超时时限， b为每个应答包所包含的数据包应答的个数。
[0038] 在另外一个优选实施方式中，A t可根据下面方式进行动态可调，即，A t=(任务 时间片)-(任务执行时间），其中任务时间片为预估任务需要循环执行的时间周期。
[0039] 优选地，所述服务器或移动终端具有转码模块，W满足不同移动终端的要求。
[0040] 所述转码模块优选由一个或多个转码器组成，所述转码器由解码器和编码器级联 而成，即先对编码码流进行解码，然后对重建视频帖进行下采样，再重新编码。
[0041] 在一个特别优选的实施方式中，在所述编码器的运动估计中，基于线性回归模型 进行运动矢量重估计。H.264有巧巾帖间预测模式，相应地，对每种预测模式分别建立线性回 归模型。
[0042] 优选地，所述线性回归模型如下式(I)所示：
[0043]
[0044] 其中，另i，Sj,...,?为未知参数，可从当前视频序列采集数据对该模型进行训 练，得到相应的未知参数，W支持该视频序列的特征，其训练过程如下：
[0045] (1)解码原始的压缩数据流，对其进行下采样；
[0046] (2)在开始阶段，用标准的H. 264编码方式和R-D优化算法对其进行重新编码，保存 所得到的所有块的运动矢量，按照宏块预测模式对其进行分类，其中i表示宏块预测模式， Ni表示该预测模式的块的数目，它们的运动矢量表示为{yn，n=l，2,. . .，Ni};
[0047] (3)找到（2)中所有块在原始视频图像中的相应区域，用{xmii,m = 1,2, . . .M,n=l, 2,. . .，Ni}表示它们对应的运动矢量；
[004引（4)从上述步骤获取的数据Si={(Xmn，yn)，m=l，2，...M，n = l，2，...，Ni}中选取N 组数据5={(加。，7。），111=1，2，...1，11=1，2，...，1}对预测模式为1的线性回归模型进行训 练；
[0049] (5)将N组数据对应的巧的平均值确定为该预测模式下未知参数的值;其中视频的 特征会影响N的取值，而N值得大小，又会影响运动估计的速度和准确性。
[0050] 本发明人发现，当N取8时，能够获得比较好的回归实验结果，具体如下：将S = {(X皿,yn) ,m=l ,2,. . .M,n = l ,2,. . . ,M}应用在线性回归板型（I)中可得：
[0054] Y=(yi，y2,. . .，yM)
[0化1 ] CID
[0化2]
[0化3]
[0化5]
(ni)
[0056] 每个线性回归模型的运动矢量都对应两个相互独立的方向。例如：
[0057] Y=(yl，y2)，X={(xim，X2m)，m=l，2, . . .，M}
:该模 型对应下式IV所示的2个线性方程：
[0化引 (IV)
[0059] 在此基础上，对H. 264的7中不同的预测模式及其两个相互独立的方向需要分别建 立线性回归模型，将求得的参数保存在转码器的缓冲区中，利用线性回归模型，后续帖在B 块的运动矢量可W通过W下步骤获取：
[0060] (1)确定该块的预测模式i;
[0061] (2)在原始视频图像中找到该块对应的区域R，记录该区域各块的运动矢量；
[0062] (3)将得到的运动矢量运用到预测模式为i的线性回归模型中，求得B块的运动矢 量；
[0063] (4)通过1/4像素精度，快速捜索算法来获取最佳运动矢量。
[0064] 本发明人将上述线性回归方法与BestRD方法（即，在重编码过程中，按照H.264编 码标准直接进行CPDT，并使用R-D优化算法）、Benchmark方法（即，在重编码过程中，仍然按 照H.264编码标准进行CPDT，但是不使用R-D优化算法）、和AMV方法（即利用原始视频流运动 矢量的平均值来替代下采用视频流的欲动矢量)进行对比。实验结果表明：使用BestRD方法 可W获得最佳的R-D性能，但是耗时也最多，是本发明方法的20-30倍，AMV方法的耗时与本 发明相当（即基本相同），但是R-D性能却比本发明差很多，明显可W看出，本发明算法兼顾 了 R-D性能和时间开销，从而使得本发明的方法能够非常有利地应用移动终端视频的实时 共享。
[0065] 综上，本发明提供的实现移动终端视频实时共享方法使得能够高速、流杨地进行 视频的实时传递和共享，极大降低了服务器的压力，能够满足大量用户之间视频实时传输 的要求，同时对一些播放器不支持的文件格式也可W共享共享播放，从而有效解决非实体 文件的实时共享问题，可W加大用户间的交流，增强用户的多媒体体验。
【附图说明】
[0066] 图1为根据本发明实施例1的移动终端视频共享的流程示意图。 具体实施方案
[0067] 下面结合W下实施例对本发明作进一步详细的描述，但本发明的实施方式不限于 此。
[0068] 实施例1
[0069] 如图I所示，移动终端视频共享的方法包括:一个或多个作为发送端的移动终端对 将要共享的视频数据进行编码压缩后传输给一个或多个服务器;所述一个或多个服务器储 存所述编码压缩后的视频数据;一个或多个作为接收端的移动终端从服务器获得所述编码 压缩后的视频数据，对接收到的所述视频数据进行解压解码后调用相应的驱动接口对所述 视频数据进行播放。
[0070] 在现有的视频共享方法中，通常是由服务器进行编码压缩和解压解码操作，运会 严重增加服务器的负荷，甚至导致不能够使用大量用户之间的视频实时流杨共享。与此形 成对照的是，根据实施例1的方法，由作为发送端的移动终端对将要共享的视频数据进行编 码压缩，W及由对接收到的所述视频数据进行解压解码，可W极大地降低服务器的负荷，同 时由于智能机性能的不断增强，也使该方法具有很高的可行性。
[0071] 实施例2
[0072] 通过上文所述的本发明线性回归方法对解码过程进行优化即对编码器的运动矢 量进行重估计，将其优化效果与BestRD方法、Benchmark方法和AMV方法进行对比，对比结果 如下表1所示。
[0073] 表1:序列Mother-Dau曲ter实验结果比较 「007/11
[0075] 由表1可W看出，使用BestRD方法可W获得最佳的R-D性能，但是耗时也最多，是本 发明方法的约21倍，虽然AMV方法的耗时与本发明相当，但是R-D性能却比本发明差很多，可 见实施例1的方法能够非常有利地应用移动终端视频的实时共享。
[0076] 本书面描述使用实例来公开本发明，包括最佳模式，且还使本领域技术人员能够 制造和使用本发明。本发明的可授予专利的范围由权利要求书限定，且可W包括本领域技 术人员想到的其它实例。如果运种其它实例具有不异于权利要求书的字面语言的结构元 素，或者如果运种其它实例包括与权利要求书的字面语言无实质性差异的等效结构元素， 则运种其它实例意图处于权利要求书的范围之内。在不会造成不一致的程度下，通过参考 将本文中参考的所有引用之处并入本文中。
【主权项】
1. 一种移动终端视频共享的方法，该方法包括以下步骤： (1) 一个或多个作为发送端的移动终端对将要共享的视频数据进行编码压缩后传输给 一个或多个服务器； (2) 所述一个或多个服务器储存所述编码压缩后的视频数据； (3) -个或多个作为接收端的移动终端从服务器获得所述编码压缩后的视频数据，对 接收到的所述视频数据进行解压解码后调用相应的驱动接口对所述视频数据进行播放。2. 如权利要求1所述的方法，所述编码或解码采用Η. 264标准进行。3. 如权利要求1或2所述的方法，所述移动终端是基于Android平台或IOS平台。4. 如前述权利要求中任一项所述的方法，其中移动终端包括视频流媒体控制模块、发 送模块和接收模块、以及视频编码和解码模块。5. 如权利要求1所述的方法，其特征在于，在所述步骤(1)和(3)中： (a) 移动终端以特定的速率定时抽取将要播放的视频数据，按时间顺序将相邻△ t时间 内抽取的视频数据存储在不同的缓冲区中，形成多个A t时间数据包;所述抽取视频数据具 体实现为:按照抽取周期定时采样视频数据，并且抽取所述抽取周期内完整的视频数据； (b) 轮流编码压缩所述不同的缓冲区中的△ t时间数据包； (c) 将编码压缩后的△ t时间数据包存储于数据队列中； (d) 将编码压缩后的△ t时间数据包传输给服务器； (e) 接收端的移动终端从服务器获得所述编码压缩后的视频数据，对接收到的所述视 频数据进行解压解码后调用相应的驱动接口对所述视频数据进行播放，其中接收端接收移 动终端发来的所述A t时间数据包，对所述△ t时间数据包进行解压解码后交替存储于不同 的缓冲区中，轮流地从所述不同的缓冲区中取出所述A t时间数据包中的视频数据进行分 离和调整后，调用LCD驱动接口和CODEC驱动接口分别对所述视频数据进行播放。6. 根据权利要求5的方法，其中所述Δ t可使得失< 10%。7. 根据权利要求5或6的方法，其中At动态可调，At =(任务时间片）-(任务执行 时间），任务时间片为预估任务需要循环执行的时间周期。8. 根据前述权利要求中任一项的方法，其中所述服务器或移动终端具有转码模块，以 满足不同移动终端的要求。9. 根据权利要求8的方法，其中所述转码模块由一个或多个转码器组成，所述转码器由 解码器和编码器级联而成，即先对编码码流进行解码，然后对重建视频帧进行下采样，再重 新编码。10. 根据权利要求8或9的方法，其中在编码器的运动估计中，基于线性回归模型进行运 动矢量重估计。
【文档编号】H04N21/43GK105979284SQ201610309339
【公开日】2016年9月28日
【申请日】2016年5月10日
【发明人】杨 远, 杨华杰
【申请人】杨 远, 杨华杰