专利名称：局域网远程图像、音视频的输出与控制方法和系统的制作方法
技术领域：
本发明涉及一种局域网远程图像、音视频的输出与控制方法和系统，属于计算机网络技术领域。
背景技术：
随着移动互联网的高速发展，个人家庭发生了翻天覆地的变化。以前，家庭的智能数字设备只有一个台式机。如今，一个家庭拥有多个智能数字电器已经非常普遍。大屏设备例如云电视、台式机、投影仪等；便携小巧的设备例如智能手机、平板电脑、游戏机等。这种情况下，这些智能数字电器已经无形建立了一个局域网。通过局域网，它们可以实现更多有趣的东西。这就需要通过局域网实现一台设备上的图像、音频、视频能在另一台设备上远程输出并对其进行远程控制。传统的远程桌面技术可以实现以一台设备(控制端)完全控制另一台设备(被控制端)，将被控制端的展现传输到控制端并在控制端实现图像、音频、视频的输出与控制。 由于远程桌面技术通常是生成桌面的实时压缩影像并传输到控制端，这种做法通用性虽然好，但存在带宽占用大，视频播放不流畅等负面效果。传统的遥控设备如电视遥控器，由于仅能传输控制指令，而控制对象仍然在被控制端，所以它们更像鼠标和键盘，只不过是无线的鼠标键盘。例如，当你用一个遥控器去切换电视频道，那么电视频道的内容在电视端，而不是在遥控器上。因此，在这种模式下，被控制端不可能给控制端反馈一些诸如播放进度之类的状态信息，控制端与被控制端不可能形成双向互动。另外，传统遥控设备往往走红外或者其他近程传输网络，不适合应用于家庭局域网或Internet网(只要网速够快)等远程传输网络。如何能在满足绝大多数对远程展示需求的同时，减小带宽消耗并使视频播放更加流畅，对于远程展示技术来说，是亟待解决的技术问题之一。
发明内容
本发明的目的在于提供一种通过局域网进行远程图像、音视频的输出与控制的方法和系统，使用该方法和系统可以实现远程展示，且带宽消耗小，操作体验更加流畅。本发明的一个方面，提供了一种局域网远程图像、音视频的输出与控制方法，包括-在控制端选择至少一个控制对象，该对象的内容可通过图像、音频或视频形态进行展示；-控制端发现输出端；-控制端向输出端发送控制指令；-输出端按需向控制端请求控制对象的部分或全部展示数据；控制端响应输出端的请求，向输出端传送所需的控制对象展示数据；-输出端接收到所需的控制对象展示数据和控制指令后，执行控制端的控制指令，将控制对象的内容在输出端按预期的行为进行展示。根据本发明的一个具体但非限制性的实施方案，所述方法还包括输出端向控制端反馈状态信息。根据本发明的一个具体但非限制性的实施方案，其中，当控制对象的内容被输出时，统一转为图像、音频、视频三者中的一种形态，并且格式被标准化。根据本发明的一个具体但非限制性的实施方案，其中，如果控制对象是图片，控制指令为播放、放大、缩小、旋转、移动以及对图像实施动画中的任意一种；如果控制对象是音频和/或视频，控制指令为播放、前进、后退、定位、调大/小音量以及对某一帧支持图片所有可能的操作中的任意一种。本发明的另一方面，提供了一种局域网远程图像、音视频的输出与控制系统，包括至少一个控制端和至少一个输出端，所述系统还包括一输入装置，用于选择控制端的至少一个控制对象，该对象的内容可通过图像、音频或视频形态进行展示；一通讯装置，用于控制端发现输出端；一通讯装置，用于控制端向输出端发送控制指令；一通讯装置，用于输出端按需向控制端请求控制对象的部分或全部展示数据；控制端响应输出端的请求，向输出端传送所需的控制对象展示数据；一执行装置，用于输出端接收到所需的控制对象展示数据和控制指令后，执行控制端的控制指令，将控制对象的内容在输出端按预期的行为进行展示。根据本发明的一个具体但非限制性的实施方案，所述系统还包括另一通讯装置， 用于输出端向控制端反馈状态信息。根据本发明的一个具体但非限制性的实施方案，其中，当控制对象的内容被输出时，统一转为图像、音频、视频三者中的一种形态，并且格式被标准化。根据本发明的一个具体但非限制性的实施方案，其中，如果控制对象是图片，控制指令为播放、放大、缩小、旋转、移动以及对图像实施动画中的任意一种；如果控制对象是音频和/或视频，控制指令为播放、前进、后退、定位、调大/小音量以及对某一帧支持图片所有可能的操作中的任意一种。本发明的有益效果主要体现在本发明是一个设备(控制端)将另一个设备(被控制端)当作输出终端，控制端除了向被控制端发出控制指令外，它同时也向被控制端发送控制对象的内容，进而实现了便携设备上的内容通过局域网在大屏设备上随意展示播放。例如，本发明可以实现在手机上打开一个视频，让它在电视机或投影仪上播放，并且在手机上控制视频播放过程，如暂停、 快进，对音频进行音量的放大、缩小等进行控制；或者在手机上打开照片，让它在电视上显示出来，控制看上一张、下一张照片，对照片进行放大、缩小、旋转等。本发明通过引入被操作对象的概念，解决了传统远程桌面技术中带宽占用大，视频播放不流畅的问题。由于操作对象的展示数据可预先进行传输与缓存，并且可以进行断点续传，因此本发明的这种传输模式，既满足了绝大多数对远程展示的需求，同时带宽消耗小，视频播放更流畅。控制端与被控制端可双向互动。除了控制端可以发送控制指令给被控制端外，被
4控制端也可反馈一些状态信息如播放进度等到控制端，被控制端可按需请求控制对象的数据，这对于控制对象是音频或视频等比较大的内容，非常实用，可大幅减少数据的传输量， 有效降低带宽消耗，从而达到音频、视频流畅播放的效果。控制端以操控对象的方式进行控制，简便易用，用户的操作体验更流畅。按控制对象不同，控制指令也不同。对于图片，可以进行播放、放大、缩小、旋转、移动等行为，甚至可以对图像实施一个动画；对于音频、视频，可进行播放、前进、后退、定位、调大/小音量等， 也可支持对某一帧支持图片所有可能的操作。
图I为本发明的局域网远程图像、音视频的输出与控制流程图。
具体实施例方式下文提供了具体的实施方式并结合附图进一步对本发明进行详细的描述，但本发明不仅仅限于以下的实施方式。本发明的局域网远程图像、音视频的输出与控制过程中，主要涉及两个角色一个是控制端，它通常是便携设备，比如手机、平板电脑、游戏机等；另一个是输出端(或称为被控制端)，它通常是大屏智能数字电器，如云电视、台式机、投影仪等。整个控制过程包括-用户在控制端(比如手机)点击要控制的对象，该控制对象的内容可通过图像、 音频或视频形态进行展示。-控制端发现输出端。我们可以通过自定义或采纳现成的一个局域网服务发现协议，来发现所有支持本发明的输出端服务器协议的所有输出端。用户可以选择一个或多个输出端进行输出，也可简化为默认输出到所有输出端，但提供设置项允许用户设置。该发现步骤可采用本领域已知的技术来实现，在此不做过多的介绍。-控制端向输出端发送控制指令；-输出端按需向控制端请求控制对象的部分或全部展示数据；控制端响应输出端的请求，向输出端传送所需的控制对象展示数据。控制对象的原始形态可能是多样化的，比如演示幻灯片、电子表格等。但当它们被输出时，统一转为图像、音频、视频三者中的一种形态，并且格式也被标准化，例如图像支持JPEG、PNG、GIF等常规格式，音频支持AAC、MP3等， 视频支持H. 264、MPEG4等。当原始格式不被输出端支持时，控制端可进行适当的格式转换。 当控制对象以音频或视频方式呈现时，对象的展示数据并不一定按顺序传送。例如当用户在控制端进行快进或定位到某个播放点的时候，控制端需要相应地优先传送对应的数据， 以便于输出端及时可以进行播放。-输出端接收到所需的控制对象展示数据和控制指令后，执行控制端的控制指令， 将控制对象的内容在输出端按预期的行为进行展示。从而实现了用户通过控制端对输出端进行控制。控制端以操控对象的方式进行控制。按被控制的对象不同，控制指令也不同。对于图片，可能进行播放、放大、缩小、旋转、移动等行为，甚至可以对图像实施一个动画；对于音频、视频，可进行播放、前进、后退、定位、调大/小音量等，也可考虑支持对某一帧支持图片所有可能的操作。用户的控制行为与控制对象的展示数据的传输过程是并行的。用户控制行为会影响数据传输过程，例如之前对音频、视频的快进。
-作为可选步骤，输出端可以反馈状态信息给控制端。例如，对于音频、视频可反馈当前播放的进度(已播放时间)、总时间等信息。与远程桌面技术将被控制端的内容传输到控制端并在控制端展现和控制所不同的是，本发明是一个设备(控制端)将另一个设备(被控制端)当作输出终端，由控制端向被控制端(即输出端)发送控制对象的内容并在被控制端展现而在控制端进行控制，内容来源是控制端而非被控制端。本发明引入了被操作对象的概念，由于操作对象的展示数据数据可预先进行传输与缓存，并且可以进行断点续传，因此这种模型可满足绝大多数对远程展示的需求，且带宽消耗小，操作体验更流畅。如图I所示，本发明的局域网远程图像、音视频的输出与控制系统主要包括控制端I和输出端2 (或称为被控制端)。控制端I通常是便携设备，如手机、平板电脑、游戏机等；输出端2通常是大屏智能数字电器，如云电视、台式机、投影仪等。控制端I向输出端2发送控制指令，并响应输出端2的请求，向输出端2传送所需的控制对象内容。输出端2按需获取控制对象的数据，以便节约网络传输的数据流量。控制端I与输出端2按如下过程进行通讯控制端I向输出端2发送控制指令；输出端2接收到控制指令后，向控制端I按需请求控制对象的全部或部分展示数据；控制端I响应输出端2的请求，向输出端2传送需要的内容。输出端2获得需要的数据后，执行控制端的控制指令。其中，输出端2实现了输出端服务器协议，等待请求并接受控制。本发明的设计重点在于输出端，具体协议如下控制端向输出端发出控制指令，调用Control (Token, Objectld, ObjectType, Fsize, Attributes) - > ok实现。该请求用于进行一次远程控制行为。该请求传入一个 Token参数,用以验证两台设备的连接权限；传入一个Objectld,用以作为控制对象的唯一标识，以便后面可以获取该对象的展示数据；传入一个ObjectType，用以标识对象的类型，是图像、音频还是视频；传入Fsize参数，用以表示对象的展示数据的大小，该参数主要为了后续请求数据的需要；传入Attributes参数，以指定该对象的展示参数。对于图片， Attributes可对图像进行播放、放大、缩小、旋转、设定位置等行为，甚至可以对图像实施一个动画；对于音频、视频，Attribute可进行设置当前播放位置，调大/小音量等，也可考虑支持对某一帧支持图片所有可能的属性设置。具体的展示行为可用本领域已知的技术实现。作为一个可选特征，控制端还可向输出端请求获取一些信息，调用GetCap (Token， Objectld, Caps) - > {ok, Values}实现。该请求有两个用途，一是用于获取输出端的设备属性，例如屏幕分辨率(高度和宽度)、设备型号的某些属性等。二是获取被操作对象的状态属性，例如音视频的当前播放进度、总时间、音量大小等。该请求传入一个Token参数，用以验证两台设备的连接权限；传入一个可选参数Objectld，以标识要获取属性的对象，不传入Objectld则表示要获取输出端的设备属性；传入一个Caps参数以指定要获取的属性列表，返回的Values是这些属性对应的值。为了支持按需获取控制对象的展示数据，控制端I也需要提供访问接口。对于控制端，其协议如下输出端向控制端请求控制对象的展示数据,调用Get (Objectld, Offset, Len)- >{ok, Data}实现。该请求用于输出端按需获取控制对象的展示数据。该请求传入一个 Objectld参数，以标识期望获取数据的对象；传入一个Offset参数，以标识希望从何处开始请求对象的数据；传入一个Len参数，以指定希望获取的数据大小。其实这个请求时一个非常标准的支持断点续传的HTTP GET请求。其中的Objectld参数可以放在URL中，而 Offset, Len这两个参数可以放在HTTP HEADER的Range字段。下面结合一个具体实施例详细说明远程控制行为是如何进行的。假设我们要将一幅图片展示在输出端，并以一定速率向屏幕左上方移动，直至消失不见。这个简单案例实际上在我们Control指令支持动画的时可以一条控制指令实现，但我们暂且假设输出端只支持静态图像，需要我们在控制端用多个Control指令进行模拟此动画，如下
LOOP X = O TO屏幕高度/2 Attributes. X = -X Attributes. Y = -X Attributes. Width =屏幕宽度 Attributes. Height =屏幕高度
Control (Token, Objectld,图片，Fsize, Attributes)
Sleep (—段时间)
END LOOP这里LOOP到END LOOP是一个循环，刚开始让图片占据整个输出端的屏幕，然后将图片的坐标(Χ、γ)向屏幕左上角移动。屏幕高度、屏幕宽度可以通过GetCap请求得到。当移动了半个屏幕高度后，整个图像就全部在不可见区域。这里的Sle印(一段时间)是指让程序暂停一段时间，用以控制图片的移动速率。需要留意的是，这里我们多次Control指令使用了同一个Objectld,也就是同一幅图片。输出端接收到Control指令时,只在第一次 Control请求时通过Get (Objectld, O, Fsize)向控制端请求图片的数据。后续的Control 请求因为之前已经获得该Objectld对应的图片数据，直接执行Control指令，将该图片移动到新位置。这就达到了节约网络传输的数据流量的效果。
权利要求
1.一种局域网远程图像、音视频的输出与控制方法，包括-在控制端选择至少一个控制对象，该对象的内容可通过图像、音频或视频形态进行展示；-控制端发现输出端；-控制端向输出端发送控制指令；-输出端按需向控制端请求控制对象的部分或全部展示数据；控制端响应输出端的请求，向输出端传送所需的控制对象展示数据；-输出端接收到所需的控制对象展示数据和控制指令后，执行控制端的控制指令，将控制对象的内容在输出端按预期的行为进行展示。
2.根据权利要求I的方法，其特征在于，所述方法还包括输出端向控制端反馈状态信息
3.根据权利要求I或2的方法，其特征在于，当控制对象的内容被输出时，统一转为图像、音频、视频三者中的一种形态，并且格式被标准化。
4.根据权利要求I或2的方法，其特征在于，如果控制对象是图片，控制指令为播放、 放大、缩小、旋转、移动以及对图像实施动画中的任意一种；如果控制对象是音频和/或视频，控制指令为播放、前进、后退、定位、调大/小音量以及对某一帧支持图片所有可能的操作中的任意一种。
5.一种局域网远程图像、音视频的输出与控制系统，包括至少一个控制端和至少一个输出端，所述系统还包括一输入装置，用于选择控制端的至少一个控制对象，该对象的内容可通过图像、音频或视频形态进行展示；一通讯装置，用于控制端发现输出端；一通讯装置，用于控制端向输出端发送控制指令；一通讯装置，用于输出端按需向控制端请求控制对象的部分或全部展示数据；控制端响应输出端的请求，向输出端传送所需的控制对象展示数据；一执行装置，用于输出端接收到所需的控制对象展示数据和控制指令后，执行控制端的控制指令，将控制对象的内容在输出端按预期的行为进行展示。
6.根据权利要求5的系统，其特征在于，所述系统还包括另一通讯装置，用于输出端向控制端反馈状态信息。
7.根据权利要求5或6的系统，其特征在于，当控制对象的内容被输出时，统一转为图像、音频、视频三者中的一种形态，并且格式被标准化。
8.根据权利要求5或6的系统，其特征在于，如果控制对象是图片，控制指令为播放、 放大、缩小、旋转、移动以及对图像实施动画中的任意一种；如果控制对象是音频和/或视频，控制指令为播放、前进、后退、定位、调大/小音量以及对某一帧支持图片所有可能的操作中的任意一种。
全文摘要
本发明涉及一种局域网远程图像、音视频的输出与控制方法，该方法包括在控制端选择至少一个控制对象，该对象的内容可通过图像、音频或视频形态进行展示；控制端发现输出端；控制端向输出端发送控制指令；输出端按需向控制端请求控制对象的部分或全部展示数据；控制端响应输出端的请求，向输出端传送所需的控制对象展示数据；输出端接收到所需的控制对象展示数据和控制指令后，执行控制端的控制指令，将控制对象的内容在输出端按预期的行为进行展示。应用本发明的局域网远程图像、音视频的输出与控制系统可以实现远程展示，且带宽消耗小，操作体验更加流畅。
文档编号G11B19/02GK102592627SQ20121001444
公开日2012年7月18日 申请日期2012年1月16日 优先权日2012年1月16日
发明者许式伟 申请人:许式伟