一种输出信息控制方法、移动终端及终端设备与流程

本发明涉及通信领域中的终端管理技术，尤其涉及一种输出信息控制方法、移动终端及终端设备。

背景技术：

当前技术中，电视在进行视频播放时，对电视进行控制通常采用遥控器或者采用移动终端模拟遥控器的方式进行。但是，这种采用遥控器或采用模拟遥控器进行操控的方式，无法为用户提供更加丰富的交互场景，并且无法提升操控的准确程度。

技术实现要素：

本发明的主要目的在于提出一种输出信息控制方法、移动终端及终端设备，旨在解决现有技术中存在的上述问题。

为实现上述目的，

本发明提供的一种输出信息控制方法，应用于移动终端，包括：

获取终端设备发来的流媒体信息，在所述移动终端的显示区域输出所述流媒体信息；其中，所述流媒体信息与所述终端设备输出的信息保持同步；

检测到针对在所述显示区域中输出的所述流媒体信息的操作指令；

将所述操作指令发送至所述终端设备侧，以使得所述终端设备基于所述操作指令至少对其输出的信息进行控制。

本发明提供的一种流媒体信息控制方法，应用于终端设备，所述方法包括：

将输出的信息转换为流媒体信息，并将所述流媒体信息发送给至少一个移动终端，以使得所述至少一个移动终端输出的流媒体信息与所述终端设备输出的信息保持同步；

接收到所述至少一个移动终端发来的针对所述流媒体信息的操作指令，基于所述操作指令对输出的信息进行控制。

本发明提供一种移动终端，所述移动终端包括：

设备管理模块，用于获取终端设备发来的流媒体信息；

流媒体播放模块，用于控制输出流媒体信息；

显示模块，用于在显示区域输出所述流媒体信息；其中，所述流媒体信息与所述终端设备输出的信息保持同步；

反向控制模块，用于检测到针对在所述显示区域中输出的所述流媒体信息的操作指令；

通信模块，用于将所述操作指令发送至所述终端设备侧。

本发明提供一种终端设备，所述终端设备包括：

显示模块，用于输出信息；

屏幕分层模块，用于将输出的信息转换为流媒体信息；

流媒体发送模块，用于将所述流媒体信息发送给通信模块；

通信模块，用于将所述流媒体信息发送给至少一个移动终端；

多设备管理模块，用于接收到所述至少一个移动终端发来的针对所述流媒体信息的操作指令；

反向控制管理模块，用于基于所述操作指令对输出的信息进行控制。

本发明提出的一种输出信息控制方法、移动终端及终端设备，由移动终端侧获取到流媒体信息，通过输出流媒体信息使得移动终端与终端设备输出的信息达成同步，在移动终端中通过针对流媒体信息生成操作指令，来控制终端设备侧的输出信息。如此，就能够达到更加直观的针对终端设备输出的信息进行控制，为用户提供了更加丰富的交互场景，并且提升控制的准确度。

附图说明

图1为实现本发明各个实施例的移动终端的硬件结构示意图；

图2为如图1所示的移动终端的无线通信系统示意图；

图3为本发明实施例输出信息控制方法流程示意图一；

图4为本发明实施例终端设备输出信息的示意图一；

图5为本发明实施例终端设备输出信息的示意图二；

图6为本发明实施例移动终端与终端设备同步输出信息示意图一；

图7为本发明实施例通过移动终端进行输出信息的控制场景示意图一；

图8为本发明实施例通过移动终端进行输出信息的控制场景示意图二；

图9为本发明实施例输出信息控制方法流程示意图二；

图10为本发明实施例移动终端与终端设备同步输出信息示意图二；

图11为本发明实施例移动终端组成结构示意图一

图12为本发明实施例移动终端组成结构示意图二；

图13为本发明实施例终端设备组成结构示意图一；

图14为本发明实施例终端设备组成结构示意图二；

图15为本发明实施例交互流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

图1为实现本发明各个实施例的移动终端的硬件结构示意。

移动终端100可以包括无线通信单元110、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。

无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。

接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。

输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显音频输出模块等等。音频输出模块152可以在将接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。

存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。

存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。

控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块1810，多媒体模块1810可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。

电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。

至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。

如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。

现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。

这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。

参考图2，CDMA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站控制器(BSC)275和移动交换中心(MSC)280。MSC280被构造为与公共电话交换网络(PSTN)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM，IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC2750。在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。

基于上述移动终端硬件结构以及通信系统，提出本发明方法各个实施例。

实施例一

本发明实施例提供了一种输出信息控制方法，应用于移动终端，如图3所示，包括：

步骤301：获取终端设备发来的流媒体信息，在所述移动终端的显示区域输出所述流媒体信息；其中，所述流媒体信息与所述终端设备输出的信息保持同步；

步骤302：检测到针对在所述显示区域中输出的所述流媒体信息的操作指令；

步骤303：将所述操作指令发送至所述终端设备侧，以使得所述终端设备基于所述操作指令至少对其输出的信息进行控制。

这里，所述移动终端可以为智能手机、平板电脑等设备。所述终端设备可以为智能电视，或者可以为能够通过处理单元进行控制的电视。

上述终端设备输出的信息，可以为当前终端设备通过其显示屏输出的任何内容，比如，参见图4，在终端设备的显示屏41中正在输出一个视频，图中示出的为这个视频中的某一帧画面；再比如，如果电视为智能电视、或者可以通过盒子等设备接入网络并展示对应界面的场景，可以通过安装的应用接入网络侧，并从网络获取节目，这种场景下，终端设备还具备一个状态就是为用户提供交互界面的状态，比如，参见图5，通过终端设备提供的这个交互界面可以为用户提供可选择的节目类型等。

需要理解的是，上述附图4和5仅仅提供了终端设备输出的信息两种示意场景，实际处理中，终端设备还可以输出更多类型的信息，包括有音频信息等等，本实施例中不进行穷举。

上述流媒体信息可以为由终端设备当前输出的视频信息的画面组成的流媒体信息，关于基于终端设备根据其输出的视频信息确定流媒体信息的方式，本实施例中不进行限定。但是，需要理解到的是，通过接收到终端设备发来的流媒体信息，并播放当前流媒体信息对应的画面，使得移动终端输出的画面与终端设备相同，以使得两者保持输出的画面至少保持同步。比如，参见图6，终端设备当前在显示区域600输出的视频帧与移动终端通过显示区域601输出的画面相同，也就是说两者输出的画面保持同步。

检测到针对在所述显示区域中输出的所述流媒体信息的操作指令，可以为：通过设置在显示区域的触控检测单元检测，具体来说，可以通过触控检测单元针对触控操作手势进行检测，并基于触控操作手势确定对应的操作指令，其中，所述操作手势可以由以下内容组成：周期性采集到的触控操作的位置信息及时刻值。

或者，检测到针对在所述显示区域中输出的所述流媒体信息的操作指令，还可以为针对虚拟按键和/或物理按键的操作的检测来确定针对流媒体信息的操作指令。具体的实现方式本实施例中不进行限定。

将所述操作指令发送至所述终端设备侧，以使得所述终端设备基于所述操作指令至少对其输出的信息进行控制，其中，所述至少对其输出的信息进行控制可以包括选中输出的信息中的某一个菜单项，或者，对输出的多媒体信息进行播放进度的控制等等。

可见，通过采用上述方案，就能够由移动终端侧获取到流媒体信息，通过输出流媒体信息使得移动终端与终端设备输出的信息达成同步，在移动终端中通过针对流媒体信息生成操作指令，来控制终端设备侧的输出信息。如此，就能够达到更加直观的针对终端设备输出的信息进行控制，为用户提供了更加丰富的交互场景，并且提升控制的准确度。

实施例二

本发明实施例提供了一种输出信息控制方法，应用于移动终端，如图3所示，包括：

步骤301：获取终端设备发来的流媒体信息，在所述移动终端的显示区域输出所述流媒体信息；其中，所述流媒体信息与所述终端设备输出的信息保持同步；

步骤302：检测到针对在所述显示区域中输出的所述流媒体信息的操作指令；

步骤303：将所述操作指令发送至所述终端设备侧，以使得所述终端设备基于所述操作指令至少对其输出的信息进行控制。

这里，所述移动终端可以为智能手机、平板电脑等设备。所述终端设备可以为智能电视，或者可以为能够通过处理单元进行控制的电视。

上述终端设备输出的信息，可以为当前终端设备通过其显示屏输出的任何内容，比如，参见图4，在终端设备的显示屏41中正在输出一个视频，图中示出的为这个视频中的某一帧画面；再比如，如果电视为智能电视、或者可以通过盒子等设备接入网络并展示对应界面的场景，可以通过安装的应用接入网络侧，并从网络获取节目，这种场景下，终端设备还具备一个状态就是为用户提供交互界面的状态，比如，参见图5，通过终端设备提供的这个交互界面可以为用户提供可选择的节目类型等。

需要理解的是，上述附图4和5仅仅提供了终端设备输出的信息两种示意场景，实际处理中，终端设备还可以输出更多类型的信息，包括有音频信息等等，本实施例中不进行穷举。

上述流媒体信息可以为由终端设备当前输出的视频信息的画面组成的流媒体信息，关于基于终端设备根据其输出的视频信息确定流媒体信息的方式，本实施例中不进行限定。但是，需要理解到的是，通过接收到终端设备发来的流媒体信息，并播放当前流媒体信息对应的画面，使得移动终端输出的画面与终端设备相同，以使得两者保持输出的画面至少保持同步。比如，参见图6，终端设备当前在显示区域600输出的视频帧与移动终端通过显示区域601输出的画面相同，也就是说两者输出的画面保持同步。

需要理解的是，在本实施例步骤301之前，还需要控制移动终端与终端设备建立连接，比如，可以建立无线通信连接，基于无线通信连接使得移动终端和终端设备进行信息交互。其中，无线通信连接可以为WIFI连接、或者可以为蓝牙连接等等。

本实施例中详细说明如何获取到操作指令，具体如下：

所述检测到针对在所述显示区域中输出的所述流媒体信息的操作指令，包括以下两种处理方式中至少之一：

处理方式一

在所述显示区域中还展示针对终端设备输出的信息的控制操作界面，其中，所述控制操作界面中至少包括有针对所述信息的播放进度的至少一个控制按键、以及针对所述终端设备的至少一种控制按键；检测到针对所述控制操作界面的目标控制按键的操作时，基于所述目标控制按键对应的功能生成操作指令。

其中，所述控制操作界面可以如图7所示，其中，包括有进度条的进度控制按键71，音量控制按键72、以及针对节目选取的组合按键73，这个组合按键73中可以包括有上一个节目、下一个节目以及暂停按键等等，本图仅为示意其实还包括有其他的按键。

另外，需要说明的是，上述场景虽然仅提到了在显示区域中提供的操作控制界面，但是，在实际处理中，移动终端还可以获取自身物理按键的控制信息，并转换为针对流媒体信息的控制指令，比如，可以通过移动终端的音量控制物理按键74获取到音量控制指令，并发送音量控制指令至终端设备以控制终端设备输出的信息。

处理方式二

检测到位于所述显示区域中的至少一种操作手势；基于所述至少一种操作手势确定针对所述终端设备输出的信息的操作指令。

与处理方式一的不同之处在于，本处理方式中可以不给予操作控制界面提供的几种控制按键生成控制指令，而是检测处于显示区域中的至少一种操作手势，进而基于预设的操作手势与操作指令对应表来确定检测到的操作手势所对应的操作指令，如此，得到针对终端设备输出的信息的操作指令。

其中，所述操作手势可以由以下信息组成：至少一个触控点的位置信息及其对应的时刻值。所述位置信息包括有x轴、y轴两个坐标值。

需要理解的是，操作手势可以进一步进行特征提取，比如，一条向右侧的线，或者一条向左侧的线、还可以为一个锐角、一个钝角、或者多个锐角多个钝角。也就是说，基于操作手势中包含的多个位置信息及其对应的时刻值，能够确定一个操作轨迹，提取这个操作轨迹中的特征信息，比如，该操作轨迹为基本没有弧度的一条线，那么该操作手势对应的特征信息为一条线，另外，还可以获取操作轨迹的方向，将该方向作为操作手势的方向，如此，就能够特征提取后的操作手势。

相应的，所述操作手势与操作指令对应表中可以包括：向右滑动的一条线对应的为快进，另外，快进的进度可以根据向右滑动的速度或者向右滑动得距离来确定，本示例中不做限定；再比如，操作手势中具备一个锐角，那么将输出的画面进行缩小等等。关于操作手势与操作指令的对应，本实施例中不进行穷举，但是可以理解的是，根据实际需求能够设置多种组合，或者，还可以根据用户的使用习惯来进行设置。

本处理方式对应的操作场景可以参见图8，用户采用操作手势81向右边滑动，此时，根据预设的对应表可以确定将输出的信息快进。

将所述操作指令发送至所述终端设备侧，以使得所述终端设备基于所述操作指令至少对其输出的信息进行控制，其中，所述至少对其输出的信息进行控制可以包括选中输出的信息中的某一个菜单项，或者，对输出的多媒体信息进行播放进度的控制等等。

进一步地，本实施例还提供一种处理场景，所述在所述移动终端的显示区域输出所述流媒体信息之后，所述方法还包括：

检测到针对在所述移动终端的显示区域输出的流媒体信息的截取指令；基于所述截取指令获取到所述流媒体信息对应的画面并保存；针对保存的所述画面进行处理。

其中，截取画面的操作指令的触发方式可以为通过至少一个物理按键确定触发获取当前画面的操作指令，也可以为检测到一个触控操作手势来触发获取当前画面的操作。

相应的，针对保存的所述画面进行处理可以为仅在移动终端侧的处理，比如，可以包括有对所述画面进行美化、放大、分享等等处理，用户可以根据自己的需求来进行处理，本实施例中不再进行限定。

可见，通过采用上述方案，就能够由移动终端侧获取到流媒体信息，通过输出流媒体信息使得移动终端与终端设备输出的信息达成同步，在移动终端中通过针对流媒体信息生成操作指令，来控制终端设备侧的输出信息。如此，就能够达到更加直观的针对终端设备输出的信息进行控制，提升控制的准确度。

实施例三

本发明实施例提供了一种输出信息控制方法，应用于终端设备，如图9所示，包括：

步骤901：将输出的信息转换为流媒体信息，并将所述流媒体信息发送给至少一个移动终端，以使得所述至少一个移动终端输出的流媒体信息与所述终端设备输出的信息保持同步；

步骤902：接收到所述至少一个移动终端发来的针对所述流媒体信息的操作指令，基于所述操作指令对输出的信息进行控制。

这里，所述移动终端可以为智能手机、平板电脑等设备。所述终端设备可以为智能电视，或者可以为能够通过处理单元进行控制的电视。

上述终端设备输出的信息，可以为当前终端设备通过其显示屏输出的任何内容，比如，参见图4，在终端设备的显示屏41中正在输出一个视频，图中示出的为这个视频中的某一帧画面；再比如，如果电视为智能电视、或者可以通过盒子等设备接入网络并展示对应界面的场景，可以通过安装的应用接入网络侧，并从网络获取节目，这种场景下，终端设备还具备一个状态就是为用户提供交互界面的状态，比如，参见图5，通过终端设备提供的这个交互界面可以为用户提供可选择的节目类型等。

需要理解的是，上述附图4和5仅仅提供了终端设备输出的信息两种示意场景，实际处理中，终端设备还可以输出更多类型的信息，包括有音频信息等等，本实施例中不进行穷举。

所述将输出的信息转换为流媒体信息，包括：至少截取显示区域当前输出的信息所对应的画面，将截取到的所述画面添加到流媒体信息中作为所述流媒体信息中包含的至少一个画面之一。也就是说，将终端设备侧实时输出的视频帧进行截屏得到不同时刻对应的画面，将当前截取的画面作为流媒体信息中的一个画面并实时的发送至移动终端侧，如此，就能够保证终端设备与移动终端之间画面保持同步。

终端设备(比如，电视)通过RTP协议将流媒体信息发送给移动终端。其中，RTP(Real-time Transport Protocol)实时传输协议用来为IP网上的语音、图像、传真等多种需要实时传输的多媒体数据提供端到端的实时传输服务。RTP为Internet上端到端的实时传输提供时间信息和流同步，但并不保证服务质量，服务质量由RTCP来提供。RTP用于在单播或多播网络中传送实时数据。

流媒体是指Internet上使用流式传输技术的连续时基媒体。当前在Internet上传输音频和视频等信息主要有两种方式：下载和流式传输两种方式。下载情况下，用户需要先下载整个媒体文件到本地，然后才能播放媒体文件。在视频直播等应用场合，由于生成整个媒体文件要等直播结束，也就是用户至少要在直播结束后才能看到直播节目，所以用下载方式不能实现直播。流式传输是实现流媒体的关键技术。使用流式传输可以边下载边观看流媒体节目。由于Internet是基于分组传输的，所以接收端收到的数据包往往有延迟和乱序(流式传输构建在UDP上)。要实现流式传输，就是要从降低延迟和恢复数据包时序入手。在发送端，为降低延迟，往往对传输数据进行预处理(降低质量和高效压缩)。在接收端为了恢复时序，采用了接收缓冲；而为了实现媒体的流畅播放，则采用了播放缓冲。

使用接收缓冲，可以将接收到的数据包缓存起来，然后根据数据包的封装信息(如包序号和时戳等)，将乱序的包重新排序，最后将重新排序了的数据包放入播放缓冲播放。

上面在谈接收缓冲时，说到了流媒体数据包的封装信息(包序号和时戳等)，这在后面的RTP封装中会有体现。另外，RealMedia这些流式媒体格式只是编解码有不同，但对于RTP来说，它们都是待封装传输的流媒体数据而没有什么不同。

进一步地需要说明的是，本实施例还可以应用于一个终端设备同时与多个移动终端建立连接的情况，比如，参见图10，一个终端设备1000，同时能够与三个移动终端分别为1001、1002和1003同时建立连接，并且同时将自身输出的信息转换为流媒体信息发送给上述三个移动终端，以使得这是三个移动终端均与电视同步进行画面输出。

在本场景下，关于终端设备针对哪个移动终端反馈的操作指令进行响应，可以采用以下策略中的至少一个：

策略一、从至少一个移动终端中选取一个主控移动终端，所述终端设备仅针对所述主控移动终端发来的操作指令进行响应。

比如，图10中，可以设置移动终端1001为主控移动终端，那么终端设备仅响应该移动终端发来的操作指令。

策略二、终端设备有可能同时接收到两个及以上的移动终端发来的操作指令，此时，终端设备可以将预先设置为主控移动终端发来的操作指令作为最终进行响应的操作指令，比如，参见图10，可以预先将移动终端1001设置为主控移动终端，一旦出现有多个移动终端发来操作指令的时候，优先对主控移动终端的操作指令进行响应。

策略三、若发来操作指令的移动终端均不是主控移动终端时，可以任选其中的一个进行响应。

策略四、根据距离移动终端的远近来选取一个进行响应的移动终端，比如，可以通过与移动终端之间的无线连接进行测距，若多个移动终端同时发来操作指令时，可以选取距离最近的一个移动终端的指令进行响应。

可见，通过采用上述方案，就能够由移动终端侧获取到流媒体信息，通过输出流媒体信息使得移动终端与终端设备输出的信息达成同步，在移动终端中通过针对流媒体信息生成操作指令，来控制终端设备侧的输出信息。如此，就能够达到更加直观的针对终端设备输出的信息进行控制，提升控制的准确度。

实施例四

本发明实施例提供了一种移动终端，如图11示，包括：

设备管理模块1101，用于获取终端设备发来的流媒体信息；

流媒体播放模块1102，用于控制输出流媒体信息；

显示模块1103，用于在显示区域输出所述流媒体信息；其中，所述流媒体信息与所述终端设备输出的信息保持同步；

反向控制模块1104，用于检测到针对在所述显示区域中输出的所述流媒体信息的操作指令；

通信模块1105，用于将所述操作指令发送至所述终端设备侧。

这里，所述移动终端可以为智能手机、平板电脑等设备。所述终端设备可以为智能电视，或者可以为能够通过处理单元进行控制的电视。

需要理解的是，还需要控制移动终端的通信模块1105与终端设备建立连接，比如，可以建立无线通信连接，基于无线通信连接使得移动终端和终端设备进行信息交互。其中，无线通信连接可以为WIFI连接、或者可以为蓝牙连接等等。比如，参见图12，其中，通信模块具体为WIFI模块。

本实施例中详细说明如何获取到操作指令，具体如下：

所述反向控制模块，用于执行以下两种处理方式中至少之一：

处理方式一

在所述显示区域中还展示针对终端设备输出的信息的控制操作界面，其中，所述控制操作界面中至少包括有针对所述信息的播放进度的至少一个控制按键、以及针对所述终端设备的至少一种控制按键；检测到针对所述控制操作界面的目标控制按键的操作时，基于所述目标控制按键对应的功能生成操作指令。

其中，所述控制操作界面可以如图7所示，其中，包括有进度条的进度控制按键71，音量控制按键72、以及针对节目选取的组合按键73，这个组合按键73中可以包括有上一个节目、下一个节目以及暂停按键等等，本图仅为示意其实还包括有其他的按键。

另外，需要说明的是，上述场景虽然仅提到了在显示区域中提供的操作控制界面，但是，在实际处理中，移动终端还可以获取自身物理按键的控制信息，并转换为针对流媒体信息的控制指令，比如，可以通过移动终端的音量控制物理按键74获取到音量控制指令，并发送音量控制指令至终端设备以控制终端设备输出的信息。

处理方式二

检测到位于所述显示区域中的至少一种操作手势；基于所述至少一种操作手势确定针对所述终端设备输出的信息的操作指令。

与处理方式一的不同之处在于，本处理方式中可以不给予操作控制界面提供的几种控制按键生成控制指令，而是检测处于显示区域中的至少一种操作手势，进而基于预设的操作手势与操作指令对应表来确定检测到的操作手势所对应的操作指令，如此，得到针对终端设备输出的信息的操作指令。

其中，所述操作手势可以由以下信息组成：至少一个触控点的位置信息及其对应的时刻值。所述位置信息包括有x轴、y轴两个坐标值。

需要理解的是，操作手势可以进一步进行特征提取，比如，一条向右侧的线，或者一条向左侧的线、还可以为一个锐角、一个钝角、或者多个锐角多个钝角。也就是说，基于操作手势中包含的多个位置信息及其对应的时刻值，能够确定一个操作轨迹，提取这个操作轨迹中的特征信息，比如，该操作轨迹为基本没有弧度的一条线，那么该操作手势对应的特征信息为一条线，另外，还可以获取操作轨迹的方向，将该方向作为操作手势的方向，如此，就能够特征提取后的操作手势。

相应的，所述操作手势与操作指令对应表中可以包括：向右滑动的一条线对应的为快进，另外，快进的进度可以根据向右滑动的速度或者向右滑动得距离来确定，本示例中不做限定；再比如，操作手势中具备一个锐角，那么将输出的画面进行缩小等等。关于操作手势与操作指令的对应，本实施例中不进行穷举，但是可以理解的是，根据实际需求能够设置多种组合，或者，还可以根据用户的使用习惯来进行设置。

本处理方式对应的操作场景可以参见图8，用户采用操作手势81向右边滑动，此时，根据预设的对应表可以确定将输出的信息快进。

将所述操作指令发送至所述终端设备侧，以使得所述终端设备基于所述操作指令至少对其输出的信息进行控制，其中，所述至少对其输出的信息进行控制可以包括选中输出的信息中的某一个菜单项，或者，对输出的多媒体信息进行播放进度的控制等等。

进一步地，本实施例还提供一种处理场景，所述移动终端还包括：

处理单元1106，用于检测到针对在所述移动终端的显示区域输出的流媒体信息的截取指令；基于所述截取指令获取到所述流媒体信息对应的画面并保存；针对保存的所述画面进行处理。

其中，截取画面的操作指令的触发方式可以为通过至少一个物理按键确定触发获取当前画面的操作指令，也可以为检测到一个触控操作手势来触发获取当前画面的操作。

相应的，针对保存的所述画面进行处理可以为仅在移动终端侧的处理，比如，可以包括有对所述画面进行美化、放大、分享等等处理，用户可以根据自己的需求来进行处理，本实施例中不再进行限定。

本实施例的一种实施方案可以参见图12，设备管理模块：用于管理与电视侧建立的通信连接。反向控制模块：用于侦测移动终端上的控制操作，根据控制操作生成控制指令，并将所述控制指令发送给电视侧。流媒体播放模块：播放接收到的流媒体数据。显示模块：用于显示播放画面，并显示相应的交互界面。

可见，通过采用上述方案，就能够由移动终端侧获取到流媒体信息，通过输出流媒体信息使得移动终端与终端设备输出的信息达成同步，在移动终端中通过针对流媒体信息生成操作指令，来控制终端设备侧的输出信息。如此，就能够达到更加直观的针对终端设备输出的信息进行控制，为用户提供了更加丰富的交互场景，并且提升控制的准确度。

实施例五

本发明实施例提供了一种终端设备，如图13所示，包括：

显示模块1301，用于输出信息；

屏幕分层模块1302，用于将输出的信息转换为流媒体信息；

流媒体发送模块1303，用于将所述流媒体信息发送给通信模块；

通信模块1304，用于将所述流媒体信息发送给至少一个移动终端；

多设备管理模块1305，用于接收到所述至少一个移动终端发来的针对所述流媒体信息的操作指令；

反向控制管理模块1306，用于基于所述操作指令对输出的信息进行控制。

所述屏幕分层模块1302，用于至少截取显示区域当前输出的信息所对应的画面，将截取到的所述画面添加到流媒体信息中作为所述流媒体信息中包含的至少一个画面之一。也就是说，将终端设备侧实时输出的视频帧进行截屏得到不同时刻对应的画面，将当前截取的画面作为流媒体信息中的一个画面并实时的发送至移动终端侧，如此，就能够保证终端设备与移动终端之间画面保持同步。

进一步地需要说明的是，本实施例还可以应用于一个终端设备同时与多个移动终端建立连接的情况，比如，参见图10，一个终端设备1000，同时能够与三个移动终端分别为1001、1002和1003同时建立连接，并且同时将自身输出的信息转换为流媒体信息发送给上述三个移动终端，以使得这是三个移动终端均与电视同步进行画面输出。

在本场景下，关于终端设备针对哪个移动终端反馈的操作指令进行响应，可以采用以下策略中的至少一个：

策略一、从至少一个移动终端中选取一个主控移动终端，所述终端设备仅针对所述主控移动终端发来的操作指令进行响应。

比如，图10中，可以设置移动终端1001为主控移动终端，那么终端设备仅响应该移动终端发来的操作指令。

策略二、终端设备有可能同时接收到两个及以上的移动终端发来的操作指令，此时，终端设备可以将预先设置为主控移动终端发来的操作指令作为最终进行响应的操作指令，比如，参见图10，可以预先将移动终端1001设置为主控移动终端，一旦出现有多个移动终端发来操作指令的时候，优先对主控移动终端的操作指令进行响应。

策略三、若发来操作指令的移动终端均不是主控移动终端时，可以任选其中的一个进行响应。

策略四、根据距离移动终端的远近来选取一个进行响应的移动终端，比如，可以通过与移动终端之间的无线连接进行测距，若多个移动终端同时发来操作指令时，可以选取距离最近的一个移动终端的指令进行响应。

图14提供了本方案中终端设备的一种具体实施方式，其中，显示模块用于显示电视画面；屏幕分层模块，用于处理当前的电视画面，对画面进行分层处理；流媒体发送模块，用于将分层处理后的流媒体数据通过wifi发送给移动终端。

当需要进行一个电视投影到多个移动终端时，需要以下三个模块：

音频流分通道模块，用于对音频进行分配，决定音频流的发送通道；多设备管理模块，当与电视连接的移动终端为多个时，此模块可用于管理多个终端上不同的显示内容；反向控制管理模块，当与电视连接的移动终端为多个时，此模块可用于管理多个移动终端发出的控制指令。

需要说明的是，上述音频流分通道模块可以设置与流媒体发送模块中，也就是由流媒体发送模块实现音频流分通道模块的功能，本实施例中不再进行具体说明。

下面以终端设备为电视为例，结合图15进行实施说明：

1.电视与移动终端建立wifi连接通道，其中，可以由电视放发起连接请求，也可以由移动终端发起连接请求。该wifi连接通道可以是wifi-direct，也可以是soft-ap的形式。在此步骤中，可以加入可选的验证步骤，比如电视在接收到移动终端发送的连接请求时，会判断验证是否通过，只有验证通过才会建立连接通道。

2.电视在与移动终端建立连接通道之后，捕获当前显示的画面信息，此步骤中，由于屏幕投影传输的是视频流的形式，是以截图的形式捕获当前显示画面。

3.对捕获后的画面进行分层处理。

4.将处理后的视频流发送给移动终端。本步骤中，电视通过RTP协议将视频流发送给移动终端。

5.移动终端播放接收到的视频流，移动终端根据接收到的视频流，进行相应的编解码，并进行播放。

6.移动终端可以通过触摸屏或者其他按键侦测用户的操作指令，根据操作指令生成相应的控制指令，控制指令可以是快进、快退、暂停、播放等媒体控制指令；也可以是上、下、左、右、选择等界面操作指令。

7.移动终端将控制指令发送给电视，本步骤中，移动终端通过RTSP协议将控制指令发送给电视。

RTSP协议，Real Time Streaming Protocol，实时传输流协议，

RTSP协议以客户服务器方式工作，它是一个多媒体播放控制协议，用来使用户在播放从因特网下载的实时数据时能够进行控制，如：暂停/继续、后退、前进等。因此RTSP又称为“因特网录像机遥控协议”。

要实现RTSP的控制功能，不仅要有协议，而且要有专门的媒体播放器(media player)和媒体服务器(media server)。媒体服务器与媒体播放器的关系是服务器与客户的关系。本步骤中，是移动终端(媒体播放器)与电视(媒体服务器)的关系。

RTSP有两类报文：请求报文和响应报文。请求报文是指从客户向服务器发送请求报文，响应报文是指从服务器到客户的回答。

由于RTSP是面向正文的(text-oriented)，因此在报文中的每一个字段都是一些ASCII码串，因而每个字段的长度都是不确定的。

RTSP报文由三部分组成，即开始行、首部行和实体主体。在请求报文中，开始行就是请求行，RTSP请求报文的方法包括：OPTIONS、DESCRIBE、SETUP、TEARDOWN、PLAY、PAUSE、GET_PARAMETER和SET_PARAMETER。

8.电视接收终端发送的控制指令，并执行相应的控制操作，根据控制操作调整相应的视频流，比如快进、快退等。

可见，通过采用上述方案，就能够由移动终端侧获取到流媒体信息，通过输出流媒体信息使得移动终端与终端设备输出的信息达成同步，在移动终端中通过针对流媒体信息生成操作指令，来控制终端设备侧的输出信息。如此，就能够达到更加直观的针对终端设备输出的信息进行控制，为用户提供了更加丰富的交互场景，并且提升控制的准确度。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。