一种设备控制方法及移动终端与流程

本发明涉及通信领域中的多终端管理技术，尤其涉及一种设备控制方法及移动终端。

背景技术：

当前技术中，当对多台设备进行控制时，只能采用其设备对应的遥控器，或者使用移动终端与各台设备对应的遥控器同步后模拟遥控器进行控制，操作方式较为复杂和单一，用户体验不佳。

技术实现要素：

本发明的主要目的在于提出一种设备控制方法及移动终端，旨在解决现有技术中存在的上述问题。

为实现上述目的，

本发明提供的一种设备控制方法，应用于移动终端，包括：

采集包含有至少一个第一类设备的图像，在显示区域中呈现包含有所述至少一个第一类设备的画面；其中，所述第一类设备为至少具备图像显示功能的终端设备；

与所述至少一个第一类设备建立第一通信连接；

通过所述至少一个第一类设备中的第一目标设备的控制界面检测到对应的操作指令时，将所述操作指令发送至所述第一目标设备；其中，所述控制界面位于对应的第一类设备在显示区域中的显示位置处、且至少用于提供针对第一类设备的输出信息或第一类设备的操作参数进行控制的界面。

本发明提供的一种移动终端，包括：

采集模块，用于采集包含有至少一个第一类设备的图像；其中，所述第一类设备为至少具备图像显示功能的终端设备；

显示模块，用于在显示区域中呈现包含有所述至少一个第一类设备的画面；

第一通信模块，用于与所述至少一个第一类设备建立第一通信连接；

处理模块，用于通过所述至少一个第一类设备中的第一目标设备的控制界面检测到对应的操作指令时，将所述操作指令发送至所述第一目标设备；其中，所述控制界面位于对应的第一类设备在显示区域中的显示位置处、且至少用于提供针对第一类设备的输出信息或第一类设备的操作参数进行控制的界面。

本发明提出的一种设备控制方法及移动终端，同时采集并呈现包括有多个第一类设备的画面，与多个第一类设备建立连接之后，通过目标设备对应的操作界面检测到操作指令，发送该操作指令至目标设备。如此，就能够从多个第一类设备中灵活的选取目标设备，仅通过视图就获取到针对目标设备的操作界面，实现了灵活并且快捷的对第一类设备进行控制，丰富了设备的交互场景。

附图说明

图1为实现本发明各个实施例的移动终端的硬件结构示意图；

图2为如图1所示的移动终端的无线通信系统示意图；

图3为本发明实施例设备控制方法流程示意图一；

图4为本发明实施例场景示意图一；

图5为本发明实施例场景示意图二；

图6为本发明实施例获场景示意图三；

图7为本发明实施例获场景示意图四；

图8为本发明实施例获场景示意图五；

图9为本发明实施例获场景示意图六；

图10为本发明实施例设备控制方法流程示意图二；

图11为本发明实施例移动终端组成结构示意图一；

图12为本发明实施例移动终端组成结构示意图二；

图13为本发明实施例第一类设备的组成结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“模块”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

图1为实现本发明各个实施例的移动终端的硬件结构示意。

移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。

无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。

A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送。

用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。

接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。

另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。

显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。

同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。

音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。

警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式提供输出，当接收到呼叫、消息或一些其它进入通信(incomingcommunication)时，警报单元153可以提供触觉输出(即，振动)以将其通知给用户。通过提供这样的触觉输出，即使在用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。

存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。

存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。

控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块1810，多媒体模块1810可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。

电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。

至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。

如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。

现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。

这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。

参考图2，CDMA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站控制器(BSC)275和移动交换中心(MSC)280。MSC280被构造为与公共电话交换网络(PSTN)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM，IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC2750。在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。

基于上述移动终端硬件结构以及通信系统，提出本发明方法各个实施例。

实施例一

本发明实施例提供了一种设备控制方法，应用于移动终端，如图3所示，所述方法包括：

步骤301：采集包含有至少一个第一类设备的图像，在显示区域中呈现包含有所述至少一个第一类设备的画面；其中，所述第一类设备为至少具备图像显示功能的终端设备；

步骤302：与所述至少一个第一类设备建立第一通信连接；

步骤303：通过所述至少一个第一类设备中的第一目标设备的控制界面检测到对应的操作指令时，将所述操作指令发送至所述第一目标设备；其中，所述控制界面位于对应的第一类设备在显示区域中的显示位置处、且至少用于提供针对第一类设备的输出信息或第一类设备的操作参数进行控制的界面。

这里，所述第一类设备为至少具备图像显示功能的终端设备，也就是说，第一类设备可以为电视、笔记本电脑、平板电脑等。移动终端可以为智能手机、还可以为平板电脑等，也就是说，移动终端可以为具备无线通信功能、图像采集功能的设备。

另外，本实施例提供的场景，可以参见图4，移动终端，比如，智能手机，能够与多个图像显示功能的终端设备建立连接，比如，图中一个用户通过手机，与电视、Pad以及笔记本电脑均建立连接。

上述采集包含有至少一个第一类设备的图像可以为通过图像采集模块进行采集，比如，可以为移动终端中设置的摄像头，包括有前置和/或后置摄像头。

进一步需要指出的是，移动终端执行步骤301之前，可以通过开启图像采集模块采集到包括有多个设备的图像，这多个设备中可以包括有除了第一类设备之外的其他类别的设备，比如，图5所示，移动终端采集到的图像中，包括有电视、空调；

那么在执行步骤301之前，所述方法还可以包括：根据包含有至少一个设备的图像，对每一个设备进行特征识别提取得到每一个设备对应的特征信息，基于所述特征信息确定每一个设备对应的设备类型；

其中，所述设备类型至少可以包括有：第一类设备为够建立无线通信连接、且具备图像显示功能的终端设备；第二类设备不具备图像显示功能的终端设备。

所述对每一个设备进行特征识别的方法，可以为，通过每一个设备对应的标识信息进行特征识别，比如，通过设备上贴的二维码进行特征识别，或者，可以通过设备的序列号来进行识别；

具体来说，参见图6，假设当前采集到的图像中，包含有电视、空调这两个设备，电视的下边框处有一个二维码1、另外空调的右侧也有一个二维码2，通过对图像进行分析，分别识别出来这两个二维码1和2；然后解析这两个二维码1和2分别得到设备对应的信息，比如，具体可以包括有设备的名称、设备的类型、设备的编号等等，这里不进行穷举。可以看出，通过采用上述针对图像中的设备的标识信息的识别来确定采集到图像中的至少一个第一类设备。

需要说明的是，在显示区域中呈现包含有所述至少一个第一类设备的画面可以为，显示区域中实时展示当前图像采集模块所对的区域的图像，也就是说，当前显示区域中并非输出一个固定不变的图片，而是基于移动终端或基于图像采集模块的位置变化而实时变化的画面；或者，可以理解为，当前仅采集某一个区域的画面，但是并不对采集到的画面进行截取。

与所述至少一个第一类设备建立第一通信连接，可以为通过无线通信功能，与所述至少一个第一类设备均建立第一通信连接；当前对应的画面中具备有电视、电脑以及空调，很明显电视、电脑为第一类设备，将移动终端通过无线通信功能分别与电视和电脑建立通信连接，而忽略与空调之间的关系。

本实施例提供的方案中，当与第一类设备建立连接关系之后，所述通过所述至少一个第一类设备中的目标设备的控制界面检测到对应的操作指令之前，所述方法还包括：

在显示区域中呈现包含有所述至少一个第一类设备的画面，并且在所述显示区域中呈现每一个所述第一类设备对应的控制界面。

上述控制界面可以为基于第一类设备的具体信息生成或者从网络侧获取到的控制界面；第一类设备的具体信息可以用于描述第一类设备的名称、型号等等，比如，XX品牌的电视；相应的，基于具体信息生成的控制界面，可以为基于第一类设备的型号生成针对该设备的由至少一个控制信息组成的控制界面。

参见图7，图中可以看出当前的界面中显示有电视1和2，针对电视除了显示当前实时画面之外，在电视1和2对应的显示位置处，分别还可以提供至少一个控制信息的虚拟按键组成的控制界面，如图所示，以电视1为例包括有下一个、快进、前一个、暂停，这些控制信息的虚拟按键。

可见，通过采用上述方案，就能够同时采集并呈现包括有多个第一类设备的画面，与多个第一类设备建立连接之后，通过目标设备对应的操作界面检测到操作指令，发送该操作指令至目标设备。如此，就能够能够从多个第一类设备中灵活的选取目标设备，仅通过视图就获取到针对目标设备的操作界面，实现了灵活并且快捷的对第一类设备进行控制，丰富了设备的交互场景。

实施例二

本发明实施例提供了一种设备控制方法，应用于移动终端，如图3所示，所述方法包括：

步骤301：采集包含有至少一个第一类设备的图像，在显示区域中呈现包含有所述至少一个第一类设备的画面；其中，所述第一类设备为至少具备图像显示功能的终端设备；

步骤302：与所述至少一个第一类设备建立第一通信连接；

步骤303：通过所述至少一个第一类设备中的第一目标设备的控制界面检测到对应的操作指令时，将所述操作指令发送至所述第一目标设备；其中，所述控制界面位于对应的第一类设备在显示区域中的显示位置处、且至少用于提供针对第一类设备的输出信息或第一类设备的操作参数进行控制的界面。

这里，所述第一类设备为至少具备图像显示功能的终端设备，也就是说，第一类设备可以为电视、笔记本电脑、平板电脑等。移动终端可以为智能手机、还可以为平板电脑等，也就是说，移动终端可以为具备无线通信功能、图像采集功能的设备。

与实施例一不同在于，本实施例提供的方案中，所述通过所述至少一个第一类设备中的第一目标设备的控制界面检测到对应的操作指令，所述方法还包括：

检测到针对所述至少一个第一类设备中的第一目标设备的选定操作时，展示针对所述目标设备的控制界面；

通过所述第一目标设备的控制界面，检测到针对所述第一目标设备的操作指令。

也就是说，在移动终端的显示区域中并不是实时提供针对每一个第一类设备的操控界面，而仅在确定要对第一目标设备进行操作的时候，再提供该目标设备的控制界面，如此，可以避免由于移动终端的显示区域的尺寸较小的时候，无法提供较大的展示空间的问题。

上述选定操作可以为，检测到用户点击所述第一目标设备所在的显示位置时，确定选定第一目标设备。另外，选定操作的手势可以根据实际情况进行设置，比如，可以为圈中第一目标设备的时候为选定操作，本实施例不再进行穷举。

上述控制界面可以为基于第一类设备的具体信息生成或者从网络侧获取到的控制界面；第一类设备的具体信息可以用于描述第一类设备的名称、型号等等，比如，XX品牌的电视；相应的，基于具体信息生成的控制界面，可以为基于第一类设备的型号生成针对该设备的由至少一个控制信息组成的控制界面。

参见图8，图中可以看出当前的界面中显示有电视1和2，用户点击电视1的时候，确定选中电视1为第一目标设备，在电视1对应的显示位置处，还可以提供至少一个控制信息的虚拟按键组成的控制界面，如图所示，包括有下一个、快进、前一个、暂停，这些控制信息的虚拟按键。

可见，通过采用上述方案，就能够同时采集并呈现包括有多个第一类设备的画面，与多个第一类设备建立连接之后，通过目标设备对应的操作界面检测到操作指令，发送该操作指令至目标设备。如此，就能够从多个第一类设备中灵活的选取目标设备，仅通过视图就获取到针对目标设备的操作界面，实现了灵活并且快捷的对第一类设备进行控制，丰富了设备的交互场景。

实施例三

在实施例一或实施例二提供的场景基础之上，本实施例还提供针对其中某一个第一类设备进行投屏交互的处理方式，具体说明如下：

检测到针对所述至少一个第一类设备中的第二目标设备的屏幕投影指令时，向所述第二目标设备发送获取屏幕数据的请求；

接收到所述第二目标设备基于所述获取屏幕数据的请求发来的流媒体信息，控制在显示区域中由呈现包含有所述至少一个第一类设备的画面切换为输出所述流媒体信息；其中，所述流媒体信息与所述第二目标设备输出的信息保持同步；

检测到针对在所述显示区域中输出的所述流媒体信息的操作指令；将所述操作指令发送至所述第二目标设备侧，以使得所述第二目标设备基于所述操作指令至少对其输出的信息进行控制。

其中，所述屏幕投影指令可以为根据提供的菜单选项进行选取，或者，可以为根据显示在界面上的某一个虚拟按键来触发，或者，还可以通指定的至少一个物理按键来触发，这里不进行穷举。

上述第二目标设备输出的信息，可以为其显示屏输出的任何内容，比如，参见图9，在电视的显示屏中正在输出一个视频，图中示出的为这个视频中的某一帧画面，通过终端设备提供的这个交互界面可以为用户提供可选择的节目类型等。

上述流媒体信息可以为由第二目标设备当前输出的视频信息的画面组成的流媒体信息，关于基于终端设备根据其输出的视频信息确定流媒体信息的方式，本实施例中不进行限定。但是，需要理解到的是，通过接收到终端设备发来的流媒体信息，并播放当前流媒体信息对应的画面，使得移动终端输出的画面与终端设备相同，以使得两者保持输出的画面至少保持同步。

本实施例中详细说明如何获取到操作指令，具体如下：

所述检测到针对在所述显示区域中输出的所述流媒体信息的操作指令，包括以下两种处理方式中至少之一：

处理方式一

在所述显示区域中还展示针对终端设备输出的信息的控制操作界面，其中，所述控制操作界面中至少包括有针对所述信息的播放进度的至少一个控制按键、以及针对所述终端设备的至少一种控制按键；检测到针对所述控制操作界面的目标控制按键的操作时，基于所述目标控制按键对应的功能生成操作指令。

处理方式二

检测到位于所述显示区域中的至少一种操作手势；基于所述至少一种操作手势确定针对所述终端设备输出的信息的操作指令。

与处理方式一的不同之处在于，本处理方式中可以不基于操作控制界面提供的几种控制按键生成控制指令，而是检测处于显示区域中的至少一种操作手势，进而基于预设的操作手势与操作指令对应表来确定检测到的操作手势所对应的操作指令，如此，得到针对终端设备输出的信息的操作指令。

在上述介绍的场景之上，本实施例还提供进一步的处理说明，就是根据用户的操作，可以退出上述全屏的投影处理，重新返回至针对多个第一类设备进行交互的场景中。

也就是通过采用上述方案，能够采用手机拍摄显示设备，获取显示设备的信息,完成配对连接，用户能够在手机取景框中以AR(Augmented Reality，增强现实)的形式直接对其他设备进行控制,并且用户可选的使用屏幕投影的方式获取对方屏幕数据,使用更直观的方式进行控制，丰富操作方式，提高可玩性，提升用户体验。

具体可以参见图10提供一个实施的示例：

用户打开手机侧的摄像头，并通过取景框对想要控制的设备进行取景，用户通过界面确定取景内容后，开始进行图像识别；

通过对显示设备的边框提供的特殊标志或者二维码等形式识别获取设备信息，手机与显示设备完成wifidirect连接；

连接完成后，在底层完成屏幕分区识别，根据用户操作所在的区域确定用户所控制的显示设备；

用户在取景框中对显示设备进行划屏、点击等操作；指令发送模块根据用户操作的设备进行发送，显示设备接收到指令后进行响应；

在连接完成后，用户选择使用屏幕投影控制某一设备，手机关闭屏幕分区识别功能，手机向显示设备发起屏幕投影请求，显示设备发送屏幕数据，手机对接收到的数据进行解析，并进行显示；

用户退出屏幕投影模式后，重新使能屏幕分区识别功能，回到AR控制模式。

实施例四

本发明实施例提供了一种移动终端，如图11所示，包括：

采集模块1101，用于采集包含有至少一个第一类设备的图像；其中，所述第一类设备为至少具备图像显示功能的终端设备；

显示模块1102，用于在显示区域中呈现包含有所述至少一个第一类设备的画面；

第一通信模块1103，用于与所述至少一个第一类设备建立第一通信连接；

处理模块1104，用于通过所述至少一个第一类设备中的第一目标设备的控制界面检测到对应的操作指令时，将所述操作指令发送至所述第一目标设备；其中，所述控制界面位于对应的第一类设备在显示区域中的显示位置处、且至少用于提供针对第一类设备的输出信息或第一类设备的操作参数进行控制的界面。

这里，所述第一类设备为至少具备图像显示功能的终端设备，也就是说，第一类设备可以为电视、笔记本电脑、平板电脑等。移动终端可以为智能手机、还可以为平板电脑等，也就是说，移动终端可以为具备无线通信功能、图像采集功能的设备。

另外，本实施例提供的场景，可以参见图4，移动终端，比如，智能手机，能够与多个图像显示功能的终端设备建立连接，比如，图中一个用户通过手机，与电视、Pad以及笔记本电脑均建立连接。

上述采集包含有至少一个第一类设备的图像可以为通过图像采集模块进行采集，比如，可以为移动终端中设置的摄像头，包括有前置和/或后置摄像头。

进一步需要指出的是，可以通过开启图像采集模块采集到包括有多个设备的图像，这多个设备中可以包括有除了第一类设备之外的其他类别的设备，比如，图5所示，移动终端采集到的图像中，包括有电视、空调；

所述处理模块，用于根据包含有至少一个设备的图像，对每一个设备进行特征识别提取得到每一个设备对应的特征信息，基于所述特征信息确定每一个设备对应的设备类型；

其中，所述设备类型至少可以包括有：第一类设备为够建立无线通信连接、且具备图像显示功能的终端设备；第二类设备不具备图像显示功能的终端设备。

所述对每一个设备进行特征识别的方法，可以为，通过每一个设备对应的标识信息进行特征识别，比如，通过设备上贴的二维码进行特征识别，或者，可以通过设备的序列号来进行识别；

需要说明的是，在显示区域中呈现包含有所述至少一个第一类设备的画面可以为，显示区域中实时展示当前图像采集模块所对的区域的图像，也就是说，当前显示区域中并非输出一个固定不变的图片，而是基于移动终端或基于图像采集模块的位置变化而实时变化的画面；或者，可以理解为，当前仅采集某一个区域的画面，但是并不对采集到的画面进行截取。

与所述至少一个第一类设备建立第一通信连接，可以为通过无线通信功能，与所述至少一个第一类设备均建立第一通信连接；比如，参见图7，当前对应的画面中具备有电视、电脑以及空调，很明显电视、电脑为第一类设备，将移动终端通过无线通信功能分别与电视和电脑建立通信连接，而忽略与空调之间的关系。

本实施例提供的方案中，所述显示模块，用于通过所述至少一个第一类设备中的目标设备的控制界面检测到对应的操作指令之前，在显示区域中呈现包含有所述至少一个第一类设备的画面，并且在所述显示区域中呈现每一个所述第一类设备对应的控制界面。

上述控制界面可以为基于第一类设备的具体信息生成或者从网络侧获取到的控制界面；第一类设备的具体信息可以用于描述第一类设备的名称、型号等等，比如，XX品牌的电视；相应的，基于具体信息生成的控制界面，可以为基于第一类设备的型号生成针对该设备的由至少一个控制信息组成的控制界面。

本实施例提供的另一方案中，所述处理模块，还用于检测到针对所述至少一个第一类设备中的第一目标设备的选定操作时，控制显示模块展示针对所述目标设备的控制界面；通过所述第一目标设备的控制界面，检测到针对所述第一目标设备的操作指令。

也就是说，在移动终端的显示区域中并不是实时提供针对每一个第一类设备的操控界面，而仅在确定要对第一目标设备进行操作的时候，再提供该目标设备的控制界面，如此，可以避免由于移动终端的显示区域的尺寸较小的时候，无法提供较大的展示空间的问题。

上述选定操作可以为，检测到用户点击所述第一目标设备所在的显示位置时，确定选定第一目标设备。另外，选定操作的手势可以根据实际情况进行设置，比如，可以为圈中第一目标设备的时候为选定操作，本实施例不再进行穷举。

上述控制界面可以为基于第一类设备的具体信息生成或者从网络侧获取到的控制界面；第一类设备的具体信息可以用于描述第一类设备的名称、型号等等，比如，XX品牌的电视；相应的，基于具体信息生成的控制界面，可以为基于第一类设备的型号生成针对该设备的由至少一个控制信息组成的控制界面。

可见，通过采用上述方案，就能够同时采集并呈现包括有多个第一类设备的画面，与多个第一类设备建立连接之后，通过目标设备对应的操作界面检测到操作指令，发送该操作指令至目标设备。如此，就能够从多个第一类设备中灵活的选取目标设备，仅通过视图就获取到针对目标设备的操作界面，实现了灵活并且快捷的对第一类设备进行控制，丰富了设备的交互场景。

实施例五

在实施例四提供的场景基础之上，本实施例还提供针对其中某一个第一类设备进行投屏交互的处理方式，具体说明如下：

所述处理模块，还用于检测到针对所述至少一个第一类设备中的第二目标设备的屏幕投影指令时，通过通信模块向所述第二目标设备发送获取屏幕数据的请求；

所述通信模块，用于接收到所述第二目标设备基于所述获取屏幕数据的请求发来的流媒体信息，控制在显示区域中由呈现包含有所述至少一个第一类设备的画面切换为输出所述流媒体信息；其中，所述流媒体信息与所述第二目标设备输出的信息保持同步。

所述处理模块，还用于检测到针对在所述显示区域中输出的所述流媒体信息的操作指令；将所述操作指令发送至所述第二目标设备侧，以使得所述第二目标设备基于所述操作指令至少对其输出的信息进行控制。

其中，所述屏幕投影指令可以为根据提供的菜单选项进行选取，或者，可以为根据显示在界面上的某一个虚拟按键来触发，或者，还可以通指定的至少一个物理按键来触发，这里不进行穷举。

上述流媒体信息可以为由第二目标设备当前输出的视频信息的画面组成的流媒体信息，关于基于终端设备根据其输出的视频信息确定流媒体信息的方式，本实施例中不进行限定。但是，需要理解到的是，通过接收到终端设备发来的流媒体信息，并播放当前流媒体信息对应的画面，使得移动终端输出的画面与终端设备相同，以使得两者保持输出的画面至少保持同步。

下面结合图12，对本方案提供的移动终端的实施模块进行说明：

A、该方案手机侧由8个模块组成，图像采集模块可以为摄像头模块，用于进行对端设备的取景，显示模块用于取景画面或者显示设备屏幕画面的显示；

处理模块中还可以包括有图像识别模块、屏幕分区识别控制指令模块、坐标转换模块、控制指令发送模块、屏幕数据解析模块等；

其中，图像识别模块用于对摄像头捕捉到的图像中特殊标志，类似二维码等信息进行识别，获取显示设备的信息；屏幕分区识别控制指令模块用于在屏幕上根据图像划分出区域，并根据用户的操作确定出用户所操作的区域并确定对应的设备；坐标转换模块是加入相机景深及所捕获物体的大小数据，将用户在手机屏幕上控制指令进行转换对应到显示设备的坐标；控制指令发送模块用于发送用户的控制指令；屏幕数据解析模块用于解析显示设备的屏幕数据并交由显示模块显示。

通信模块，可以为WIFI模块，用于负责完成组网，以及维持底层链路。

显示模块还可以具有控制开关，在手机与显示设备组网完成后，可让用户选择是使用AR方式操作所有设备还是使用屏幕投影方式控制某一设备。

C、用户选择使用屏幕投影方式后，显示模块将全屏显示所控制设备的屏幕内容，用户可通过操作本机屏幕控制显示设备，便于用户操作，此时，屏幕分区识别控制指令功能关闭。当用户回到AR模式时，重新使能屏幕分区识别控制指令功能。

D、手机侧图像识别成功后，获取到显示设备的相应信息，则直接发起连接，完成wifidirect的组网。

进一步地，针对第一类设备，比如，显示设备，可以如图13所示，具备以下模块，显示模块提供用户可操作的界面，并且提供手机侧图像识别的数据源；屏幕数据发送模块在用户选择屏幕投影时开始发送屏幕数据；控制指令接收模块用于接收控制指令并做出响应；wifi模块用于完成wifidirect组网。

可见，通过采用上述方案，就能够由移动终端侧获取到流媒体信息，通过输出流媒体信息使得移动终端与终端设备输出的信息达成同步，在移动终端中通过针对流媒体信息生成操作指令，来控制终端设备侧的输出信息。如此，就能够达到更加直观的针对终端设备输出的信息进行控制，为用户提供了更加丰富的交互场景，并且提升控制的准确度。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。