基于移动终端的设备控制方法、装置和移动终端与流程

本申请涉及通信技术领域，特别涉及一种基于移动终端的设备控制方法、装置和移动终端。

背景技术：

智能设备已经越来越广泛的进入人们的日常生活，用户可通过智能机顶盒、智能电视、个人计算机、投影机等设备进行影音、娱乐、购物等各种各样的活动。这些智能设备大多是采用遥控器或鼠标进行控制，操作方式单一，且操作不方便，特别是在输入汉字、按键操作或者玩游戏等场景下，操作不便更为明显。

技术实现要素：

本申请旨在至少在一定程度上解决上述技术问题。

为此，本申请的第一个目的在于提出一种基于移动终端的设备控制方法，实现了设备间的优势互补，极大地提高了用户交互自由度和灵活性。

本申请的第二个目的在于提出一种基于移动终端的设备控制装置。

本申请的第三个目的在于提出一种移动终端。

为达上述目的，根据本申请第一方面实施例提出了一种基于移动终端的设备控制方法，包括以下步骤：获取与被控设备当前显示的画面信息联动的拓展画面信息，并进行显示；接收用户针对所述拓展画面信息的控制操作；将所述控制操作转换为所述被控设备可识别的指令，并发送至所述被控设备，以对所述被控制设备进行控制。

本申请实施例的基于移动终端的设备控制方法，通过获取被控设备中当前显示的画面信息联动的拓展画面信息，并在移动终端中显示，并将用户针对拓展画面信息的控制操作转换为被控设备可识别的指令发送至被控设备，以对被控设备进行控制，实现了移动终端与被控设备的协同操作控制，充分利用被控设备显示体验好、移动终端操控自然、方便的优势，将移动终端多样、自然、方便的操作转换为被控设备可识别的指令，以进行控制，从而操作单一的被控设备可通过移动终端进行各种多样化的协同控制，实现了设备间的优势互补，在带给用户所见即所得的可视化操作体验的同时，极大地提高了用户交互自由度和灵活性。

本申请第二方面实施例提供了一种基于移动终端的设备控制装置，包括：获取模块，用 于获取与被控设备当前显示的画面信息联动的拓展画面信息；显示模块，用于所述拓展画面信息；第一接收模块，用于接收用户针对所述拓展画面信息的控制操作；转换模块，用于将所述控制操作转换为所述被控设备可识别的指令；发送模块，用于将所述被控设备可识别的指令发送至所述被控设备，以对所述被控制设备进行控制。

本申请实施例的基于移动终端的设备控制装置，通过获取被控设备中当前显示的画面信息联动的拓展画面信息，并在移动终端中显示，并将用户针对拓展画面信息的控制操作转换为被控设备可识别的指令发送至被控设备，以对被控设备进行控制，实现了移动终端与被控设备的协同操作控制，充分利用被控设备显示体验好、移动终端操控自然、方便的优势，将移动终端多样、自然、方便的操作转换为被控设备可识别的指令，以进行控制，从而操作单一的被控设备可通过移动终端进行各种多样化的协同控制，实现了设备间的优势互补，在带给用户所见即所得的可视化操作体验的同时，极大地提高了用户交互自由度和灵活性。

本申请第三方面实施例提供了一种移动终端，包括本申请第二方面实施例的基于移动终端的设备控制装置。

本申请实施例的移动终端，通过获取被控设备中当前显示的画面信息联动的拓展画面信息，并在移动终端中显示，并将用户针对拓展画面信息的控制操作转换为被控设备可识别的指令发送至被控设备，以对被控设备进行控制，实现了移动终端与被控设备的协同操作控制，充分利用被控设备显示体验好、移动终端操控自然、方便的优势，将移动终端多样、自然、方便的操作转换为被控设备可识别的指令，以进行控制，从而操作单一的被控设备可通过移动终端进行各种多样化的协同控制，实现了设备间的优势互补，在带给用户所见即所得的可视化操作体验的同时，极大地提高了用户交互自由度和灵活性。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请一个实施例的基于移动终端的设备控制方法的流程图；

图2为根据本申请一个实施例的拓展画面信息的示意图；

图3a-图3c为根据本申请一个实施例的拓展画面信息的示意图；

图4为根据本申请一个实施例的获取与被控设备当前显示的画面信息联动的拓展画面信息方法的流程图；

图5为根据本申请另一个实施例的基于移动终端的设备控制方法的流程图；

图6为根据本申请一个实施例的指令转换的示意图；

图7为根据本申请另一个实施例的基于移动终端的设备控制方法的流程图；

图8为根据本申请另一个实施例的基于移动终端的设备控制方法的流程图；

图9为根据本申请一个实施例的基于移动终端的设备控制装置的结构示意图；

图10为根据本申请另一个实施例的基于移动终端的设备控制装置的结构示意图；

图11为根据本申请另一个实施例的基于移动终端的设备控制装置的结构示意图；

图12为根据本申请另一个实施例的基于移动终端的设备控制装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

由于移动终端具有自然、多样的用户交互方式，如触摸、语音、体感等控制方式，便于操控的优点，因此，为了解决当前的智能机顶盒、智能电视、个人计算机、投影机等设备虽然具有大屏显示或播放、便于观看的有点，但操作方式单一、操作不方便的问题，本申请的实施例提出了一种基于移动终端的设备控制方法和装置，可以将上述两类设备的优点相结合，实现大屏显示+自然操控优势结合，以提升用户使用时的交互体验。

下面参考附图描述根据本申请实施例的基于移动终端的设备控制方法和装置。

需要说明的是，本申请实施例中的移动终端可以是手机、平板电脑、智能穿戴式设备、个人数字助理等终端设备。

图1为根据本申请一个实施例的基于移动终端的设备控制方法的流程图。如图1所示，根据本申请实施例的基于移动终端的设备控制方法，包括：

s101，与被控设备建立通信连接。

在本申请的一个实施例中，被控设备可为智能电视、电视机顶盒、个人计算机或投影机等。

其中，移动终端与被控设备可通过但不限于蓝牙、wi-fi(wirelessfidelity，无线保真)、2.4g(一种频段处于2.400ghz～2.4835ghz之间的无线通信技术)、ibeacon(一种由苹果公司发布的基于低功耗蓝牙的无线通信技术)等无线通信方式建立通信连接，或者通过有线方式建立通信连接。

s102，获取与被控设备当前显示的画面信息联动的拓展画面信息，并进行显示。

在本申请的一个实施例中，拓展画面信息可为被控设备当前显示的画面信息对应的缩略画面。也就是说，移动终端同步显示被控设备当前显示的画面信息的缩略画面，即去掉被控 设备当前显示的画面信息中的北京、图片等附加信息的内容。缩略画面中仅保留了当前显示画面中的操作控件以及操作控件之间的位置信息。举例来说，如图2所示，对于电视中显示的画面可在手机中显示以框图形式在相应位置展示对应的控件的缩略画面。

或者，在本申请的一个实施例中，拓展画面信息的内容可为所述被控设备当前显示的画面信息的内容对应其他视角画面。具体地，可预先根据应用程序的特征场景和类型确定各个应用程序所需的拓展画面信息。举例来说，以游戏程序为例，图3为根据本申请实施例的不同应用程序对应的拓展画面信息。如图3a所示，对于赛车类游戏场景，tv电视端可显示游戏主画面，移动终端可同步显示对应的驾驶室视角的拓展画面信息。如图3b所示，对于cs等战斗类游戏场景，tv端可显示游戏主画面，移动终端可同步显示匕首、枪等对应的拓展画面信息。如图3c所示，对于星际等战略游戏场景，tv端可显示游戏全部地图，移动终端可同步显示本地布阵详情对应的拓展画面信息。

由此，通过在移动终端中提供与被控设备中相同或者不同视角的画面，便于用户从多方位实时了解被控设备中当前显示的应用程序的相关信息，能够给用户提供不同的视觉体验。

本申请的实施例中，移动终端可通过多种不同方式获取与被控设备当前显示的画面信息联动的拓展画面信息，例如通过服务器端实时推送的拓展画面信息，或者从本地数据中查询对应的拓展画面信息等。本申请中以以下两种方式进行举例说明。

方式一

接收服务器推送的所述拓展画面信息，其中，所述拓展画面信息根据所述被控设备中显示所述画面信息的应用程序的标识信息查询得到。其中，应用程序的标识信息可包括应用程序的名称、包名等。在本申请的一个实施例中，可通过预设的接口函数从被控设备的系统中获取当前显示的应用程序的标识信息；或者，可通过对被控设备当前显示的画面信息进行图像识别，以获取当前显示的画面信息中的文字信息或者图标，并从获取的文字信息或图标确定对应的应用程序。

也就是说，服务器中预先存储有大量的与不同应用程序对应的拓展画面信息。服务器可根据被控设备中显示所述画面信息的应用程序的标识信息查询对应的拓展画面资源，并实时地将与被控设备当前显示画面联动的拓展画面信息推送至移动终端。

其中，应用程序的标识信息可由被控设备发送至服务器；

或者，移动终端与被控设备建立通信连接后，可从被控设备获取应用程序的标识信息，并上传到服务器。

方式二

可通过图4所示的步骤获取与被控设备当前显示的画面信息联动的拓展画面信息。如图4所示，包括以下步骤：

s401，获取所述被控设备中显示所述画面信息的应用程序的标识信息。

s402，根据所述标识信息获取对应的拓展数据包。

s403，确定所述拓展数据包中与所述被控设备中当前显示的画面信息联动的拓展画面信息。

应当理解，上述两种方式仅是示例性的，本申请中，并不限于通过上述两种方式获取与被控设备当前显示的画面信息联动的拓展画面信息，其他可行的联动方式也应包含在本申请的范围内。

在本申请的一个实施例中，由于移动终端与被控设备的显示屏幕的尺寸存在差异。因此，移动终端在获取拓展画面信息之后，可对该拓展画面信息进行尺寸调整，以适应移动终端中显示尺寸。

s103，接收用户针对所述拓展画面信息的控制操作。

当用户需要针对被控设备显示的画面信息进行操作时，可直接根据移动终端中显示的拓展画面对移动终端进行操作。由于移动终端具有多样、丰富的传感器及装置，如触摸屏、摄像头、语音输入装置、重力感应器、陀螺仪、加速度计等。因此，移动终端可接收不同形式的控制操作。在本申请的一个实施例中，上述控制操作可包括以下至少之一：

触摸操作、体感操作、手势操作、语音操作。

举例来说，用户可通过点击拓展画面上的操作控件，或者输入语音指令，或者通过控制移动终端在空间左右晃动等方式输入控制操作。

s104，将所述控制操作转换为所述被控设备可识别的指令，并发送至所述被控设备，以对所述被控制设备进行控制。

具体地，可根据被控设备的标识信息(如设备序列号等)或者被控设备中显示所述画面信息的应用程序的标识(如应用程序包名、名称等)查询被控设备可识别的指令。

在本申请的一个实施例中，所述将所述控制操作转换为所述被控设备可识别的指令，可包括如图5所示的步骤s501-s503。

s501，对所述控制操作进行识别，以确定所述控制操作对应的操作指令。

如果控制操作为触摸操作，则可将该触摸操作识别为对相应操作控件的操作指令。举例来说，如果控制操作为触摸拓展画面中的第3个控件按钮a，则可识别为“对控件按钮a的点击操作”。

如果控制操作为语音操作，则可对用户输入的语音进行语音识别，以得到对相应控件的操作指令。

如果控制操作为体感操作或者手势操作，则可识别体感操作或手势操作为对相应按键的按键操作。

s502，确定所述被控设备当前显示的画面信息对应的指令映射关系。

在本申请的实施例中，可根据被控设备的标识信息(如设备序列号等)查询与之对应的指令映射关系。或者可根据被控设备中显示所述画面信息的应用程序的标识(如应用程序包名、名称等)查询与之对应的指令映射关系。

其中，指令映射关系为移动终端中的指令与被控设备可识别的指令之间的映射关系。因此，基于该指令映射关系可查询到识别出的指令对应的被控设备可识别的指令。

在本申请的一个实施例中，确定被控设备当前显示的画面信息对应的指令映射关系可包括：获取被控设备中显示所述画面信息的应用程序的标识信息；根据所述标识信息查询预设数据库，以获取对应的指令映射关系。

其中，预设数据库中存储有不同应用程序对应的指令映射关系，可存储在移动终端本地或者服务器中。

s503，根据所述指令映射关系将所述操作指令转换为所述被控设备可识别的指令。

具体地，可根据指令映射关系对上述操作指令进行解析、映射和转换。举例来说，以下为根据所述指令映射关系将所述操作指令转换为所述被控设备可识别的指令的三个示例。

示例一(如图6所示)

tv(电视)操控方式：无触摸响应，即不可响应触摸操作；

phone(移动终端)接收到的操作指令：触摸第3个控件按钮；

指令解析为：移动，点击；

指令映射为：首先定位控制焦点当前位置(为第1个控件按钮)，接着将控制焦点从当前位置移动到第3个控件按钮，然后点击第3个控件按钮；

指令转换为：右键(方向键)2下，ok键1下。

示例二

当前界面为赛车游戏界面，操控方式为按键响应；

移动终端接收到的操作指令为：gsensor(重力传感器)体感操控；

指令解析为：方向键，单击或长按等；

指令映射为：首先确定体感操作对应的方向，然后点击；

指令转换：右键(方向键)，单击或长按。

示例三

当前界面为可以响应触摸操作的游戏界面；

移动终端接收到的操作指令为：触摸第3个控件按钮；

指令解析为：点击；

指令映射为：点击；

指令转换为：点击第3个控件按钮一下。

在本申请的一个实施例中，当被控设备响应移动终端发送的可识别的指令后，移动终端可在拓展画面的相应响应位置产生点击提示，或者，还可以进行振动提示等，以增强设备间的互动性，提升用户体验。

此外，由于移动终端获取的被控设备当前显示的画面信息，因此，当被控设备显示的画面发生变化时，移动终端中的拓展画面也随之改变。

本申请实施例的基于移动终端的设备控制方法，通过获取被控设备中当前显示的画面信息联动的拓展画面信息，并在移动终端中显示，并将用户针对拓展画面信息的控制操作转换为被控设备可识别的指令发送至被控设备，以对被控设备进行控制，实现了移动终端与被控设备的协同操作控制，充分利用被控设备显示体验好、移动终端操控自然、方便的优势，将移动终端多样、自然、方便的操作转换为被控设备可识别的指令，以进行控制，从而操作单一的被控设备可通过移动终端进行各种多样化的协同控制，实现了设备间的优势互补，在带给用户所见即所得的可视化操作体验的同时，极大地提高了用户交互自由度和灵活性。

进一步地，为了给用户更多样话的体验，可获取被控设备中当前的画面信息提供对应的拓展画面信息，并提供与多个拓展画面信息对应的画面切换按钮，以供用户根据需要选择切换至相应的拓展画面信息。具体地，在本申请的另一个实施例中，本申请实施例的方法还可包括如图7所示的步骤s701-s703。其中，

s701，在所述拓展画面信息的显示界面提供画面控制窗口，其中，所述画面控制窗口中显示有至少一个画面切换按钮。

其中，画面控制窗口的形式可以为但不限于浮层窗口、侧边栏等。至少一个画面切换按钮分别与至少一个拓展画面信息相对应。

s702，接收用户对所述画面切换按钮的选择操作。

s703，获取所述选择操作选择的画面切换按钮对应的拓展画面信息，并替换所述显示界面中当前显示的拓展画面信息。

由此，通过在拓展画面信息的显示界面提供画面切换按钮，使得用户可根据需要选择拓展画面信息，为用户提供多样化的控制体验，进一步便于用户对不同视角画面的观看和控制。

在本申请的一个实施例中，如图8所示，还可包括步骤s801-s802。其中：

s801，确定所述被控设备当前显示画面对应的应用场景。

举例来说，应用场景可包括游戏进行中的场景、主界面场景、视频播放场景等。

在本申请的一个实施例中，可根据生成所述画面信息的应用程序所属的类型确定所述画面信息对应的应用场景。举例来说，如果生成所述画面信息的应用程序为游戏类应用，则所述画面信息对应的应用场景为游戏进行中的场景；生成所述画面信息的应用程序为视频播放 类应用，则所述画面信息对应的应用场景为视频播放场景。

进一步地，可更精细化地对不同画面信息对应的应用场景进行划分。具体地，在确定生成所述画面信息的应用程序的基础上，可进一步对画面信息进行图像识别，以确定该画面信息的内容，并根据所述画面信息的内容确定对应的应用场景。举例来说，如果所述画面信息的内容为应用程序或设备主界面或菜单界面，则所述画面信息对应的应用场景为主界面场景；如果所述画面信息的内容为游戏程序运行中的界面，则所述画面信息对应的应用场景为游戏进行中的场景。

s802，根据所述应用场景控制所述拓展画面信息的显示参数。

在本申请的一个实施例中，显示参数可包括流畅度和/或分辨率。

举例来说，如果应用场景为应用程序或设备的主界面，其在显示过程中更新频率较低，或者只有在用户进行操作时才会发生界面变化，因此可适当降低流畅度，例如可将帧率设置为20fps((framespersecond，每秒显示帧数)；而对于游戏中的场景、或者视频播放场景，其画面是动态变换的，因此，可适当调高流畅度，例如，可设置为30fps((framespersecond，每秒显示帧数)。

对于分辨率来说，也可根据实际场景的显示需要进行调整。

由此，可根据被控设备中画面信息对应的应用场景动态调整拓展画面的显示参数，在给用户良好的视觉体验的同时，能够有效降低设备功耗。

与上述实施例提供的基于移动终端的设备控制方法相对应，本申请还提出一种基于移动终端的设备控制装置。

图9为根据本申请一个实施例的基于移动终端的设备控制装置的结构示意图。

如图9所示，根据本申请实施例的基于移动终端的设备控制装置，包括：通信模块1、获取模块2、显示模块3、第一接收模块4、转换模块5和发送模块6。

具体地，通信模块1用于与被控设备建立通信连接。

在本申请的一个实施例中，被控设备可为智能电视、电视机顶盒、个人计算机或投影机等。

其中，通信模块1与被控设备可通过但不限于蓝牙、wi-fi(wirelessfidelity，无线保真)、2.4g(一种频段处于2.400ghz～2.4835ghz之间的无线通信技术)、ibeacon(一种由苹果公司发布的基于低功耗蓝牙的无线通信技术)等无线通信方式建立通信连接，或者通过有线方式建立通信连接。

获取模块2用于获取与被控设备当前显示的画面信息联动的拓展画面信息。

在本申请的一个实施例中，拓展画面信息可为被控设备当前显示的画面信息对应的缩略 画面。也就是说，移动终端同步显示被控设备当前显示的画面信息的缩略画面，即去掉被控设备当前显示的画面信息中的北京、图片等附加信息的内容。缩略画面中仅保留了当前显示画面中的操作控件以及操作控件之间的位置信息。举例来说，如图2所示，对于电视中显示的画面可在手机中显示以框图形式在相应位置展示对应的控件的缩略画面。

或者，在本申请的一个实施例中，拓展画面信息的内容可为所述被控设备当前显示的画面信息的内容对应其他视角画面。具体地，可预先根据应用程序的特征场景和类型确定各个应用程序所需的拓展画面信息。举例来说，以游戏程序为例，图3为根据本申请实施例的不同应用程序对应的拓展画面信息。如图3a所示，对于赛车类游戏场景，tv电视端可显示游戏主画面，移动终端可同步显示对应的驾驶室视角的拓展画面信息。如图3b所示，对于cs等战斗类游戏场景，tv端可显示游戏主画面，移动终端可同步显示匕首、枪等对应的拓展画面信息。如图3c所示，对于星际等战略游戏场景，tv端可显示游戏全部地图，移动终端可同步显示本地布阵详情对应的拓展画面信息。

由此，通过在移动终端中提供与被控设备中相同或者不同视角的画面，便于用户从多方位实时了解被控设备中当前显示的应用程序的相关信息，能够给用户提供不同的视觉体验。

本申请的实施例中，获取模块2可通过多种不同方式获取与被控设备当前显示的画面信息联动的拓展画面信息，例如通过服务器端实时推送的拓展画面信息，或者从本地数据中查询对应的拓展画面信息等。本申请中以以下两种方式进行举例说明。

方式一

获取模块2可接收服务器推送的所述拓展画面信息，其中，所述拓展画面信息根据所述被控设备中显示所述画面信息的应用程序的标识信息查询得到。其中，应用程序的标识信息可包括应用程序的名称、包名等。在本申请的一个实施例中，可通过预设的接口函数从被控设备的系统中获取当前显示的应用程序的标识信息；或者，可通过对被控设备当前显示的画面信息进行图像识别，以获取当前显示的画面信息中的文字信息或者图标，并从获取的文字信息或图标确定对应的应用程序。。

也就是说，服务器中预先存储有大量的与不同应用程序对应的拓展画面信息。服务器可根据被控设备中显示所述画面信息的应用程序的标识信息查询对应的拓展画面资源，并实时地将与被控设备当前显示画面联动的拓展画面信息推送至获取模块2。

其中，应用程序的标识信息可由被控设备发送至服务器；

或者，通信模块1与被控设备建立通信连接后，获取模块2可从被控设备获取应用程序的标识信息，并上传到服务器。

方式二

获取模块2可获取所述被控设备中显示所述画面信息的应用程序的标识信息；根据所述 标识信息获取对应的拓展数据包；确定所述拓展数据包中与所述被控设备中当前显示的画面信息联动的拓展画面信息。

应当理解，上述两种方式仅是示例性的，本申请中，获取模块2并不限于通过上述两种方式获取与被控设备当前显示的画面信息联动的拓展画面信息，其他可行的联动方式也应包含在本申请的范围内。

在本申请的一个实施例中，由于移动终端与被控设备的显示屏幕的尺寸存在差异。因此，移动终端在获取拓展画面信息之后，可对该拓展画面信息进行尺寸调整，以适应移动终端中显示尺寸。

显示模块3用于所述拓展画面信息。

第一接收模块4用于接收用户针对所述拓展画面信息的控制操作。

当用户需要针对被控设备显示的画面信息进行操作时，可直接根据移动终端中显示的拓展画面对移动终端进行操作。由于移动终端具有多样、丰富的传感器及装置，如触摸屏、摄像头、语音输入装置、重力感应器、陀螺仪、加速度计等。因此，第一接收模块4可接收不同形式的控制操作。在本申请的一个实施例中，上述控制操作可包括以下至少之一：

触摸操作、体感操作、手势操作、语音操作。

举例来说，用户可通过点击拓展画面上的操作控件，或者输入语音指令，或者通过控制移动终端在空间左右晃动等方式输入控制操作。

转换模块5用于将所述控制操作转换为所述被控设备可识别的指令。

具体地，转换模块5可根据被控设备的标识信息(如设备序列号等)或者被控设备中显示所述画面信息的应用程序的标识(如应用程序包名、名称等)查询被控设备可识别的指令。

在本申请的一个实施例中，如图10所示，转换模块5可进一步包括：识别单元51、确定单元52和转换单元53。

其中，识别单元51对所述控制操作进行识别，以确定所述控制操作对应的操作指令。

如果控制操作为触摸操作，则别单元51可将该触摸操作识别为对相应操作控件的操作指令。举例来说，如果控制操作为触摸拓展画面中的第3个控件按钮a，则可识别为“对控件按钮a的点击操作”。

如果控制操作为语音操作，则识别单元51可对用户输入的语音进行语音识别，以得到对相应控件的操作指令。

如果控制操作为体感操作或者手势操作，则识别单元51可识别体感操作或手势操作为对相应按键的按键操作。

确定单元52确定所述被控设备当前显示的画面信息对应的指令映射关系。

在本申请的实施例中，确定单元52可根据被控设备的标识信息(如设备序列号等)查 询与之对应的指令映射关系。或者确定单元52可根据被控设备中显示所述画面信息的应用程序的标识(如应用程序包名、名称等)查询与之对应的指令映射关系。

其中，指令映射关系为移动终端中的指令与被控设备可识别的指令之间的映射关系。因此，基于该指令映射关系可查询到识别出的指令对应的被控设备可识别的指令。

在本申请的一个实施例中，确定单元52可用于：获取被控设备中显示所述画面信息的应用程序的标识信息；根据所述标识信息查询预设数据库，以获取对应的指令映射关系。

其中，预设数据库中存储有不同应用程序对应的指令映射关系，可存储在移动终端本地或者服务器中。

转换单元53根据所述指令映射关系将所述操作指令转换为所述被控设备可识别的指令。

具体地，转换单元53可根据指令映射关系对上述操作指令进行解析、映射和转换。举例来说，以下为根据所述指令映射关系将所述操作指令转换为所述被控设备可识别的指令的三个示例。

示例一(如图6所示)

tv(电视)操控方式：无触摸响应，即不可响应触摸操作；

phone(移动终端)接收到的操作指令：触摸第3个控件按钮；

指令解析为：移动，点击；

指令映射为：首先定位控制焦点当前位置(为第1个控件按钮)，接着将控制焦点从当前位置移动到第3个控件按钮，然后点击第3个控件按钮；

指令转换为：右键(方向键)2下，ok键1下。

示例二

当前界面为赛车游戏界面，操控方式为按键响应；

移动终端接收到的操作指令为：gsensor(重力传感器)体感操控；

指令解析为：方向键，单击或长按等；

指令映射为：首先确定体感操作对应的方向，然后点击；

指令转换：右键(方向键)，单击或长按。

示例三

当前界面为可以响应触摸操作的游戏界面；

移动终端接收到的操作指令为：触摸第3个控件按钮；

指令解析为：点击；

指令映射为：点击；

指令转换为：点击第3个控件按钮一下。

发送模块6用于将所述被控设备可识别的指令发送至所述被控设备，以对所述被控制设备进行控制。

在本申请的一个实施例中，当被控设备响应发送模块6发送的可识别的指令后，移动终端可在拓展画面的相应响应位置产生点击提示，或者，还可以进行振动提示等，以增强设备间的互动性，提升用户体验。

此外，由于移动终端获取的被控设备当前显示的画面信息，因此，当被控设备显示的画面发生变化时，移动终端中的拓展画面也随之改变。

图11为根据本申请另一个实施例的基于移动终端的设备控制装置的结构示意图。

如图11所示，根据本申请实施例的基于移动终端的设备控制装置，包括：通信模块1、获取模块2、显示模块3、第一接收模块4、转换模块5和发送模块6、提供模块7、第二接收模块8和替换模块9。

其中，通信模块1、获取模块2、显示模块3、第一接收模块4、转换模块5和发送模块6与图9所示实施例相同。

提供模块7用于在所述拓展画面信息的显示界面提供画面控制窗口，其中，所述画面控制窗口中显示有至少一个画面切换按钮。

其中，画面控制窗口的形式可以为但不限于浮层窗口、侧边栏等。至少一个画面切换按钮分别与至少一个拓展画面信息相对应。

第二接收模块8用于接收用户对所述画面切换按钮的选择操作。

替换模块9用于获取所述选择操作选择的画面切换按钮对应的拓展画面信息，并替换所述显示界面中当前显示的拓展画面信息。

由此，通过在拓展画面信息的显示界面提供画面切换按钮，使得用户可根据需要选择拓展画面信息，为用户提供多样化的控制体验，进一步便于用户对不同视角画面的观看和控制。

图12为根据本申请另一个实施例的基于移动终端的设备控制装置的结构示意图。

如图12所示，根据本申请实施例的基于移动终端的设备控制装置，包括：通信模块1、获取模块2、显示模块3、第一接收模块4、转换模块5和发送模块6、确定模块10和控制模块11。

其中，通信模块1、获取模块2、显示模块3、第一接收模块4、转换模块5和发送模块6与图9所示实施例相同。

确定模块10确定所述被控设备当前显示画面对应的应用场景。

举例来说，应用场景可包括游戏进行中的场景、主界面场景、视频播放场景等。

在本申请的一个实施例中，确定模块10可根据生成所述画面信息的应用程序所属的类型确定所述画面信息对应的应用场景。举例来说，如果生成所述画面信息的应用程序为游戏 类应用，则所述画面信息对应的应用场景为游戏进行中的场景；生成所述画面信息的应用程序为视频播放类应用，则所述画面信息对应的应用场景为视频播放场景。

进一步地，确定模块10可更精细化地对不同画面信息对应的应用场景进行划分。具体地，在确定生成所述画面信息的应用程序的基础上，确定模块10可进一步对画面信息进行图像识别，以确定该画面信息的内容，并根据所述画面信息的内容确定对应的应用场景。举例来说，如果所述画面信息的内容为应用程序或设备主界面或菜单界面，则所述画面信息对应的应用场景为主界面场景；如果所述画面信息的内容为游戏程序运行中的界面，则所述画面信息对应的应用场景为游戏进行中的场景。

控制模块11根据所述应用场景控制所述拓展画面信息的显示参数。

在本申请的一个实施例中，显示参数可包括流畅度和/或分辨率。

举例来说，如果应用场景为应用程序或设备的主界面，其在显示过程中更新频率较低，或者只有在用户进行操作时才会发生界面变化，因此控制模块11可适当降低流畅度，例如可将帧率设置为20fps((framespersecond，每秒显示帧数)；而对于游戏中的场景、或者视频播放场景，其画面是动态变换的，因此，可适当调高流畅度，例如，可设置为30fps((framespersecond，每秒显示帧数)。

对于分辨率来说，控制模块11也可根据实际场景的显示需要进行调整。

由此，可根据被控设备中画面信息对应的应用场景动态调整拓展画面的显示参数，在给用户良好的视觉体验的同时，能够有效降低设备功耗。

本申请实施例的基于移动终端的设备控制装置，通过获取被控设备中当前显示的画面信息联动的拓展画面信息，并在移动终端中显示，并将用户针对拓展画面信息的控制操作转换为被控设备可识别的指令发送至被控设备，以对被控设备进行控制，实现了移动终端与被控设备的协同操作控制，充分利用被控设备显示体验好、移动终端操控自然、方便的优势，将移动终端多样、自然、方便的操作转换为被控设备可识别的指令，以进行控制，从而操作单一的被控设备可通过移动终端进行各种多样化的协同控制，实现了设备间的优势互补，在带给用户所见即所得的可视化操作体验的同时，极大地提高了用户交互自由度和灵活性。

本申请还提出一种移动终端。

本申请实施例的种移动终端，包括：本申请任一实施例的基于移动终端的设备控制装置。

本申请实施例的移动终端，通过获取被控设备中当前显示的画面信息联动的拓展画面信息，并在移动终端中显示，并将用户针对拓展画面信息的控制操作转换为被控设备可识别的指令发送至被控设备，以对被控设备进行控制，实现了移动终端与被控设备的协同操作控制， 充分利用被控设备显示体验好、移动终端操控自然、方便的优势，将移动终端多样、自然、方便的操作转换为被控设备可识别的指令，以进行控制，从而操作单一的被控设备可通过移动终端进行各种多样化的协同控制，实现了设备间的优势互补，在带给用户所见即所得的可视化操作体验的同时，极大地提高了用户交互自由度和灵活性。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以 采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同限定。