一种操作屏幕的方法、装置、移动终端和存储介质与流程

本发明涉及通讯领域，特别是涉及一种操作屏幕的方法、装置、移动终端和存储介质。

背景技术：

有触摸屏的移动终端或装置，触摸屏设备做为其输入设备是一个非常重要的输入端。但是在使用过程中，由于一些意外因素会导致移动终端或装置的触摸屏处于不可恢复的失效状态。在这种情形下，如何能继续对移动设备或装置做一些输入的操作则变得尤为重要和关键。

目前，为了解决触摸屏失效后的移动终端或装置仍能保留一些用处，比如获取到移动终端或装置中保存的对用户有意义的部分内容信息。现有做法是将usb端口权限打开，然后连接电脑等设备，通过一些软件或是操作命令将移动终端或设备中保存的重要内容转移拷贝。而打开usb端口权限的方法主要有两种，一种是两种特定指令动作的结合，借用某个硬按键和某个传感器的特定的操作动作。另一种也是借用的传感器的特定数据做为打开usb端口的指令。打开usb端口权限这种处理方法对移动设备或终端操作有很大的局限性，所起到的作用仅仅是单一的移动设备或装置中的重要信息的拷贝转移，而且必须要借助电脑等其他设备才能完成。

现有技术中，在触摸屏失效后，这个移动终端已经不再是一个可操控可有效输入的装置，用户无法再对该移动终端进行任何控制，它的实质功能已经几乎完全丧失。

技术实现要素：

本发明提供一种操作屏幕的方法、装置、移动终端和存储介质，用以解决现有技术的如下问题：在触摸屏失效后，这个移动终端无法进行输入操作，用户无法再对该移动终端进行任何控制，实质功能已经几乎完全丧失。

为解决上述技术问题，一方面，本发明提供一种操作屏幕的方法，包括：按照预定处理方式处理摄像头获取到的图像，以在显示屏上仅显示所述摄像头拍摄时聚焦形成的焦点框；检测所述焦点框的移动状态，并检测预定物理按键是否接收到第一预定方式的按压操作；在所述预定物理按键接收到所述第一预定方式的按压操作的情况下，选择所述焦点框当前位置对应的控件，并触发所述控件执行被点击后对应的操作。

可选的，按照预定处理方式处理摄像头获取到的图像之前，还包括：按照预定检测方法检测移动终端的触摸屏是否失效；在所述触摸屏失效的情况下，当所述显示屏再次被点亮时，发送开启所述摄像头的触发信号。

可选的，检测所述焦点框的移动状态，包括：根据所述焦点框的大小和位置确定所述焦点框的中心点位置，并检测所述中心点位置的移动状态。

可选的，触发所述控件执行被点击后对应的操作之后，还包括：检测所述预定物理按键是否接收到第二预定方式的按压操作；在接收到所述第二预定方式的按压操作的情况下，返回当前界面的上一级界面。

另一方面，本发明还提供一种操作屏幕的装置，包括：处理模块，用于按照预定处理方式处理摄像头获取到的图像，以在显示屏上仅显示所述摄像头拍摄时聚焦形成的焦点框；第一检测模块，用于检测所述焦点框的移动状态，并检测预定物理按键是否接收到第一预定方式的按压操作；执行模块，用于在所述预定物理按键接收到所述第一预定方式的按压操作的情况下，选择所述焦点框当前位置对应的控件，并触发所述控件执行被点击后对应的操作。

可选的，还包括：第二检测模块，用于按照预定检测方法检测移动终端的触摸屏是否失效；发送模块，用于在所述触摸屏失效的情况下，当所述显示屏再次被点亮时，发送开启所述摄像头的触发信号。

可选的，所述第一检测模块，具体用于根据所述焦点框的大小和位置确定所述焦点框的中心点位置，并检测所述中心点位置的移动状态。

可选的，所述第一检测模块，还用于检测所述预定物理按键是否接收到第二预定方式的按压操作；所述执行模块，还用于在接收到所述第二预定方式的按压操作的情况下，返回当前界面的上一级界面。

另一方面，本发明还提供一种移动终端，包括上述的操作屏幕的装置。

另一方面，本发明还提供一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述操作屏幕的方法的步骤。

本发明可以通过摄像头获取图像时的焦点框来选择需要触发的控件，再通过预定物理按键来确认选择和开启控件的触发操作，该过程无需通过触摸屏就可以完成原有触摸屏可以实现的操作，提高了手机多场景下应用能力，用户体验较好，解决了现有技术的如下问题：在触摸屏失效后，这个移动终端无法进行输入操作，用户无法再对该移动终端进行任何控制，实质功能已经几乎完全丧失。

附图说明

图1是本发明实施例中操作屏幕的方法的流程图；

图2是本发明实施例中操作屏幕的装置的结构示意图；

图3是本发明实施例中操作屏幕的装置的架构图；

图4是本发明实施例中窗口图像显示示意图。

具体实施方式

为了解决现有技术的如下问题：在触摸屏失效后，这个移动终端无法进行输入操作，用户无法再对该移动终端进行任何控制，实质功能已经几乎完全丧失；本发明提供了一种操作屏幕的方法、装置、移动终端和存储介质，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

本发明第一实施例提供了一种操作屏幕的方法，该方法的流程如图1所示，包括步骤s102至s106：

s102，按照预定处理方式处理摄像头获取到的图像，以在显示屏上仅显示摄像头拍摄时聚焦形成的焦点框。

该过程在摄像头获取图像的过程中，需要对获取到的图像进行处理，以让获取到的图像并不呈现在屏幕上，而只在屏幕上呈现获取图像时生成的焦点框。

s104，检测焦点框的移动状态，并检测预定物理按键是否接收到第一预定方式的按压操作。

在整个过程中，焦点框是根据被拍摄物体焦点的移动而移动的，也会根据被拍摄物体与摄像头距离的远近而改变大小，因此，在该过程中是需要一直检测焦点框的移动状态的。

s106，在预定物理按键接收到第一预定方式的按压操作的情况下，选择焦点框当前位置对应的控件，并触发控件执行被点击后对应的操作。

当预定物理按键接收到到某一种方式的按压操作时(例如单次按压)，就可以根据焦点框当前位置来选择控件，选择方式可以是选择被焦点框框住面积较多的那个控件，也可以是以焦点框中任意一个点作为选择点，例如焦点框的右上角点、中心点等。如果以焦点框中心点作为选择的基准点，则检测焦点框的移动状态时，需要根据焦点框的大小和位置确定焦点框的中心点位置，并检测中心点位置的移动状态。

上述s106的选择和触发的过程就相当于当触摸屏可使用情况下用户点击某一个控件的过程，然而，本实施例触摸屏是失效的或者是不使用触摸屏的情况下，因此，用户想触发某一个控件时，通过预定物理按键来确认焦点框的位置。

上述s104至s106实施是存在一个前提的，就是需要工程人员在系统后台预先将焦点框对应的组件和触摸屏原先接收选择操作的部件进行关联，在关联后，虽然触摸屏失效了，但是可以隔空对显示屏进行操作。

本发明实施例可以通过摄像头获取图像时的焦点框来选择需要触发的控件，再通过预定物理按键来确认选择和开启控件的触发操作，该过程无需通过触摸屏就可以完成原有触摸屏可以实现的操作，提高了手机多场景下应用能力，用户体验较好，解决了现有技术的如下问题：在触摸屏失效后，这个移动终端无法进行输入操作，用户无法再对该移动终端进行任何控制，实质功能已经几乎完全丧失。

由于上述方法的操作过程相对于现有技术中通过手指触发某一控件的过程要复杂，因此，上述方法在实现时，可以是针对触摸屏失效的移动终端或设备，所以，在按照预定处理方式处理摄像头获取到的图像之前，还可以按照预定检测方法检测移动终端的触摸屏是否失效，并在触摸屏失效的情况下，当显示屏再次被点亮时，发送开启摄像头的触发信号。该过程相当于为上述操作屏幕的方法设置了一个开启机制，即在触摸屏不好用的情况下才实施上述s102至s106的过程。

在触发控件执行被点击后对应的操作之后，还可以检测预定物理按键是否接收到第二预定方式的按压操作；并在接收到第二预定方式的按压操作的情况下，返回当前界面的上一级界面。该过程的第二预定方式的按压操作可以是连续两次按压上述预定物理按键，该操作是为了方便用户在错误的触发控件后快速的返回到上一级界面，提高用户体验。

本发明第二实施例一种操作屏幕的装置，该装置可以设置在移动终端中，其结构示意如图2所示，包括：

处理模块10，用于按照预定处理方式处理摄像头获取到的图像，以在显示屏上仅显示摄像头拍摄时聚焦形成的焦点框；第一检测模块11，与处理模块10耦合，用于检测焦点框的移动状态，并检测预定物理按键是否接收到第一预定方式的按压操作；执行模块12，与第一检测模块11耦合，用于在预定物理按键接收到第一预定方式的按压操作的情况下，选择焦点框当前位置对应的控件，并触发控件执行被点击后对应的操作。

在摄像头获取图像的过程中，需要对获取到的图像进行处理，以让获取到的图像并不呈现在屏幕上，而只在屏幕上呈现获取图像时生成的焦点框。

实现过程中，焦点框是根据被拍摄物体焦点的移动而移动的，也会根据被拍摄物体与摄像头距离的远近而改变大小，因此，在该过程中是需要一直检测焦点框的移动状态的。

当预定物理按键接收到某一种方式的按压操作时(例如单次按压)，就可以根据焦点框当前位置来选择控件，选择方式可以是选择被焦点框框住面积较多的那个控件，也可以是以焦点框中任意一个点作为选择点，例如焦点框的右上角点、中心点等。如果以焦点框中心点作为选择的基准点，则第一检测模块，具体用于根据焦点框的大小和位置确定焦点框的中心点位置，并检测中心点位置的移动状态。

上述选择和触发的过程就相当于当触摸屏可使用情况下用户点击某一个控件的过程，然而，本实施例触摸屏是失效的或者是不使用触摸屏的情况下，因此，用户想触发某一个控件时，通过预定物理按键来确认焦点框的位置。

由于上述操作过程相对于现有技术中通过手指触发某一控件的过程要复杂，因此，上述方法在实现时，可以是针对触摸屏失效的移动终端或设备。所以，上述装置还可以包括：第二检测模块，用于按照预定检测方法检测移动终端的触摸屏是否失效；发送模块，与处理模块和第二检测模块耦合，用于在触摸屏失效的情况下，当显示屏再次被点亮时，发送开启摄像头的触发信号。

上述第一检测模块，还用于检测预定物理按键是否接收到第二预定方式的按压操作；上述执行模块，还用于在接收到第二预定方式的按压操作的情况下，返回当前界面的上一级界面。第二预定方式的按压操作可以是连续两次按压上述预定物理按键，该操作是为了方便用户在错误的触发控件后快速的返回到上一级界面，提高用户体验。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

本发明第三实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

s11，按照预定处理方式处理摄像头获取到的图像，以在显示屏上仅显示摄像头拍摄时聚焦形成的焦点框。

s12，检测焦点框的移动状态，并检测预定物理按键是否接收到第一预定方式的按压操作。

s13，在预定物理按键接收到第一预定方式的按压操作的情况下，选择焦点框当前位置对应的控件，并触发控件执行被点击后对应的操作。

由于上述方法的操作过程相对于现有技术中通过手指触发某一控件的过程要复杂，因此，上述方法在实现时，可以是针对触摸屏失效的移动终端或设备，所以，在按照预定处理方式处理摄像头获取到的图像之前，存储介质可以被设置为存储用于执行如下过程：按照预定检测方法检测移动终端的触摸屏是否失效，并在触摸屏失效的情况下，当显示屏再次被点亮时，发送开启摄像头的触发信号。该过程相当于为上述操作屏幕的方法设置了一个开启机制，即在触摸屏不好用的情况下才实施上述s11至s13。

在触发控件执行被点击后对应的操作之后，存储介质可以被设置为存储用于执行如下过程的代码：检测预定物理按键是否接收到第二预定方式的按压操作；并在接收到第二预定方式的按压操作的情况下，返回当前界面的上一级界面。该过程的第二预定方式的按压操作可以是连续两次按压上述预定物理按键，该操作是为了方便用户在错误的触发控件后快速的返回到上一级界面，提高用户体验。

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行上述实施例记载的方法步骤。可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

本发明第四实施例提供了一种操作屏幕的方法和装置，主要涉及一种在触摸屏失效后仍能有效操控移动终端的处理过程。在触摸屏失效后，启动前摄像头，将屏幕可视区分层处理，所分的层次结构是上下两层的叠加。下层是移动设备或装置正常显示输出窗口，上层是摄像头对人脸识别的选择框。人脸位置变动导致选择框移动，从而可定位到需要输入的区域，结合按键做确认和选择。

由于本实施例的实施对象是触摸屏失效的移动终端或装置，因此实施本实施例的移动终端或装置其应该具有设备良好的前置摄像头，并且lcd显示屏正常以及硬件按键的支持。

图3为本实施例操作屏幕的装置的架构图，由主控设备模块、显示处理模块、数据处理模块、输入/输出模块组成。

(1)主控设备模块(相当于第二实施例的第二检测模块和发送模块)：判断触摸屏处于失效状态，并启动完成本发明实施的前置摄像头硬件设备。

(2)显示处理模块(相当于第二实施例的处理模块)：主要负责图像分层显示处理，并将处理后图像显示在窗口。处理后的窗口下层是正常窗口显示内容，上层为前置摄像头输出图像处理后的图像；主要是过滤前置摄像头图像背景，而保留人脸选择框，将人脸选择框叠加放在正常显示窗口之上。

(3)数据处理模块(相当于第二实施例的第一检测模块)：获取选择框的坐标，并将坐标数据做为输入上报给输入系统。

(4)输入/输出模块(相当于第二实施例的执行模块)：处理由数据处理模块输入的数据，分发到相应的控件。

基于上述装置，本实施例提供的操作屏幕的方法包括如下流程：

步骤s31：在当前移动设备或是装置触摸屏完全失效后，启动前置摄像头，进入到隔空输入状态。

触摸屏是否失效的标识参数可做为系统参数写入文件系统中。如目前是触摸屏失效的状态，电源键唤醒系统后，启动前置摄像头，对位人脸和前置摄像头的位置关系，确认相对位置关系正确后，即可以自由控制选择框在窗口的移动，然后进入到隔空输入模式。

步骤s32：通过人脸和前置摄像头相对位置变化而引起选择框位置移动大小变化，移动范围为当前显示窗口。进入到隔空输入状态后，窗口显示图像是正常情况下的窗口图像和前置摄像头输出图像处理后的图像合成，这个处理后的合成图像是过滤掉前置摄像头摄入背景而只保留选择框。人脸和前置摄像头相对位置变化会引起选择框位置和大小在可视窗口上移动。

用户确认当前位置选择框在窗口屏幕上是否移动到预期选择的图标或者字符，如果是，则可以执行s33。一般情况下，窗口图像会由很多图标或是字符组成，其中一些是可做为输入的图标或是字符，把这些可输入的单元统称为控件，由于选择框大小可变，位置可以自由在窗口移动，因此需要不断调整选择框的位置和大小，以确认是否选择框的位置就是想要输入的控件的位置。

步骤s33：通过按键确认选择框的位置。

当选择框移动到想要做为输入的控件单元之后，需要按下按键进行确认。其中需要进行的处理是，计算出选择框的位置信息，建议选取选择框中心点坐标做为输入数据；然后将计算出来的坐标提交到输入系统。

步骤s34：预期输入的图标或字符控件接收到输入信息，执行动作。

由输入系统分解所提交的坐标信息，在框架层中做分发处理，相应的控件得到指令后做出相应的动作，比如进入到某个应用或是某个应用的下一个界面。

图4为步骤s32的窗口图像显示示意图。其中，401是显示窗口区域；402是可以移动位置的大小可变的选择框；403是在窗口上排列的图标，代表了各个不同的控件或功能模块的应用，其点击可选。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。