一种便携式电子设备的交互装置及其交互方法与流程

本发明涉及计算机科学与技术领域，具体涉及一种便携式电子设备的交互装置及其交互方法。

背景技术：
从计算机发明以来，人机交互就成为计算机技术中一个重要研究领域，实现进行方便、快捷、人性化的计算机控制是该项研究不断的追求。目前，主流的人机交互方式有如下两种方式。（1）使用者使用键盘，鼠标，触摸屏等输入设备对计算机进行控制，通过按键、点击或触摸手势输入命令，该方式输入的命令相对较为明确，计算机容易进行解析并执行，但是对于用户来说，需要对命令规则进行记忆，友好度较低。这种方式是目前最主流的方式，大多数计算机都采用这种方式。（2）使用者通过语音或动作等方式输入命令，计算机需要通过对语音或动作等进行模式识别，并对识别结果进行理解，分析出要执行的命令。这种方式对于用户来说，友好度更高，但是要求计算机有较高的运算能力和智能化程度。现在，传统便携式计算机和电子设备正逐渐向可穿戴的方向发展。可穿戴电子设备基本上都要求微型化和轻量化，很多可穿戴电子设备的屏幕很小，甚至没有屏幕，因此，利用传统的键盘、鼠标和触摸屏来进行交互显然不可行，因此，可穿戴设备大多采用语音或动作等方式进行交互。此外，很多有肢体缺陷的残障人士在使用传统的键盘、鼠标和触摸屏来进行交互往往有诸多困难，因此，他们也往往需要采用语音或动作等方式进行交互。目前大多数应用程序都是基于传统交互方式开发的，而且并不提供外部控制接口，因此，在传统应用程序上通过模式识别实现交互就成为一个亟待解决的问题。

技术实现要素：
有鉴于此，本发明的目的是提供一种便携式电子设备的交互装置及其交互方法，其在传统应用程序上通过模式识别实现交互，一方面方便在可穿戴电子设备上运行传统应用程序，另一方面方便残障人士使用传统应用程序。本发明是这样实现的，一种便携式电子设备的交互装置，其通过模拟人的操作实现交互；该交互装置包括：模式识别模块，其用于对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；查找模块，其用于根据识别的命令查找预先编制的命令表；第一判断模块，其用于判断在预先编制的命令表中，是否能查找到相应命令；界面图像获取模块，其用于在该查找模块查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；界面图像识别模块，其用于根据预先编制的场景表，对界面图像进行识别；第二判断模块，其用于判断在预先编制的场景表中，是否能查找到当前所在场景；第三判断模块，其用于在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；执行模块，其用于在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。作为上述方案的进一步改进，该交互装置还包括提示模块，该提示模块用于在该查找模块查不到相应命令时，进行出错提示后退出。优选地，该提示模块还用于在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。作为上述方案的进一步改进，该交互装置还包括场景转换模块，该场景转换模块用于在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，执行临时动作脚本，将当前场景转换至与预先编制的场景相对应的命令的执行场景，最后由执行模块执行命令对应的动作脚本。本发明还涉及一种便携式电子设备的交互方法，其通过模拟人的操作实现交互；该交互方法包括以下步骤：对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；根据识别的命令查找预先编制的命令表；判断在预先编制的命令表中，是否能查找到相应命令；在查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；根据预先编制的场景表，对界面图像进行识别；判断在预先编制的场景表中，是否能查找到当前所在场景；在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。作为上述方案的进一步改进，该交互方法还包括步骤：在查不到相应命令时，进行出错提示后退出。优选地，该交互方法还包括步骤：在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。作为上述方案的进一步改进，在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，通过执行该临时动作脚本将当前场景转换至与预先编制的场景相对应的命令的执行场景，并且执行命令对应的动作脚本。本发明的有益效果为：1、可以在使用传统交互方式的应用程序上通过模式识别实现交互，便于在可穿戴电子设备上运行传统应用程序，并且可以方便肢体缺陷的残障人士使用传统应用程序；2、通过模拟人的操作实现交互，对应用程序无任何特殊要求，通用性和兼容性较好。附图说明图1为本发明较佳实施方式提供的便携式电子设备的交互方法的流程图。图2为场景转换示例图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。请参阅图1，其为本发明较佳实施方式提供的便携式电子设备的交互方法的流程图。本发明的便携式电子设备的交互方法为纯软设计，其可划分为模式识别模块、查找模块、第一判断模块、界面图像获取模块、界面图像识别模块、第二判断模块、第三判断模块、执行模块、提示模块、场景转换模块。本发明的便携式电子设备的交互方法包括以下步骤。步骤S11，对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令。步骤S11的模式识别由模式识别模块执行。步骤S12，根据识别的命令查找预先编制的命令表。步骤S12的查找命令表由查找模块执行。步骤S13，判断在预先编制的命令表中，是否能查找到相应命令。步骤S13的找到命令的判断由第一判断模块执行。步骤S14，在查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像。步骤S14的获取解码图像由界面图像获取模块执行。步骤S15，根据预先编制的场景表，对界面图像进行识别。步骤S15的查找场景表由界面图像识别模块执行。步骤S16，判断在预先编制的场景表中，是否能查找到当前所在场景。步骤S16的找到场景的判断由第二判断模块执行。步骤S17，在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景。步骤S17的执行场景的判断由第三判断模块执行。步骤S18，在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。步骤S18的执行动作脚本由执行模块执行。步骤S19，进行出错提示后退出。步骤S19的出错提示由提示模块执行。在查不到相应命令时，或在预先编制的场景表中查不到当前所在场景时，提示模块进行出错提示后退出。步骤S120，在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，通过执行该临时动作脚本将当前场景转换至与预先编制的场景相对应的命令的执行场景，并且执行命令对应的动作脚本。步骤S120的场景转换由场景转换模块执行。命令表主要包括以下内容：命令关键字，执行场景和动作脚本。命令关键字。命令关键字用于对命令识别，在整个命令表中具有唯一性。执行场景用于识别命令的执行环境。动作脚本包括了对用户界面的具体操作，如模拟点击特定坐标；模拟特定手势；在特定区域的文字框内输入命令要求的文字等等。场景表主要包括以下内容：场景名称和场景特征。场景名称用于标示场景。场景特征主要包括特定按钮、图标或文字的位置。场景名称和场景特征在整个场景表中都具有唯一性。场景转换图用于记录各场景之间的转换动作和转换路径，通过对该图可以获得场景之间转换的动作脚本。这里的动作具体为模拟点击特定坐标；模拟特定手势等。场景转换图示例如图2所示，从该图可知，若当前场景为“场景1”，若需要转换至“场景3”，则所需要执行的动作脚本为：动作1，动作3。综上所述，该方法可以在使用传统交互方式的应用程序上通过模式识别实现交互，便于在可穿戴电子设备上运行传统应用程序，并且可以方便肢体缺陷的残障人士使用传统应用程序；该方法通过模拟人的操作实现交互，对应用程序无任何特殊要求，通用性和兼容性较好。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。