一种用于表格工具快捷调用的语音插件构建方法与流程

本发明属于智能操作技术领域，尤其涉及一种用于表格工具快捷调用的语音插件构建方法。

背景技术：

表格软件可提供非常丰富的表格编辑和计算功能，但是表格用于数据处理时通常需要面临大量的重复操作；同时，不同用户针对对于同一组数据处理又会自定义各种快捷操作。为了提高表格操作的快捷性，现有的表格操作软件本身也会提供对应的快捷操作按钮。然而，一方面，大部分时候，普通用户并不能快速掌握这些快捷操作；另一方面，表格操作软件本身提供的操作属性大多是英文或者混合语种表述，导致用户无法准确查找其含义，从而降低了表格操作的效率。

申请号为cn201610188309.7的中国发明专利申请提出一种基于hichart技术基础之上的便捷统一灵活自制的数据统计报表制作方法。所述的方法由虚拟表/视图生成器根据界面提交参数信息创建数据库表与虚拟表的映射关系，或虚拟表与虚拟视图的映射关系，每个虚拟表对应一个数据库库表，虚拟表字段对应数据库表字段，用户在客户端操作虚拟表会最终映射到其对应的数据库库表；由虚拟视图解析器生成最终sql；由报表数据统计分析器组装成报表格式数据；由报表展示客户端将数据动态展示出来。该发明在无需精通hichart报表技术及各常用关系型数据库sql的情况下也能灵活、便捷的按需定制常用的数据统计报表。

此外，中国发明专利公开文本cn111178023a公开一种可视化自定义报表设计系统，包括数据物理层、工作目录配置层、逻辑数据层、设计处理层、图表结合层和报表展现层；数据物理层包括数据库、web服务器、程序模块、文本模块和数据表库；工作目录配置层包括制作环境模块和设计模块；逻辑数据层包括报表数据集和数据绑定模块；设计处理层包括参数设计模块、数据过滤模块、样式设置模块、条件展示模块和运算设计模块；图表结合层包括图表类型模块和图表数据模块；报表展现层包括报表展示层、表单录入模块和打印输出层。该发明中，全面满足html5/winform/asp.net/asp.netmvc/wpf等平台下报表设计和报表开发的需求，使得用户能够快速搭建灵活的设计个性化、多样化的报表，从而大大提高工作效率、降低用户工作成本。

如何针对在线表格处理软件，提高处理和操作效率，使得用户在不完全熟悉软件性能的情况下，迅速定位到需要调用的功能按钮，现有技术并未给出有效的解决方案。

技术实现要素：

为解决上述技术问题，本发明提出一种用于表格工具快捷调用的语音插件构建方法以及实现该方法的计算机可读存储介质。所述方法包括：建立与表格操作工具关联的全局监测进程；启动全局监测进程；在全局监测进程中展开多个辅助线程；将每个所述辅助线程捕捉的每个连续界面操作的操作路径包含的各个动作节点进行顺序化关联存储，形成多条操作路径集；构建语音口令捕获进程；激活语音插件；通过语音插件识别所述语音输入接口输入的语音序列；基于语音序列，在所述多条操作路径集中查找出至少一条操作路径；基于用户的当前反馈，调用所述至少一条操作路径。

具体而言，在本发明的第一个方面，提出一种用于表格工具快捷调用的语音插件构建方法，所述方法主要包括如下步骤s100-s108：

s100：建立与表格操作工具关联的全局监测进程；

s101：当所述表格操作工具处于前台工作状态时，启动所述全局监测进程；

s102：在所述全局监测进程中展开多个辅助线程，每个所述辅助线程用于捕获所述处于前台工作状态时的所述表格操作工具的每个连续界面操作的操作路径包含的各个动作节点；

s103：将每个所述辅助线程捕捉的所述每个连续界面操作的操作路径包含的各个动作节点进行顺序化关联存储，形成多条操作路径集；

s104：构建语音口令捕获进程，所述语音口令捕获进程与所述语音输入接口通信；

s105：通过所述语音口令捕获进程判断所述语音输入接口是否输入快捷激活口令；如果是，则激活所述语音插件；

s106：通过所述语音插件识别所述语音输入接口输入的语音序列；

s107：基于所述语音序列，在所述多条操作路径集中查找出至少一条操作路径；

s108：基于用户的当前反馈，调用所述至少一条操作路径。

其中，所述语音插件连接操作路径数据库，所述操作路径数据库包括第一历史操作路径数据库和第二全局操作路径数据库；

所述第一历史操作路径数据库用于存储所述步骤s103形成的所述多条操作路径集；

所述第二全局操作路径数据库用于存储所述表格操作工具可支持的所有操作路径集。

所述步骤s102进一步包括：

在每个所述辅助线程与所述操作路径数据库之间建立单向数据管道；

所述步骤s103进一步包括：

每个所述辅助线程通过所述单向数据管道将其捕捉的动作节点依序发送至所述第一历史操作路径数据库；

所述第一历史操作路径数据库将每个所述辅助线程捕捉的所述每个连续界面操作的操作路径包含的各个动作节点进行顺序化关联存储，形成多条操作路径集。

在本发明的第二个方面，提供一种办公辅助系统，所述办公辅助系统包括至少一个表格应用，所述表格应用配置至少一个语音插件，所述语音插件采用第一个方面所述的方法构建。

并且，针对不同的表格应用，预先设置不同的快捷激活口令。

本发明的上述方法可以通过计算机程序自动化的实现，因此，在本发明的第三个方面，提供一种计算机可读存储介质，其上存储有计算机可执行程序指令，通过包含处理器和存储器的集成电路芯片，执行所述可执行指令，用于实现第一个方面的所述方法的部分或者全部步骤。

本发明通过插件技术构建了适用于表格工具快捷调用的语音插件，提高了表格操作准确性，使得用户基于语音操作就能迅速定位到需要调用的功能按钮。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种用于表格工具快捷调用的语音插件构建方法的主要步骤流程图

图2是实现图1所述方法的插件与数据库的数据交互示意图

图3-图4是图1所述方法中插件的工作原理的示意图

图5是利用图1所述方法中插件的办公辅助系统的示意图

图6是图5所述办公辅助系统中使用的插件的具体组成结构示意图

具体实施方式

首先，介绍插件的概念。

插件(plug-in,又称addin、add-in、addon或add-on,又译外挂)是一种遵循一定规范的应用程序接口编写出来的程序。其只能运行在程序规定的系统平台下（可能同时支持多个平台），而不能脱离指定的平台单独运行。因为插件需要调用原纯净系统提供的函数库或者数据。很多软件都有插件，插件有无数种。例如在ie中，安装相关的插件后，web浏览器能够直接调用插件程序，用于处理特定类型的文件。

其次，需要指出的是，由于插件本身通用性，利用本发明的技术方案，可以针对不同的平台上的不同表格软件开发对应的插件，包括微软的office、开源免费的libreoffice，国内的金山wps套件和永中office；苹果ios环境中的iworks、linux环境中的libreoffice、金山wps等。

接下来，参见图1，是本发明一个实施例的一种用于表格工具快捷调用的语音插件构建方法的主要步骤流程图。

在图1中，所述方法应用于包含语音输入接口的终端界面，所述终端界面上安装有至少一个表格操作工具。

下面详细介绍所述方法的各个步骤。

s100：建立与所述表格操作工具关联的全局监测进程；

s101：当所述表格操作工具处于前台工作状态时，启动所述全局监测进程；

s102：在所述全局监测进程中展开多个辅助线程，每个所述辅助线程用于捕获所述处于前台工作状态时的所述表格操作工具的每个连续界面操作的操作路径包含的各个动作节点；

s103：将每个所述辅助线程捕捉的所述每个连续界面操作的操作路径包含的各个动作节点进行顺序化关联存储，形成多条操作路径集；

s104：构建语音口令捕获进程，所述语音口令捕获进程与所述语音输入接口通信；

s105：通过所述语音口令捕获进程判断所述语音输入接口是否输入快捷激活口令；

如果是，则激活所述语音插件；

s106：通过所述语音插件识别所述语音输入接口输入的语音序列；

s107：基于所述语音序列，在所述多条操作路径集中查找出至少一条操作路径；

s108：基于用户的当前反馈，调用所述至少一条操作路径。

接下来通过附图2-图4进一步阐述上述实施例的部分细节。

在图2中，所述语音插件连接操作路径数据库，所述操作路径数据库包括第一历史操作路径数据库和第二全局操作路径数据库；

所述第一历史操作路径数据库用于存储所述步骤s103形成的所述多条操作路径集；所述第二全局操作路径数据库用于存储所述表格操作工具可支持的所有操作路径集。

基于图2的示意图，

所述步骤s107进一步包括：

基于所述语音序列，判断是否在所述第一历史操作路径数据库查找出至少一条操作路径；

如果否，则基于所述语音序列，在所述第二全局操作路径数据库的所有操作路径集中查找出至少一条操作路径。

显然，上述操作首先考虑了用户自身的个性化操作记录，其次才考虑普遍性的操作记录，能够更好的匹配用户需求。

图3则示出了在所述全局监测进程中展开多个辅助线程的示意图。

其中，当所述表格操作工具处于前台工作状态时，启动所述全局监测进程；在所述全局监测进程中展开多个辅助线程，每个所述辅助线程用于捕获所述处于前台工作状态时的所述表格操作工具的每个连续界面操作的操作路径包含的各个动作节点；将每个所述辅助线程捕捉的所述每个连续界面操作的操作路径包含的各个动作节点进行顺序化关联存储，形成多条操作路径集。

作为示例，每个动作节点可以是针对当前表格界面的操作，例如打开-关闭；编辑-查找；视图-自定义……等。需要注意的是，动作节点通常不单独出现，通常是连续界面操作产生一个操作路径。

作为进一步的改进，参见图4，所述步骤s102进一步包括：

在每个所述辅助线程与所述操作路径数据库之间建立单向数据管道；

所述步骤s103进一步包括：

每个所述辅助线程通过所述单向数据管道将其捕捉的动作节点依序发送至所述第一历史操作路径数据库；

所述第一历史操作路径数据库将每个所述辅助线程捕捉的所述每个连续界面操作的操作路径包含的各个动作节点进行顺序化关联存储，形成多条操作路径集。

需要指出的是，本实施例首次在插件技术中引入数据管道（data-pipeline）技术。

数据管道（data-pipeline）技术原本是用于不同数据库（数据源）之间的数据转移的技术，例如数据备份、数据还原等，采用数据管道技术，可以避免进程阻塞或者使用第三方代理进行数据传输。数据管道即是将不同进程连接起来用于数据传输。

单向数据管道管道则是意味着从一个进程到另一个进程之间的单向数据传输。

本实施例首次采用单向数据管道，可以避免插件技术本身在运行过程中对于表格软件本身的操作的影响。

基于上述实施例，参见图5，给出一种办公辅助系统，所述办公辅助系统包括至少一个表格应用，其所述表格应用配置至少一个语音插件，所述语音插件。

参见图6，所述语音插件包括分段语音判断组件、分段语音动作提取组件以及分段语音指令识别组件。

所述分段语音判断组件用于判断所述语音序列是否具备分段属性，若所述语音序列具备分段属性，则激活所述分段语音动作提取组件。

当所述语音序列包含至少两种语种语音时，所述语音序列具备分段属性。

并且，针对不同的表格应用，预先设置不同的快捷激活口令。

作为示例，所述快捷激活口令可以是预先设置的一段唤醒式语音口令，例如“hi，xx插件！”之类。关于唤醒式语音口令的实现，现有技术已有诸多介绍，本实施例对此不再详细展开。

在本发明的各个实施例中，所述分段属性是指所述语音序列包含两种以上的语种属性。例如，当所述语音序列包含至少两种语种语音时，所述语音序列具备分段属性。

例如，用户的语音输入可能是“打开project的pix-fix功能”，用户本意在于想要打开当前表格项目的像素调节功能用于调节某个框的像素值。

此时，所述语音序列包含第一语种语音序列（打开功能）和至少一个第二语种语音序列（project、pix-fix），因此，具备分段属性。

当所述语音序列包含第一语种语音序列和至少一个第二语种语音序列时，调用所述语音插件的所述分段语音动作提取组件提取出所述第一语种语音序列或者第二语种语音序列。

具体而言，作为一个示例，若所述第一语种语音序列的长度小于所述第二语种语音序列的长度，则调用所述语音插件的所述分段语音动作提取组件提取出所述第一语种语音序列；

否则，调用所述语音插件的所述分段语音动作提取组件提取出所述第二语种语音序列。

将所述分段语音动作提取组件提取的所述第一语种语音序列或者第二语种语音序列转化为文字序列后，进行分词处理后，识别出长尾词；

将所述长尾词作为分段语音指令识别组件的输入。

通过上述技术方案，本发明能够适用于提到表格操作的便携性，尤其是对于商务混合语种或指令的场合，识别准确度更高。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。