一种电子监察前端数据采集方法及系统与流程

本发明涉及实时电子监察前端数据采集的新方法和新系统，特别涉及需进行电子监察的多个系统，其无法提供数据库访问接口给数据交换平台的情况。

背景技术：

在推进依法行政、建设法治政府的大背景下，电子政务信息化工作得到了长足的发展，形成了很多地、市、省等多级电子政务信息系统。各政务系统多以业务为中心，构建了很多应用系统。对这些应用系统进行有效的实时电子监察，首先需解决数据采集问题。但各应用系统建立背景、采用的技术架构和遵循的标准和规范不尽相同，传统的基于数据库进行数据交换的实时数据采集方法变得非常困难，系统的多样性导致对接口开发的频次显著提高，带来了很高的开发成本，并且有些特殊系统(如人口信息库)并不方便提供接口。

技术实现要素：

有鉴于此，本发明的目的就是要解决上述不足而提供了一种电子监察前端数据采集方法及系统，为实时电子监察提供研判的数据源。

为解决上述问题之一，本发明提出了一种电子监察前端数据采集方法，包括：

A、从各前端业务主机进行数据采集；

B、从各前端业务主机采集的数据通过通信接口送达到电子监察后台系统；

C、电子监察后台系统根据送达的数据进行研判，并实时将研判结果通过通信接口反馈送达到各前端业务主机；

D、各前端业务主机根据研判结果进行相应的处理。

作为本发明一种电子监察前端数据采集方法在一方面的改进，各前端业务主机数据采集实体为浏览器插件，通过浏览器打开、关闭实现数据采集插件的加载和注销。

作为本发明一种电子监察前端数据采集方法在一方面的改进，所述步骤A包括两个过程：

A1、业务系统页面元素配置；

A2、业务系统页面元素数据采集。

作为本发明一种电子监察前端数据采集方法在一方面的改进，所述A1具体步骤包括：

A11、数据采集插件加载后打开配置软件界面；

A12、数据采集插件抓取页面元素，并将结果呈现在配置软件界面；

A13、通过配置软件界面对需要监察的页面元素进行标注；

A14、将标注的页面元素组织成数据采集协议并传递到电子监察后台系统的后台配置数据库。

作为本发明一种电子监察前端数据采集方法在一方面的改进，所述A2具体步骤还包括：

A21、数据采集插件从电子监察后台系统的后台配置数据库，导入当前业务页面的数据采集协议并进行解析；

A22、实时监控页面动作事件；

A23、根据事件特征码实现相关页面元素内容的采集；

A24、形成键值对调用数据接口送达电子监察业务系统。

作为本发明一种电子监察前端数据采集方法在一方面的改进，所述D具体步骤还包括：

D1、数据采集插件接收电子监察后台系统发送的实时研判结果，进行弹窗警告或锁屏，对终端用户的违规操作行为进行及时干预。

作为本发明一种电子监察前端数据采集方法在一方面的改进，数据采集插件具备自动升级功能，将部署在电子监察后台系统的软件版本传入并安装，用于方便数据采集插件后期维护。

为解决上述问题之二，本发明提出了一种电子监察前端数据采集系统，包括前端业务主机和电子监察后台系统，所述前端业务主机包括浏览器和数据采集插件，所述数据采集插件，用于从前端业务主机进行数据采集；所述电子监察后台系统包括后台服务器数据接口/配置数据库和电子监察业务处理子系统，所述后台服务器数据接口/配置数据库用于将从前端业务主机采集的数据送达到电子监察业务处理子系统，所述电子监察业务处理子系统根据送达的数据进行研判，并实时将研判结果通过后台服务器数据接口/配置数据库反馈送达到前端业务主机。

本发明电子监察前端数据采集方法及系统的实际运用，极大地提高了软件的开发效率，一次开发，分业务场景配置运行，系统可配置性带来了高效和灵活；同时，基于业务前端页面的实时监控采集数据，相比基于业务数据库的数据交换的方式，提高了采集数据的时效性和解决了特殊数据库的不可接入性问题。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明一种电子监察前端数据采集系统的结构示意图；

图2为本发明一种电子监察前端数据采集方法的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

参考图1，电子监察前端数据采集系统包括：基于BHO(Browser Helper Objects，浏览器帮助者对象)的前端数据采集插件模块和后台服务器数据接口/配置数据库模块，该前端数据采集插件模块部署于前端业务主机，用于从web页面抓取页面元素及其内容，主要完成业务系统配置和实时监察两个过程的实时数据采集；后台服务器数据接口/配置数据库模块部署于电子监察后台系统，主要用于完成采集元素配置信息存储和接收实时采集的业务数据，完成其数据库存储并提供给电子监察业务处理子系统作为研判数据源，并将相应的研判结果传回前端数据采集插件模块。

在进一步地具体方案中，该前端数据采集插件模块还集成有自动升级功能。具体地，插件模块运行后会先与后台服务器通信，查询是否有新的插件版本需要升级，如果后台服务器部署有新的插件版本，则插件提示用户“正在进行系统升级”，将新版本软件加载到业务主机并完成安装，提示用户重启浏览器完成插件更新，否则插件继续运行。通过上述设置，方便数据采集插件的后期维护。

基于以上系统，对于电子监察前端数据采集方法，如图2所示，包括以下步骤：

步骤1，由于本实施例子基于BHO插件技术，浏览器特指IE浏览器，IE启动后前端业务处理流程开始，然后执行步骤2。

步骤2，BHO插件启动运行。

步骤3，BHO插件可以设置是否运行时显示配置界面，“是”则进行业务系统页面元素配置过程，执行步骤11；如果“否”则插件进行业务系统页面元素数据采集流程，执行步骤4。

步骤4，浏览器进入业务界面，插件捕获该页面的URL。

步骤5，根据步骤4获取的URL，其作为主键从后台服务器配置数据库读取该URL对应的数据采集协议字串。本例中数据采集协议字串其结构为：“触发控件特征码:事件码: Acquisition[控件特征码:控件特征码:控件特征码]触发控件特征码:事件码: Acquisition[控件特征码:控件特征码:控件特征码];”组合以“;”字符分割，控件特征码由页面元素名Name、类型Type、补充字段Add组成，表达为“Name/Type/Add”，在本URL页面内具有唯一性；事件码为页面动作描述，如单击Clicked、双击DClicked、聚焦Focus、字符输入Typed等；Acquisition字段表示：该特征码控件在该事件码产生时，需要从页面获取的控件元素序列，控件元素以“:”分割。协议字串举例如下：

Submit/Button/add1:Clicked:Acquisition[PersonName/Text/add2: FoodSel/Select/add3: Price/Text/add4];

步骤6，插件对采集协议进行解析，得到页面动作序列。动作序列数据结构组织成hash表的方式，键为控件特征码+动作码的组合，值即为相应的待采集元素组合，方便采集协议很多的时候，提高检索效率。

步骤7，BHO插件在页面装载完成后，挂接事件处理接口，实时监听键盘、鼠标等页面事件，不失一般性，居民身份证读入器读取、一维或二维扫描枪扫描都可视为键盘事件。

步骤8，页面事件产生后，插件获取事件特征码（该控件特征码+动作码的组合），从页面动作序列中得到待采集元素序列。

步骤9，插件进一步获取待采集元素序列的内容，并按照“控件特征码：控件内容”方式以键值对方式调用后台服务器数据接口，将采集内容送达电子监察业务处理子系统，并获取电子监察业务处理子系统通过研判处理后的研判结果字串。优选地，本例中键值对采用JSON串的方式传递。

步骤10，插件解析研判结果字串，得到研判结果动作码和提示文本，根据动作码，插件执行对应的研判动作。研判结果动作码包括弹窗报警、锁屏、阻止表单提交等。研判完成后，如果用户仍然在该URL操作，而执行步骤7，如果进入其他URL操作，则执行步骤4。

步骤11，浏览器进入待配置业务界面，控件运行于配置模式。

步骤12，插件抓取业务界面的页面元素的控件特征码，并呈现在配置界面。

步骤13，通过配置界面，可以选择标注需要采集的页面元素，即记录下该页面元素的控件特征码。需要说明的是，配置界面选择可选择任意标记的控件特征码配置为触发控件，同时配置动作码，然后选择该触发控件需要采集页面元素的控件特征码组合，从而形成数据采集协议一条记录，按照这样的方式可以完成该配置页面的完整协议配置。

步骤14，获取当前配置页面的URL。

步骤15，将数据采集协议以URL作为主键存入后台服务器配置数据库。

步骤16，如果还有其他业务页面需要配置，则配置没有完成，执行步骤11；否则配置完成，执行步骤17。

步骤17，用户退出浏览器，插件结束运行。

综上所述，本发明中数据采集方法分为业务系统采集元素配置和电子监察实时业务数据采集两个过程。数据采集软件，作为web页面插件的方式运行，由浏览器本身管理插件的加载和注销实现，插件提供采集元素配置软件界面，并且可以设置是否运行。

若其运行，则运行后可从各业务系统终端web页面采集信息元素，在界面里可以实现各web页面需采集元素的标记，每个采集元素标记为一条字串，以各web页面的URL作为主键，标记字串存入后台页面采集元素配置数据库，数据采集元素配置过程完成。

若其不运行，业务系统终端web页面加载完成后，插件会根据当前web页面的URL，从配置好的后台页面采集元素配置数据库中读取相关的采集元素标记字串，插件对其进行解析后，得到该页面的页面动作序列数据结构；插件实时监控web页面鼠标和键盘事件(包括身份证阅读器、一维和二维扫描枪输入事件)，获取触发该事件的页面元素的特征码，由该特征码从动作序列中得到待采集元素序列，然后实现该采集元素序列中各采集元素内容的抓取，形成采集元素键值对后，调用后台服务器数据接口，将采集元素内容实时传入电子监察系统后台业务系统，同时得到后台服务器数据接口返回来的研判处理结果；插件得到研判处理结果为字串描述，进行解析后，得到研判结果动作码及提示文本，根据动作码执行相应的页面处理动作，如弹窗提醒、电脑锁屏、阻止页面数据提交、研判正常等处理过程，完成本次触发事件的数据采集及研判处理。

本发明电子监察前端数据采集方法及系统的实际运用，极大地提高了软件的开发效率，一次开发，分业务场景配置运行，系统可配置性带来了高效和灵活；同时，基于业务前端页面的实时监控采集数据，相比基于业务数据库的数据交换的方式，提高了采集数据的时效性和解决了特殊数据库的不可接入性问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。