一种应用程序的数据采集方法及系统与流程

文档序号:15684135发布日期:2018-10-16 20:52阅读:322来源:国知局
本发明涉及数据采集
技术领域
:,特别是涉及一种应用程序的数据采集方法及系统。
背景技术
::随着智能手机、移动应用程序的发展,基于移动端应用的用户行为数据的采集和分析在企业的运营和决策中占有越来越重要的地位,而移动端的数据采集作为运营和决策的基础慢慢也成为了热门研究的课题。现阶段的数据采集方法通常是企业单位的工作人员基于自身经验,对各个应用的应用程序编程接口(applicationprogramminginterface)进行分析,然后根据不同的应用编写对应的脚本,再人为操作对应的应用程序,从而通过编写的脚本来抓取应用程序的运行数据,再编写脚本将采集的数据进行解包,最后再将数据存储至数据库。但是,这种编写脚本抓包和解包来采集数据的方法,受限于工作人员的认知以及能力水平,需要根据不同应用的api来编写不同的脚本,而且需要人为操作应用程序,数据采集方法效率低且繁琐。技术实现要素:基于此,本发明的目的在于,提供一种应用程序的数据采集方法,其具有数据采集过程智能高效,对工作人员的认知水平以及能力水平没有过高的要求,大大简化数据采集过程的优点。一种应用程序的数据采集方法,包括如下步骤:获取客户端的接入信号,并发送采集信号到客户端;获取客户端根据采集信号反馈的允许对其上的应用操作的允许信号;调用智能采集接口并发送控制指令自动对客户端的各个应用执行设定操作,且自动采集各个应用执行设定操作时生成的对应的数据信息,并将该数据信息自动进行解析后存储至数据库。相比于现有技术,本发明通过调用通用的智能采集接口,发送控制指令而自动对客户端的各个应用执行设定操作,且自动采集各个应用执行设定操作时生成的对应的数据信息,并将该数据信息进行自动解析后存储至数据库,数据采集过程智能高效,对工作人员的认知水平以及能力水平没有过高的要求,大大简化了数据采集过程。进一步地,在所述获取客户端根据采集信号反馈的允许对其上的应用操作的允许信号后,还获取各个应用的坐标参数和/或每个应用中各模块的坐标参数,以实现对各个应用和/或每个应用中各模块的精准操作。进一步地,所述设定操作包括:分别对各个应用分别执行打开、点击或滑动操作,和/或分别对每个应用内的各个模块执行打开、点击或滑动操作。进一步地,所述各个应用执行设定操作,包括:根据各个应用的坐标参数和打开指令,实现对各个应用的打开操作;和/或根据各个应用的坐标参数和点击指令,实现对各个应用的点击操作;和/或根据每个应用中各模块的坐标参数和打开指令,实现对每个应用中各模块的打开操作;和/或根据每个应用中各模块的坐标参数和点击指令,实现对每个应用中各模块的点击操作;和/或根据各个应用的坐标参数以及滑动操作中设定的滑动步长坐标参数,实现对各个应用的滑动操作;和/或根据每个应用中各模块的坐标参数以及滑动操作中设定的滑动步长坐标参数,实现对每个应用中各模块的滑动操作。本发明还提供一种应用程序的数据采集服务器端,包括:处理器,适于实现各指令;以及存储设备,适于存储多条指令,所述指令适于由所述处理器加载并执行:获取客户端的接入信号,并发送采集信号到客户端;获取客户端根据采集信号反馈的允许对其上的应用操作的允许信号;调用智能采集接口并发送控制指令自动对客户端的各个应用执行设定操作,且自动采集各个应用执行设定操作时生成的对应的数据信息,并将该数据信息自动进行解析后存储至数据库。相比于现有技术,本发明通过调用通用的智能采集接口,发送控制指令而自动对客户端的各个应用执行设定操作,且自动采集各个应用执行设定操作时生成的对应的数据信息,并将该数据信息进行自动解析后存储至数据库,数据采集过程智能高效,对工作人员的认知水平以及能力水平没有过高的要求,大大简化了数据采集过程。本发明还提供一种应用程序的数据采集系统,包括:服务器端和客户端;所述服务器端用于获取客户端的接入信号,并发送采集信号到客户端;所述客户端用于根据采集信号反馈允许对其上的应用执行操作的允许信号到服务器端;所述服务器端用于接收所述允许信号后调用智能采集接口,并发送控制指令到客户端;所述客户端用于接收该控制指令并控制各个应用自动执行设定操作,且将各个应用执行设定操作时生成的对应的数据信息发送到服务器端;所述服务器端用于接收该数据信息并将该数据信息自动进行解析后,存储至数据库。相比于现有技术,本发明通过调用通用的智能采集接口,发送控制指令而自动对客户端的各个应用执行设定操作,且自动采集各个应用执行设定操作时生成的对应的数据信息,并将该数据信息进行自动解析后存储至数据库,数据采集过程智能高效,对工作人员的认知水平以及能力水平没有过高的要求,大大简化了数据采集过程。为了更好地理解和实施,下面结合附图详细说明本发明。附图说明图1为本发明实施例1中应用程序的数据采集方法;具体实施方式请参阅图1,其为本发明实施例1中应用程序的数据采集方法。该应用程序的数据采集方法,包括如下步骤:步骤s11:获取客户端的接入信号,并发送采集信号到客户端。在进行数据采集之前,所述客户端安装了需要被采集数据的一个或一个以上应用。在一个实施例中,客户端可以通用有线方式如串行总线(universalserialbus)连接到服务器,在客户端接入服务器后,服务器即获取客户端的接入信号。为方便客户端与服务器的连接,作为本发明的进一步优化,客户端还可以通过无线方式如无线局域网(wi-fi)连接到服务器。步骤s12:获取客户端根据采集信号反馈的允许对其上的应用操作的允许信号。步骤s13:调用智能采集接口并发送控制指令自动对客户端的各个应用执行设定操作,且采集各个应用执行设定操作时生成的对应的数据信息,并将该数据信息进行解析后存储至数据库。在一个实施例中,所述调用智能采集接口后,还包括自动获取并打开客户端的应用列表。所述设定操作为根据各个应用的应被采集的需求,设定的与各个应用应被采集的需求对应的操作,如若某个应用的应被采集需求是获取该应用滑动时的数据信息,则控制该应用执行的设定操作为滑动操作。本实施例中,所述设定操作包括但不限于:分别对各个应用分别执行打开、点击和滑动操作,和/或分别对每个应用内的各个模块执行打开、点击或滑动操作。在一个实施例中,为精准操作各个应用,在获取客户端传送的允许信号之后,且在调用智能采集接口前,还获取各个应用的坐标参数和/或每个应用中各模块的坐标参数。具体的,根据各个应用的坐标参数和打开指令,实现对各个应用的精准打开操作;和/或根据各个应用的坐标参数和点击指令,实现对各个应用的精准点击操作;和/或根据每个应用中各模块的坐标参数和打开指令,实现对每个应用中各模块的精准打开操作;和/或根据每个应用中各模块的坐标参数和点击指令,实现对每个应用中各模块的精准点击操作;和/或根据各个应用的坐标参数以及滑动操作中设定的滑动步长坐标参数,实现对各个应用的滑动操作;和/或根据每个应用中各模块的坐标参数以及滑动操作中设定的滑动步长坐标参数,实现对每个应用中各模块的滑动操作。在一个实施例中,所述数据信息包括页面布局文件和图像文件。进一步地,可使用程序设计语言中的工具将客户端移动操作系统中的页面布局文件和图像文件获取采集并解析存储,例如,使用python程序设计语言中的工具命令行androiddebugbridge获取页面布局文件中的可扩展标示语言文件(extensivemarkuplanguage)以及图像文件中的便携式网络图形(portablenetworkgraphics)文件存储到服务器。进一步地,根据不用的采集需求,所述数据信息还包括但不限于屏幕颜色rgb值、屏幕分辨率等信息。在对所述数据信息进行解析时,根据页面布局文件解析获取页面布局节点的数据,具体可使用程序设计语言中的网页解析工具,如使用xml工具进行解析。针对图像文件中的便携式网络图形文件,由于便携式网络图形文件内包含有多个子模块如多个应用程序或者某个应用程序的多个模块,因此,可以根据页面布局文件,计算出任意一个子模块的上下左右的边界数值,从而对里面的任意子模块进行切片操作,最后获取各个应用切片的图像文件。在对解析后的数据进行数据存储时,还可以将解析后的页面布局节点的数据存储到数据库,和/或将每张便携式网络图形建立索引并存储至数据库,通过索引可以快速访问到便携式网络图形,并索引到某个应用的图像文件。为进一步提高数据采集的效率,作为本发明的进一步优化,本发明还可以同时获取多个设备的接入信号,进而实现对多台客户端上的应用同时进行数据的采集,具体的,获取多个客户端的接入信号,并将采集信号通过串行或者并行的方式逐个地发送到所述客户端;获取各个客户端根据各自的采集信号反馈的允许对其上的应用操作的允许信号;根据获取的允许信号的数量,并行调用智能采集接口,并发送控制指令自动对客户端的各个应用执行设定操作,且采集各个客户端中各个应用执行设定操作时生成的对应的数据信息,并将该数据信息进行解析后存储至数据库。本发明的应用程序的数据采集方法中,涉及的应用程序主要针对的是智能手机中的应用程序。相比于现有技术,本发明通过调用通用的智能采集接口,发送控制指令而自动对客户端的各个应用执行设定操作,且自动采集各个应用执行设定操作时生成的对应的数据信息,并将该数据信息进行自动解析后存储至数据库,数据采集过程智能高效,对工作人员的认知水平以及能力水平没有过高的要求,大大简化了数据采集过程。本发明还以服务器端的角度,提供一种应用程序的数据采集服务器端,包括:处理器,适于实现各指令;以及存储设备,适于存储多条指令,所述指令适于由所述处理器加载并执行:获取客户端的接入信号,并发送采集信号到客户端;获取客户端根据采集信号反馈的允许对其上的应用操作的允许信号;调用智能采集接口并发送控制指令自动对客户端的各个应用执行设定操作,且自动采集各个应用执行设定操作时生成的对应的数据信息,并将该数据信息自动进行解析后存储至数据库。在进行数据采集之前,所述客户端安装了需要被采集数据的一个或一个以上应用。在一个实施例中,客户端可以通用有线方式如串行总线(universalserialbus)连接到服务器,在客户端接入服务器后,服务器即获取客户端的接入信号。为方便客户端与服务器的连接,作为本发明的进一步优化,客户端还可以通过无线方式如无线局域网(wi-fi)连接到服务器。在一个实施例中,所述调用智能采集接口后,还包括自动获取并打开客户端的应用列表。所述设定操作为根据各个应用的应被采集的需求,设定的与各个应用应被采集的需求对应的操作,如若某个应用的应被采集需求是获取该应用滑动时的数据信息,则控制该应用执行的设定操作为滑动操作。本实施例中,所述设定操作包括但不限于:分别对各个应用分别执行打开、点击和滑动操作,和/或分别对每个应用内的各个模块执行打开、点击或滑动操作。在一个实施例中,为精准操作各个应用,在获取客户端传送的允许信号之后,且在调用智能采集接口前,还获取各个应用的坐标参数和/或每个应用中各模块的坐标参数。具体的,根据各个应用的坐标参数和打开指令,实现对各个应用的精准打开操作;和/或根据各个应用的坐标参数和点击指令,实现对各个应用的精准点击操作;和/或根据每个应用中各模块的坐标参数和打开指令,实现对每个应用中各模块的精准打开操作;和/或根据每个应用中各模块的坐标参数和点击指令,实现对每个应用中各模块的精准点击操作;和/或根据各个应用的坐标参数以及滑动操作中设定的滑动步长坐标参数,实现对各个应用的滑动操作;和/或根据每个应用中各模块的坐标参数以及滑动操作中设定的滑动步长坐标参数,实现对每个应用中各模块的滑动操作。在一个实施例中,所述数据信息包括页面布局文件和图像文件。进一步地,可使用程序设计语言中的工具将客户端移动操作系统中的页面布局文件和图像文件获取采集并解析存储,例如,使用python程序设计语言中的工具命令行androiddebugbridge获取页面布局文件中的可扩展标示语言文件(extensivemarkuplanguage)以及图像文件中的便携式网络图形(portablenetworkgraphics)文件存储到服务器。进一步地,根据不用的采集需求,所述数据信息还包括但不限于屏幕颜色rgb值、屏幕分辨率等信息。在对所述数据信息进行解析时,所述服务器端根据页面布局文件解析获取页面布局节点的数据,具体可使用程序设计语言中的网页解析工具,如使用xml工具进行解析。针对图像文件中的便携式网络图形文件,由于便携式网络图形文件内包含有多个子模块如多个应用程序或者某个应用程序的多个模块,因此,可以根据页面布局文件,计算出任意一个子模块的上下左右的边界数值,从而对里面的任意子模块进行切片操作,最后获取各个应用切片的图像文件。在对解析后的数据进行数据存储时,所述服务器端还可以将解析后的页面布局节点的数据存储到数据库,和/或将每张便携式网络图形建立索引并存储至数据库,通过索引可以快速访问到便携式网络图形,并索引到某个应用的图像文件。为进一步提高数据采集的效率,作为本发明的进一步优化,本发明还可以同时获取多个设备的接入信号,进而实现对多台客户端上的应用同时进行数据的采集,具体的,所述服务器端获取多个客户端的接入信号,并将采集信号通过串行或者并行的方式逐个地发送到所述客户端;所述服务器端获取各个客户端根据各自的采集信号反馈的允许对其上的应用操作的允许信号;所述服务器端根据获取的允许信号的数量,并行调用智能采集接口,并发送控制指令自动对客户端的各个应用执行设定操作,且采集各个客户端中各个应用执行设定操作时生成的对应的数据信息,并将该数据信息进行解析后存储至数据库。本发明的应用程序的数据采集服务器端中,涉及的应用程序主要针对的是智能手机中的应用程序。相比于现有技术,本发明通过调用通用的智能采集接口,发送控制指令而自动对客户端的各个应用执行设定操作,且自动采集各个应用执行设定操作时生成的对应的数据信息,并将该数据信息进行自动解析后存储至数据库,数据采集过程智能高效,对工作人员的认知水平以及能力水平没有过高的要求,大大简化了数据采集过程。本发明还提供一种应用程序的数据采集系统,包括:服务器端和客户端;所述服务器端用于获取客户端的接入信号,并发送采集信号到客户端;所述客户端用于根据采集信号反馈允许对其上的应用执行操作的允许信号到服务器端;所述服务器端用于接收所述允许信号后调用智能采集接口,并发送控制指令到客户端;所述客户端用于接收该控制指令并控制各个应用自动执行设定操作,且将各个应用执行设定操作时生成的对应的数据信息发送到服务器端;所述服务器端用于接收该数据信息并将该数据信息自动进行解析后,存储至数据库。在进行数据采集之前,所述客户端安装了需要被采集数据的一个或一个以上应用。在一个实施例中,客户端可以通用有线方式如串行总线(universalserialbus)连接到服务器,在客户端接入服务器后,服务器即获取客户端的接入信号。为方便客户端与服务器的连接,作为本发明的进一步优化,客户端还可以通过无线方式如无线局域网(wi-fi)连接到服务器。在一个实施例中,所述调用智能采集接口后,所述服务器端还用于自动获取并打开客户端的应用列表。所述设定操作为根据各个应用的应被采集的需求,设定的与各个应用应被采集的需求对应的操作,如若某个应用的应被采集需求是获取该应用滑动时的数据信息,则控制该应用执行的设定操作为滑动操作。本实施例中,所述设定操作包括但不限于:分别对各个应用分别执行打开、点击和滑动操作,和/或分别对每个应用内的各个模块执行打开、点击或滑动操作。在一个实施例中,为精准操作各个应用,在获取客户端传送的允许信号之后,且在调用智能采集接口前,所述服务器端还用于各个应用的坐标参数和/或每个应用中各模块的坐标参数。具体的,根据各个应用的坐标参数和打开指令,实现对各个应用的精准打开操作;和/或根据各个应用的坐标参数和点击指令,实现对各个应用的精准点击操作;和/或根据每个应用中各模块的坐标参数和打开指令,实现对每个应用中各模块的精准打开操作;和/或根据每个应用中各模块的坐标参数和点击指令,实现对每个应用中各模块的精准点击操作;和/或根据各个应用的坐标参数以及滑动操作中设定的滑动步长坐标参数,实现对各个应用的滑动操作;和/或根据每个应用中各模块的坐标参数以及滑动操作中设定的滑动步长坐标参数,实现对每个应用中各模块的滑动操作。在一个实施例中,所述数据信息包括页面布局文件和图像文件。进一步地,可使用程序设计语言中的工具将客户端移动操作系统中的页面布局文件和图像文件获取采集并解析存储,例如,使用python程序设计语言中的工具命令行androiddebugbridge获取页面布局文件中的可扩展标示语言文件(extensivemarkuplanguage)以及图像文件中的便携式网络图形(portablenetworkgraphics)文件存储到服务器。进一步地,根据不用的采集需求,所述数据信息还包括但不限于屏幕颜色rgb值、屏幕分辨率等信息。在对所述数据信息进行解析时,所述服务器端根据页面布局文件解析获取页面布局节点的数据,具体可使用程序设计语言中的网页解析工具,如使用xml工具进行解析。针对图像文件中的便携式网络图形文件,由于便携式网络图形文件内包含有多个子模块如多个应用程序或者某个应用程序的多个模块,因此,可以根据页面布局文件,计算出任意一个子模块的上下左右的边界数值,从而对里面的任意子模块进行切片操作,最后获取各个应用切片的图像文件。在对解析后的数据进行数据存储时,所述服务器端还可以将解析后的页面布局节点的数据存储到数据库,和/或将每张便携式网络图形建立索引并存储至数据库,通过索引可以快速访问到便携式网络图形,并索引到某个应用的图像文件。本发明的应用程序的数据采集系统中,涉及的应用程序主要针对的是智能手机中的应用程序。相比于现有技术,本发明通过调用通用的智能采集接口,发送控制指令而自动对客户端的各个应用执行设定操作,且自动采集各个应用执行设定操作时生成的对应的数据信息,并将该数据信息进行自动解析后存储至数据库,数据采集过程智能高效,对工作人员的认知水平以及能力水平没有过高的要求,大大简化了数据采集过程。以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1