一种基于Chrome浏览器调试协议的网页取证及数据提取的方法与流程

一种基于chrome浏览器调试协议的网页取证及数据提取的方法
技术领域
1.本发明属于电子取证领域，涉及一种对网页截图、对数据提取的方法，尤其涉及一种基于chrome浏览器调试协议的网页取证及数据提取的方法。


背景技术：

2.超文本(也称网页)是用超链接的方法，将各种不同空间的文字信息组织在一起的网状文本，是由一个叫做网页浏览器(web browser)的程序显示，也是目前互联网应用最广泛的技术。
3.虽然互联网扮演着人们工作、生活的重要角色之一，且互联网的内容多姿多彩，但是，互联网也被色情、赌博、诈骗等涉及违法犯罪的不法之徒利用。随着互联网的普及，违法内容的网站越来越多，急需一种行之有效的方法能对网页取证及数据提取，从而达到对违法网站进行证据固定的目的。
4.现有技术中，对于这些违法网站的取证还停留在了传统的方式上，即，对指定的某一违法网站定制一个能自动将证据固定下来的脚本，脚本能将网站截图、网站基本信息、网站文本内容等保存下来，但这类的现有技术的问题如下：
5.1.由于网站的取证(证据固定)需要涉及证据固定的脚本，而证据固定的脚本需要专业技术人员才能编写，对于执法机关来说难度较大，很难自行编写，需要寻求相关技术人员的帮助。而技术人员编写脚本需花费时间写代码并进行测试，使得取证时间大大延长，可能导致错失最好的取证时机，甚至于无法取证。
6.2.网站内容更新频繁，使得定制的脚本需要即时更新，如果不更新，则之前编写的证据固定脚本不再有效，无法进行证据固定。然而，网站什么时候进行更新，我们很难及时知道，即使知道后，还需要重新修改代码，而这一过程还是需要专业技术人员才能执行。
7.3.数据抓取不够智能，现有技术的数据抓取都是基于网页解析或者数据接口监听的方式，而且通常同一网站的不同界面都需要一一定制脚本才能将数据提取出来，不够灵活。一旦网页结构或者接口更改，还得需要专业技术人员进行重新开发脚本。
8.综上所述，开发一种操作方便、取证效率高、兼容性好、适用性强的网页取证系统迫在眉睫。


技术实现要素：

9.针对现有技术的不足，本发明提供了一种基于chrome浏览器调试协议的网页取证及数据提取的方法：采用动作录制的方式，记录网页中的所有操作，然后经过配置及调整，即可回放之前录制且配置好的动作，从而进行网页证据固定及数据获取。本技术涉及的术语做如下解释：
10.操作录制：在网页中的所有操作统称为操作，包括且不限于：鼠标点击、鼠标滚动、键盘输入、快捷键等。
11.操作回放：将录制好的操作从头再自动的执行一遍叫做操作回放。
12.数据获取：将网页中有用的信息抓取下来，形成表格方式展示的数据的过程叫做数据获取。
13.本发明包括以下步骤：
14.s100：采用websocket协议与chrome浏览器建立通讯并监听用户对chrome浏览器的操作，包括键盘输入、键盘快捷键、鼠标点击、鼠标滚轮滚动、输入文字、滚动页面及文件下载；
15.s200：在chrome浏览器地址栏输入被取证的网页地址，进入被取证页面；
16.s300：判断是否需要提取数据，如果是，执行步骤s400，否则执行步骤s500；
17.s400：提取数据，包括：判断能否自动识别结果中包含待获取数据、自动识别结果、手动配置数据并获取数据；
18.s500：采用chrome浏览器的cdp调试协议，录制并记录用户对chrome浏览器的操作，并对网页页面进行相应的截屏；
19.s600：结束操作录制模式，对所录制的操作清单进行配置和/或编辑，包括删除操作、调整操作的先后顺序、合并操作、增加截图操作、修改操作属性，其中，修改操作属性包括设置操作的触发元素、设置操作执行次数及设置操作间隔时长；
20.s700：回放所配置和/或所编辑的操作清单，按照操作清单依次执行回放；
21.s800：回放完毕并生成取证结果。
22.优选地，步骤s400包括以下步骤：
23.s401：判断能否自动识别结果中包含待获取数据，如果是，执行步骤s402,否则，执行步骤s404；
24.s402：展示chrome浏览器界面中可转化为表格形式的数据区域，用以选择所需区域的数据；
25.s403：定义各个数据区域的数据列名，执行步骤s406；
26.s404：手动选择待获取数据的区域，用以设置待获取数据的位置；
27.s405：在所选择的区域中选择列和/或者修改列名称；
28.s406：结束数据获取，且本次数据获取作为操作录制模式的操作并加到操作清单，返回操作录制模式并录制后续操作。
29.本发明具有以下有益效果：
30.1、针对网站证据的固定过程，绝大部分情况下不再需要专业人员的参与，执法人员即可自己处理，其过程简单，及时性好；
31.2、针对手动数据获取过程，使用可视化的操作过程，使得手动数据获取过程简明易懂；
32.3、针对自动数据获取过程，能够分析网页且获取其中展示的数据，同时也会对数据接口进行监听，通过这两种获取数据方式加上分析，能满足大部分情况下的数据获取需求。
33.由于操作步骤完全由用户自己定义，所以兼容性好，不受网站类型限制，也不会像传统网站取证方法一样，因为网站小众而需要定制脚本才能取证和数据获取。
附图说明
34.图1为本发明所提供的方法的总流程图；
35.图2为本发明所提供的方法中提取数据的具体流程图。
具体实施方式
36.图1示出了本发明所提供的方法的总流程图。如图1所示，本发明的方法包括以下步骤：
37.s100：采用websocket协议与chrome浏览器建立通讯并监听用户对chrome浏览器的操作，包括键盘输入、键盘快捷键、鼠标点击、鼠标滚轮滚动、输入文字、滚动页面及文件下载；
38.s200：在chrome浏览器地址栏输入被取证的网页地址，进入被取证页面；值得注意的是，有些网站需要先登录，才能进入到被取证界面；此时需要操作者自行登录，然后跳转到被取证页面。
39.s300：判断是否需要提取数据，如果是，执行步骤s400，否则执行步骤s500；
40.s400：提取数据，包括：判断能否自动识别结果中包含待获取数据、自动识别结果、手动配置数据并获取数据。
41.图2示出了本发明所提供的方法中提取数据的具体流程图。如图2所示，步骤s400包括以下步骤：
42.s401：判断能否自动识别结果中包含待获取数据，如果是，执行步骤s402,否则，执行步骤s404；
43.s402：展示chrome浏览器界面中可转化为表格形式的数据区域，用以选择所需区域的数据；
44.s403：定义各个数据区域的数据列名，执行步骤s406；
45.s404：手动选择待获取数据的区域，用以设置待获取数据的位置；
46.s405：在所选择的区域中选择列和/或者修改列名称；
47.s406：结束数据获取，且本次数据获取作为操作录制模式的操作并加到操作清单，返回操作录制模式并录制后续操作。
48.s500：采用chrome浏览器的cdp调试协议，录制并记录用户对chrome浏览器的操作，并对网页页面进行相应的截屏；
49.s600：结束操作录制模式，对所录制的操作清单进行配置和/或编辑，包括删除操作、调整操作的先后顺序、合并操作(即，将多个操作合并为一个操作)、增加截图操作、修改操作属性，其中，修改操作属性包括设置操作的触发元素、设置操作执行次数及设置操作间隔时长；
50.其中，设置操作的触发元素：例如鼠标的点击动作，设置其触发元素，也就是点击网页上的某一按钮或者其它元素则触发这个点击动作。换言之，这个点击动作是点击的网页中的某一按钮/区域，则该按钮/区域即为对应网页中的一个触发元素。
51.s700：回放所配置和/或所编辑的操作清单，按照操作清单依次执行回放；
52.s800：回放完毕并生成取证结果。
53.应当理解的是，本发明不限于上述的举例，对本领域普通技术人员来说，可以根据
上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。