本发明涉及数据处理,具体而言,本发明涉及一种交互式数据分析的方法及装置。
背景技术:
1、随着社会的发展,大数据已经成为信息技术领域最受关注的热点之一。大数据也正在为人类社会中的各行各业带来了一次以数据为基础的探索、发现和创新的机遇。
2、大数据处理是通过各种技术手段,对海量数据进行高效、快速的处理,并从中获得价值和有用的信息。在现有的大数据处理领域,人们常用的交互式数据分析工具,如project jupyter、apache zeppelin,多数是通过专用的 web ui 使用,不具备利用成熟的代码编辑器的能力,影响了用户体验。同时,现有的交互式数据分析工具中的文件格式对用户不友好,这在一定程度上降低了开发效率。此外,现有的交互式数据分析工具缺乏内置的可视化支持,需要用户自行编写可视化处理代码,使用成本也比较高。
技术实现思路
1、为了寻找更为有效的交互式数据分析的实现方案,本发明提供了一种交互式数据分析的方法及装置。
2、方案一:
3、提供一种交互式数据分析的方法,该交互式数据分析的方法包括如下步骤:
4、获取预设段落,其中,所述预设段落为用户在预置通用代码编辑器中的输入内容;所述预置通用代码编辑器为visual studio code;
5、在所述预置通用代码编辑器中逐行解析所述预设段落并将逐行解析后的所述预设段落与预制合法规则进行比较,判断所述预设段落是否满足所述预制合法规则,其中,所述预制合法规则基于markdown方言创建;
6、如果所述预设段落满足所述预制合法规则,则在所述预设段落的上方配置预设辅助控制组件;
7、基于所述预设辅助控制组件生成指令信息,并在结果查看器中显示所述预设段落的执行结果。
8、优选地,所述预制合法规则包括:
9、段落中存在markdown 方言的标题;
10、段落中存在markdown 代码块的编程语言声明;
11、段落中存在段落布局信息;
12、段落中存在唯一的段落标识符;
13、段落中存在markdown 代码块。
14、优选地,所述预设辅助控制组件从左到右依次设置为调试按钮、状态按钮、用于预设段落内容复制的克隆按钮、用于清除预设段落内容的清除按钮、用于删除预设段落的删除按钮、执行进度显示区域、执行结束时间显示区域、执行耗时显示区域;
15、所述执行进度显示区域的显示信息、所述执行结束时间显示区域的显示信息、所述执行耗时显示区域的显示信息与所述调试按钮的运行状态、所述调试按钮的运行状态相适应。
16、优选地,所述调试按钮的运行状态包括调试状态和停止状态;所述状态按钮的运行状态包括表征从未执行过的初始状态、待执行状态、执行状态、完成状态、失败状态、被取消状态;所述执行进度显示区域的显示信息、所述执行结束时间显示区域的显示信息、所述执行耗时显示区域的显示信息与所述调试按钮的运行状态、所述调试按钮的运行状态相适应,包括:
17、当所述调试按钮的运行状态为停止状态且所述状态按钮的运行状态为初始状态时,则所述执行进度显示区域、所述执行结束时间显示区域、所述执行耗时显示区域均无信息显示;
18、当所述调试按钮的运行状态为调试状态且所述状态按钮的运行状态为待执行状态时,则所述执行进度显示区域、所述执行结束时间显示区域、所述执行耗时显示区域均无信息显示;
19、当所述调试按钮的运行状态为调试状态且所述状态按钮的运行状态为执行状态,则所述执行进度显示区域的显示信息为执行实时进度值,所述执行结束时间显示区域无信息显示,所述执行耗时显示区域的显示信息为执行实时耗时;
20、当所述调试按钮的运行状态为从调试状态恢复为停止状态且所述状态按钮的运行状态为完成状态,则所述执行进度显示区域的显示信息为执行进度完成值,所述执行结束时间显示区域的显示信息为执行结束时间,所述执行耗时显示区域的显示信息为执行总耗时;
21、当所述调试按钮的运行状态为停止状态且所述状态按钮的运行状态为失败状态时,则所述执行进度显示区域无信息显示,所述执行结束时间显示区域的显示信息为上次执行结束时间;所述执行耗时显示区域的显示信息为上次执行总耗时;
22、当所述调试按钮的运行状态为从调试状态恢复为停止状态且所述状态按钮的运行状态为被取消状态时,则所述执行进度显示区域无信息显示,所述执行结束时间显示区域的显示信息为上次执行结束时间;所述执行耗时显示区域的显示信息为上次执行总耗时。
23、优选地,所述结果查看器为基于web前端框架创建的web查看器,所述基于所述预设辅助控制组件生成指令信息,并在结果查看器中显示所述预设段落的执行结果包括如下步骤:
24、预置通用代码编辑器基于所述预设辅助控制组件中的调试按钮生成执行调试指令,并调用rest api 将所述预设段落上传至服务端;
25、使用web查看器显示所述服务端执行并下发的所述预设段落的执行结果。
26、优选地,所述在结果查看器中显示所述预设段落的执行结果之后,包括如下步骤:
27、在所述结果查看器中调整所述预设段落的执行结果并自动同步至所述预设段落中。
28、优选地,所述获取预设段落之前,包括如下步骤:
29、在预置通用代码编辑器中创建notebook文件并使用markdown 方言保存。
30、方案二:
31、提供一种交互式数据分析的装置,该交互式数据分析的装置包括:
32、获取模块,用于获取预设段落,其中,所述预设段落为用户在预置通用代码编辑器中的输入内容;所述预置通用代码编辑器为visual studio code;
33、解析判断模块,用于在所述预置通用代码编辑器中逐行解析所述预设段落并将逐行解析后的所述预设段落与预制合法规则进行比较,判断所述预设段落是否满足所述预制合法规则,其中,所述预制合法规则基于markdown方言创建;
34、配置模块,用于如果所述预设段落满足所述预制合法规则,则在所述预设段落的上方配置预设辅助控制组件;
35、显示模块,用于基于所述预设辅助控制组件生成指令信息,并在结果查看器中显示所述预设段落的执行结果。
36、优选地,所述预制合法规则包括:
37、段落中存在markdown 方言的标题;
38、段落中存在markdown 代码块的编程语言声明;
39、段落中存在段落布局信息;
40、段落中存在唯一的段落标识符;
41、段落中存在markdown 代码块。
42、优选地,所述预设辅助控制组件从左到右依次设置为调试按钮、状态按钮、用于预设段落内容复制的克隆按钮、用于清除预设段落内容的清除按钮、用于删除预设段落的删除按钮、执行进度显示区域、执行结束时间显示区域、执行耗时显示区域;
43、所述执行进度显示区域的显示信息、所述执行结束时间显示区域的显示信息、所述执行耗时显示区域的显示信息与所述调试按钮的运行状态、所述调试按钮的运行状态相适应。
44、与现有技术相比,本发明一种交互式数据分析的方法及装置具有如下有益效果:
45、本发明一种交互式数据分析的方法及装置通过在预置通用代码编辑器中使用markdown 方言存储 notebook文件的方式,不仅能够充分利用代码编辑器的强大能力,还能够便于notebook文件的版本控制和迭代完善,提高开发效率,此外,通过配置结果查看器提高了可视化支持,在一定程度上大大降低了交互式数据分析的使用成本。
46、本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。