一种基于在线分析异构数据的方法及系统与流程

1.本发明涉及信息编码和数据库技术领域，尤其涉及一种基于在线分析异构数据的方法及系统。


背景技术：

2.针对企业内部极快的数据产生速度，数据间关系不直观的问题导致企业对数据的利用效率低下的问题，存在多系统共存，如lims、erp、wms、本地文件、数据库文件等独立数据，形成互不相通的孤岛。这些数据存在结构不同、各种复杂的维度、相对独立且有某些关联，但又杂乱无规则，这些现象就提出对数据处理需要一定的要求，因此低门槛，在线可视化、系统自定运算的诉求大大提高，企业需要高效利用数据的诉求日渐增高，期望建立企业数据完整、统一、无缝隙的高效体系。
3.传统的不同异构数据的处理，需要开发人员进行编程特殊处理，且规则变动后需要持续编码更新功能，从而达到对不同数据的处理，在这过程中存在编码耗时较长，维护成本较高，一般办公人员无法完成数据的处理等等缺点，导致处理非常复杂，不成体系。


技术实现要素：

4.(一)要解决的技术问题
5.鉴于现有技术的上述缺点、不足，本发明提供一种基于在线分析异构数据的方法及系统，其解决了传统的不同异构数据的处理，需要开发人员进行编程特殊处理，且规则变动后需要持续编码更新功能，从而达到对不同数据的处理，在这过程中存在编码耗时较长，维护成本较高，一般办公人员无法完成数据的处理等等缺点，导致处理非常复杂，不成体系的技术问题。
6.(二)技术方案
7.为了达到上述目的，本发明采用的主要技术方案包括：
8.第一方面，本发明实施例提供一种基于在线分析异构数据的方法，所述方法包括：
9.s1、接收用户在预先设定的多个不同结构数据入口按钮中所确定的数据入口按钮信息，并显示用户所确定的数据入口按钮所对应的登录界面；
10.s2、接收用户在所述登录界面所输入的登录信息后，根据预先配置的提取信息，在与所述数据入口按钮对应的数据来源结构中提取相应的数据；
11.s3、针对所提取的数据，根据预先设定的服务，形成标准数据内容库；
12.s4、接收用户输入的在指定时间段内的数据指标和展示方式，根据用户输入的在指定时间段内的数据指标，在所述标准数据内容库确定与该在指定时间段内的数据指标所对应的数据，并按照所述展示方式在ui页面上进行展示。
13.优选地，
14.预先设定的多个不同结构数据入口按钮，包括：与数据库db对应的第一数据入口按钮、与中间桥库mdb对应的第二数据入口按钮、与接口对应的第三数据入口按钮、与本地
文件对应的第四数据入口按钮。
15.优选地，
16.与所述第一数据入口按钮对应的登录界面中显示用于用户输入第一数据入口登录信息的提示信息；
17.其中，用户输入第一数据入口登录信息包括数据库的：类型、地址、端口、账号、登录密码；
18.与所述第二数据入口按钮对应的登录界面中显示用于用户输入第二数据入口登录信息的提示信息；
19.其中，用户输入第二数据入口登录信息包括中间桥接库的：地址、端口、账号、登录密码；
20.与所述第三数据入口按钮对应的登录界面中显示用于用户输入第三数据入口登录信息的提示信息；
21.其中，用户输入第三数据入口登录信息包括接口的：类型、地址、入参、返回参数；
22.与所述第四数据入口按钮对应的登录界面中显示用于用户输入第四数据入口登录信息的提示信息；
23.其中，用户输入第四数据入口登录信息包括：本地文件中的表头以及对应数据。
24.优选地，
25.针对数据库预先配置的提取信息为：用户所预先指定的数据的数据库表以及表对应的字段；
26.针对中间桥接库预先配置的提取信息为：用户所预先指定的数据的中间桥接库表以及表对应的字段；
27.针对接口预先配置的提取信息为：接口入参返回数据的对象；
28.针对本地文件预先配置的提取信息为：本地文件中的表头以及对应数据。
29.优选地，
30.在s2中根据预先配置的提取信息，在与所述数据入口按钮对应的数据来源结构中提取相应的数据，存储在预先设定的独立结构数据库表中。
31.优选地，
32.其中，预先设定的服务包括：在所述独立结构数据库表中按照预先配置的cron生成调度规则自动生成对应数据，并放入预设数据库中形成标准数据内容库；
33.所述预先配置的cron生成调度规则为按照预先设定的提取时间维度在所述独立结构数据库表中采集预设时间段内的数据。
34.优选地，
35.其中，所述预先设定的提取时间维度包括：一秒提取一次、分钟提取一次、小时提取一次、一天提取一次、一月提取一次、一年提取一次。
36.优选地，
37.其中，若数据指标是平均值时，则判断标准数据内容库中在指定时间段内所对应的数据所属的提取时间维度；
38.若所述指定时间段内所对应的数据所属的提取时间维度包括多种提取时间维度，则分别获取所述指定时间段内每一提取时间维度所对应的数据的平均值，并基于所述指定
时间段内每一提取时间维度所对应的数据的平均值，获取指定时间段内数据的最终平均值；
39.其中指定时间段内数据的最终平均值为第一总值乘以预先设定的修正系数k；
40.所述第一总值为所述指定时间段内每一提取时间维度所对应的数据的平均值相加后得到的总值。
41.优选地，
42.其中，若分析的指标是最大值时，则在标准数据内容库中在指定时间段内所对应的数据确定最大的值，并基于所述指定时间段内所对应的数据确定最大的值和预先设定的修正系数k，获取指定时间段内的最大值，并展示；
43.所述指定时间段内的最大值为所述指定时间段内所对应的数据确定最大的值与预先设定的修正系数k的乘积；
44.其中，若分析的指标是最小值时，则在标准数据内容库中在指定时间段内所对应的数据确定最小的值，并基于所述指定时间段内所对应的数据确定最小的值和预先设定的修正系数k，获取指定时间段内的最小值，并展示；
45.所述指定时间段内的最小值为所述指定时间段内所对应的数据确定最小的值与预先设定的修正系数k的乘积。
46.另一方面，本实施例还提供一种基于在线分析异构数据的系统，所述系统包括：
47.第一模块，用于接收用户在预先设定的多个不同结构数据入口按钮中所确定的数据入口按钮信息，并显示用户所确定的数据入口按钮所对应的登录界面；
48.第二模块，用于接收用户在所述登录界面所输入的登录信息后，根据预先配置的提取信息，在与所述数据入口按钮对应的数据来源结构中提取相应的数据；
49.第三模块，用于针对所提取的数据，根据预先设定的服务，形成标准数据内容库；
50.第四模块，用于接收用户输入的在指定时间段内的数据指标和展示方式，根据用户输入的在指定时间段内的数据指标，在所述标准数据内容库确定与该在指定时间段内的数据指标所对应的数据，并按照所述展示方式在ui页面上进行展示。
51.(三)有益效果
52.本发明的有益效果是：本发明的一种基于在线分析异构数据的方法及系统，由于采用接收用户在所述登录界面所输入的登录信息后，根据预先配置的提取信息，在与所述数据入口按钮对应的数据来源结构中提取相应的数据；针对所提取的数据，根据预先设定的服务，形成标准数据内容库；接收用户输入的在指定时间段内的数据指标和展示方式，根据用户输入的在指定时间段内的数据指标，在所述标准数据内容库确定与该在指定时间段内的数据指标所对应的数据，并按照所述展示方式在ui页面上进行展示，相对于现有技术而言，其可以不同结构数据的统一处理、分析，通过模型处理和计算分析，达到数据的可视化操作的方法和系统，建立完整的数据管理体系。
附图说明
53.图1为本发明的一种基于在线分析异构数据的方法流程图；
54.图2为本发明的一种基于在线分析异构数据的系统结构示意图。
具体实施方式
55.为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
56.为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
57.实施例一
58.参见图1，一种基于在线分析异构数据的方法，其特征在于，所述方法包括：
59.s1、接收用户在预先设定的多个不同结构数据入口按钮中所确定的数据入口按钮信息，并显示用户所确定的数据入口按钮所对应的登录界面。
60.预先设定的多个不同结构数据入口按钮，包括：与数据库db对应的第一数据入口按钮、与中间桥库mdb对应的第二数据入口按钮、与接口对应的第三数据入口按钮、与本地文件对应的第四数据入口按钮。
61.与所述第一数据入口按钮对应的登录界面中显示用于用户输入第一数据入口登录信息的提示信息。
62.其中，用户输入第一数据入口登录信息包括数据库的：类型、地址、端口、账号、登录密码。
63.与所述第二数据入口按钮对应的登录界面中显示用于用户输入第二数据入口登录信息的提示信息。
64.其中，用户输入第二数据入口登录信息包括中间桥接库的：地址、端口、账号、登录密码。
65.与所述第三数据入口按钮对应的登录界面中显示用于用户输入第三数据入口登录信息的提示信息。
66.其中，用户输入第三数据入口登录信息包括接口的：类型、地址、入参、返回参数。
67.与所述第四数据入口按钮对应的登录界面中显示用于用户输入第四数据入口登录信息的提示信息。
68.其中，用户输入第四数据入口登录信息包括：本地文件中的表头以及对应数据。
69.s2、接收用户在所述登录界面所输入的登录信息后，根据预先配置的提取信息，在与所述数据入口按钮对应的数据来源结构中提取相应的数据。
70.针对数据库预先配置的提取信息为：用户所预先指定的数据的数据库表以及表对应的字段。
71.针对中间桥接库预先配置的提取信息为：用户所预先指定的数据的中间桥接库表以及表对应的字段。
72.针对接口预先配置的提取信息为：接口入参返回数据的对象。
73.针对本地文件预先配置的提取信息为：本地文件中的表头以及对应数据。
74.在s2中根据预先配置的提取信息，在与所述数据入口按钮对应的数据来源结构中提取相应的数据，存储在预先设定的独立结构数据库表中。
75.s3、针对所提取的数据，根据预先设定的服务，形成标准数据内容库。其中，预先设
定的服务包括：在所述独立结构数据库表中按照预先配置的cron生成调度规则自动生成对应数据，并放入预设数据库中形成标准数据内容库。
76.所述预先配置的cron生成调度规则为按照预先设定的提取时间维度在所述独立结构数据库表中采集预设时间段内的数据。
77.其中，所述预先设定的提取时间维度包括：一秒提取一次、分钟提取一次、小时提取一次、一天提取一次、一月提取一次、一年提取一次。
78.s4、接收用户输入的在指定时间段内的数据指标和展示方式，根据用户输入的在指定时间段内的数据指标，在所述标准数据内容库确定与该在指定时间段内的数据指标所对应的数据，并按照所述展示方式在ui页面上进行展示。
79.其中，若数据指标是平均值时，则判断标准数据内容库中在指定时间段内所对应的数据所属的提取时间维度。
80.若所述指定时间段内所对应的数据所属的提取时间维度包括多种提取时间维度，则分别获取所述指定时间段内每一提取时间维度所对应的数据的平均值，并基于所述指定时间段内每一提取时间维度所对应的数据的平均值，获取指定时间段内数据的最终平均值。
81.其中指定时间段内数据的最终平均值为第一总值乘以预先设定的修正系数k。
82.所述第一总值为所述指定时间段内每一提取时间维度所对应的数据的平均值相加后得到的总值。
83.其中，若分析的指标是最大值时，则在标准数据内容库中在指定时间段内所对应的数据确定最大的值，并基于所述指定时间段内所对应的数据确定最大的值和预先设定的修正系数k，获取指定时间段内的最大值，并展示。
84.所述指定时间段内的最大值为所述指定时间段内所对应的数据确定最大的值与预先设定的修正系数k的乘积。
85.其中，若分析的指标是最小值时，则在标准数据内容库中在指定时间段内所对应的数据确定最小的值，并基于所述指定时间段内所对应的数据确定最小的值和预先设定的修正系数k，获取指定时间段内的最小值，并展示。
86.所述指定时间段内的最小值为所述指定时间段内所对应的数据确定最小的值与预先设定的修正系数k的乘积。
87.本发明的一种基于在线分析异构数据的方法，由于采用接收用户在所述登录界面所输入的登录信息后，根据预先配置的提取信息，在与所述数据入口按钮对应的数据来源结构中提取相应的数据；针对所提取的数据，根据预先设定的服务，形成标准数据内容库；接收用户输入的在指定时间段内的数据指标和展示方式，根据用户输入的在指定时间段内的数据指标，在所述标准数据内容库确定与该在指定时间段内的数据指标所对应的数据，并按照所述展示方式在ui页面上进行展示，相对于现有技术而言，其可以不同结构数据的统一处理、分析，通过模型处理和计算分析，达到数据的可视化操作的方法和系统，建立完整的数据管理体系。
88.实施例二
89.参见图1，本实施例二提供一种基于在线分析异构数据的方法，所述方法包括：
90.s1、接收用户在预先设定的多个不同结构数据入口按钮中所确定的数据入口按钮
信息，并显示用户所确定的数据入口按钮所对应的登录界面。
91.预先设定的多个不同结构数据入口按钮，包括：与数据库db对应的第一数据入口按钮、与中间桥库mdb对应的第二数据入口按钮、与接口对应的第三数据入口按钮、与本地文件对应的第四数据入口按钮。
92.与所述第一数据入口按钮对应的登录界面中显示用于用户输入第一数据入口登录信息的提示信息。
93.其中，用户输入第一数据入口登录信息包括数据库的：类型、地址、端口、账号、登录密码。
94.与所述第二数据入口按钮对应的登录界面中显示用于用户输入第二数据入口登录信息的提示信息。
95.其中，用户输入第二数据入口登录信息包括中间桥接库的：地址、端口、账号、登录密码。
96.与所述第三数据入口按钮对应的登录界面中显示用于用户输入第三数据入口登录信息的提示信息。
97.其中，用户输入第三数据入口登录信息包括接口的：类型、地址、入参、返回参数。
98.与所述第四数据入口按钮对应的登录界面中显示用于用户输入第四数据入口登录信息的提示信息。
99.其中，用户输入第四数据入口登录信息包括：本地文件中的表头以及对应数据。
100.针对数据库预先配置的提取信息为：用户所预先指定的数据的数据库表以及表对应的字段。
101.针对中间桥接库预先配置的提取信息为：用户所预先指定的数据的中间桥接库表以及表对应的字段。
102.针对接口预先配置的提取信息为：接口入参返回数据的对象。
103.针对本地文件预先配置的提取信息为：本地文件中的表头以及对应数据。
104.其中，数据库的类型包括：oracle数据库、sqlserver数据库、mysql数据库、mariadb数据库。
105.所述接口的类型包括：dll接口、jar接口、api接口。
106.本地文件的类型包括：txt文件、csv文件、xls文件、xlsx文件、word文件、pdf文件。
107.s2、接收用户在所述登录界面所输入的登录信息后，根据预先配置的提取信息，在与所述数据入口按钮对应的数据来源结构中提取相应的数据。
108.在s2中根据预先配置的提取信息，在与所述数据入口按钮对应的数据来源结构中提取相应的数据，存储在预先设定的独立结构数据库表中。
109.s3、针对所提取的数据，根据预先设定的服务，形成标准数据内容库。
110.其中，预先设定的服务包括：在所述独立结构数据库表中按照预先配置的cron生成调度规则自动生成对应数据，并放入预设数据库中形成标准数据内容库。
111.所述预先配置的cron生成调度规则为按照预先设定的提取时间维度在所述独立结构数据库表中采集预设时间段内的数据。
112.本实施例中，cron:cron是一个linux下的定时执行工具，可以在无需人工干预的情况下运行作业。是在约定的时间执行已经计划好的工作。
113.其中，所述预先设定的提取时间维度包括：一秒提取一次、分钟提取一次、小时提取一次、一天提取一次、一月提取一次、一年提取一次。
114.s4、接收用户输入的在指定时间段内的数据指标和展示方式，根据用户输入的在指定时间段内的数据指标，在所述标准数据内容库确定与该在指定时间段内的数据指标所对应的数据，并按照所述展示方式在ui页面上进行展示。
115.本实施例的具体应用中，展示方式可以是图表、柱状图、饼图、折线图、树图中的一种或者几种。
116.其中，若数据指标是平均值时，则判断标准数据内容库中在指定时间段内所对应的数据所属的提取时间维度。
117.若所述指定时间段内所对应的数据所属的提取时间维度包括多种提取时间维度，则分别获取所述指定时间段内每一提取时间维度所对应的数据的平均值，并基于所述指定时间段内每一提取时间维度所对应的数据的平均值，获取指定时间段内数据的最终平均值。
118.其中指定时间段内数据的最终平均值为第一总值乘以预先设定的修正系数k。
119.所述第一总值为所述指定时间段内每一提取时间维度所对应的数据的平均值相加后得到的总值。
120.其中，若分析的指标是最大值时，则在标准数据内容库中在指定时间段内所对应的数据确定最大的值，并基于所述指定时间段内所对应的数据确定最大的值和预先设定的修正系数k，获取指定时间段内的最大值，并展示。
121.所述指定时间段内的最大值为所述指定时间段内所对应的数据确定最大的值与预先设定的修正系数k的乘积。
122.其中，若分析的指标是最小值时，则在标准数据内容库中在指定时间段内所对应的数据确定最小的值，并基于所述指定时间段内所对应的数据确定最小的值和预先设定的修正系数k，获取指定时间段内的最小值，并展示。
123.所述指定时间段内的最小值为所述指定时间段内所对应的数据确定最小的值与预先设定的修正系数k的乘积。
124.另外，在本实施例的实际应用中，在数据的展示过程中，可人工干预就行数据二次修正，进行在线分析，可自定义是否存储分析结果。
125.另一方面，参见图2，本实施例还提供一种基于在线分析异构数据的系统，所述系统包括：
126.第一模块，用于接收用户在预先设定的多个不同结构数据入口按钮中所确定的数据入口按钮信息，并显示用户所确定的数据入口按钮所对应的登录界面。
127.第二模块，用于接收用户在所述登录界面所输入的登录信息后，根据预先配置的提取信息，在与所述数据入口按钮对应的数据来源结构中提取相应的数据。
128.第三模块，用于针对所提取的数据，根据预先设定的服务，形成标准数据内容库。
129.第四模块，用于接收用户输入的在指定时间段内的数据指标和展示方式，根据用户输入的在指定时间段内的数据指标，在所述标准数据内容库确定与该在指定时间段内的数据指标所对应的数据，并按照所述展示方式在ui页面上进行展示。
130.本发明的一种基于在线分析异构数据的方法，由于采用接收用户在所述登录界面
所输入的登录信息后，根据预先配置的提取信息，在与所述数据入口按钮对应的数据来源结构中提取相应的数据；针对所提取的数据，根据预先设定的服务，形成标准数据内容库；接收用户输入的在指定时间段内的数据指标和展示方式，根据用户输入的在指定时间段内的数据指标，在所述标准数据内容库确定与该在指定时间段内的数据指标所对应的数据，并按照所述展示方式在ui页面上进行展示，相对于现有技术而言，其可以不同结构数据的统一处理、分析，通过模型处理和计算分析，达到数据的可视化操作的方法和系统，建立完整的数据管理体系。
131.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
132.本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
133.应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
134.此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
135.尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
136.显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。