报表生成方法、系统、电子设备及存储介质与流程

1.本发明涉及互联网数据处理领域，具体涉及到一种报表生成方法、系统、电子设备及存储介质。


背景技术：

2.随着信息科学技术的飞速发展，特别是云计算、大数据技术在行业领域的广泛应用，未来核心竞争力很大程度上依赖于从大数据中提取信息和知识的速度与能力，而这种速度和能力取决于数据分析、挖掘和应用水平。为了能够清晰有效地传递信息，可以通过使用统计图表让数据可视化。并依托于word文档或者excel常用办公文档格式，在视觉上传达定量信息有效地帮助用户分析和推理数据和证据，使复杂的数据更容易直观、理解和使用。
3.现有技术中生成报表的方法是用户不能自主选择要定时生成报告形式，并且无法将自定义图表落实到文档中。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种报表生成方法、系统、电子设备及存储介质，以解决现有技术中报表不能自动生成的缺点。
5.为此，本发明实施例提供了如下技术方案：
6.根据第一方面，本发明实施例提供了一种报表生成方法，包括：根据用户需求确定输出报表的报表模板信息，所述报表模板信息包括报表概述、图表形式；其中，所述图表形式包括柱状图、折线图和饼图中的至少之一；根据报表模板信息按照预设周期将采集到的待处理报表数据进行数据统计，得到报表统计数据；按照图表形式将报表统计数据传入图表脚本中，所述图表脚本中包括图表形式所对应的图表生成方法；根据所述图表脚本生成图表形式所对应的图表数据；根据报表统计数据和图表数据生成输出报表。
7.可选地，所述预设周期为日、周、月或者年。
8.可选地，所述图表数据的编码格式为base64编码。
9.可选地，根据报表统计数据和图表数据生成输出报表的步骤之后，还包括：将所述输出报表存储至输出文档。
10.可选地，根据报表模板信息按照预设周期将采集到的待处理报表数据进行数据统计，得到报表统计数据的步骤之前，还包括：获取信息采集系统采集到的互联网信息；根据用户需求对互联网信息进行处理，得到用户需要的待处理报表数据。
11.可选地，根据报表模板信息按照预设周期将采集到的待处理报表数据进行数据统计，得到报表统计数据的步骤中，包括：按照预设周期对采集到的待处理报表数据进行更新，得到更新后的待处理报表数据；根据报表模板信息对更新后的待处理报表数据进行统计得到报表统计数据。
12.可选地，按照图表形式将报表统计数据传入图表脚本中的步骤中，包括：根据图表形式对报表统计数据进行数据组装，得到图表组装数据，所述数据组装是赋值键值并拼接
成json结构的数据；将图表组装数据传入图表脚本中。
13.根据第二方面，本发明实施例提供了一种报表生成系统，包括：
14.第一处理模块，用于根据用户需求确定输出报表的报表模板信息，所述报表模板信息包括报表概述、图表形式；其中，所述图表形式包括柱状图、折线图和饼图中的至少之一；
15.第二处理模块，用于根据报表模板信息按照预设周期将采集到的待处理报表数据进行数据统计，得到报表统计数据；
16.第三处理模块，用于按照图表形式将报表统计数据传入图表脚本中，所述图表脚本中包括图表形式所对应的图表生成方法；
17.第四处理模块，用于根据所述图表脚本生成图表形式所对应的图表数据；
18.第五处理模块，用于根据报表统计数据和图表数据生成输出报表。
19.可选地，所述预设周期为日、周、月或者年。
20.可选地，所述图表数据的编码格式为base64编码。
21.可选地，还包括：第六处理模块，用于将所述输出报表存储至输出文档。
22.可选地，还包括：获取模块，用于获取信息采集系统采集到的互联网信息；第七处理模块，用于根据用户需求对互联网信息进行处理，得到用户需要的待处理报表数据。
23.可选地，所述第二处理模块包括：第一处理单元，用于按照预设周期对采集到的待处理报表数据进行更新，得到更新后的待处理报表数据；第二处理单元，用于根据报表模板信息对更新后的待处理报表数据进行统计得到报表统计数据。
24.可选地，第三处理模块包括：第三处理单元，用于根据图表形式对报表统计数据进行数据组装，得到图表组装数据，所述数据组装是赋值键值并拼接成json结构的数据；第四处理单元，用于将图表组装数据传入图表脚本中。
25.根据第三方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器执行上述第一方面任意一项描述的报表生成方法。
26.根据第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行上述第一方面任意一项描述的报表生成方法。
27.本发明实施例技术方案，具有如下优点：
28.本发明实施例提供了一种报表生成方法、系统、电子设备及存储介质，其中，该方法包括：根据用户需求确定输出报表的报表模板信息，所述报表模板信息包括报表概述、图表形式；其中，所述图表形式包括柱状图、折线图和饼图中的至少之一；根据报表模板信息按照预设周期将采集到的待处理报表数据进行数据统计，得到报表统计数据；按照图表形式将报表统计数据传入图表脚本中，所述图表脚本中包括图表形式所对应的图表生成方法；根据所述图表脚本生成图表形式所对应的图表数据；根据报表统计数据和图表数据生成输出报表。上述步骤，先根据用户需求确定输出报表的报表模板信息，报表模板信息包括报表概述、图表形式；其次，根据报表模板信息按照预设周期将采集到的待处理报表数据进行统计得到报表统计数据；然后，按照图表形式将报表统计数据传入到用于生成图表的图
表脚本中；之后，执行图表脚本中对应的图表生成方法生成图表形式所对用的图表数据；最后，将报表统计数据和图表数据组合成输出报表；实现了报表的自动生成。
附图说明
29.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1为本发明实施例的报表生成方法的一个具体示例的流程图；
31.图2为本发明实施例的报表生成方法的另一个具体示例的流程图；
32.图3为本发明实施例的报表生成方法生成的折线图的一个具体示例的示意图；
33.图4为本发明实施例的报表生成方法生成的饼图的一个具体示例的示意图；
34.图5为本发明实施例的报表生成方法生成的柱状图的一个具体示例的示意图；
35.图6为本发明实施例的报表生成系统的一个具体示例的框图；
36.图7为本发明实施例的电子设备的示意图。
具体实施方式
37.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.本发明实施例提供了一种报表生成方法，如图1所示，该方法包括步骤s1
‑
s5。
39.步骤s1：根据用户需求确定输出报表的报表模板信息，所述报表模板信息包括报表概述、图表形式；其中，所述图表形式包括柱状图、折线图和饼图中的至少之一。
40.本实施例中，用户需求中包括用户期望的最终报表数据输出形式，具体包括饼图、折线图、柱状图等。故根据用户需求可以确定输出报表的图表形式。
41.本实施例中，图表形式包括柱状图、折线图和饼图中的至少之一。如用户需求中需要的输出图表是饼图，则图表形式为饼图；又如，用户需求中期望的输出图表是柱状图和折线图两种形式的图表，则图表形式为柱状图和折线图。本实施例对此仅作示意性描述，不以此为限，在实际应用中根据需要合理设置即可。
42.报表概述用于表征报表所包含的信息统计量，具体报表概述中的参数可包括报表所包含的数据总量、数据来源和每一个来源所对应的数量。本实施例中对此仅作示意性描述，不以此为限，在其它实施例中，具体可根据用户需求进行合理设置。
43.本实施例中，将报表模板信息以json结构进行存储，json结构为key
‑
value对组成。
44.步骤s2：根据报表模板信息按照预设周期将采集到的待处理报表数据进行数据统计，得到报表统计数据。
45.本实施例中，待处理报表数据是基于互联网信息得到的，互联网信息又是实时变化的数据，故待处理报表数据也会随之发生变化，因此需要根据报表模板信息按照预设周期将采集到的待处理报表数据进行实时数据统计，得到报表统计数据，提高了对待处理报
表数据进行处理后得到的图表和报表的实时性和准确性。
46.本实施例中，预设周期可以是日、周、月或者年；当然，在其它实施例中，预设周期还可以是其它时间，如小时、分钟等，根据实际需要合理设置即可。
47.本实施例中，报表统计数据包括报表概述中各个参数和参数所对应的具体数值。
48.例如，对待处理报表数据进行数据统计后得到的输出报表所需的报表统计数据如下所示：
49.自2021
‑
05
‑
20 00:00:00至2021
‑
05
‑
21 00:00:00共监测到相关数据信息(1422)篇。
50.其中网媒(287)篇、微博(208)篇、微信(601)篇、博客(1)篇、报刊(4)篇、视频(5)篇、app共(131)篇、论坛(105)篇。
51.正面信息(31)篇，占比2.18％；负面信息(52)篇，占比3.66％。
52.步骤s3：按照图表形式将报表统计数据传入图表脚本中，所述图表脚本中包括图表形式所对应的图表生成方法。
53.本实施例中，图表脚本是用于生成图表的脚本，图表脚本中包括上述提及的图表形式所对应的图表生成方法。不同的图表形式对应不同的图表生成方法，图表脚本中包含所有图表形式的生成方法。如图表形式包括三种，那么图表脚本中则包含这三种图表形式的生成方法。具体的图表脚本可以是开源可视化图表库echarts所对应的脚本；当然，在其它实施例中，也可以是其它用于生成图表的脚本，根据需要合理确定即可。
54.一个脚本中有多个图表生成方法(方法在此处指的是脚本中的执行函数)，即一个图表生成实现对应一个脚本中的方法。可以根据图表形式的具体设置确定要调用脚本中的哪个方法。
55.本实施例中，通过调用phantomjs将报表统计数据中图表形式所对应的统计数据传入至生成图表的图表脚本中，该脚本中有对应生成图表的方法，包括饼图、折线图、柱状图等。
56.步骤s4：根据图表脚本生成图表形式所对应的图表数据。
57.本实施例中，执行图表脚本中对应的输出报表的图表形式所对应的生成方法，得到对应的图表数据。
58.本实施例中，图表数据的编码格式是base64编码，这种编码可以以数据流的形式进行文本数据存储，便于数据传输、转换和存储。当然，在其它实施例中，图表数据的编码格式还可以是png或者jpg等，根据需要合理设置即可。
59.步骤s5：根据报表统计数据和图表数据生成输出报表。
60.本实施例中，将报表统计数据作为报表概述，并与图表形式的图表数据共同组成输出报表。
61.上述步骤，先根据用户需求确定输出报表的报表模板信息，报表模板信息包括报表概述、图表形式；其次，根据报表模板信息按照预设周期将采集到的待处理报表数据进行统计得到报表统计数据；然后，按照图表形式将报表统计数据传入到用于生成图表的图表脚本中；之后，执行图表脚本中对应的图表生成方法生成图表形式所对用的图表数据；最后，将报表统计数据和图表数据组合成输出报表；实现了报表的自动生成。
62.作为示例性的实施例，步骤s5根据报表统计数据和图表数据生成输出报表的步骤
之后，还包括步骤s6。
63.步骤s6：将输出报表存储至输出文档。
64.本实施例中，输出文档可以是word文档，将图表以base64的形式写入输出至word文档，报表统计数据以文字格式输出至word文档。
65.具体的，当得到图表的base64编码(或者是文件输出流，或者一个静态的文本，比如png、jpg即图片的格式)，再通过apache poi依赖库写入输出至输出文档。
66.上述步骤将输出报表以word文档为载体，便于传播浏览。
67.作为示例性的实施例，步骤s2根据报表模板信息按照预设周期将采集到的待处理报表数据进行数据统计，得到报表统计数据的步骤之前，还包括步骤s7
‑
s8。
68.步骤s7：获取信息采集系统采集到的互联网信息。
69.本实施例中，互联网信息指的是网站上发布的各种各样的公开信息。通过现有技术中的信息采集系统进行互联网信息采集，采集系统主要由爬虫、清洗、去重三大模块构成，具体可以通过爬虫的方式采集互联网信息。
70.步骤s8：根据用户需求对互联网信息进行处理，得到用户需要的待处理报表数据。
71.本实施例中，由于信息采集系统采集到的是所有网站上的公开信息，这些信息不全是用户所关注的信息，用户不关注的信息无需生成报表，仅对用户关注的信息生成对应的报表。故根据用户需求对互联网信息进行处理，主要的处理过程为过滤、匹配和聚合处理；经过上述处理后得到的便是用户需要的待处理报表数据。
72.通过用户设置的关键词对互联网信息进行匹配，将包含关键词的互联网信息作为待处理报表数据。具体可以通过消息队列接入信息采集系统数据，根据用户关心的关键词，比如(美食博主)从当天海量信息中通过bitmap算法筛选过滤出用户期望的数据，并将数据存储至mysql数据库。
73.上述步骤通过信息采集系统采集互联网信息，之后根据用户需求得到用户需要的待处理报表数据，去除掉用户不关心的数据，为报表生成提供数据基础。
74.作为示例性的实施例，步骤s2根据报表模板信息按照预设周期将采集到的待处理报表数据进行数据统计，得到报表统计数据的步骤中，包括步骤s21
‑
s22。
75.步骤s21：按照预设周期对采集到的待处理报表数据进行更新，得到更新后的待处理报表数据。
76.本实施例中，待处理报表数据是基于互联网信息得到的，互联网信息又是实时变化的数据，故待处理报表数据也会随之发生变化，因此需要根据图表形式按照预设周期将采集到的待处理报表数据进行更新，得到更新后的待处理报表数据。
77.步骤s22：根据报表模板信息对更新后的待处理报表数据进行统计得到报表统计数据。
78.本实施例中，根据报表模板信息对更新后的待处理报表数据进行数据统计，也就是根据报表模板中所需要的数据对更新后的待处理报表数据进行统计，得到报表统计数据。
79.以日报为例，每天定时凌晨2:00，将存储至mysql数据库的待处理报表数据进行统计计算，得到当日信息的统计数据。
80.通过上述步骤对待处理报表数据进行更新和定时统计，进而使得生成输出报表的
报表统计数据也相应更新，提高了输出报表的时效性和准确性。
81.作为示例性的实施例，步骤s3按照图表形式将报表统计数据传入图表脚本中的步骤中，包括步骤s31
‑
s32。
82.步骤s31：根据图表形式对报表统计数据进行数据组装，得到图表组装数据，所述数据组装是赋值键值并拼接成json结构的数据。
83.本实施例中，数据组装的具体步骤是赋值键值并最终拼接成json结构的数据。
84.例如，对每日报表统计数据进行组装，组装的数据结构如下：
85.{
86."xaxis":[
[0087]
"新浪微博",
[0088]
"微信",
[0089]
"懂车帝",
[0090]
"百度百家",
[0091]
"企鹅号"
[0092]
],
[0093]
"series":[
[0094]
{
[0095]
"data":[
[0096]
"15203",
[0097]
"6893",
[0098]
"956",
[0099]
"739",
[0100]
"733"
[0101]
],
[0102]
"type":"bar"
[0103]
}
[0104]
]
[0105]
"title":"舆情活跃网站(top10)"
[0106]
}
[0107]
表一参数说明
[0108][0109][0110]
步骤s32：将图表组装数据传入图表脚本中。
[0111]
本实施例中，通过phantomjs将组装好的图表组装数据，传入生成图表的图表脚本中，后续执行图表脚本便可生成对应的图表。
[0112]
上述步骤根据报表统计数据得到生成图表所需要的图表组装数据，并将组装数据写入图表脚本中，待后续执行图表脚本变可自动生成所需要的图表，实现了图表自动化生成。
[0113]
下面以一个具体示例进行整体说明，流程图如图2所示。
[0114]
a.信息采集系统
[0115]
现有系统，主要为本发明提供基础的互联网信息进行了基础的分类标识，与本发明的交互通过消息队列实现，采集系统主要由爬虫、清洗、去重三大模块构成，将处理好的信息推送至文本分析系统。
[0116]
b.文本分析系统
[0117]
通过消息队列接入采集系统数据，根据用户设置，通过bitmap算法过滤、匹配用户期望的信息，并将信息数据存储至mysql数据库。
[0118]
c.生成报表系统(简称：报表系统)，主要包含以下子模块
[0119]
1、用户个性化设置报表
[0120]
用户可以通过页面交互的方式来设置生成的报表格式，将用户自定义设置保存至数据库，这样，在生成报告时，就可以根据用户自定义设置，动态控制报表生成包含的模块。
[0121]
2、定时统计用户数据
[0122]
每天定时凌晨2:00将用户存储至mysql数据库的数据进行统计计算，得到用户当日信息的统计数据。为生成报表(日报、周报、月报)提供基础数据。
[0123]
3、生成图表
[0124]
在生成报表时优先根据用户设置的模版生成报表，缺省的情况下，默认用户模版为概述、统计图表(包括饼图、折线图、柱状图)，这些数据来源于每日定时统计的结果。概述可以直接从数据结果中通过apache poi写入文档中。
[0125]
用户生成图表时，首先需要将每日统计数据结果进行组装，组装的数据结构举例如下：
[0126]
{
[0127]
"xaxis":[
[0128]
"新浪微博",
[0129]
"微信",
[0130]
"懂车帝",
[0131]
"百度百家",
[0132]
"企鹅号"
[0133]
],
[0134]
"series":[
[0135]
{
[0136]
"data":[
[0137]
"15203",
[0138]
"6893",
[0139]
"956",
[0140]
"739",
[0141]
"733"
[0142]
],
[0143]
"type":"bar"
[0144]
}
[0145]
]
[0146]
"title":"舆情活跃网站(top10)"
[0147]
}
[0148]
然后通过phantomjs将组装好的数据，传入生成图表的脚本中执行，该脚本中有生成图表的三种方法，分别对应饼图、折线图、柱状图，因此，报表生成就可以根据用户自定义设置生成对应的图表。当得到图表的base64编码(或者是文件输出流，或者一个静态的文本，比如png,jpg即图片的格式)，再通过apache poi依赖库写入输出至文档。
[0149]
上述过程最终得到的输出报表中包括概述和图表。具体概述内容如下所示。
[0150]
概述
[0151]
自2021
‑
05
‑
23 00:00:00至2021
‑
05
‑
24 00:00:00共监测到相关数据信息(10714)篇。
[0152]
其中，微信(2500)篇、微博(1300)篇、58本地版(760)篇、懂车帝(540)篇、搜狐新闻(460)篇、百度百家(370)篇、企鹅号(280)篇、网易号(170)、百度贴吧(720)、快资讯(100)。
[0153]
正面信息(2600)篇，占比24.26％；负面信息(2750)篇，占比25.67％。
[0154]
根据上面概述得到的折线图如图3所示，饼图如图4所示，柱状图如图5所示。
[0155]
在本实施例中还提供了一种报表生成系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0156]
本实施例还提供一种报表生成系统，如图6所示，包括：
[0157]
第一处理模块1，用于根据用户需求确定输出报表的报表模板信息，所述报表模板信息包括报表概述、图表形式；其中，所述图表形式包括柱状图、折线图和饼图中的至少之一；
[0158]
第二处理模块2，用于根据报表模板信息按照预设周期将采集到的待处理报表数据进行数据统计，得到报表统计数据；
[0159]
第三处理模块3，用于按照图表形式将报表统计数据传入图表脚本中，所述图表脚本中包括图表形式所对应的图表生成方法；
[0160]
第四处理模块4，用于根据所述图表脚本生成图表形式所对应的图表数据；
[0161]
第五处理模块5，用于根据报表统计数据和图表数据生成输出报表。
[0162]
作为示例性的实施例，所述预设周期为日、周、月或者年。
[0163]
作为示例性的实施例，所述图表数据的编码格式为base64编码。
[0164]
作为示例性的实施例，还包括：第六处理模块，用于将所述输出报表存储至输出文档。
[0165]
作为示例性的实施例，还包括：获取模块，用于获取信息采集系统采集到的互联网信息；第七处理模块，用于根据用户需求对互联网信息进行处理，得到用户需要的待处理报表数据。
[0166]
作为示例性的实施例，所述第二处理模块包括：第一处理单元，用于按照预设周期对采集到的待处理报表数据进行更新，得到更新后的待处理报表数据；第二处理单元，用于根据报表模板信息对更新后的待处理报表数据进行统计得到报表统计数据。
[0167]
作为示例性的实施例，第三处理模块包括：第三处理单元，用于根据图表形式对报表统计数据进行数据组装，得到图表组装数据，所述数据组装是赋值键值并拼接成json结构的数据；第四处理单元，用于将图表组装数据传入图表脚本中。
[0168]
本实施例中的报表生成系统是以功能单元的形式来呈现，这里的单元是指asic电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
[0169]
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
[0170]
本发明实施例还提供了一种电子设备，如图7所示，该电子设备包括一个或多个处理器71以及存储器72，图7中以一个处理器71为例。
[0171]
该控制器还可以包括：输入装置73和输出装置74。
[0172]
处理器71、存储器72、输入装置73和输出装置74可以通过总线或者其他方式连接，图7中以通过总线连接为例。
[0173]
处理器71可以为中央处理器(central processing unit，cpu)。处理器71还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者是任何常规的处理器等。
[0174]
存储器72作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本技术实施例中的报表生成方法对应的程序指令/模块。处理器71通过运行存储在存储器72中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的报表生成方法。
[0175]
存储器72可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器72可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器72可选包括相对于处理器71远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0176]
输入装置73可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置74可包括显示屏等显示设备。
[0177]
一个或者多个模块存储在存储器72中，当被一个或者多个处理器71执行时，执行如图1所示的方法。
[0178]
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指示相关的硬件来完成，被执行的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述报表生成方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid
‑
state drive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
[0179]
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。