数据统计方法、装置、电子设备、存储介质及产品与流程

1.本公开涉及系统优化技术领域，尤其涉及数据处理技术领域，具体涉及一种数据统计方法、装置、电子设备、存储介质及产品。


背景技术：

2.相对复杂的系统都包括了大量的运行模块，每个模块在运行过程中均会产生日志。某一些模块大量产生的日志不断产生，会冲刷掉其他模块的日志，甚至在未及时查看时，甚至可能将重要信息冲刷掉。


技术实现要素：

3.本公开提供了一种数据统计方法、装置、电子设备、存储介质及产品。
4.根据本公开的第一方面，提供了一种数据统计方法，所述方法包括：
5.获取系统模块运行时产生的日志数据；将所述日志数据输入至可视化工具中，得到输出日志数量的分析结果；基于所述分析结果，确定待优化的系统模块。
6.根据本公开的第二方面，提供了一种数据统计装置，所述装置包括：
7.获取模块，用于获取多个系统模块运行时产生的日志数据；可视化模块，用于将所述日志数据输入至可视化工具中，得到输出日志数量的分析结果；确定模块，用于基于所述分析结果，确定待优化的系统模块。
8.根据本公开的第三方面，提供了一种电子设备，包括：
9.至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
10.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
11.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
12.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
13.附图用于更好地理解本方案，不构成对本公开的限定。其中：
14.图1示出了本公开实施例提供的一种数据统计方法的流程示意图；
15.图2示出了本公开实施例提供的一种数据分析方法的流程示意图；
16.图3示出了本公开实施例提供的一种生成可视化图形方法的流程示意图；
17.图4示出了本公开实施例提供的一种数据统计方法中可视化图形的结构示意图；
18.图5示出了本公开实施例提供的又一种数据统计方法中可视化图形的结构示意
图；
19.图6示出了本公开实施例提供的一种数据统计装置的结构示意图；
20.图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
21.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
22.随着科技的发展，系统包括可以实现不同功能的模块越来越多，尤其是相对复杂的系统。例如，自动驾驶系统，在降低成本的要求下，普遍都是将系统运行在嵌入式板子上，由此，也对中央处理器(cpu)、内存、硬盘等的使用带来了更高的要求。
23.一般的，针对自动驾驶系统等相对复杂的系统，将多个模块的日志打印正赛一个日志文件中。因此，一些模块大量的输出日志，会导致其他模块调试的不便，另外由于日志文件大小个数的限制，若缺乏对模块输出日志的分析，则可能出现由于某一模块大量输出日志而冲刷掉其他模块输出日志的情况，从而丢失重要信息。
24.基于此，本技术提出一种数据统计方法和系统，用于对输出的日志数据进行分析，在某个模块大量输出日志时，及时对该模块进行优化，从而避免冲刷掉其他模块输出日志的重要信息。
25.图1示出了本公开实施例提供的一种数据统计方法的流程示意图，如图1中所示，该方法可以包括：
26.在步骤s110中，获取系统模块运行时产生的日志数据。
27.在本公开实施例中，系统在运行时，多个模块按照时间有序的输出日志。输出的日志可以包括日志所属模块，日志输出时间。
28.设置存储时间间隔，每隔一个时间间隔，将输出的日志存储到指定存储位置，得到输出日志的所有日志信息。其中，指定位置可以时硬盘，网盘等。
29.在指定存储位置中，获取系统模块运行时产生的日志数据。
30.在步骤s120中，将日志数据输入至可视化工具中，得到输出日志数量的分析结果。
31.在本公开实施例中，获取到输出的日志数据之后，需要将获取的日志文件输入至可视化工具中，由可视化工具对日志数据进行处理，得到获取日志数据中，日志输出数量的分析结果。
32.在步骤s130中，基于分析结果，确定待优化的系统模块。
33.在本公开实施例中，可以基于得到的分析结果，确定大量输出日志的模块，并将大量输出日志的模块确定未待优化的模块。将待优化的模块托推送至对应的用户，使其对待优化的模块进行优化。
34.在本公开实施例提供的数据统计方法中，通过对系统模块输出的日志进行统计，可以确定大量输出日志的模块，从而确定处待优化的模块，避免一些模块大量输出日志，冲刷掉重要信息。
35.在本公开实施例中，日志数据包括所有输出日志的模块信息，以及每个模块输出
日志对应的数量；和/或，输出日志中出现的高频语句，以及与高频语句对应的日志输出的数量。其中，本公开可以通过不同的方式，获取日志数据。
36.进一步的，在本公开中，获取日志数据的方式可以为，在打印的日志文件中获取系统模块输出的日志文件，获取日志数据方式还可以为，通过日志接口，获取系统模块输出的日志文件。其中，日志接口中预先添加了不同的数据结构。在日志接口中添加的数据接口包括模块数据结构和高频语句数据结构。
37.其中，模块数据结构可以理解为，针对每个模块，每个模块每输出一个日志，则刷新一次模块数据结构，从而统计每个模块输出日志的数量。每个一段时间，获取所有模块输出的日志数据，例如，每十分钟获取一次所有模块输出的日志数据，当然，这仅仅是对本公开的距离说明，并不是对本公开的具体限定。
38.高频语句数据结构可以理解为，统计所有模块输出的日志数据，基于预设的统计阈值，在所有日志数据中，筛选出输出日志中的高频语句。针对每个高频语句，每输出一次高频语句，该高频语句的计数加一。
39.图2示出了本公开实施例提供的一种数据分析的流程示意图，如图2中所示，该方法可以包括：
40.在步骤s210中，根据日志数据的获取方式，确定用于生成日志分析结果的可视化工具的模式。
41.在本公开实施例中，可视化工具中包括多个模式，获取日志数据的方式不同，使用可视化工具生成日志分析结果的模式不同。
42.例如，基于数据结构获取日志数据，使用可视化工具的第一模式生成日志分析结果；基于日志文件获取日志数据，使用可视化工具的第二模式生成日志分析结果。
43.在步骤s220中，基于模式加载日志数据，得到输出日志数量的分析结果的可视化图形。
44.在本公开实施例中，可视化工具基于与日志数据获取方式对应的模式，加载日志数据，得到输出日志数量的分析结果的可视化图形。
45.其中，可视化图形可以是直方图，扇形图等图形。
46.通过本公开中，将日志数据以图形的形式展示，可以直观的表征输出日志的模块的运行状态，为后续判断待优化的模块提供准确的分析结果。
47.在本公开中，确定加载日志数据的可视化工具对应的模式，并在该模式下加载日志数据，得到每个模块输出日志数量的分析结果，和/或，得到高频语句输出数量的分析结果。下述实施例将对将日志数据输入至可视化工具中，得到输出日志数量的分析结果进一步进行说明。
48.图3示出了本公开实施例提供的一种生成可视化图形方法的流程示意图，如图3中所示，该方法可以包括：
49.在步骤s310中，根据日志数据的获取方式，确定用于生成日志分析结果的可视化工具的模式。
50.在本公开实施例中，确定基于日志文件获取的日志数据，或确定基于数据结构获取的日志文件。根据获取日志的方式，确定采用的可视化工具的模式，后续可以在该模式下，利用可视化工具生成可视化的日志分析结果。
51.在步骤s320中，基于模式加载日志数据，得到输出日志数量的分析结果的可视化图形。
52.在本公开实施例中，确定可视化工具的模式后，在该模式下加载日志数据，并统计计算该日志数据，以可视化图形的形式将统计的日志数据展示出来。
53.在本公开一示例性实施例中，若基于相应的模式加载输出日志的模块信息，则还需要加载每个模块输出日志对应的数量。统计每个模块输出日志的数量，以可视化图形将每个模块的信息，每个模块中输出每个日志的级别，以及该日志级别输出日志对应的数量表示出来。本公开为便于描述，将用于表征每个模块信息，每个模块中输出日志的级别，以及该日志级别输出日志对应的数量的可视化图形称为第一可视化图形。
54.示例性的，图4示出了本公开实施例提供的一种数据统计方法中可视化图形的结构示意图，如图4中所示，包括地图引擎模块(map engine)、本地化模块(localization)、认知模块(perception)、预测模块(predicate)、计划模块(planning)、控制模块(control)、人机模块(human machine interface，him)和适配模块(adapter)。日志的级别可以包括程序调试工具细节信息(debug)、指令(info)、警告(warning)、错误(error)和严重错误(fatal)。其中，可以理解的是，debug用于表征可以使用于任何觉得有利于在调试时更详细的了解系统运行状态。info可以用于表征确认程序按预期执行。warning可以用于表征已经或即将发生的意外(例如磁盘空间不足)。error可以表征由于严重的问题，程序的某些功能已经不能正常执行。fatal可以用于表征该模块出现严重错误。需要说明的是，本公开仅仅是以涉及到的模块以及日志级别进行距离说明，并不是对本公开的具体限定。
55.如图4中所示，可视化图形可以是直方图，以直方图为例，可以通过柱形表示出每个模块分别输出的日志级别的数量。本实施例可以被单独实施，也可以与其他实施例一起被实施。
56.在本公开另一示例性实施例中，还可以将所有模块总输出量与时间的关系，采用可视化图形进行展示。图5示出了本公开实施例提供的一种数据统计方法中可视化图形的示意图，如图5中所示，以间隔一小时为例，筛选出几个时间段所有模块的日志输出总数量，包括1：00～2：00，3：00～4：00，5：00～6：00，7：00～8：00，9：00～10：00，11：00～12：00，13：00～14：00，15：00～16：00，17：00～18：00，19：00～20：00，21：00～22：00，23：00～24：00。本实施例可以被单独实施，也可以与其他实施例一起被实施。
57.在本公开又一示例性实施例中，还可以筛选出输出日志中的高频语句。若基于相应的模式加载输出日志中出现的高频语句，则加载与高频语句对应的日志输出的数量，统计每个高频语句输出的数量，以可视化图形将每个高频语句输出的数量，以及该高频语句的信息表示出来。本公开为便于描述，将用于表征高频语句、所述高频语句对应的日志输出数量以及时间之间的关系的可视化图形称为第二可视化图形。
58.在本公开中，将输出日志中出现概率超出预设的概率阈值的语句称为高频语句。其中，高频语句可以包括高频词语和高频句子等。本实施例可以被单独实施，也可以与其他实施例一起被实施。
59.如上述实施例中，获取日志数据采用的方式不同，则使用可视化工具的模式也不同，本公开为便于描述，将与基于数据结构获取日志数据对应的可视化工具的模式称为第一模式，将与基于日志文件获取日志数据对应的可视化工具的模式称为第二模式。结合上
述实施例，在本公开中，基于可视化工具的第一模式，生成用于表征模块信息、模块输出日志对应的数量以及时间之间的关系的第一可视化图形。基于可视化工具的第二模式，生成用于表征高频语句、所述高频语句对应的日志输出数量以及时间之间的关系的第二可视化图形。
60.在本公开实施例中，可视化工具的第一模式和第二模型可以是相同的，也可以是不同的。
61.在本公开中，可以通过可视化工具生成的可视化图形分析每个模块输出的日志级别及数量，确定出待优化的模块。例如，如图5所示，7：00～8：00输出日志的总数量相对较多，则可以进一步分析该时间段内每个模块输出的日志数量，以及每个模块输出不同日志级别对应的日志数量，如图4所示。假如，在如图5中，7：00～8：00这个时间段中，每个模块输出不同级别的日志数量的为图4，则可以进一步分析图4中每个模块，确定出待优化的模块。
62.基于与图1中所示的方法相同的原理，图6示出了本公开实施例提供的一种数据统计装置的结构示意图，如图6所示，该数据统计装置100可以包括：
63.获取模块101，用于获取多个系统模块运行时产生的日志数据；可视化模块102，用于将所述日志数据输入至可视化工具中，得到输出日志数量的分析结果；确定模块103，用于基于所述分析结果，确定待优化的系统模块。
64.在本公开实施例中，所述获取模块101，用于基于数据结构获取日志数据，或，基于日志文件获取日志数据；其中，所述日志数据包括所有输出日志的模块信息，以及每个模块输出日志对应的数量；和/或，输出日志中出现的高频语句，以及与所述高频语句对应的日志输出的数量。
65.在本公开实施例中，所述可视化模块102，用于根据所述日志数据的获取方式，确定用于生成日志分析结果的可视化工具的模式；基于所述模式加载所述日志数据，得到输出日志数量的分析结果的可视化图形。
66.在本公开实施例中，所述可视化模块102，用于基于所述模式加载输出日志的模块信息，并加载每个模块输出日志对应的数量，生成第一可视化图形，所述第一可视化图形用于表征模块信息、模块输出日志对应的数量以及时间之间的关系；
67.和/或
68.基于所述模式加载输出日志中出现的高频语句，并加载与所述高频语句对应的日志输出的数量，生成第二可视化图形，所述第二可视化图形用于表征高频语句、所述高频语句对应的日志输出数量以及时间之间的关系。
69.在本公开实施例中，所述确定模块103，用于响应于基于数据结构获取日志数据，确定与所述数据结构对应的可视化工具的第一模式；或
70.响应于基于日志文件获取日志数据，确定与所述数据结构对应的可视化工具的第二模式。
71.在本公开实施例中，所述第一模式与所述第二模式相同。
72.在本公开实施例中，所述确定模块103，用于在预设时间段长度中，将输出日志数量超过阈值的系统模块，确定为待优化的系统模块。
73.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
74.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
75.图7示出了可以用来实施本公开的实施例的示例电子设备200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
76.如图7所示，设备200包括计算单元201，其可以根据存储在只读存储器(rom)202中的计算机程序或者从存储单元208加载到随机访问存储器(ram)203中的计算机程序，来执行各种适当的动作和处理。在ram 203中，还可存储设备200操作所需的各种程序和数据。计算单元201、rom 202以及ram 203通过总线204彼此相连。输入/输出(i/o)接口205也连接至总线204。
77.设备200中的多个部件连接至i/o接口205，包括：输入单元206，例如键盘、鼠标等；输出单元207，例如各种类型的显示器、扬声器等；存储单元208，例如磁盘、光盘等；以及通信单元209，例如网卡、调制解调器、无线通信收发机等。通信单元209允许设备200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
78.计算单元201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元201的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元201执行上文所描述的各个方法和处理，例如方法数据统计方法。例如，在一些实施例中，方法数据统计方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元208。在一些实施例中，计算机程序的部分或者全部可以经由rom 202和/或通信单元209而被载入和/或安装到设备200上。当计算机程序加载到ram 203并由计算单元201执行时，可以执行上文描述的方法数据统计方法的一个或多个步骤。备选地，在其他实施例中，计算单元201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法数据统计方法。
79.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
80.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件
包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
81.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
82.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
83.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
84.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
85.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
86.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。