基于日志的敏感信息筛选展示方法、装置、设备及介质与流程

本发明涉及日志监控，尤其涉及一种基于日志的敏感信息筛选展示方法、装置、设备及介质。

背景技术：

1、敏感信息为一旦遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益造成危害的数据和以电子或其他方式记录的与已识别或者可识别的自然人有关的各种信息，不包括匿名化处理后的信息，包括但不仅限于个人银行卡号、身份证号、手机号、邮箱地址。

2、在现代软件系统模型下，企业通过软件系统对外开展各项业务时，用户提交的敏感信息将通过网页浏览器、手机app等用户客户端进行发送。

3、敏感信息经加密传输到达企业对外开放的网络入口后，由于系统处理的需要，将对敏感信息进行解密。解密后的敏感信息将流经企业软件系统的各个环节，最终到达数据库进行存储。在敏感信息流转过程中，网络日志、应用系统日志、数据库日志、数据存储记录等都有可能存在未经匿名化、加密处理的敏感信息明文。

4、为了满足安全需要，企业需要敏感信息的发现手段，在软件系统的各个环节及时发现明文形式的敏感信息，可以帮助企业及时的进行整治。

5、当前敏感信息发现解决方案普遍专注于某一特定场景或特定环节，比如针对网络流量的敏感信息发现，又或者是针对系统接口访问的敏感信息发现。从而导致为了针对多样的敏感信息，企业往往需要部署多套不同的解决方案，以此来覆盖尽可能多的环节，多套系统不仅重复消耗成本，加重整体系统架构和管理人员的负担，并且互不相容，无法互相替代，为企业的投入带来了额外的风险。

技术实现思路

1、本发明提供一种基于日志的敏感信息筛选展示方法、装置、设备及介质，以解决为了针对多样的敏感信息，企业往往需要部署多套不同的解决方案，以此来覆盖尽可能多的环节，多套系统不仅重复消耗成本，加重整体系统架构和管理人员的负担，并且互不相容，无法互相替代，为企业的投入带来了额外的风险的技术问题。

2、第一方面，本发明提出了一种基于日志的敏感信息筛选展示方法，包括：

3、通过日志采集器采集各个系统产生的日志；

4、统一收集日志，并根据日志的来源将其存储至不同的主题topic中；

5、依据不同的主题topic匹配不同的过滤插件，并对日志进行过滤以获取日志中的敏感信息；

6、将获取的敏感信息储存至时序数据库中；

7、通过grafana读取所述时序数据库中的敏感信息并通过报表展示。

8、第二方面，本发明还提出了一种基于日志的敏感信息筛选展示装置，包括：

9、日志收集模块，用于通过日志采集器采集各个系统产生的日志，并统一收集日志，并根据日志的来源将其存储至不同的主题topic中；

10、日志过滤模块，用于依据不同的主题topic匹配不同的过滤插件，并对日志进行过滤以获取日志中的敏感信息；

11、敏感信息存储模块，用于将获取的敏感信息储存至时序数据库中；

12、报表展示模块，用于通过grafana读取所述时序数据库中的敏感信息并通过报表展示。

13、第三方面，本发明还提出一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于日志的敏感信息筛选展示方法的步骤。

14、第四方面，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于日志的敏感信息筛选展示方法的步骤。

15、上述基于日志的敏感信息筛选展示方法、装置、设备及介质所实现的方案中，基于日志的敏感信息筛选展示方法在复杂多样的软件系统架构中找到了各个设备、系统所具有的共性，即日志，并且该共性可被用以全面的反映其所属设备、系统存在敏感信息的真实情况，通过配置一种日志收集器收集来自软件系统架构中各个环节的日志，并将其统一收集至kafka中，再通过topic对收集到的所有日志按照其来源的不同划分成不同类别，再通过匹配不同的过滤规则对来自不同来源的日志进行匹配过滤，以筛选出日志中的敏感信息，并将该敏感信息及敏感信息的相关信息，例如敏感信息的类型、敏感信息的位置，存储至influxdb中，最后通过grafana读取所述influxdb中的敏感信息及所述敏感信息的相关信息并通过报表展示，使其可以实现以一套敏感信息发现装置覆盖软件系统架构中绝大部分的环节，解决了敏感信息难以全盘发现的业务痛点，解决了多套系统叠加才能实现覆盖的技术现状，因此可以使得企业投入更少的资源达到更好的敏感信息发现效果，帮助更有效的进行敏感信息治理工作。

技术特征：

1.一种基于日志的敏感信息筛选展示方法，其特征在于，包括：

2.根据权利要求1所述的基于日志的敏感信息筛选展示方法，其特征在于，在所述通过日志采集器采集各个系统产生的日志包括：

3.根据权利要求2所述的基于日志的敏感信息筛选展示方法，其特征在于，所述统一收集日志，并根据日志的来源将其存储至不同的主题topic中包括：

4.根据权利要求1所述的基于日志的敏感信息筛选展示方法，其特征在于，依据不同的主题topic匹配不同的过滤插件对日志进行过滤，以获取日志中的敏感信息包括：

5.根据权利要求4所述的基于日志的敏感信息筛选展示方法，其特征在于，所述敏感信息为身份信息；所述通过所述过滤插件过滤对应的主题topic中的所述日志，获取所述日志中的敏感信息及敏感信息的相关信息的步骤包括：

6.根据权利要求4所述的基于日志的敏感信息筛选展示方法，其特征在于，所述敏感信息为银行信息；所述通过所述过滤插件过滤对应的主题topic中的所述日志，获取所述日志中的敏感信息的步骤包括：

7.根据权利要求4所述的基于日志的敏感信息筛选展示方法，其特征在于，所述敏感信息为邮件信息；所述通过所述过滤插件过滤对应的主题topic中的所述日志，获取所述日志中的敏感信息的步骤包括：

8.一种基于日志的敏感信息筛选展示装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于日志的敏感信息筛选展示方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于日志的敏感信息筛选展示方法的步骤。

技术总结
本发明涉及日志监控技术领域，公开了一种基于日志的敏感信息筛选展示方法、装置、设备及介质，包括：通过日志采集器采集各个系统产生的日志；统一收集日志，并根据日志的来源将其存储至不同的主题topic中；依据不同的主题topic匹配不同的过滤插件，并对日志进行过滤以获取日志中的敏感信息；将获取的敏感信息储存至时序数据库中；通过Grafana读取所述时序数据库中的敏感信息并通过报表展示。本发明解决了敏感信息难以全盘发现的业务痛点，解决了多套系统叠加才能实现覆盖的技术现状。

技术研发人员：杨文韬,许园园,王烨,王文轩
受保护的技术使用者：平安付科技服务有限公司
技术研发日：
技术公布日：2024/1/13