大数据活动项目日志分析与资源调配方法与流程

1.本发明涉及大数据分析技术领域，具体涉及大数据活动项目日志分析与资源调配方法。


背景技术：

2.在大数据的环境下，大数据分析成为近几年的热点。大数据分析是采用私有云系统建设为基础，基于私有云环境架构建设大数据系统，结合当今大数据形势、主流设备、技术在数据挖掘与分析等方向而提供全面的搜索分析环境。通过动手实际操作，强化参与人员对大数据技术知识的理解，提高集群部署与数据分析操作能力。而大数据平台的运行依托于云计算系统，将云计算系统的计算资源与各种大数据资源整合在一起，向用户提供各种服务。
3.但现有技术中存在平台资源调配不合理的情况，由于各个参赛人员的不同，所需求的资源利用情况也不同，而不合理的资源调配将会造成活动项目所需时间长，效率低的问题；另外，针对现有技术中日志分析，一般是对单个系统的日志进行单独分析，而具有联系的多个系统的日志分析由于系统对应的日志的独立性，而导致根据日志分析的分析结果不全面的问题，因此，亟需一种方案可以解决现有技术中日志分析独立性以及资源调配效率低的问题。


技术实现要素：

4.本发明提供大数据活动项目日志分析与资源调配方法，用以解决现有技术中不合理的资源调配将会造成活动项目所需时间长，资源调配效率低的问题。
5.本发明提供大数据活动项目日志分析与资源调配方法，该方法包括：
6.将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；
7.基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配；
8.基于堡垒机日志以及监控摄像设备日志，判断参与人员是否有违规操作和恶意操作行为；
9.所述基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，包括：
10.基于云资源宿主机日志和虚机日志，获得参与人员的cpu利用率、内存以及存储空间的信息；
11.基于参与人员的cpu利用率、内存以及存储空间的信息，确定所述参与人员的资源占比；所述资源占比包括：基于cpu回放功能确定预设的历史时间段内所述参与人员的cpu利用率占比，以及内存占比和存储空间占比；所述cpu利用率占比是基于cpu共享的情况；
12.判断所述参与人员的资源占比是否在第一阈值范围之内；
13.若否，对所述参与人员的资源进行第一次资源调配；
14.所述基于堡垒机日志以及监控摄像设备日志，判断参与人员是否有违规操作和恶
意操作行为，包括：
15.基于监控摄像设备获得存储的视频或图像；
16.采用视频和图像识别处理系统对存储的视频或图像进行识别处理，获得文本格式的识别结果，将所述文本格式的识别结果对接至日志分析系统形成监控摄像设备日志；
17.所述日志分析系统通过对监控摄像设备日志和堡垒机日志的分析，判断参与人员是否有违规操作和恶意操作行为；所述大数据活动项目要求参与人员不得自行获取活动项目相关材料的行为，以及不允许具有恶意操作行为。
18.优选的，当判断所述参与人员的资源占比是否在第一阈值范围之外时，判断所述参与人员的资源占比是否在第二阈值范围内；所述第二阈值范围大于所述第一阈值范围；
19.若否，对所述参与人员的资源进行第二次资源调配；
20.当判断所述参与人员的资源占比超出第一阈值范围或第二阈值范围时，通过发出警报的方式进行预警展示。
21.优选的，所述对所述参与人员的资源进行第一次资源调配，包括：
22.当所述参与人员的资源占比达到第一阈值范围的最大值时，提升所述参与人员的资源配置；所述提升所述参与人员的资源配置包括以下情况的一种或者多种的组合：提升cpu利用率的资源配置、提升内存的资源配置、提升存储空间的资源配置；
23.当所述参与人员的资源占比低于所述第一阈值范围的最小值时，降低所述参与人员的资源配置；所述降低所述参与人员的资源占比包括降低参与人员的cpu利用率的资源配置。
24.优选的，所述第一阈值范围为大于等于40％，小于等于80％；相应的，所述第一阈值范围的最大值为80％，最小值为40％。
25.优选的，对所述参与人员的资源占比进行实时监控，当监控到参与人员的资源占比不足40％时，对参与人员的资源进行降配处理，资源配置调整为在原配置的基础上降低50％；当监控到参与人员的资源占比将要达到或超过80％时，对参与人员的资源进行升配处理，资源配置调整为在原配置的基础上增加50％；
26.在对所述参与人员的资源占比进行实时监控的过程中，以时间为基准确定参与人员的资源使用情况的曲线图，根据所述曲线图的变化趋势对参与人员的资源使用情况进行预测，及时预测出需要进行资源调配的参与人员以及依据时间紧迫性顺序预测资源调配的调配顺序。
27.优选的，所述对所述参与人员的资源进行第一次资源调配，包括：
28.采用智能化自动化的方式根据参与人员的资源占比自动对所述参与人员的资源进行第一次资源配置；
29.或者，采用人工干预方式根据参与人员的资源占比对所述参与人员的资源进行第一次资源配置。
30.优选的，所述将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合，包括：
31.将日志融合系统连接所述云资源宿主机、虚机、堡垒机以及监控摄像设备的视频和图像识别处理系统，分别获取云资源宿主机日志、虚机日志、、堡垒机日志以及监控摄像设备日志；
32.所述日志融合系统将所述云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合。
33.优选的，所述日志融合包括数据采集融合和数据分析融合：
34.所述数据采集融合包括：通过agent或syslog协议的方式对日志进行采集；所述针对日志或数据的采集为多源数据采集；所述宿主机日志包括虚机的创建、运维和删除的过程所产生的日志；所述虚机日志包括用户在虚机上执行的操作所产生的日志；所述堡垒机日志包括堡垒机登录用户ip地址所访问的所有应用的操作产生的日志；所述监控摄像设备日志包括将监控摄像设备记录的视频和图像进行识别处理后形成的数据；
35.所述数据分析融合包括：将采集到的日志聚合在平台上后，基于不同场景、不同维度采用大数据分布式结构进行日志的数据分析融合处理，形成处理分析结果；
36.通过搜索引擎的方式在展示界面上展示分析结果。
37.优选的，所述日志分析系统通过对监控摄像设备日志和堡垒机日志的分析，判断参与人员是否有违规操作和恶意操作行为，包括：
38.所述监控摄像设备对参与人员的肢体行为的违规操作进行监控，通过视频和图像识别处理系统对监控到的视频或图像进行识别处理，判断参与人员是否有泄露活动项目相关材料的行为；若有，则判定为所述参与人员有违规操作；所述泄露活动项目相关材料的行为包括：采用录制视频或拍照的方式获取活动项目的相关材料的行为；
39.所述堡垒机通过对参与人员在活动项目中针对计算机的操作行为进行监控和记录，通过堡垒机获得的参与人员的操作行为，判断所述操作行为是否存在调用敏感数据的情况，若所述参与人员在预设时间段内多次重复的调用敏感数据情况下，判断所述参与人员有恶意操作行为。
40.优选的，所述通过堡垒机获得的参与人员的操作行为，判断所述操作信息是否存在调用敏感数据的情况，包括：
41.通过堡垒机获得参与人员的行为操作时的界面信息；
42.根据所述界面信息与所述敏感数据的数据库中的敏感数据的信息进行比对；
43.若一致，则认定为所述参与人员的操作行为属于调用敏感数据的情况。
44.本发明提供大数据活动项目日志分析与资源调配方法，采用本发明提供的方案将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配；基于堡垒机日志以及监控摄像设备日志，判断参与人员是否有违规操作和恶意操作行为；根据资源占比实时监控参与人员在活动项目中的资源配置情况，进而实时并快速的调整其资源的配置，提升资源配置的效率和时效性。另外，还可以判断参与人员是否有违规操作和恶意操作行为，以保证活动项目过程中的数据的安全性。
45.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
46.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
47.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
48.图1为本发明实施例中大数据活动项目日志分析与资源调配方法的流程图。
具体实施方式
49.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
50.实施例1：
51.本发明实施例提供了大数据活动项目日志分析与资源调配方法，图1为本发明实施例中大数据活动项目日志分析与资源调配方法的流程图，请参照图1，该方法包括以下步骤：
52.步骤s101，将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；
53.步骤s102，基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配；
54.步骤s103，基于堡垒机日志以及监控摄像设备日志，判断参与人员是否有违规操作和恶意操作行为；
55.其中步骤s102包括以下步骤：
56.步骤s102-1，基于云资源宿主机日志和虚机日志，获得参与人员的cpu利用率、内存以及存储空间的信息；
57.步骤s102-2，基于参与人员的cpu利用率、内存以及存储空间的信息，确定所述参与人员的资源占比；所述资源占比包括：基于cpu回放功能确定预设的历史时间段内所述参与人员的cpu利用率占比，以及内存占比和存储空间占比；所述cpu利用率占比是基于cpu共享的情况；
58.步骤s102-3，判断所述参与人员的资源占比是否在第一阈值范围之内；若判断结果为否，则执行步骤s102-4；
59.步骤s102-4，对所述参与人员的资源进行第一次资源调配；
60.所述步骤s103包括以下几个步骤：
61.步骤s103-1，基于监控摄像设备获得存储的视频或图像；
62.步骤s103-2，采用视频和图像识别处理系统对存储的视频或图像进行识别处理，获得文本格式的识别结果，将所述文本格式的识别结果对接至日志分析系统形成监控摄像设备日志；
63.步骤s103-3，所述日志分析系统通过对监控摄像设备日志和堡垒机日志的分析，判断参与人员是否有违规操作和恶意操作行为；所述大数据活动项目要求参与人员不得自行获取活动项目相关材料的行为，以及不允许具有恶意操作行为。
64.上述技术方案的工作原理为：本实施例采用的方案将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合的过程，并且可以基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，以及可以基于堡垒机日志以及监控摄像设备日志，判断参与人员是否有违规操作和恶意操作行为。具体的对资源的调配过程为：基于
云资源宿主机日志和虚机日志，获得参与人员的cpu利用率、内存以及存储空间的信息；基于参与人员的cpu利用率、内存以及存储空间的信息，确定所述参与人员的资源占比；所述资源占比包括：基于cpu回放功能确定预设的历史时间段内所述参与人员的cpu利用率占比，以及内存占比和存储空间占比；所述cpu利用率占比是基于cpu共享的情况；判断所述参与人员的资源占比是否在第一阈值范围之内；若否，对所述参与人员的资源进行第一次资源调配，实现对参与人员的资源进行第一次资源调配。另外，对日志分析的过程如下：基于监控摄像设备获得存储的视频或图像；采用视频和图像识别处理系统对存储的视频或图像进行识别处理，获得文本格式的识别结果，将所述文本格式的识别结果对接至日志分析系统形成监控摄像设备日志；所述日志分析系统通过对监控摄像设备日志和堡垒机日志的分析，判断参与人员是否有违规操作和恶意操作行为；所述大数据活动项目要求参与人员不得自行获取活动项目相关材料的行为，以及不允许具有恶意操作行为。
65.所述大数据活动项目包括大数据竞赛等活动项目，针对大数据竞赛中参赛选手在竞赛过程中应用到的资源的优化配置，首先通过日志分析系统，对云资源宿主机日志和虚机日志进行日志分析，可以确定每个参赛选手的资源占比，并且根据资源占比确定是否为相应的参赛选手调整资源配置，实现根据参赛选手在竞赛过程中的具体需求实时调整其资源配置的效果。另外还可以对参赛选手的操作行为进行监控，通过监控摄像设备和堡垒机完成监控，并形成堡垒机日志以及监控摄像设备日志，然后对堡垒机日志和监控设备日志进行日志分析，并根据日志分析结果可以确定参赛选手是否存在违规操作或恶意操作，以保证竞赛的公平公正性，以及安全性。
66.将日志融合系统连接所述云资源宿主机、虚机、堡垒机以及监控摄像设备的视频和图像识别处理系统，分别获取云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志，实现了将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行融合的过程，也就是可以将云资源宿主机产生的日志、虚机产生的日志以及堡垒机产生的日志直接传输至日志融合系统，再将监控摄像设备存储的视频或图像通过视频和图像识别处理系统形成文本格式，即形成监控摄像设备的日志，并将该日志同样传输至所述日志融合系统，所述日志融合系统通过接收到所有日志，并对所有日志以参与人员的身份信息为标识进行融合处理，由于每个日志中将都有参与人员的身份信息，且可代表该参与人员唯一性标识，而将该唯一性标识作为融合处理的依据，保证每个融合的日志与每个参与人员身份之间具有对应关系，对每个日志提取身份信息，将身份信息相同的日志进行融合，形成针对该参与人员的融合后的日志。
67.针对日志融合系统融合后的日志，基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配时，结合云资源宿主机日志和虚机日志的分析具体采用的方式如下：本实施例的方案中日志分析系统需要连接参与人员的cpu以及硬盘存储器，对cpu利用率、内存以及存储空间进行监控，并且所述日志分析系统还连接外设的监控摄像设备的视频和图像识别处理系统以及堡垒机，以实现对参与人员是否存在违规操作或恶意操作的行为进行监控。通过日志分析系统可以实现对多个监控因素的综合利用和分析，该方法应用于大数据活动项目中，将实现对大数据活动项目的进程中的多方面因素监控和管理。
68.具体的，根据cpu的回放功能，确定cpu的历史使用资源情况，根据历史使用情况判断是否需要对cpu的资源进行重新调配。而针对内存，其为单独存在的，不需要共享，仅需监
控其使用情况即可判断其占比情况，另外存储空间同样是会随着时间推移其占比会越来越大，等达到一定的阈值时则需要提升其相应的资源配置。
69.另外，针对参与人员所使用的资源以及资源调配的情况，采用分权分户的管理模式，针对不同的用户设定不同的权限，每个参加比赛的选手仅可查看自己的资源使用情况以及资源调配等数据，但不可以查看其他选手或用户的数据，而管理员具有最高权限，其可以查看任何用户或选手的资源使用情况或资源调配情况等数据，因此，本实施例可以提升数据安全性及保密性。而具体的实施方式如下：在系统中设置查看权限，针对不同级别的人员可设定不同的权限级别，如设定管理员为最高级别权限，可以查看所有用户的资源使用情况，而设定普通选手或用户为最低级别权限，仅可查看自己的资源使用情况，不可查看任何其他的数据。当某个用户要查看除自己之外的其他数据时，首先获取该用户的查看权限，判断该用户的权限是否达到其想要查看的数据，若达到，则允许其查看，若达不到，则拒绝其查看。由于普通选手或用户为最低级别权限，因此，当要查看其他人的资源使用情况时，在判断其是否有权限时得到的结果肯定是没有权限查看，普通选手或用户也就没有资格查看其他选手的资源使用情况。通过上述方案可以达到“针对不同的用户设定不同的权限，每个参加比赛的选手仅可查看自己的资源使用情况以及资源调配等数据，但不可以查看其他选手或用户的数据”这一效果。
70.上述技术方案的有益效果为：采用本实施例提供的方案通过将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，即对cpu的情况进行监控，以获得相应的资源占比，根据资源占比实时监控参与人员在活动项目中的资源配置情况，进而实时并快速的调整其资源的配置，提升资源配置的效率和时效性。另外，通过对堡垒机日志以及监控摄像设备日志的分析，可以判断参与人员是否有违规操作和恶意操作行为，以保证活动项目过程中的数据的安全性。
71.实施例2：
72.在实施例1的基础上，当判断所述参与人员的资源占比是否在第一阈值范围之外时，判断所述参与人员的资源占比是否在第二阈值范围内；所述第二阈值范围大于所述第一阈值范围；
73.若否，对所述参与人员的资源进行第二次资源调配；
74.当判断所述参与人员的资源占比超出第一阈值范围或第二阈值范围时，通过发出警报的方式进行预警展示。
75.上述技术方案的工作原理为：本实施例采用的方案是当判断所述参与人员的资源占比是否在第一阈值范围之外时，判断所述参与人员的资源占比是否在第二阈值范围内；所述第二阈值范围大于所述第一阈值范围；若否，对所述参与人员的资源进行第二次资源调配；当判断所述参与人员的资源占比超出第一阈值范围或第二阈值范围时，通过发出警报的方式进行预警展示。
76.上述技术方案的有益效果为：采用本实施例提供的方案将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，即对cpu的情况进行监控，以获得相应的资源占比，根据资源占比实时监控参与人员在活动项目中的资源配置情况，进而实时并快速的调整其资源
的配置，提升资源配置的效率和时效性。另外，通过对堡垒机日志以及监控摄像设备日志的分析，可以判断参与人员是否有违规操作和恶意操作行为，以保证活动项目过程中的数据的安全性。
77.实施例3：
78.在实施例1的基础上，所述对所述参与人员的资源进行第一次资源调配，包括：
79.当所述参与人员的资源占比达到第一阈值范围的最大值时，提升所述参与人员的资源配置；所述提升所述参与人员的资源配置包括以下情况的一种或者多种的组合：提升cpu利用率的资源配置、提升内存的资源配置、提升存储空间的资源配置；
80.当所述参与人员的资源占比低于所述第一阈值范围的最小值时，降低所述参与人员的资源配置；所述降低所述参与人员的资源占比包括降低参与人员的cpu利用率的资源配置。
81.上述技术方案的工作原理为：本实施例采用的方案是所述对所述参与人员的资源进行第一次资源调配，包括：当所述参与人员的资源占比达到第一阈值范围的最大值时，提升所述参与人员的资源配置；所述提升所述参与人员的资源配置包括以下情况的一种或者多种的组合：提升cpu利用率的资源配置、提升内存的资源配置、提升存储空间的资源配置；当所述参与人员的资源占比低于所述第一阈值范围的最小值时，降低所述参与人员的资源配置；所述降低所述参与人员的资源占比包括降低参与人员的cpu利用率的资源配置。
82.上述技术方案的有益效果为：采用本实施例提供的方案将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，即对cpu的情况进行监控，以获得相应的资源占比，根据资源占比实时监控参与人员在活动项目中的资源配置情况，进而实时并快速的调整其资源的配置，提升资源配置的效率和时效性。另外，通过对堡垒机日志以及监控摄像设备日志的分析，可以判断参与人员是否有违规操作和恶意操作行为，以保证活动项目过程中的数据的安全性。
83.实施例4：
84.在实施例3的基础上，所述第一阈值范围为大于等于40％，小于等于80％；相应的，所述第一阈值范围的最大值为80％，最小值为40％。
85.上述技术方案的工作原理为：本实施例采用的方案是所述第一阈值范围为大于等于40％，小于等于80％；相应的，所述第一阈值范围的最大值为80％，最小值为40％。一般情况下，低于40％时则需要降低相对应的参与人员的资源配置，相应的达到或超过80％时则需要提升相对应的参与人员的资源配置。
86.上述技术方案的有益效果为：通过设置具体的范围值，当参与人员的资源占比一旦超出该范围时，可以通过预警的方式显示该情况，相关的维护人员根据当前发生的情况对相应的参与人员的资源配置进行实时调控，实现对参与人员在参与过程中的资源占比的实时监控和实时调控。因此，采用本实施例提供的方案将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，即对cpu的情况进行监控，以获得相应的资源占比，根据资源占比实时监控参与人员在活动项目中的资源配置情况，进而实时并快速的调整其资源的配置，提升资源配置的效率和时效性。另外，通过对堡垒机日志以及监控摄像设备日志的分析，可
以判断参与人员是否有违规操作和恶意操作行为，以保证活动项目过程中的数据的安全性。
87.实施例5：
88.在实施例4的基础上，对所述参与人员的资源占比进行实时监控，当监控到参与人员的资源占比不足40％时，对参与人员的资源进行降配处理，资源配置调整为在原配置的基础上降低50％；当监控到参与人员的资源占比将要达到或超过80％时，对参与人员的资源进行升配处理，资源配置调整为在原配置的基础上增加50％；
89.在对所述参与人员的资源占比进行实时监控的过程中，以时间为基准确定参与人员的资源使用情况的曲线图，根据所述曲线图的变化趋势对参与人员的资源使用情况进行预测，及时预测出需要进行资源调配的参与人员以及依据时间紧迫性顺序预测资源调配的调配顺序。
90.上述技术方案的工作原理为：本实施例采用的方案是对所述参与人员的资源占比进行实时监控，当监控到参与人员的资源占比不足40％时，对参与人员的资源进行降配处理，资源配置调整为在原配置的基础上降低50％；当监控到参与人员的资源占比将要达到或超过80％时，对参与人员的资源进行升配处理，资源配置调整为在原配置的基础上增加50％；在对所述参与人员的资源占比进行实时监控的过程中，以时间为基准确定参与人员的资源使用情况的曲线图，根据所述曲线图的变化趋势对参与人员的资源占比变化情况进行变化预测，及时发现需要资源调配的情况。
91.对参与人员的资源使用情况进行实时监控，一旦监控发现参与人员的资源占比呈下降趋势，且在40％附近变化时，则判定该参与人员的调用资源时的占比低于预设值，则对该参与人员的资源配置调整至原资源配置的50％，即下降一半，例如，原存储内存为8g，通过资源调配的干涉，将其存储内存调配为4g。可能在对该参与人员的资源进行降配时，其他参与人员的资源进行升配处理，因此，通过上述对参与人员的资源使用情况进行实时监控以及实时调配时，可以合理调整资源的配置，保证需要更多资源配置的参与人员获得更多的资源占比，而不需要更多资源配置的参与人员获得较少的资源占比，而该资源配置完全按照参与人员的具体使用情况实时调配，因此，通过本方案可以保证资源调配的合理性。
92.另外，对参与人员的资源使用情况进行预测的方法的具体实施方式如下：对每一个参与人员的资源使用情况按照时间轴为基准(x轴)，确定参与人员资源使用情况(y轴)的变化曲线图，根据该变化曲线图可以预测该参与人员的资源占比的变化是趋于上升状态还是下降状态，进而根据曲线图对参与人员是否需要进行某个时间段内是否需要进行资源调配进行预测。而所有参与人员均的资源使用情况的预测均采用该变化曲线图完成，一旦预测出多个参与人员都需要进行资源调配时，根据时间紧迫性，也就是资源使用情况处于上升状态，且单位时间内变化最快的参与人员的资源调配处于优先状态，也就是依据时间紧迫性顺序预测资源调配的调配顺序。
93.上述技术方案的有益效果为：采用本实施例提供的方案在保证资源配置的合理性的情况下，实现资源调配的实时性，保证参与人员在参与过程中不会因为资源调用时出现资源分配不合理的情况而导致的各种问题。
94.实施例6：
95.在实施例1的基础上，所述对所述参与人员的资源进行第一次资源调配，包括：
96.采用智能化自动化的方式根据参与人员的资源占比自动对所述参与人员的资源进行第一次资源配置；
97.或者，采用人工干预方式根据参与人员的资源占比对所述参与人员的资源进行第一次资源配置。
98.上述技术方案的工作原理为：本实施例采用的方案是所述对所述参与人员的资源进行第一次资源调配，包括：采用智能化自动化的方式根据参与人员的资源占比自动对所述参与人员的资源进行第一次资源配置；或者，采用人工干预方式根据参与人员的资源占比对所述参与人员的资源进行第一次资源配置。采用自动配置的方式节省人工成本，而采用人工干预的方式可以增加人为可控性，保证资源调配的可靠性。
99.上述技术方案的有益效果为：采用本实施例提供的方案将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，即对cpu的情况进行监控，以获得相应的资源占比，根据资源占比实时监控参与人员在活动项目中的资源配置情况，进而实时并快速的调整其资源的配置，提升资源配置的效率和时效性。另外，通过对堡垒机日志以及监控摄像设备日志的分析，可以判断参与人员是否有违规操作和恶意操作行为，以保证活动项目过程中的数据的安全性。
100.实施例7：
101.在实施例1的基础上，所述将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合，包括：
102.将日志融合系统连接所述云资源宿主机、虚机、堡垒机以及监控摄像设备的视频和图像识别处理系统，分别获取云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志；
103.所述日志融合系统将所述云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合。
104.上述技术方案的工作原理为：本实施例采用的方案是将日志融合系统连接所述云资源宿主机、虚机、堡垒机以及监控摄像设备的视频和图像识别处理系统，分别获取云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志；所述日志融合系统将所述云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合。
105.上述技术方案的有益效果为：采用本实施例提供的方案将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，即对cpu的情况进行监控，以获得相应的资源占比，根据资源占比实时监控参与人员在活动项目中的资源配置情况，进而实时并快速的调整其资源的配置，提升资源配置的效率和时效性。另外，通过对堡垒机日志以及监控摄像设备日志的分析，可以判断参与人员是否有违规操作和恶意操作行为，以保证活动项目过程中的数据的安全性。
106.实施例8：
107.在实施例7的基础上，所述日志融合包括数据采集融合和数据分析融合：
108.所述数据采集融合包括：通过agent或syslog协议的方式对日志进行采集；所述针对日志或数据的采集为多源数据采集；所述宿主机日志包括虚机的创建、运维和删除的过
程所产生的日志；所述虚机日志包括用户在虚机上执行的操作所产生的日志；所述堡垒机日志包括堡垒机登录用户ip地址所访问的所有应用的操作产生的日志；所述监控摄像设备日志包括将监控摄像设备记录的视频和图像进行识别处理后形成的数据；
109.所述数据分析融合包括：将采集到的日志聚合在平台上后，基于不同场景、不同维度采用大数据分布式结构进行日志的数据分析融合处理，形成处理分析结果；
110.通过搜索引擎的方式在展示界面上展示分析结果。
111.上述技术方案的工作原理为：本实施例采用的方案是通过不同的采集方式实现日志的主动采集和被动采集，一般针对操作系统可采用主动采集的方式，如采用agent技术实时抓取日志，而针对网络设备如堡垒机、交换机等设备可采用被动采集的方式，如syslog协议的方式采集日志。
112.而针对采集到的日志，将所有采集到的日志汇聚在平台上，而在该平台上可以实现日志数据的融合处理过程，由于采集到的日志数据量较大，一般采用大数据分布式方式对日志数据进行处理。具体的处理方式可以包括以下几种情况：针对多源数据，按照不同的维度可生成不同维度报表，因此，可以将日志数据按照不同的维度或不同的应用场景进行划分；例如如有需要可根据用户名、固定编码信息、虚机编号、宿主机编号、用户ip地址、登录时间段、登录时间段内登录次数、关键词、系统的不同属性等维度去对日志数据进行融合分析，以根据不同的应用场景设定不同的划分依据和划分标准，从而形成不同维度的日志数据的融合以及数据分析。
113.此外，采用大数据分布式结构进行数据处理，可以处理几十tb级的日志量，而且处理延时非常短，可以让用户搜索、分析几秒钟之前产生的日志。保持日志分析的实时有效性。
114.平台采用流处理技术，对接收到的非结构化数据进行结构化处理，可以通过设备横向扩展，增加平台的数据接入性能，从而实现支持万级eps数据的接入和数据的融合。
115.将日志数据进行融合之后，可以将数据通过内置语言函数的仪表盘的方式展现分析结果。所述展现可以包括单指标的展现和多指标的展现，可通过表格、图片、柱状图等方式展现。所述仪表盘一般是指可自由堆放多个表格柱状图的展示界面。采用仪表盘的方式展现分析结果可以给用户提供简单明了且包含多维度信息的结果，此展现方式仅通过内置函数的方式实现，因此，采用该展现方式在不增加维护成本的情况下，可提升用户的体验。
116.另外，采用分布式搜索引擎，具备高可靠性和高性能，支持时间文本索引和全文检索，提供丰富的api用于索引、检索、修改大多数配置，能够快速搜索数百亿的日志以及tb级的数据，结构化或者非结构化的数据都可以快速搜索，提高搜索和数据处理的效率。
117.综上，所述日志融合可以包括：数据采集融合和数据分析融合。其中，所述数据采集融合采用的方式包括以下几种方式：日志平台采集数据种类支持对虚机、宿主机、网络设备、安全设备(例如：堡垒机)、闸机设备、门禁日志的数据采集，支持各种格式的数据(例如：文本、xml、数据、事件、消息、专有格式等任何数据格式)。从而实现用户操作行为数据、设备运行数据的实时采集、统一汇集，统一留存。
118.所述数据分析融合包括以下几个部分：
119.针对设备状态性能融合分析：针对虚机、宿主机、网络设备、安全设备的运行状态以及性能使用情况统一监控，对于资源利用率低、满负载运行的设备一目了然。
120.针对用户登录操作融合分析：通过门禁卡访问记录、堡垒机操作记录、操作系统登录及操作的整合分析，可对所有参赛者的行为进行全局融合分析。
121.针对数据关联分析：通过日志分析平台强大的beaver搜索分析引擎、丰富的spl语言，可实现对设备与设备之间、用户与用户之间，不同时间段的同环比分析。
122.针对异常情况的分析：可自定义设备运行异常规则、用户操作异常规则，当出现某服务器资源消耗长时间较低、或长时间处于高水位状态，某参赛者在非正常参赛时间范围内访问、或非权限范围内操作的情况，以及当出现使用非法程序时，可进行实时告警分析。
123.因此，所述数据分析融合可以根据具体的应用场景和应用需求，确定出提取日志数据的特征信息，所述特征信息可以认定为日志中数据或信息记录的分类指标。例如：在各个参赛队伍进入竞赛中后，每个参赛队伍的所有涉及竞赛的操作将都可以被记录下来，如果要查找某一时间段内某一参赛队伍在各个设备上的日志数据，并将相应的日志数据提取融合时，则可以采用数据分析融合的方式实现。一种具体实现方式如下：
124.给每个参赛队伍分配标识该参赛队伍的唯一标识sid，该唯一标识sid可以是与参赛队伍的身份信息没有任何关系的标识，例如针对某一参赛队伍可分配为sid 01，相应的各个设备机也设置相应的标识，如主机可分别进行编号为a01，a02，a03
…
等，堡垒机也可分别进行编号为b01，b02，b03
…
等，操作系统也可分别进行编号为c01，c02，c03
…
等，按照这样的逻辑类推，每个设备机都有相应的标识，相应的参赛队伍也有分配的唯一标识sid。在参赛队伍进入竞赛时，先分配唯一标识sid，然后随机给每个参赛队伍分配设备机，分配完成后，根据分配结果构建唯一标识sid与设备机编码的关联表，在该关联表中记录每个参赛队伍对应的主机、操作系统以及堡垒机等的编码。
125.因此，在需要提取某一时间段，唯一标识为sid 01参赛队伍的相关操作和相关数据时，可以根据关联表中的关联信息进行日志数据的提取，例如，在关联表中，sid 01对应的主机编号为a03，堡垒机编号为b02，操作系统的编号为c01，在提取sid 01相关的日志数据时，可以直接调用a03、b02和c01等设备机上所需时间段内的所有数据和信息，则调用的上述数据和信息就是sid 01参赛队伍在该时间段内的所有数据和信息，将调取的数据和信息按照预设的方式放入同一表格中，即可实现日志数据的融合。因此，通过上述方案可以查询每个参赛队伍的资源使用情况，或者是否有违规行为等。
126.另外，针对监控摄像设备监控的不同设备机的位置，设定编号，例如编号为d01、d02、d03
…
等，d01可以监控主机a01和a02，则在关联表上，对应主机a01和a02的监控摄像设备的编码为d01，调取数据时，若需要调用主机a01或a02上的数据和信息，则相对应需要调取监控摄像设备d01中拍摄的视频或图像，即提取信息时实际提取的是该视频或图像经过图像识别处理系统的识别处理后形成的日志，因此，也可以将监控摄像设备日志关联至关联表中，因此，采用本方案可以查看某一参赛队伍是否有违规行为。
127.另外，在日志融合的过程中，很多情况下是需要查询时间记录的，但是不同系统或不同数据来源的时间记录格式不统一，甚至可能有时差的情况，这样在日志融合时就需要通过时间处理模块将所有不同格式的时间调整为统一的一种格式，这样就可以按照时间的维度做日志分析。
128.实施例9：
129.在实施例7的基础上，
130.所述日志分析系统通过对监控摄像设备日志和堡垒机日志的分析，判断参与人员是否有违规操作和恶意操作行为，包括：
131.所述监控摄像设备对参与人员的肢体行为的违规操作进行监控，通过视频和图像识别处理系统对监控到的视频或图像进行识别处理，判断参与人员是否有泄露活动项目相关材料的行为；若有，则判定为所述参与人员有违规操作；所述泄露活动项目相关材料的行为包括：采用录制视频或拍照的方式获取活动项目的相关材料的行为；
132.所述堡垒机通过对参与人员在活动项目中针对计算机的操作行为进行监控和记录，通过堡垒机获得的参与人员的操作行为，判断所述操作行为是否存在调用敏感数据的情况，若所述参与人员在预设时间段内多次重复的调用敏感数据情况下，判断所述参与人员有恶意操作行为。
133.上述技术方案的工作原理为：本实施例采用的方案是所述监控摄像设备对参与人员的肢体行为的违规操作进行监控，通过视频和图像识别处理系统对监控到的视频或图像进行识别处理，判断参与人员是否有泄露活动项目相关材料的行为；若有，则判定为所述参与人员有违规操作；所述泄露活动项目相关材料的行为包括：采用录制视频或拍照的方式获取活动项目的相关材料的行为；所述堡垒机通过对参与人员在活动项目中针对计算机的操作行为进行监控和记录，通过堡垒机获得的参与人员的操作行为，判断所述操作行为是否存在调用敏感数据的情况，若所述参与人员在预设时间段内多次重复的调用敏感数据情况下，判断所述参与人员有恶意操作行为。
134.另外，针对违规行为和恶意操作行为，如何判定参与人员是违规行为和恶意操作行为，可以通过构建违规库的方式将所有违规行为记录在该违规库中，该违规行为是违反参赛规则的且被认定为在比赛过程中不被允许的一些行为，在判断参与人员是否有违规行为时，可以将参与人员的行为与违规库中记录的行为做比对，若该行为在违规库中，则认定为违规行为。
135.上述技术方案的有益效果为：采用本实施例提供的方案将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，即对cpu的情况进行监控，以获得相应的资源占比，根据资源占比实时监控参与人员在活动项目中的资源配置情况，进而实时并快速的调整其资源的配置，提升资源配置的效率和时效性。另外，通过对堡垒机日志以及监控摄像设备日志的分析，可以判断参与人员是否有违规操作和恶意操作行为，以保证活动项目过程中的数据的安全性。
136.实施例10：
137.在实施例9的基础上，所述通过堡垒机获得的参与人员的操作行为，判断所述操作信息是否存在调用敏感数据的情况，包括：
138.通过堡垒机获得参与人员的行为操作时的界面信息；
139.根据所述界面信息与所述敏感数据的数据库中的敏感数据的信息进行比对；
140.若一致，则认定为所述参与人员的操作行为属于调用敏感数据的情况。
141.上述技术方案的工作原理为：本实施例采用的方案是所述通过堡垒机获得的参与人员的操作行为，判断所述操作信息是否存在调用敏感数据的情况，包括：通过堡垒机获得参与人员的行为操作时的界面信息；根据所述界面信息与所述敏感数据的数据库中的敏感
数据的信息进行比对；若一致，则认定为所述参与人员的操作行为属于调用敏感数据的情况。
142.上述技术方案的有益效果为：采用本实施例提供的方案将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，即对cpu的情况进行监控，以获得相应的资源占比，根据资源占比实时监控参与人员在活动项目中的资源配置情况，进而实时并快速的调整其资源的配置，提升资源配置的效率和时效性。另外，通过对堡垒机日志以及监控摄像设备日志的分析，可以判断参与人员是否有违规操作和恶意操作行为，以保证活动项目过程中的数据的安全性。
143.实施例11：
144.在实施例1的基础上，所述将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合之前，包括：
145.对活动项目的参与人员进行身份识别；所述身份识别包括人脸识别；
146.根据所述参与人员的身份识别结果判断所述参与人员是否有参与活动项目的资格；
147.当所述参与人员具备相应的参与资格时，对所述参与人员进行资源的初始配置。
148.上述技术方案的工作原理为：本实施例采用的方案是所述将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合之前，对活动项目的参与人员进行身份识别；所述身份识别包括人脸识别；根据所述参与人员的身份识别结果判断所述参与人员是否有参与活动项目的资格；当所述参与人员具备相应的参与资格时，对所述参与人员进行资源的初始配置。
149.上述对参与人员身份识别的过程实际上是起到门禁的作用，也就是可以将门禁日志与云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合，并且通过将门禁日志的融合，使门禁系统的数据可以直接对接到日志分析系统，根据日志分析系统的分析可得出是参与人员是否有相应的权限进入。
150.上述技术方案的有益效果为：采用本实施例提供的方案将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，即对cpu的情况进行监控，以获得相应的资源占比，根据资源占比实时监控参与人员在活动项目中的资源配置情况，进而实时并快速的调整其资源的配置，提升资源配置的效率和时效性。另外，通过对堡垒机日志以及监控摄像设备日志的分析，可以判断参与人员是否有违规操作和恶意操作行为，以保证活动项目过程中的数据的安全性。
151.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。