一种高可靠性的通用人工智能核心软件算法系统的制作方法

本发明涉及人工智能算法，更具体地说，它涉及一种高可靠性的通用人工智能核心软件算法系统。

背景技术：

1、人工智能，英文缩写为ai，它由不同的领域组成，如机器学习，计算机视觉等等，总的说来，人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作，软件算法是人工智能的基础，要使计算机能完成人们预定的工作，首先必须为如何完成预定的工作设计一个软件算法，然后再根据软件算法编写程序；计算机程序要对问题的每个对象和处理规则给出正确详尽的描述，其中程序的数据结构和变量用来描述问题的对象，程序结构、函数和语句用来描述问题的算法。

2、目前，人工智能核心软件算法系统用来获取描述问题的相关数据和变量，并对相关数据和变量进行相应的处理，以实现利用处理后的数据进行算法的设计，因此由于人工智能核心软件算法系统需要大量的数据输入，并且需要经过复杂的处理和计算，从而导致对模型的响应速度和效率产生影响，尤其是在处理大量数据时，可能会存在性能瓶颈，难以满足日益发展的人工智能需求。

技术实现思路

1、本发明的目的在于提供一种高可靠性的通用人工智能核心软件算法系统，以解决上述背景技术中存在的问题。

2、本发明的上述技术目的是通过以下技术方案得以实现的：

3、本技术提供了一种高可靠性的通用人工智能核心软件算法系统，包括存在连接关系的数据收集模块、数据预处理模块、数据存储模块以及组合模块，其中：

4、数据收集模块，用于从各个不同的数据源中获取训练数据，并将训练数据传输至数据预处理模块；

5、数据预处理模块，用于将受到的训练数据进行预处理，得到预处理完成的第一数据，预处理包括数据清洗、数据过滤和数据转换，并将第一数据传输至数据存储模块；

6、数据存储模块，用于将接收的第一数据存储在数据存储模块中设置的分布式数据库中，并对第一数据进行水平扩展和负载均衡，且将第一数据分散到分布式数据库的各个存储节点中；

7、组合模块，用于从分布式数据库中获取第一数据，并利用第一数据对预置的初始模型进行训练，得到与初始模型对应并训练完成的算法模型；算法模型，用于将经过预处理后并存储在分布式数据库中的目标数据进行处理，得到目标数据的处理结果。

8、本发明的有益效果是：本方案中，通过数据收集模块能够从各种数据源中高效地收集数据，并通过数据预处理模块进行数据的清洗、过滤和转换，提高了数据的质量和可用性，且数据存储模块将处理后的数据安全地存储在分布式数据库中，确保数据的可靠性和可扩展性，其中，通过在数据存储模块中引入分布式数据库的技术，将各个数据分散到分布式数据库中的多个数据库节点上，以实现数据的水平扩展和负载均衡，从而可以提高数据处理能力和响应速度，同时降低单台机器的负载，提高对大量数据进行计算时的处理能力和处理效率。

9、在上述技术方案的基础上，本发明还可以做如下改进。

10、进一步，上述数据源包括传感器数据、日志文件、网络请求、预置数据库、消息队列中的一项或多项。

11、进一步，上述用于从各个不同的数据源中获取训练数据，具体为，根据训练数据的类型特点，并针对类型特点采用预置的编程语言工具编辑相应的数据采集程序，其中：

12、数据源为传感器数据时，使用传感器驱动程序读取传感器数据，数据采集程序包括感器驱动程序；

13、数据源为日志文件时，使用日志轮转或归档工具来收集或管理日志文件，数据采集程序包括日志轮转或归档工具；

14、数据源为网络请求时，使用http抓包工具来收集或管理网络请求，数据采集程序包括http抓包工具。

15、进一步，上述预处理包括数据清洗、数据过滤和数据转换，其中：

16、数据清洗，用于去除训练数据或目标数据中的重复数据；

17、数据过滤，用于过滤掉无效或错误的训练数据或目标数据；

18、数据转换，用于训练数据或将目标数据转换为预置格式的数据流。

19、采用上述进一步方案的有益效果是：预处理的过程可以确保收集到的数据的质量和准确性，并方便后续的数据处理和数据分析。

20、进一步，上述数据清洗或数据过滤采用预置数据清洗工具或预置过滤工具来执行。

21、进一步，上述预置数据清洗工具或预置过滤工具包括openrefine、excel、python、vba、pycharm中的一项或多项。

22、进一步，上述组合模块包括存在连接关系的数据抓取模块、算法模块、数据传输模块和缓存模块，其中：

23、算法模块，用于通过数据抓取模块从分布式数据库中获取第一数据，并利用第一数据对预置的初始模型进行训练，得与初始模型对应并训练完成的算法模型，并通过算法模型，将经过预处理后并存储在分布式数据库中的目标数据进行处理，得到目标数据的处理结果；还用于将处理结果通过数据传输模块传输至缓存模块；

24、缓存模块，用于将传输模块传输过来的各个数据进行临时存储。

25、采用上述进一步方案的有益效果是：算法模块将数据的处理结果通过数据传输模块传输送到缓存模块中进行储存，即将经常访问的数据存储在缓存模块中，减少对分布式数据库的访问次数，提高整个系统的反应速度。

26、进一步，上述利用第一数据对预置的初始模型进行训练，得与初始模型对应并训练完成的算法模型，具体为：

27、特征提取，根据获取的用户需求，从第一数据中提取与用户需求对应的数据特征；

28、模型训练，根据各个用户需求或第一数据对应的数据特征，将数据特征输入至初始模型中，并对初始模型进行训练，直到得到与初始模型对应并训练完成的算法模型；

29、模型评估，通过计算算法模型的各个模型指标来进行算法模型的优劣评估，并得到评估结果，并在评估结果为不合格时，通过调整算法模型的模型参数并进行多次迭代和优化，直到评估结果为合格，模型指标包括准确率、召回率、f1值中的一项或多项。

30、进一步，上述算法模型将经过预处理后并存储在分布式数据库中的目标数据进行处理，得到目标数据的处理结果，具体为：

31、部署优化，根据算法模型的真实运行情况对算法模型进行优化调整；

32、数据挖掘，根据目标数据进行数据挖掘，得到目标数据对应的分析处理结果；

33、结果呈现，根据分析处理结果以预置方式呈现给用户，预置方式包括可视化图表、报告。

34、进一步，上述系统还包括负载均衡模块和并行处理模块，负载均衡模块和并行处理模块连接数据存储模块；

35、负载均衡模块和并行处理模块，均用于实现第一数据或目标数据在数据存储模块中的平衡分配，且实现将第一数据或目标数据分配给算法模型的多个处理节点。

36、采用上述进一步方案的有益效果是：通过采用并行处理模块和负载均衡模块，使负载能够被分散到多个存储节点上，实现负载的平衡分配，提高了系统的处理能力和响应速度，且可以将数据处理任务分配给多个处理节点同时进行，大大加快了数据处理速度。

37、与现有技术相比，本发明至少具有以下的有益效果：

38、在本技术中，通过数据收集模块能够从各种数据源中高效地收集数据，并通过数据预处理模块进行数据的清洗、过滤和转换，提高了数据的质量和可用性，且数据存储模块将处理后的数据安全地存储在分布式数据库中，确保数据的可靠性和可扩展性，其中，通过在数据存储模块中引入分布式数据库的技术，将各个数据分散到分布式数据库中的多个数据库节点上，以实现数据的水平扩展和负载均衡，从而可以提高数据处理能力和响应速度，同时降低单台机器的负载，提高对大量数据进行计算时的处理能力和处理效率。

39、在本技术中，通过采用并行处理模块和负载均衡模块，使负载能够被分散到多个处理节点上，实现负载的平衡分配，提高了系统的处理能力和响应速度，且并行处理模块则可以将数据处理任务分配给多个处理节点同时进行，大大加快了数据处理速度。

40、综上，这种高可靠性通用人工智能核心软件算法系统具有高效、稳定、可扩展和通用性强等优点，可以广泛应用于各种领域的数据处理和分析中。

41、在本技术中，利用存在于组合模块中的数据抓取模块，实现从分布式数据库中快速抓取所需数据，并通过算法模块进行处理和分析，而算法模块可采用各种机器学习和数据挖掘算法，对抓取得到的各个数据进行深度处理，为后续的决策和预测提供有力支持，且配合抓取模块中的索引模块，可以通过建立适当的索引来优化数据查询速度，减少查询时间，从而来进一步提高对数据处理速度，降低响应时间。