基于大数据的科技型中小企业银企对接服务系统及方法与流程

本发明属于大数据，特别涉及一种基于大数据的科技型中小企业银企对接服务系统及方法。

背景技术：

1、如文献1，公开号，cn112837146a所述，信息不对称是造成银企关系紧张和中小企业银行融资困境的重要原因，为了解决上述问题，文献1披露了利用大数据技术采集小微企业的各项数据，并以此对企业进行风险评估的技术方案，该方案中，基于大数据技术，采集金融产品信息以及企业信息并不断进行更新；基于采集到的信息建立企业征信模型；并基于企业征信模型对企业进行风险评估，以辅助决策是否为企业提供金融服务，消除了银行和小微企业之间的信息不对称，助力银行快速判断小微企业的风险。

2、然而发明人发现，文献1中的方案并未针对科技型中小企业的特点进行设计，因此无法直接将文献1的方案直接应用于基于大数据的科技型中小企业银企对接服务系统中。具体体现为:中小型科技型企业相较于传统的小微企业，其成立时间短，并且很注重利用互联网进行营销和信息宣传，因此对于科技型中小企业需要通过大数据技术采集其在网络上的很多文本信息，例如，网络上app的用户评价、网络上的产品宣传等文本。这些文本存在非结构化的特点，因此为了构建中小型科技型企业的企业画像，很有必要在银企对接服务系统中采用大数据技术采集这些与中小型科技型企业相关的大量文本信息并进行文本分析，获得更多关于中小型科技型企业的信息，用于金融风险等评估。

3、在实现过程中，采用hadoop作为分布式存储和计算框架来实现大数据的存储和分析，hadoop是一个开源的分布式存储和计算框架，旨在处理大规模数据集。hadoop的核心设计包括hadoop分布式文件系统（hdfs）用于数据存储，和mapreduce用于数据处理。hadoop集群是由多台计算机组成的一个集群，每台计算机在集群中承担不同的角色，例如有的负责存储数据（hdfs节点），有的负责处理数据（mapreduce作业节点，包括map任务节点和reduce任务节点）。hadoop框架管理这些计算机，使它们协同工作，以分布式的方式存储和处理数据。

4、hadoop的mapreduce框架允许开发者通过编写map函数和reduce函数来实现业务逻辑，例如实现对文本数据的快速分析。map函数处理输入数据，生成一系列中间键值对；reduce函数则处理这些键值对，生成最终结果。map函数运行在hadoop集群的各个节点上，这些节点被称为map任务节点。hadoop集群是由多台计算机组成的，每台计算机都可以执行map任务或reduce任务。当一个mapreduce作业被提交到集群时，hadoop的资源管理器（例如yarn）会负责分配任务到集群的不同节点上。具体的，当mapreduce程序提交到hadoop集群时，hadoop的资源管理器（如yarn）会接管程序的执行。它首先将输入数据分割成多个小块，并分配到多个map任务上并行执行。每个map任务在处理完自己的数据块后，会生成一系列键值对，这些键值对按键进行排序和分组，然后发送给reduce任务。reduce任务接收到来自所有map任务的输出后，按键进行汇总处理，生成最终结果。

5、发明人在实践过程中发现，在hadoop集群中挑选哪些节点作为map任务节点，会影响到mapreduce作业的效率，即map任务节点挑选策略不恰当时，会导致mapreduce作业的效率降低，进而降低数据分析的效率。经研究，其原因如下：各节点的负载大小会影响map任务的执行效率，例如，挑选a节点做为map任务节点，但是a节点的cpu占用率过高，会导致a节点完成对应map任务耗时过长，从而会导致总的mapreduce作业的效率降低。又如，若挑选b节点做为map任务节点，但是b节点的网速很慢，会导致将map任务所需的数据从hdfs节点传输到b节点耗时过长，从而会导致总的mapreduce作业的效率降低。

技术实现思路

1、本发明的目的在于至少解决上述问题之一，以提供一种基于大数据的科技型中小企业银企对接服务系统及方法，能够针对mapreduce作业，从hadoop集群中挑选恰当的map任务节点，从而提升mapreduce作业的效率，进而提升数据分析的效率。

2、为了实现上述发明目的，本发明提供一种基于大数据的科技型中小企业银企对接服务方法，所述方法包括：

3、利用分布式存储和计算框架对通过大数据技术采集到的企业数据进行分布式存储和执行分布式分析任务；

4、对于分布式分析任务，从集群的所有节点中选择负载大小和传输路径接近度符合挑选策略要求的多个节点做为任务节点；

5、基于被选中的各任务节点进行企业数据的分布式分析任务，得到数据分析结果；所述数据分析结果用于构建企业的企业画像，所述企业画像为包括所述数据分析结果的数据；

6、基于所述企业画像构建风险评估模型和金融产品推荐模型；

7、基于所述风险评估模型对企业的融资请求进行审批并基于所述金融产品推荐模型向企业推送金融业务办理信息。

8、另一方面，本发明提供一种基于大数据的科技型中小企业银企对接服务系统，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序，以实现上述方法的步骤。

9、再一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

10、相较于现有技术，本发明至少具有优先的有益效果：

11、相较于现有技术中，map任务节点挑选策略不恰当时，会导致mapreduce作业的效率降低，进而降低数据分析的效率的技术问题。本实施例提供的方案，能够针对mapreduce作业，从hadoop集群中挑选恰当的map任务节点，从而提升mapreduce作业的效率，进而提升数据分析的效率。

技术特征：

1.一种基于大数据的科技型中小企业银企对接服务方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于大数据的科技型中小企业银企对接服务方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的一种基于大数据的科技型中小企业银企对接服务方法，其特征在于，通过以下公式二确定第i个节点的负载大小，

4.根据权利要求2所述的一种基于大数据的科技型中小企业银企对接服务方法，其特征在于，通过以下公式三确定第i个节点的传输路径接近度，

5.根据权利要求3所述的一种基于大数据的科技型中小企业银企对接服务方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的一种基于大数据的科技型中小企业银企对接服务方法，其特征在于，所述识别所述分布式分析任务所对应的任务场景，具体包括：

7.根据权利要求1所述的一种基于大数据的科技型中小企业银企对接服务方法，其特征在于，基于所述企业画像构建风险评估模型，具体包括：

8.根据权利要求1所述的一种基于大数据的科技型中小企业银企对接服务方法，其特征在于，基于所述企业画像构建金融产品推荐模型，具体包括：

9.根据权利要求4所述的一种基于大数据的科技型中小企业银企对接服务方法，其特征在于，所述方法还包括：

10.一种基于大数据的科技型中小企业银企对接服务系统，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序，以实现权利要求1至9所述方法的步骤。

技术总结
本申请提供了一种基于大数据的科技型中小企业银企对接服务系统和方法，所述方法包括：利用分布式存储和计算框架对通过大数据技术采集到的企业数据进行分布式存储和执行分布式分析任务；对于分布式分析任务，从集群的所有节点中选择负载大小和传输路径接近度符合挑选策略要求的多个节点做为任务节点；基于被选中的各任务节点进行企业数据的分布式分析任务，得到数据分析结果；所述数据分析结果用于构建企业的企业画像，所述企业画像为包括所述数据分析结果的数据；基于所述企业画像构建风险评估模型和金融产品推荐模型。本申请能够针对MapReduce作业，从Hadoop集群中挑选恰当的Map任务节点，从而提升MapReduce作业的效率，进而提升数据分析的效率。

技术研发人员：段棋锋,史刚刚,陈德福,曾志丽,李澎
受保护的技术使用者：深圳市元睿城市智能发展有限公司
技术研发日：
技术公布日：2024/5/10