一种数据导出方法、系统及设备与流程

本发明涉及一种数据导出方法、系统及设备，属于数据处理领域。

背景技术：

1、随着实验室需要将进行免疫检测的标本的数量和免疫检测的项目种类，存储的样本检测数据也越来越多，且缺乏相应的数据处理系统，因此，为了了解不同细项的样本量的检测数据清单，需要存储的样本检测数据中相应细项的样本检测数据导出。

2、数据导出方法，需要先查询存储的样本检测数据中需要导出的每个细项的检测数据，然后填充至对应的清单模板，从而完成数据导出，得到不同细项的数据清单。但是现有的数据导出方法需要查询的细项种类较多，需要利用单线程依次查询每个细项的检测数据，从而导致数据导出的效率较低。

技术实现思路

1、本发明提供一种数据导出方法、系统及设备，其主要目的在于提高了数据导出的效率。

2、为实现上述目的，本发明提供的一种数据导出方法，包括：

3、响应于源数据表的数据导出请求，提取所述数据导出请求中的所有导出数据组及每个所述导出数据组对应的导出要求；

4、获取预设的清单模板库中每个清单模板的清单模板标识，基于所述导出要求，对所述模板标识进行匹配筛选，以筛选每个所述导出数据组对应的清单模板，得到每个所述导出数据组的目标清单模板；

5、计算所述导出数据组的数量，得到导出任务数量，并基于所述导出数据组构建查询语句；

6、获取目标线程池中空闲线程的数量，判断所述空闲线程的数量是否大于或等于所述导出任务数量；

7、当所述空闲线程的数量大于或等于所述导出任务数量，在所述目标线程池中选取所述导出任务数量的空闲线程，得到数据查询线程；

8、当所述空闲线程的数量小于所述导出任务数量，基于所述导出任务数量在所述目标线程池中创建新的线程，并在所述目标线程池中选取所述导出任务数量的空闲线程，得到数据查询线程；

9、启动所有所述数据查询线程，以执行所有所述查询语句对所述源数据表进行并发查询，得到每个所述导出数据组的导出数据；

10、将所述导出数据组的导出数据填充至该导出数据组的目标清单模板中，以完成所述源数据表的数据导出。

11、可选地，所述基于所述导出要求，对所述模板标识进行匹配筛选，以筛选每个所述导出数据组对应的清单模板，得到每个所述导出数据组的目标清单模板，包括：

12、将所述导出要求转化为向量，得到导出要求向量；

13、将所述模板标识转化为向量，得到模板标识向量；

14、基于所述模板标识向量与所述导出要求向量进行计算，得到所述导出要求对应的每个所述模板标识的匹配系数；

15、基于所述匹配系数对所有所述模板标识进行筛选，得到目标模板标识；

16、将所述目标模板标识对应的导出目标确定为所述导出要求对应导出数组的目标清单模板。

17、可选地，所述将所述导出要求转化为向量，得到导出要求向量，包括：

18、将所述导出要求进行分词，并将分词得到的词语确定为第一分词词语；

19、将每个所述第一分词词语转换为向量，得到第一分词词语向量；

20、利用所有所述第一分词词语向量进行向量计算，得到第一要求特征向量；

21、将所述导出要求进行语言翻译转换，得到翻译导出要求；

22、将所述翻译导出要求进行分词，并将分词得到的词语确定为第二分词词语；

23、将所述第二分词词语转换为向量，得到第二分词词语向量；

24、利用所有所述第二分词词语向量进行向量计算，得到第二要求特征向量；

25、将所述第一要求特征向量与所述第二要求特征向量进行横向拼接，得到要求特征矩阵；

26、将所述要求特征矩阵进行降维，得到所述导出要求向量。

27、可选地，所述利用所有所述第一分词词语向量进行向量计算，得到第一要求特征向量，包括：

28、

29、其中，y为所述第一要求特征向量，m为所述第一分词词语向量的总数量，j为所述第一分词词语向量的序号，xj为序号为j的第一分词词语向量。

30、可选地，所述基于所述模板标识向量与所述导出要求向量进行计算，得到所述导出要求对应的每个所述模板标识的匹配系数，包括：

31、

32、其中，ai为导出要求向量a中序号为i的元素，bi为模板标识向量b中序号为i的元素，n为所述导出要求向量及所述模板标识向量的向量维度，i为所述导出要求向量及所述模板标识向量中元素的序号，导出要求向量a为导出要求a对应的导出要求向量，模板标识向量b为模板标识b对应的模板标识向量，p为导出要求a对应的模板标识b的匹配系数。

33、可选地，所述在所述目标线程池中选取所述导出任务数量的空闲线程，得到数据查询线程，包括：

34、获取所述目标线程池中的所有空闲线程及每个所述空闲线程的创建时间；

35、基于所述创建时间的先后将所述目标线程池中的所有空闲线程进行排序，得到空闲线程序列；

36、将所述空闲线程序列中预设排名及其之前的空闲线程确定为所述数据查询线程，其中，所述预设排名的数值与所述导出任务数量的数值相同。

37、可选地，所述基于所述导出任务数量在所述目标线程池中创建新的线程，包括：

38、获取所述目标线程池已创建的线程数量，得到已创建线程数量；

39、获取所述目标线程池的最大线程数；

40、计算所述最大线程数与所述已创建线程数量的差值，得到理论线程创建数量；

41、获取所述目标线程池中空闲线程的数量，得到空闲线程数量；

42、计算所述导出任务数量与所述空闲线程数量的差值，得到实际线程创建数量；

43、判断所述理论线程创建数量是否大于或等于所述实际线程创建数量；

44、当所述理论线程创建数量小于所述实际线程创建数量，基于所述理论线程创建数量及所述实际线程创建数量，对所述目标线程池进行最大线程数的调整更新，并在所述目标线程池中创建新的线程，且创建的新线程的数量大于或等于所述实际线程数量；

45、当所述理论线程创建数量大于或等于所述实际线程创建数量，在所述目标线程池中创建新的线程，且创建的新线程的数量大于或等于所述实际线程数量。

46、可选地，所述对所述目标线程池进行最大线程数的调整更新，包括：

47、计算所述实际线程创建数量与所述理论线程创建数量的差值，得到调整差值；

48、计算所述最大线程数与所述调整差值之和，得到目标调整最大线程数；

49、对所述目标线程池进行最大线程数调整，以使得调整后的最大线程数大于或等于所述目标调整最大线程数。

50、可选地，所述启动所有所述数据查询线程，以执行所有所述查询语句对所述源数据表进行并发查询，得到每个所述导出数据组的导出数据，包括：

51、遍历所有数据查询线程，并为每个所述数据查询线程分配一个所述查询语句；

52、启动所有的数据查询线程，利用启动后的每个所述数据查询线程执行分配给它的查询语句，以对所述源数据表的进行查询，并保存每个所述查询语句对应的查询结果；

53、将保存的每个所述查询语句对应的查询结果，确定为该查询语句对应导出数据组的导出数据。

54、为了解决上述问题，本发明还提供一种数据导出系统，所述系统包括：

55、模板匹配模块，用于响应于源数据表的数据导出请求，提取所述数据导出请求中的所有导出数据组及每个所述导出数据组对应的导出要求；获取预设的清单模板库中每个清单模板的清单模板标识，基于所述导出要求，对所述模板标识进行匹配筛选，以筛选每个所述导出数据组对应的清单模板，得到每个所述导出数据组的目标清单模板；

56、导出数据查询模块，用于计算所述导出数据组的数量，得到导出任务数量，并基于所述导出数据组构建查询语句；获取目标线程池中空闲线程的数量，判断所述空闲线程的数量是否大于或等于所述导出任务数量；当所述空闲线程的数量大于或等于所述导出任务数量，在所述目标线程池中选取所述导出任务数量的空闲线程，得到数据查询线程；当所述空闲线程的数量小于所述导出任务数量，基于所述导出任务数量在所述目标线程池中创建新的线程，并在所述目标线程池中选取所述导出任务数量的空闲线程，得到数据查询线程；启动所有所述数据查询线程，以执行所有所述查询语句对所述源数据表进行并发查询，得到每个所述导出数据组的导出数据；

57、数据导出模块，用于将所述导出数据组的导出数据填充至该导出数据组的目标清单模板中，以完成所述源数据表的数据导出。

58、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

59、至少一种处理器；以及，

60、与所述至少一个处理器通信连接的存储器；其中，

61、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现上述所述的数据导出方法。

62、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的数据导出方法。

63、相比于背景技术所述问题，本发明实施例首先计算所述导出数据组的数量，得到导出任务数量，并基于所述导出数据组构建查询语句；获取目标线程池中空闲线程的数量，判断所述空闲线程的数量是否大于或等于所述导出任务数量；当所述空闲线程的数量大于或等于所述导出任务数量，在所述目标线程池中选取所述导出任务数量的空闲线程，得到数据查询线程；

64、当所述空闲线程的数量小于所述导出任务数量，基于所述导出任务数量在所述目标线程池中创建新的线程，并在所述目标线程池中选取所述导出任务数量的空闲线程，得到数据查询线程；启动所有所述数据查询线程，以执行所有所述查询语句对所述源数据表进行并发查询，得到每个所述导出数据组的导出数据；将所述导出数据组的导出数据填充至该导出数据组的目标清单模板中，以完成所述源数据表的数据导出。本发明实施例通过根据需要查询的数据类别的数量，从而筛选或创建相应的线程，来动态匹配执行所有的查询语句，实现所有的查询语句可以同时执行，从而实现并发查询，与背景技术中只能单线程依次执行完成每一个查询语句进行数据查询相比，查询的速度更快，提升了数据查询的速度，进而可以更快的将查询的数据导出，从而提高了数据导出的效率。因此本发明提出的数据导出方法、系统、电子设备及计算机可读存储介质，其主要目的在于提高了数据导出的效率。