一种ETL中字段级血缘关系生成方法与流程

本发明涉及计算机查询，具体为一种etl中字段级血缘关系生成方法。

背景技术：

1、血缘关系是指有血亲联系的亲属，根据血亲联系的远近不同，可分为直系血缘关系和旁系血缘关系，在生活中不论是属于父系血亲联系或母系血亲联系，都是血缘关系，在日常生活中需要查询血缘关系进行一些特点事物处理，可以有效的证明查询人员所有具有血缘关系的信息，在日常生活中需要用到一种etl中字段级血缘关系生成方法对查询人员信息进行读取。

2、现有血缘关系查询生成方法在使用过程中存在不具有提高查询效率的功能，导致的无法快速对查询人员血缘关系信息进行读取并更新，增加了查询人员血缘关系的等待时间，降低了查询人员血缘关系的工作效率，所以需要发明一种etl中字段级血缘关系生成方法。

技术实现思路

1、本发明的目的在于提供一种etl中字段级血缘关系生成方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：包括步骤一，架构设计；步骤二，信息录入；步骤三，数据处理；步骤四，优化检索；步骤五，信息联网；

3、其中上述步骤一中，组成架构包括：数据交换机构、联网终端、数据处理，其中数据交换机构组成为：人机交互端、智能语音提示系统、信息转化模块、编码器，联网终端组成设备为：路由器、web服务器、sql数据库，数据处理包括：联网存储终端、集成处理器，通过编码器可便于对查询信息产生的数据进行二次语言加密，实现了加密输送信息的作用；

4、其中上述步骤二中，通过工作人员将待查询人员资料通过人机交互端进行录入，通过智能语音提示系统可对不需要工作人员进行辅助录入信息的使用人员提供语音提示，便于使用人员自主化完成信息录入，通过信息转化模块可对录入信息进行转化为二进制电磁信号，并输送至编码器进行二次语言加密，起到了加密输送信息的作用，再通过路由器可将电磁信号输送至联网存储终端进行存储，便于使用人员后续通过移动端互联网查询血缘关系信息；

5、其中上述步骤三中，通过集成处理器可对联网存储终端内部存储信息进行调用，并通过sql数据库可将录入人员信息进行处理，并通过sql数据库内部预设函数进行查询，通过查询结果并计算可得到相近值，并通过round(value，precision)指令对信息进行处理计算使得查询结果按照四舍五入保留precision位精度的数值，即可得到查询人员血缘关系结果以及相近血缘关系信息，通过路由器将查询信息发送至信息转化模块进行数据包接收并转化为字符信息，并输送至人机交互端，即可完成查询血缘信息处理；

6、其中上述步骤四中，查询作业结束后，再通过集成处理器可对sql数据库内部信息进行更新，并通过集成处理器调用sql数据库指令例如：select*from t where usernamelike’％xxx％’，(xxx为本次查询人员信息)，并通过指令改变检索方式为：select*from twhere username like’xxx％’，(xxx为本次查询人员信息)，改为在字段后面使用模糊查询，并通过集成处理器可对sql数据库检索数据量进行判断，当计算出sql数据库检索数据量较大时更改为检索参数为elasticsearch、solr指令，可使得亿级数据量检索速度提升为秒级别，通过改为在字段后面使用模糊查询与智能使用elasticsearch、solr指令可避免了对sql数据库进行全盘扫描的问题，减少了查询数据时间，从而减少了使用人员查询的等待时间；

7、其中上述步骤五中，在优化检索结束后，再通过联网存储终端将sql数据库生成的result_of_temp表格字段进行存储，并发送至web服务器进行云端存储，通过web服务器与路由器配合使用可实现了全国信息互通的作用，便于后续实现统一平台存储与查询血缘关系信息，减少了查询血缘关系信息的工作流程，同时实现了信息联网互通的作用。

8、优选的，所述在步骤四中，通过改为在字段后面使用模糊查询，可避免了在字段开头进行模糊查询，从而导致的sql数据库引擎放弃索引进行全表扫描，其中全表扫描中会对待需要检索的信息进行锁定，导致的其他调用者无法对sql数据库内部数据进行读取，导致的其他事务无法更新这张表，从而引起数据链路堵塞，解决了进行全表扫描造成的检索时间浪费，与使用人员等待信息返回时间增加，再通过智能使用elasticsearch、solr指令可对检索数据过大的信息进行快速处理，使得检索时间降低为毫秒级别，减少了查询数据时间，从而减少了使用人员查询的等待时间。

9、与现有技术相比，本发明的有益效果是：

10、本发明通过改为在字段后面使用模糊查询，可避免了在字段开头进行模糊查询，从而导致的sql数据库引擎放弃索引进行全表扫描引起的数据链路堵塞，解决了进行全表扫描造成的检索时间浪费，与使用人员等待信息返回时间增加的问题，再通过智能使用elasticsearch、solr指令可对检索数据过大的信息进行快速处理，使得检索时间降低为毫秒级别，实现了提高查询人员血缘关系效率的功能，便于快速对查询人员血缘关系信息进行读取并更新。

技术特征：

1.一种etl中字段级血缘关系生成方法，包括步骤一，架构设计；步骤二，信息录入；步骤三，数据处理；步骤四，优化检索；步骤五，信息联网；其特征在于：

2.根据权利要求1所述的一种etl中字段级血缘关系生成方法，其特征在于：所述在步骤四中，通过改为在字段后面使用模糊查询，可避免了在字段开头进行模糊查询导致sql数据库引擎放弃索引进行全表扫描引起的数据链路堵塞的问题，解决了进行全表扫描造成的检索时间浪费，与使用人员等待信息返回时间增加，再通过智能使用elasticsearch、solr指令可对检索数据过大的信息进行快速处理，使得检索时间降低为毫秒级别，减少了查询数据时间，从而减少了使用人员查询的等待时间。

技术总结
本发明公开了一种ETL中字段级血缘关系生成方法，包括步骤一，架构设计；步骤二，信息录入；步骤三，数据处理；步骤四，优化检索；步骤五，信息联网。本发明通过改为在字段后面使用模糊查询，可避免了在字段开头进行模糊查询，从而导致的SQL数据库引擎放弃索引进行全表扫描引起的数据链路堵塞，解决了进行全表扫描造成的检索时间浪费的问题，再通过集成处理器与SQL数据库配合可智能使用ElasticSearch、solr指令可对检索数据过大的信息进行快速处理，使得检索时间降低为毫秒级别，实现了提高查询人员血缘关系效率的功能，便于快速对查询人员血缘关系信息进行读取并更新。

技术研发人员：李锋,周亚
受保护的技术使用者：卓面信息科技（苏州）有限公司
技术研发日：
技术公布日：2024/1/16