基于参数配置的估值表自动化解析校验的数据转换方法及系统与流程

本发明涉及数据处理，具体地，涉及基于参数配置的估值表自动化解析校验的数据转换方法及系统。

背景技术：

1、现有技术已公开了一种基于nlp的资管产品估值表智能统一化方法，通过对原始估值表数据进行预处理，提取底层会计科目代码的全文本信息作为nlp模型的输入，训练出一个bert分类模型，从而建立了原始估值表会计科目体系与标准会计科目体系的对应关系，用于完成估值表的清洗。该技术方案虽然能够支持估值表的数据解析，但存在以下三个缺陷：缺陷一：需要大量的训练数据来构建模型。在数据样本小的情况下，构建的nlp模型是存在瑕疵的。缺陷二：存在原始估值表业务数据处理遗漏项。方法仅公布了管理人、会计科目代码、会计科目名称的解析和分类方法，未对估值表中的成本原币、成本本币、市值原币、市值本币等其他原始业务数据解析进行完整说明。缺陷三：清洗后未对数据进行业务校验。未校验的数据可能存在数据冗余或数据丢失，数据的完整性和准确性没有保障。

2、专利文献cn107274291b(申请号：201710473348.6)公开了一种跨平台的估值表解析方法、存储介质及应用服务器，通过读取各平台对应的产品估值表，对已读取的所述产品估值表的表头进行提取；根据提取出的表头特征，对所述产品估值表进行校验，并保留校验通过的产品估值表；同时，识别校验通过的所述产品估值表对应的估值系统及版本号；基于预设的估值科目全量表，根据识别出的所述产品估值表对应的估值系统及版本号，对所述产品估值表进行分类解析并生成可供分析的估值数据；具有将不同平台、不同格式的产品估值表进行分类解析并生成可供分析的估值数据的有益效果，节省了数据处理时间，提高了数据处理效率；同时，也提高了数据处理的准确率。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种基于参数配置的估值表自动化解析校验的数据转换方法及系统。

2、根据本发明提供的一种基于参数配置的估值表自动化解析校验的数据转换方法，包括：

3、步骤s1：设置资产负债参数表和合计参数表；

4、步骤s2：对估值表进行验证，包括：文件名称验证、通用解析模式验证以及兼容解析模式验证；

5、步骤s3：对估值表进行解析得到资产负债参数和合计参数，并分别对资产负债参数和合计参数进行预处理；

6、步骤s4：基于预处理后的资产负债参数和合计参数对估值表中的资产负债数据和合计数据分别进行解析；

7、步骤s5：对估值表解析数据进行校验，实现了资产管理行业的估值表数据的标准化数据转换。

8、优选地，所述步骤s1采用：

9、步骤s1.1：对全市场的管理人的估值表业务进行提取，合并相似或相近的业务，抽象出估值表资产负债业务表；

10、步骤s1.2：定义面向资产负债的参数名称、参数类型、参数业务以及参数值；

11、步骤s1.3：基于估值表资产负债业务表以及定义的面向资产负债的参数名称、参数类型、参数业务以及参数值设置资产负债参数表和合计参数表。

12、优选地，所述步骤s2采用：

13、步骤s2.1：解析估值表文件名字符串，提取估值表名称以及估值日期；

14、步骤s2.2：使用poi工具集，判断估值表文件是否为通用模式；如果返回值为true，则通过通用模式解析；如果返回值为false，则通用模式解析异常，则进入兼容模式判断；使用jxl工具集，判断估值表文件是否为兼容模式；如果返回值为true，则通过兼容模式解析；如果返回值为false，则兼容模式解析异常。

15、优选地，所述步骤s3采用：

16、步骤s3.1：读取资产负债数据基础参数配置，获取资产负债基础业务参数；

17、步骤s3.2：读取合计数据基础参数配置，获取合计数据基础业务参数；

18、步骤s3.3：判断估值表表头所在行和所在跨列，解析表头数据并保存；

19、步骤s3.4：判断估值日期所在行和所在跨列，解析估值日期并保存。

20、优选地，所述步骤s4采用：

21、步骤s4.1：判断估值表资产负债数据解析初始行，对资产负债数据进行解析；

22、步骤s4.2：判断估值表合计数据解析初始行，对合计数据进行解析。

23、优选地，所述步骤s5采用：估值表解析数据校验包括：新增估值增值数据过滤参数、新增公允价值变动损益过滤参数、新增特殊标签参数、判断每条解析记录的数据字典包含关系、资产逻辑判断、负债逻辑判断、底层数据逻辑判断、市值法校验以及成本法校验。

24、根据本发明提供的一种基于参数配置的估值表自动化解析校验的数据转换系统，包括：

25、模块m1：设置资产负债参数表和合计参数表；

26、模块m2：对估值表进行验证，包括：文件名称验证、通用解析模式验证以及兼容解析模式验证；

27、模块m3：对估值表进行解析得到资产负债参数和合计参数，并分别对资产负债参数和合计参数进行预处理；

28、模块m4：基于预处理后的资产负债参数和合计参数对估值表中的资产负债数据和合计数据分别进行解析；

29、模块m5：对估值表解析数据进行校验，实现了资产管理行业的估值表数据的标准化数据转换。

30、优选地，所述模块m1采用：

31、模块m1.1：对全市场的管理人的估值表业务进行提取，合并相似或相近的业务，抽象出估值表资产负债业务表；

32、模块m1.2：定义面向资产负债的参数名称、参数类型、参数业务以及参数值；

33、模块m1.3：基于估值表资产负债业务表以及定义的面向资产负债的参数名称、参数类型、参数业务以及参数值设置资产负债参数表和合计参数表。

34、优选地，所述模块m2采用：

35、模块m2.1：解析估值表文件名字符串，提取估值表名称以及估值日期；

36、模块m2.2：使用poi工具集，判断估值表文件是否为通用模式；如果返回值为true，则通过通用模式解析；如果返回值为false，则通用模式解析异常，则进入兼容模式判断；使用jxl工具集，判断估值表文件是否为兼容模式；如果返回值为true，则通过兼容模式解析；如果返回值为false，则兼容模式解析异常。

37、优选地，所述模块m3采用：

38、模块m3.1：读取资产负债数据基础参数配置，获取资产负债基础业务参数；

39、模块m3.2：读取合计数据基础参数配置，获取合计数据基础业务参数；

40、模块m3.3：判断估值表表头所在行和所在跨列，解析表头数据并保存；

41、模块m3.4：判断估值日期所在行和所在跨列，解析估值日期并保存；

42、所述模块m4采用：

43、模块m4.1：判断估值表资产负债数据解析初始行，对资产负债数据进行解析；

44、模块m4.2：判断估值表合计数据解析初始行，对合计数据进行解析；

45、所述模块m5采用：估值表解析数据校验包括：新增估值增值数据过滤参数、新增公允价值变动损益过滤参数、新增特殊标签参数、判断每条解析记录的数据字典包含关系、资产逻辑判断、负债逻辑判断、底层数据逻辑判断、市值法校验以及成本法校验。

46、与现有技术相比，本发明具有如下的有益效果：

47、1、本发明通过将管理人估值表的业务抽象成计算机的可配置化参数，并在数据解析前进行估值表文件的参数化配置，实现了原始估值表的表头数据、资产负债数据和合计数据的自动化解析，同时实现了原估值表资产负债数据与合计数据的自动化校验，从而建立了一套完整的估值表数据转换的技术处理方法；

48、2、本发明可用于基金公司、券商资管、保险资管、信托公司等资产管理人的委外资管产品估值表数据处理，可大大降低估值表数据清洗和预处理等数据转换过程的时间成本，且数据的完整性和准确性有了极大的提高；

49、3、本发明通过开发java程序，进行统一的估值表参数配置技术特征，对不同管理人的非统一格式估值表进行数据清洗和数据转换，实现了在不依赖训练模型的情况下，对不同管理人多样式估值表的底层资产和负债的所有属性进行自动解析和校验的技术效果；

50、4、利用本发明开发的估值表自动化解析校验系统，将多管理人不同样式的估值表进行了标准化数据转换，提升了整个资管行业的机构在估值表数据转换的效率。