一种多渠道发票数据聚合处理方法与流程

本发明属于数据处理方法，尤其涉及一种多渠道发票数据聚合处理方法。

背景技术：

1、一般的发票数据处理系统，视角都关注在开票过程或者业务处理过程，随着电子发票的推广及金税四期全电业务的展开，依托于发票数据的业务场景和业务系统往往需要整合不同渠道不同来源的发票，形成全场景、全环节的数字化发票管理，打破不同渠道来源数据的信息化“横向隔离”，推动企业财务数据“纵向耦合”，打造泛在可及、智慧便捷的企业数据治理体系，使发票数据治理能更好地实现企业财务数字化建设目标；

2、现有发票数据的处理方法，是通过发票管理系统从认证系统或excel模版导入用户的发票数据，根据从认证系统或excel模版导入的用户的发票数据确定所述发票数据报表中未认证的发票，并根据预设的发票认证条件，确认所述未认证发票是否进行发票认证；若满足预设条件，则进行发票认证，并对经过认证的发票进行记账处理；

3、通过以上对于此专利公开的发票处理方法进行分析，此种方法获取发票渠道单一，用户在第三方财务软件的发票信息和移动端的发票信息不能方便及时的导入系统进行入账分析，用户需要把非系统开具的发票数据处理成excel文件后才可以处理，加大了用户的工作量，

4、在发票数据的处理的需求，可以同时处理用户来自不同渠道开具和接收的发票数据，诸如系统界面保存的发票数据、第三方接口获取的发票数据、ocr识别的发票数据和excel批量导入的发票数据等，用户可以方便快捷的对企业发票数据进行聚合处理；

5、综上所述，现有技术存在由于发票数据处理系统，视角都关注在开票过程或者业务处理过程，从而导致发票数据采集方式单一，与业务系统耦合度高，人工参与介入的场景偏多，可扩展性较低，运维成本较高的问题。

技术实现思路

1、本发明提供一种多渠道发票数据聚合处理方法，以解决上述背景技术中提出了现有技术存在由于发票数据处理系统，视角都关注在开票过程或者业务处理过程，从而导致发票数据采集方式单一，与业务系统耦合度高，人工参与介入的场景偏多，可扩展性较低，运维成本较高的问题。

2、本发明所解决的技术问题采用以下技术方案来实现：

3、一种多渠道发票数据聚合处理方法，包括：

4、多渠道原始发票数据接入：基于不同渠道来源的发票数据，通过大数据聚合处理，输出标准的结构化发票数据；

5、原始发票数据适配：基于标准的结构化发票数据，通过统一适配处理，输出统一抽象发票数据；

6、发票数据标准化：基于统一抽象发票数据，通过配置不同的转换规则，输出标准化发票数据；

7、发票数据校验落地：基于标准化发票数据，通过发票校验处理，输出校验合格发票数据，并落入数据湖中形成落地应用发票数据；

8、发票数据对接应用：将落地应用发票数据接入统一的数据应用程序api接口。

9、进一步，所述多渠道原始发票数据接入还包括：

10、所述原始发票数据接入渠道包括如界面录入、excel批量导入、第三方接口导入、图像识别ocr导入、发票二维码识别导入以及快速扩展接入。

11、进一步，所述原始发票数据包括：纯文本格式、xml格式、json格式、excel格式。

12、进一步，所原始发票数据适配还包括：

13、基于每一个不同渠道的原始发票数据，设置相应的数据转换适配器，并通过相应的数据转换适配器适配处理，转换为统一抽象发票数据。

14、进一步，所述数据转换适配器适配处理包括：

15、基于抽象出统一发票数据结构，通过开源数据湖框架hudi做数据存储方案，依托于消息队解耦进行数据采集的每一个不同渠道的原始发票数据，通过flink侧输出流sideoutput的分流操作，同步进行原始数据保存及数据处理。

16、进一步，所述发票数据标准化还包括：

17、基于统一抽象发票数据和解析预定义的转换规则，通过数据标准化处理，对等转换以匹配统一的标准化发票数据；

18、所述数据标准化处理包括：

19、通过解析预定义的转换规则，实例化easy rules规则引擎进行数据标准化处理，对数据字段名、内容格式等进行转换以匹配统一的抽象数据结构。

20、进一步，所述实例化easy rules规则引擎进行数据标准化处理包括：

21、基于原始文本数据，通过easyrule转换规则引擎转换xml数据处理，转换为xmlelement对象；

22、读入easyrule转换规则配置；

23、通过自定义的easyrule规则引擎的实例化对象，将原始文本数据的属性与配置的规则进行操作比对，按照配置进行数据转换，产出标准json对象，转换结束后的标准json对象，可以落地或者重新赋值到对应实体后进行后续操作。

24、进一步，所述发票数据校验落地还包括：

25、发票数据校验处理：

26、基于标准化发票数据，通过：

27、筛选去重专项优化：通过发票代码、发票号码的关键字检索，删除重复的发票数据；

28、清洗验真专项优化：通过调用税局官方的接口，查验发票数据有效性；

29、专项优化后，汇总为校验合格发票数据。

30、进一步，所述发票数据校验落地还包括：

31、发票数据落地处理：

32、基于校验合格发票数据，通过开源数据湖框架的hudi存入hadoop大数据处理中间件，存储于企业发票数据湖中。

33、进一步，所述发票数据对接应用还包括：

34、基于发票数据湖中的发票数据；

35、数据接入处理：通过数据湖中统一的api接口接入校验合格发票数据；

36、数据服务处理：通过spring框架的boot开发的标准化接口对外提供数据服务。

37、有益技术效果：

38、本专利采用多渠道原始发票数据接入：基于不同渠道来源的发票数据，通过大数据聚合处理，输出标准的结构化发票数据；原始发票数据适配：基于标准的结构化发票数据，通过统一适配处理，输出统一抽象发票数据；发票数据标准化：基于统一抽象发票数据，通过配置不同的转换规则，输出标准化发票数据；发票数据校验落地：基于标准化发票数据，通过发票校验处理，输出校验合格发票数据，并落入数据湖中形成落地应用发票数据；发票数据对接应用：将落地应用发票数据接入统一的数据应用程序api接口，由于在于将不同渠道的发票数据统一接入，通过大数据相关技术对不同渠道来源的发票数据进行聚合处理，产出标准的结构化数据。对于数据接入层，使用适配器设计模式，为不同的发票数据来源渠道提供统一的适配接口，针对每一个渠道来源数据只需要扩展相应的实现适配器即可快捷方便的将数据接入本系统，适配器模式的设计方法保证了多渠道接入的扩展性；对于数据转换层，也采用了灵活配置的方式实现，通过配置不同的转换规则，在各渠道适配器中调用不同的数据转换规则，即可产出统一的标准数据结构，保证了数据转换的横向扩展性；数据落地后，经过前面处理过的结构化数据可使用统一的api接口进行获取，方便后续的业务系统操作，本发明解决了在多渠道开票的现有限制条件不变的前提下，为用户提供聚合处理后的单向数据出口，消除不同渠道来源的数据差异。利用大数据技术智能化的进行数据归集，简化企业数据整理流程。在保证数据可靠性的同时，简化用户操作，无感的聚合发票数据，为企业财务业务开展提供高效可靠的数据支撑。