一种银行账单智能导入系统及导入方法与流程

1.本发明涉及一种银行账单智能导入系统及导入方法。


背景技术：

2.在账单分析系统里，原始交易数据的导入是所有分析处理的前提。但是各个银行的交易数据字段的定义、格式、位置各不相同。即使是相同的银行，导出交易数据时的字段属性仍然可能千差万别。因此，方便、快捷地实现原始交易数据的导入将为后续的统计分析提供支撑。
3.银行交易数据导入时，常见的方法是手动建立银行交易字段与分析系统的映射，在涉及多家银行或者银行数据字段复杂时，手动建立映射工作量较大而且容易出错。


技术实现要素：

4.本发明的目的在于提供一种银行账单智能导入系统及导入方法，在最初导入数据时采用模糊匹配的方式实现交易数据字段与系统标准字段的智能映射，未匹配的字段可手动进行匹配；对于已经确认的匹配规则可以保存为模板，在下一次导入数据时，可直接使用模板实现全自动的匹配和导入，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种银行账单智能导入系统及导入方法，包括数据导入模块、数据清洗模块和人工智能数据处理模块；
6.所述数据导入模块用于根据基础数据建立完整记录表格模型、智能识别各种待导入数据格式，并将各种不同格式的数据统一导入到完整记录表格模型中；
7.所述数据清洗模块用于将导入的数据根据实际要求，进行有效性检查，并将其中的重复数据、矛盾数据、伪数据进行清洗，以保证最终用于分析的数据格式统一，内容真实有效；
8.所述人工智能数据处理模块用于将清洗后的数据根据实际分析需要，分别对应不同的数据模型，并在此基础上有机整合数据以对其进行分类整合处理。
9.一种银行账单智能导入系统的导入方法，包括以下步骤：
10.步骤(a)、数据导入：加载从银行获取的账单交易原始文件，将每列的表头记录为字段的名称，解析每行实际的交易数据作为数据对象并进行保存；
11.步骤(b)、匹配模板：根据导入数据选择相匹配的银行模板，如果有与之相匹配的模板，则根据字段顺序和字段内容的对应关系将导入的数据进行一一对应，并展示预览结果；
12.步骤(c)、数据字段自动匹配：如果经过步骤(b)发现没有与导入数据相匹配的模板，则采用kmp算法程序，根据其内部设定的关键字进行自动的数据字段匹配；
13.步骤(d)、手动校正数据字段：根据步骤(c)自动匹配的结果，若出现与实际情况不符合的匹配，将进行手动校正数据字段，所述手动校正数据字段包括以下几个内容的校正：
14.a)、格式校正：格式主要是针对日期、时间的校正，日期格式为yyyymmdd或者
ddmmyyyy，时间格式为hh:mm:ss或者hh-mm-ss；
15.b)、数据校正：因为对于数据字段的判断错误，将交易金额和账户余额发生混淆，需要手动修正；
16.c)、类型校正：对于交易方式、交易类型字段，因为各家银行的数据多样化，如果出现匹配错误，需要手动进行校正。
17.步骤(e)、数据预览处理：对于导入文件中的前一百条数据按照步骤(a)—(d)进行预览处理，若预览数据有问题，则重复步骤(a)—(d)，修正匹配规则，并重新预览；
18.步骤(f)、模板保存：当原始数据的字段与系统标准字段都明确了映射关系，将该映射关系保存为导入模板；
19.步骤(g)、模板应用：利用步骤(f)保存的导入模板，完整的处理导入的数据文件，并将处理后的数据文件保存在库中。
20.优选的，所述导入方法支持银行提供的基础账单数据表格和微信、支付宝提供的基础交易流水数据表格。
21.优选的，所述银行提供的基础账单数据表格和微信、支付宝提供的基础交易流水数据表格均为excel格式。
22.与现有技术相比，本发明的优点与好处：
23.本发明在最初导入数据时采用模糊匹配的方式实现交易数据字段与系统标准字段的智能映射，未匹配的字段可手动进行匹配；对于已经确认的匹配规则可以保存为模板，在下一次导入数据时，可直接使用模板实现全自动的匹配和导入；从而大大简化了原始数据进入分析系统的工作量，并且较好地避免了过多手动建立映射造成的错误。
附图说明
24.图1为本发明整体数据导入流程框图；
25.图2为本发明匹配模板时预览结果展示图；
26.图3为本发明数据字段自动匹配步骤中next[]数组求解示意图。
具体实施方式
[0027]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0028]
请参阅图1—3，本发明提供一种技术方案：一种银行账单智能导入系统及导入方法，包括数据导入模块、数据清洗模块和人工智能数据处理模块；
[0029]
数据导入模块用于根据基础数据建立完整记录表格模型、智能识别各种待导入数据格式，并将各种不同格式的数据统一导入到完整记录表格模型中；
[0030]
数据清洗模块用于将导入的数据根据实际要求，进行有效性检查，并将其中的重复数据、矛盾数据、伪数据进行清洗；
[0031]
人工智能数据处理模块用于将清洗后的数据根据实际分析需要，分别对应不同的数据模型，并在此基础上有机整合数据以对其进行分类整合处理。
[0032]
一种银行账单智能导入系统的导入方法，包括以下步骤：
[0033]
步骤(a)、数据导入：加载从银行获取的账单交易原始文件，将每列的表头记录为字段的名称，解析每行实际的交易数据作为数据对象并进行保存；
[0034]
步骤(b)、匹配模板：根据导入数据选择相匹配的银行模板，如果有与之相匹配的模板，则根据字段顺序和字段内容的对应关系将导入的数据进行一一对应，并展示预览结果；匹配过程如下：
[0035]
模板中记录了字段顺序和字段内容的对应关系，比如第1列对应“账户号”，第2列对应“账户名称
”……
根据这样的对应关系，将导入的数据进行一一对应，并展示预览结果。如图2所示；
[0036]
步骤(c)、数据字段自动匹配：如果经过步骤(b)发现没有与导入数据相匹配的模板，则采用kmp算法程序，根据其内部设定的关键字进行自动的数据字段匹配；
[0037]
即主串指针i不回溯，只回溯子串指针j，指针j回溯到哪，就看nextval[i]的值了，所以该算法关键是求nextval[]数组。其实nextval[]是在next[]数组的基础上求得的，它改进了使用next[]的不足。下面一步步来讲：
[0038]
(1)、next[]数组求解
[0039]
这里需要先将所给子串化成字符数组char[]p，从1开始放子串字符(为什么从1开始，为了数组计算方便)，所以p.length＝子串长度+1，next[]长度等于p的长度；
[0040]
抽象层面来说，next[i]＝子串p[1,2,
…
,i-1]中前缀子串与后缀子串相等时的最大长度+1。可以利用next[i]与next[i+1]的递推关系，如下图3所示；
[0041]
假设已知next[i]＝j，即p[1，
…
，k-1]＝p[i-k+1，
…
，i-1]，这时比较p[i]和p[j]：
[0042]
(a)如果p[i]＝p[j]＝p[next[i]]，则有p[1，
…
，j]＝p[i-j+1，
…
，i]，前缀子串与后缀子串相等的最大长度为j+1，即next[i+1]＝j+1＝next[i]+1；
[0043]
(b)如果p[i]！＝p[j]，则将j回溯到next[i]，即j＝next[i]，然后继续比较p[i]和p[j]；
[0044]
(c)这里注意特殊情况：j回溯到0后，即到了上图最下面j＝＝0的情况，因为p[0]里面为非子串字符，无意义，这时就要指针i、j都加1，加过后next[i]＝j，再继续比较p[i]和p[j]；
[0045]
(d)初始条件next[1]＝0，next[2]＝1。
[0046]
(2)、nextval[]数组求解
[0047]
为什么要引入nextval[]数组？因为next[]有缺陷，以子串
″
ababaaaba
″
为例，如下表1所示：
[0048]
j123456789模式串tababaaabanext[j]011234223nextval[j]010104210
[0049]
表1
[0050]
当j＝5时，如果子串p[5]！＝主串s[i]，那么j要回溯到j＝next[5]＝3，接着，比较p[3]与s[i]，因为p[3]＝＝p[5]，所以p[3]！＝s[i]。可见，这一步是多余的，我们可以直接j＝next[3]，以此类推，这就是nextval[]的由来，对求next[]的代码稍加改动，即可求解
nextval[]。
[0051]
(3)、匹配主串
[0052]
返回子串在主串中首次出现的位置，str是主串，pc是子串。
[0053]
步骤(d)、手动校正数据字段：根据步骤(c)自动匹配的结果，若出现与实际情况不符合的匹配，将进行手动校正数据字段，手动校正数据字段包括以下几个内容的校正：
[0054]
a)、格式校正：格式主要是针对日期、时间的校正，日期格式为yyyymmdd或者ddmmyyyy，时间格式为hh:mm:ss或者hh-mm-ss；
[0055]
b)、数据校正：因为对于数据字段的判断错误，将交易金额和账户余额发生混淆，需要手动修正；
[0056]
c)、类型校正：对于交易方式、交易类型字段，因为各家银行的数据多样化，如果出现匹配错误，需要手动进行校正。
[0057]
步骤(e)、数据预览处理：对于导入文件中的前一百条数据按照步骤(a)—(d)进行预览处理，若预览数据有问题，则重复步骤(a)—(d)，修正匹配规则，并重新预览；
[0058]
步骤(f)、模板保存：当原始数据的字段与系统标准字段都明确了映射关系，将该映射关系保存为导入模板；
[0059]
步骤(g)、模板应用：利用步骤(f)保存的导入模板，完整的处理导入的数据文件，并将处理后的数据文件保存在库中。
[0060]
优选的，导入方法支持银行提供的基础账单数据表格和微信、支付宝提供的基础交易流水数据表格。
[0061]
优选的，银行提供的基础账单数据表格和微信、支付宝提供的基础交易流水数据表格均为excel格式。
[0062]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。