一种高频行情数据检验方法及装置与流程

1.本发明涉及数据检验技术领域，特别是涉及一种高频行情数据检验方法及装置。


背景技术：

2.为了确保数据在传输过程的准确率，通常需要数据发送方对数据进行一系列的计算，得到并引入相应的校验码，附加在有效数据的末尾。数据接收方根据约定，利用算法函数，对收到的数据重新计算并生成校验码，再与数据发送方发送的校验码进行比对。若校验码比对正确，则将数据提交应用程序，进行下一步处理；若校验码比对错误，则认为数据存在一定的错误。
3.目前在现有技术中，使用较为广泛的校验码主要包括抑或校验(xor)、累加和校验(add)、循环冗余校验(cyclic redundancy check，crc)、累加和求补校验(checksum)等。异或校验(xor)与累加和校验(add)两种检验方法都是以字节为单位，对数据进行校验处理，其算法相对而言比较简单,但由于校验形式单一，容易出现差错与纰漏，对数据完备性检验的正确率并不高。而出错率较低的循环冗余校验(cyclic redundancy check,crc)与累加和求补校验(checksum)，则存在算法与编码步骤较为繁杂等问题。
4.因此需要提供一种数据检验方法及装置，能够解决上述问题。


技术实现要素：

5.本发明针对现有技术存在的问题和不足，提供一种高频行情数据检验方法及装置，检验通过不同渠道获取的高频行情数据是否存在缺失、乱码等现象，从而提升数据质量，大大减少人力成本。
6.本发明是通过下述技术方案来解决上述技术问题的：
7.本发明提供一种高频行情数据检验方法，所述高频行情数据检验方法包括：
8.步骤102：获取高频行情数据，其包括快照数据、逐笔委托数据、逐笔成交数据以及k线行情数据；
9.步骤104：若所述逐笔委托数据和所述逐笔成交数据中不同频道代码下的最大业务序列号与所述逐笔委托数据和所述逐笔成交数据总条数不对应，则判断所述高频行情数据为错误；
10.步骤106：当所述高频行情数据为错误时，生成错误记录并向相应的收件人发送邮件。
11.优选地，在所述步骤102之前，还包括：
12.步骤101：通过api接口调取每日码值表，根据所述每日码值表对应场景编号调取所述高频行情数据。
13.优选地，所述步骤101中根据所述每日码值表对应场景编号调取所述高频行情数据还包括每间隔第一预设时间获取一次所述高频行情数据的文件大小，若本次获取的所述高频行情数据的文件大小和上一次获取的所述高频行情数据的文件大小一样，则所述高频
行情数据下载完成，若本次获取的所述高频行情数据的文件大小和上一次获取的所述高频行情数据的文件大小不一样，则等下一次时间间隔再获取一次所述高频行情数据，直到第二预设时间为止。
14.优选地，若本次获取的所述高频行情数据的文件大小和上一次获取的所述高频行情数据的文件大小不一样，则自动删除之前下载的所述高频行情数据，重新下载修复后的数据，并对所述高频行情数据进行分块。
15.优选地，所述步骤102中所述获取高频行情数据包括若读取成功所述高频行情数据则表示所述高频行情数据正常，若读取失败所述高频行情数据则表示所述高频行情数据异常，当所述高频行情数据异常时，生成错误记录并向相应的收件人发送邮件。
16.优选地，在所述步骤104之后，还包括：
17.步骤105：根据所述逐笔成交数据生成当日k线行情数据，将所述当日k线行情数据与官方k线行情数据进行比较，若所述当日k线行情数据与所述官方k线行情数据无法一一对应，表示所述逐笔成交数据存在缺失的情况，则生成错误记录并向相应的收件人发送邮件。
18.优选地，所述当日k线行情数据包括相应证券的昨收价、开盘价、最新价、最高价、最低价、成交额、成交量以及均价。
19.优选地，所述错误记录存储在高频数据日常检验表中，所述高频数据日常检验表中的所述错误记录包括id、交易市场、交易日、校验时间、校验结果、报错类型、报错类型描述、报错具体内容、发布时间、更新时间以及更新id。
20.优选地，若所述快照数据和所述k线行情数据无法对应，表示所述快照数据和日行情成交金额无法对应，则生成错误记录并向相应的收件人发送邮件。
21.本发明还提供一种高频行情数据检验装置，所述高频行情数据检验装置包括：
22.数据获取模块，其用于获取高频行情数据，其包括快照数据、逐笔委托数据、逐笔成交数据以及k线行情数据；
23.数据判断模块，其用于判断若所述逐笔委托数据和所述逐笔成交数据中不同频道代码下的最大业务序列号与所述逐笔委托数据和所述逐笔成交数据总条数不对应，则判断所述高频行情数据为错误；
24.数据报错模块，其用于当所述高频行情数据为错误时，生成错误记录并向相应的收件人发送邮件。
25.与现有技术相比，本发明实施例的技术方案具有以下有益效果：
26.本发明实施例提供的高频行情数据检验方法及装置，通过比较所述逐笔委托数据和所述逐笔成交数据中不同频道代码下的最大业务序列号与所述逐笔委托数据和所述逐笔成交数据总条数是否对应，来判断所述高频行情数据是否准确，当所述高频行情数据为错误时，生成错误记录并向相应的收件人发送邮件，从而在降低技术难度的同时，大大提高高频行情数据检验正确率；
27.进一步地，根据所述逐笔成交数据生成当日k线行情数据，将所述当日k线行情数据与官方k线行情数据进行比较，若所述当日k线行情数据与所述官方k线行情数据无法一一对应，表示所述逐笔成交数据存在缺失的情况，则生成错误记录并向相应的收件人发送邮件，从而进一步确保所述高频行情数据检验的正确率；
28.进一步地，若所述快照数据和所述k线行情数据无法对应，表示所述快照数据和日行情成交金额无法对应，则生成错误记录并向相应的收件人发送邮件，从而能够及时通知相关收件人，进一步确保所述高频行情数据检验的正确率。
附图说明
29.图1为本发明的一个实施例提供的高频行情数据检验方法的流程示意图；
30.图2为本发明的又一个实施例提供的高频行情数据检验方法的流程示意图；
31.图3为本发明的一个实施例提供的高频行情数据检验装置的结构示意图。
具体实施方式
32.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
34.基于现有技术存在的问题，如图1所示，本发明提供一种高频行情数据检验方法，所述高频行情数据检验方法包括：
35.步骤102：获取高频行情数据，其包括快照数据、逐笔委托数据、逐笔成交数据以及k线行情数据；
36.步骤104：若所述逐笔委托数据和所述逐笔成交数据中不同频道代码下的最大业务序列号与所述逐笔委托数据和所述逐笔成交数据总条数不对应，则判断所述高频行情数据为错误；
37.步骤106：当所述高频行情数据为错误时，生成错误记录并向相应的收件人发送邮件。
38.在步骤102中，所述快照数据包括交易所累计成交金额、成交量以及最后一笔最新成交价。
39.在步骤104中，所述业务序列号是交易所方便订单时间先后排序而设置的一个字段。所述逐笔委托数据和所述逐笔成交数据按频道代码顺序依次排列，并且，所述逐笔委托数据中的业务序列号，不会在所述逐笔成交数据的业务序列号中重复出现。因此，所述逐笔委托数据和所述逐笔成交数据中不同频道代码下的最大业务序列号与所述逐笔委托数据和所述逐笔成交数据总条数应当相对应，则说明所述高频行情数据中不存在缺失现象，如果出现不对应的情况，则判断所述高频行情数据为错误，需要生成错误记录并向相应的收件人发送邮件。
40.例如，在多个不同的的交易日出现了高频行情数据缺失的情况，生成错误记录：数据类型为逐笔委托书数据和逐笔成交数据，校验结果为0表示高频行情数据为错误的情况，报错类型描述为：逐笔委托书数据和逐笔成交数据缺失。同时，向相应的收件人发送邮件，对所述高频行情数据进行相应的处理。并且，自动下载更新后的数据，并重复步骤104的检验过程。
41.在具体实施中，若本次获取的所述高频行情数据的文件大小和上一次获取的所述高频行情数据的文件大小不一样，则自动删除之前下载的所述高频行情数据，重新下载修复后的数据，并对所述高频行情数据进行分块。对所述高频行情数据进行分块包括根据每个证券的证券类型将所述高频行情数据分为债券类、基金类、股票类数据等，便于投资者获取到想要的数据。在具体实施中，所述步骤102中所述获取高频行情数据包括若读取成功所述高频行情数据则表示所述高频行情数据正常，若读取失败所述高频行情数据则表示所述高频行情数据异常，当所述高频行情数据异常时，生成错误记录并向相应的收件人发送邮件。
42.例如，在多个不同的交易日中出现了高频行情数据为错误的情况，生成错误记录：数据类型为逐笔委托数据，校验结果为0表示高频行情数据为错误的情况，报错类型描述为：文件存在乱码。同时，向相应的收件人发送邮件，对所述高频行情数据进行相应的处理。
43.现在参看图2，本发明提供一种高频行情数据检验方法，所述高频行情数据检验方法包括：
44.步骤101：通过api接口调取每日码值表，根据所述每日码值表对应场景编号调取所述高频行情数据；
45.步骤102：获取高频行情数据，其包括快照数据、逐笔委托数据、逐笔成交数据以及k线行情数据；
46.步骤104：若所述逐笔委托数据和所述逐笔成交数据中不同频道代码下的最大业务序列号与所述逐笔委托数据和所述逐笔成交数据总条数不对应，则判断所述高频行情数据为错误；
47.步骤105：根据所述逐笔成交数据生成当日k线行情数据，将所述当日k线行情数据与官方k线行情数据进行比较，若所述当日k线行情数据与所述官方k线行情数据无法一一对应，表示所述逐笔成交数据存在缺失的情况，则生成错误记录并向相应的收件人发送邮件；
48.步骤106：当所述高频行情数据为错误时，生成错误记录并向相应的收件人发送邮件。
49.在具体实施中，所述每日码值表包含交易所的证券官方代码、证券简称、证券类型、交易市场等信息，码值具体指证券官方代码。所述场景编号包括快照数据、逐笔成交数据、逐笔委托数据以及k线行情数据为不同的场景编号。所述步骤101中根据所述每日码值表对应场景编号调取所述高频行情数据还包括每间隔第一预设时间获取一次所述高频行情数据的文件大小，若本次获取的所述高频行情数据的文件大小和上一次获取的所述高频行情数据的文件大小一样，则所述高频行情数据下载完成，若本次获取的所述高频行情数据的文件大小和上一次获取的所述高频行情数据的文件大小不一样，则等下一次时间间隔再获取一次所述高频行情数据，直到第二预设时间为止。
50.所述第一预设时间通常为1小时，所述第二预设时间通常为23点。若直到当日第二预设时间23点为止，都没有获取到符合上述17点获取要求的高频行情数据，则认为当日没有高频行情数据产生。如没有获取到符合与上一次大小一致的的的高频行情数据，则认为当日没有准确的高频行情数据产生。
51.例如，每日在17点开始获取第一次高频行情数据，如获取到一批数据后，间隔第一
预设时间1小时之后，根据第一预设时间，也就是18点开始再次获取高频行情数据，再间隔第一预设时间1小时之后，根据第一预设时间，也就是19点开始再次获取高频行情数据，以此类推，直至第二预设时间23点为止最后一次获取高频行情数据。
52.在步骤105中，所述当日k线行情数据包括相应证券的昨收价、开盘价、最新价、最高价、最低价、成交额、成交量以及均价。若出现所述官方k线行情数据缺失的情况，则将错误记录存储在高频数据日常检验表中，并向相应的收件人发送邮件。
53.例如，多个交易市场都出现了高频行情数据存在，但官方k线行情数据缺失的情况，生成错误记录：数据类型为k线行情数据，校验结果为0表示高频行情数据为错误的的情况，报错类型描述为：高频行情数据存在，官方k线行情数据缺失。同时，向相应的收件人发送邮件，对所述高频行情数据进行相应的处理。
54.在具体实施中，所述错误记录存储在高频数据日常检验表中，所述高频数据日常检验表中的所述错误记录包括id、交易市场、交易日、校验时间、校验结果、报错类型、报错类型描述、报错具体内容、发布时间、更新时间以及更新id。具体如下表所示：
55.监控信息注释监控信息注释ididerrortype报错类型exchangecode交易市场errordesc报错类型描述filetype文件类型details报错具体内容tradingday交易日inserttime发布时间checktime校验时间updatetime更新时间result校验结果upid更新id
56.在具体实施中，若所述快照数据和所述k线行情数据无法对应，表示所述快照数据和日行情成交金额无法对应，则生成错误记录并向相应的收件人发送邮件。
57.例如，在多个交易市场出现所述快照数据和所述k线行情数据无法对应的情况，生成错误记录：数据类型为逐笔委托数据和逐笔成交数据，校验结果为0表示高频行情数据为错误的情况，报错类型描述为：快照数据和和k线行情数据无法对应。同时，向相应的收件人发送邮件，对所述高频行情数据进行相应的处理。
58.基于现有技术存在的问题，如图3所示，本发明还提供一种高频行情数据检验装置30，所述高频行情数据检验装置30包括：
59.数据获取模块301，其用于获取高频行情数据，其包括快照数据、逐笔委托数据、逐笔成交数据以及k线行情数据；
60.数据判断模块302，其用于判断若所述逐笔委托数据和所述逐笔成交数据中不同频道代码下的最大业务序列号与所述逐笔委托数据和所述逐笔成交数据总条数不对应，则判断所述高频行情数据为错误；
61.数据报错模块303，其用于当所述高频行情数据为错误时，生成错误记录并向相应的收件人发送邮件。
62.综上所述，本发明实施例的提供的高频行情数据检验方法及装置，通过比较所述逐笔委托数据和所述逐笔成交数据中不同频道代码下的最大业务序列号与所述逐笔委托数据和所述逐笔成交数据总条数是否对应，来判断所述高频行情数据是否准确，当所述高频行情数据为错误时，生成错误记录并向相应的收件人发送邮件，从而在降低技术难度的
同时，大大提高高频行情数据检验正确率；
63.进一步地，根据所述逐笔成交数据生成当日k线行情数据，将所述当日k线行情数据与官方k线行情数据进行比较，若所述当日k线行情数据与所述官方k线行情数据无法一一对应，表示所述逐笔成交数据存在缺失的情况，则生成错误记录并向相应的收件人发送邮件，从而进一步确保所述高频行情数据检验的正确率；
64.进一步地，若所述快照数据和所述k线行情数据无法对应，表示所述快照数据和日行情成交金额无法对应，则生成错误记录并向相应的收件人发送邮件，从而能够及时通知相关收件人，进一步确保所述高频行情数据检验的正确率。
65.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。