海量金融数据传输方法及系统的制作方法
【专利摘要】本发明涉及互联网通信技术领域，具体涉及海量金融数据传输方法及系统。所提供的海量金融数据传输方法，包括以下步骤：按照金融类型以及日期将金融数据切分成多个单个的数据文件存储在服务器端；接收第一客户端发送的第一金融数据获取请求；解析第一金融数据所对应的数据文件；查询数据文件是否已经发送至其他客户端；如是，将其他客户端的标识信息发送至第一客户端，以使第一客户端向其他客户端请求获取第一金融数据并接收其他客户端发送的第一金融数据。该海量金融数据传输方法便于服务器端处理、传输金融数据；降低了服务器端的资源占用、提高了服务器端的资源利用率，提高了客户端获取金融数据的响应速度以及提高了传输的稳定性、可靠性。
【专利说明】
海量金融数据传输方法及系统
技术领域
[0001]本发明涉及互联网通信技术领域，具体涉及海量金融数据传输方法及系统。
【背景技术】
[0002]金融数据包含了股票、证券、期货等交易数据。比如股票数据，交易所中每一个上市公司在每250ms会产生一个最新的交易数据，而有时候需要上市公司过去几年之内的历史股票数据用以预测这些上市公司未来的股票走势或者用历史股票数据来对当前公司的股票做交易策略研究，由此需要处理这些公司几年内所有的交易数据，而一个上市公司的一年的交易数据量就达到GB级，当处理上百个上市公司的十年内的交易数据量将会达到TB级，从而对数据处理及传输提出了较高的要求。
[0003]目前金融数据的网络通信架构大部分采用传统的客户端/服务器端(C/S)架构，这种架构的优点是架构简单，容易实现;缺点是需要更高性能的服务器端从而在接收到较多的客户端请求时能及时对客户端进行相应，由此服务器端的成本较高，而且当客户端数量增加时，传统的C/S架构难以达到实时响应的要求。
【发明内容】
[0004]为解决目前金融数据的网络通信客户端/服务器端(C/S)架构所存在的服务器端性能要求高、客户端数量扩展性低的缺点，本发明提供服务器端资源占用少、资源利用率高、响应及时、传输稳定的海量金融数据传输方法。
[0005]为此，本发明采用以下技术方案:
[0006]海量金融数据传输方法，其特征在于，包括以下步骤:
[0007]按照金融类型以及日期将金融数据切分成多个单个的数据文件存储在服务器端；
[0008]接收第一客户端发送的第一金融数据获取请求；
[0009]解析所述第一金融数据所对应的数据文件；
[0010]查询所述数据文件是否已经发送至其他客户端；
[0011]如是，将其他客户端的标识信息发送至所述第一客户端，以使所述第一客户端向其他客户端请求获取所述第一金融数据并接收其他客户端发送的所述第一金融数据。
[0012]本发明还提供了海量数据传输系统，包括:
[0013]金融数据切分单元，用于按照金融类型以及日期将金融数据切分成多个单个的数据文件；
[0014]数据存储单元，用于存储金融数据；
[0015]接收单元，用于接收金融数据获取请求；
[0016]解析单元，用于解析金融数据所对应的数据文件；
[0017]查询单元，用于查询所述数据文件是否已经发送至其他客户端；
[0018]发送单元，用于发送标识信息或数据文件。
[0019]本发明提供的海量金融数据传输方法，具有以下有益效果:
[0020]便于服务器端处理、传输金融数据；
[0021]降低了服务器端的资源占用、提高了服务器端的资源利用率，提高了第一客户端获取第一金融数据的响应速度以及提高了传输的稳定性、可靠性；
[0022]可以及时响应大量的客户端的金融数据获取请求。
【附图说明】
[0023]图1为实施例的海量金融数据传输方法的流程示意图。
【具体实施方式】
[0024]以下结合附图及具体实施例对本发明作进一步说明。
[0025]参照I。本实施例提供的海量金融数据传输方法，包括以下步骤:
[0026]按照金融类型以及日期将金融数据切分成多个单个的数据文件存储在服务器端；
[0027]接收第一客户端发送的第一金融数据获取请求；
[0028]解析第一金融数据所对应的数据文件；
[0029]查询数据文件是否已经发送至其他客户端；
[0030]如是，将其他客户端的标识信息发送至第一客户端，以使第一客户端向其他客户端请求获取第一金融数据并接收其他客户端发送的第一金融数据。
[0031]其中，上述的金融类型包括股票、证券、期货等；日期具体到每一个自然日；客户端的标识信息包括客户端的主机名以及IP地址。
[0032]其中，第一客户端向其他客户端请求获取第一金融数据的具体步骤为:
[0033]第一客户端向其他客户端中的某一客户端请求获取第一金融数据，如该某一客户端存在第一金融数据并与第一客户端建立连接，则该某一客户端向第一客户端发送该第一金融数据;否则第一客户端向其他客户端中的下一个客户端请求获取第一金融数据。
[0034]由上，由于第一客户端请求获取第一金融数据通常为具体的类型如股票或证券等，而且所请求的第一金融数据往往是某一时间段的，故本实施例提供的海量金融数据传输方法按照金融类型以及日期将金融数据切分成多个单个的数据文件存储在服务器端，这样，便于服务器端处理、传输金融数据；
[0035]而且，当服务器接收第一客户端发送的第一金融数据获取请求时，将第一客户端的第一金融数据获取请求转移到其他客户端并由其他客户端向第一客户端发送第一金融数据，从而降低了服务器端的资源占用、提高了服务器端的资源利用率，提高了第一客户端获取第一金融数据的响应速度以及提高了传输的稳定性、可靠性；
[0036]同时可以及时响应大量的客户端的金融数据获取请求。
[0037]进一步的，第一客户端向其他客户端请求获取第一金融数据并接收其他客户端发送的第一金融数据的步骤之后，还包括:
[0038]第一客户端将所接收的第一金融数据以缓存形式保存至本地。
[0039]第一客户端将所接收的第一金融数据以缓存形式保存至本地，以便于为下一请求获取该第一金融数据的客户端发送该第一金融数据。
[0040]进一步的，查询数据文件是否已经发送至其他客户端的结果为否时，服务器端向第一客户端发送第一金融数据。
[0041]对于该第一金融数据，难免会出现客户端未向其他客户端发送过该第一金融数据的情况，此时，服务器端需向第一客户端发送第一金融数据。
[0042]进一步的，亦会存在服务器端想其他客户端发送过该第一金融数据而其他客户端并未保存或将该第一金融数据做了更改的情况，由此，第一客户端需重新向服务器端发送第一金融数据获取请求并由服务器端发送该第一金融数据。
[0043]进一步的，第一客户端接收第一金融数据之后，
[0044]第一客户端将所接收的第一金融数据以缓存形式保存至本地。
[0045]第一客户端将所接收的第一金融数据以缓存形式保存至本地，以便于为下一请求获取该第一金融数据的客户端发送该第一金融数据。
[0046]进一步的，第一客户端向其他客户端请求获取第一金融数据并接收其他客户端发送的第一金融数据的步骤采用UDT数据传输协议的大洞技术实现第一客户端与其他客户端的连接、并采用UDT数据传输协议进行数据传输。
[0047]采用UDT数据传输协议(基于UDP的数据传输协议，UDP-based Data TransferProtocol，简称UDT)可使数据在更长的距离传输，同时可使数据传输更加高速、可靠。
[0048]本实施例还提供了海量数据传输系统，包括:
[0049]金融数据切分单元，用于按照金融类型以及日期将金融数据切分成多个单个的数据文件；
[0050]数据存储单元，用于存储金融数据；
[0051 ]接收单元，用于接收金融数据获取请求；
[0052]解析单元，用于解析金融数据所对应的数据文件；
[0053]查询单元，用于查询数据文件是否已经发送至其他客户端；
[0054]发送单元，用于发送标识信息或数据文件。
[0055]以上为本发明举例说明。
【主权项】
1.海量金融数据传输方法，其特征在于，包括以下步骤: 按照金融类型以及日期将金融数据切分成多个单个的数据文件存储在服务器端； 接收第一客户端发送的第一金融数据获取请求； 解析所述第一金融数据所对应的数据文件； 查询所述数据文件是否已经发送至其他客户端； 如是，将其他客户端的标识信息发送至所述第一客户端，以使所述第一客户端向其他客户端请求获取所述第一金融数据并接收其他客户端发送的所述第一金融数据。2.如权利要求1所述的海量金融数据传输方法，其特征在于，所述第一客户端向其他客户端请求获取所述第一金融数据并接收其他客户端发送的所述第一金融数据的步骤之后，还包括: 所述第一客户端将所接收的所述第一金融数据以缓存形式保存至本地。3.如权利要求1所述的海量金融数据传输方法，其特征在于，所述查询所述数据文件是否已经发送至其他客户端的结果为否时，所述服务器端向所述第一客户端发送所述第一金融数据。4.如权利要求3所述的海量数据传输方法，其特征在于，所述第一客户端接收所述第一金融数据之后， 所述第一客户端将所接收的所述第一金融数据以缓存形式保存至本地。5.如权利要求1所述的海量金融数据传输方法，其特征在于，所述所述第一客户端向其他客户端请求获取所述第一金融数据并接收其他客户端发送的所述第一金融数据的步骤采用UDT数据传输协议的大洞技术实现第一客户端与其他客户端的连接、并采用UDT数据传输协议进行数据传输。6.海量数据传输系统，其特征在于，包括: 金融数据切分单元，用于按照金融类型以及日期将金融数据切分成多个单个的数据文件； 数据存储单元，用于存储金融数据； 接收单元，用于接收金融数据获取请求； 解析单元，用于解析金融数据所对应的数据文件； 查询单元，用于查询所述数据文件是否已经发送至其他客户端； 发送单元，用于发送标识信息或数据文件。
【文档编号】H04L29/08GK105933359SQ201610541997
【公开日】2016年9月7日
【申请日】2016年7月11日
【发明人】陈亮, 黄嵩
【申请人】深圳数字动能信息技术有限公司