本发明涉及金融技术领域，具体涉及一种金融大数据处理方法。
背景技术：
在金融领域中，金融行情数据种类繁多，例如股票、期货、基金、贵金属、外汇等等。金融行情数据的变化能够反映某一领域内的市场变化，同时也是用户交易的基础。对于量化交易，对实时和历史金融行情数据的读取和分析，有助于用户开发、管理、维护或修改交易策略，从而做出正确的买卖决策。
传统上，金融行情数据被存储在第三方数据库中，用户需要时可以从数据库中读出。数据库通常是例如mysql等关系型数据库或者以redis为代表的内存数据库。这些数据库往往是单独的服务器，而行情服务和数据库服务器之间的通信占用一定时间。并且，数据库需要单独安装、部署、运维，耗费人力物力；数据库发生异常不可预测，将导致数据的缺失；随着时间的推移，日积月累的数据会急剧膨胀，对数据的迁移、备份、管理将及其麻烦。此外，数据库内部对多线程存取做了同步，效率不高。而且对于关系型数据库，数据库内部在设计时会穿插很多引用，用以快速定位数据。因此，至少由于以上原因，使用传统的数据库会导致读取金融行情数据缓慢，因而在获取分钟级或更低级别的数据时也许能满足需要，但是如果在高频的层次上(例如500ms一笔数据的逐笔数据(tick数据))，显然不能满足需求。
技术实现要素：
(一)要解决的技术问题
为了克服现有技术不足，现提出一种金融大数据处理方法，一方面可以在硬盘上对数据文件进行存储压缩，节约服务器的硬盘资源，另一方面在进行网络传输的时候，也可以大大提高传输效率。因此可以尽早收到并处理数据，从而及时进行买卖决策，有助于提高投资成绩。
(二)技术方案
本发明通过如下技术方案实现：本发明提出了一种金融大数据处理方法，包括如下步骤：1)从一个或多个数据源获取金融行情逐笔数据；2)对所述金融行情逐笔数据进行抽取和解析，以获得一个或多个数据字段；3)将所述一个或多个数据字段按照预定义的数据格式进行转换；4)根据经转换的金融行情逐笔数据获得金融行情数据并将所述金融行情数据存储在存储设备中以及向用户发送所述金融行情数据。
进一步的，将所述经转换的金融行情逐笔数据作为所述金融行情数据直接存储在所述存储设备中，和/或将预定时间区间内所获取的多笔经转换的金融行情逐笔数据合成为区间数据并存储在所述存储设备中。
进一步的，在从所述一个或多个数据源获取所述金融行情逐笔数据之后，对所述金融行情逐笔数据进行预处理，所述预处理包括：对所述金融行情逐笔数据进行过滤和/或对所述金融行情逐笔数据的时间格式进行转换。
(三)有益效果
本发明相对于现有技术，具有以下有益效果：
本发明提到的一种金融大数据处理方法，将金融行情数据存储成二进制文件而不是存储在数据库中，这样一方面可以在硬盘上对数据文件进行存储压缩，节约服务器的硬盘资源，另一方面在进行网络传输的时候，也可以大大提高传输效率。因此可以尽早收到并处理数据，从而及时进行买卖决策，有助于提高投资成绩。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种金融大数据处理方法，包括如下步骤：1)从一个或多个数据源获取金融行情逐笔数据；2)对所述金融行情逐笔数据进行抽取和解析，以获得一个或多个数据字段；3)将所述一个或多个数据字段按照预定义的数据格式进行转换；4)根据经转换的金融行情逐笔数据获得金融行情数据并将所述金融行情数据存储在存储设备中以及向用户发送所述金融行情数据。
其中，将所述经转换的金融行情逐笔数据作为所述金融行情数据直接存储在所述存储设备中，和/或将预定时间区间内所获取的多笔经转换的金融行情逐笔数据合成为区间数据并存储在所述存储设备中；在从所述一个或多个数据源获取所述金融行情逐笔数据之后，对所述金融行情逐笔数据进行预处理，所述预处理包括：对所述金融行情逐笔数据进行过滤和/或对所述金融行情逐笔数据的时间格式进行转换。
本发明提到的一种金融大数据处理方法，在一个实施例中，可以仅将金融行情逐笔数据存储在内存中而不合成区间数据，在另一个实施例中，可以仅将合成的区间数据存储在内存中。在其它实施例中，更通常的情况是，既需要逐笔数据，也需要区间数据。因此既需要存储逐笔数据，也需要将预定时间区间内的多笔逐笔数据合成为区间数据并进行存储以供用户使用。
上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。