以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0073]此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0074]本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据指令处理设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0075]应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0076]本发明公开了:A1、一种数据指令处理方法，包括:
[0077]接收调度系统发送的数据压缩指令；
[0078]创建用于处理所述数据压缩指令的压缩进程，所述压缩进程与预先创建的处理数据读写指令的数据读写进程相互独立；
[0079]其中，在单机存储引擎中启动有数个并发线程，所述数个并发线程分别从所述数据读写进程和所述压缩进程中读取数据读写指令和数据压缩指令以供单机存储引擎对所述数据读写指令和数据压缩指令进行处理。
[0080]A2、根据Al所述的方法，其中，所述方法还包括:
[0081 ]当所述数据压缩指令处理完成后，根据所述单机存储引擎反馈的处理结果，销毁所述压缩进程。
[0082]A3、根据Al或A2所述的方法，其中，在所述创建用于处理所述数据压缩指令的压缩进程之后，所述方法还包括:
[0083]将所述数据压缩指令存储到所述压缩进程启动的压缩任务队列中。
[0084]A4、根据Al或2所述的方法，其中，所述方法还包括:
[0085]在所述数据压缩指令处理过程中，再次接收到调度系统发送的一个或多个数据压缩指令，则另行创建一个或多个压缩进程分别用于处理所述一个或多个数据压缩指令。
[0086]A5、根据A1-A4任一项所述的方法，其中，所述单机存储引擎包括:Level DB、RocksDB、和/或 SSDB。
[0087]本发明还公开了:B6、一种数据指令处理装置，包括:进程处理系统以及单机存储引擎;
[0088]所述进程处理系统包括:
[0089]读写进程模块，适于预先创建数据读写进程处理接收到的数据读写指令;以及
[0090]压缩进程模块，适于在接收到调度系统发送的数据压缩指令之后，创建用于处理所述数据压缩指令的压缩进程，所述压缩进程与所述数据读写进程相互独立；
[0091]所述单机存储引擎，适于启动数个并发线程，所述数个并发线程分别从所述数据读写进程和所述压缩进程中读取数据读写指令和数据压缩指令；以及，对所述数据读写指令和数据压缩指令进行处理。
[0092 ] B7、根据B6所述的装置，其中，所述装置还包括:
[0093]销毁模块，适于当所述数据压缩指令处理完成后，根据所述单机存储引擎反馈的处理结果，销毁所述压缩进程。
[0094]B8、根据B6或B7所述的装置，其中，所述装置还包括:
[0095]存储模块，适于将所述数据压缩指令存储到所述压缩进程启动的压缩任务队列中。
[0096]B9、根据B6或B7所述的装置，其中，所述压缩进程模块进一步适于:在所述数据压缩指令处理过程中，再次接收到调度系统发送的一个或多个数据压缩指令，则另行创建一个或多个压缩进程分别用于处理所述一个或多个数据压缩指令。
[0097]B10、根据B6-B9任一项所述的装置，其中，所述单机存储引擎包括:Level DB、Rocks DB、和/或SSDB。
[0098]本发明还公开了:C11、一种数据指令处理系统，包括B6-B10任一项所述的数据指令处理装置和调度系统。
[0099]C12、根据Cll所述的系统，所述数据指令处理装置为多个。
【主权项】
1.一种数据指令处理方法，包括: 接收调度系统发送的数据压缩指令； 创建用于处理所述数据压缩指令的压缩进程，所述压缩进程与预先创建的处理数据读写指令的数据读写进程相互独立； 其中，在单机存储引擎中启动有数个并发线程，所述数个并发线程分别从所述数据读写进程和所述压缩进程中读取数据读写指令和数据压缩指令以供单机存储引擎对所述数据读写指令和数据压缩指令进行处理。2.根据权利要求1所述的方法，其中，所述方法还包括: 当所述数据压缩指令处理完成后，根据所述单机存储引擎反馈的处理结果，销毁所述压缩进程。3.根据权利要求1或2所述的方法，其中，在所述创建用于处理所述数据压缩指令的压缩进程之后，所述方法还包括: 将所述数据压缩指令存储到所述压缩进程启动的压缩任务队列中。4.根据权利要求1或2所述的方法，其中，所述方法还包括: 在所述数据压缩指令处理过程中，再次接收到调度系统发送的一个或多个数据压缩指令，则另行创建一个或多个压缩进程分别用于处理所述一个或多个数据压缩指令。5.根据权利要求1-4任一项所述的方法，其中，所述单机存储引擎包括:LevelDB、Rocks DB、和/或SSDB。6.一种数据指令处理装置，包括:进程处理系统以及单机存储引擎； 所述进程处理系统包括: 读写进程模块，适于预先创建数据读写进程处理接收到的数据读写指令；以及 压缩进程模块，适于在接收到调度系统发送的数据压缩指令之后，创建用于处理所述数据压缩指令的压缩进程，所述压缩进程与所述数据读写进程相互独立； 所述单机存储引擎，适于启动数个并发线程，所述数个并发线程分别从所述数据读写进程和所述压缩进程中读取数据读写指令和数据压缩指令；以及，对所述数据读写指令和数据压缩指令进行处理。7.根据权利要求6所述的装置，其中，所述装置还包括: 销毁模块，适于当所述数据压缩指令处理完成后，根据所述单机存储引擎反馈的处理结果，销毁所述压缩进程。8.根据权利要求6或7所述的装置，其中，所述装置还包括: 存储模块，适于将所述数据压缩指令存储到所述压缩进程启动的压缩任务队列中。9.根据权利要求6或7所述的装置，其中，所述压缩进程模块进一步适于:在所述数据压缩指令处理过程中，再次接收到调度系统发送的一个或多个数据压缩指令，则另行创建一个或多个压缩进程分别用于处理所述一个或多个数据压缩指令。10.—种数据指令处理系统，包括权利要求6-9任一项所述的数据指令处理装置和调度系统。
【专利摘要】本发明公开了一种数据指令处理方法、装置及系统。所述方法包括：接收调度系统发送的数据压缩指令；创建用于处理数据压缩指令的压缩进程，压缩进程与预先创建的处理数据读写指令的数据读写进程相互独立；其中，在单机存储引擎中启动有数个并发线程，数个并发线程分别从数据读写进程和压缩进程中读取数据读写指令和数据压缩指令以供单机存储引擎对数据读写指令和数据压缩指令进行处理。上述方案实现了对分布式数据存储系统中数据的在线压缩，实现了边读写数据边压缩数据，无需将分布式数据存储系统所提供的业务服务全部停止，给分布式数据存储系统的业务造成影响。
【IPC分类】G06F3/06
【公开号】CN105653203
【申请号】
【发明人】王文铎, 陈宗志, 彭信东, 宋昭
【申请人】北京奇虎科技有限公司, 奇智软件（北京）有限公司
【公开日】2016年6月8日
【申请日】2015年12月23日