对SQLite中删除的数据进行恢复的方法及装置制造方法
【专利摘要】本发明提供了一种对SQLite中删除的数据进行恢复的方法和装置，方法包括：从SQLite中读取数据表对应的B+tree类型的主树及WAL文件；将WAL文件根据动作语句拆分成多个页面集合；读取第一个未读的页面集合并标记为已读，并将该页面集合记为第一页面集合；若第一页面集合不为空，从第一页面集合中提取与主树相关的第二页面集合；若第二页面集合不为空，则将第二页面集合及其相关页面组成B+tree类型的第二子树;若第二子树不为空，获取第二子树在主树中对应的第一子树并判断第二子树是否为数据删除类型；若是，则根据第二子树找到第一子树中缺少的第一原始数据，以便通过预置方式对第一原始数据对应的删除的数据进行数据恢复。该方法可提高数据恢复的准确率和全面性。
【专利说明】 对SQLite中删除的数据进行恢复的方法及装置
【技术领域】
[0001]本发明涉及数据库领域，特别涉及一种对SQLite中删除的数据进行恢复的方法及装置。
【背景技术】
[0002]目前，在取证等领域经常会遇到需要对删除的数据进行恢复的情况，市场也出现了对删除数据进行恢复的产品。
[0003]SQLite，是一款轻型的数据库，是遵守ACID的关系型数据库管理系统，它的设计目标是嵌入式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。而且,它能够支持Windows/Linux/Unix等等主流的操作系统，同时能够跟很多程序语言相结合，比如Tel、C#、PHP、Java等，此外，还具有相当快的处理速度。SQLite的第一个Alpha版本诞生于2000年5月，至今已经有14个年头，SQLite的新版本SQLite 3已经发布。
[0004]WAL (Write-Ahead Logging)是 SQLite 3 从 3.7.0 版本开始引入的一项可配置技术，对于配置WAL的SQLite，会在SQLite文件的同一级目录下生产同样文件名但后缀为“-wal”的文件(以下可称为WAL文件)，对SQLite的所有操作,会先保留在WAL文件中，而不是直接写入到SQLite文件中。
[0005]对SQLite中删除的数据进行恢复，现有的方式是使用通用的数据恢复产品，通过测试发现，使用该通用的数据恢复产品对SQLite中删除的数据进行恢复的效果并不理想，特别是对于WAL文件中的删除数据的恢复存在很大的缺陷，会出现存在冗余解析且恢复记录不完整(比如rowid无法恢复等)的情况，这样就会影响对删除的数据进行重组的准确性。
[0006]总之，现有的对SQLite中删除的数据进行恢复的方案还不够理想。
【发明内容】
[0007]本发明提供了一种对SQLite中删除的数据进行恢复的方法及装置，通用性强，可解决使用现有通用的数据恢复产品进行数据恢复，存在WAL文件冗余解析及恢复记录不完整的问题，提高数据恢复准确率和全面性。
[0008]根据本发明的一方面，本发明提出了一种对SQLite中删除的数据进行恢复的方法，包括:
步骤1，从SQLite中读取数据表对应的B+tree类型的主树及WAL文件；
步骤2，将所述WAL文件根据预置规则拆分为多个页面，并将所述多个页面根据动作语句的类型组成多个页面集合；
步骤3，读取第一个未读的页面集合并标记为已读，且将该页面集合记为第一页面集合；
步骤4，若所述第一页面集合不为空，从所述第一页面集合中提取与所述主树相关的第二页面集合； 步骤5，若所述第二页面集合不为空，则将第二页面集合及其相关页面组成B+tree类型的第二子树；
步骤6，若所述第二子树不为空，获取在所述主树中与所述第二子树对应的第一子树，并根据所述第一子树判断所述第二子树的类型是否为数据删除的类型；
步骤7，若是，则将第一子树中的数据与第二子树中的数据进行比较，根据第二子树找到第一子树中缺少的第一原始数据，以便通过预置方式对第一原始数据对应的删除的数据进行数据恢复。
[0009]进一步的，通过预置方式对第一原始数据对应的删除的数据进行数据恢复之后，还包括:
在主树中以第二子树替换第一子树，以便将所有页面集合中包含的数据进行数据恢复。
[0010]进一步的，将所述WAL文件根据预置规则拆分为多个页面，并将所述多个页面根据动作语句的类型组成多个页面集合，包括:
步骤21,根据WAL文件的文件格式按顺序读取第一 Frame和第二 Frame,所述第一Frame和第二 Frame为连续的Frame ；
步骤22，若第一 Frame为空，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤27 ；
步骤23,第一 Frame的页面加入当前动作的页面集合中；
步骤24,若第一Frame和第二 Frame的页码相同，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤21 ；
步骤25，若第一 Frame的页码大于第二 Frame的页码,则当前动作的页面集合读取完成且并入预置集合中；
步骤26,将第一 Frame赋值为第二 Frame,并从WAL文件中继续读取一个Frame给第二Frame,跳转到步骤22 ；
步骤27，页面集合划分完成且退出。
[0011]进一步的，根据所述第一子树判断所述第二子树的类型是否为数据删除的类型，包括:
判断第一子树中的数据条目是否小于第二子树中的数据条目；
若是，则第二子树的类型为数据删除的类型。
[0012]根据本发明的另一方面，本发明还提出了一种对SQLite中删除的数据进行恢复的装置，包括:
第一读取单元，用于从SQLite中读取数据表对应的B+tree类型的主树及WAL文件；拆分组合单元，用于将所述WAL文件根据预置规则拆分为多个页面，并将所述多个页面根据动作语句的类型组成多个页面集合；
第二读取单元，用于读取第一个未读的页面集合并标记为已读，且将该页面集合记为第一页面集合；
提取单元，用于当所述第一页面集合不为空，从所述第一页面集合中提取与所述主树相关的第二页面集合；
子树组成单元，用于当所述第二页面集合不为空，则将第二页面集合及其相关页面组成B+tree类型的第二子树；
判断单元，用于当所述第二子树不为空，获取在所述主树中与所述第二子树对应的第一子树，并根据所述第一子树判断所述第二子树的类型是否为数据删除的类型；
数据恢复单元，用于当判断单元的判断结果为是，则将第一子树中的数据与第二子树中的数据进行比较，根据第二子树找到第一子树中缺少的第一原始数据，以便通过预置方式对第一原始数据对应的删除的数据进行数据恢复。
[0013]进一步的，所述装置，还包括:
替换单元，用于在主树中以第二子树替换第一子树，以便在替换之后重复执行步骤3至步骤7，以将所有页面集合中包含的数据进行数据恢复。
[0014]进一步的，所述拆分组合单元，具体用于:
步骤21,根据WAL文件的文件格式按顺序读取第一 Frame和第二 Frame,所述第一Frame和第二 Frame为连续的Frame ；
步骤22，若第一 Frame为空，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤27 ；
步骤23,第一 Frame的页面加入当前动作的页面集合中；
步骤24,若第一Frame和第二 Frame的页码相同，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤21 ；
步骤25,若第一 Frame的页码大于第二Frame的页码,则当前动作的页面集合读取完成且并入预置集合中；
步骤26,将第一 Frame赋值为第二 Frame,并从WAL文件中继续读取一个Frame给第二Frame,跳转到步骤22 ；
步骤27，页面集合划分完成，退出。
[0015]进一步的，所述判断单元，具体用于:
判断第一子树中的数据条目是否小于第二子树中的数据条目；
若是，则第二子树的类型为数据删除的类型。
[0016]根据本发明提供的具体实施例，本发明公开了以下技术效果:
本发明实施例的对SQLite中删除的数据进行恢复的方法及装置，无需人工分析接入，可利用SQL动作前向分析方式来分析WAL文件删除的数据，不仅有效保证了恢复的无遗漏、无重复，而且能完全保证了数据恢复的无损性(也就是全字段恢复，具体来说是WAL文件中的删除记录会覆盖4个字节，很可能包括lOWid)，可见，该方法不但解决了使用现有通用的数据恢复产品进行数据恢复而存在WAL文件冗余解析及恢复记录不完整的问题，而且适用性强，不局限于某个数据类型，可适用于所有类型的数据库，可整体上提高数据恢复的准确率和全面性。
[0017]当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
【专利附图】
【附图说明】
[0018]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本发明对SQLite中删除的数据进行恢复的方法实施例的流程示意图；
图2为B+Tree的结构示意图；
图3为WAL文件的结构示意图；
图4是本发明对SQLite中删除的数据进行恢复的装置实施例的结构示意图。
【具体实施方式】
[0020]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
[0021]以下说明中的“第一”、“第二”等仅仅是为了更清楚的对本发明实施例中的步骤进行描述并非起到限制作用(比如并非限制为排序意义上的第一、第二等等)。
[0022]参看图1，为本发明对SQLite中删除的数据进行恢复的方法实施例的流程示意图。
[0023]在该实施例中的对SQLite中删除的数据进行恢复的方法，包括如下步骤:
步骤1，从SQLite中读取数据表对应的B+tree类型的主树及WAL文件。
[0024]从逻辑上来说,一个SQLite文件是由多个多重Btree构成，每个Btree存储一个表的数据或一个表的索引，索引采用B-tree类型，而表数据采用B+tree类型，每个B+tree节点对应一个SQLite页面，其中存放数据的叶子节点称为叶子页，而存放索引的内部节点称为内部页。
[0025]B+tree是一种平衡的多路查找树，特点是叶子节点包含了所有的关键码信息，主要应用于文件系统和数据库中，其结构可参看图2所示，具有如下特点:第一，节点中的各个值从左往右递增；第二，对于根节点中的P的节点值，其左侧所有的节点值均小于P的节点值，其右侧的所有的节点值均大于等于P的节点值；第三，对于P对应的左右子树，均符合上述第一、第二中的特点。
[0026]参看图3所不,WAL文件由WAL Header和WAL Body两部分组成,其中WAL Body包含一系列的 Frame,每个 Frame 包含 Frame Header 和 Frame Body,而一个 Frame Body 就是SQLite文件的一页。
[0027]WAL文件中的一个Frame表示了 SQLite的一个动作所对应的页面，这些页面是基本有序的，当将这些有序的页面一一替换或添加到SQLite文件中后，该动作也就完成了。
[0028]步骤2，将所述WAL文件根据预置规则拆分为多个页面，并将所述多个页面根据动作语句的类型组成多个页面集合。其中根据预置规则拆分可为根据WAL文件中Frame写入的线性增长特性来拆分。
[0029]该步骤具体可包括如下步骤:
步骤21,根据WAL文件的文件格式按顺序读取第一 Frame和第二 Frame,所述第一Frame和第二 Frame为连续的Frame ；
步骤22，若第一 Frame为空，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤27 ； 步骤23,第一 Frame的页面加入当前动作的页面集合中；
步骤24,若第一 Frame和第二 Frame的页码相同，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤21 ；
步骤25,若第一 Frame的页码大于第二Frame的页码,则当前动作的页面集合读取完成且并入预置集合中；
步骤26,将第一 Frame赋值为第二 Frame,并从WAL文件中继续读取一个Frame给第二Frame,跳转到步骤22 ；
步骤27，页面集合划分完成并退出。
[0030]步骤3，在预置集合中读取第一个未读的页面集合并标记为已读，并将该页面集合记为第一页面集合。
[0031]步骤4，通过步骤3的读取结果，来判断第一页面集合是否为空，若所述第一页面集合不为空，则从所述第一页面集合中提取与所述主树相关的第二页面集合。
[0032]其中，在该第一页面集合中，包括与主树相关的页面集合及与主树不相关的页面集合，在步骤4中，只需提取与主树相关的页面集合，并记为第二页面集合。
[0033]步骤5，通过读取第二页面集合，来判断第二页面集合是否为空，若所述第二页面集合不为空，则将第二页面集合及其相关页面组成新的子树，可记为第二子树，该第二子树也为B+tree类型且第二子树的根节点是第二页面集合中最靠近主树的根节点的节点。
[0034]步骤6，通过读取第二子树，来判断第二子树是否为空，若所述第二子树不为空，则获取在所述主树中与所述第二子树对应的第一子树，并根据所述第一子树判断所述第二子树的类型是否为数据删除的类型。
[0035]具体判断方法可为，判断第一子树中的数据条目是否小于第二子树中的数据条目，若判断结果为第一子树中的数据条目小于第二子树中的数据条目，则第二子树的类型为数据删除的类型，否则，第二子树的类型则不为数据删除的类型。
[0036]步骤7，步骤6的判断结果为第二子树为数据删除的类型，则将第一子树中的数据与第二子树中的数据进行比较，根据第二子树找到第一子树中缺少的原始记录，可记为第一原始数据，该第一原始数据即为删除的数据，以便通过预置数据恢复方式对第一原始数据对应的删除的数据进行数据恢复，至此完成了对一个动作的页面集合中的删除数据的恢复。
[0037]进一步的，还可在主树中以第二子树替换第一子树，然后重复执行上述步骤3至步骤7，以将SQL中所有页面集合中包含的数据都进行数据恢复。
[0038]本发明实施例的对SQLite中删除的数据进行恢复的方法，无需人工分析接入，可利用SQL动作前向分析方式来分析WAL文件删除的数据，不仅有效保证了恢复的无遗漏、无重复，而且能完全保证了数据恢复的无损性(也就是全字段恢复，具体来说是WAL文件中的删除记录会覆盖4个字节，很可能包括lOWid)，可见，该方法不但解决了使用现有通用的数据恢复产品进行数据恢复而存在WAL文件冗余解析及恢复记录不完整的问题，而且适用性强，不局限于某个数据类型，可适用于所有类型的数据库，可整体上提高数据恢复的准确率和全面性。
[0039]对应上述本发明对SQLite中删除的数据进行恢复的方法实施例，还提供了对SQLite中删除的数据进行恢复的装置实施例，下面结合附图进行具体说明。
[0040]图4示出了本发明对SQLite中删除的数据进行恢复的装置实施例的结构示意图。[0041 ] 在该实施例中，该装置包括:
第一读取单元41,用于从SQLite中读取数据表对应的B+tree类型的主树及WAL文件。
[0042]拆分组合单元42，用于将所述WAL文件根据预置规则拆分为多个页面，并将所述多个页面根据动作语句的类型组成多个页面集合。
[0043]第二读取单元43，用于读取第一个未读的页面集合并标记为已读，且将该页面集合记为第一页面集合。
[0044]提取单元44，用于当所述第一页面集合不为空，从所述第一页面集合中提取与所述主树相关的第二页面集合。
[0045]子树组成单元45，用于当所述第二页面集合不为空，则将第二页面集合及其相关页面组成B+tree类型的第二子树。
[0046]判断单元46，用于当所述第二子树不为空，获取在所述主树中与所述第二子树对应的第一子树，并根据所述第一子树判断所述第二子树的类型是否为数据删除的类型。
[0047]数据恢复单元47，用于当判断单元的判断结果为是，则将第一子树中的数据与第二子树中的数据进行比较，根据第二子树找到第一子树中缺少的第一原始数据，以便通过预置方式对第一原始数据对应的删除的数据进行数据恢复。
[0048]进一步的，该装置还可包括:
替换单元，用于在主树中以第二子树替换第一子树，以将所有页面集合中包含的数据进行数据恢复。
[0049]其中，拆分组合单元42，可具体用于:
步骤21,根据WAL文件的文件格式按顺序读取第一 Frame和第二 Frame,所述第一Frame和第二 Frame为连续的Frame ；
步骤22，若第一 Frame为空，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤27 ；
步骤23,第一 Frame的页面加入当前动作的页面集合中；
步骤24,若第一Frame和第二 Frame的页码相同，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤21 ；
步骤25,若第一Frame的页码大于第二Frame的页码,则当前动作的页面集合读取完成且并入预置集合中；
步骤26,将第一 Frame赋值为第二 Frame,并从WAL文件中继续读取一个Frame给第二Frame,跳转到步骤22 ；
步骤27，页面集合划分完成且退出。
[0050]进一步的，判断单元46，可具体用于:
判断第一子树中的数据条目是否小于第二子树中的数据条目；
若是，则第二子树的类型为数据删除的类型。
[0051]本发明实施例的对SQLite中删除的数据进行恢复的装置，无需人工分析接入，可利用SQL动作前向分析方式来分析WAL文件删除的数据，不仅有效保证了恢复的无遗漏、无重复，而且能完全保证了数据恢复的无损性(也就是全字段恢复，具体来说是WAL文件中的删除记录会覆盖4个字节，很可能包括lOWid)，可见，该方法不但解决了使用现有通用的数据恢复产品进行数据恢复而存在WAL文件冗余解析及恢复记录不完整的问题，而且适用性强，不局限于某个数据类型，可适用于所有类型的数据库，可整体上提高数据恢复的准确率和全面性。
[0052]通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
[0053]本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0054]以上对本发明所提供的对SQLite中删除的数据进行恢复的方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在【具体实施方式】及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。
【权利要求】
1.一种对SQLite中删除的数据进行恢复的方法，其特征在于，包括: 步骤1，从SQLite中读取数据表对应的B+tree类型的主树及WAL文件； 步骤2，将所述WAL文件根据预置规则拆分为多个页面，并将所述多个页面根据动作语句的类型组成多个页面集合； 步骤3，读取第一个未读的页面集合并标记为已读，且将该页面集合记为第一页面集合； 步骤4，若所述第一页面集合不为空，从所述第一页面集合中提取与所述主树相关的第二页面集合； 步骤5，若所述第二页面集合不为空，则将第二页面集合及其相关页面组成B+tree类型的第二子树； 步骤6，若所述第二子树不为空，获取在所述主树中与所述第二子树对应的第一子树，并根据所述第一子树判断所述第二子树的类型是否为数据删除的类型； 步骤7，若是，则将第一子树中的数据与第二子树中的数据进行比较，根据第二子树找到第一子树中缺少的第一原始数据，以便通过预置方式对第一原始数据对应的删除的数据进行数据恢复。
2.如权利要求1所述的方法，其特征在于，通过预置方式对第一原始数据对应的删除的数据进行数据恢复之后，还包括: 在主树中以第二子树替换第一子树，以便将所有页面集合中包含的数据进行数据恢复。
3.如权利要求2所述的方法，其特征在于，将所述WAL文件根据预置规则拆分为多个页面，并将所述多个页面根据动作语句的类型组成多个页面集合，包括: 步骤21,根据WAL文件的文件格式按顺序读取第一 Frame和第二 Frame,所述第一Frame和第二 Frame为连续的Frame ； 步骤22，若第一 Frame为空，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤27 ； 步骤23,第一 Frame的页面加入当前动作的页面集合中； 步骤24,若第一Frame和第二 Frame的页码相同，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤21 ； 步骤25,若第一Frame的页码大于第二 Frame的页码,则当前动作的页面集合读取完成且并入预置集合中； 步骤26,将第一 Frame赋值为第二 Frame,并从WAL文件中继续读取一个Frame给第二Frame,跳转到步骤22 ； 步骤27，页面集合划分完成且退出。
4.如权利要求2所述的方法，其特征在于，根据所述第一子树判断所述第二子树的类型是否为数据删除的类型，包括: 判断第一子树中的数据条目是否小于第二子树中的数据条目； 若是，则第二子树的类型为数据删除的类型。
5.一种对SQLite中删除的数据进行恢复的装置，其特征在于，包括: 第一读取单元，用于从SQLite中读取数据表对应的B+tree类型的主树及WAL文件； 拆分组合单元，用于将所述WAL文件根据预置规则拆分为多个页面，并将所述多个页面根据动作语句的类型组成多个页面集合； 第二读取单元，用于读取第一个未读的页面集合并标记为已读，且将该页面集合记为第一页面集合； 提取单元，用于当所述第一页面集合不为空，从所述第一页面集合中提取与所述主树相关的第二页面集合； 子树组成单元，用于当所述第二页面集合不为空，则将第二页面集合及其相关页面组成B+tree类型的第二子树； 判断单元，用于当所述第二子树不为空，获取在所述主树中与所述第二子树对应的第一子树，并根据所述第一子树判断所述第二子树的类型是否为数据删除的类型； 数据恢复单元，用于当判断单元的判断结果为是，则将第一子树中的数据与第二子树中的数据进行比较，根据第二子树找到第一子树中缺少的第一原始数据，以便通过预置方式对第一原始数据对应的删除的数据进行数据恢复。
6.如权利要求1所述的装置，其特征在于，还包括: 替换单元，用于在主树中以第二子树替换第一子树，以便在替换之后重复执行步骤3至步骤7，以将所有页面集合中包含的数据进行数据恢复。
7.如权利要求6所述的装置，其特征在于，所述拆分组合单元，具体用于: 步骤21,根据WAL文件的文件格式按顺序读取第一 Frame和第二 Frame,所述第一Frame和第二 Frame为连续的Frame ； 步骤22，若第一 Frame为空，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤27 ； 步骤23,第一 Frame的页面加入当前动作的页面集合中； 步骤24,若第一 Frame和第二 Frame的页码相同，则当前动作的页面集合读取完成且并入预置集合中，跳转到步骤21 ； 步骤25,若第一 Frame的页码大于第二Frame的页码,则当前动作的页面集合读取完成且并入预置集合中； 步骤26,将第一 Frame赋值为第二 Frame,并从WAL文件中继续读取一个Frame给第二Frame,跳转到步骤22 ； 步骤27，页面集合划分完成，退出。
8.如权利要求6所述的装置，其特征在于，所述判断单元，具体用于: 判断第一子树中的数据条目是否小于第二子树中的数据条目； 若是，则第二子树的类型为数据删除的类型。
【文档编号】G06F17/30GK104376091SQ201410673364
【公开日】2015年2月25日 申请日期:2014年11月20日 优先权日:2014年11月20日
【发明者】陈明辉, 方均滩, 吴世雄 申请人:厦门市美亚柏科信息股份有限公司