参数，其中，所述网页参数中包括:所述目标网页对应的目标网站的标识和所述目标网页在所述目标网站中的标识； 根据所述目标网页对应的目标网站的标识，在待更新数据库中确定与所述目标网站对应的数据表，其中，所述待更新数据库中所包含数据表的数量>1; 根据所述目标网页在所述目标网站中的标识，判断所述目标网站对应的数据表中是否存在所述目标网页对应的数据记录，其中，所述数据记录中包括:所述目标网页在所述目标网站中的标识和所述目标网页对应的索引标识； 若不存在，生成所述目标网页对应的索引标识；在所述目标网站对应的数据表中增加所述目标网页对应的数据记录。2.根据权利要求1所述的方法，其特征在于， 在所述生成所述目标网页对应的索引标识之前，还包括: 将索引标识生成标记位设置为锁定状态，其中，当所述索引标识生成标记位为锁定状态时，表示当前只能计算所述目标网页对应的索引标识； 根据所述目标网页在所述目标网站中的标识，判断所述目标网站对应的数据表中是否存在所述目标网页对应的数据记录； 若不存在，则执行所述生成所述目标网页对应的索引标识的步骤； 在所述生成所述目标网页对应的索引标识之后，还包括: 将索引标识生成标记位设置为解锁状态，其中，当所述索引标识生成标记位为解锁状态时，表示能够开始计算除了所述目标网页之外的其他网页对应的索引标识。3.根据权利要求1所述的方法，其特征在于，所述生成所述目标网页对应的索引标识，包括: 获得所述待更新数据库中已存储的数据记录对应的索引标识的最大值Value_SID_ ； 计算Value_SIDmax除以预设的第一阈值的余数R ； 判断余数R是否小于预设的第二阈值； 若为是，则计算得所述目标网页对应的索引标识=R+预设的第二阈值； 否则，计算得所述目标网页对应的索引标识=R+预设的第三阈值。4.根据权利要求3所述的方法，其特征在于，所述获得所述待更新数据库中已存储的数据记录对应的索引标识的最大值Value_SID_，包括: 根据本地存储的索引标识值Value_SID_L，获得所述待更新数据库中已存储的数据记录对应的索引标识的最大值Value_SID_ ； 其中，在启动所述待更新数据库对应的更新程序之后，将本地存储的Value_SID_LS置为:Value_SID_D_值，Value_SID_Dnax为所述待更新数据库中存储的所述待更新数据库中已存储的数据记录对应的索引标识的最大值； 在所述将本地存储的Value_SID_L设置为:Value_SID_D_值之后，还包括: 将Value_SID_D_更新为:当前Value_SID_D_+预设的第四阈值； 在计算得到所述目标网页对应的索引标识之后，还包括: 将Value_SID_L值更新为所述目标网页对应的索引标识； 判断所述目标网页对应的索引标识是否大于Value_SID_D_ ； 若为是，则将Value_SID_D_更新为:当前Value_SID_D_+预设的第四阈值； 在结束所述待更新数据库对应的更新程序之后，还包括:将 Value_SID_Dnax 更新为:Value_SID_Dnax = Value_SID_L。5.根据权利要求1所述的方法，其特征在于，在所述生成所述目标网页对应的索引标识之后，还包括: 向网络爬虫模块或者非所述待更新数据库发送所生成的索引标识。6.一种数据库更新装置，其特征在于，所述装置包括: 网页参数获得模块，用于获得目标网页的网页参数，其中，所述网页参数中包括:所述目标网页对应的目标网站的标识和所述目标网页在所述目标网站中的标识； 数据表确定模块，用于根据所述目标网页对应的目标网站的标识，在待更新数据库中确定与所述目标网站对应的数据表，其中，所述待更新数据库中所包含数据表的数量> 1 ; 第一数据记录判断模块，用于根据所述目标网页在所述目标网站中的标识，判断所述目标网站对应的数据表中是否存在所述目标网页对应的数据记录，其中，所述数据记录中包括:所述目标网页在所述目标网站中的标识和所述目标网页对应的索引标识； 索引标识生成模块，用于在所述第一数据记录判断模块的判断结果为否的情况下，生成所述目标网页对应的索引标识； 数据记录增加模块，用于在所述索引标识生成模块生成索引标识后，在所述目标网站对应的数据表中增加所述目标网页对应的数据记录。7.根据权利要求6所述的装置，其特征在于，所述装置还包括: 锁定状态设置模块，用于将索引标识生成标记位设置为锁定状态，其中，当所述索引标识生成标记位为锁定状态时，表示当前只能计算所述目标网页对应的索引标识； 第二数据记录判断模块，用于根据所述目标网页在所述目标网站中的标识，判断所述目标网站对应的数据表中是否存在所述目标网页对应的数据记录，若不存在，则触发所述索引标识生成模块生成索引标识； 解锁状态设置模块，用于在所述索引标识生成模块生成索引标识后，将索引标识生成标记位设置为解锁状态，其中，当所述索引标识生成标记位为解锁状态时，表示能够开始计算除了所述目标网页之外的其他网页对应的索引标识。8.根据权利要求6所述的装置，其特征在于，所述索引标识生成模块，包括: 索引标识最大值获得子模块，用于获得所述待更新数据库中已存储的数据记录对应的索引标识的最大值Value_SID_ ； 余数计算子模块，用于计算Value_SID_除以预设的第一阈值的余数R ； 余数判断子模块，用于判断余数R是否小于预设的第二阈值； 第一索引标识计算子模块，用于在所述余数判断子模块的判断结果为是的情况下，计算得所述目标网页对应的索引标识=R+预设的第二阈值； 第二索引标识计算子模块，用于在所述余数判断子模块的判断结果为否的情况下，计算得所述目标网页对应的索引标识=R+预设的第三阈值。9.根据权利要求8所述的装置，其特征在于， 所述索引标识最大值获得子模块，具体用于根据本地存储的索引标识值Value_SID_L，获得所述待更新数据库中已存储的数据记录对应的索引标识的最大值Value_SID_ ； 所述装置还包括: 第一索引标识设置模块，用于在启动所述待更新数据库对应的更新程序之后，将本地存储的Value_SID_L设置为:Value_SID_D_值，Value_SID_Dnax为所述待更新数据库中存储的所述待更新数据库中已存储的数据记录对应的索引标识的最大值； 第二索引标识设置模块，用于在所述第一索引标识设置模块设置本地存储的索引标识之后，将Value_SID_D_更新为:当前Value_SID_D_+预设的第四阈值； 第一索引标识更新模块，用于在所述第一索引标识计算子模块或所述第二索引标识计算子模块计算得到所述目标网页对应的索引标识之后，将Value_SID_L值更新为所述目标网页对应的索引标识； 索引标识判断模块，用于判断所述目标网页对应的索引标识是否大于Value_SID_Dmax ? 第二索引标识更新模块，用于在所述索引标识判断模块的判断结果为是的情况下，则将Value_SID_D_更新为:当前Value_SID_D_+预设的第四阈值； 第三索引标识更新模块，用于在结束所述待更新数据库对应的更新程序之后，将Value_SID_Dnax 更新为:Value_SID_Dnax = Value_SID_L。10.根据权利要求6所述的装置，其特征在于，所述装置还包括: 索引标识发送模块，用于在所述索引标识生成模块生成索引标识之后，向网络爬虫模块或者非所述待更新数据库发送所生成的索引标识。
【专利摘要】本发明实施例公开了一种数据库更新方法及装置，涉及软件技术领域，其中，该方法包括：获得目标网页的网页参数；根据目标网页对应的目标网站的标识，在待更新数据库中确定与目标网站对应的数据表，其中，待更新数据库中所包含数据表的数量＞1；根据目标网页在目标网站中的标识，判断目标网站对应的数据表中是否存在目标网页对应的数据记录，其中，数据记录中包括：目标网页在目标网站中的标识和目标网页对应的索引标识；若不存在，生成目标网页对应的索引标识；在目标网站对应的数据表中增加目标网页对应的数据记录。应用本发明实施例提供的方案进行数据库更新，能够提高更新数据库的速度。
【IPC分类】G06F17/30
【公开号】CN105468637
【申请号】CN201410453679
【发明人】杜玉杰
【申请人】北京联嘉众赢网络技术有限公司
【公开日】2016年4月6日
【申请日】2014年9月5日