一种对本地数据进行术语匹配的方法与流程

文档序号:12121290阅读:868来源:国知局

本发明属于计算机通信领域,尤其涉及一种对本地数据进行术语匹配的方法。



背景技术:

当前计算机辅助翻译是提高翻译一致性和效率的重要手段,它要求软件能够不断地记忆最新的术语及语料,并且在后续的翻译流程中能够及时地调出满足相应条件的术语或语料以供选择。随着术语和语料规模的不断扩大,基于传统的关系型数据库或是目前较新的非关系型数据库来直接根据原文或译文检索出完整的翻译信息都是会有明显的效率下降的,当处理比较大的待译稿时,速度自然不能接受。

结合双数组字典树,辅以redis缓存和适当的数据结构设计,我们可以构建出这样一套满足需求的索引及匹配系统。采用双数组字典树对术语建立外围索引,然后用将双数组建立的索引与每条术语记录的ObjectId(相当于数据库关键字字段)相关联并将这种对应关系存放于redis作为二级索引缓存,最终加快查询速度。



技术实现要素:

本发明所要解决的技术问题是针对从本地文件或者从互联网抓取的数据源,目前术语匹配引擎在查词效率上速度偏慢,而改善这一问题的办法就是对术语建一个外围索引,引入双数组字典树可以解决大量术语建索引慢以及查询慢的问题。

为解决上述技术问题,本发明提供了一种对本地数据进行术语匹配的方法,其特征是包括建索引的步骤,及用索引进行术语查询匹配的步骤;

其中,所述建索引的步骤如下:

读取数据源,获取字符串数据,所述字符串数据包括源字符串数据和目标字符串数据;

根据源字符串数据和目标字符串数据生成双数组字典树;

将所述字符串数据插入双数组字典树,返回字符串数据在双数组字典树里的位置值,并通过位置值计算得出字符串数据ID,将字符串数据ID放入内存缓存系统,同时将字符串数据放入内存缓存系统并建立起与ID的对应关系,用于生成字符串数据的索引;

其中,所述用索引进行术语查询匹配的步骤如下:

从双数组字典树中查询需要的字符串,得出字符串在双数组字典树里的位置值,根据位置值计算字符串在内存缓存系统里的ID,根据ID从内存缓存系统里查询字符串数据,获取查询匹配结果。

进一步,所述内存缓存系统是在术语语料所在的数据库之外。

进一步,还包括定时将保存到内存缓存系统中的字符串数据的索引写入硬盘。

进一步,还包括当索引达到数量阈值后将保存到内存缓存系统中的字符串数据的索引写入硬盘。

进一步,所述数据源是本地文件或者从互联网抓取的文件。

进一步,所述索引为双向索引。

采用上述技术方案,可达到以下效果:

1. 用双数组字典树对术语建立外围索引,外围索引即在术语语料所在的数据库之外的内存缓存系统中,加快查询速度;

2. 基于双数组字典树和内存缓存系统来存放外围索引信息,将较长的原文或译文映射为全局唯一且带有快速索引的记录ID字段,从而加速了术语的匹配,同时借助双数组的特性,也具备分词,前缀查询等翻译行业所需的功能;

既可以满足术语匹配的多种查询需求,又提高了整体匹配的性能,对于可以带来较好的用户体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1示出了一种对本地数据进行术语匹配的方法的流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

为解决上述技术问题,本发明提供了一种一种对本地数据进行术语匹配的方法,如图1所示,

包括建索引的步骤,及用索引进行术语查询匹配的步骤;

其中,所述建索引的步骤如下:

读取数据源,获取字符串数据,所述字符串数据包括源字符串数据和目标字符串数据;

根据源字符串数据和目标字符串数据生成双数组字典树;

将所述字符串数据插入双数组字典树,返回字符串数据在双数组字典树里的位置值,并通过位置值计算得出字符串数据ID,将字符串数据ID放入内存缓存系统,同时将字符串数据放入内存缓存系统并建立起与ID的对应关系,用于生成字符串数据的索引;

其中,所述用索引进行术语查询匹配的步骤如下:

从双数组字典树中查询需要的字符串,得出字符串在双数组字典树里的位置值,根据位置值计算字符串在内存缓存系统里的ID,根据ID从内存缓存系统里查询字符串数据,获取查询匹配结果。

进一步,所述内存缓存系统是在术语语料所在的数据库之外。

进一步,还包括定时将保存到内存缓存系统中的字符串数据的索引写入硬盘。

进一步,还包括当索引达到数量阈值后将保存到内存缓存系统中的字符串数据的索引写入硬盘。

进一步,所述数据源是本地文件或者从互联网抓取的文件。

进一步,所述索引为双向索引。

本领域技术人员还应当理解,以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1