地址数据标注方法及装置、电子设备、存储介质与流程

文档序号:20684630发布日期:2020-05-08 18:43阅读:来源:国知局

技术特征:

1.一种地址数据标注方法,其特征在于,包括:

获取地址标注模型,所述地址标注模型基于无标签的第一样本数据,以及有标签的第二样本数据预先训练而得到;

将待标注地址拆分为多个字符,以将所述待标注地址转换为由所述多个字符排列而成的待标注字符序列;

采用所述地址标注模型对所述待标注字符序列进行处理,得到标注数据序列;

根据所述标注数据序列确定所述待标注地址的标注结果。

2.根据权利要求1所述的方法,其特征在于,所述地址标注模型,通过以下方式训练得到:

获取第一样本数据、第二样本数据,以及所述第二样本数据的地址类别标签;

利用所述第一样本数据预训练机器学习模型,生成中间模型;

基于所述中间模型的至少一部分,构建初始的地址标注模型;

利用所述第二样本数据以及所述第二样本数据的地址类别标签,训练并得到所述地址标注模型。

3.根据权利要求2所述的方法,其特征在于,所述获取第一样本数据、第二样本数据,包括:

获取初始样本数据,并对所述初始样本数据进行标准化处理;

对标准化处理后的初始样本数据进行分层采样,并更新分层采样后初始样本数据的顺序;

按照预设比例,将初始样本数据划分为所述第一样本数据与第二样本数据。

4.根据权利要求3所述的方法,其特征在于,在将初始样本数据划分为所述第一样本数据与第二样本数据之后,通过以下方式获取所述第二样本数据的地址类别标签:

采用预设标注方法对所述第二样本数据中的每个字符进行标注,得到所述每个字符的地址类别标签;

根据针对所述地址类别标签的核验结果,更新所述第二样本数据中每个字符的地址类别标签。

5.根据权利要求2所述的方法,其特征在于,所述利用所述第一样本数据预训练机器学习模型,生成中间模型,包括:

从所述第一样本数据中确定多组样本地址对,并将每组样本地址对转换为样本地址序列;

将所述样本地址序列输入机器学习模型中,以得到预先设置的子任务的结果值;

根据第一损失函数更新所述机器学习模型的参数,以得到所述中间模型,所述第一损失函数包括所述子任务的结果值与所述子任务的标签值之间的误差;

其中,所述子任务包括以下任意一种或多种的组合:

判断所述样本地址对中两个地址的省字符是否相同;

判断所述样本地址对中两个地址的市字符是否相同;

判断所述样本地址对中两个地址的区字符是否相同。

6.根据权利要求5所述的方法,其特征在于,在将每组样本地址对转换为样本地址序列后,所述方法还包括:

对所述样本地址序列中的一个或多个字符进行随机化替换处理;

所述子任务还包括:

预测所述样本地址序列中经过随机化替换处理的字符所对应的原始字符。

7.根据权利要求2所述的方法,其特征在于,所述利用所述第二样本数据以及所述第二样本数据的地址类别标签,训练并得到所述地址标注模型,包括:

基于标注路径的归一化构建第二损失函数;

将所述第二样本数据输入所述地址标注模型,根据输出的标注路径与所述第二样本数据的地址类别标签的误差、以及所述第二损失函数,更新所述地址标注模型的参数,以训练并得到所述地址标注模型。

8.根据权利要求2所述的方法,其特征在于,在获取所述第二样本数据的地址类别标签之后,所述方法包括:

获取每个地址类别下所述第二样本数据的数量,计算所述每个地址类别的样本比例;

如果存在至少一个所述地址类别的样本比例低于预设阈值,则对所述第二样本数据中至少一部分数据进行调整,使调整后的所述第二样本数据中每个地址类别的样本比例满足所述预设条件。

9.根据权利要求8所述的方法,其特征在于,所述对所述第二样本数据中至少一部分数据进行调整,包括:

从所述样本比例高于所述预设阈值的地址类别的第二样本数据中删除一部分数据;和/或

基于所述样本比例低于所述预设阈值的地址类别的第二样本数据,构造新的样本数据,添加至所述第二样本数据中。

10.根据权利要求1所述的方法,其特征在于,所述将待标注地址拆分为多个字符包括:

获取待标注地址,并对所述待标注地址进行文本清洗处理;

对进行文本清洗处理后的待标注地址进行单个字符的拆分处理,并将拆分后的每个字符转换为数字索引;

所述采用所述地址标注模型对所述待标注字符序列进行处理,得到标注数据序列,包括:

采用地址标注模型对所述数字索引进行处理,得到所述每个字符的标签索引组成的标注数据序列;

所述根据所述标注数据序列确定所述待标注地址的标注结果,包括:

根据所述标签索引,在预设的标签字典中进行查找,以确定所述待标注地址的标注结果。

11.一种地址数据标注装置,其特征在于,包括:

模型获取模块,用于获取地址标注模型,所述地址标注模型基于无标签的第一样本数据,以及有标签的第二样本数据预先训练而得到;

字符拆分模块,用于将待标注地址拆分为多个字符,以将所述待标注地址转换为由所述多个字符排列而成的待标注字符序列;

序列处理模块,用于采用所述地址标注模型对所述待标注字符序列进行处理,得到标注数据序列;

结果确定模块,用于根据所述标注数据序列确定所述待标注地址的标注结果。

12.一种电子设备,其特征在于,包括:

处理器;以及

存储器,用于存储所述处理器的可执行指令;

其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-10任一项所述的方法。

13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-10任一项所述的方法。


技术总结
本公开提供了一种地址数据标注方法、地址数据标注装置、电子设备及计算机可读存储介质,属于数据处理技术领域。该方法包括:获取地址标注模型,所述地址标注模型基于无标签的第一样本数据,以及有标签的第二样本数据预先训练而得到;将待标注地址拆分为多个字符,以将所述待标注地址转换为由所述多个字符排列而成的待标注字符序列;采用所述地址标注模型对所述待标注字符序列进行处理,得到标注数据序列;根据所述标注数据序列确定所述待标注地址的标注结果。本公开可以准确、高效的对地址数据进行标注。

技术研发人员:黄绿君
受保护的技术使用者:京东数字科技控股有限公司
技术研发日:2019.12.24
技术公布日:2020.05.08
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1