文本识别方法、装置、电子设备及存储介质与流程

文档序号:32394674发布日期:2022-11-30 09:47阅读:66来源:国知局
文本识别方法、装置、电子设备及存储介质与流程

1.本技术属于通信技术领域,具体涉及一种文本识别方法、装置、电子设备及存储介质。


背景技术:

2.兴趣点(point of interest,poi)泛指一切可以在空间中抽象为点的地理对象,是导航电子地图的重要组成部分,常见的poi有学校,车站,医院,超市等,poi的名称是电子设备用于检索和推荐的重要依据,因此电子设备正确识别两个poi名称的相似程度至关重要。
3.相关技术中,电子设备计算文本之间的相似度(即上述两个poi名称对应的文本之间的相似度)时,一般是通过关键词匹配技术实现相似度的计算,然而,由于语言的复杂性较高,电子设备使用简单的关键词匹配技术对一些文本进行计算时很容易产生误判,因此电子设备识别poi名称相似度的精确性较低。


技术实现要素:

4.本技术实施例的目的是提供一种文本识别方法、装置、电子设备及存储介质,能够解决电子设备识别poi名称相似度的精确性较低的问题。
5.第一方面,本技术实施例提供了一种文本识别方法,该文本识别方法包括:获取序列特征信息和语义特征信息,该序列特征信息用于指示第一文本与第二文本的序列相似度,语义特征信息用于指示第一文本与第二文本的语义相似度;根据序列特征信息和语义特征信息,确定第一文本与第二文本的相似度。
6.第二方面,本技术实施例提供了一种文本识别装置,该文本识别装置包括:获取模块和确定模块;获取模块,用于获取序列特征信息和语义特征信息,该序列特征信息用于指示第一文本与第二文本的序列相似度,语义特征信息用于指示第一文本与第二文本的语义相似度;确定模块,用于根据序列特征信息和语义特征信息,确定第一文本与第二文本的相似度。
7.第三方面,本技术实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
8.第四方面,本技术实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
9.第五方面,本技术实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
10.第六方面,本技术实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
11.在本技术实施例中,电子设备可以获取文本的序列特征信息,以及语义特征信息,从而可以根据序列特征信息和语义特征信息,确定第一文本与第二文本(即两个poi名称对应的文本)之间的相似度。本方案中,由于电子设备可以获取用于指示第一文本与第二文本的序列相似度的序列特征信息,以及用于指示第一文本与第二文本的语义相似度的语义特征信息,因此电子设备可以将第一文本与第二文本的序列特征信息和第一文本与第二文本的语义特征信息进行融合处理,以确定第一文本与第二文本的相似度,即电子设备是综合运用了两个维度的特征信息,对文本的相似度进行判断的,如此,能够降低电子设备对文本的误判率,从而提高了电子设备识别poi名称相似度的精确性。
附图说明
12.图1是本技术实施例提供的一种文本识别方法的示意图之一;
13.图2是本技术实施例提供的一种电子设备基于词汇窗口的滑动比较的流程示意图;
14.图3是本技术实施例提供的一种文本识别装置的结构示意图;
15.图4是本技术实施例提供的一种电子设备的硬件结构示意图之一;
16.图5是本技术实施例提供的一种电子设备的硬件结构示意图之二。
具体实施方式
17.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本技术保护的范围。
18.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
19.下面结合附图,通过具体的实施例及其应用场景对本技术实施例提供的文本识别方法进行详细地说明。
20.本技术实施例中的文本识别方法可以应用于文本识别的场景。
21.目前,poi的名称写法丰富多样,具体表现为同一个poi有不同的写法,不同的poi有相似的写法,如表1所示;
22.表1
23.poi名称1poi名称2poi关系新光汇购物中心义乌新光汇相同火车站train station相同第六中学(高中部)第六中学不同(附属关系)玫瑰花园-193号玫瑰花园-195号不同(同级关系)麻辣火锅(一店)麻辣火锅(二店)不同
24.在判断两个poi名称的相似度时,相关技术中有的只利用了语义相关的特征编码进行判断,然而这种方式用在poi相似度的场景下,容易出现完全不相干的poi被判断为高相似度(例如:父亲背心vs妈妈背心),如此,误判率较高。有的引入了关键词识别,通过加入文本中关键词的损失,来使模型能够关注到某些特定的词的重要性。然而这种方式依赖前置的序列标注模型,有两个难点,一是在poi领域,关键词的界定十分模糊,如华为手机维修,关键词抽取可以是华为,可以是手机,还可以是维修;二是两个模块相互依赖,对标注数据的质量要求较高,并且上游关键词的标注质量会直接影响下游相似度的判断表现。因此该方案要达到较好的效果,难度较高。有的添加了语义发散度辅助衡量相似度,然而这种方式往往适用于多词汇量的文档里领域,对于长度普遍在2-8个字poi名称适用性较差。
25.在本技术实施例提供的方案中,电子设备可以获取序列特征信息,以及语义特征信息,从而可以根据序列特征信息和语义特征信息,确定第一文本与第二文本(即两个poi名称对应的文本)之间的相似度。本方案中,由于电子设备可以获取用于指示第一文本与第二文本的序列相似度的序列特征信息,以及用于指示第一文本与第二文本的语义相似度的语义特征信息,因此电子设备可以将第一文本与第二文本的序列特征信息和第一文本与第二文本的语义特征信息进行融合处理,以确定第一文本与第二文本的相似度,降低了电子设备使用单语义为主的相似度模型时对文本的误判率,从而提高了电子设备识别poi名称相似度的精确性。
26.本技术实施例提供一种文本识别方法,图1示出了本技术实施例提供的一种文本识别方法的流程图,该方法可以应用于电子设备。如图1所示,本技术实施例提供的文本识别方法可以包括下述的步骤201和步骤202。
27.步骤201、电子设备获取序列特征信息和语义特征信息。
28.本技术实施例中,上述序列特征信息用于指示第一文本与第二文本的序列相似度,语义特征信息用于指示第一文本与第二文本的语义相似度。
29.可选地,本技术实施例中,电子设备可以对第一文本和第二文本进行序列特征抽取,以获取第一文本和第二文本的序列相似度,并且可以对第一文本和第二文本进行语义特征抽取,以获取第一文本和第二文本的语义相似度,从而可以结合获取得到的序列相似度和语义相似度,确定第一文本与第二文本的相似度。
30.可选地,本技术实施例中,上述第一文本和第二文本是用于进行相似度比较的样本文件。
31.可选地,本技术实施例中,上述步骤201中的“电子设备获取序列特征信息”具体可以通过下述的步骤201a实现。
32.步骤201a、电子设备根据至少一个分值、语序相似度、第一文本的长度和第二文本的长度,确定序列特征信息。
33.本技术实施例中,上述至少一个分值用于指示第一文本与第二文本在至少一个维度上的序列匹配度,每个分值分别对应一个维度,语序相似度为第一文本与第二文本的语序相似度。
34.可选地,本技术实施例中,电子设备可以采用n-gram模型,对输入的第一文本与第二文本进行计算,得到至少一个分值。
35.具体地,电子设备可以将第一文本和第二文本输入1-gram(一元模型)、2-gram(二
元模型)和3-gram(三元模型),以对第一文本和第二文本进行训练,得到第一文本与第二文本在不同维度上的序列匹配度,从而得到至少一个分值(例如:1-gram score、2-gram score和3-gram score),如(公式1)所示;
[0036][0037]
其中,gn(a)表示第一文本的字符集合,gn(b)表示第二文本的字符集合,gn(a)∩gn(b)表示第一文本的字符集合与第二文本的字符集合的交集,len(gn(a))表示第一文本的字符集合的长度,len(gn(b))表示第二文本的字符集合的长度,min(len(gn(a)),len(gn(b)))表示取gn(a)与gn(b)中最短字符集合的长度。
[0038]
可以理解,第一文本与第二文本在输入不同模型,例如输入一元模型和输入二元模型时,输出的文本对应的字符集合是不同的。
[0039]
可选地,本技术实施例中,电子设备确定第一文本与第二文本的语序相似度时,可以将第一文本和第二文本输入n-gram模型,进行基于词汇窗口的滑动比较。
[0040]
示例性地,如图2所示,电子设备选取第一文本与第二文本中较短的文本(例如:第一文本)作为基准文本m,较长的文本(例如:第二文本)为n,记基准文本m的长度为l,i表示基准文本m的序列下标,m[i]为基准文本m的第i+1个字,i从0开始对基准文本m的每个字符开始遍历;电子设备定义累计匹配文本为p,初始化为空字符串;电子设备定义词汇窗口长度为2,窗口匹配值s为0,累计匹配值为h,h初始化为0;电子设备从基准文本m中的第一个字开始遍历,若该字出现在文本n中,则词汇窗口匹配值s+1,i+1,并将m[i](即基准文本m的第i+1个字)添加至p序列的末尾,若不出现在文本n中,无论窗口匹配值此时是多少,将窗口匹配值归0,i+1;若窗口匹配值达到词汇窗口长度,则将窗口匹配值累加到累计匹配值h中,并将窗口匹配值归0。在电子设备遍历结束时,将h/l确定为第一文本与第二文本的语序相似度,记为sequence score。
[0041]
可选地,本技术实施例中,电子设备可以将第一文本与第二文本中较短的文本(例如:第一文本)的长度l、1-gram score、2-gram score、3-gram score和sequence score进行拼接,得到序列特征向量v,如公式2所示。
[0042]
v=[1-gram score,2-gram score,3-gram score,sequence score,l]
ꢀꢀ
(公式2)
[0043]
可选地,本技术实施例中,电子设备可以对向量v进行线性变换处理,与维度为(5,h)的参数wv相乘,激活函数使用(gaussian error linear unit,gelu)激活函数,最终获得第一文本与第二文本的序列特征信息,该序列特征信息为维度为h的序列特征向量v'。
[0044]
可选地,本技术实施例中,上述步骤201中的“电子设备获取序列特征信息”具体可以通过下述的步骤201b至步骤201d实现。
[0045]
步骤201b、电子设备对第一文本进行序列编码处理,得到第一序列编码矩阵,并对第二文本进行序列编码处理,得到第二序列编码矩阵。
[0046]
可选地,本技术实施例中,电子设备可以将第一文本与第二文本的文本信息以字符为单位,转换成对应的数字id,由于poi名称大多为短文本,因此电子设备可以限定最大的文本长度为40个字符,转换之后第一文本与第二文本的向量维度为(40),不足40长度的向量则以0进行填充,然后电子设备可以输入id化后的文本向量,将每个文本id映射到对应的字向量中,并随机初始化每个文本id的向量,其中的参数可以被反向传播更新,以达到训
练过程中调参实现序列编码的目的,最终电子设备输出维度为(40,dim)的第一序列编码矩阵ia和第二序列编码矩阵ib。
[0047]
步骤201c、电子设备对第一序列编码矩阵进行横向拼接处理和线性变换处理,得到第一压缩矩阵,并对第二序列编码矩阵进行横向拼接处理和线性聚合处理,得到第二压缩矩阵。
[0048]
可选地,本技术实施例中,上述步骤201c具体可以通过下述的步骤a1至步骤a5实现。
[0049]
步骤a1、电子设备可以输入第一序列编码矩阵ia和第二序列编码矩阵ib,然后对ia和ib进行attention运算,得到维度为(40,dim)的
[0050]
其中,蕴含了第一文本每个位置对第二文本每个位置的序列对齐信息,蕴含了第二文本每个位置对第一文本每个位置的序列对齐信息。
[0051]
步骤a2、电子设备可以将ia与进行横向拼接处理,得到维度为(40,2*dim)的矩阵ia',并将ib与进行横向拼接处理,得到维度为(40,2*dim)的矩阵ib'。
[0052]
步骤a3、电子设备可以将矩阵ia与进行横向拼接处理,得到维度为(40,2*dim)的i
a”,并将矩阵ib与进行横向拼接处理,得到维度为(40,2*dim)的i
b”。
[0053]
步骤a4、电子设备可以将矩阵ia与进行横向拼接处理,得到维度为(40,2*dim)的i
a”',并将矩阵ib与进行横向拼接处理,得到维度为(40,2*dim)的i
b”'。
[0054]
其中,*运算符表示矩阵之间对应元素相乘。
[0055]
步骤a5、电子设备可以将ia'进行线性变换处理,激活函数使用gelu,输出维度为(40,h)的矩阵,并将i
a”进行线性变换处理,激活函数使用gelu,输出维度为(40,h)的矩阵,以及将i
a”'进行线性变换处理,激活函数使用gelu,输出维度为(40,h)的矩阵,然后电子设备可以将线性变换处理后的多个维度为(40,h)的矩阵进行横向拼接处理,得到维度为(40,3h)的矩阵,最后经过dropout随即失活处理和线性变换处理,得到维度为(40,h)的第一压缩矩阵i
a12
、第二压缩矩阵i
b12

[0056]
步骤201d、电子设备对第一压缩矩阵和第二压缩矩阵进行最大池化处理,得到序列特征信息。
[0057]
可选地,本技术实施例中,电子设备可以将i
a12
与i
b12
进行最大池化操作,将i
a12
与i
b12
压缩成维度为40的向量,从而得到序列特征信息。
[0058]
如此,电子设备通过将序列特征的提取编写至网络模块中,可以实现对序列特征的自动提取。
[0059]
可选地,本技术实施例中,上述步骤201中的“电子设备获取语义特征信息”具体可以通过下述的步骤201e至步骤201d实现。
[0060]
步骤201e、电子设备对第一文本进行字符映射处理,得到第一字向量矩阵,并对第二文本进行字符映射处理,得到第二字向量矩阵。
[0061]
可选地,本技术实施例中,电子设备将第一文本与第二文本的文本信息以字符为单位,转换成对应的数字id,由于poi名称大多为短文本,因此电子设备可以限定最大的文本长度为40个字符,转换之后第一文本与第二文本的向量维度为(40),不足40长度的向量则以0进行填充,然后电子设备可以根据预先训练好的字向量,将第一文本对应的字符id映
射到相应的字向量,输出维度为(40,dim)的第一字向量矩阵,并且将第二文本对应的字符id映射到相应的字向量,输出维度为(40,dim)的第二字向量矩阵,其中dim为字向量的维度。
[0062]
可选地,本技术实施例中,在poi名称超出40个字符的情况下,电子设备可以对其进行截断,即只转换poi名称的前40个字符。
[0063]
步骤201f、电子设备对第一字向量矩阵进行卷积处理,得到第一矩阵,并对第二字向量矩阵进行卷积处理,得到第二矩阵。
[0064]
可选地,本技术实施例中,电子设备可以选用一维卷积对第一字向量矩阵和第二字向量矩阵进行卷积处理,输入的信号通道数量为dim(即字向量的维度),输出的信号通道为h,卷积核设为3,从而可以得到维度为(40,h)的第一矩阵和第二矩阵。
[0065]
可选地,本技术实施例中,电子设备可以对得到的维度为(40,h)的第一矩阵和第二矩阵进行dropout处理,随机将20%的字符向量失活,向量值填充为0。
[0066]
步骤201g、电子设备对第一字向量矩阵和第一矩阵进行横向拼接处理和线性变换处理,得到第三压缩矩阵,并对第二字向量矩阵和第二矩阵进行横向拼接处理和线性变换处理得到第四压缩矩阵。
[0067]
可选地,本技术实施例中,上述步骤201g具体可以通过下述的步骤b1至步骤b7实现。
[0068]
步骤b1、电子设备可以将第一字向量矩阵和第一矩阵进行横向拼接处理,得到残差链接向量a,将第二字向量矩阵和第二矩阵进行横向拼接处理,得到残差链接向量b,残差链接向量a和残差链接向量b的维度为(40,h+dim),并将残差链接向量a和残差链接向量b进行dropout处理,随机将20%的字符向量失活。
[0069]
步骤b2、电子设备可以将残差链接向量a和残差链接向量b进行线性变换处理,与维度为(h+dim,h)的参数w相乘,在得到结果z之后,输入gelu激活函数,从而得到维度为(40,h)的a3、b3,如(公式3和公式4)所示。
[0070]
a3=gelu(aw)
ꢀꢀꢀ
(公式3)
[0071]
b3=gelu(bw)
ꢀꢀꢀꢀꢀ
(公式4)
[0072]
步骤b3、电子设备对a3与b3进行attention运算,得到维度为(40,h+dim)的a

与b

,如(公式5和公式6)所示。
[0073][0074][0075]
其中,a表示矩阵的第i行、j表示矩阵的第j列,a

的每个字符向量为通过b3向量每个字符向量的加权平均得到的,蕴含了第一文本每个位置对第二文本每个位置的语义交互信息,b

的每个字符向量为通过a3向量每个字符向量的加权平均得到的,蕴含了第二文本每个位置对第一文本每个位置的语义交互信息。
[0076]
步骤b4、电子设备可以将残差链接向量a与a

进行横向拼接处理,得到维度为(40,2h+2*dim)的矩阵a',并将残差链接向量b与b

进行横向拼接处理,得到维度为(40,2h+2*
dim)的矩阵b'。
[0077]
步骤b5、电子设备可以将残差链接向量a与a-a

进行横向拼接处理,得到维度为(40,2h+2*dim)的a”,并将残差链接向量b与b-b

进行横向拼接处理,得到维度为(40,2h+2*dim)的b”。
[0078]
步骤b6、电子设备可以将残差链接向量a与a*a

进行横向拼接处理,得到维度为(40,2h+2*dim)的a”',并将残差链接向量b与b*b

进行横向拼接处理,得到维度为(40,2h+2*dim)的b”'。
[0079]
其中,*运算符表示矩阵之间对应元素相乘。
[0080]
步骤b7、电子设备可以将a'进行线性变换处理,与维度为(2h+2*dim,h)的参数w'相乘,激活函数使用gelu,输出第一结果;将a”进行线性变换处理,与维度为(2h+2*dim,h)的参数w”相乘,激活函数使用gelu,输出第二结果;将a”'进行线性变换处理,与维度为(2h+2*dim,h)的参数w”'相乘,激活函数使用gelu,输出第三结果;然后电子设备可以将线性变换处理后的多个结果进行横向拼接处理,并进行dropout处理,得到维度为(40,3h)的第三压缩矩阵a5和第四压缩矩阵b5。
[0081]
步骤b8、电子设备可以将矩阵a5、b5进行线性变换处理,激活函数使用gelu,得到维度为(40,h)的聚合矩阵a6、b6,并将聚合矩阵a6与第一字向量矩阵进行横向拼接处理,聚合矩阵b6与第二字向量矩阵进行横向拼接处理,得到维度为(40,dim+h)的文本初始矩阵a
init
、b
init

[0082]
步骤b9、电子设备可以将文本初始矩阵a
init
、b
init
从步骤201f开始至步骤b8循环一遍,得到维度为(40,h)的聚合矩阵,然后可以将该聚合矩阵与文本初始矩阵的后h维的数据进行相加,得到新一轮的文本初始矩阵,随即电子设备可以开始下一轮循环。电子设备可以设置循环次数2-3次,直到循环结束,最终输出维度为(40,h)的聚合矩阵a'6、b'6。
[0083]
步骤201h、电子设备可以对第三压缩矩阵和第四压缩矩阵进行最大池化处理,得到语义特征信息。
[0084]
可选地,本技术实施例中,电子设备可以将对第三压缩矩阵a5和第四压缩矩阵b5进行线性变换处理、横向拼接处理、循环处理之后得到的矩阵a'6、b'6进行最大池化处理,可以将a'6、b'6压缩成维度为40的向量,从而得到语义特征信息。
[0085]
步骤202、电子设备根据序列特征信息和语义特征信息,确定第一文本与第二文本的相似度。
[0086]
可选地,本技术实施例中,电子设备可以在获取到第一文本与第二文本的序列特征信息,以及第一文本与第二文本的语义特征信息之后,对该序列特征信息和语义特征信息进行融合处理,从而确定第一文本与第二文本的相似度。
[0087]
可选地,本技术实施例中,上述步骤202具体可以通过下述的步骤202a至步骤步骤202d实现。
[0088]
步骤202a、电子设备对序列特征信息与语义特征信息进行融合处理,得到目标特征信息。
[0089]
一种情况:在序列特征信息为维度为h的序列特征向量v'的情况下,电子设备可以将维度为h的序列特征向量v'与维度为40的向量a'6、b'6(即语义特征信息)进行拼接处理,得到维度为120+h的向量x。
[0090]
另一种情况:在序列特征信息为维度为40的向量i
a12
、i
b12
的情况下,电子设备可以将维度为40的向量i
a12
、i
b12
与维度为40的向量a'6、b'6(即语义特征信息)进行拼接处理,得到维度为160的向量y。
[0091]
步骤202b、电子设备对目标特征信息进行随机失活处理和线性变换处理,得到目标向量。
[0092]
可选地,本技术实施例中,上述目标向量包括第一数值和第二数值,该第一数值用于指示第一文本与第二文本相似,第二数值用于指示第一文本与第二文本不相似。
[0093]
可选地,本技术实施例中,电子设备可以将维度为120+h的向量x或者维度为160的向量y输入至预测层,先对向量x或y进行dropout处理,然后进行线性变换处理,与维度为(120+h,h)的参数w相乘,激活函数为gelu,将特征压缩至h维;最后再进行dropout处理,以及线性变换处理,输出维度为2的向量(即目标向量)。
[0094]
步骤202c、电子设备对目标向量进行函数转换处理,得到第一概率和第二概率。
[0095]
可选地,本技术实施例中,上述第一概率为第一文本与第二文本相似的概率,第二概率为第一文本与第二文本不相似的概率。
[0096]
可选地,本技术实施例中,电子设备可以将维度为2的目标向量输入至激活函数(soft version of max,softmax)中进行转换,以为得到的第一数值和第二数值赋予一个概率值,使每个维度分别表示第一文本与第二文本相似的概率、不相似的概率。
[0097]
可选地,本技术实施例中,上述softmax激活函数可以为交叉熵损失函数。
[0098]
可以理解,电子设备可以通过softmax函数将第一数值和第二数值转换为范围在[0,1],和为1的概率分布。
[0099]
步骤202d、电子设备根据第一概率和第二概率,确定第一文本与第二文本的相似度。
[0100]
可选地,本技术实施例中,电子设备可以在第一概率与第二概率相同时,确定第一文本与第二文本相同;在第一概率较高时,确定第一文本与第二文本的相似度较高,在第二概率较高时,确定第一文本与第二文本的相似度较低。
[0101]
本技术实施例提供一种文本识别方法,电子设备可以获取序列特征信息,以及语义特征信息,从而可以根据序列特征信息和语义特征信息,确定第一文本与第二文本(即两个poi名称对应的文本)之间的相似度。本方案中,由于电子设备可以获取用于指示第一文本与第二文本的序列相似度的序列特征信息,以及用于指示第一文本与第二文本的语义相似度的语义特征信息,因此电子设备可以将第一文本与第二文本的序列特征信息和第一文本与第二文本的语义特征信息进行融合处理,以确定第一文本与第二文本的相似度,降低了电子设备使用单语义为主的相似度模型时对文本的误判率,从而提高了电子设备识别poi名称相似度的精确性。
[0102]
需要说明的是,本技术实施例提供的文本识别方法,执行主体可以为电子设备,或者文本识别装置,或者文本识别装置中的控制模块。本技术实施例中以电子设备执行文本识别方法为例,说明本技术实施例提供的文本识别装置。
[0103]
图3示出了本技术实施例中涉及的文本识别装置的一种可能的结构示意图。如图3所示,该文本识别装置70可以包括:获取模块71和确定模块72。
[0104]
其中,获取模块71,用于获取序列特征信息和语义特征信息,该序列特征信息用于
指示第一文本与第二文本的序列相似度,语义特征信息用于指示第一文本与第二文本的语义相似度。确定模块72,用于根据获取模块71获取到的序列特征信息和语义特征信息,确定第一文本与第二文本的相似度。
[0105]
本技术实施例提供一种文本识别装置,由于电子设备可以获取用于指示第一文本与第二文本的序列相似度的序列特征信息,以及用于指示第一文本与第二文本的语义相似度的语义特征信息,因此电子设备可以将第一文本与第二文本的序列特征信息和第一文本与第二文本的语义特征信息进行融合处理,以确定第一文本与第二文本的相似度,降低了电子设备使用单语义为主的相似度模型时对文本的误判率,从而提高了电子设备识别poi名称相似度的精确性。
[0106]
在一种可能的实现方式中,上述获取模块71,具体用于根据至少一个分值、语序相似度、第一文本的长度和第二文本的长度,确定序列特征信息,该至少一个分值用于指示第一文本与第二文本在至少一个维度上的序列匹配度,每个分值分别对应一个维度,语序相似度为第一文本与第二文本的语序相似度。
[0107]
在一种可能的实现方式中,上述获取模块71,具体用于对第一文本进行序列编码处理,得到第一序列编码矩阵,并对第二文本进行序列编码处理,得到第二序列编码矩阵;对第一序列编码矩阵进行横向拼接处理和线性变换处理,得到第一压缩矩阵,并对第二序列编码矩阵进行横向拼接处理和线性聚合处理,得到第二压缩矩阵;并对第一压缩矩阵和第二压缩矩阵进行最大池化处理,得到序列特征信息。
[0108]
在一种可能的实现方式中,上述获取模块71,具体用于对第一文本进行字符映射处理,得到第一字向量矩阵,并对第二文本进行字符映射处理,得到第二字向量矩阵;对第一字向量矩阵进行卷积处理,得到第一矩阵,并对第二字向量矩阵进行卷积处理,得到第二矩阵;对第一字向量矩阵和第一矩阵进行横向拼接处理和线性变换处理,得到第三压缩矩阵,并对第二字向量矩阵和第二矩阵进行横向拼接处理和线性变换处理,得到第四压缩矩阵;并对第三压缩矩阵和第四压缩矩阵进行最大池化处理,得到语义特征信息。
[0109]
在一种可能的实现方式中,上述获取模块71,还用于对序列特征信息与语义特征信息进行融合处理,得到目标特征信息;对目标特征信息进行随机失活处理和线性变换处理,得到目标向量,该目标向量包括第一数值和第二数值,该第一数值用于指示第一文本与第二文本相似,第二数值用于指示第一文本与第二文本不相似;并对目标向量进行函数转换处理,得到第一概率和第二概率,该第一概率为第一文本与第二文本相似的概率,第二概率为第一文本与第二文本不相似的概率。上述确定模块72,具体用于根据上述获取模块71获取的第一概率和第二概率,确定第一文本与第二文本的相似度。
[0110]
本技术实施例中的文本识别装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device,mid)、增强现实(augmented reality,ar)/虚拟现实(virtual reality,vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,umpc)、上网本或者个人数字助理(personal digital assistant,pda)等,还可以为服务器、网络附属存储器(network attached storage,nas)、个人计算机(personal computer,pc)、电视机(television,tv)、柜员机或者自助机等,本技术实施例不作具体限
定。
[0111]
本技术实施例中的文本识别装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本技术实施例不作具体限定。
[0112]
本技术实施例提供的文本识别装置能够实现上述方法实施例实现的各个过程,为避免重复,这里不再赘述。
[0113]
可选地,如图4所示,本技术实施例还提供一种电子设备900,包括处理器901和存储器902,存储器902上存储有可在所述处理器901上运行的程序或指令,该程序或指令被处理器901执行时实现上述方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
[0114]
需要说明的是,本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
[0115]
图5为实现本技术实施例的一种电子设备的硬件结构示意图。
[0116]
该电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
[0117]
本领域技术人员可以理解,电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
[0118]
其中,处理器110,用于获取序列特征信息和语义特征信息,该序列特征信息用于指示第一文本与第二文本的序列相似度,语义特征信息用于指示第一文本与第二文本的语义相似度;并根据序列特征信息和语义特征信息,确定第一文本与第二文本的相似度。
[0119]
本技术实施例提供一种电子设备,由于电子设备可以获取用于指示第一文本与第二文本的序列相似度的序列特征信息,以及用于指示第一文本与第二文本的语义相似度的语义特征信息,因此电子设备可以将第一文本与第二文本的序列特征信息和第一文本与第二文本的语义特征信息进行融合处理,以确定第一文本与第二文本的相似度,降低了电子设备使用单语义为主的相似度模型时对文本的误判率,从而提高了电子设备识别poi名称相似度的精确性。
[0120]
可选地,处理器110,具体用于根据至少一个分值、语序相似度、第一文本的长度和第二文本的长度,确定序列特征信息,该至少一个分值用于指示第一文本与第二文本在至少一个维度上的序列匹配度,每个分值分别对应一个维度,语序相似度为第一文本与第二文本的语序相似度。
[0121]
可选地,处理器110,具体用于对第一文本进行序列编码处理,得到第一序列编码矩阵,并对第二文本进行序列编码处理,得到第二序列编码矩阵;对第一序列编码矩阵进行横向拼接处理和线性变换处理,得到第一压缩矩阵,并对第二序列编码矩阵进行横向拼接处理和线性聚合处理,得到第二压缩矩阵;并对第一压缩矩阵和第二压缩矩阵进行最大池化处理,得到序列特征信息。
[0122]
可选地,处理器110,具体用于对第一文本进行字符映射处理,得到第一字向量矩阵,并对第二文本进行字符映射处理,得到第二字向量矩阵;对第一字向量矩阵进行卷积处理,得到第一矩阵,并对第二字向量矩阵进行卷积处理,得到第二矩阵;对第一字向量矩阵和第一矩阵进行横向拼接处理和线性变换处理,得到第三压缩矩阵,并对第二字向量矩阵和第二矩阵进行横向拼接处理和线性变换处理,得到第四压缩矩阵;并对第三压缩矩阵和第四压缩矩阵进行最大池化处理,得到语义特征信息。
[0123]
可选地,处理器110,还用于对序列特征信息与语义特征信息进行融合处理,得到目标特征信息;对目标特征信息进行随机失活处理和线性变换处理,得到目标向量,该目标向量包括第一数值和第二数值,该第一数值用于指示第一文本与第二文本相似,第二数值用于指示第一文本与第二文本不相似;并对目标向量进行函数转换处理,得到第一概率和第二概率,该第一概率为第一文本与第二文本相似的概率,第二概率为第一文本与第二文本不相似的概率。
[0124]
处理器110,具体用于根据第一概率和第二概率,确定第一文本与第二文本的相似度。
[0125]
本技术实施例提供的电子设备能够实现上述方法实施例实现的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
[0126]
本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果,为避免重复,此处不再赘述。
[0127]
应理解的是,本技术实施例中,输入单元104可以包括图形处理器(graphics processing unit,gpu)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072中的至少一种。触控面板1071,也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
[0128]
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器109可以包括易失性存储器或非易失性存储器,或者,存储器x09可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,rom)、可编程只读存储器(programmable rom,prom)、可擦除可编程只读存储器(erasable prom,eprom)、电可擦除可编程只读存储器(electrically eprom,eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory,ram),静态随机存取存储器(static ram,sram)、动态随机存取存储器(dynamic ram,dram)、同步动态随机存取存储器(synchronous dram,sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram,ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、同步连接动态随机存取存储器(synch link dram,sldram)和直接内存总线随机存取存储器(direct rambus ram,drram)。本技术实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。
[0129]
处理器110可包括一个或多个处理单元;可选的,处理器110集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
[0130]
本技术实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
[0131]
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
[0132]
本技术实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
[0133]
应理解,本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
[0134]
本技术实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
[0135]
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
[0136]
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本技术各个实施例所述的方法。
[0137]
上面结合附图对本技术的实施例进行了描述,但是本技术并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1