信息处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机领域，具体涉及电子地图的大数据处理领域，具体涉及一种信息处理方法、装置、电子设备及存储介质。


背景技术：

2.在使用地图应用中查找地点的处理中，会根据获取到的查询请求，确定该查询请求对应的关键信息，基于该关键信息召回候选兴趣点(poi，point of interest)集合，最终将召回的该候选poi集合作为召回结果展示给用户。然而，在上述处理中，无法保证最终召回的该候选poi集合的准确性，进而也无法保证召回结果的准确性。


技术实现要素：

3.本公开提供了一种信息处理方法、装置、电子设备及存储介质。
4.根据本公开的第一方面，提供了一种信息处理方法，包括：
5.基于历史查询请求及其关联的n个历史poi，确定n个语义变量组；n为大于等于2的整数；
6.基于所述n个语义变量组、所述n个历史poi分别对应的图像信息，确定所述历史查询请求与所述n个历史poi分别对应的相关性结果；
7.基于所述历史查询请求与所述n个历史poi分别对应的所述相关性结果，从所述n个历史poi中确定候选poi；
8.将所述历史查询请求作为候选关键信息，基于所述候选poi生成所述候选关键信息的候选召回集。
9.根据本公开的第二方面，提供了一种信息处理装置，包括：
10.语义处理模块，用于基于历史查询请求及其关联的n个历史兴趣点poi，确定n个语义变量组；n为大于等于2的整数；
11.相关性处理模块，用于基于所述n个语义变量组、所述n个历史poi分别对应的图像信息，确定所述历史查询请求与所述n个历史poi分别对应的相关性结果；
12.选取模块，用于基于所述历史查询请求与所述n个历史poi分别对应的所述相关性结果，从所述n个历史poi中确定候选poi；
13.索引模块，用于将所述历史查询请求作为候选关键信息，基于所述候选poi生成所述候选关键信息的候选召回集。
14.根据本公开的第三方面，提供了一种电子设备，包括：
15.至少一个处理器；以及
16.与该至少一个处理器通信连接的存储器；其中，
17.该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述方法。
18.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，该计算机指令用于使该计算机执行前述方法。
19.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述方法。
20.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
21.本实施例提供的方案，基于历史查询请求及其基于关联的历史poi得到语义变量组，基于该语义变量组以及历史poi的图像信息，得到历史查询请求以及历史poi之间的相关性结果，根据历史查询请求以及历史poi之间的相关性结果，确定候选poi，再将历史查询请求作为候选关键信息，基于候选poi生成该候选关键信息的候选召回集。从而通过融合图像信息进行多维度的综合分析，可以提升历史查询请求及历史poi之间的相关性结果的准确性，可以提升最终得到的候选召回集的准确性，进而提升后续召回结果的准确性。
附图说明
22.附图用于更好地理解本方案，不构成对本公开的限定。其中：
23.图1是根据本公开一实施例的信息处理方法的流程示意图；
24.图2是根据本公开另一实施例的基于查询请求获取对应的召回结果的流程示意图；
25.图3是根据本公开另一实施例的基于查询请求获取对应的召回结果的流程另一示意图；
26.图4是根据本公开另一实施例的确定n个语义变量组的处理流程示意图；
27.图5是根据本公开另一实施例的得到相关性结果的一种处理流程示意图；
28.图6是根据本公开另一实施例的得到相关性结果的另一种处理流程示意图；
29.图7是根据本公开另一实施例的得到相关性结果的示例性说明示意图；
30.图8是根据本公开另一实施例的历史查询信息及其关联的历史poi之间对应的相关性结果的示意图；
31.图9是根据本公开使用本公开提供的信息处理方法前后的不同场景示意图；
32.图10是根据本公开另一实施例的信息处理方法的一种示例性流程示意图；
33.图11是根据本公开一实施例的信息处理装置的一种组成结构示意图；
34.图12是根据本公开一实施例的信息处理装置的另一种组成结构示意图；
35.图13是用来实现本公开实施例的请求处理方法的电子设备的框图。
具体实施方式
36.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
37.本公开第一方面实施例提供一种信息处理方法，如图1所示，包括：
38.s101：基于历史查询请求及其关联的n个历史兴趣点(poi，point of interest)，确定n个语义变量组；n为大于等于2的整数；
39.s102：基于所述n个语义变量组、所述n个历史poi分别对应的图像信息，确定所述历史查询请求与所述n个历史poi分别对应的相关性结果；
40.s103：基于所述历史查询请求与所述n个历史poi分别对应的所述相关性结果，从所述n个历史poi中确定候选poi；
41.s104：将所述历史查询请求作为候选关键信息，基于所述候选poi生成所述候选关键信息的候选召回集。
42.上述信息处理方法可以应用于电子设备，所述电子设备具体可以为服务器。
43.所述基于历史查询请求及其关联的n个历史poi，确定n个语义变量组，可以为：基于所述历史查询请求的相关信息得到第一组变量，以及基于所述历史查询请求关联的n个历史poi的相关信息得到n个第二组变量；基于所述第一组变量以及所述n个第二组变量，生成所述n个语义变量组。
44.其中，所述历史查询请求的相关信息可以包括：所述历史查询请求、所述历史查询请求对应的区域信息、所述历史查询请求对应的查询地理位置的相关信息。所述历史查询请求关联的n个历史poi中各个历史poi的相关信息可以包括：该历史poi的名称、该历史poi所在的区域信息、该历史poi的地理位置相关信息。
45.所述n个历史poi分别对应的图像信息，具体可以为：所述n个历史poi中每个历史poi所对应的卫星图像信息。该每个历史poi所对应的卫星图像信息的获取方式本实施例不进行限定。
46.所述将所述历史查询请求作为候选关键信息，具体可以包括：将所述历史查询请求所包含的具体内容作为所述候选关键信息；或者，将所述历史查询请求所包含的具体内容、所述历史查询请求对应的区域信息，作为所述候选关键信息。
47.所述基于所述候选poi生成所述候选关键信息的候选召回集，可以是：基于所述候选poi对应的所述相关性结果，对所述候选poi进行排序，得到排序后的候选poi；将所述排序后的候选poi，作为所述候选关键信息的所述候选召回集。
48.可见，通过采用上述方案，基于历史查询请求及其基于关联的历史poi得到语义变量组，基于该语义变量组以及历史poi的图像信息，得到历史查询请求以及历史poi之间的相关性结果，根据历史查询请求以及历史poi之间的相关性结果，确定候选poi，再将历史查询请求作为候选关键信息，基于候选poi生成该候选关键信息的候选召回集。从而通过融合图像信息进行多维度的综合分析，可以提升历史查询请求及历史poi之间的相关性结果的准确性，可以提升最终得到的候选召回集的准确性，进而提升后续召回结果的准确性。
49.在前述实施方式的基础上，进一步针对前述历史查询请求及其关联的所述n个历史poi的获取方式进行说明：
50.前述历史查询请求及其关联的所述n个历史poi可以是基于历史日志聚合生成的。该历史查询请求与其关联的任意一个历史poi的获取方式，可以包括：获取历史操作行为的交互信息，将该历史操作行为的交互信息中包含的查询请求作为所述历史查询请求；将该历史操作行为的交互信息中包含的用户选取的poi，作为所述历史查询请求关联的一个历史poi。其中，该历史操作行为可以为用户的一次查询操作行为；该用户选取的poi，可以为用户从该查询请求对应的召回结果中选取的poi，该召回结果中包含一个或多个poi。
51.关于生成所述历史操作行为的交互信息的处理中，可以包括：基于接收到的查询
请求获取对应的召回结果，将该召回结果发送至用户设备，接收到该用户设备反馈的用户选取的poi。
52.其中，基于查询请求获取对应的召回结果的一种方式，结合图2进行说明，可以包括：
53.s201：接收到第一查询请求。
54.比如图2中所示，所述第一查询请求为图2中所示的“词语a”。
55.s202：得到第一召回结果。具体可以是：从倒排索引中提取以所述第一查询请求为关键(key)值的一个或多个poi，将该一个或多个poi作为所述第一召回结果。
56.比如，参见图2，该第一召回结果中包含以“词语a”为关键值的5个poi，该5个poi包括“场所1、场所2、场所3、场所4、场所5”，且上述5个poi“场所1、场所2、场所3、场所4、场所5”可以为不同城市的场所，比如场所1～场所3为城市1的poi，场所4～场所5为城市2的poi。
57.s203：对该第一召回结果进行排序，得到排序后的第一召回结果。该排序后的第一召回结果包含排序后的一个或多个poi，比如图2中所示的排序最高的为“场所2”，排序在其后的分别为“场所1”、“场所5”。应理解，该排序后的第一召回结果可以发送给用户侧的终端设备设备进行展示。
58.基于查询请求获取对应的召回结果的另一种方式，结合图3进行说明，可以包括：
59.s301：接收到第二查询请求。
60.所述第二查询请求可以包括：所述第二查询请求包含的具体内容，以及所述第二查询请求对应的区域信息。
61.所述第二查询请求包含的具体内容可以为多个文字；该多个文字中可以存在至少一个文字仅为五笔输入法产生的一个过程文字，举例来说，如图3所示，所述第二查询请求中包含的具体内容为“森木”，其中“木”为“林”的五笔输入法产生的一个过程文字。
62.所述第二查询请求对应的区域信息可以为：用户所使用的终端设备所在的区域的信息，比如图3所示，可以包括城市的名称：城市a。进一步地，所述第二查询请求对应的区域信息还可以包括：用户所使用的所述终端设备所在地点的位置坐标，比如图3所示的“位置坐标：经度a、维度a”。
63.s302：得到第二召回结果。
64.具体可以是：获取以所述第二查询请求为关键(key)值的一个或多个poi，将该一个或多个poi作为所述第二召回结果。比如，参见图3，该第二召回结果中包含以“森木-城市a”为关键值的3个poi，3个poi分别为“地点1、地点2、地点3”。
65.s303：对该第二召回结果进行排序，得到排序后的第二召回结果。
66.该排序后的第二召回结果包含的内容可以为排序后的一个或多个poi，比如图3中所示的排序最高的为“地点3”，排序在其后的分别为“地点1”“地点2”。应理解，该排序后的第二召回结果可以发送给用户侧的终端设备设备进行展示。
67.通过采用上述方式，可以得到所述历史查询请求及其关联的所述n个历史poi。在得到所述历史查询请求及其关联的所述n个历史poi的基础上，可以根据实际需求执行前述s101～s104的处理，以得到以所述历史查询请求为候选关键信息的更加准确的候选召回集。
68.在一种实施方式中，所述基于历史查询请求及其关联的n个历史兴趣点poi，确定n
个语义变量组，如图4所示，可以包括：
69.s401：基于所述历史查询请求的查询地理位置得到第一地理编码信息，基于所述历史查询请求关联的所述n个历史poi中第i个历史poi的地理位置，得到第i个第二地理编码信息；i为大于等于1且小于等于n的整数；
70.s402：基于所述第一地理编码信息生成第一组变量，基于所述第i个第二地理编码信息生成第i个第二组变量；
71.s403：基于所述第一组变量以及所述第i个第二组变量，得到所述n个语义变量组中的第i个语义变量组。
72.所述基于所述历史查询请求的查询地理位置得到第一地理编码信息，具体可以包括：基于第一编码方式，对所述历史查询请求的查询地理位置进行编码，得到第一地理编码信息。其中，所述第一编码方式可以根据实际情况设置。比如，所述第一编码方式可以是地理哈希(geohash)编码方式。
73.该历史查询请求的查询地理位置，具体可以指的是，用户设备发送所述历史查询请求时所在地点的位置坐标。该位置坐标具体可以包含经度以及纬度。所述用户设备可以指的是用户侧使用的终端设备，比如可以为智能手机、平板电脑、台式电脑、笔记本等等任意之一。所述用户设备发送所述历史查询请求时所在的地理位置，可以是由该用户设备基于其设置的传感器得到的；其中，所述传感器，可以是全球定位系统(global positioning system，gps)传感器，或者，还可以为其他类型的传感器，只要可以获得用户设备所在的地理位置即在本实施例的保护范围内。
74.所述基于所述历史查询请求关联的所述n个历史poi中第i个历史poi的地理位置，得到第i个第二地理编码信息，具体可以包括：基于第二编码方式，对所述历史查询请求关联的所述n个历史poi中第i个历史poi的地理位置进行编码，得到第i个第二地理编码信息。所述第i个历史poi的地理位置可以指的是第i个历史poi的位置坐标，比如可以包括：所述第i个历史poi的经度以及维度。其中，所述第二编码方式与所述第一编码方式可以相同或不同，该第二编码方式也可以根据实际情况设置。一种示例中，所述第二编码方式与所述第一编码方式相同，也可以是地理哈希(geohash)编码方式。
75.所述n个历史poi中第i个历史poi，可以为所述n个历史poi中的任意之一，由于针对所述n个历史poi的具体处理方式均为相同的，因此本实施方式不对所述n个历史poi的处理方式进行一一赘述。
76.所述基于所述第一地理编码信息生成第一组变量，基于所述第i个第二地理编码信息生成第i个第二组变量，可以包括：基于所述历史查询请求的相关信息、所述第一地理编码信息，生成第一组变量；以及，基于所述第i个历史poi的相关信息、所述第i个第二组变量，生成所述第i个第二组变量。
77.其中，所述历史查询请求的相关信息，可以包括以下至少之一：所述历史查询请求所包含的具体内容、所述历史查询请求对应的区域信息。该历史查询请求对应的区域信息，具体可以指的是：用户设备发送所述历史查询请求时所在的区域信息。这里，所述区域信息具体可以包含区域的名称；所述区域的名称可以指的是城市名称，比如a1城市，或者，所述区域的名称可以是城市中的行政区域的名称，比如a1城市的b1区等等。
78.相应的，所述基于所述历史查询请求的相关信息、所述第一地理编码信息，生成第
一组变量，可以包括：将所述历史查询请求所包含的具体内容、所述历史查询请求对应的区域信息、所述第一地理编码信息，作为所述第一组变量。
79.所述第i个历史poi可以指的是地图上的某一个位置，比如，可以指的是一栋房子、一个商铺、一个邮筒、一个公交站等。所述第i个历史poi的相关信息可包含：该第i个历史poi的名称、该第i个历史poi所在的区域信息、该第i个历史poi的地理位置等等。所述第i个历史poi的名称，可以指的是该第i个历史poi所在位置处对应的地理位置的名称，比如可以为“c1大厦”、“c2商城”等等。所述第i个历史poi所在的区域信息，可以是：该第i个历史poi所在的区域范围的名称，比如，可以为城市名称、或者可以是城市中的行政区域的名称、或者还可以是城市中的街道名称等等。应理解，所述第i个历史poi为所述n个历史poi中任意之一，也就是在所述n个历史poi中任意一个历史poi均可以包含以上内容，只是不做一一赘述。
80.相应的，所述基于所述第i个历史poi的相关信息、所述第i个第二组变量，生成所述第i个第二组变量，可以包括：将所述第i个历史poi的名称、所述第i个历史poi所在的区域信息、所述第i个第二地理编码信息，作为所述第i个第二组变量。
81.所述基于所述第一组变量以及所述第i个第二组变量，得到所述n个语义变量组中的第i个语义变量组，可以包括：将所述第一组变量以及所述第i个第二组变量，作为所述n个语义变量组中的第i个语义变量组。
82.可见，通过采用上述方案，对历史查询请求的查询地理位置进行编码得到第一地理编码信息，对第i个历史poi的地理位置进行编码得到第i个第二地理编码信息，基于第一地理编码信息和第i个第二地理编码信息得到第i个语义变量组。如此，可以通过采用地理位置编码信息更加准确的获取了地理位置，从而保证了后续得到的语义变量组也更加准确，进而保证了根据该语义变量组以及n个历史poi分别对应的图像信息，分析得到的相关性结果的准确性。
83.所述基于所述n个语义变量组、所述n个历史poi分别对应的图像信息，确定所述历史查询请求与所述n个历史poi分别对应的相关性结果，可以有两种处理方式，下面分别进行说明。
84.在一种实施方式中，所述基于所述n个语义变量组、所述n个历史poi分别对应的图像信息，确定所述历史查询请求与所述n个历史poi分别对应的相关性结果，如图5所示，包括：
85.s501：基于所述n个语义变量组中的所述第i个语义变量组、所述n个历史poi中所述第i个历史poi对应的图像信息，生成第i个第一输入信息；
86.s502：将所述第i个第一输入信息输入第一模型，得到所述第一模型的第i个第一输出结果；
87.s503：基于所述第i个第一输出结果，确定所述历史查询请求与所述n个历史poi中所述第i个历史poi的所述相关性结果。
88.其中，所述基于所述n个语义变量组中的所述第i个语义变量组、所述n个历史poi中所述第i个历史poi对应的图像信息，生成第i个第一输入信息，可以包括：将所述n个语义变量组中的所述第i个语义变量组、所述n个历史poi中所述第i个历史poi对应的图像信息，直接作为所述第i个第一输入信息。所述第i个历史poi对应的图像信息，具体可以为所述第
i个历史poi对应的卫星图像信息(或卫星图像数据)。关于该卫星图像信息(或卫星图像数据)的获取方式，可以是从卫星通信服务器中获取的，或者还可以采用其他获取方式，本实施例不对其进行限定。
89.或者，所述基于所述n个语义变量组中的所述第i个语义变量组、所述n个历史poi中所述第i个历史poi对应的图像信息，生成第i个第一输入信息，可以包括：基于所述n个历史poi中所述第i个历史poi对应的图像信息，确定第i个图像特征向量；将所述n个语义变量组中的所述第i个语义变量组、所述第i个历史poi对应的图像特征向量合并，得到所述第i个第一输入信息。
90.其中，所述基于所述n个历史poi中所述第i个历史poi对应的图像信息，确定第i个图像特征向量，可以是：采用预设的图像处理方法，对所述n个历史poi中所述第i个历史poi对应的图像信息进行特征提取，得到所述第i个历史poi对应的图像特征向量。所述预设的图像处理方法可以根据实际情况设置，比如，可以包括尺度不变特征变换(scale-invariant feature transform，sift)方法、方向梯度直方图(histogram of oriented gradient,hog)方法等等，这里不做穷举。
91.所述第一模型可以是预先训练好的模型，该第一模型用于得到概率值。在一种示例中，所述第一模型可以是在执行本实施例提供的信息处理方法的所述电子设备中训练得到的模型。在又一种示例中，所述第一模型可以是在其他电子设备中训练得到的模型；这种示例中，该第一模型可以是由执行本实施例提供的所述信息处理方法的所述电子设备预先从所述其他电子设备获取的；其中，所述其他电子设备可以指的是用于训练得到该第一模型的其他服务器。
92.所述基于所述第i个第一输出结果，确定所述历史查询请求与所述n个历史poi中所述第i个历史poi的所述相关性结果，可以包括：将所述第i个第一输出结果中所包含的概率值，作为所述历史查询请求与所述n个历史poi中所述第i个历史poi的所述相关性结果。
93.可见，通过采用上述方案，就可以直接将所述第i个语义变量组和第i个历史poi对应的图像信息作为输入信息，将该输入信息输入第一模型可以得到所述历史查询请求与所述n个历史poi中所述第i个历史poi的所述相关性结果。如此，仅通过较少的预处理就可以得到第一模型的输入信息，进而直接通过第一模型就可以得到相关性结果，在保证了最终得到的相关性结果的准确性的同时，还可以提升处理效率。
94.在另一种实施方式中，所述基于所述n个语义变量组、所述n个历史poi分别对应的图像信息，确定所述历史查询请求与所述n个历史poi分别对应的相关性结果，如图6所示，可以包括：
95.s601：基于所述n个语义变量组中的第i个语义变量组，确定第i个语义向量信息，基于所述n个历史poi中所述第i个历史poi对应的图像信息，确定第i个图像特征向量；
96.s602：基于所述第i个语义向量信息以及所述第i个图像特征向量，得到第i组多模向量；
97.s603：基于所述第i组多模向量，生成所述历史查询请求与所述n个历史poi中所述第i个历史poi的所述相关性结果。
98.所述基于所述n个语义变量组中的第i个语义变量组，确定第i个语义向量信息，可以指的是，直接将所述n个语义变量组中的第i个语义变量组作为所述第i个语义向量信息。
networks，cnn)模型、或者为深度神经网络模型dnn(deep neural networks，dnn)、或者为区域生成网络(rpn，region proposal network)等等，这里不做穷举。所述第三模型的输入即为所述n个历史poi中任意一个历史poi对应的所述图像信息，所述第三模型的输出即为该任意一个历史poi所对应的图像特征向量，该图像特征向量还可以称为图像语义向量。所述第三模型可以为预先训练好的模型。在一种示例中，所述第三模型可以是在执行本实施例提供的信息处理方法的所述电子设备中训练得到的模型。在又一种示例中，所述第三模型可以是在其他电子设备中训练得到的模型；这种示例中，该第三模型可以是由执行本实施例提供的所述信息处理方法的所述电子设备预先从所述其他电子设备获取的；其中，所述其他电子设备可以指的是用于训练得到该第三模型的其他服务器。
111.以上实施方式中，通过采用第二模型对n个语义变量组中的第i个语义变量组进行处理得到第i个语义向量信息，采用第三模型对n个历史poi中第i个历史poi对应的图像信息进行处理得到第i个图像特征向量，可以使得提取得到历史查询信息所对应的语义向量信息、以及历史poi对应的图像信息的图像特性向量更加准确，并且处理更加高效；进而基于前述更加高效且准确的处理，可以保证最终得到所述历史查询请求与历史poi的相关性结果的处理，也更加高效且准确。
112.所述基于所述第i个语义向量信息以及所述第i个图像特征向量，得到第i组多模向量，可以包括：对所述第i个语义向量信息以及所述第i个图像特征向量进行融合，得到所述第i组多模向量。其中，所述对所述第i个语义向量信息以及所述第i个图像特征向量进行融合的处理可以由融合层来实现。
113.具体来说，所述对所述第i个语义向量信息以及所述第i个图像特征向量进行融合，得到所述第i组多模向量，可以包括以下之一：对所述第i个语义向量信息以及所述第i个图像特征向量进行拼接，得到所述第i组多模向量；或者，对所述第i个语义向量信息以及所述第i个图像特征向量进行相加，得到所述第i组多模向量。
114.这里，所述对所述第i个语义向量信息以及所述第i个图像特征向量进行拼接，得到所述第i组多模向量的处理方式，尤其适用于所述第i个语义向量信息、所述第i个图像特征向量包含的向量数量不同的场景。比如，所述第i个语义向量信息中包含c1个文本语义向量，所述第i个图像特征向量包含c2个图像语义向量，c1和c2不同；通过对所述第i个语义向量信息以及所述第i个图像特征向量进行拼接，最终得到的第i组多模向量则可以包含有c1+c2个向量。
115.所述对所述第i个语义向量信息以及所述第i个图像特征向量进行相加，得到所述第i组多模向量的处理方式，尤其适用于所述第i个语义向量信息、所述第i个图像特征向量包含的向量数量相同的场景，比如所述第i个语义向量信息中包含c3个文本语义向量，所述第i个图像特征向量也同样包含c3个图像语义向量；通过对所述第i个语义向量信息以及所述第i个图像特征向量进行相加，最终得到的第i组多模向量也包含有c3个向量。
116.需要指出的是，前述对所述第i个语义向量信息以及所述第i个图像特征向量进行相加，可以是将该第i个语义向量信息中的每个文本语义向量、与第i个图像特征向量中对应的每个图像语义向量分别相加。比如，第i个语义向量信息中包含2个文本语义向量，分别称为文本语义向量1、文本语义向量2；第i个图像特征向量包含2个图像语义向量，分别称为图像语义向量1、图像语义向量2。则对所述第i个语义向量信息以及所述第i个图像特征向
量进行相加，指的是：将文本语义向量1与图像语义向量1相加，得到第i组多模向量中的多模向量1；以及，将文本语义向量2与图像语义向量2，得到第i组多模向量中的多模向量2。
117.所述基于所述第i组多模向量，生成所述历史查询请求与所述n个历史poi中所述第i个历史poi的所述相关性结果，可以是：基于所述第i组多模向量，得到目标数值；将该目标数值，作为所述历史查询请求与所述n个历史poi中所述第i个历史poi的所述相关性结果。
118.其中，所述基于所述第i组多模向量，得到目标数值，可以指的是：在所述第i组多模向量中包含一个多模向量的情况下，直接将该一个多模向量作为所述目标数值；或者，在所述第i组多模向量中包含多个多模向量的情况下，对所述多个多模向量进行加权相加计算，得到所述目标数值。其中，所述对所述多个多模向量进行加权相加计算的处理中，对不同的多模向量的加权值可以为预先设置的，这里不对其进行限定。
119.结合图7对前述基于所述n个语义变量组、所述n个历史poi分别对应的图像信息，确定所述历史查询请求与所述n个历史poi分别对应的相关性结果的处理，进行示例性说明：
120.将所述历史查询请求所包含的具体内容711、所述历史查询请求对应的区域信息712(比如城市名称)、所述第一地理编码信息713，作为所述第一组变量710；将所述第i个历史poi的名称721、所述第i个历史poi所在的区域信息722(比如poi所在的城市名称)、所述第i个第二地理编码信息723，作为所述第i个第二组变量720。
121.将所述第一组变量710、所述第i个第二组变量720，作为所述n个语义变量组中的第i个语义变量组；
122.将所述第i个语义变量组输入第二模型730，得到所述第二模型730输出的所述第i个语义向量信息741；
123.将所述第i个历史poi对应的所述图像信息输入第三模型，得到所述第三模型输出的第i个第三输出结果，将所述第三模型输出的第i个第三输出结果中包含的图像语义向量750，输入全连接层760，得到全连接层760输出的处理后的图像语义向量；将所述处理后的图像语义向量，作为所述第i个图像特征向量742；
124.基于所述第i个语义向量信息741以及所述第i个图像特征向量742，得到第i组多模向量770；基于所述第i组多模向量770，生成所述历史查询请求与所述第i个历史poi的所述相关性结果。
125.可见，通过采用上述方案，就可以先对基于历史查询信息以及第i个历史poi所得到的第i个语义变量组进行处理，得到第i个语义向量信息，并且基于第i个历史poi对应的图像信息进行处理，得到第i个图像特征向量；进而将根据第i个语义向量信息、第i个图像特征向量得到的第i组多模向量，确定所述历史查询请求与所述n个历史poi中所述第i个历史poi的所述相关性结果。如此，通过对语义向量的提取以及图像特征的提取，可以使得信息更加准确，进而保证最终得到的相关性结果也更加准确。
126.在一种实施方式中，所述基于所述历史查询请求与所述n个历史poi分别对应的所述相关性结果，从所述n个历史poi中确定候选poi，可以包括：
127.从所述历史查询请求与所述n个历史poi分别对应的所述相关性结果中，获取所述历史查询请求与第j个历史poi对应的相关性结果；j为大于等于1且小于等于n的整数；
128.在所述历史查询请求与所述第j个历史poi对应的相关性结果，大于预设门限值的情况下，将所述第j个历史poi作为所述候选poi中之一。
129.其中，所述第j个历史poi指的是所述n个历史poi中任意之一。所述第j个历史poi可以与前述第i个历史poi相同，或者，所述第j个历史poi可以与前述第i个历史poi不同。应理解，无论所述第j个历史poi可以与前述第i个历史poi相同或不同，所述历史查询请求与第j个历史poi对应的相关性结果的确定方式，都是与前述历史查询请求与第i个历史poi对应的相关性结果的确定方式相同的，只是本实施例不进行一一赘述。
130.所述预设门限值可以为根据实际情况设置的。
131.另外，所述方法还可以包括：在所述历史查询请求与第j个历史poi对应的相关性结果，小于或等于所述预设门限值的情况下，不将所述第j个历史poi作为所述候选poi。
132.所述候选poi的数量可以有一个或多个，将所述候选poi的数量表示为m，则m可以小于或等于n。在一种示例中，m可以等于n，也就是说，所述历史查询请求与n个历史poi分别对应的所述相关性结果均大于所述预设门限值，则该n个历史poi均可以作为所述候选poi。在又一种示例中，m可以为零，也就是说，所述历史查询请求与n个历史poi分别对应的所述相关性结果均小于或等于所述预设门限值，则该n个历史poi均不作为所述候选poi。在另一种示例中，m为小于n的正整数，也就是说，所述历史查询请求与n个历史poi分别对应的所述相关性结果中，有一部分大于所述预设门限值，则该一部分历史poi(即m个历史poi)均作为所述候选poi。
133.结合图8进行示例性说明，其中示意出两个历史查询信息，分别为“词语1-城市a”和“词语2-城市a”；其中，“词语1-城市a”对应的历史poi以及相关性结果，如图8所示，分别为地点a1、0.997，地点a2、0.885，和地点a3、0.854。“词语2-城市a”对应的历史poi以及相关性结果，如图8所示，分别为地点a4、0.988，地点a5、0.823。若所述预设门限值设置为0.86，则“词语1-城市a”为候选关键信息，其对应的候选poi为地点a1、地点a2；“词语1-城市a”为候选关键信息，其对应的候选poi为地点a4。
134.前述实施例提供的方案中，通过使用所述n个历史poi分别对应的图像信息、以及n个历史poi的n个语义变量组确定相关性结果，可以将所述历史查询请求以及所述n个历史poi之间的相关性的确定方式从原来的单模理解升级到多模理解，从而能够得到更准确相关性结果。
135.可见，通过采用上述方案，可以基于前述相关性结果对所述n个历史poi进行过滤，从而保证最终得到的候选召回集的准确性，使得后续响应于目标查询请求得到的目标召回集更加准确。
136.针对前述各个实施方式，还需要指出的是，前述历史查询请求的数量可以为一个或多个，同样的所述候选关键信息也可以为一个或多个，不对其数量进行限定。前述各个实施方式是针对一个或多个历史查询请求中各个历史查询请求均可以执行的实施方式，最终可以将各个历史查询请求分别作为所述候选关键信息，得到各个候选关键信息分别对应的候选召回集。
137.在一种实施方式中，还可以包括：接收到目标设备发来的目标查询请求，从所述候选关键信息中，查找与所述目标查询请求匹配的目标关键信息，获取所述目标关键信息对应的候选召回集；基于所述候选召回集生成目标召回结果，向所述目标设备发送所述目标
召回结果。
138.其中，所述目标设备可以为任意一个用户侧使用的终端设备(或称为用户设备)，该终端设备可以指的是，智能手机、平板电脑、笔记本电脑、台式机等等任意之一。举例来说，用户需要查找某一地点时，会在其使用的目标设备开启地图应用，在该地图应用的搜索框输入查询信息；该目标设备将该搜索框中的查询信息作为所述目标查询请求。
139.前述已经说明，所述候选关键信息的数量可以为一个或多个。所述从所述候选关键信息中，查找与所述目标查询请求匹配的目标关键信息，可以指的是：将所述目标查询请求与一个或多个所述候选关键信息分别进行匹配，将与所述目标查询请求匹配的一个候选关键信息，作为所述目标关键信息。
140.或者，所述从所述候选关键信息中，查找与所述目标查询请求匹配的目标关键信息，可以为：将所述目标查询请求所包含的具体内容、以及所述目标查询请求对应的区域信息，与一个或多个所述候选关键信息分别进行匹配，查找到与所述目标查询请求匹配的一个候选关键信息，作为所述目标关键信息。这是由于任意一个所述候选关键信息中，可以包括有：所述候选关键信息包含的具体内容、以及其对应的区域信息；相应的，前述处理中，可以基于所述目标查询请求所包含的具体内容、以及所述目标查询请求对应的区域信息，与候选关键信息包含的具体内容、以及其对应的区域信息进行匹配。这样，可以保证最终匹配到的目标关键信息更加准确。
141.所述基于所述候选召回集生成目标召回结果，向所述目标设备发送所述目标召回结果，可以包括：将所述候选召回集中包含的所述候选poi作为目标poi；基于所述目标poi，得到所述目标召回结果。
142.所述基于所述目标poi，得到所述目标召回结果，可以包括两种示例性处理方式，分别来说：
143.在一种示例性处理方式中，所述基于所述目标poi，得到所述目标召回结果，可以包括：基于所述目标poi对应的相关性结果，对所述目标poi进行排序，得到排序后的目标poi；将所述排序后的目标poi作为所述目标召回结果。
144.在另一种示例性处理方式中，还可以包括：基于所述目标查询请求，从其他数据集合中获取其他召回集；其他数据集合可以是采用其他方式构建，可以包含其他候选关键信息及其关联的其他候选召回集，并且该其他候选召回集中可以包含其他poi及其对应的相关性结果，本实施例不对其进行限定。相应的，所述基于所述目标poi，得到所述目标召回结果，可以包括：获取所述其他召回集中包含的其他poi对应的相关性结果、以及获取所述目标poi对应的相关性结果；基于所述其他poi对应的相关性结果、以及所述目标poi对应的相关性结果，对所述其他poi以及所述目标poi进行排序，得到排序后的poi集合；将所述排序后的poi集合作为所述目标召回结果。
145.结合图9来说，在没有使用本实施例提供的信息处理方法的处理中，构建的候选关键信息及其关联的候选召回集中可能会存在大量的错误地点，因此响应于目标查询请求得到对应的召回结果时，也可能会存在大量错误的地点。比如图9中左侧示出，在接收到目标查询请求a的时候，得到的与该目标查询请求a匹配的召回结果中包括了“地点b1，城市01的区域b1”、“地点b2，城市03的区域b2”、“地点b3，城市02的区域b3”，可以看出其中包含了多个城市的多个地点，而用户进行某一个地点的查找时，通常不需要得到多个城市中的不同
poi，也就是上述召回结果中包含的杂质比较多，即召回结果的准确性较低。而使用了本实施例提供的信息处理方法之后，由于基于历史poi的图像信息处理得到图像特征向量、对历史poi和历史查询信息处理得到语义向量信息，再基于图像特征向量以及语义向量信息进行处理后得到历史查询信息以及历史poi之间更加准确的相关性结果，因此，可以得到更加准确的召回结果。比如图9右侧所示，在接收到目标查询请求a的时候，得到的与该目标查询请求a匹配的目标召回结果中包括了“地点b1，城市01的区域b1”、“地点b4，城市01的区域b1”、“地点b5，城市01的区域b2”，可以看出其中包含了一个城市的基本相同区域内的地点，相比于图9左侧的召回结果更加准确。
146.可见，通过采用上述方案，就可以基于候选关键信息，确定与接收到的目标查询请求匹配的目标关键信息，根据该目标关键信息对应的候选召回集，就可以生成对应的目标召回结果，进而为该目标设备发送该目标召回结果。由于预先构建的候选关键信息的候选召回集的准确性提升，从而提升了针对目标查询请求所反馈的最终目标召回结果的准确性。
147.最后，以执行前述信息处理方法的电子设备为服务器为例，结合图10对前述信息处理方法进行示例性说明：
148.s1011：服务器获取历史查询请求及其关联的n个历史兴趣点poi；
149.这里，
150.s1012：所述服务器确定所述历史查询请求与所述n个历史poi分别对应的相关性结果。
151.具体可以为：基于历史查询请求及其关联的n个历史兴趣点poi，确定n个语义变量组；基于所述n个语义变量组、所述n个历史poi分别对应的图像信息，确定所述历史查询请求与所述n个历史poi分别对应的相关性结果。
152.s1013：所述服务器基于所述历史查询请求与所述n个历史poi分别对应的所述相关性结果，从所述n个历史poi中确定候选poi。
153.s1014：所述服务器将所述历史查询请求作为候选关键信息，基于所述候选poi生成所述候选关键信息的候选召回集。
154.s1021：所述服务器接收到目标设备发来的目标查询请求；
155.s1022：所述服务器得到候选召回集；
156.具体可以包括：从s1014得到的所述候选关键信息中，查找与所述目标查询请求匹配的目标关键信息，获取所述目标关键信息对应的候选召回集。
157.另外，还可以基于所述目标查询请求，从其他数据集合中获取其他召回集。
158.s1023：所述服务器将所述排序后的poi集合作为所述目标召回结果。
159.具体可以包括：基于所述其他poi对应的相关性结果、以及所述目标poi对应的相关性结果，对所述其他poi以及所述目标poi进行排序，得到排序后的poi集合；将所述排序后的poi集合作为所述目标召回结果。
160.在得到前述召回结果之后，所述服务器可以向所述目标设备发送所述目标召回结果。
161.s1024：所述目标设备获取并展现所述目标召回结果。
162.本公开实施例还提供一种信息处理装置，如图11所示，包括：
163.语义处理模块1101，用于基于历史查询请求及其关联的n个历史兴趣点poi，确定n个语义变量组；n为大于等于2的整数；
164.相关性处理模块1102，用于基于所述n个语义变量组、所述n个历史poi分别对应的图像信息，确定所述历史查询请求与所述n个历史poi分别对应的相关性结果；
165.选取模块1103，用于基于所述历史查询请求与所述n个历史poi分别对应的所述相关性结果，从所述n个历史poi中确定候选poi；
166.索引模块1104，用于将所述历史查询请求作为候选关键信息，基于所述候选poi生成所述候选关键信息的候选召回集。
167.所述语义处理模块1101，用于基于所述历史查询请求的查询地理位置得到第一地理编码信息，基于所述历史查询请求关联的所述n个历史poi中第i个历史poi的地理位置，得到第i个第二地理编码信息；i为大于等于1且小于等于n的整数；基于所述第一地理编码信息生成第一组变量，基于所述第i个第二地理编码信息生成第i个第二组变量；基于所述第一组变量以及所述第i个第二组变量，得到所述n个语义变量组中的第i个语义变量组。
168.所述相关性处理模块1102，用于基于所述n个语义变量组中的所述第i个语义变量组、所述n个历史poi中所述第i个历史poi对应的图像信息，生成第i个第一输入信息；将所述第i个第一输入信息输入第一模型，得到所述第一模型的第i个第一输出结果；基于所述第i个第一输出结果，确定所述历史查询请求与所述n个历史poi中所述第i个历史poi的所述相关性结果。
169.所述相关性处理模块1102，用于基于所述n个语义变量组中的第i个语义变量组，确定第i个语义向量信息，基于所述n个历史poi中所述第i个历史poi对应的图像信息，确定第i个图像特征向量；基于所述第i个语义向量信息以及所述第i个图像特征向量，得到第i组多模向量；基于所述第i组多模向量，生成所述历史查询请求与所述n个历史poi中所述第i个历史poi的所述相关性结果。
170.所述相关性处理模块1102，用于将所述n个语义变量组中的所述第i个语义变量组输入第二模型，得到所述第二模型输出的所述第i个语义向量信息；
171.将所述n个历史poi中所述第i个历史poi对应的所述图像信息输入第三模型，得到所述第三模型输出的所述第i个图像特征向量。
172.所述选取模块1103，用于从所述历史查询请求与所述n个历史poi分别对应的所述相关性结果中，获取所述历史查询请求与第j个历史poi对应的相关性结果；j为大于等于1且小于等于n的整数；在所述历史查询请求与所述第j个历史poi对应的相关性结果，大于预设门限值的情况下，将所述第j个历史poi作为所述候选poi中之一。
173.进一步地，如图12所示，所述装置还包括：
174.接收模块1201，用于接收到目标设备发来的目标查询请求；
175.查询模块1202，用于从所述候选关键信息中，查找与所述目标查询请求匹配的目标关键信息，获取所述目标关键信息对应的候选召回集；
176.发送模块1203，用于基于所述候选召回集生成目标召回结果，向所述目标设备发送所述目标召回结果。
177.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
178.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
179.图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
180.如图13所示，电子设备1300包括计算单元1301，其可以根据存储在只读存储器(rom)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(ram)1303中的计算机程序，来执行各种适当的动作和处理。在ram 1303中，还可存储电子设备1300操作所需的各种程序和数据。计算单元1301、rom 1302以及ram 1303通过总线1304彼此相连。输入/输出(i/o)接口1305也连接至总线1304。
181.电子设备1300中的多个部件连接至i/o接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许电子设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
182.计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理。例如，在一些实施例中，上文所描述的各个方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由rom 1302和/或通信单元1309而被载入和/或安装到电子设备1300上。当计算机程序加载到ram 1303并由计算单元1301执行时，可以执行上文所描述的各个方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上文所描述的各个方法。
183.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
184.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件
包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
185.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
186.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
187.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
188.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
189.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
190.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。