地点检索输入提示服务的评价方法、电子设备及程序产品与流程

1.本公开涉及数据处理技术中的地图检索技术，尤其涉及一种地点检索输入提示服务的评价方法、电子设备及程序产品。


背景技术：

2.地点检索输入提示服务(suggestion poi search，sug检索)，是指根据关键词查询在线建议词。用户在输入框中输入关键词，系统能够反馈相应的在线建议词。
3.系统查询与关键词对应的在线建议词是否准确，直接影响着用户体验。因此，现有技术中获取历史日志，根据历史日志中的数据获取用户输入步长，并将用户输入步长(用户输入的次数)作为sug检索服务的核心指标。比如，根据sug检索查询到符合用户需求的目标建议词时的用户输入步长，评价sug检索功能。
4.但是，这种实现方式只能确定出sug检索功能的优劣，却无法在sug检索功能不好时确定出导致检索功能差的原因。


技术实现要素：

5.本公开提供了一种地点检索输入提示服务的评价方法、电子设备及程序产品，以更准确的评价sug检索功能的优劣。
6.根据本公开的第一方面，提供了一种地点检索输入提示服务的评价方法，包括：
7.获取样本数据，所述样本数据包括需求地点，以及用户输入所述需求地点的名称时的输入轨迹；所述输入轨迹用于表征用户在输入所述需求地点的名称时，每步在检索框中输入的文字内容；
8.根据所述输入轨迹在调试模式下向待评价的第一提示服务发送检索请求，并获取所述第一提示服务对所述检索请求进行处理时的第一中间策略数据以及第一检索结果；所述第一中间策略数据中包括所述第一提示服务基于多个策略对所述检索请求进行处理时得到的数据；
9.根据所述第一中间策略数据、所述第一检索结果以及所述需求地点，对所述第一提示服务进行评价。
10.根据本公开的第二方面，提供了一种地点检索输入提示服务的评价装置，包括：
11.获取单元，用于获取样本数据，所述样本数据包括需求地点，以及用户输入所述需求地点的名称时的输入轨迹；所述输入轨迹用于表征用户在输入所述需求地点的名称时，每步在检索框中输入的文字内容；
12.发送单元，用于根据所述输入轨迹在调试模式下向待评价的第一提示服务发送检索请求；
13.所述获取单元还用于获取所述第一提示服务对所述检索请求进行处理时的第一中间策略数据以及第一检索结果；所述第一中间策略数据中包括所述第一提示服务基于多个策略对所述检索请求进行处理时得到的数据；
14.评价单元，用于根据所述第一中间策略数据、所述第一检索结果以及所述需求地点，对所述第一提示服务进行评价。
15.根据本公开的第三方面，提供了一种电子设备，包括：
16.至少一个处理器；以及
17.与所述至少一个处理器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的地点检索输入提示服务的评价方法。
19.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执如第一方面所述的地点检索输入提示服务的评价方法。
20.根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
21.本公开提供的地点检索输入提示服务的评价方法、电子设备及程序产品，包括：获取样本数据，样本数据包括需求地点，以及用户输入需求地点的名称时的输入轨迹；输入轨迹用于表征用户在输入需求地点的名称时，每步在检索框中输入的文字内容；根据输入轨迹在调试模式下向待评价的第一提示服务发送检索请求，并获取第一提示服务对检索请求进行处理时的第一中间策略数据以及第一检索结果；第一中间策略数据中包括第一提示服务基于多个策略对检索请求进行处理时得到的数据；根据第一中间策略数据、第一检索结果以及需求地点，对第一提示服务进行评价。本公开提供的地点检索输入提示服务的评价方法、电子设备及程序产品中，能够获取用户在检索框中每步输入文字内容之后，第一提示服务基于该文字内容召回建议词的结果，以及第一提示服务基于不同策略基于该文字内容召回建议词的结果，通过分析这些数据，不仅能够得到第一提示服务的评价结果，还能够得到第一提示服务中设置的各策略的评价结果，因此，能够提供更丰富的评价指标，从而向研发人员提供改进第一提示服务的方向。
22.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
23.附图用于更好地理解本方案，不构成对本公开的限定。其中：
24.图1为一示例性实施例示出的界面操作图；
25.图2为本公开一示例性实施例示出的地点检索输入提示服务的评价方法的流程示意图；
26.图3为本公开另一实施例示出的地点检索输入提示服务的评价方法的流程示意图；
27.图4为本公开再一实施例示出的地点检索输入提示服务的评价方法的流程示意图；
28.图5为本公开一示例性实施例示出的地点检索输入提示服务的评价装置的结构示意图；
29.图6为本公开另一示例性实施例示出的地点检索输入提示服务的评价装置的结构示意图；
30.图7是用来实现本公开实施例的方法的电子设备的框图。
具体实施方式
31.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
32.图1为一示例性实施例示出的界面操作图。
33.如图1所示，在地图导航软件中存在一用于输入信息的输入框11，用户可以在输入框11中输入关键词，使得地图导航软件查询与该关键词对应的地点。
34.一般情况下，用户输入关键词时存在输入轨迹，比如，用户希望搜索的地点由多个字组成，比如用户需要搜索的位置是“五道口购物中心”，则用户输入该关键词的输入轨迹可能是“五
”‑
》“五道
”‑
》“五道口
”‑
》“五道口购物
”‑
》“五道口购物中心”。
35.用户每次在输入框中输入内容后，检索服务都能够根据当前输入的内容确定建议地点，比如用户输入了“五”时，服务能够基于“五”，召回建议地点，并对其进行排序，将排序后排在靠前的若干个建议地点反馈给用户终端，使得用户终端显示这些建议地点。当用户继续输入，比如输入了“五道”时，则服务能够反馈与“五道”对应的建议地点。
36.其中，用户输入文字的过程为输入轨迹，每输入一次文字增加一个步长，比如输入“五”时为步长1，输入“五道”时步长为2。
37.具体的，sug检索服务基于输入内容向用户终端反馈建议地点的准确性，直接影响着用户体验。因此，需要对sug检索服务反馈建议地点的功能进行评价，以确定sug检索服务能够准确且快速的向用户推荐建议地点。
38.可以根据用户输入轨迹，确定用户每次输入文字内容后检索服务反馈的建议地点，从而确定出向用户终端发送的建议地点中包括需求地点时的用户输入步长，该步长越短，则表征检索服务推荐建议地点的功能越好。例如，用户在输入“五道口”时，检索服务向用户终端推荐了“五道口购物中心”这个位置，则此次召回用户主需求的地点“五道口购物中心”的输入步长为3。
39.实际应用时，检索服务内部设置有多个策略，检索服务利用这些策略对建议地点进行召回并排序，从而向用户终端推送建议地点。比如，检索服务中设置有5个策略，则先用第一个策略对关键词进行处理，在预设的地点库中召回100个建议地点，再用第二策略对这些关键地点进行排序处理，再用第三策略调整建议地点的排序以此类推，将利用最后一个策略对建议地点进行排序处理后，将排在靠前的n个建议地点，n个建议地点推送给用户终端。
40.由此可知，最终推荐给用户终端的建议地点及其顺序，与检索系统中设置的各个策略直接相关。
41.若仅基于召回用户主需求地点时的步长评价检索服务，则只能够评价出该服务能否快速的召回匹配用户需求的建议地点，却无法确定导致召回失败或者召回速度慢的策略，因此，无法给研发人员提供更加详细的评价结果，无法直接指导研发人员对检索系统进行改进。
42.为了解决上述技术问题，本公开提供的方案中，对待评价的第一提示服务进行测试时，在调试模式下向该服务发送请求，从而能够获取第一提示服务对该请求进行处理时产生的中间策略数据，具体包括服务利用每个策略对请求进行处理时的中间策略数据，通过分析这些数据，能够得到服务中策略级的指标，从而能够更细粒化的对第一提示服务进行评价。
43.图2为本公开一示例性实施例示出的地点检索输入提示服务的评价方法的流程示意图。
44.如图2所示，本公开提供的地点检索输入提示服务的评价方法，包括：
45.步骤201，获取样本数据，样本数据包括需求地点，以及用户输入需求地点的名称时的输入轨迹；输入轨迹用于表征用户在输入需求地点的名称时，每步在检索框中输入的文字内容。
46.其中，本公开提供的方法可以由具备计算能力的电子设备执行，例如可以是计算机，该计算机可以是sug检索服务的后台服务器，比如，是用于评价sug检索服务功能的评价服务器。
47.具体的，评价服务器可以获取多个样本数据，利用这些样本数据对sug检索服务进行测试，并基于测试结果对sug检索服务进行评价。
48.进一步的，样本数据可以是对历史日志进行处理得到的。可以获取历史日志，从而基于历史日志获取用户输入地点名称时的输入轨迹。比如，用户第一步输入了“地”，第二步又输入了“铁”，第三步又输入了“站”，则用户输入轨迹为“地
”‑
》“地铁
”‑
》“地铁站”。
49.实际应用时，还可以从历史日志中获取需求地点，具体可以将查询位置时使用的词作为需求地点的名称。比如，用户输入了“地铁站”之后，操作用户终端向后台服务器发送了位置搜索请求，则可以将“地铁站”作为用户此次搜索的地点的需求地点名称，进而确定出需求地点。再例如，用户输入了“清华”之后，在用户终端显示的多个建议地点中选择了“清华大学”，并操作用户终端向后台服务器发送了位置搜索请求，则可以将“清华大学”作为用户此次搜索的需求地点需求地点。
50.其中，可以预先获取历史日志，并基于一定的条件从中筛选出符合需求的历史日志，再提取历史日志中的数据，具体可以提取出每个历史日志中用户输入需求地点的名称时的输入轨迹，还可以提取该历史日志中的需求地点。
51.具体的，可以基于时间条件、检索的地点的范围等条件筛选符合需求的历史日志。
52.步骤202，根据输入轨迹在调试模式下向待评价的第一提示服务发送检索请求，并获取第一提示服务对检索请求进行处理时的第一中间策略数据以及第一检索结果；第一中间策略数据中包括第一提示服务基于多个策略对检索请求进行处理时得到的数据。
53.第一提示服务是指待评价的sug检索服务。
54.进一步的，第一提示服务可以设置在测试环境中，也可以设置在预览机中。测试环境用于对正在研发过程中的服务进行测试，预览机用于对待上线的服务进行测试。
55.实际应用时，评价服务器可以向测试环境或者预览机发送检索请求，使得第一提示服务对该请求进行处理。
56.其中，可以根据输入轨迹发送检索请求，具体可以根据输入轨迹确定多个检索词，从而构建与每个检索词对应的检索请求，使得第一提示服务能够对每个检索词进行处理，召回相应的建议词，第一提示服务可以将对检索词进行处理得到的第一检索结果存储在预设的数据库中，比如可以是redis(remote dictionary server，远程字典服务)数据库。
57.具体的，第一提示服务对每个检索词进行处理时，都会基于预设的策略对该检索词进行处理，为了能够获取利用不同的策略对检索词进行处理时得到的第一中间策略数据，评价服务器可以在调试模式下向待评价的第一提示服务发送检索请求。
58.进一步的，可以将第一提示服务的调试模式设置为1，从而使得第一提示服务能够接收调试模式下的检索请求。
59.实际应用时，第一提示服务接收到调试模式下的检索请求后，基于内部设置的各个策略对该检索请求进行处理，具体根据检索请求中包括的检索词召回建议地点，并对建议地点进行排序。同时，第一提示服务基于预设的策略对检索词进行处理后，能够将处理结果存储在数据库中，比如可以是上述的redis数据库。
60.其中，不同策略的处理结果中可以包括召回的建议地点，以及建议地点的排序。比如第一提示服务先基于策略1对检索词进行处理，可以召回100个建议地点，则可以在数据库中存储这100个建议地点及其排序结果。再基于策略2对检索词和召回的建议低地点进行处理，对这些建议低点进行排序，还可以利用策略3以及其他策略对排序进行调整，重新排序，可以基于最终排序的结果，选取排在前n个的建议地点反馈给用户终端。
61.具体的，评价服务器可以从数据库中获取与每个检索请求对应的第一检索结果，以及第一中间策略数据。从而可以利用这些数据评价第一提示服务。
62.步骤203，根据第一中间策略数据、第一检索结果以及需求地点，对第一提示服务进行评价。
63.进一步的，评价服务器可以利用多个输入轨迹构建检索请求，因此，能够得到与多个检索请求对应的第一中间策略数据、第一检索结果。且可以利用多条样本数据进行测试，因此可以利用这些数据确定第一提示服务召回样本数据中的需求地点的效果。
64.实际应用时，第一检索结果是第一提示服务最终的召回结果，可以利用第一检索结果从整体上评价第一提示服务。比如，存证一个检索请求，其对应的需求地点为“物美超市”，在该检索请求的第一检索结果中不包括“物美超市”，则可以认为第一提示服务的整体召回能力较差。
65.其中，第一中间策略数据是第一提示服务利用不同的策略对检索请求进行处理的结果，因此，基于该数据能够确定不同策略的召回效果。比如，存证一个检索请求，其对应的需求地点为“物美超市”，当前构建的检索请求中检索词为“物”，策略1召回了需求地点“物美超市”，则认为策略1符合要求。若基于策略2对已经召回的建议地点进行排序处理时，将需求地点排在靠前的位置，则可以认为策略2的召回效果比较好。若基于策略3继续优化排序结果时，将需求地点排在靠后的位置，则可以确定策略3的召回效果较差。
66.具体的，在根据输入轨迹构建检索请求时，不同输入步长对应的输入内容不同，构建的检索请求也不同，相应的第一中间策略数据、第一检索结果也不同。可以根据与检索请
求对应的输入步长，确定出召回一个需求地点所需要的输入步长，比如需要召回“清华大学”需要的步长是1。可以根据利用第一提示服务召回需求地点所需要的步长，来评估第一提示服务的召回效果，还可以根据利用一个策略召回需求地点所需要的步长，来评估策略的召回效果。
67.可以利用与每个样本数据对应的检索请求和第一检索结果、第一中间策略数据，对第一提示服务进行评价，从而可以利用大量的数据对服务进行评价。
68.通过这种方式，不仅能够评价出第一提示服务本身的检索效果，还能够评价出该第一提示服务内部各策略的召回效果，从而得到更加细粒度的评价结果。
69.本公开提供的地点检索输入提示服务的评价方法，包括：获取样本数据，样本数据包括需求地点，以及用户输入需求地点的名称时的输入轨迹；输入轨迹用于表征用户在输入需求地点的名称时，每步在检索框中输入的文字内容；根据输入轨迹在调试模式下向待评价的第一提示服务发送检索请求，并获取第一提示服务对检索请求进行处理时的第一中间策略数据以及第一检索结果；第一中间策略数据中包括第一提示服务基于多个策略对检索请求进行处理时得到的数据；根据第一中间策略数据、第一检索结果以及需求地点，对第一提示服务进行评价。本公开提供的方法中，能够获取用户在检索框中每步输入文字内容之后，第一提示服务基于该文字内容召回建议词的结果，以及第一提示服务基于不同策略基于该文字内容召回建议词的结果，通过分析这些数据，不仅能够得到第一提示服务的评价结果，还能够得到第一提示服务中设置的各策略的评价结果，因此，能够提供更丰富的评价指标，从而向研发人员提供改进第一提示服务的方向。
70.图3为本公开另一实施例示出的地点检索输入提示服务的评价方法的流程示意图。
71.如图3所示，本公开提供的地点检索输入提示服务的评价方法，包括：
72.步骤301，获取地点检索输入提示服务对用户输入的内容进行处理，查询建议地点所生成的历史日志。
73.其中，地点检索输入提示服务可以是在线服务，用户使用导航软件搜索地点时，该在线的地点检索输入提示服务可以对用户输入的内容进行处理，查询建议地点，并向用户终端反馈建议地点。
74.具体的，地点检索输入提示服务的服务器在根据用户输入的内容查询建议地点时，还能够生成并存储日志。
75.进一步的，评价服务器可以获取这些历史日志，历史日志中可以包括存储用户输入内容时的输入轨迹，还可以存储用户最终选择的建议地点。
76.比如，用户在输入内容之后，选择了地点a，则可以将地点a作为建议地点。用户每次在输入框中文字内容，能够组成用户的输入轨迹。
77.在一种可选的实现方式中，可以设置筛选历史日志的条件，从而降低数据处理量。比如可以筛选最近1个月的历史日志。通过这种方式能够避免数据量过大导致评价失败的问题。
78.比如，现有技术中通过每个小时拉取在线日志，并对1个小时内生成的在线日志进行分析，评价在线的服务召回建议地点是否准确，但是，这种情况由于每个小时内的日志数据量非常庞大，经常出现评价失败的情况，而通过筛选日志的方式能够降低需要处理的数
据量，从而避免评价失败的情况。
79.步骤302，根据历史日志获取建议地点，以及用户输入建议地点的名称时的输入轨迹。
80.进一步的，评价服务器可以对获取的历史日志进行处理，提取样本数据。具体可以从历史日志中提取用户希望检索的建议地点，以及用户输入该建议地点的名称时的输入轨迹。1例如，用户输入建议地点的名称时的输入轨迹可能是“五
”‑
》“五道
”‑
》“五道口
”‑
》“五道口购
”‑
》“五道口购物
”‑
》“五道口购物中
”‑
》“五道口购物中心”。
81.通过这种实现方式，能够基于在线的地点检索输入提示服务生成的历史日志，提取用户希望检索的建议地点，以及该用户输入该建议地点的名称时真实的输入轨迹，构建样本数据，再利用这些样本数据对待评价的第一提示服务进行评价，能够更符合真实的检索情况，从而更准确的评价第一提示服务。
82.在一种可选的实施方式中，生成历史日志的地点检索输入提示服务与第一提示服务可以是同一服务。这种实施方式中，本公开提供的方法能够用于对在线设置的地点检索输入提示服务进行评价。
83.步骤303，根据输入轨迹确定样本数据的多个检索词，并在调试模式下向第一提示服务分别发送检索词。
84.其中，用户输入轨迹中包括每步对应的输入内容，比如，第一步输入“五”，第二步输入“五道”，第三步输入“五道口”，则可以根据每步输入的内容确定检索词，例如第一个检索词是“五”，第二个检索词是“五道”，第三个检索词是“五道口”。针对每条样本数据，都可以确定与该样本数据对应的至少一个检索词。
85.具体的，评价服务器可以将各检索词逐一发送给第一提示服务，使得第一提示服务分别对每个检索词进行处理。
86.实际应用时，用户在导航软件中输入需求地点的名称时，随着在用户输入内容的增多，导航软件就能显示的建议地点也会更新。具体时导航软件的在线sug服务基于输入框中当前的内容反馈的。
87.因此，通过逐一向第一提示服务发送与用户输入轨迹对应的检索词，能够还原出第一提示服务基于用户输入内容的变换，向用户终端反馈建议地点的过程。
88.其中，第一提示服务对任一检索词进行处理时，都会基于内部设置的各个策略对检索词进行处理，因此，基于预设的策略对检索词进行处理的结果直接影响着第一提示服务整体的召回结果。
89.为了能够获取第一提示服务基于每个策略对检索词进行处理时得到的召回结果或排序结果，本公开提供的方案中，评价服务器在调试模式下向第一提示服务分别发送各个检索词。从而使第一提示服务能够存储基于各策略对检索词进行处理产生的第一中间策略数据。
90.具体的，第一提示服务有一个调试模式的配置参数，置为1表示可以接收调试模式的请求，0表示无法接收调试模式的请求。可以将第一提示服务的该配置参数设置为1，评价服务器可以向第一提示服务发送包括检索词的调试请求，进而使得第一提示服务能够对检索词进行处理。
91.步骤304，获取第一提示服务对各检索词进行处理时的各第一检索结果，以及第一
提示服务基于多个策略对每个检索词进行处理时，生成的与策略以及检索词对应的各第一中间策略数据。
92.进一步的，第一提示服务可以基于多个策略对每个检索词进行处理，例如针对检索词1，可以利用入口策略对检索词1进行处理，召回n1个建议地点，再利用第一策略对召回的这n1个建议地点进行排序，再利用第二策略对排序后的建议地点进行重新排序，再利用第三策略对排序后的建议地点进行重新排序，以此类推，最终得到这n1个建议地点的排序结果，再将排序靠前的n个建议地点反馈给用户终端。
93.实际应用时，最终反馈给用户终端的n个建议地点为第一提示服务对检索词1进行处理时的第一检索结果。
94.其中，基于不同策略得到的召回结果，或排序结果，为第一中间策略数据。比如，可以包括利用入口策略对检索词1进行处理的召回结果，还可以包括利用第一策略对n1个建议地点进行排序的排序结果，还可以包括利用第二策略对n1个建议地点重新排序的排序结果等。
95.通过这种方式，能够得到基于每个策略对检索词进行处理时得到的召回结果或排序结果，从而能够利用这些结果评价第一提示服务中预设的各策略，以得到更细粒度的评价结果。
96.步骤305，获取与检索词对应的输入步长。
97.具体的，基于用户的输入轨迹确定的检索词具有输入步长，评价服务器还可以获取各检索词对应的输入步长。比如用户通过一步就输入了检索词，则该检索词的输入步长为1，再比如，用户通过三步才输入了检索词，则该检索词的输入步长为3。
98.例如，在上述例子中，输入轨迹是“五
”‑
》“五道
”‑
》“五道口
”‑
》“五道口购
”‑
》“五道口购物
”‑
》“五道口购物中
”‑
》“五道口购物中心”时，则“五”的输入步长是1，“五道”的输入步长是2，“五道口”的输入步长是3，“五道口购”的输入步长是4，“五道口购物”的输入步长是5，“五道口购物中”的输入步长是6，“五道口购物中心”的输入步长是7。
99.步骤306，根据与样本数据的每个检索词对应的第一检索结果，确定第一提示服务将样本数据中的需求地点排在指定位置之前所需的最短的服务召回步长。
100.进一步的，评价服务器可以综合多个样本数据的每个检索词的第一检索结果，评价第一提示服务整体的检索效果。
101.实际应用时，第一提示服务向用户终端反馈建议地点时，将需求地点排序越靠前，用户体验越好，因此，可以确定第一提示服务将用户希望检索到的需求地点排在指定位置之前时，所需要的服务召回步长。
102.其中，该指定位置可以是预设的，比如可以是3。比如，可以确定用户在搜索需求地点时，第一提示服务在将该需求地点排在前三位时，所需要的检索词的步长。
103.一个样本数据具有多个检索词，每个检索词具有输入步长，基于检索词反馈建议地点时，若建议地点排序越靠前，且相应的检索词的输入步长越短，则说明第一提示服务的召回效果越好。本公开提供的方案，能够获取使用一个样本数据进行测试时，将需求地点排在指定位置之前所需要最短的服务召回步长。比如，需求地点是“五道口购物中心”，各检索词分别为“五”、“五道”、“五道口”、“五道口购”、“五道口购物”、“五道口购物中”、“五道口购物中心”时，若检索词为“五道口”时，第一检索结果中五道口购物中心排在第三位，检索词
分别为“五道口购”、“五道口购物”、“五道口购物中”、“五道口购物中心”时，第一检索结果中五道口购物中心排均在第一位，则第一提示服务在将该需求地点排在前三位时，所需要的检索词的3。
104.对同一个样本数据的多个检索词进行处理时，可能存在多个检索词对应的第一检索结果中，需求地点排在前三位，这种场景下，将这些检索词中最短的输入步长，确定为需求地点排在指定位置之前所需的服务召回步长。
105.服务召回步长能够反映出第一提示服务召回需求地点的能力，因此，可以利用确定的服务召回步长从整体评价第一提示服务的召回效果。
106.在一种可选的实施方式中，利用样本数据进行测试时，还可能存在召回失败的情况，比如，输入步长最大时，第一提示服务也没将需求地点排在前三位，则可以将该样本数据的服务召回步长设置为-1。
107.步骤307，根据与策略以及检索词对应的各第一中间策略数据，确定与各策略对应的最短的策略召回步长。
108.进一步的，针对一个检索词，第一提示服务会基于每个策略对该检索词进行处理，得到第一中间策略数据，第一中间策略数据例如可以包括召回结果和排序结果。
109.比如利用入口策略0对检索词1进行处理能够得到召回结果，再比如利用策略1对召回的建议地点进行排序，能够得到第一排序结果
…
利用策略n对召回的建议地点重新排序，能够得到第n排序结果。针对另一个检索词，也能够得到基于各策略对该检索词进行处理得到的召回结果或者排序结果。
110.例如，可以得到策略、检索词以及第一中间策略数据(包括召回结果和排序结果)之间的下述对应关系：入口策略0-检索词1-召回结果01，入口策略0-检索词2-召回结果02，策略1-检索词1-排序结果11，策略1-检索词2-排序结果12等。
111.利用样本数据进行测试时，可以根据与策略以及样本数据的每个检索词具有对应关系的第一中间策略数据，确定该策略的最短的策略召回步长。策略召回步长用于表征利用该策略对样本数据的各检索词进行处理，召回建议地点或者对建议地点进行排序时，将需求地点排在预设位置之前所需的最短步长。
112.比如，利用入口策略召回检索词1的建议地点时，召回需求地点所需要的策略召回步长。入口策略基于检索词，对预设地点库中的地点进行排序，并将排在前n1的若干个地点作为建议地点。n1例如可以是100，还可以是200等，具体的数值不对其进行限制。
113.针对一个样本数据的多个检索词，在对这些检索词进行处理时，可能基于入口策略对多个检索词进行处理时，都能够成功召回需求地点的情况，这种情况下，将成功召回建议地点的检索词中最短的输入步长，确定为策略召回步长。
114.再比如，利用策略1对检索词1的建议地点进行排序时，将需求地点排在前50的位置时所需要的策略召回步长。例如，第一提示服务利用策略1对召回的n1个建议地点进行排序，
115.针对样本数据的多个检索词，在对这些检索词进行处理时，可能基于某个策略对多个检索词进行处理时，都能够将需求地点排在指定排序之前，则可以将这些检索词中最短的输入步长，确定为策略召回步长。
116.在一种可选的实施方式中，第一提示服务中设置的各策略包括召回策略和排序策
略。比如，用于对检索词进行处理的第一个入口策略，为召回策略，召回策略用于根据检索词召回建议地点。
117.针对召回策略，确定其策略召回步长时，具体可以根据与召回策略以及样本数据的每个检索词对应的第一中间策略数据，确定召回策略召回样本数据中的需求地点所需要最短的第一召回步长。
118.针对每条样本数据，都可以确定召回策略对其进行处理时成功召回需求地点所需要的最短的第一召回步长。例如，针对一条样本数据，利用步长为1的检索词进行召回时，没有召回该样本数据的需求地点，利用步长为2的检索词进行召回时，成功召回该样本数据的需求地点，则召回策略对该样本数据进行处理的第一召回步长为2。
119.针对排序策略，确定其策略召回步长时，根据与所述排序策略以及所述样本数据的每个检索词对应的第一中间策略数据，确定所述排序策略将所述样本数据中的需求地点排在预设位置之前所需要最短的第二召回步长。
120.针对每条样本数据，都可以确定排序策略对其进行处理时，将需求地点排在靠前位置所需要的最短的第二召回步长。例如，针对一条样本数据的步长为1的检索词，利用排序策略1对该检索词已经召回的建议地点进行排序时，将需求地点排在前50的位置，则排序策略1具有一个第二召回步长1；利用排序策略2对该检索词已经召回的建议地点进行排序时，将需求地点排在30以后的位置，但是利用排序策略2对该样本数据的步长为2的检索词已经召回的建议地点进行排序时，将需求地点排在30以前的位置，则排序策略2具有一个第二召回步长2。
121.针对排序策略，确定其策略召回步长时，还可以根据与排序策略以及样本数据的每个检索词对应的第一中间策略数据，确定策略召回需求地点需要的最短的第三召回步长。
122.有一些排序策略还具有过滤逻辑，其会过滤上一个策略处理结果中的部分地点，有可能存在过滤掉需求地点的情况，因此，可以通过第三召回步长衡量排序策略的过滤逻辑是否正确。
123.具体可以根据一个策略的上一个策略对该检索词进行处理得到的中间策略数据，以及当前的策略对该检索词进行处理得到的中间策略数据，确定该策略的第三召回步长。
124.例如，用户输入“五道”，此时需求地点在入口策略中被召回，而在排序策略1处可能过滤了需求地点，导致在输入五道口三个字时，排序策略1才召回了需求地点，则那么排序策略1的最短召回步长就是3。
125.通过这种实现方式，针对不同的策略可以采用不同的方式获取相应的策略召回步长，从而能够从不同的角度评价不同类型的策略，使得评价结果更加全面，还能够通过不同方式得到不同类型的策略的评价指标，使得得到的指标更加准确。
126.步骤308，根据服务召回步长、与每个策略对应的策略召回步长，对第一提示服务进行评价。
127.服务召回步长能够评估第一提示服务整体的召回效果，与每个策略对应的策略召回步长，能够评估策略的召回效果，因此，基于这两部分数据能够更准确的对第一提示服务进行评价。
128.本公开提供的方案中，不仅能够对第一提示服务本身的召回效果进行评价，还能
够对服务中设置的各策略的召回效果进行评价，从而提供更细粒度的评价结果，以向研发人员提供服务的改进方向。
129.根据各服务召回步长，确定第一提示服务将需求地点排在指定位置之前的服务平均步长；其中，服务平均步长用于对第一提示服务的总体召回效果进行评价，服务平均步长越短，表征第一提示服务的召回效果越好。
130.利用每条样本数据对第一提示服务进行测试时，都能够得到将样本数据中的需求地点排在指定位置之前所需的最短的服务召回步长，因此，利用与每条样本数据对应的服务召回步长，能够确定出服务平均步长。
131.研发人员可以参考服务平均步长，以确定第一提示服务的召回效果。服务平均步长越短，表征第一提示服务的召回效果越好。即需要输入较少的内容，该第一提示服务就能够将需求地点排在指定位置之前的位置。
132.利用一个策略对样本数据的各个检索词进行处理时，能够确定出与该策略对应的最短的策略召回步长，比如，可以是召回样本数据的需求地点所需要的最短的第一召回步长，也可以是将需求地点排在预设位置之前所需要的最短的第二召回步长。因此，可以利用与一个策略对应的多个最短召回步长，确定该策略的策略平均步长。
133.研发人员可以参考策略平均步长，以确定策略的召回效果。一个策略的策略平均步长越短，表征该策略的召回效果越好。即需要输入较少的内容，该策略就能够将需求地点排在预设位置之前的位置。
134.通过这种实现方式，能够获得用于评价第一提示服务的整体指标服务平均步长，还能够获得用于评价各个策略的策略平均步长，因此，本公开提供的方案能够提供服务级别的量化指标，以及策略级别的量化指标，能够使研发人员快速定位服务存在问题的原因，进而指导研发人员对服务中的各策略进行优化。
135.在步骤304之后，还可以包括步骤309、310。
136.步骤309，根据与样本数据的各检索词对应的第一检索结果，确定第一提示服务将样本数据中的需求地点排在指定位置之前的服务召回率；其中，服务召回率用于对第一提示服务的总体召回效果进行评价，服务召回率越高，表征第一提示服务的召回效果越好。
137.其中，可以利用第一提示服务对样本数据的各检索词进行处理，得到第一检索结果。比如，第一检索结果可以包括多个建议地点以及对建议地点的排序结果。可以根据第一检索结果，确定第一提示服务对检索词进行处理得到的最终结果中，将样本数据中的需求地点排在指定位置之前的服务召回率。
138.例如，第一提示服务共对m个检索词进行了检索处理，其中存在m个第一检索结果中，与检索词对应的需求地点排在指定位置之前，则服务召回率为m/m。
139.研发人员可以服务召回率，以确定第一提示服务的召回效果。服务召回率越高，表征第一提示服务的召回效果越好。即服务能够在召回时，具有较高的概率将需求地点排在建议地点中的预设位置之前。
140.步骤310，根据与策略以及样本数据的每个检索词对应的第一中间策略数据，确定利用策略对检索词进行处理时的策略召回率；其中，策略召回率用于对策略的召回效果进行评价，策略召回率越高，表征策略的召回效果越好。
141.其中，第一提示服务对样本数据的各检索词进行处理时，具体是基于内部设置的
各个策略对检索词进行处理。比如针对一个检索词，先利用召回策略对该检索词进行处理，再利用第一个排序策略对检索词召回的建议地点进行排序，再利用下一个排序策略重新对建议地点进行排序。
142.在利用召回策略对一个检索词进行处理时，可以存储第一中间策略数据，通过第一中间策略数据能够确定在此次处理结果中，能否成功召回样本数据中的需求地点；在利用一条排序策略对一个检索词进行处理时，可以存储第一中间策略数据，通过第一中间策略数据能够确定在此次处理结果中，能否将样本数据中的需求地点排在第二指定位置之前。比如，利用第一个排序策略对检索词进行处理时，能否将需求地点排在前50，再例如，利用第二个排序策略对检索词进行处理时，能否将需求地点排在前30。
143.利用这些数据，能够确定利用策略对检索词进行处理时，各策略的策略召回率。具体可以包括需求地点成功召回的策略召回率，还可以包括将样本数据中的需求地点排在第二指定位置之前的策略召回率。
144.其中，针对每个排序策略都可以设置相应的第二指定位置，比如，第一个排序策略对应的第二指定位置为50，第二个排序策略对应的第二指定位置为30。
145.研发人员可以策略召回率，以确定第一提示服务中各策略的召回效果。策略召回率越高，表征策略的召回效果越好。即策略在召回时，具有较高的概率能够将需求地点排在第二预设位置之前，或者具有较高的概率能够成功召回需求地点。
146.通过这种实现方式，能够获得用于评价第一提示服务的整体指标服务召回率，还能够获得用于评价各个策略的策略召回率，因此，本公开提供的方案能够提供服务级别的量化指标，以及策略级别的量化指标，能够使研发人员快速定位服务存在问题的原因，进而指导研发人员对服务中的各策略进行优化。
147.可选的，本公开提供的方案还可以包括步骤311、312。
148.步骤311，根据第一检索结果确定召回需求地点失败的失败检索请求，并在第一中间策略数据中确定与失败检索请求对应的第一目标策略数据。
149.通过上述方案，能够确定出用于评价第一提示服务整体召回效果的指标，比如服务召回步长和服务召回率，还可以确定出用于评价各策略召回效果的指标，比如策略召回步长和策略召回率。除此之外，本公开提供的方案，还能够对召回识别的个别情况逐一进行分析。
150.具体可以根据第一检索结果确定召回需求地点失败的失败检索请求，例如，基于第一个检索词发送检索请求后，得到的第一检索结果中不包括与该检索词对应的需求地点，则表征该请求为失败检索请求。
151.可以从各第一中间策略数据中，获取失败检索请求的第一目标策略数据。比如，发送失败检索请求后，第一提示服务利用入口策略对该失败检索请求进行处理后，能够得到一条中间策略数据，该数据为第一目标策略数据，第一提示服务利用第一排序策略对该失败检索请求进行处理后，能够得到另一条中间策略数据，该数据为另一个第一目标策略数据。
152.步骤312，根据第一目标检索数据，确定导致检索失败的目标策略。
153.其中，第一目标检索数据能够表征出第一提示服务对失败检索请求进行处理时，利用不同策略对其进行处理得到的结果，而这些结果决定了最终检索失败的情况发生，因
此，通过这些数据，能够确定导致检索失败的目标策略。
154.具体的，可以确定利用个第一目标检索数据，确定不同策略处理结果中，需求地点的召回结果或排序结果。比如，召回需求地点失败，则可以认为导致检索失败的目标是召回策略，若一个排序策略将需求地点排在靠后的位置，则说明导致检索失败的原因可能是该排序策略。
155.通过这种方式，能够定位出每个失败检索请求对应的失败原因，进而向研发人员提供更加精确的改进方向。
156.一种可选的实现方式中，可以根据第一目标检索数据确定第一提示服务基于各策略召回需求地点的召回结果，其中，召回结果包括成功或失败；再按照第一提示服务对检索请求进行处理时执行策略的顺序，将召回结果为失败的第一个策略确定为导致检索失败的目标策略。
157.实际应用时，第一提示服务是利用策略，逐一的对检索词进行处理，比如存在5个策略，则按照策略的排序顺序分别对检索词进行处理，最终得到排序前n的建议地点，并反馈给用户终端，比如将排序前10的建议地点反馈给用户终端。
158.因此，若靠前的策略召回效果差，可能直接导致检索失败。
159.基于此，本公开提供的方案可以根据各第一目标检索数据，确定第一提示服务基于各策略召回所述需求地点的召回结果，召回结果包括成功或失败。
160.针对召回策略，若基于召回策略召回了需求地点，则召回结果为成功，否则为失败。针对排序策略，若基于排序策略将需求地点排在第二指定位置之前，则认为召回成功，否则认为召回失败。
161.再按照第一提示服务对检索请求进行处理时执行策略的顺序，将召回结果为失败的第一个策略确定为导致检索失败的目标策略。
162.通过这种方式，能够根据基于各策略进行检索得到的数据，以及策略执行顺序，精准的定位导致检索失败的目标策略，向研发人员提供更精准的优化方向。
163.图4为本公开再一实施例示出的地点检索输入提示服务的评价方法的流程示意图。
164.本公开提供的方法可以与图3所示的实施例结合，也可以独立执行。
165.如图4所示，本公开提供的地点检索输入提示服务的评价方法，包括：
166.步骤401，获取样本数据，样本数据包括需求地点，以及用户输入需求地点的名称时的输入轨迹；输入轨迹用于表征用户在输入需求地点的名称时，每步在检索框中输入的文字内容。
167.步骤401与步骤201的实现方式类似，不再赘述。
168.步骤402，根据输入轨迹在调试模式下向待评价的第一提示服务发送检索请求，并获取第一提示服务对检索请求进行处理时的第一中间策略数据以及第一检索结果；第一中间策略数据中包括第一提示服务基于多个策略对检索请求进行处理时得到的数据。
169.步骤402的实现方式与步骤202的实现方式类似，不再赘述。
170.步骤403，根据输入轨迹在调试模式下向第二提示服务发送检索请求，并获取第二提示服务对检索请求进行处理时的第二中间策略数据以及第二检索结果；第二中间策略数据中包括第二提示服务基于多个策略对检索请求进行处理时得到的数据。
171.第二提示服务可以是在线应用的地点检索输入提示服务，例如可以是图3中步骤301提及的地点检索输入提示服务。
172.本公开提供的方案中，除了利用样本数据向第一提示服务发送检索请求以外，还向第二提示服务发送检索请求，通过比对这两个提示服务生成的检索结果与中间策略数据，能够确定第一提示服务相较于第二提示服务，召回效果降低的原因。
173.在一种实际应用场景中，例如，第一提示服务可以是优化后的服务，或者研发人员更新后的服务，通过本公开提供的方案，能够比对第一提示服务相较于在线实际应用的第二提示服务，召回效果是否有提升，从而为用户优化第一提示服务提供优化方向。
174.步骤404，根据第一中间策略数据、第一检索结果、第二中间策略数据、第二检索结果以及需求地点，对第一提示服务进行评价。
175.其中，评价服务器可以基于第一提示服务得到的第一中间策略数据、第一检索结果以及需求地点，确定用于评价第一提示服务的召回效果的指标，还可以基于第二提示服务得到的第二中间策略数据、第二检索结果以及需求地点，确定用于评价第二提示服务的召回效果的指标，通过比对两个服务的指标，能够确定第一提示服务相较于第二提示服务，召回效果降低的原因，或者第一提示服务相较于第二提示服务召回效果没有明显提升的原因。
176.具体的，若基于图3所示实施例像服务发送检索请求，比如检索请求包括与检索词对应的多个子请求，检索词是根据输入轨迹确定的；第一检索结果和第二检索结果分别包括与各检索词对应的检索结果，第一中间策略数据和第二中间策略数据分别包括与各检索词对应的中间策略数据。
177.则根据第一中间策略数据、第一检索结果、第二中间策略数据、第二检索结果以及需求地点，对第一提示服务进行评价，包括：
178.获取与检索词对应的输入步长；
179.根据与每个检索词对应的第一检索结果，确定第一提示服务召回需求地点所需的第一服务召回步长；根据与每个检索词对应的第二检索结果，确定第二提示服务召回需求地点所需的第二服务召回步长；
180.根据与策略以及检索词对应的各第一中间策略数据，确定与各策略对应的各第一策略召回步长；根据与策略以及检索词对应的各第二中间策略数据，确定与各策略对应的各第二策略召回步长；
181.根据第一服务召回步长、第二服务召回步长、与每个策略对应的第一策略召回步长以及第二策略召回步长，对第一提示服务进行评价。
182.具体确定服务召回步长和策略召回步长的方式可以参考图3所示实施例。第一策略召回步长和第二策略召回步长中均可以包括第一召回步长、第二召回步长、第三召回步长。
183.通过这种实施方式，能够比对第一服务召回步长与第二服务召回步长，从而确定第一提示服务相较于第二提示服务，整体召回效果是否有提升。还可以比对与各策略对应的第一策略召回步长与第二策略召回步长，从而确定第一提示服务相较于第二提示服务，同一个策略的召回效果是否有提升。
184.其中，一般情况下不同版本的提示服务中设置的策略结构是相同的，比如均设置
有5个策略，但是每个策略内部的具体实现可能存在区别，进而导致最终反馈建议地点不同。因此，通过上述实现方式能够确定出同一策略的内部实现更新后，召回效果是否有提升。
185.下表为一示例性实施例示出的服务召回步长以及策略召回步长的比对结果：
[0186][0187]
其中，base表示第二提示服务，test表示第一提示服务。排序策略一最短召回步长为排序策略一的第三召回步长的均值。
[0188]
在一种可选的实施方式中，步骤402、403之后还可以包括：
[0189]
步骤405，根据与样本数据的各检索词对应的第一检索结果，确定第一提示服务将样本数据中的需求地点排在指定位置之前的第一服务召回率；根据与样本数据的各检索词对应的第二检索结果，确定第二提示服务将样本数据中的需求地点排在指定位置之前的第二服务召回率。
[0190]
步骤406，根据与策略以及样本数据的每个检索词对应的第一中间策略数据，确定利用策略对检索词进行处理时的第一策略召回率；根据与策略以及样本数据的每个检索词对应的第二中间策略数据，确定利用策略对检索词进行处理时的第二策略召回率。
[0191]
步骤407，根据第一服务召回率、第二服务召回率、第一策略召回率、第二策略召回率，对第一提示服务进行评价。
[0192]
具体可以参考图3所示的实施例确定第一服务召回率、第二服务召回率、第一策略召回率、第二策略召回率。
[0193]
下表为一示例性实施例示出的服务召回率以及策略召回率的比对结果：
[0194][0195]
通过这种实施方式，能够比对第一服务召回率与第二服务召回率，从而确定第一提示服务相较于第二提示服务，整体召回效果是否有提升。还可以比对与各策略对应的第一策略召回率与第二策略召回率，从而确定第一提示服务相较于第二提示服务，同一个策略的召回效果是否有提升。
[0196]
在一种可选的实施方式中，若在第一提示服务中存在失败检索请求，则还可以获取第二提示服务对相应请求进行处理得到的中间策略数据，从而通过比对这些数据，更准确的确定出导致第一提示服务检索失败的原因。
[0197]
下表为一示例性实施例示出的检索失败请求的中间策略数据的比对结果：
[0198][0199]
从中可以看出，导致当前版本的提示服务检索失败的原因，是入口策略没有召回需求地点。
[0200]
表中1表征策略召回成功，或者策略将需求地点排在指定位置之前，-1表征策略召回失败，或者策略将需求地点排在指定位置之后。
[0201]
图5为本公开一示例性实施例示出的地点检索输入提示服务的评价装置的结构示意图。
[0202]
如图5所示，本公开提供的地点检索输入提示服务的评价装置500，包括：
[0203]
获取单元510，用于获取样本数据，所述样本数据包括需求地点，以及用户输入所述需求地点的名称时的输入轨迹；所述输入轨迹用于表征用户在输入所述需求地点的名称时，每步在检索框中输入的文字内容；
[0204]
发送单元520，用于根据所述输入轨迹在调试模式下向待评价的第一提示服务发送检索请求；
[0205]
所述获取单元510还用于获取所述第一提示服务对所述检索请求进行处理时的第一中间策略数据以及第一检索结果；所述第一中间策略数据中包括所述第一提示服务基于多个策略对所述检索请求进行处理时得到的数据；
[0206]
评价单元530，用于根据所述第一中间策略数据、所述第一检索结果以及所述需求地点，对所述第一提示服务进行评价。
[0207]
本公开提供的地点检索输入提示服务的评价装置，能够获取用户在检索框中每步输入文字内容之后，第一提示服务基于该文字内容召回建议词的结果，以及第一提示服务基于不同策略基于该文字内容召回建议词的结果，通过分析这些数据，不仅能够得到第一提示服务的评价结果，还能够得到第一提示服务中设置的各策略的评价结果，因此，能够提供更丰富的评价指标，从而向研发人员提供改进第一提示服务的方向。
[0208]
图6为本公开另一示例性实施例示出的地点检索输入提示服务的评价装置的结构示意图。
[0209]
如图6所示，本公开提供的地点检索输入提示服务的评价装置600中，获取单元610与图5中所示的获取单元510类似，发送单元620与图5中所示的发送单元520类似，评价单元630与图5中所示的评价单元530类似。
[0210]
其中，所述发送单元620具体用于根据所述输入轨迹确定所述样本数据的至少一个检索词，并在调试模式下向所述第一提示服务分别发送所述检索词；
[0211]
所述获取单元610具体用于获取所述第一提示服务对各所述检索词进行处理时的
各第一检索结果，以及所述第一提示服务基于多个策略对每个所述检索词进行处理时生成的，与所述策略以及所述检索词对应的各第一中间策略数据。
[0212]
其中，所述评价单元630，包括：
[0213]
获取模块631，用于获取与所述检索词对应的输入步长；
[0214]
服务步长确定模块632，用于根据与所述样本数据的每个所述检索词对应的第一检索结果，确定所述第一提示服务将所述样本数据中的所述需求地点排在指定位置之前所需的最短的服务召回步长；
[0215]
策略步长确定模块633，用于根据与所述策略以及所述样本数据的每个所述检索词对应的第一中间策略数据，确定与各策略对应的最短的策略召回步长；
[0216]
评价模块634，用于根据所述服务召回步长、与每个所述策略对应的所述策略召回步长，对所述第一提示服务进行评价。
[0217]
其中，所述策略包括召回策略、排序策略，所述策略步长确定模块633具体用于：
[0218]
根据与所述召回策略以及所述样本数据的每个检索词对应的第一中间策略数据，确定所述召回策略召回所述样本数据中的需求地点所需要最短的第一召回步长；
[0219]
根据与所述排序策略以及所述样本数据的每个检索词对应的第一中间策略数据，确定所述排序策略将所述样本数据中的需求地点排在预设位置之前所需要最短的第二召回步长，以及所述策略召回所述需求地点需要最短的第三召回步长。
[0220]
其中，所述评价模块634具体用于：
[0221]
根据各所述服务召回步长，确定所述第一提示服务将所述需求地点排在指定位置之前的服务平均步长；其中，所述服务平均步长用于对所述第一提示服务的总体召回效果进行评价，所述服务平均步长越短，表征所述第一提示服务的召回效果越好；
[0222]
根据与每个所述策略对应的最短的所述策略召回步长，确定与所述策略对应的策略平均步长；其中，所述策略平均步长用于对策略进行评价，所述策略平均步长越短，表征所述策略的召回效果越好。
[0223]
其中，所述评价单元630，包括：
[0224]
服务召回率确定模块635，用于根据与所述样本数据的各所述检索词对应的所述第一检索结果，确定所述第一提示服务将所述样本数据中的所述需求地点排在指定位置之前的服务召回率；其中，所述服务召回率用于对所述第一提示服务的总体召回效果进行评价，所述服务召回率越高，表征所述第一提示服务的召回效果越好；
[0225]
策略召回率确定模块636，用于根据与所述策略以及所述样本数据的每个所述检索词对应的第一中间策略数据，确定利用策略对所述检索词进行处理时的策略召回率；其中，所述策略召回率用于对所述策略的召回效果进行评价，所述策略召回率越高，表征所述策略的召回效果越好。
[0226]
所述装置，还包括失败请求处理单元640，所述失败请求处理单元640包括：
[0227]
目标数据确定模块641，用于根据所述第一检索结果确定召回所述需求地点失败的失败检索请求，并在所述第一中间策略数据中确定与所述失败检索请求对应的第一目标策略数据；
[0228]
目标策略确定模块642，用于根据所述第一目标检索数据，确定导致检索失败的目标策略。
[0229]
其中，所述目标策略确定模块642，具体用于：
[0230]
根据所述第一目标检索数据确定所述第一提示服务基于各策略召回所述需求地点的召回结果，其中，所述召回结果包括成功或失败；
[0231]
按照所述第一提示服务对所述检索请求进行处理时执行策略的顺序，将召回结果为失败的第一个策略确定为导致检索失败的所述目标策略。
[0232]
所述发送单元620还用于根据所述输入轨迹在调试模式下向第二提示服务发送检索请求；
[0233]
所述获取单元610还用于获取所述第二提示服务对所述检索请求进行处理时的第二中间策略数据以及第二检索结果；所述第二中间策略数据中包括所述第二提示服务基于多个策略对所述检索请求进行处理时得到的数据；
[0234]
所述评价单元630包括比对评价模块637，用于：
[0235]
根据所述第一中间策略数据、所述第一检索结果、所述第二中间策略数据、所述第二检索结果以及所述需求地点，对所述第一提示服务进行评价。
[0236]
所述检索请求包括与检索词对应的多个子请求，所述检索词是根据所述输入轨迹确定的；所述第一检索结果和所述第二检索结果分别包括与各检索词对应的检索结果，所述第一中间策略数据和所述第二中间策略数据分别包括与各检索词对应的中间策略数据；
[0237]
所述比对评价模块635具体用于：
[0238]
获取与检索词对应的输入步长；
[0239]
根据与每个所述检索词对应的第一检索结果，确定所述第一提示服务将所述样本数据中的所述需求地点排在指定位置之前所需的第一服务召回步长；根据与每个所述检索词对应的第二检索结果，确定所述第二提示服务将所述样本数据中的所述需求地点排在指定位置之前所需的第二服务召回步长；
[0240]
根据与所述策略以及所述样本数据的每个检索词对应的第一中间策略数据，确定与各策略对应的最短的第一策略召回步长；根据与所述策略以及所述样本数据的每个检索词对应的第二中间策略数据，确定与各策略对应的最短的第二策略召回步长；
[0241]
根据所述第一服务召回步长、所述第二服务召回步长、与每个所述策略对应的所述第一策略召回步长以及第二策略召回步长，对所述第一提示服务进行评价。
[0242]
所述检索请求包括与检索词对应的多个子请求，所述检索词是根据所述输入轨迹确定的；所述第一检索结果和所述第二检索结果分别包括与各检索词对应的检索结果，所述第一中间策略数据和所述第二中间策略数据分别包括与各检索词对应的中间策略数据；
[0243]
所述比对评价模块635具体用于：
[0244]
根据与所述样本数据的各所述检索词对应的所述第一检索结果，确定所述第一提示服务将所述样本数据中的所述需求地点排在指定位置之前的第一服务召回率；根据与所述样本数据的各所述检索词对应的所述第二检索结果，确定所述第二提示服务将所述样本数据中的所述需求地点排在指定位置之前的第二服务召回率；
[0245]
根据与所述策略以及所述样本数据的每个所述检索词对应的第一中间策略数据，确定利用策略对所述检索词进行处理时的第一策略召回率；根据与所述策略以及所述样本数据的每个所述检索词对应的第二中间策略数据，确定利用策略对所述检索词进行处理时的第二策略召回率；
[0246]
根据所述第一服务召回率、所述第二服务召回率、所述第一策略召回率、所述第二策略召回率，对所述第一提示服务进行评价。
[0247]
其中，所述获取单元610，包括：
[0248]
日志获取模块611，用于获取地点检索输入提示服务对用户输入的内容进行处理，查询建议地点所生成的历史日志；
[0249]
样本提取模块612，用于根据所述历史日志获取所述建议地点，以及用户输入所述建议地点的名称时的输入轨迹。
[0250]
本公开提供一种地点检索输入提示服务的评价方法、电子设备及程序产品，应用于数据处理技术中的地图检索技术，以更准确的评价sug检索功能的优劣。
[0251]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0252]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0253]
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
[0254]
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0255]
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0256]
设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0257]
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如地点检索输入提示服务的评价方法。例如，在一些实施例中，地点检索输入提示服务的评价方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而
被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的地点检索输入提示服务的评价方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行地点检索输入提示服务的评价方法。
[0258]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0259]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0260]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0261]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0262]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0263]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通
过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0264]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0265]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。