AGI平台调用管理方法、装置、存储介质及电子设备与流程

文档序号:35102538发布日期:2023-08-10 10:05阅读:59来源:国知局
AGI平台调用管理方法、装置、存储介质及电子设备与流程

本技术涉及调用管理,具体而言,涉及一种通用人工智能(artificialgeneral intelligence,agi)平台调用管理方法、装置、存储介质及电子设备。


背景技术:

1、agi通用大模型技术正迅猛发展,随之而来的是机器在各个领域取代工作的趋势。企业内部以及客户服务领域中涌现出众多基于agi的效率提升工具。

2、这些效率提升工具可以是基于企业内部自主研发的大模型,也可以是基于各大agi模型企业提供的开放平台。然而,在绝大多数情况下,企业自主研发的大模型与商用agi模型之间在性能、成本和生成效果上存在一定差异。为了满足不断增长的需求,各大互联网公司也在积极快速发展agi模型平台。

3、目前,企业在实现基于agi的各工具的过程中,在调用agi大模型的开放平台进行使用时存在可用性不高的问题。


技术实现思路

1、本技术实施例的目的在于提供一种agi平台调用管理方法、装置、存储介质及电子设备,用以提高调用agi大模型的开放平台时的可用性。

2、第一方面,本技术实施例提供了一种agi平台调用管理方法,包括:

3、响应于agi平台调用请求,获取与所述agi平台调用请求对应的适用平台列表;

4、获取当前可调用平台列表;

5、根据所述适用平台列表和所述当前可调用平台列表进行平台调用。

6、在本技术实施例中,通过获取与当前调用请求对应的适用平台列表,同时获取系统当前的可用平台列表,并综合考虑当前调用场景适用性及供应方的可用性选择平台进行调用,能够保证所调用平台的适用性和可用性,从而有效提高了agi平台调用的可用性。

7、在一个可能的实施例中,所述根据所述适用平台列表和所述当前可调用平台列表进行平台调用,包括:

8、根据所述适用平台列表与所述当前可调用平台列表的交集确定目标调用平台;

9、对所述目标调用平台进行调用。

10、在本技术实施例中,只需要根据适用平台列表和当前可调用平台列表的交集即可准确地确定本次调用的平台,通过采用数据运算方式来选择适合的调用平台,能够提高调用管理的精确性和效率,进一步提高了agi平台调用的可用性。

11、在一个可能的实施例中,所述根据所述适用平台列表与所述当前可调用平台列表的交集确定目标调用平台,包括:

12、根据所述适用平台列表与所述当前可调用平台列表的交集确定候选调用平台列表;

13、根据所述候选调用平台列表中各个候选调用平台的场景适用权重值确定目标调用平台;其中,所述场景适用权重值是所述适用平台列表中预配置的与所述agi平台调用请求的调用场景相匹配的值。

14、在本技术实施例中,通过按照与当前调用请求的场景适配度对各个平台分别配置权重值,能够优先选择与当前调用场景最合适的平台进行调用,从而提高了调用平台的服务效率和质量,进一步提高了agi平台调用的可用性。

15、在一个可能的实施例中,所述根据所述候选调用平台列表中各个候选调用平台的场景适用权重值确定目标调用平台,包括:

16、根据所述候选调用平台列表中各个候选调用平台的场景适用权重值和可用性权重值计算综合权重值;其中,所述可用性权重值是所述当前可调用平台列表中预配置的与各平台供应商的平台信息相对应的值;

17、基于所述综合权重值确定目标调用平台。

18、在本技术实施例中,除了配置场景适用权重,还可以根据供应商的平台信息配置可用性权重,例如考虑平台本身调用成本等因素,再根据两个平台列表的权重综合计算并确定最合适的平台进行调用,能够提高平台调用的适用性和经济性,进一步提高了agi平台调用的可用性。

19、在一个可能的实施例中,所述场景适用权重值的数量级大于所述可用性权重值的数量级。

20、在本技术实施例中,在配置权重值时,通过将场景适用权重的数量级配置为大于可用性权重的数量级,从而在确定目标调用平台时可以优先考虑场景适用性,其次(例如当场景适用性差不多时)再考虑可用性,有效提高了平台调用的适用性,提高平台调用的服务质量,进一步提高了agi平台调用的可用性。

21、在一个可能的实施例中,所述的agi平台调用管理方法还包括:

22、响应于所述目标调用平台返回的调用失败信息;

23、基于所述调用失败信息对所述适用平台列表中与所述目标调用平台对应的平台的场景适用权重值进行降级调整;或,基于所述调用失败信息对所述当前可调用平台列表中与所述目标调用平台对应的平台的可用性权重值进行降级调整。

24、在本技术实施例中,当平台调用失败时,需要对该平台预配置的权重进行降级,使得后续再次发起平台调用请求时优先选择其他平台进行调用,避免重复调用该平台出现再次失败的情况,进一步提高了agi平台调用的可用性。

25、在一个可能的实施例中,所述对所述目标调用平台进行调用,包括:

26、获取与所述agi平台调用请求对应的第一可用api秘钥列表,并获取与所述目标调用平台对应的第二可用api秘钥列表;其中,api为应用程序编程接口,applicationprogramming interface;

27、根据所述第一可用api秘钥列表与所述第二可用api秘钥列表的交集确定候选api秘钥列表;

28、基于预存的秘钥调用记录信息获取所述候选api秘钥列表中各个候选api秘钥对应的累计调用次数,并将累计调用次数最小的候选api秘钥确定为目标api秘钥;

29、基于所述目标api秘钥对所述目标调用平台进行调用。

30、在本技术实施例中,在确定目标调用平台后,根据当前场景配置的第一可用api秘钥列表以及该平台本身对应的第二可用api秘钥列表,再按照调用次数较少的原则综合计算确定最终用于调用的api秘钥。避免了平台对于访问频率限制导致的调用失败问题,从而有效提高了平台调用的成功率,进一步提高了agi平台调用的可用性。

31、在一个可能的实施例中,所述的agi平台调用管理方法还包括:

32、响应于所述目标调用平台返回的调用失败信息;

33、基于所述调用失败信息对所述秘钥调用记录信息中与所述目标api秘钥对应的api秘钥的累计调用次数进行增加。

34、在本技术实施例中,当调用失败且根据错误信息确定是api秘钥暂不可用或超频时,对于当前使用的api秘钥对应记录的累计调用次数进行增加,使得该api秘钥在后续调用请求中当选的权重降低,从而在后续重新发起调用请求时,优先选择其他api秘钥进行平台调用,提高平台调用的成功率,进一步提高了agi平台调用的可用性。

35、在一个可能的实施例中,所述对所述目标调用平台进行调用,还包括:

36、基于预设的格式转换器对所述agi平台调用请求携带的入参及模型提示词进行转换,得到与所述目标调用平台对应的目标入参及目标模型提示词;

37、基于所述目标入参和所述目标模型提示词对所述目标调用平台进行调用。

38、在本技术实施例中,通过预设格式转换器对调用请求的入参及模型提示词进行格式转换,从而能够根据不同调用场景统一转换为适配于调用平台的数据,提高平台调用的兼容性和调用效率,从而进一步提高了agi平台调用的可用性。

39、第二方面,本技术实施例提供了一种agi平台调用管理装置,包括:

40、响应模块,用于响应于agi平台调用请求,获取与所述agi平台调用请求对应的适用平台列表;

41、获取模块,用于获取当前可调用平台列表;

42、调用模块,用于根据所述适用平台列表和所述当前可调用平台列表进行平台调用。

43、第三方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时可实现第一方面任一实施例所述的方法。

44、第四方面,本技术实施例提供了一种计算机程序产品,所述的计算机程序产品包括计算机程序,其中,所述的计算机程序被处理器执行时可实现第一方面任一实施例所述的方法。

45、第五方面,本技术实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述程序时可实现第一方面任一实施例所述的方法。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1