一种模型评测方法、装置及设备与流程

文档序号:37467917发布日期:2024-03-28 18:50阅读:来源:国知局

技术特征:

1.一种模型评测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的模型评测方法,其特征在于,所述获取目标测评数据集包括:

3.根据权利要求1所述的模型评测方法,其特征在于,所述使用所述线性分类器对所述至少一条文本数据进行评测,得到所述待评测的大模型每一层级的知识记忆和知识理解能力包括:

4.根据权利要求1所述的模型评测方法,其特征在于,所述目标能力包括语义抽象能力时,所述根据所述目标测评数据集对所述待评测的大模型的层级进行评测,得到所述待评测的大模型的目标能力包括:

5.根据权利要求4所述的模型评测方法,其特征在于,所述基于每一层级的所述注意力得到所述待评测的大模型的语义抽象能力包括:

6.根据权利要求5所述的模型评测方法,其特征在于,所述预设注意力模式包括依次从字、词、短语、句子、段落到篇章的形式。

7.根据权利要求4所述的模型评测方法,其特征在于,所述提取所述待评测的大模型的每一层级的注意力模式包括:

8.一种模型评测装置,其特征在于,所述装置包括:

9.一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;其特征在于,

10.一种可读存储介质,用于存储程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法中的步骤。


技术总结
本发明实施例提供一种模型评测方法、装置及设备。所述方法包括:获取目标测评数据集以及待评测的大模型;根据所述目标测评数据集对所述待评测的大模型的层级进行评测,得到所述待评测的大模型的目标能力;所述目标能力包括以下至少一项:知识记忆和知识理解能力,语义抽象能力。本发明实施例能够对大模型的知识记忆和知识理解能力以及语义抽象能力进行评测,从而实现对大模型综合能力进行完整、全面的评价。

技术研发人员:于皓,张杰,车成富
受保护的技术使用者:北京中关村科金技术有限公司
技术研发日:
技术公布日:2024/3/27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1