一种基于遗忘曲线的自适应能力测试系统的制作方法
【技术领域】
[0001] 本发明涉及一种基于遗忘曲线的自适应能力测试系统，定义题目簇对题库进行分 类来减少出题的冗余度，并根据用户的题目簇遗忘曲线来量化用户对题目簇的记忆程度， 有效地改善题目簇的曝光率不均问题，属于人工智能和教育学测试评估技术领域。
[0002]
【背景技术】
[0003]自适应能力测试是教育评价中一种广泛采用的方法，在教育测量理论的发展过 程中，常见的自适应测试理论有项目反应理论（ItemResponseTheory，IRT)、决策理论 (DecisionTheory，DT)、序贯概率比检验（SequentialProbabilityRatioTest，SPRT)模 型、知识空间理论（Knowledgespacetheory，KST)等。下面从基本假设、测试目的、复杂程 度、测试精度和应用领域等几个方面对这些理论进行对比分析，结果如表1所示。
[0004] 表1自适应测试理论对比分析
项目反应理论是自适应测试中广泛应用的理论，它基于强假设、对被试的能力水平估 计精确度高、应用领域也更加广泛。该理论假设潜在特质的存在，并认为某一潜在特质都是 一维的，最终的目的是确定被试在一维的能力维度上的位置。在教育测量理论的发展过程 中，以项目反应理论为基础的自适应测试系统逐渐得到广大教育工作者的认可，并相继提 出了多个基于项目反应理论的项目反映模型。目前，基于项目反应理论的自适应测试系统 已广泛应用于心理学、教育、医疗、认证等领域。
[0005] 虽然现有的自适应测试方法能够进行基本的能力测试操作，但学者Wainer对GRE 的题库中题目的使用情况进行了研究，结果发现测试中经常使用的50%的项目只占题库中 题目总数的12%。这说明，实施能力测试过程中存在题目曝光不均以及冗余度高等问题。针 对项目曝光率和题库使用率等问题，我们可以从题库设计的角度出发提出了解决办法，如 定义题目簇降低冗余度、利用遗忘曲线改善题目簇的曝光率不均、概率方法等。 在传统的题目生成领域，题目的特征分为主要知识点（radicals)和次要知识点 (incidentals)两种属性，同时将题目的主要知识点属性相同的所有题目的集合定义为一 个题目簇。
[0006] 根据认知心理学的研究成果，人类做题时的遗忘规律符合艾宾浩斯规律，即遗忘 速度是先快后慢。由于每个人的记忆能力各不相同，每个题目簇的记忆难度也千差万别，所 以通过设置遗忘临界点抑制高记忆量的题目簇，降低该题目簇的曝光率，来实现题目簇曝 光率的均匀分布。
[0007] 概率方法中最有名是由Sympson和Hetter提出的控制曝光率的条件概率法(简 称S-Η法)，该方法是基于条件概率来限制对题目被管理的最大频率，但并不是每个被选中 的项目对于被试来说都具有相同的被管理概率，需要使用项目曝光控制参数对项目进行控 制。对于频繁选择的项目，可以设置项目曝光参数为一个预先制定的最大曝光率。这种概 率方法可以有效地控制一个项目的最大曝光率，S-Η方法及其改进方法都是通过抑制那些 可能过度曝光的项目来实现的曝光控制的。
[0008] 现阶段的解决曝光率和使用率的方法都存在一些限制，如：1)没有被选择的项目 不会被管理；2)当题库改变或者目标被试的能力分布改变时，曝光控制参数不得不通过大 量的模拟进行更新。因此，为了很好地控制题目的曝光率和使用率，需要合并题目簇和遗忘 曲线对现有的方法来进行优化。
【发明内容】
[0009] 本发明所要解决的技术问题是：现有的自适应能力测试系统大都是基于项目反应 理论（ItemResponseTheory，IRT)来检测用户的真实能力水平，这种系统不能有效剔除 高度相似的题目以及刚做过的题目，从而导致出题的冗余度太高和测试长度太长。为解决
【背景技术】中存在的问题，本发明提出一种基于遗忘曲线的自适应能力测试系统，通过定义 题目簇将题库中高度相似的题目划分为一个题目簇，并利用遗忘曲线量化用户对题目簇的 记忆程度，设置遗忘临界点来降低高记忆量的题目簇的曝光率，从而选出信息量最大的前 靈个达到用户遗忘临界点的题目簇即最适合用户能力水平的题目簇。
[0010] 本发明所述的自适应测试系统包括题库分类模块、能力测试模块、统计分析模块 和反馈执行模块，其中能力测试模块由用户指令组件、记忆指令组件和测试指令组件三部 分组成，如图1所示。本发明的技术方案具体包括以下步骤，如图2所示： 1. 题库设置及分类。假设题库中所有题目的猜测度和区分度都一样，并按照题目中知 识点所在单元设置难度系数。利用本系统的题库分类模块从题库中提取每个题目的知识点 和相关的题目特征参量，将题库中主要知识点完全相同的题目划分为一个题目，重新对题 库进行分类，避免在测试过程中高度相似的题目重复出现； 2. 设置用户能力测试的考评规则。首先由能力测试模块的用户指令组件通过用户信 息获取用户的初始能力值，然后由能力测试模块的测试长度组件规定本轮测试的测试题目 长度，最后结合步骤1的题目簇的题目特征和能力测试模块的记忆模块计算出每个题目簇 的信息量和记忆量，从题库中选出信息量最大的前_个记忆量达到遗忘临界点的题目簇， 分别从这觀个题目簇中随机各选一题共麗个题目作为一轮进行测试； 3. 统计及分析用户整个测试过程中答题对错记录。由统计分析模块获取用户实际测 试的答题对错记录，计算该用户测试过程中的信息量是否满足测试停止条件，若不满足，则 返回步骤2的能力测试模块继续测试，若满足则进入步骤4 ; 4. 反馈用户能力的真实能力水平。当用户测试的信息量满足测试停止条件时，则停止 测试，并由反馈执行模块反馈出该用户的真实能力水平。
[0011] 本发明定义题目簇和遗忘曲线等辅助教学工具，解决了现有的自适应能力测试系 统不能剔除知识点相同的题目以及刚做过的题目的问题，具有较高的智能化和较少的冗余 度，在很大程度上缩短了传统自适应测试方法的测试长度。本发明涉及的自适应能力测试 系统不仅可以测试出用户的真实能力水平，还可以通过用户对题目簇的记忆曲线，为研究 智能学习方法提供一种有效的分析工具。
【附图说明】
[0012] 图1是本发明的结构框图 图2是本发明的自适应测试流程图。
【主权项】
1. 一种基于遗忘曲线的自适应测试系统，包括题库分类模块、能力测试模块、统计分析 模块W及反馈执行模块。其中题库分类模块从题库中提取每个题目的知识点和相关的题 目特征参量，将相似题目归为同一个题目簇；再由能力测试模炔基于遗忘曲线从题库中抽 取最适合用户能力水平的题目进行测试；由统计分析模块统计出用户测试的答题对错数目 后，由反馈执行模块更新修正出该用户的能力水平估计值；之后能力测试模块根据更新后 的用户能力水平值基于遗忘曲线重新抽取题目给用户测试，由此反复进行而形成一个基于 遗忘曲线根据用户能力水平变化而自适应出题的测试系统。2. 根据权利要求1所述的一种基于遗忘曲线的自适应测试系统，其特征在于：题库分 类模块将比题目最难知识点的难度系数小于等于3的所有知识点定义为题目的主要知识 点，按照题目的知识点将题库中主要知识点完全相同的题目划分为一个题目簇，用W避免 题库中相同知识点的题目重复出现。3. 根据权利要求1所述的一种基于遗忘曲线的自适应测试系统，其特征在于：能力测 试模块包括有用户指定组件，在该组件中，用W初始化该用户的能力值。4. 根据权利要求1所述的一种基于遗忘曲线的自适应测试系统，其特征在于：能力测 试模块包括有测试长度指定组件，在该组件中，用W设定特定长度的题目试卷。5. 根据权利要求1所述的一种基于遗忘曲线的自适应测试系统，其特征在于：能力测 试模块包括有记忆指定组件，在该组件中，用W设定用户对该题目簇的最佳复习时间；根据 用户能力值W及每个题目簇的题目特征，建立如下的记忆衰减模型：其中N为题目簇中主要知识点的个数，0为用户能力值，h为时间控制因子，b。是主要 知识点n的难度系数，ai是题目簇的区分度。6. 根据权利要求1所述的一种基于遗忘曲线的自适应测试系统，其特征在于：统计分 析模块根据用户实际测试的答题对错记录计算每次测试的信息量，通过测试终止条件来判 断该测试是否终止；模块中所使用的测试终止条件为：其中，L为测试的次数，li(0)为第i次测试的信息量，e-般取0.05或者0.01。7. 根据权利要求1所述的一种基于遗忘曲线的自适应测试系统，其特征在于：反馈执 行模块通过用户实际测试的答题对错记录，利用IRT能力迭代模型计算出该用户的真实能 力水平；IRT能力迭代模型采用函数其中HI为第n次测试前的能力值，III为第n次测试后更新的能力值，L为每轮测试的 题目长度，U，是用户测试过程中答题对错记录。
【专利摘要】本发明涉及一种基于遗忘曲线的自适应能力测试系统，属于人工智能和教育学测试评估技术领域。该系统包括题库分类模块、能力测试模块、统计分析模块以及反馈执行模块。该方法包括以下四个步骤：1）题库的建立和分类；2）设置用户能力测试的考评规则；3）统计及分析用户测试过程中答题对错记录；4）反馈用户的真实能力水平。本发明是一种高度智能化的能力测试系统，并定义了题目簇（family）用于对题库中的题目进行分类，减少出题的冗余度，能准确地测试出用户的真实能力水平。本发明涉及的自适应能力测试系统不仅可以测试出用户的真实能力水平，还可以通过用户对题目簇的记忆曲线，为研究智能学习方法提供一种有效的分析工具。
【IPC分类】G06F19/00
【公开号】CN105373703
【申请号】CN201510872724
【发明人】戴翰波, 吴卉
【申请人】武汉慧人信息科技有限公司
【公开日】2016年3月2日
【申请日】2015年12月2日