一种基于irt的自适应在线测评系统及其方法
【专利摘要】本发明公开了一种基于IRT的自适应在线测评系统，该在线测评系统包括：测评题库组建模块、在线测试模块和统计分析模块；测评题库组建模块用于收集试题信息建立测评题库，根据不同的筛选规则从测评题库中输出测试试卷；在线测试模块用于根据测试试卷进行包含基于IRT自适应在线测试在内的多种测试，并自动生成测试数据，该基于IRT自适应在线测试为基于两级记分模型进行的动态自适应在线测试；统计分析模块用于根据测试数据及预置的评分标准自动统计结果并生成评价报告。本发明还公开了一种基于IRT的自适应在线测评方法。
【专利说明】一种基于IRT的自适应在线测评系统及其方法
【技术领域】
[0001]本发明涉及在线测评技术，特别涉及一种基于IRT的自适应在线测评系统及其方法。
【背景技术】
[0002]传统的纸笔测评已经不能满足教学测评的需求，不能正确的反应学生们的知识掌握和认知情况。随着项目反应理论(IRT)的发展，基于IRT的计算机自适应测评技术越来越受到关注和推崇，尤其是计算机和网络技术的成熟发展，为基于IRT的计算机自适应测评提供了发展的基础条件，更加推动了基于IRT的计算机自适应测评在教育领域的发展。
[0003]传统的测评技术是由专家将标准的测试试题根据测量群体对像估算难易度，将试题组合成预估的区分度试卷来给测量对像进行测量，根据测量结果来判别该试卷针对测量群体的测量信度。如果信度不可靠，则不能对测量结果进行评价，因为评价毫无意义。如果是可靠的信度范围内，专家评价才有指导意义。为了解决传统的测评技术与人为预估测量基础的误差，提高测量数据的精准程度，所以在这里引进了基于IRT理论与计算机相结合应用的自适应测评技术。
[0004]与CTT理论和GT理论相比，IRT具有以下优点:
[0005]首先介绍下IRT (Item Response Theory, IRT)理论与其它理论相比具有哪些优
点.[0006]第一，项目反应理论深入测验的微观领域，将被试特质水平与被试在项目上的行为关联起来并将其参数化，模型化，是通过统计调整控制误差的最好方法。若模型成立并且项目参数均已知，则模型在测验中为项目性质调整数据，可生成独立于测验项目性质的特质水平测量，这是项目反应理论建立项目反应模型的最大优点。也就是通常所说的被试能力估计不依赖于测验项目的特殊选择。
[0007]第二，IRT模型项目参数的估计独立于被试样本。项目特征曲线是被试作答正确的概率对其潜在特质水平的回归。而回归曲线并不依赖于回归变量本身的次数分布。对于项目反应函数来说，已知特质水平面为Θ O的被试在项目上正确作答的概率仅仅依赖于其值Θ0，并不依赖于具有Θ O水平的人数有多少，也不依赖于其它Θ取值上的人次数。所以，在求取项目特征曲线的各种参数时，由于回归线的形状、位置都不依赖于被试的分布，所以它的参数，包括难度、区分度和猜测参数也都是不变的。
[0008]第三，IRT是能力参数与项目难度参数的配套性，亦即项目难度参数与能力参数是定义在同一个量表上的。这样，对一个能力参数已知的被试，配给一个项目参数已知的试题，我们可以立刻通过模型预测被试正确作答的概率。如果估出被试的能力，我们可以在题库中选出难度与其能力相当的项目进行新一轮的测试，使得能力估计更为精确。这一特点为自适应测评奠定了基础。
[0009]第四，IRT是通过模型测得的被试能力水平，可以精确估计其测量误差。这一优良特性得益于伯恩鲍姆的工作。他把费嘯的描写测验信息结构的测度引进了项目反应模型。他提出的在项目反应模型下，能力参数未定的被试在η个测验项目上的信息测度公式由后文给出。
[0010]IRT理论与计算机应用结合测评技术介绍:
[0011]测试(measurement and test)是测量与试验的概括,是人们借助于一定的装置，获取被测对象有相关信息的过程。测试包含两方面的含义:一是测量，指的是使用测试装置通过实验来获取被测量的量值；二是试验，指的是在获取测量值的基础上，借助于人、计算机或一些数据分析与处理系统，从被测量中提取被测量对象的有关信息。测试分为动态测试和静态测试。如果被测量不随时间变化，称这样的量为静态量，相应的测试成为静态测试，反之为动态测试。
[0012]测评是把测试的结果予以客观的评价，用客观统一的标准述语评价从而站在实事求是的测试数据基础上客观科学的评述，并给出健康且有建设性的建议作为参考，进而有方向的改善测试对象。
[0013]当前，测量理论分经典测量理论、概化理论和项目反应理论三大类，或称三种理论模型。
[0014]真分数理论是最早实现数学形式化的测量理论。它从十九世纪末开始兴起，二十世纪30年代形成比较完整的体系而渐趋成熟。50年代格里克森的著作使其具有完备的数学理论形式，而1968年洛德和诺维克的《心理测验分数的统计理论》一书，将经典真分数理论发展至颠峰状态，并实现了向现代测量理论的转换。所谓真分数是指被测者在所测特质(如能力、知识、个性等)上的真实值，即(True Score)真分数。而我们通过一定测量工具(如测验量表和测量仪器)进行测量，在测量工具上直接获得的值(读数)，叫观测值或观察分数。由于有测量误差存在，所以，观察值并不等于所测特质的真实值，换句话说，观察分数中包含有真分数和误差分数。
[0015]凡测量都有误差，误差可能来自测量工具的不标准或不适合所测量的对象，也可能来自工具的使用者没有掌握要领，也可能是测量条件和环境所造成，也可能是测量对象不合作所引起。总之产生测量误差的原因是多种多样的，而CTT理论仅以一个E就概括了所有的误差，并不能指明哪种误差或在总误差中各种误差的相对大小如何。这样对于测量工具和程序的改革没有明确的指导意义，只能根据主试自己的理解去控制一些因素，针对性并不强。鉴于此种情况，二十世纪六十至七十年代初，克伦巴赫(Cronbach)等人提出了概化理论(Generalizability Theory)简称 GT 理论。
[0016]GT在研究测量误差方面有更大的优越性，它能针对不同测量情境估计测量误差的多种来源，为改善测验，提高测量质量有用的信息。其缺陷是统计计算相当繁杂，如果借助一些统计分析软件可以解决这一问题。GT理论目前在我国还处于实验研究阶段，在面试、考核等主观性测评中有一些应用。
[0017]无论是CTT还是GT，其测验内容的选择、项目参数的获得和常模的制定，都是通过抽取一定的样本(行为样本或被试样本)，因此可以说二者都建立在随机抽样理论基础之上。它们的局限性主要表现在以下四个方面:
[0018]I)测量结果的应用范围有限。一般来说，对测量误差的控制有三种方法:配对或标准化、随机化、统计调整。配对或标准化技术的应用使得误差变量的影响不能解释测量结果的差异，随机化技术的应用可使误差变量的影响不能在测量结果上形成系统误差。统计调整技术建立在数学模型基础上，将误差变量的影响参数化，从而在测量中调整参数估计值，减少误差变量的影响。经典测验理论主要应用的是配对或标准化技术和随机化技术。然而，使用配对或标准技术的测量结果仅仅能在相同的测量条件下成立，却不能将其拓展到非标准化的环境之中去，使得测量的应用受到很大的限制。
[0019]2)测量分数依赖于具体的测验(内容)。经典测量理论控制误差应用标准化技术，但其标准化的对象是测验的各种外部变量，对测验的内部变量即测验的项目的“性质”这一变量却没有也不可能实现标准化。这就造成了测验分数对具体测验的依赖性，迫使经典测验理论要么使用统一的试卷，要么使用实际上并不平行的所谓“平行试卷”。这种处理方法，即给实际操作带来困难，也给结果的解释带来较大的误差。
[0020]3)测量参数依赖于被试样本。经典测量理论构造了一个完整的理论体系，同时设计了一套参数指标来刻划测量各方面的特性。如测验的信度、效度、项目的难度、区分度等。但是这些参数的估计对样本的依赖性是很大的。测验的信度和效度采用相关分析法，同样受到样本的影响。为避免抽样误差对参数估计的影响，经典测量理论特别强调样本对总体的代表性。但经典理论所应用的是随机抽样，随机抽样总是偏差存在。何况在实际工作中，由于客观条件的限制，还不能做到随机抽样。因此，参数估计值对样本的依赖性使得所估参数对测验的分析的价值是有限的。
[0021]4)信度估计的精确性不高。测量的重要目标就是降低测量误差，提高测量的精度。在经典测量理论中，信度被定义为真分数的变异在总变异(观测分数)中所占的比例。然而，真分数的方差是 无法求取的，误差的方差也无法计算。为了估计信度，CTT就提出了平行测验的概念，并在此基础上推演出了若干个信度估计公式。但是严格的平行测验是不存在的，等价测验也很难获得的，在此基础上估计的测验信度很难达到比较高的精确程度。另外，经典测量理论中的信度估计值也是一个笼统值，即假定对不同能力水平的被试来说，测量的误差是相同的。而事实是，一份测验只有在施测于能力水平与测验难度相当的被试时容易获得比较高的测量精确度。当测验施测于能力水平高于(或低于)测验难度的被试时就容易产生较大的测量误差。而且测量误差值会随着被试水平与测验难度距离的增加而变大。
[0022]现有的传统测评技术一般是基于CTT或GT来进行测试，然后以测试结果进行评价。既然是基于CTT或GT，那就会有CTT或GT存在的缺点。
[0023]任何一种理论都不可能是完美无缺的，作为测量初期发展起来的理论更是不可避免地存在着一些缺陷。项目反应理论则是在反对和克服传统测量理论的不足之中发展起来的一种现代测量理论。
[0024]传统的测评技术基于上述的局限性，所以测试出来的结果会存在误差。而本技术(基于IRT的自适应在线测评技术)则是基于最新兴起的IRT理论加现有的计算机与网络应用相结合的技术弥补在传统测评技术上的不足，提高了在测试结果上的精确度，科学、标准、精确的依椐最接近真实的并且最小的误差测试对结果进行评价，得到我们最优的评述?艮告。
【发明内容】
[0025]本发明所要解决的技术问题在于提供一种基于IRT的自适应在线测评系统及其方法，以克服现有技术中的在线测评系统存在的依赖性高，精度低的问题。[0026]为达上述目的，本发明提供了一种基于IRT的自适应在线测评系统，其特征在于，所述在线测评系统包括:
[0027]测评题库组建模块:用于收集试题信息建立测评题库，根据不同的筛选规则从所述测评题库中输出测试试卷；
[0028]在线测试模块:用于根据所述测试试卷进行包含基于IRT自适应在线测试在内的多种测试，并自动生成测试数据，所述基于IRT自适应在线测试为基于两级记分模型进行的动态自适应在线测试；
[0029]统计分析模块:根据所述测试数据及预置的评分标准，自动统计结果，生成评价报
生口 ο
[0030]上述基于IRT的自适应在线测评系统，所述两级记分模型包括:单参数Logistic模型和两参数Logistic模型。
[0031]上述基于IRT的自适应在线测评系统，其特征在于，所述在线测试模块还包括:
[0032]IRT自适应在线测试模块:用于根据预置的试卷参数动态的根据当前个人能力值，在线动态抽取试题进行测试；
[0033]上述IRT自适应在线测试模块还包括:
[0034]初始化模块:用于进行考生的初始化设置，形成电子试题；
[0035]当前个人能力值估计模块:根据考生初步测试完成预定答题数量的情况，采用EAP (Effect Assessment Put in practice:实施效果评估)方法评估当前个人能力值；
[0036]精确估计模块:以所述当前个人能力值作为起点值，每完成一道试题进行一次所述两级记分模型方法精确评估当前个人能力值，根据所述当前个人能力值，动态选取下一道测试试题，当所述当前个人能力值发生收敛时，以当前个人能力值作为当前自适应测试的个人能力值；
[0037]分数显示模块:将所述当前自适应测试个人能力值转换为标准的个人能力分，提
供给考试。
[0038]上述基于IRT的自适应在线测评系统，其特征在于，所述测评题库模块还包括:
[0039]试题信息收集模块:用于对试题信息进行管理，建立所述测评题库；
[0040]子题库管理模块:用于将所述测评题库划分为相互关联的多个子题库，试题通过审核后进入不同的子题库，生成测试试卷，所述子题库包括:新题题库、优良题库、模拟题库、作业题库和锚题题库；
[0041]筛选试卷模块:根据所述不同的筛选规则生成最终面向测试对象的测试试卷，所述筛选规则包括:测试专家预置规则、是否等值评比分析和是否手动组卷；
[0042]所述子题库管理模块还包括:
[0043]作业题库模块:用于将任课教师所出的试题，存入所述作业题库；
[0044]新题题库模块:用于将命题专家所出的试题，存入所述新题题库；
[0045]模拟题库模块:用于将所述新题题库和所述作业题库中的试题经过挑选审核后进入所述模拟题库；
[0046]优良题库模块:用于将所述模拟题库中的试题经过多次模拟测试后，根据考生答题情况生成统计信息，选择所述模拟题库中的考题进入所述优良题库；
[0047]锚题题库模块:用于命题专家从所述优良题库中选取优秀级别的试题进入所述锚题题库。
[0048]上述基于IRT的自适应在线测评系统，所述在线测试模块还包括:
[0049]考务管理模块:用于根据收集导入的考生信息创建测试信息，并根据所述测试信息将测试与测试试卷关联，并进行考生考务管理和监考管理；
[0050]在线测试与练习模块:用于根据所述作业题库进行课后练习、根据所述模拟题库进行模拟测试和根据预先设置的固定考卷进行的传统在线测试；
[0051]考生答题结果评阅模块:用于对考试的答题结果进行自动评分或根据预先设置的评分标准进行人工评分，得出最终标准得分；
[0052]基础数据管理模块:用于管理和维护多种基础数据信息；
[0053]成绩与积分管理模块:用于管理测试成绩相关数据；
[0054]问卷调查模块:用于对考生进行影响学习因素的调查。
[0055]上述基于IRT的自适应在线测评系统，所述统计分析模块还包括:
[0056]教研分析模块:用于进行教研信息分析，并生成教研分析报告；
[0057]教学分析模块:用于进行教学信息分析，并生成教学分析报告；
[0058]学业分析模块:用于进行学业信息分析，并生成学业分析报告。
[0059]本发明还一种基于IRT的自适应在线测评方法，采用如所述基于IRT自适应在线测评系统，所述在线测评方法包括:
[0060]测评题库建立步骤:用于收集试题信息建立测评题库，根据不同的筛选规则从所述测评题库中输出测试试卷；
[0061]在线测试步骤:用于根据所述测试试卷进行包含基于IRT自适应在线测试在内的多种测试，并自动生成测试数据，所述基于IRT自适应在线测试为基于两级记分模型进行的动态自适应在线测试；
[0062]统计分析步骤:根据所述测试数据及预置的评分标准，自动统计结果，生成评价报
生口 ο
[0063]上述基于IRT的自适应在线测评方法，其特征在于，所述在线测试步骤还包括:
[0064]IRT自适应在线测试步骤:用于根据预置的试卷参数动态的根据当前个人能力值，在线动态抽取试题进行测试。
[0065]考务管理步骤:用于根据收集导入的考生信息创建测试信息，并根据所述测试信息将测试与测试试卷关联，并进行考生考务管理和监考管理；
[0066]在线测试与练习步骤:用于根据所述作业题库进行课后练习、根据所述模拟题库进行模拟测试和根据预先设置的固定考卷进行传统在线测试；
[0067]考生答题结果评阅步骤:用于对考试的答题结果进行自动评分或根据预先设置的评分标准进行人工评分，得出最终标准得分；
[0068]基础数据管理步骤:用于管理和维护多种基础数据信息；
[0069]成绩与积分管理步骤:用于管理测试成绩数据；
[0070]问卷调查步骤:用于对考生进行影响学习因素的调查；所述IRT自适应在线测试步骤还包括:
[0071]初始化步骤:用于进行考生的初始化设置，形成电子试题；
[0072]当前个人能力值估计步骤:根据考生初步测试完成预定答题数量的情况，采用EAP方法评估当前个人能力值；
[0073]精确估计步骤:以所述当前个人能力值作为起点值，每完成一道试题进行一次所述两级记分模型方法精确评估当前个人能力值，根据所述当前个人能力值，动态选取下一道测试试题，当所述当前个人能力值发生收敛时，以当前个人能力值作为当前自适应测试的个人能力值；
[0074]分数显示步骤:将所述当前自适应测试个人能力值转换为标准的个人能力分，提
供给考生。
[0075]上述基于IRT的自适应在线测评方法，其特征在于，所述测评题库步骤还包括:
[0076]试题信息收集步骤:用于对试题信息进行管理，建立所述测评题库；
[0077]子题库管理步骤:用于将所述测评题库划分为相互关联的多个子题库，试题并通过审核后进入不同的子题库，生成测试试卷，所述子题库包括:新题题库、优良题库、模拟题库、作业题库和锚题题库；
[0078]筛选试卷步骤:根据所述不同的筛选规则生成最终面向测试对象的测试试卷，所述筛选规则包括:测试专家预置规则、是否等值评比分析和是否手动组卷；
[0079]所述子题库管理步骤还包括:
[0080]作业题库步骤:用于将任课教师所出的试题，存入所述作业题库；
[0081]新题题库步骤:用于将命题专家所出的试题，存入所述新题题库；
[0082]模拟题库步骤:用于将所述新题题库和所述作业题库中的试题经过挑选审核后进入所述模拟题库；
[0083]优良题库步骤:用于将所述模拟题库中的试题经过多次模拟测试后，根据考生答题情况生成统计信息，选择所述模拟题库中的考题进入所述优良题库；
[0084]锚题题库步骤:用于命题专家从所述优良题库中选取优秀级别的试题进入所述锚题题库。
[0085]上述基于IRT的自适应在线测评方法，其特征在于，所述统计分析步骤还包括:
[0086]教研分析步骤:用于进行教研信息分析，并生成教研分析报告；
[0087]教学分析步骤:用于进行教学信息分析，并生成教学分析报告；
[0088]学业分析步骤:用于进行学业信息分析，并生成学业分析报告。
[0089]与现有技术相比，本发明的有益效果在于:
[0090]1、本发明采用基于IRT的测量理论，从而测量的精准度较高，在测试中，本发明使IRT与计算机结合工作充分的利用计算机优势来测试被试者的真实能力水平情况，并给出健康且有建设性的评述。
[0091]2、IRT理论与计算机应用结合测评技术是基于动态测试，而传统的测评技术是基于静态测试；所以本发明的关键是如何将IRT理论与计算机相结合应用，动态的锁定被试者真实能力水平进而自动发现被试者的能力薄弱点，给出正确评价指导被试者学习。
【专利附图】
【附图说明】
[0092]图1为本发明基于IRT的自适应在线测评系统结构示意图；
[0093]图2为本发明一实施例系统结构示意图；
[0094]图3为本发明单参数Logistic模型的项目特征曲线示意图；[0095]图4为本发明典型的两参数Logistic模型的项目特征曲线示意图；
[0096]图5为本发明基于IRT的自适应在线测评系统结构详细示意图；
[0097]图6为本发明试题信息示意图；
[0098]图7为本发明子题库管理模块结构示意图；
[0099]图8为本发明子题库关系不意图；
[0100]图9为本发明IRT自适应在线测试模块结构示意图；
[0101]图10为本发明基于IRT的自适应在线测评方法步骤示意图；
[0102]图11为本发明方法具体实施例步骤流程示意图；
[0103]图12为本发明子题库管理步骤流程示意图；
[0104]图13为本发明基于IRT自适应在线测试步骤流程示意图；
[0105]图14为本发明实施例1RT自适应能力测试步骤流程示意图。
[0106]附图标记说明:
[0107]I测评题库组 建模块2在线测试模块
[0108]3统计分析模块
[0109]11试题信息收集模块12自题库管理模块
[0110]13筛选试卷模块
[0111]21基于IRT自适应在线测试模块 22考务管理模块
[0112]23在线测试与练习模块24考生答题结果评阅模块
[0113]25基础数据管理模块26成绩与积分管理模块
[0114]27问卷调查模块
[0115]31教研分析模块32教学分析模块
[0116]33学业分析模块
[0117]SI ~S3、S11 ~S13、S21 ~S27、S31 ~S33、S100 ~S700、S121 ~S125、S211 ~S214:本发明各实施例的施行步骤
【具体实施方式】
[0118]下面给出本发明的【具体实施方式】，结合图示对本发明做出了详细描述。
[0119]本发明提供的一种基于IRT的自适应在线测评系统，图1为本发明基于IRT的自适应在线测评系统结构示意图，如图1所示，该在线测评系统包括:
[0120]测评题库组建模块1:用于收集试题信息建立测评题库，根据不同的筛选规则从所述测评题库中输出测试试卷；
[0121]在线测试模块2:用于根据所述测试试卷进行包含基于IRT自适应在线测试在内的多种测试，并自动生成测试数据，所述基于IRT自适应在线测试为基于两级记分模型进行的动态自适应在线测试；
[0122]统计分析模块3:根据测试数据及预置的评分标准，自动统计结果，生成评价报
生口 ο
[0123]图2为本发明一实施例系统结构示意图，如图2所示，该系统包括:
[0124]测评题库组建模块I中命题由命题老师(专家)使用，主要提供试题命制功能。供命题老师填写试题描述、试题属性和收集试题素材，根据主观还是客观题类设置评分标准，并为测试准备标准的试卷结构信息。
[0125]在线测试模块2，该模块由考务管理老师收集报考生信息，创建测试信息并将测试与考卷进行关联，接着进行编排考生入考场生成考次。编排监考老师，进入监考，主要提供监考考试功能。其中监考功能供监考老师使用，用于监考及处理考试过程中各种情况。考试功能供考生使用，用于考生实际基于IRT的自适应在线测试及作答，最后产出考生作答数据。
[0126]统计分析模块3，该模块一般由教研员设好统计的条件参数，系统获取考生作答数据及卷面卷题信息根据设好的统计条件参数来进行统计输出报表，根据统计数据分析自动生成一些评价报告输出。
[0127]其中,两级记分模型包括:单参数Logistic模型和两参数Logistic模型。
[0128]单参数Logistic 模型(One-Parameter Logistic Model)
[0129]单参数Logistic模型的数学公式如下所示:
[0130]Pij ( Θ ) = I/ (1+exp (-1.7 ( Θ j-bj)))(公式一)
[0131]其中i=l, 2...m; j = 1，2...Ν,Ρυ( Θ )表示第j个能力为Θ的被试答对试题i或在试题i上正确反应的概率九表示试题难度参数；N是该测验的试题总数；exp代表以底为2.718的指数；且？^( Θ )是一种S形曲线，其值介于O与I之间。图3为本发明单参数Logistic模型的项目特征曲线示意图,如图3所示。
[0132]在项目反应理论中，试题难度的定义是:试题难度参数b的位置正好落在正确反应概率为0.5时能力量尺(ability scale)上的位置点；换言之，当能力和试题难度相等时(即θ-4 = 0)，被试答对某试题的机会是百分之五十。当能力小于试题难度时(即θ-、<0)，被试答对某试题的机会便低于百分之五十；反之，当能力大于试题难度时(即θ-、> 0)，被试答对某试题的机会便高于百分之五十。匕值愈大，被试答对该试题的难度越大，此时，被试要想有百分之五十答对某试题的机会，被试便需要有较高的能力才能办到。愈困难的试题，其项目特征曲线愈是在能力量尺的右方；反之，愈简单的试题，其项目特征曲线愈是在能力量尺的左方。如图3所示，四条项目特征曲线的试题难度参数的位置分别为，其值的大小，分别决定该四条曲线在能力量尺上的相对应位置。因此，试题难度参数有时又叫做位置参数(location parameter)。理论上，b值的大小介于土 00之间,但实际应用上,通常只取±4之间的范围；由图3所示,如前所述，b值愈大表示试题愈困难,b值愈小表示试题愈简单。
[0133]两参数Logistic 模型(two-parameter Logistic model)
[0134]两参数Logistic模型的数学公式如下所示:
[0135]Pij = I/(1+exp (-1.7..( Θ ^bi)))(公式二)
[0136]其中i=l，2…m;j = 1，2...N，各符号的定义与公式(公式一)相同，只是多了一个参数试题区分度(item discrimination)参数ai;它的涵义与经典测量理论中的涵义相似，用来描述试题i所具有鉴别力大小的特性。图4为本发明典型的两参数Logistic模型的项目特征曲线示意图，如图4 所示。
[0137]试题区分度参数a的值，刚好与在b点的项目特征曲线的斜率(slope)。项目特征曲线愈陡的试题比曲线稍平滑的试题，具有较大的区分度参数值。换句话说，区分度愈大的试题，其区别出不同能力水平被试的功能愈好，即分辨的效果愈好。事实上，该试题能否有效区别出以能力水平为Θ的上下两组(即高于Θ和小于等于Θ)被试的差异，是与对应于Θ量尺的项目特征曲线的斜率成某种比例。
[0138]由图4亦可知，这些曲线的下限值都是零，即两参数Logistic模型并不把被试的猜题因素考虑在内，这点假设与单参数Logistic模型相同。
[0139]当项目参数已知，只需估计被试能力，属于能力条件估计。这时根据每个被试作答反应现象一一估计被试的能力估计值，其似然方程为:
[0140]两边取对数为:
【权利要求】
1.一种基于IRT的能力自适应在线测评系统，其特征在于，所述在线测评系统包括: 测评题库组建模块:用于收集试题信息建立测评题库，根据不同的筛选规则从所述测评题库中输出测试试卷； 在线测试模块:用于根据所述测试试卷进行包含基于IRT自适应在线测试在内的多种测试，并自动生成测试数据，所述基于IRT自适应在线测试为基于两级记分模型进行的动态自适应在线测试； 统计分析模块:根据所述测试数据及预置的评分标准，自动统计结果，生成评价报告。
2.根据权利要求1所述 基于IRT的能力自适应在线测评系统，其特征在于，所述两级记分模型包括:单参数Logistic模型和两参数Logistic模型结合现代计算机运算能力形成程序提供应用。
3.根据权利要求1所述基于IRT的自适应在线测评系统，其特征在于，所述在线测试模块还包括: IRT自适应在线测试模块:用于根据预置的试卷参数动态的根据当前个人能力值，在线动态抽取试题进行测试； 所述IRT自适应在线测试模块还包括: 初始化模块:用于进行考生的初始化设置，形成电子试题； 当前个人能力值估计模块:根据考生初步测试完成预定答题数量的情况，采用EAP方法评估当前个人能力值； 精确估计模块:以所述当前个人能力值作为起点值，每完成一道试题进行一次所述两级记分模型方法精确评估当前个人能力值，根据所述当前个人能力值，动态选取下一道测试试题，当所述当前个人能力值发生收敛时，以当前个人能力值作为当前自适应测试的个人能力值； 分数显示模块:将所述当前自适应测试个人能力值转换为标准的个人能力分，提供给考试。
4.根据权利要求1所述基于IRT的自适应在线测评系统，其特征在于，所述测评题库组建模块还包括: 试题信息收集模块:用于对试题信息进行管理，组建所述测评题库； 子题库管理模块:用于将所述测评题库划分为相互关联的多个子题库，试题通过审核后进入不同的子题库，生成测试试卷，所述子题库包括:新题题库、优良题库、模拟题库、作业题库和锚题题库； 筛选试卷模块:根据所述不同的筛选规则生成最终面向测试对象的测试试卷，所述筛选规则包括:测试专家预置规则、是否等值评比分析和是否手动组卷； 所述子题库管理模块还包括: 作业题库模块:用于将任课教师所出的试题，存入所述作业题库； 新题题库模块:用于将命题专家所出的试题，存入所述新题题库； 模拟题库模块:用于将所述新题题库和所述作业题库中的试题经过挑选审核后进入所述模拟题库； 优良题库模块:用于将所述模拟题库中的试题经过多次模拟测试后，根据考生答题情况生成统计信息，选择所述模拟题库中的考题进入所述优良题库；锚题题库模块:用于命题专家从所述优良题库中选取优秀级别的试题进入所述锚题题库。
5.根据权利要求1所述基于IRT的自适应在线测评系统，其特征在于，所述在线测试模块还包括: 考务管理模块:用于根据收集导入的考生信息创建测试信息，并根据所述测试信息将测试与测试试卷关联，并进行考生考务管理和监考管理； 在线测试与练习模块:用于根据所述作业题库进行课后练习、根据所述模拟题库进行模拟测试和根据预先设置的固定考卷进行的传统在线测试； 考生答题结果评阅模块:用于对考试的答题结果进行自动评分或根据预先设置的评分标准进行人工评分，得出最终标准得分； 基础数据管理模块:用于管理和维护多种基础数据信息； 成绩与积分管理模块:用于管理测试成绩相关数据； 问卷调查模块:用于对考生进行影响学习因素的调查。
6.根据权利要求1所述基于IRT的自适应在线测评系统，其特征在于，所述统计分析模块还包括: 教研分析模块:用于进 行教研信息分析，并生成教研分析报告； 教学分析模块:用于进行教学信息分析，并生成教学分析报告； 学业分析模块:用于进行学业信息分析，并生成学业分析报告。
7.一种基于IRT的自适应在线测评方法,米用如权利要求1-6中任一项所述基于IRT自适应在线测评系统，其特征在于，所述在线测评方法包括: 测评题库组建步骤:用于收集试题信息建立测评题库，根据不同的筛选规则从所述测评题库中输出测试试卷； 在线测试步骤:用于根据所述测试试卷进行包含基于IRT自适应在线测试在内的多种测试，并自动生成测试数据，所述基于IRT自适应在线测试为基于两级记分模型进行的动态自适应在线测试； 统计分析步骤:根据所述测试数据及预置的评分标准，自动统计结果，生成评价报告。
8.根据权利要求7所述基于IRT的自适应在线测评方法，其特征在于，所述在线测试步骤还包括: IRT自适应在线测试步骤:用于根据预置的试卷参数动态的根据当前个人能力值，在线动态抽取试题进行测试。 考务管理步骤:用于根据收集导入的考生信息创建测试信息，并根据所述测试信息将测试与测试试卷关联，并进行考生考务管理和监考管理； 在线测试与练习步骤:用于根据所述作业题库进行课后练习、根据所述模拟题库进行模拟测试和根据预先设置的固定考卷进行传统在线测试； 考生答题结果评阅步骤:用于对考试的答题结果进行自动评分或根据预先设置的评分标准进行人工评分，得出最终标准得分； 基础数据管理步骤:用于管理和维护多种基础数据信息； 成绩与积分管理步骤:用于管理测试成绩数据； 问卷调查步骤:用于对考生进行影响学习因素的调查；所述IRT自适应在线测试步骤还包括: 初始化步骤:用于进行考生的初始化设置，形成电子试题； 当前个人能力值估计步骤:根据考生初步测试完成预定答题数量的情况，采用EAP方法评估当前个人能力值； 精确估计步骤:以所述当前个人能力值作为起点值，每完成一道试题进行一次所述两级记分模型方法精确评估当前个人能力值，根据所述当前个人能力值，动态选取下一道测试试题，当所述当前个人能力值发生收敛时，以当前个人能力值作为当前自适应测试的个人能力值； 分数显示步骤:将所述当前自适应测试个人能力值转换为标准的个人能力分，提供给考生。
9.根据权利要求7所述基于IRT的自适应在线测评方法，其特征在于，所述测试题库组建步骤还包括: 试题信息收集步骤:用于对试题信息进行管理，建立所述测评题库； 子题库管理步骤:用于将所述测评题库划分为相互关联的多个子题库，试题并通过审核后进入不同的子题库，生成测试试卷，所述子题库包括:新题题库、优良题库、模拟题库、作业题库和锚题题库； 筛选试卷步骤:根据所述不同的筛选规则生成最终面向测试对象的测试试卷，所述筛选规则包括:测试专家预置规则、是否等值评比分析和是否手动组卷； 所述子题库管理步骤还包括: 作业题库步骤:用于将任课教师所出的试题，存入所述作业题库； 新题题库步骤:用于将命题专家所出的试题，存入所述新题题库； 模拟题库步骤:用于将所述新题题库和所述作业题库中的试题经过挑选审核后进入所述模拟题库； 优良题库步骤:用于将所述模拟题库中的试题经过多次模拟测试后，根据考生答题情况生成统计信息，选择所述模拟题库中的考题进入所述优良题库； 锚题题库步骤:用于命题专家从所述优良题库中选取优秀级别的试题进入所述锚题题库。
10.根据权利要求7所述基于IRT的自适应在线测评方法，其特征在于，所述统计分析步骤进一步包括: 教研分析步骤:用于进行教研信息分析，并生成教研分析报告； 教学分析步骤:用于进行教学信息分析，并生成教学分析报告； 学业分析步骤:用于进行学业信息分析，并生成学业分析报告。
【文档编号】G09B7/02GK103942993SQ201410099314
【公开日】2014年7月23日 申请日期:2014年3月17日 优先权日:2014年3月17日
【发明者】孔令峥 申请人:深圳市承儒科技有限公司