适用于小样本的非参数认知诊断方法及其设备与流程

本发明涉及教育信息化技术领域，尤其涉及一种适用于小样本的非参数认知诊断方法及其设备。

背景技术：

认知诊断作为新一代心理测验理论，通过把学生的观察反应模式判归到与其理想反应模式所对应的知识状态中，从而了解到每个学生认知结构差异的实质，为教师补偿性教学提供信息。

在目前的认知诊断领域，研究者一般采用计算机编程语言(r、matlab、python等)自行编写程序，通过大样本的数据训练与学习对认知诊断测验数据进行模拟或分析，或辅助使用项目反应理论专业软件进行参数估计得到被试能力值及项目参数。当面临小样本的被测对象时(例如，一个班级的学生)，现有技术使用的方法或参数模型过于复杂，实用性不高，从而降低了对小样本被测进行认知诊断的可能性。

技术实现要素：

本发明实施例提供一种适用于小样本的非参数认知诊断方法及其设备，通过引入非参数认知诊断方法可以简化认知诊断的操作，满足小样本被测的认知诊断要求。

本发明实施例第一方面提供了一种适用于小样本的非参数认知诊断方法，可包括：

获取被试关于当前测验的作答数据、题目属性关联矩阵q、可观测反应模式orp和理想反应模式irp；

对所述作答数据进行诊断分析，生成所述被试的个体诊断信息；

采用非参数认知诊断算法计算所述orp和所述irp之间的曼哈顿距离，根据所述曼哈顿距离对所述被试进行模式归类，所述非参数认知诊断算法为曼哈段距离判别法；

根据所述矩阵q和所述被试的模式归类结果分析所述被试的整体诊断信息；

根据所述个体诊断信息和所述整体诊断信息绘制并输出描述不同诊断信息之间相互关系学习之路。

本发明实施例第二方面提供了一种适用于小样本的非参数认知诊断设备，可包括：

数据获取模块，用于获取被试关于当前测验的作答数据、题目属性关联矩阵q、可观测反应模式orp和理想反应模式irp；

个体信息生成模块，用于对所述作答数据进行诊断分析，生成所述被试的个体诊断信息；

模式归类模块，用于采用非参数认知诊断算法计算所述orp和所述irp之间的曼哈顿距离，根据所述曼哈顿距离对所述被试进行模式归类，所述非参数认知诊断算法为曼哈段距离判别法；

整体信计算模块，用于根据所述矩阵q和所述被试的模式归类结果分析所述被试的整体诊断信息；

学习之路绘制模块，用于根据所述个体诊断信息和所述整体诊断信息绘制并输出描述不同诊断信息之间相互关系学习之路。

在本发明实施例中，通过引入非参数认知诊断方法简化了认知诊断的操作，满足了小样本被测的认知诊断要求，通过绘制描述诊断信息间相互关系的学习之路，丰富了用户交互的可视性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种适用于小样本的非参数认知诊断方法的流程示意图；

图2是本发明实施例提供的认知诊断软件诊断结果架构示意图；

图3是本发明实施例提供的绘制学习之路的效果示意图；

图4是本发明实施例提供的一种适用于小样本的非参数认知诊断设备的结构示意图；

图5是本发明实施例提供的学习之路绘制模块的结构示意图；

图6是本发明实施例提供的另一种适用于小样本的非参数认知诊断设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例涉及的适用于小样本的非参数认知诊断设备(下文中简称为认知诊断设备)可以包括平板电脑、个人计算机(pc)、智能手机、掌上电脑以及移动互联网设备(mid)等终端设备。

下面将结合附图1-附图3，对本发明实施例提供的适用于小样本的非参数认知诊断方法进行详细介绍。

请参见图1，为本发明实施例提供了一种适用于小样本的非参数认知诊断方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤s101-步骤s105。

s101，获取被试关于当前测验的作答数据、题目属性关联矩阵q、可观测反应模式orp和理想反应模式irp。

具体的，认知诊断设备可以获取被试关于当前测验的作答数据、题目属性关联矩阵q、可观测反应模式orp和理想反应模式irp。可以理解的是，所述当前测验可以是用户(例如，老师)上传的试卷，也可以是所述设备从互联网数据块中调取的用于测验的试卷。所述作答数据可以是被试针对当前测验的答案。通常把认知诊断的核心要素项目和属性之间的表达形式成为q矩阵，所述项目可以是所述当前测验所包含的试题，所述属性可以是所述当前测验考察的知识点或者知识类型。所述可观测反应模式(observedresponsepattern，orp)可以是被试在试题上的作答反应模式，所述理想反应模式(idealresponsepattern，irp)可以是被试在试题上的作答的理想反应模式。

s102，对所述作答数据进行诊断分析，生成所述被试的个体诊断信息。

具体的，所述认知诊断设备可以对所述作答数据进行诊断分析，生成所述被试的个体诊断信息。可以理解的是，所述个体诊断信息可以包括被试当前测验的总得分、能力值、属性掌握模式、需补救的属性、补救路径和个人拟合指标中的一个或多个，例如，图2中所示的个体诊断信息。

在可选实施例中，所述认知诊断设备可以采用多级计分层级一致性指标(generalizedhierarchyconsistencyindex，ghci)对所述作答数据进行诊断分析，所述ghci的数学表达式可以是：

其中，是被试i答对项目(非零分)的集合；当项目j上得分xij时，被试i属性掌握模式可能的个数表示为kij，各掌握模式中的第k种模式为pk；g∈sjpk指项目g考核的属性是属性掌握模式pk的子集，子项目包含父项目j本身；sj是项目g满分，xig是被试i在项目g上得多少分，那么xig/sg就是这名被试该项目答对程度；nci指根比较数的总数。

下面将以一个具体的属性收敛型ah的矩阵q为例，作答反应为{1,1,2,2,0}的被试i对所述ghci的计算过程进行介绍：

需要说明的是，被试i在前四个项目上得分不为零，即这四个项目可分为两种情况：

(1)父项目上得满分时。在此例中符合的是项目1、3。在项目1上，只考察了属性a1，其子项目只有项目1自身，比较数为1，反应拟合。在项目3上，考察属性a1、a3，因此该项目满分的被试掌握属性的组合为a1a3，此时存在项目3与1、项目3与3，这2个比较，且均拟合。

(2)父项目上得中间分数。在此例中符合的是项目2、4。首先需要确定子项目，若子项目得满分，计算过程同(1)中所述。项目2考察a1、a2，被试得1分，根据层级关系，被试只可能是掌握a1的情况，故该项目只有项目2与1这1个比较，且拟合；

若子项目的得分不是满分，父项目与子项目的不拟合程度则为子项目得分率之和。项目4考察a1、a2、a3和a4，被试得分为2，根据层级关系可能的属性掌握组合有a1a2或a1a3，概率都是1/kig＝1/2。若被试属性掌握的组合是第一种即a1a2，那么在项目4上存在项目4与1、项目4与2这2个比较。在项目1上得满分，所以不拟合的程度是0。而项目2得1分，得分率1/2故不拟合为1/2，加上概率后比较数为1/kig×2＝1，而在这种情况下不拟合为1/kig×(0+1/2)＝1/4。若被试属性掌握的组合是第二种即a1a3，那么项目4存在2个比较，即项目4与3、项目4与1。由于项目1、3皆为满分，故不拟合为0，加上概率后比较为1/kig×2＝1，在这种情况下不拟合1/kig×(0+0)＝0。综合两种可能的掌握模式，项目4共有2个比较，不拟合程度1/4。

综合被试i在所有项目上的反应，比较数共有6个，不拟合程度为1/4，故

表1

在可选实施例中，ghcii可以作为检测不拟合异常被试的个人拟合指标，用于检测被试作答反应与属性层级的一致性程度。当一被试的ghcii低于预设拟合程度阈值时，所述诊断设备可以将该被试初步确定为异常被试；并可以针对该异常被试的异常属性类型推荐新的测验；再根据该异常被试相对于新的测验的作答数据计算所述异常被试的ghcii；然后对多次计算所得的所述异常被试的ghcii进行归一化处理，根据该处理的结果确定所述异常被试所属的异常类型，将所述异常类型输出给用户(老师)。可以理解的是，所述异常类型可以包括：抄袭类型、猜测类型、创新行为类型等。例如，表1所示的个体诊断信息中，id为28的被试ghcii约为0.47，属于一般的拟合程度；id为29的被试ghcii是0.73，属于较高的拟合程度；id为31的被试ghcii约为-0.33，拟合程度较低。将-0.2作为预设拟合程度阈值，则id为31的被试为异常被试，所述认知诊断设备可以输出针对该异常被试的新的测验，进一步的可以根据上述方法确定该异常被试的异常类型。

在本发明实施例中，根据异常被试的异常属性为用户推荐新的测验，进一步诊断并确定该异常被试的异常类型，提升了用户体验。

s103，采用非参数认知诊断算法计算所述orp和所述irp之间的曼哈顿距离，根据所述曼哈顿距离对所述被试进行模式归类。

具体的，所述认知诊断设备可以采用非参数认知诊断算法计算所述orp和所述irp之间的曼哈顿距离。

优选的，所述非参数认知诊断算法可以是曼哈顿距离距离判别法。需要说明的是，所述认知诊断设备也可以采用其他非参数认知诊断算法。所述曼哈顿距离距离判别法的数学表达式可以是：

在公式中，被试i的orp到第t种irp的曼哈顿距离为md(yi，ηt)，被试的orp为yij，第t种irp为ηt，被试i在项目j的观察反应为yij，第t种irp在项目j的理想反应为

进一步的，所述认知诊断设备可以根据所述曼哈顿距离对所述被试进行模式归类，可以理解的是，所述模式归类可以是将所述被试进行掌握模式的分类。

在可选实施例中，所述认知诊断设备可以获取一被试的最小曼哈顿距离，将该被试归类至与该被试的orp运算后产生所述最小曼哈顿距离的irp所对应的理想掌握模式imp。

在可选实施例中，当存在至少两个irp与该被试的orp具有相同的最小曼哈顿距离时，所述认知诊断设备可以根据项目内变异的大小为所述被试匹配相应的项目权重，所述项目权重为所述被试在每个项目上的得分率，然后基于所述项目权重从新计算所述被试orp与所述irp之间的曼哈顿距离。例如，具体的数学表达式可以是：

其中，为被试在项目j上的得分率，即项目得分占项目总分的比例。

在本发明实施例中，通过采用非参数认知诊断算法可以具备以下优势：(1)能大大缩短运算时间，节省成本。(2)不受样本容量的影响，即使只有1个被试，也可诊断出较准确的结果。(3)适用于多种计分的情景，更符合实践情况。

s104，根据所述矩阵q和所述被试的模式归类结果分析所述被试的整体诊断信息。

具体的，所述认知诊断设备可以根据所述矩阵q和所述被试的模式归类结果分析所述被试的整体诊断信息，可以理解的是，所述整体诊断信息可以包括：当前测验的整体信息、层级一致性指标、属性以及各属性掌握模式的人数和比例中的一个或多个，例如，图2中所示的整体诊断信息。

在可选实施例中，所述整体诊断信息的结果可以以表2和表3的形式展示给用户查看。

表2

表2主要呈现了测验整体ctt计算结果，如测验满分、各项目满分值、各项目的难度与区分度，以及测验的ghci指标值。

表3

表3主要呈现学生整体的属性掌握模式状况。在属性层面，主要是各属性掌握的人数、各属性难度和属性掌握概率；属性掌握模式方面，报告了各属性掌握模式的人数以及占总人数的比例；此外，还列出所有可能的理想掌握模式与理想反应模式，供用户查找使用。

s105，根据所述个体诊断信息和所述整体诊断信息绘制并输出描述不同诊断信息之间相互关系学习之路。

具体的，所述认知诊断设备可以根据所述个体诊断信息和所述整体诊断信息绘制并输出描述不同诊断信息之间相互关系学习之路。

需要说明的是，为了更加全面地考察测验与被试的情况，得到项目反应理论(itemresponsetheory，irt)的能力参数与项目参数，从而绘制出学习之路，需要引入irt参数估计的过程，例如可以采用irt中运用较为广泛的em算法进行参数估计。

在可选实施例中，所述认知诊断设备可以将所述个体诊断信息中的能力值设为学习之路的坐标轴，将各属性掌握模式按照所述被试的能力值依次排列，组成至少两条学习路径。例如，图3所示的绘制好的学习之路，图3右侧的若干个方框表示不同的属性掌握模式。模式后面括号中的两个数字分别表示该模式的编号以及人数。如右下角的模式“10000000(1,33)”表示此模式编号为1，共有33人属于这种模式(这种模式表示只掌握了属性a1)。左侧的坐标轴表示能力值，即右侧的属性掌握模式所对应的人均能力值。各属性掌握模式按实际被试的能力值的高低，自上而下依次排列，组成若干条路径。路径1即愈所述坐标轴平行的路径表示主要路径，在掌握人数与属性掌握模式的普遍性方面为最典型的学习路径，路径2和路径3次之，其余路径为支路。

在本发明实施例中，通过引入非参数认知诊断方法简化了认知诊断的操作，满足了小样本被测的认知诊断要求，通过绘制描述诊断信息间相互关系的学习之路，丰富了用户交互的可视性。

下面将结合附图4和附图5，对本发明实施例提供的一种认知诊断设备进行详细介绍。需要说明的是，附图4和附图5所示的认知诊断设备，用于执行本发明图1-图3所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1-图3所示的实施例。

请参见图4，为本发明实施例提供了一种认知诊断设备的结构示意图。如图4所示，本发明实施例的所述认知诊断设备100可以包括：数据获取模块101、个体信息生成模块102、模式归类模块103、整体信计算模块104、学习之路绘制模块105、权重匹配模块106和距离计算模块107。

数据获取模块101，用于获取被试关于当前测验的作答数据、题目属性关联矩阵q、可观测反应模式orp和理想反应模式irp。

具体实现中，数据获取模块101可以获取被试关于当前测验的作答数据、题目属性关联矩阵q、可观测反应模式orp和理想反应模式irp。可以理解的是，所述当前测验可以是用户(例如，老师)上传的试卷，也可以是所述设备100从互联网数据块中调取的用于测验的试卷。所述作答数据可以是被试针对当前测验的答案。通常把认知诊断的核心要素项目和属性之间的表达形式成为q矩阵，所述项目可以是所述当前测验所包含的试题，所述属性可以是所述当前测验考察的知识点或者知识类型。所述orp可以是被试在试题上的作答反应模式，所述irp可以是被试在试题上的作答的理想反应模式。

个体信息生成模块102，用于对所述作答数据进行诊断分析，生成所述被试的个体诊断信息。

具体实现中，个体信息生成模块102可以对所述作答数据进行诊断分析，生成所述被试的个体诊断信息。可以理解的是，所述个体诊断信息可以包括被试当前测验的总得分、能力值、属性掌握模式、需补救的属性、补救路径和个人拟合指标中的一个或多个，例如，图2中所示的个体诊断信息。

在可选实施例中，所述个体信息生成模块102可以采用多级计分层级一致性指标(generalizedhierarchyconsistencyindex，ghci)对所述作答数据进行诊断分析，具体的实现方式可以参见上述方法实施例中的具体描述，此处不再赘述。

在可选实施例中，ghcii可以作为检测不拟合异常被试的个人拟合指标，用于检测被试作答反应与属性层级的一致性程度。当一被试的ghcii低于预设拟合程度阈值时，所述诊断设备可以将该被试初步确定为异常被试；并可以针对该异常被试的异常属性类型推荐新的测验；再根据该异常被试相对于新的测验的作答数据计算所述异常被试的ghcii；然后对多次计算所得的所述异常被试的ghcii进行归一化处理，根据该处理的结果确定所述异常被试所属的异常类型，将所述异常类型输出给用户(老师)。可以理解的是，所述异常类型可以包括：抄袭类型、猜测类型、创新行为类型等。例如，表1所示的个体诊断信息中，id为28的被试ghcii约为0.47，属于一般的拟合程度；id为29的被试ghcii是0.73，属于较高的拟合程度；id为31的被试ghcii约为-0.33，拟合程度较低。将-0.2作为预设拟合程度阈值，则id为31的被试为异常被试，所述认知诊断设备可以输出针对该异常被试的新的测验，进一步的可以根据上述方法确定该异常被试的异常类型。

模式归类模块103，用于采用非参数认知诊断算法计算所述orp和所述irp之间的曼哈顿距离，根据所述曼哈顿距离对所述被试进行模式归类。

具体实现中，模式归类模块103可以采用非参数认知诊断算法计算所述orp和所述irp之间的曼哈顿距离。

优选的，所述非参数认知诊断算法可以是曼哈顿距离距离判别法。需要说明的是，所述模式归类模块103也可以采用其他非参数认知诊断算法。具体的实现过程可以参见上述方法实施例中的描述此处不再赘述。

进一步的，所述模式归类模块103可以根据所述曼哈顿距离对所述被试进行模式归类，可以理解的是，所述模式归类可以是将所述被试进行掌握模式的分类。

在可选实施例中，所述模式归类模块103可以获取一被试的最小曼哈顿距离，将该被试归类至与该被试的orp运算后产生所述最小曼哈顿距离的irp所对应的理想掌握模式imp。

在可选实施例中，当存在至少两个irp与该被试的orp具有相同的最小曼哈顿距离时，权重匹配模块106可以根据项目内变异的大小为所述被试匹配相应的项目权重，所述项目权重为所述被试在每个项目上的得分率，距离计算模块107可以基于所述项目权重从新计算所述被试orp与所述irp之间的曼哈顿距离。例如，具体的数学表达式可以是：

其中，为被试在项目j上的得分率，即项目得分占项目总分的比例。

在本发明实施例中，通过采用非参数认知诊断算法可以具备以下优势：(1)能大大缩短运算时间，节省成本。(2)不受样本容量的影响，即使只有1个被试，也可诊断出较准确的结果。(3)适用于多种计分的情景，更符合实践情况。

整体信计算模块104，用于根据所述矩阵q和所述被试的模式归类结果计算所述被试的整体诊断信息。

具体实现中，整体信计算模块104可以根据所述矩阵q和所述被试的模式归类结果分析所述被试的整体诊断信息，可以理解的是，所述整体诊断信息可以包括：当前测验的整体信息、层级一致性指标、属性以及各属性掌握模式的人数和比例中的一个或多个，例如，图2中所示的整体诊断信息。

学习之路绘制模块105，用于根据所述个体诊断信息和所述整体诊断信息绘制并输出描述不同诊断信息之间相互关系学习之路。

具体实现中，学习之路绘制模块105可以根据所述个体诊断信息和所述整体诊断信息绘制并输出描述不同诊断信息之间相互关系学习之路。

具体的，请一并参见图5，为本发明实施例提供了学习之路绘制模块的结构示意图。如图5所示，所述学习之路绘制模块105可以包括：

坐标轴设置单元1051，用于将所述能力值设为学习之路的坐标轴。

学习路径绘制单元1052，用于将各属性掌握模式按照所述被试的能力值依次排列，组成至少两条学习路径。

需要说明的是，为了更加全面地考察测验与被试的情况，得到irt的能力参数与项目参数，从而绘制出学习之路，需要引入irt参数估计的过程，例如可以采用irt中运用较为广泛的em算法进行参数估计。

例如，图3所示的绘制好的学习之路，图3右侧的若干个方框表示不同的属性掌握模式。模式后面括号中的两个数字分别表示该模式的编号以及人数。如右下角的模式“10000000(1,33)”表示此模式编号为1，共有33人属于这种模式(这种模式表示只掌握了属性a1)。左侧的坐标轴表示能力值，即右侧的属性掌握模式所对应的人均能力值。各属性掌握模式按实际被试的能力值的高低，自上而下依次排列，组成若干条路径。路径1即愈所述坐标轴平行的路径表示主要路径，在掌握人数与属性掌握模式的普遍性方面为最典型的学习路径，路径2和路径3次之，其余路径为支路。

在本发明实施例中，通过引入非参数认知诊断方法简化了认知诊断的操作，满足了小样本被测的认知诊断要求，通过绘制描述诊断信息间相互关系的学习之路，丰富了用户交互的可视性。

图6位本发明实施例提供的另一种认知诊断设备200的结构示意图，可以包括：输入模块201，计算模块202和输出模块203。图中各模块用于执行上述方法实施例中所述的内容，具体的实现方式可以参见上述方法实施例，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。