一种基于协同决策机制的试题难易度因子知识发现方法
【专利摘要】本发明涉及一种基于协同决策机制的试题难易度因子知识发现方法，属于知识自动化领域，其包括：提取教学相关数据；对数据进行预处理，进行课程达成度决策；用户利用协同决策机制，根据第三方评分“改写/通过”课程达成度决策服务提议的决策；通过机器学习，获取与课程达成度相关的试题难易度因子；将难易度因子形成的分析模型和专家知识封装到同一知识库，供课程达成度决策服务调用；采用决策管理循环架构，利用试题难易因子重新循环对课程达成度进行决策。本发明具有自主分析决策能力，能解决由于教学试卷难易度主观性和不一致性，较为客观地分析试卷难易度因子并提供课程达成度决策服务。
【专利说明】
一种基于协同决策机制的试题难易度因子知识发现方法
技术领域
[0001] 本发明涉及知识自动化领域，尤其设计一种基于协同决策机制的试题难易因子知 识发现方法。【背景技术】 2015年3月，教育部推出国际实质等效的《工程教育专业认证标准》，其实际意义表现 在:密切工程教育与工业界的联系，提高工程教育人才培养的产业适应性;建立与注册工程 师制度相衔接的工程教育专业认证体系;促进工程教育的国际交流，实现国际互认。
[0002] 近年来，教育教学过程中产生大量的数据，不仅数量大，内容丰富且较为完整，同 时具有相对统一的数据格式，十分适合利用数据挖掘展开专业认证工作。数据挖掘不断发 展，为从教育活动获取的数据中分析提出有价值的知识提供了有效的理论和工具支持。运 用数据挖掘技术进行教学行为综合分析，能够进行高效、客观、精确的业务数据处理，较于 传统常规统计方法更为公正且灵活实用。
[0003] 专业认证需要构建毕业能力指标点与课程的多对多映射，需要由多门课程和其他 教学活动协同体现工程性和复杂性。指标体系中各因素的相互影响、相互制约、相互驱动的 定性和定量关系，建立知识模型，形成专业认证知识体系模型。试题难易度存在主观性，在 衡量课程达成度时需要综合考虑试题难易度因子。
[0004] 因此，综合分析第三方评价，获取试题难易度因子，协同解决课程达成度评价成为 亟待解决的问题。
【发明内容】
[0005] 鉴于此，本发明实施例提供了一种基于协同决策机制的试题难易因子知识发现方 法，解决现有考试难易度因子客观计算的问题，保证评价结论的客观性、可信性。一种基于 协同决策机制的试题难易因子知识发现方法，属于知识自动化领域，具体包括如下步骤： 步骤S1提取相关教学数据； 步骤S2对数据进行预处理，进行课程达成度决策； 步骤S3用户利用协同决策机制，根据第三方评分"改写/通过"课程达成度决策服务提 议的决策； 步骤S4通过机器学习，获取与课程达成度相关的试题难易度因子； 步骤S5将难易度因子形成的分析模型和专家知识封装到同一知识库，供课程达成度决 策服务调用； 步骤S6采用决策管理循环架构，利用试题难易因子重新循环对课程达成度进行决策。
[0006] 所述步骤S1教学行为相关数据进一步包括:试题成绩、达成度评价方案、课程群支 撑度评分和问卷调查评分。
[0007] 所述步骤S2对所述数据需进行预处理进一步包括:去除缺陷、冗余数据，统一转换 数据的名称和定义，估计遗失数据的缺省值;利用处理之后的数据，输入与指标点达成度相 关的每一门课程考试相关考试以及指标点信息，具体为每一门考试抽取样本的考试平均成 绩，进行课程达成度决策。
[0008] 所述步骤S3进一步包括:所述第三方评分包括:课程群支撑度评分和问卷调查评 分;用户根据课程群支撑度评分和问卷调查评分的输出，协同课程达成度决策，改写或通过 课程指标达成度决策服务提议的决策。
[0009] 根据权利要求4所述的基于协同决策机制的试题难易度因子知识发现方法，其特 征在于，所述步骤S4进一步包括:难易度等级按照正太概率分布思想划分，不同难易度等级 的值分别为:_2〇，-〇，〇，0，〇，2〇，分别取各块所占面积的近似值，分别以百分制为例，系统为 这5个等级分配一组不同的估计系数，其系数估计公式为：
其中，Yn表示第n等级的估计系数，Xk表示第k等级在概率分布图中所占的比重。
[0010]所述步骤S4机器学习进一步包括:基于结合教育专业认证指标，着眼于大量的历 史数据，对比分析输入数据与其最终输出结果之间的关系，获取新的能够通过用户的试题 难易度因子，找出可最优预测输出结果的修正难易度等级，将其表示于一个难易度调整决 策树中，建立随机森林模型的步骤具体包括： 读入训练数据集作为初始训练集； 基于所述初始集采用预设bootstrap随机抽样方法获取新的训练集来作为随机森林的 训练集； 建立随机森林训练集的决策树模型； 利用遍历法逐个访问所述决策树模型中决策树的分裂节点； 删除小于预设阈值的决策树，统计各个节点所包含的样本数量，利用多数投票机制作 确定最优的决策树子集作为最终难易度因子。
[0011] 所述步骤S5进一步包括:专家知识可根据专家的需求可做出具体调整，决策针对 案例所用的预测分析模型判定的数据项必须是建模时所用的相同数据； 将所述难易度因子表示在一个决策树中与专家知识封装在知识库中，可被课程达成度 决策服务调用。
[0012] 所述步骤S6进一步包括:所有业务知识必须都是经过使用真实数据的决策进行测 试，保证其有效性;基于最终难易度因子的课程达成度决策服务产生的数据，存入历史数据 库中，作为下次机器学习的样本库。
[0013] 本发明从知识自动化的视角出发提出了一种协同决策试题难易度因子知识发现 方法。本发明通过分析指标体系中各因素的相互影响、相互制约、相互驱动的定性和定量关 系，在此基础上，形成机器表达机制，获取考试难易度因子。从现有人工经验和专业认证数 据中获取知识，探索专业认证各类知识适用的知识表示方法。该方法通过知识与数据挖掘 的继承和人类智慧与数据之间的无缝连接，可实现独立、自动、高效专业认证知识自动化。 人机交互方式嵌入人工评价过程，服务于专业认证课程达成度评价，保证评价结论的客观 性，可信性。
【附图说明】
[0014] 图1为基于协同决策机制的试题难易度因子知识发现方法流程图； 图2为考试难易度评价协同决策机制系统框图； 图3为获取试题难易度因子决策树模型流程图； 图4为决策服务循环架构图。
【具体实施方式】
[0015] 为使本发明的技术方案和优点更加清楚，下面结合实施方式并参照附图，对发明 技术方案进行清楚描述。应该指出的是下面说明仅仅是示例性的，而不是为了限制本发明 的范围以及其应用。此外，在一下说明中，省略了对公知知识和技术的描述，以避免不必要 地混淆本发明的概念。 实施例
[0016] 图1示出了本发明的流程图，基于协同决策机制的试题难易度因子知识发现方法， 具体实施步骤如下： 步骤S1提取相关教学数据，形成数据集合。
[0017] 本实施例中所述课程为大学物理，相关数据包括:试题考试成绩、达成度评价方 案、课程群支撑度评分和问卷调查评分。
[0018] 步骤S2对数据进行预处理，进行课程达成度决策;去除缺陷、冗余数据，统一转换 数据的名称和定义，估计遗失数据的缺省值;利用处理之后的数据，输入与指标点达成度相 关的每一门课程考试相关考试以及指标点信息，具体为大学物理考试抽取样本获取考试平 均成绩，进行课程达成度决策。
[0019] 本实施例中，预设达成度阈值取经验值为0.7,采取随机抽样获取30分试题样本， 进行课程达成度计算，对应计算出课程达成度为〇. 75。
[0020] 图2是考试难易度评价协同决策机制系统框图。
[0021] 步骤S3用户利用协同决策机制，根据第三方评分"改写/通过"课程达成度决策服 务提议的决策;本实施例中第三方评分包括:课程群支撑度评分和问卷调查评分;用户根据 课程群支撑度评分和问卷调查评分的输出，协同课程达成度决策，改写或通过课程指标达 成度决策服务提议的决策。
[0022]本实施例中预设课程群支撑度为0.65，问卷调查评分为0.67，用户结合第三方评 分输出，协同课程达成度决策，改写课程指标度成为不通过。
[0023]步骤S4通过机器学习，获取与课程达成度相关的试题难易度因子;难易度等级按 照正太概率分布思想划分，不同难易度等级的值分别为:-2〇，-〇,〇,0, 〇,2〇,分别取各块所 占面积的近似值，分别以百分制为例，系统为这5个等级分配一组不同的估计系数，其系数 估计公式为：
其中，Yn表示第n等级的估计系数，Xk表示第k等级在概率分布图中所占的比重，本实施 例中，从左到右5个等级的估计系数分别为0.9875，0.917，0.51，0.0925，0.0125。
[0024]基于结合教育专业认证指标，着眼于大量的历史数据，对比分析输入数据与其最 终输出结果之间的关系，获取新的能够通过用户的试题难易度因子，找出可最优预测输出 结果的修正难易度等级，将其表示于一个难易度调整决策树中。
[0025] 图3为本发明实施例提供的获取试题难易度因子决策树模型流程图。参照图2所 不。
[0026] 本实施例中，建立随机森林模型的步骤具体包括： 步骤S101读入训练数据集作为初始训练集； 步骤S103基于所述初始集采用预设bootstrap随机抽样方法获取新的训练集来作为随 机森林的训练集;假设样本数据预处理之后为S，随机有放回地抽取k次，每次抽取样本S的 三分之二，抽样样本集合为(s：
[0027]步骤S103建立随机森林训练集的决策树模型； 每一份抽样样本训练生成一个决策树模型，一共生成k个决策树模型。
[0028]步骤S104利用遍历法逐个访问所述决策树模型中决策树的分裂节点； 步骤S105删除小于预设阈值的决策树，统计各个节点所包含的样本数量。
[0029]每一个样本数据通过随机森林的分类结果，即多个决策树的投票结果RF为： 其中，n为决策树模型数量，基于每个决策树模型的投票权重，相应输出为yi。利用多 数投票机制作确定最优的决策树子集作为最终难易度因子为〇。
[0030] 步骤S5将难易度因子形成的分析模型和专家知识封装到同一知识库，供课程达成 度决策服务调用；专家知识可根据专家的需求可做出具体调整，决策针对案例所用的预测 分析模型判定的数据项必须是建模时所用的相同数据； 将所述难易度因子表示在一个决策树中与专家知识封装在知识库中，可被课程达成度 决策服务调用。
[0031] 步骤S6采用决策管理循环架构，利用试题难易因子重新循环对课程达成度进行决 策。
[0032]图4是决策管理循环架构，经过计算，大学物理课程达成度为0.73， 所有业务知识必须都是经过使用真实数据的决策进行测试，保证其有效性;基于最终 难易度因子的课程达成度决策服务产生的数据，存入历史数据库中，作为下次机器学习的 样本库。
[0033]综上，本发明从知识自动化的视角出发提出了一种协同决策试题难易度因子知识 发现方法。本发明通过分析指标体系中各因素的相互影响、相互制约、相互驱动的定性和定 量关系，在此基础上，形成机器表达机制，获取考试难易度因子。从现有人工经验和专业认 证数据中获取知识，探索专业认证各类知识适用的知识表示方法。该方法通过知识与数据 挖掘的继承和人类智慧与数据之间的无缝连接，可实现独立、自动、高效专业认证知识自动 化。人机交互方式嵌入人工评价过程，服务于专业认证课程达成度评价，保证评价结论的客 观性，可信性。
【主权项】
1. 一种基于协同决策机制的试题难易因子知识发现方法，属于知识自动化领域，具体 包括如下步骤： 步骤Sl提取相关教学数据； 步骤S2对数据进行预处理，进行课程达成度决策； 步骤S3用户利用协同决策机制，根据第三方评分"改写/通过"课程达成度决策服务提 议的决策； 步骤S4通过机器学习，获取与课程达成度相关的试题难易度因子； 步骤S5将难易度因子形成的分析模型和专家知识封装到同一知识库，供课程达成度决 策服务调用； 步骤S6采用决策管理循环架构，利用试题难易因子重新循环对课程达成度进行决策。2. 根据权利要求1所述的基于协同决策机制的试题难易度因子知识发现方法，提取教 学相关数据，其特征在于，所述步骤Sl教学行为相关数据进一步包括:试题成绩、达成度评 价方案、课程群支撑度评分和问卷调查评分。3. 根据权利要求2所述的基于协同决策机制的试题难易度因子知识发现方法，其特征 在于，所述步骤S2对所述数据需进行预处理进一步包括:去除缺陷、冗余数据，统一转换数 据的名称和定义，估计遗失数据的缺省值;利用处理之后的数据，输入与指标点达成度相关 的每一门课程考试相关考试以及指标点信息，具体为每一门考试抽取样本的考试平均成 绩，进行课程达成度决策。4. 根据权利要求3所述的基于协同决策机制的试题难易度因子知识发现方法，其特征 在于，所述步骤S3进一步包括:所述第三方评分包括:课程群支撑度评分和问卷调查评分； 用户根据课程群支撑度评分和问卷调查评分的输出，协同课程达成度决策，改写或通过课 程指标达成度决策服务提议的决策。5. 根据权利要求4所述的基于协同决策机制的试题难易度因子知识发现方法，其特征 在于，所述步骤S4进一步包括:难易度等级按照正太概率分布思想划分，不同难易度等级的 值分别为:_2〇，-σ，σ，〇，σ，2〇，分别取各块所占面积的近似值，分别以百分制为例，系统为这 5个等级分配一组不同的估计系数，其系数估计公式为：其中，Yn表示第η等级的估计系数，Xk表示第k等级在概率分布图中所占的比重。6. 根据权利要求4所述的基于协同决策机制的试题难易度因子知识发现方法，其特征 在于，所述步骤S4机器学习进一步包括:基于结合教育专业认证指标，着眼于大量的历史数 据，对比分析输入数据与其最终输出结果之间的关系，获取新的能够通过用户的试题难易 度因子，找出可最优预测输出结果的修正难易度等级，将其表示于一个难易度调整决策树 中，建立随机森林模型的步骤具体包括： 读入训练数据集作为初始训练集； 基于所述初始集采用预设bootstrap随机抽样方法获取新的训练集来作为随机森林的 训练集； 建立随机森林训练集的决策树模型； 利用遍历法逐个访问所述决策树模型中决策树的分裂节点； 删除小于预设阈值的决策树，统计各个节点所包含的样本数量，利用多数投票机制作 确定最优的决策树子集作为最终难易度因子。7. 根据权利要求6所述的基于协同决策机制的试题难易度因子知识发现方法，其特征 在于，所述步骤S5进一步包括:专家知识可根据专家的需求可做出具体调整，决策针对案例 所用的预测分析模型判定的数据项必须是建模时所用的相同数据； 将所述难易度因子表示在一个决策树中与专家知识封装在知识库中，可被课程达成度 决策服务调用。8. 根据权利要求6所述的基于协同决策机制的试题难易度因子知识发现方法，其特征 在于，所述步骤S6进一步包括:所有业务知识必须都是经过使用真实数据的决策进行测试， 保证其有效性;基于最终难易度因子的课程达成度决策服务产生的数据，存入历史数据库 中，作为下次机器学习的样本库。
【文档编号】G06N5/02GK105894091SQ201610194029
【公开日】2016年8月24日
【申请日】2016年3月31日
【发明人】段斌, 冯玉洁, 章兢
【申请人】湘潭大学