数字化评估题目难度的方法与流程

本发明属于教学题目评估技术领域，尤其涉及一种数字化评估题目难度的方法。

背景技术：

在教学及考试实践中，需要对试卷的题量、题型的安排及综合难度进行把控，以便为检验教学效果提供有效工具，预先合理划定及格线(淘汰率)，以及与其他试卷的考试结果进行横向比较等。

整体而言，评估试题难度有两种方法，一种是实测难度，一种是预估难度。但目前为止所用的方法都存在一定的问题。

难度决定考试分数的分布，直接影响考试的评价与选拔功能，受到较高的关注。实测难度一般通过考后对考试数据的统计分析得到，这时合格分数线巴经确定，无法再进行调整。预估难度是在命题阶段由命题专家结合试题内容，通过构建标准模型，进行合理地评定而得到的试题难度。在当前应用愿始分报告考试成绩的情况下，预估难度对确保考试稳定与公平尤其重要。预估难度不同于实测难度，可以进行控制与调整。命题工作不仅是编制试题的过程，而且是预估难度的设计过程。引自柳博《预估难度的理论模型及应用探析》.中国考试(研究版).2009,4。柳博所说的实测难度是用正规考试结束后对考试数据的统计分析得到的。但因考试已经结束，所得实测难度的利用价值已大打折扣。为了在考试前知道试题难度，也可以在正规考试前组织一批人试做题目进行实测。再用试题难度经典测量理论ctt(classicaltesttheory)计算出每个题目的难度。但对于检测要求和保密要求都较高的考试，这样做会有几个问题：选什么水平的人测试？用多少人参与测试？如何确保不会泄露？且也无法避免人的因素对评估结果的影响。

对于检测要求和保密要求都很高的高考试题，我国当前采用的预估难度法，即在命题阶段由命题专家结合试题内容，通过构建标准模型，进行合理地评定而得到试题难度。但这种方法的评估结果，在相当程度上不可避免的受到命题专家的主观意志影响。

技术实现要素：

本发明目的在于提供一种数字化评估题目难度的方法，该计算方法以数字化手段，预先评估题目难度，用统一的标准如基础假设、算法根据等来评估不同学科课程的题目难度，使不同学科的题目难度可以横向进行比较。

为达到上述目的，本发明采用的技术方案是：一种数字化评估题目难度的方法，所述计算方法基于以下两个步骤：

s1、基础假设；

s2、识别和计算答案关键字，根据答案关键字的数量和属性来衡量题目难度.

上述技术方案中进一步改进的技术方案如下：

1.上述方案中，在所述s1和s2的基础上，所述计算方法用于评估不同学科课程的题目难度，包括以下步骤：

s01、计算参数∑p＝-acgp+hkp+cfp+ip+sp+rp+rdp+cp+srdp，

其中，acgp为答案可猜性参数；hkp为隐涵知识点参数，cfp为复杂参数，ip为干扰参数，sp为静态参数，rp为反应参数，rdp为反应动态参数，cp为变化参数，srdp为合成设计参数；

s02、定义题目的难度参数为dp，计算dp＝akp+∑p+∑wp+∑lp，

其中，akp为答案关键字参数，wp为答案关键字what属性参数，∑wp为答案关键字what属性参数之和，lp为答案关键字level属性参数，∑lp为答案关键字level属性参数之和；

若题目不存在计算式中的某些参数项，计算时，忽略不存在的参数项，即参数值＝0。

2.上述方案中，所述步骤s1中基础假设包括

(1)所有知识点的难度相同，且对题目难度的贡献相同；

(2)所有答案关键字的难度相同，且对题目难度的贡献相同；

(3)所有隐涵知识点的难度相同，且对题目难度的贡献相同；

(4)所有答案可猜性因子对题目难度的贡献相同；

(5)所有变化因子对题目难度的贡献相同；

(6)所有干扰因子对题目难度的贡献相同；

(7)所有静态因子对题目难度的贡献相同；

(8)每个化学反应对题目难度的贡献相同：

(9)每次反应动态作用对题目难度的贡献相同；

(10)每个复杂因子对题目难度的贡献相同；

(11)各种运算对题目难度的贡献与参与运算的数值的大小无关，且每种运算对题目难度的贡献相同。

3.上述方案中，所述步骤s2中识别和计算答案关键字的方法包括以下几种方式：

(1)答案关键字是题目要求的答案内容，即不是题目要求的答案内容不是答案关键字；

(2)答案关键字是题目答案中必定含有和/或包括隐涵的关键词、字串、数值或插图中包涵的内容；

(3)答案关键字是题目的评分计算点，不影响题目评分的不是答案关键字；

(4)答案关键字数量的计算，每个关键词、字串、数值按一个答案关键字计算。

4.上述方案中，所述步骤s01中隐涵知识点参数hkp为题面中没有直接的文字表述，而是隐涵于题面字里行间的，或隐涵于插图中的知识点数；

答案可猜性参数acgp仅针对选择题，选择题会提供n个候选项，这n个候选项简称为可猜性因子；

复杂参数cfp包括获取答案过程中含有的计算，题目要求写出的计算过程，以及题目中可能存在的对题目难度有贡献的m个复杂因素统称复杂因子，

获取答案过程中如果含有计算，但不要求写出计算过程，则n＝1，

题目要求写出计算过程，则n＝2，

题目中可能存在的m个其他复杂因素(例如必须经过对图的分析才能得到答案的情况，设m等于图的数量)，也一并参与计算：cfp＝n+m。

5.上述方案中，所述步骤s01中干扰参数、静态参数、反应参数、反应动态参数、变化参数和合成设计参数为《有机化学》课程特有的参数，

其中，干扰参数ip仅针对《有机化学》课程的鉴别题和分离提纯题，按照命题惯例，题目会给出n个要求鉴别或分离提纯的化合物，在鉴别或分离提纯其中第1个化合物时，要考虑其他n-1个化合物的影响，或者说有n-1个化合物干扰方法的选择，致使题目难度增大，这些干扰化合物简称干扰因子，故ip＝(n-1)+(n-2)…+(n-n)；

静态参数sp仅针对《有机化学》课程的命名题，化合物结构中与结构复杂性相关的因素，简称静态因子，静态参数sp等于与sp相关的项目对难度的贡献值之和；

反应参数rp仅针对《有机化学》课程的化学反应题、反应机理题和有机合成题，rp等于化学反应数；

反应动态参数rdp仅针对《有机化学》课程的化学反应题、反应机理题和有机合成题，rdp等于反应过程中，化合物结构中的官能团或取代基对反应的取向，产物的结构发生影响的作用的次数之和；

变化参数cp仅针对《有机化学》课程的化学反应题、反应机理题和有机合成题，变化参数cp等于与cp相关的项目对难度的贡献值之和；

合成设计参数srdp仅针对《有机化学课程》的有机合成题，内容包括：确定每步反应的反应条件，选择每步反应需用的试剂，以及确定反应的先后顺序三项简称合成设计因子，所以srdp＝3。

6.上述方案中，所述步骤s02中答案关键字what属性参数包括有三种情况：a回答是什么，b回答为什么，c回答怎么办；本计算方法设定wp的三个参数wp1，wp2，wp3，并分别与a，b，c对应，即一个答案关键字，如果其属性为a，其对难度参数的贡献是wp1，如果其属性为b，其对难度参数的贡献是wp2，如果其属性为c，其对难度参数的贡献是wp3，所以wp1<wp2<wp3；

∑wp＝wp1/wp2/wp3*akp，所述akp为答案关键字的数量。

7.上述方案中，所述步骤s02中答案关键字level属性参数的计算方法为：

(1)从题目已知条件直接得到的答案关键字是1级答案关键字，其对难度参数的贡献是lp1；

(2)在1级答案关键字的基础上才能得到的答案关键字是2级答案关键字，(没有1级答案关键字就不可能有2级答案关键字)，每个2级答案关键字对难度参数的贡献是lp2；

(3)在2级答案关键字的基础上才能得到的答案关键字是3级答案关键字，(没有2级答案关键字就不可能有3级答案关键字)，每个3级答案关键字对难度参数的贡献是lp3；

答案关键字的级越高，lp值越大，即lp1<lp2<lp3；

∑lp＝lp1/lp2/lp3*akp，所述akp为答案关键字数量。

8.上述方案中，所述步骤s02中答案关键字参数akp的计算方法如下：

(1)计算式的akp

计算式的运算仅限于有理数的加、减、乘、除、三角函数、乘方、对数的运算，计算式的答案关键字数量akp等于计算式中包涵的运算符，即加、减、乘、除、三角函数、乘方、对数的总数量；

(2)计算题的akp

计算题的运算仅限于有理数的加、减、乘、除、三角函数、乘方、对数的运算，计算题的akp＝∑计算式的akp；

(3)证明题及推导题的akp

证明题的答案关键字akp等于答案的证明过程中表示结论的字符“∴”、“所以”、“因此”的数量；

(4)问答题的akp

问答题的答案关键字数量根据题目内容按下示方式计算：

akp＝用[识别和计算答案关键字的方法]获取的akp+计算题的akp+证明题的akp；

如果题目不含计算，计算题的akp＝0；

如果题目不含证明，证明题的akp＝0。

9.上述方案中，所述题目类型包括填空题、选择题、计算式、计算题、证明题、回答题、命名题、鉴别题、分离提纯题、化学反应题、反应机理题和有机合成题。

10.上述方案中，所述步骤s1基础假设(11)中的各种运算包括加、减、乘、除、乘方、三角函数和对数。

由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

1、本发明数字化评估题目难度的方法，将与题目难度相关的项目数字化，再用其计算得到的数字化评估值，以数字化手段，预先评估题目难度；

2、本发明数字化评估题目难度的方法，本方法能够评估11种题型的题目难度，其中有7种题型(选择题、填空题、命名题、鉴别题、分离提纯题、反应机理题、有机合成题)不需参考答案就可评估题目的难度，评估化学反应题的难度时需要参考答案，但这种题型的题目答案具有唯一性，不会因人而异，以上8种题型(占11种题型的73％)完全脱离了人的因素对估评值的影响；

3、本发明数字化评估题目难度的方法，在编制试卷时，命题人自己即可完成题目难度的评估，方便快捷，同时省去了实测方法中需多人试做和批改测试卷的烦琐过程；

4、本发明数字化评估题目难度的方法，用统一的标准如基础假设、算法根据等来评估不同学科课程的题目难度，使不同学科的题目难度可以横向进行比较。

附图说明

附图1为本发明基本流程示意图。

附图2为本发明评估计算中涉及的各参数的说明附表。

具体实施方式

一种数字化评估题目难度的方法，所述计算方法基于以下两个步骤：

s1、以知识点为基础，综合考量不同学科不同题型的试题的共同性和特殊性，并根据本评估方法的需要，做基本假设；

s2、识别和计算答案关键字，根据答案关键字的数量和属性来衡量题目难度。

在上述s1和s2的基础上，所述计算方法用于评估不同学科课程的题目难度，包括以下步骤：

s01、计算参数∑p＝-acgp+hkp+cfp+ip+sp+rp+rdp+cp+srdp，

其中，acgp为答案可猜性参数；hkp为隐涵知识点参数，cfp为复杂参数，ip为干扰参数，sp为静态参数，rp为反应参数，rdp为反应动态参数，cp为变化参数，srdp为合成设计参数。

s02、定义题目的难度参数为dp，计算dp＝akp+∑p+∑wp+∑lp，

其中，akp为答案关键字参数，wp为答案关键字what属性参数，∑wp为答案关键字what属性参数之和，lp为答案关键字level属性参数，∑lp为答案关键字level属性参数之和；

若有些类型的题目不存在计算式中的某些参数项，计算时，忽略不存在的参数项，即参数值＝0。

所述难度参数dp的值下限为零，理论上没有上限(dp>0)，即dp越大，题目越难。因为题目不可能没有知识点，所以dp总是大于0。

上述步骤s1中基础假设包括

(1)所有知识点的难度相同，且对题目难度的贡献相同；

(2)所有答案关键字的难度相同，且对题目难度的贡献相同；

(3)所有隐涵知识点的难度相同，且对题目难度的贡献相同；

(4)所有答案可猜性因子对题目难度的贡献相同；

(5)所有变化因子对题目难度的贡献相同；

(6)所有干扰因子对题目难度的贡献相同；

(7)所有静态因子对题目难度的贡献相同；

(8)每个化学反应对题目难度的贡献相同：

(9)每次反应动态作用对题目难度的贡献相同；

(10)每个复杂因子对题目难度的贡献相同；

(11)各种运算对题目难度的贡献与参与运算的数值的大小无关，且每种运算对题目难度的贡献相同。

上述步骤s2中识别和计算答案关键字的方法包括以下几种方式：

(1)答案关键字是题目要求的答案内容，即不是题目要求的答案内容不是答案关键字；

(2)答案关键字是题目答案中必定含有和/或包括隐涵的关键词、字串、数值或插图中包涵的内容；

(3)答案关键字是题目的评分计算点，不影响题目评分的不是答案关键字；

(4)答案关键字数量的计算，每个关键词、字串、数值按一个答案关键字计算；但要注意下述特殊情况：一个有两个问的题目，如果这两个问的答案完全相同，因它们分别回答不同的提问，此时答案关键字数量等于2。

上述步骤s01中隐涵知识点参数hkp为题面中没有直接的文字表述，而是隐涵于题面字里行间的，或隐涵于插图中的知识点数；

答案可猜性参数acgp仅针对选择题，按照命题惯例，选择题会提供n个候选项，这就使题目的答案有了可猜性。这种可猜性会使考分提升，从考分的角度来看，相当于使题目的难度下降了，因此acgp对题目难度的贡献是负贡献，这n个候选项简称为可猜性因子；

单选题时，如果n＝2，猜对答案的可能性为50％，acgp＝0.5；如果n＝3，猜对答案的可能性为33％，acgp＝0.33；如果n＝4，猜对答案的可能性为25％，acgp＝0.25，…

复选题时，如果n＝3(候选项a，b，c)，按照组合计算公式(参阅注释[c])，复选时的选择结果有3种(ab，ac，bc)，猜对答案的可能性为大约为33％，acgp＝0.33；

如果n＝4(候选项a，b，c，d)，按照组合计算公式，复选时的选择结果有6种(ab，ac，ad，bc，bd，cd)，猜对答案的可能性为大约为17％，acgp＝0.17；

如果n＝5(候选项a，b，c，d，e)，按照组合计算公式，复选时的选择结果有10种(ab，ac，ad，ae，bc，bd，be，cd，ce，de)，猜对答案的可能性为10％，acgp＝0.1，…；

以下表1为不同候选项目数时答案可猜性参数acgp的值表1

不同候选项目数时答案可猜性参数acgp的值

复杂参数cfp包括获取答案过程中含有的计算，题目要求写出的计算过程，以及题目中可能存在的对题目难度有贡献的其他复杂因素(统称复杂因子)，

获取答案过程中如果含有计算，但不要求写出计算过程，则n＝1，

题目要求写出计算过程，则n＝2，

题目中可能会有m个其他复杂因素(例如必须经过对图的分析才能得到答案的情况，设m等于图的数量)，也一并参与计算：cfp＝n+m。

上述步骤s01中干扰参数、静态参数、反应参数、反应动态参数、变化参数和合成设计参数为《有机化学》课程特有的参数。

其中，干扰参数ip仅针对《有机化学》课程的鉴别题和分离提纯题，按照命题惯例，题目会给出n个要求鉴别或分离提纯的化合物，在鉴别或分离提纯其中第1个化合物时，要考虑其他(n-1)个化合物的影响，或者说有(n-1)个化合物干扰方法的选择，致使题目难度增大，这些干扰化合物简称干扰因子，故ip＝(n-1)+(n-2)…+(n-n)；

静态参数sp仅针对《有机化学》课程的命名题，化合物结构中与结构复杂性相关的因素，简称静态因子，按照iupac系统命名法，静态因子是题目的答案即化合物的名称中必须一一表达的内容，所以，静态因子数sp越大，化合物的名称越复杂，题目越难，静态参数sp等于与sp相关的项目对难度的贡献值之和；表2为静态参数sp的计算方法：

表2

静态参数sp的计算

反应参数rp仅针对《有机化学》课程的化学反应题、反应机理题和有机合成题，rp等于化学反应数量。

反应动态参数rdp仅针对《有机化学》课程的化学反应题、反应机理题和有机合成题，rdp等于反应过程中，化合物结构中的官能团或取代基对反应的取向，产物的结构发生影响的作用的次数之和；

变化参数cp仅针对《有机化学》课程的化学反应题、反应机理题和有机合成题，cp等于与cp相关的项目对难度的贡献值之和；

表3为变化参数cp的计算方法：

表3

变化参数cp的计算

合成设计参数srdp仅针对《有机化学课程》的有机合成题。合成一个有化合物，可能有多种方法，有多条合成路径。不管选择什么合成方法或路径，都必须对整个合成路线有一个总体设计，设计内容包括：确定每步反应的反应条件，选择每步反应需用的试剂，以及确定反应的先后顺序三项(简称合成设计因子)，所以srdp＝3。

上述步骤s02中答案关键字what属性参数包括有三种情况：a回答是什么，b回答为什么，c回答怎么办；本计算方法设定wp的三个参数wp1，wp2，wp3，并分别与a，b，c对应，即一个答案关键字，如果其属性为a，其对难度参数的贡献是wp1，如果其属性为b，其对难度参数的贡献是wp2，如果其属性为c，其对难度参数的贡献是wp3，所以wp1<wp2<wp3；

∑wp＝wp1/wp2/wp3*akp，所述akp为答案关键字的数量。

表4是题目类型和答案关键字的what属性：

表4

题目类型和答案关键字的what属性

上述步骤s02中答案关键字level属性参数的计算方法为：

(1)从题目已知条件直接得到的答案关键字是1级答案关键字，其对难度参数的贡献是lp1；

(2)在1级答案关键字的基础上才能得到的答案关键字是2级答案关键字，没有1级答案关键字就不可能有2级答案关键字，每个2级答案关键字对难度参数的贡献是lp2；

(3)在2级答案关键字的基础上才能得到的答案关键字是3级答案关键字，没有2级答案关键字就不可能有3级答案关键字，每个3级答案关键字对难度参数的贡献是lp3；

答案关键字的级越高，lp值越大，即lp1<lp2<lp3；

∑lp＝lp1/lp2/lp3*akp，所述akp为答案关键字数量。

表2是题目类型和答案关键字的level属性：

表5

答案关键字的level属性

上述步骤s02中答案关键字参数akp的计算方法如下：

(1)计算式的akp

计算式的运算仅限于有理数的加、减、乘、除、三角函数、乘方、对数的运算，计算式的答案关键字数量akp等于计算式中包涵的运算符，即加、减、乘、除、三角函数、乘方、对数的总数量；

(2)计算题的akp

计算题的运算仅限于有理数的加、减、乘、除、三角函数、乘方、对数的运算，计算题的akp＝∑计算式的akp；

(3)证明题及推导题的akp

命题人应先给出参考答案，再进行评估，证明题的答案关键字akp等于答案的证明过程中表示结论的字符“∴”、“所以”、“因此”的数量；

(4)问答题的akp

问答题的答案关键字数量根据题目内容按下示方式计算：

akp＝用[识别和计算答案关键字的方法]获取的akp+计算题的akp+证明题的akp；

如果题目不含计算，计算题的akp＝0；

如果题目不含证明，证明题的akp＝0。

上述题目类型包括填空题、选择题、计算式、计算题、证明题、回答题、命名题、鉴别题、分离提纯题、化学反应题、反应机理题和有机合成题。

上述步骤s1基础假设(11)中的各种运算包括加、减、乘、除、乘方、三角函数和对数。

本发明上述内容进一步解释如下：

本方法通过两个重要的计算根据来衡量题目的难度：

(1)题目的难度由题目所考查的知识点决定：在基础假设(1)的前提下，可以用知识点的数量来衡量其对题目难度的贡献；

(2)答题时，答案中必须对题目考查的每个知识点全部且逐个有所交待，这里所说的“交待”，就是答案关键字。所以，答案关键字数量等于知识点数量。据此，在基础假设(2)的前提下，则也可以用答案关键字的数量来衡量题目的难度。

关于wp值的说明

在[表4]中，wp1＝0.1，wp2＝0.2，wp3＝0.3，这些值是从1到0.1经人工筛选得到的，筛选的原则是：

(1)wp1<wp2<wp3；

(2)wp3对题目难度的贡献不大于一个答案关键字的贡献；

(3)引入wp后所得题目难度参数dp的相对大小(难度的排序)与忽略wp时相同；

(4)能体现wp属性对题目难度参数dp不同程度的影响。

虽然按上述筛选原则已经得到wp1、wp2、wp3的值，将其参与测算题目难度时也没发现问题，但获值方法只有一个筛选原则，毕竟过于简单，所以当前的取值是过渡性的。期待以后更深入的研究和利用计算机对大量题目的测算，找到更具说服力的取值方法，并对当前wp1、wp2和wp3的值进行调整。

关于lp值的说明

在[表5]中，lp1＝0.1，lp2＝0.2，lp3＝0.3，这些值是从1到0.1经人工筛选得到的，筛选的原则是：

(1)lp1<lp2<lp3；

(2)lp3对题目难度的贡献不大于一个答案关键字的贡献；

(3)引入lp后所得题目难度参数dp的相对大小(难度的排序)与忽略lp时相同；

(4)能体现lp属性对题目难度参数dp不同程度的影响。

虽然按上述筛选原则已经得到lp1、lp2、lp3的值，将其参与测算题目难度时也没发现问题，但获值方法只有一个筛选原则，毕竞过于简单，所以当前的取值是过渡性的。期待以后更深入的研究和利用计算机对大量题目的测算，找到更具说服力的取值方法，并对当前lp1、lp2和lp3的值进行调整。

在基础假设的前提下，依据上述算法根据，答案关键字的数量akp、各答案关键字的wp和lp、以及基础假设中涉及的许多参数共同决定了题目的难度dp。据此，得到题目难度参数计算式：

∑p＝-acgp+hkp+cfp+ip+sp+rp+rdp+cp+srdp

dp＝akp+∑p+∑wp+∑lp。

此计算式对表4提到的全部类型的题目都适用，有些类型的题目不存在计算式中的某些参数项，计算时，忽略不存在的参数项(参数值＝0)。

采用上述数字化评估题目难度的方法时，以数字化手段，预先评估题目难度；最大限度减少人的因素对难度参数的影响；编制试卷时，命题人自己即可完成题目难度的评估，方便快捷，省去了实测方法中需多人试做和批改测试卷的烦琐过程；用统一的标准评估不同学科课程的题目难度，使不同学科的题目难度可以横向进行比较。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。