一致性评估方法及装置、计算机可读存储介质及电子设备与流程

1.本技术涉及阅片评估技术领域，具体涉及一种一致性评估方法及装置、计算机可读存储介质及电子设备。


背景技术：

2.目前，在阅片方对临床试验项目的受试者的随访医学图像进行阅片，得到阅片数据后，通常通过医学审核方对阅片数据进行审核的方式，衡量阅片方的阅片能力。
3.然而，利用上述医学审核方式，不能全面、多角度地衡量阅片方的阅片能力。


技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术实施例提供了一种一致性评估方法及装置、计算机可读存储介质及电子设备。
5.第一方面，本技术一实施例提供了一种一致性评估方法，该方法包括确定用于一致性评估的已完成阅片任务；基于已完成阅片任务和待评估一致性参数，确定用于一致性评估的待处理阅片任务；基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果；基于已完成阅片任务对应的阅片结果和待处理阅片任务对应的阅片结果，确定已完成阅片任务对应的阅片方的一致性评估结果。
6.结合第一方面，在第一方面的某些实现方式中，待评估一致性参数包括自身一致性参数，基于已完成阅片任务和待评估一致性参数，确定用于一致性评估的待处理阅片任务，包括：针对自身一致性参数，修改已完成阅片任务中的阅片特征信息；将修改后的已完成阅片任务，确定为待处理阅片任务。
7.结合第一方面，在第一方面的某些实现方式中，修改已完成阅片任务中的阅片特征信息，包括：修改已完成阅片任务的流水号；修改已完成阅片任务的受试者的名字和编号；修改已完成阅片任务的图像顺序。
8.结合第一方面，在第一方面的某些实现方式中，基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果，包括：针对自身一致性参数，将已完成阅片任务对应的阅片方确定为目标阅片方；将待处理阅片任务分配给目标阅片方，得到待处理阅片任务对应的阅片结果。
9.结合第一方面，在第一方面的某些实现方式中，待评估一致性参数包括组内一致性参数，基于已完成阅片任务和待评估一致性参数，确定用于一致性评估的待处理阅片任务，包括：针对组内一致性参数，将已完成阅片任务，确定为待处理阅片任务。
10.结合第一方面，在第一方面的某些实现方式中，基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果，包括：确定已完成阅片任务对应的临床试验项目中的所有阅片方；将所有阅片方中排除掉已完成阅片任务对应的阅片方后的剩余阅片方，确定为目标阅片方；将待处理阅片任务分配给目标阅片方，得到待处理阅片任务对应的阅片结果。
11.结合第一方面，在第一方面的某些实现方式中，确定用于一致性评估的已完成阅片任务，包括：确定用于一致性评估的访视进度筛选条件和访视时间筛选条件；确定临床试验项目中，满足访视进度筛选条件和访视时间筛选条件的目标受试者；基于目标受试者，确定已完成阅片任务。
12.第二方面，本技术一实施例提供了一种一致性评估装置，包括第一确定模块，被配置为确定用于一致性评估的已完成阅片任务；第二确定模块，被配置为基于已完成阅片任务和待评估一致性参数，确定用于一致性评估的待处理阅片任务；分配模块，被配置为基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果；第三确定模块，被配置为基于已完成阅片任务对应的阅片结果和待处理阅片任务对应的阅片结果，确定已完成阅片任务对应的阅片方的一致性评估结果。
13.第三方面，本技术一实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述第一方面所提及的一致性评估方法。
14.第四方面，本技术一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行上述第一方面所提及的一致性评估方法。
15.本技术实施例提供的一致性评估方法，通过一致性评估任务的确定、分配及处理获取阅片方的阅片一致性评估结果，包括阅片方的自身一致性评估结果和组内一致性评估结果，增加了评价阅片方阅片能力的方法与角度，且该方法不依赖于医学审核方，可以实现具体实践中对阅片方能力地粗略衡量需求。
附图说明
16.图1所示为本技术一实施例提供的一致性评估方法的流程示意图。
17.图2所示为本技术一实施例提供的基于已完成阅片任务和待评估一致性参数，确定用于一致性评估的待处理阅片任务的流程示意图。
18.图3所示为本技术一实施例提供的修改已完成阅片任务中的阅片特征信息的流程示意图。
19.图4所示为本技术一实施例提供的基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果的流程示意图。
20.图5所示为本技术另一实施例提供的基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果的流程示意图。
21.图6所示为本技术一实施例提供的确定用于一致性评估的已完成阅片任务的流程示意图。
22.图7所示为本技术一实施例提供的一致性评估装置的结构示意图。
23.图8所示为本技术一实施例提供的第二确定模块的结构示意图。
24.图9所示为本技术一实施例提供的修改单元的结构示意图。
25.图10所示为本技术一实施例提供的分配模块的结构示意图。
26.图11所示为本技术另一实施例提供的分配模块的结构示意图。
27.图12所示为本技术另一实施例提供的第一确定模块的结构示意图。
28.图13所示为本技术一实施例提供的电子设备的结构示意图。
具体实施方式
29.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.目前，在阅片方对临床试验项目的受试者的随访医学图像进行阅片，得到阅片数据后，通常通过医学审核方对阅片数据进行审核的方式，衡量阅片方的阅片能力。
31.然而，利用上述医学审核方式，不能全面、多角度地衡量阅片方的阅片能力。
32.为了解决上述技术问题，本技术实施例提供一种一致性评估方法及装置、计算机可读存储介质及电子设备，通过一致性评估任务的确定、分配及处理获取阅片方的阅片一致性评估结果，包括阅片方的自身一致性评估结果和组内一致性评估结果，增加了评价阅片方阅片能力的方法与角度，且该方法不依赖于医学审核方，可以实现具体实践中对阅片方能力地粗略衡量需求。下面结合图1至图6详细介绍本技术实施例提及的一致性评估方法。
33.图1所示为本技术一实施例提供的一致性评估方法的流程示意图。如图1所示，本技术实施例提供的一致性评估方法包括如下步骤。
34.步骤s100，确定用于一致性评估的已完成阅片任务。
35.作为一种实现方式，一致性评估是指同一个阅片方不同时间点执行同一阅片任务分别得到的结果的一致性程度的判定，称之为该阅片方的自身一致性评估。作为另一种实现方式，一致性评估还可以是指多个阅片方执行同一阅片任务分别得到的结果的一致性程度的判定。当一个阅片方与项目组内其他阅片方执行同一阅片任务，对结果进行一致性程度的判定，称之为该阅片方的组内一致性评估。
36.可以理解，已完成阅片任务是指该阅片任务已被完成，也就是说，该阅片任务已有对应的阅片方和其对应的阅片结果存在。
37.步骤s200，基于已完成阅片任务和待评估一致性参数，确定用于一致性评估的待处理阅片任务。
38.示例性地，待评估一致性参数包括自身一致性参数和组内一致性参数。当待评估一致性参数为自身一致性参数时，其所对应的一致性评估为自身一致性评估。当待评估一致性参数为组内一致性参数时，其所对应的一致性评估为组内一致性评估，或称之为组间一致性评估、之间一致性评估等。
39.基于已完成阅片任务和待评估一致性参数，确定用于一致性评估的待处理阅片任务。也就是在不同的待评估一致性参数情况下，确定用于一致性评估的待处理阅片任务，可能采用不同的方法。
40.步骤s300，基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果。
41.可以理解为，在不同的待评估一致性参数情况下，分配待处理阅片任务，可能采用不同的方法。
42.步骤s400，基于已完成阅片任务对应的阅片结果和待处理阅片任务对应的阅片结果，确定已完成阅片任务对应的阅片方的一致性评估结果。
43.可以理解，阅片方的一致性评估是针对至少两组阅片结果进行的。
44.本技术实施例提供的一致性评估方法，通过一致性评估任务的确定、分配及处理获取阅片方的阅片一致性评估结果，包括阅片方的自身一致性评估结果和组内一致性评估结果，增加了评价阅片方阅片能力的方法与角度，且该方法不依赖于医学审核方，可以实现具体实践中对阅片方能力地粗略衡量需求。
45.图2所示为本技术一实施例提供的基于已完成阅片任务和待评估一致性参数，确定用于一致性评估的待处理阅片任务的流程示意图。在图1所示实施例基础上延伸出图2所示实施例，下面着重叙述图2所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
46.如图2所示，在本技术实施例提供的一致性评估方法中，待评估一致性参数包括自身一致性参数，基于已完成阅片任务和待评估一致性参数，确定用于一致性评估的待处理阅片任务，包括如下步骤。
47.步骤s210，针对自身一致性参数，修改已完成阅片任务中的阅片特征信息。
48.当待评估一致性参数为自身一致性参数时，其所对应的一致性评估为自身一致性评估。示例性地，阅片任务中的阅片特征信息包括流水号、受试者的名字和编号、图像顺序和图像拍摄日期等。
49.步骤s220，将修改后的已完成阅片任务，确定为待处理阅片任务。
50.可以理解，对已完成阅片任务中的阅片特征信息进行修改后，生成待处理阅片任务，任务经处理后得到对应的阅片结果，以用来和已完成阅片任务对应的阅片结果作比对。
51.本技术实施例提供的一致性评估方法，针对自身一致性评估，在自身一致性评估的待处理阅片任务的确定中对已完成阅片任务进行修改，以免阅片方察觉到阅片任务是执行过的后，查找之前的结果或凭记忆来做判断。通过修改来做干扰，以保证自身一致性评估结果的准确。
52.图3所示为本技术一实施例提供的修改已完成阅片任务中的阅片特征信息的流程示意图。在图2所示实施例基础上延伸出图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
53.如图3所示，在本技术实施例中，修改已完成阅片任务中的阅片特征信息，包括如下步骤。
54.步骤s211，修改已完成阅片任务的流水号。
55.每个阅片任务都有各自的流水号，且其一般按创建顺序来编号。若使用曾经的流水号，因其数字明显小于最近任务的流水号，很容易被阅片方察觉，所以需要将其修改为新的流水号。但系统后台中还是要标记该阅片任务是用来做一致性评估的任务。
56.步骤s212，修改已完成阅片任务的受试者的名字和编号。
57.每个受试者都有各自的名字和编号。如若受试者的名字带有生僻字和/或与阅片方的亲友同名等，是很容易唤起阅片方对阅片任务的记忆的。受试者的编号同任务的流水号，受试者的编号一般也是按顺序来确定的。为了阻碍阅片方记起阅片任务，修改受试者的名字和编号，同样很有必要。
58.步骤s213，修改已完成阅片任务的图像顺序。
59.阅片任务中存在一序列的图像。如若采用之前的图像顺序，难免阅片方发现其规律，对其有印象。所以，可选地，修改已完成阅片任务的图像顺序，如随机打乱，或将对应已
完成阅片结果中标注了病灶的图像进行“角落化”设置，或将对应已完成阅片结果中标注了病灶的图像插到后面的位置，也就是将特殊的图像放到不显著的地方。
60.步骤s211、s212和s213的关系属于并列关系，没有执行时间、执行顺序的限制。
61.本技术实施例提供的一致性评估方法，自动修改已完成阅片任务中的显著阅片特征信息，满足实践应用中弱化阅片方对已完成阅片任务的印象的需求，从而一定限度地保证自身一致性评估结果的准确。
62.图4所示为本技术一实施例提供的基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果的流程示意图。在图2所示实施例基础上延伸出图4所示实施例，下面着重叙述图4所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
63.如图4所示，在本技术实施例中，基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果，包括如下步骤。
64.步骤s310，针对自身一致性参数，将已完成阅片任务对应的阅片方确定为目标阅片方。
65.目标阅片方是一致性评估时，待处理阅片任务的分配目标。可以理解，自身一致性参数对应自身一致性评估，也就是让阅片方再次执行已完成的阅片任务。所以将已完成阅片任务对应的阅片方确定为目标阅片方。
66.步骤s320，将待处理阅片任务分配给目标阅片方，得到待处理阅片任务对应的阅片结果。
67.示例性地，针对自身一致性评估，阅片方再次执行已完成的阅片任务，以免阅片方对阅片任务产生印象，分配前系统将已完成阅片任务中的阅片特征信息进行修改后，生成待处理阅片任务，再将其分配给阅片方，阅片方执行阅片任务，得到待处理阅片任务对应的阅片结果。
68.本技术实施例提供的一致性评估方法，将修改后的已完成阅片任务作为待处理阅片任务，分配给阅片方再次执行，以得到待处理阅片任务对应的阅片结果，用来和已完成阅片任务对应的阅片结果作比对，进行自身一致性评估。通过自身一致性评估，可以考察该阅片方在不同的时间点再次执行该阅片任务是否能做出相同或相近的判断，从而衡量该阅片方的阅片稳定性。
69.在本技术实施例中，待评估一致性参数包括组内一致性参数，基于已完成阅片任务和待评估一致性参数，确定用于一致性评估的待处理阅片任务，包括：针对组内一致性参数，将已完成阅片任务，确定为待处理阅片任务。
70.可以理解，针对组内一致性参数，对应组内一致性评估，即将同一阅片任务分配给项目组内其他未执行过该任务的阅片方，对所有结果进行一致性程度的判定。示例性地，因组内一致性评估，只需要未执行过该任务的阅片方进行阅片，所以不需要对已完成阅片任务进行处理，直接将已完成阅片任务，确定为待处理阅片任务即可。
71.本技术实施例提供的一致性评估方法，在组内一致性评估时，直接将已完成阅片任务，确定为待处理阅片任务，满足组内一致性评估实践应用的需求。
72.图5所示为本技术另一实施例提供的基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果的流程示意图。在图1所示实施例基础上延伸出图5所示实施例，下面着重叙述图5所示实施例与图1所示实施例的不同之处，相同之处不再赘
述。
73.如图5所示，在本技术实施例中，待评估一致性参数包括组内一致性参数，基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果，包括如下步骤。
74.步骤s330，确定已完成阅片任务对应的临床试验项目中的所有阅片方。
75.可以理解，该步是确定项目组中的所有阅片方。
76.步骤s340，将所有阅片方中排除掉已完成阅片任务对应的阅片方后的剩余阅片方，确定为目标阅片方。
77.目标阅片方是一致性评估时，待处理阅片任务的分配目标。
78.可以理解，组内一致性参数对应组内一致性评估，也就是将项目组中的未执行该阅片任务的阅片方确定为目标阅片方。
79.步骤s350，将待处理阅片任务分配给目标阅片方，得到待处理阅片任务对应的阅片结果。
80.可以理解，将待处理阅片任务分配给目标阅片方，目标阅片方执行阅片任务，得到待处理阅片任务对应的阅片结果。
81.本技术实施例提供的一致性评估方法，将待处理阅片任务分配给项目组中的未执行该阅片任务的阅片方，执行任务得到待处理阅片任务对应的阅片结果，用来和已完成阅片任务对应的阅片结果作比对，进行组内一致性评估。通过组内一致性评估，获取已完成阅片任务对应的阅片方与组内其他阅片方中的每一阅片方的一致程度，可以衡量出阅片方在该组的阅片一致水平。
82.图6所示为本技术一实施例提供的确定用于一致性评估的已完成阅片任务的流程示意图。在图1所示实施例基础上延伸出图6所示实施例，下面着重叙述图6所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
83.如图6所示，在本技术实施例中，确定用于一致性评估的已完成阅片任务，包括如下步骤。
84.步骤s110，确定用于一致性评估的访视进度筛选条件和访视时间筛选条件。
85.可以理解，访视进度指受试者已完成过几次访视，且访视任务都已被执行完毕，即阅片人已阅完片子。对应地，访视时间指受试者进行访视对应的时间信息，或访视任务的阅片完成时间。示例性地，访视进度筛选条件可以是x次，也可以是至少x次等。访视时间筛选条件可以是最近一次阅片完成时间距离筛选时至少y天，或第x次访视任务的阅片完成时间距离筛选时y天等。可以根据实际，添加相应的规则或创建新的规则来进行筛选。
86.步骤s120，确定临床试验项目中，满足访视进度筛选条件和访视时间筛选条件的目标受试者。
87.目标受试者是选择用来确定已完成阅片任务的受试者。
88.示例性地，在临床试验项目中，基于筛选条件得到符合条件的受试者。可将符合条件的受试者全部作为目标受试者。因符合条件的受试者的数量可能庞大，结合具体实践应用，也可以在符合条件的受试者中随机选择部分作为目标受试者。
89.步骤s130，基于目标受试者，确定已完成阅片任务。
90.示例性地，若访视进度筛选条件为不少于a次，访视时间筛选条件为第a次访视任
务的阅片完成时间距离筛选时b天，则在临床试验项目中，基于前述条件筛选出符合条件的受试者，若为c人，在c人中随机选择d人来作为目标受试者，对于这d个人中的每个人，他的前a次访视任务都是已完成阅片任务，存在对应的阅片方，对其进行一致性评估。也就是说，经过前述筛选，我们确定出已完成阅片任务的总数量为a*d个。
91.本技术实施例提供的一致性评估方法，通过筛选条件选择受试者，以此确定已完成阅片任务和进行一致性评估的阅片方，不会受人为因素干扰，最符合临床实践应用做法。
92.上文结合图1至图6，详细描述了本技术的方法实施例，下面结合图7至图12详细描述本技术的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
93.图7所示为本技术一实施例提供的一致性评估装置的结构示意图。如图7所示，本技术实施例提供的一致性评估装置包括第一确定模块100、第二确定模块200、分配模块300和第三确定模块400。
94.具体地，第一确定模块100被配置为确定用于一致性评估的已完成阅片任务。第二确定模块200被配置为基于已完成阅片任务和待评估一致性参数，确定用于一致性评估的待处理阅片任务。分配模块300被配置为基于待评估一致性参数，分配待处理阅片任务，得到待处理阅片任务对应的阅片结果。第三确定模块400被配置为基于已完成阅片任务对应的阅片结果和待处理阅片任务对应的阅片结果，确定已完成阅片任务对应的阅片方的一致性评估结果。
95.在一些实施例中，第二确定模块200进一步被配置为，针对组内一致性参数，将已完成阅片任务，确定为待处理阅片任务。
96.图8所示为本技术一实施例提供的第二确定模块的结构示意图。在图7所示实施例基础上延伸出图8所示实施例，下面着重叙述图8所示实施例与图7所示实施例的不同之处，相同之处不再赘述。
97.如图8所示，在本技术实施例中，第二确定模块200包括修改单元210和第一确定单元220。具体地，修改单元210被配置为针对自身一致性参数，修改已完成阅片任务中的阅片特征信息。第一确定单元220被配置为将修改后的已完成阅片任务，确定为待处理阅片任务。
98.图9所示为本技术一实施例提供的修改单元的结构示意图。在图8所示实施例基础上延伸出图9所示实施例，下面着重叙述图9所示实施例与图8所示实施例的不同之处，相同之处不再赘述。
99.如图9所示，在本技术实施例中，修改单元210包括第一修改子单元211、第二修改子单元212和第三修改子单元213。具体地，第一修改子单元211被配置为修改已完成阅片任务的流水号。第二修改子单元212被配置为修改已完成阅片任务的受试者的名称和编号。第三修改子单元213被配置为修改修改已完成阅片任务的图像顺序。
100.图10所示为本技术一实施例提供的分配模块的结构示意图。在图7所示实施例基础上延伸出图10所示实施例，下面着重叙述图10所示实施例与图7所示实施例的不同之处，相同之处不再赘述。
101.如图10所示，在本技术实施例中，分配模块300包括第二确定单元310和第一分配单元320。具体地，第二确定单元310被配置为针对自身一致性参数，将已完成阅片任务对应
的阅片方确定为目标阅片方。第一分配单元320被配置为将待处理阅片任务分配给目标阅片方，得到待处理阅片任务对应的阅片结果。
102.图11所示为本技术另一实施例提供的分配模块的结构示意图。在图7所示实施例基础上延伸出图11所示实施例，下面着重叙述图11所示实施例与图7所示实施例的不同之处，相同之处不再赘述。
103.如图11所示，在本技术实施例中，待评估一致性参数包括组内一致性参数，分配模块300还包括第三确定单元330、第四确定单元340和第二分配单元350。具体地，第三确定单元330被配置为确定已完成阅片任务对应的临床试验项目中的所有阅片方。第四确定单元340被配置为将所有阅片方中排除掉已完成阅片任务对应的阅片方后的剩余阅片方，确定为目标阅片方。第二分配单元350被配置为将待处理阅片任务分配给目标阅片方，得到待处理阅片任务对应的阅片结果。
104.图12所示为本技术另一实施例提供的第一确定模块的结构示意图。在图7所示实施例基础上延伸出图12所示实施例，下面着重叙述图12所示实施例与图7所示实施例的不同之处，相同之处不再赘述。
105.如图12所示，在本技术实施例中，第一确定模块100包括第五确定单元110、第六确定单元120和第七确定单元130。具体地，第五确定单元110被配置为确定用于一致性评估的访视进度筛选条件和访视时间筛选条件。第六确定单元120被配置为确定临床试验项目中，满足访视进度筛选条件和访视时间筛选条件的目标受试者。第七确定单元130被配置为基于目标受试者，确定已完成阅片任务。
106.下面，参考图13来描述根据本技术实施例的电子设备。图13所示为本技术一实施例提供的电子设备的结构示意图。
107.如图13所示，电子设备9包括一个或多个处理器8和存储器7。
108.处理器8可以是中央处理单元(central processing unit，cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备9中的其他组件以执行期望的功能。
109.存储器7可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(random access memory，ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(read-only memory，rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器8可以运行程序指令，以实现上文提及的本技术的各个实施例的一致性评估方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如阅片结果等各种内容。
110.在一个示例中，电子设备9还可以包括：输入装置6和输出装置5，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
111.该输入装置6可以包括例如键盘、鼠标等等。
112.该输出装置5可以向外部输出各种信息，包括风险任务数据等。该输出装置5可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
113.当然，为了简化，图13中仅示出了该电子设备9中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备9还
可以包括任何其他适当的组件。
114.除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述描述的根据本技术各种实施例的一致性评估方法中的步骤。
115.计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
116.此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述描述的根据本技术各种实施例的一致性评估方法中的步骤。
117.计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外射线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read-only memory，eprom或闪存)、光纤、便携式紧凑盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
118.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
119.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
120.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
121.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
122.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。