信息服务质量评价方法和信息服务质量评价装置与流程

1.本发明涉及信息服务质量评价技术领域，尤其涉及一种信息服务质量评价方法和信息服务质量评价装置。


背景技术：

2.为了帮助用户选择更好的服务提供者，通常会对各服务提供者提供的服务进行质量评价。传统的信息技术服务质量评价方法，是基于某一时间点去收集评价材料进行评价，该评价方法所得到的评价结果准确性不高。


技术实现要素：

3.本发明提供一种信息服务质量评价方法和信息服务质量评价装置，用以解决现有技术中信息服务质量评价准确性不高的缺陷，提高信息服务质量评价的准确性。
4.本发明提供一种信息服务质量评价方法，包括：
5.获取目标评价事件的测量值以及所述目标评价事件对应的目标时刻，所述目标评价事件为实际发生的评价事件；
6.计算多个评价指标中与所述目标评价事件对应的目标评价指标的权重，与所述目标评价指标在所述目标时刻对信息服务的重要指标与所述目标时刻下所述目标评价指标对应的实际评分的比值，之间的乘积，确定所述目标评价指标在所述目标时刻的第一质量评价分数；
7.基于所述目标评价指标在各时刻的第一质量评价分数的最大幅值、所述目标评价指标在各时刻的第一质量评价分数的平均值、所述目标评价指标在各时刻的第一质量评价分数的期望以及所述目标评价指标在各时刻的第一质量评价分数的方差，确定所述信息服务质量的目标质量评价分数；
8.基于所述目标质量评价分数和目标阈值，确定所述信息服务质量的评价结果；
9.其中，所述目标时刻下所述目标评价指标对应的实际评分和所述目标评价指标在所述目标时刻对信息服务的重要指标均基于目标技术标准知识图谱和所述目标评价事件的测量值确定。
10.根据本发明提供的一种信息服务质量评价方法，所述计算多个评价指标中与所述目标评价事件对应的目标评价指标的权重，与所述目标评价指标在所述目标时刻对信息服务的重要指标与所述目标时刻下所述目标评价指标对应的实际评分的比值，之间的乘积，确定所述目标评价指标在所述目标时刻的第一质量评价分数，包括：
11.通过公式：
[0012][0013]
确定，其中，为评价指标in在t时刻的第一质量评价分数；为所述评价
指标in在t时刻对信息服务的重要指标；为所述评价指标in的权重；为t时刻评价指标in对应的实际评分；in用于表征所述目标评价指标；n表示所述评价指标in对应的评价事件的数量，且n为正整数。
[0014]
根据本发明提供的一种信息服务质量评价方法，所述目标评价指标在所述目标时刻对信息服务的重要指标通过如下步骤确定：
[0015]
基于所述目标技术标准知识图谱，确定所述目标时刻下所述目标评价指标对应的标准评分；
[0016]
基于所述目标时刻下所述目标评价指标对应的实际评分和所述目标时刻下所述目标评价指标对应的标准评分之差，与所述目标时刻下所述目标评价指标对应的标准评分，之间的比值，确定所述目标评价指标在所述目标时刻对信息服务的重要指标。
[0017]
根据本发明提供的一种信息服务质量评价方法，所述基于所述目标时刻下所述目标评价指标对应的实际评分和所述目标时刻下所述目标评价指标对应的标准评分之差，与所述目标时刻下所述目标评价指标对应的标准评分，之间的比值，确定所述目标评价指标在所述目标时刻对信息服务的重要指标，包括：
[0018]
通过公式：
[0019][0020]
确定，其中，为评价指标in在t时刻对信息服务的重要指标；为t时刻所述评价指标in对应的实际评分；为t时刻所述评价指标in对应的标准评分。
[0021]
根据本发明提供的一种信息服务质量评价方法，所述目标时刻下所述目标评价指标对应的实际评分通过如下步骤确定：
[0022]
基于所述目标技术标准知识图谱，确定所述目标评价指标下评价目标评价事件的标准参考值；
[0023]
基于所述目标评价指标下评价目标评价事件的标准参考值、所述目标评价指标对应的评价事件在各个时刻下的测量值的均值以及所述目标评价指标下评价所述目标评价事件在目标时刻下的测量值，确定所述目标时刻下所述目标评价指标对应的实际评分。
[0024]
根据本发明提供的一种信息服务质量评价方法，所述基于所述目标评价指标下评价目标评价事件的标准参考值、所述目标评价指标对应的评价事件在各个时刻下的测量值的均值以及所述目标评价指标下评价所述目标评价事件在目标时刻下的测量值，确定所述目标时刻下所述目标评价指标对应的实际评分，包括：
[0025]
通过公式：
[0026][0027]
确定，其中，为t时刻评价指标in对应的实际评分；ψi表征所述评价指标in下评价事件i的标准参考值；表征所述评价指标in下对应的评价事件在各个时刻下的测量
值的均值；表征所述评价指标in评价事件i在t时刻下的测量值；n表示所述评价指标in对应的评价事件的数量，且n为正整数；i为第i个评价事件。
[0028]
根据本发明提供的一种信息服务质量评价方法，所述基于所述目标评价指标在各时刻的第一质量评价分数的最大幅值、所述目标评价指标在各时刻的第一质量评价分数的平均值、所述目标评价指标在各时刻的第一质量评价分数的期望以及所述目标评价指标在各时刻的第一质量评价分数的方差，确定所述信息服务质量的目标质量评价分数，包括：
[0029]
通过公式：
[0030][0031]
确定，其中，f为所述目标质量评价分数；x为评价指标in在各时刻的第一质量评价分数的平均值；b为所述评价指标in在各时刻的质量评价分数的期望；c为所述评价指标in在各时刻的第一质量评价分数的方差；为所述评价指标in的第一质量评价分数的最大幅值。
[0032]
根据本发明提供的一种信息服务质量评价方法，在所述获取目标评价事件的测量值以及所述目标评价事件对应的目标时刻之前，所述方法包括：
[0033]
拆解目标技术标准文档，生成多个技术标准知识点文档；
[0034]
对所述技术标准知识点文档进行实体识别，确定所述技术标准知识点文档对应的目标实体；
[0035]
对所述技术标准知识点文档进行切分，获取多个句子文档；
[0036]
基于所述句子文档间的关联关系和所述目标实体，获取所述目标技术标准知识图谱。
[0037]
根据本发明提供的一种信息服务质量评价方法，所述对所述技术标准知识点文档进行实体识别，确定所述技术标准知识点文档对应的目标实体，包括：
[0038]
对所述技术标准知识点文档的标准评价指标的评价事件类进行识别，确定所述技术标准知识点文档对应的第一实体；
[0039]
对所述第一实体标注所述第一实体对应的实体相关信息，获取所述目标实体；其中，
[0040]
所述实体相关信息包括：评价事件类中各评价事件的标准参数，以及所述标准参数对应的阈值。
[0041]
本发明还提供一种信息服务质量评价装置，包括：
[0042]
第一处理模块，用于获取目标评价事件的测量值以及所述目标评价事件对应的目标时刻，所述目标评价事件为实际发生的评价事件；
[0043]
第二处理模块，用于计算多个评价指标中与所述目标评价事件对应的目标评价指标的权重，与所述目标评价指标在所述目标时刻对信息服务的重要指标与所述目标时刻下所述目标评价指标对应的实际评分的比值，之间的乘积，确定所述目标评价指标在所述目标时刻的第一质量评价分数；
[0044]
第三处理模块，用于基于所述目标评价指标在各时刻的第一质量评价分数的最大
幅值、所述目标评价指标在各时刻的第一质量评价分数的平均值、所述目标评价指标在各时刻的第一质量评价分数的期望以及所述目标评价指标在各时刻的第一质量评价分数的方差，确定所述信息服务质量的目标质量评价分数；
[0045]
第四处理模块，用于基于所述目标质量评价分数和目标阈值，确定所述信息服务质量的评价结果；
[0046]
其中，其中，所述目标时刻下所述目标评价指标对应的实际评分和所述目标评价指标在所述目标时刻对信息服务的重要指标均基于目标技术标准知识图谱和所述目标评价事件的测量值确定。
[0047]
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述目标种所述信息服务质量评价方法。
[0048]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述目标种所述信息服务质量评价方法。
[0049]
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述目标种所述信息服务质量评价方法。
[0050]
本发明提供的信息服务质量评价方法和信息服务质量评价装置，通过获取目标评价事件以根据实际发生的各评价事件在各个时刻的测量值，确定目标评价指标在目标时刻的第一质量评价分数；然后基于各个评价指标在各个时刻的第一质量评价分数，确定最终的信息服务的目标质量评价分数；使得在对信息服务进行质量评价时，可以根据实际情况，考虑信息技术服务在各时间下的评价指标以及评价事件的具体信息，并根据评价指标以及评价事件的具体信息计算各时刻下的服务质量评分，进而得到最终的质量评分，显著提高评价结果的准确性，且实现了信息服务质量评分的实时更新。
附图说明
[0051]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0052]
图1是本发明提供的信息服务质量评价方法的流程示意图；
[0053]
图2是本发明提供的信息服务质量评价装置的结构示意图；
[0054]
图3是本发明提供的电子设备的结构示意图。
具体实施方式
[0055]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
下面结合图1描述本发明的信息服务质量评价方法。
[0057]
该信息服务质量评价方法的执行主体可以为信息服务质量评价装置，或者可以为
服务器，或者还可以为用户的终端，包括但不限于手机或平板电脑等移动终端以及pc端等非移动终端。
[0058]
如图1所示，该信息服务质量评价方法，包括：步骤110、步骤120、步骤130和步骤140。
[0059]
步骤110、获取目标评价事件的测量值以及目标评价事件对应的目标时刻，目标评价事件为实际发生的评价事件；
[0060]
在该步骤中，评价事件为用于评价信息服务的事件，如：网络攻击事件以及网络稳定事件等。
[0061]
可以理解的是，不同的评价事件对应有不同的类别，不同类别的评价事件可以用于评价不同的评价指标。
[0062]
其中，评价指标包括：安全性、可靠性、响应性、有形性以及友好性等指标。
[0063]
在本发明中，可以将每一个评价指标对应的评价事件确定为一个评价事件类，建立评价指标与评价事件类之间的对应关系；如，网络攻击事件可用于评价安全性评价指标，则建立安全性评价指标与网络攻击事件之间的对应关系。
[0064]
目标评价事件为实际所发生的全部评价事件中的任意一个评价事件。
[0065]
可以理解的是，对于某一类评价事件，其在目标时段内可能不会发生，或者发生一次，或者发生多次；每发生一次，均对应有一个时刻。
[0066]
多个时刻为目标时间段内，实际所发生的全部评价事件对应的时刻。
[0067]
目标时刻可以为多个时刻中的任意时刻。
[0068]
目标时刻用于表征目标评价事件的实际发生时刻。
[0069]
在本发明中，获取在目标时段内所发生的全部评价事件，并将全部评价事件中的每一个评价事件均确定为目标评价事件，且将每一个实际发生的评价事件对应的时刻确定为该评价事件对应的时刻，也即每一个目标评价事件对应一个目标时刻。
[0070]
测量值为与目标评价事件相关的参数，用于表征目标评价事件的发生情况。
[0071]
例如，在评价事件为网络攻击事件的情况下，目标时刻下该评价事件的测量值可以表现为在目标时刻发生的网络攻击的次数。
[0072]
在实际执行过程中，可将获取的目标评价事件在目标时刻下的测量值以及该评价事件对应的时刻存储于本地数据库或云端数据库中，在需要使用时调取即可。
[0073]
在本发明中，通过获取实际发生的评价事件，而非各评价指标对应的评价事件，可以减少评价数据量，从而减少评价时间。
[0074]
步骤120、计算多个评价指标中与目标评价事件对应的目标评价指标的权重，与目标评价指标在目标时刻对信息服务的重要指标与目标时刻下目标评价指标对应的实际评分的比值，之间的乘积，确定目标评价指标在目标时刻的第一质量评价分数；
[0075]
在该步骤中，目标时刻下目标评价指标对应的实际评分和目标评价指标在目标时刻对信息服务的重要指标均基于目标技术标准知识图谱和目标评价事件的测量值确定。
[0076]
其中，目标评价指标为多个评价指标中与目标评价事件对应的评价指标。
[0077]
不同的评价指标对应有不同类别的评价事件，即对应有不同的评价事件类。
[0078]
每一个评价指标均对应一个权重，对于同一个评价指标，在关注点不同的信息服务评价中，其对应的权重也可能不同。
[0079]
例如，对于安全性指标，其在关注点侧重于网络安全的信息服务评价中对应的权重可能高于其在关注点侧重于信息服务效率的信息服务评价中对应的权重。
[0080]
权重基于关注点的侧重程度来确定，用于表征每一个安全性指标随关注点变化的情况。
[0081]
用户可基于实际情况对权重进行不同的设置。
[0082]
在实际执行过程中，目标评价指标和目标评价指标所对应的评价事件，可以从目标技术标准知识图谱中确定。
[0083]
其中，目标技术标准知识图谱为预先生成的，用于进行信息技术服务评价的技术标准知识图谱。
[0084]
需要说明的是，在实际应用中，随着时间变化，信息技术服务的评价指标以及每个评价指标对应的评价事件等均会发生变化，同一评价指标在不同时刻下对同一评价事件的重要程度也可能不同。
[0085]
目标评价指标在目标时刻对信息服务的重要指标用于表征该评价指标在该时刻对信息服务的重要程度，该重要指标可能随着时间的变化而实时变化。
[0086]
例如，对于同一网络攻击事件，随着用户对网络安全要求的提高，安全性指标在当前时刻对信息服务的重要程度可能高于以前对信息服务的重要程度。
[0087]
重要程度用于表征每一个安全性指标随时间变化的情况。
[0088]
目标时刻下目标评价指标对应的实际评分用于表征在某时刻，通过对某评价指标对应的评价事件的测量值进行评价所确定的评分。
[0089]
第一质量评价分数用于表征目标评价指标在目标时刻的质量评价分数。
[0090]
可以理解的是，同一评价指标在不同时刻的质量评价分数可能不同，不同评价指标在同一时刻的质量评价分数也可能不同。
[0091]
在一些实施例中，可以通过公式：
[0092][0093]
确定目标评价指标在目标时刻的第一质量评价分数。
[0094]
其中，为评价指标in在t时刻的第一质量评价分数；为评价指标in在t时刻对信息服务的重要指标；为评价指标in的权重；为t时刻评价指标in对应的实际评分；in用于表征目标评价指标；n表示评价指标in对应的评价事件的数量，且n为正整数；t时刻为目标时刻。
[0095]
下面对目标评价指标在目标时刻对信息服务的重要指标和目标时刻下目标评价指标对应的实际评分的确定方式进行说明。
[0096]
在一些实施例中，目标时刻下目标评价指标对应的实际评分通过如下步骤确定：
[0097]
基于目标技术标准知识图谱，确定目标评价指标下评价目标评价事件的标准参考值；
[0098]
基于目标评价指标下评价目标评价事件的标准参考值、目标评价指标对应的评价事件在各个时刻下的测量值的均值以及目标评价指标下评价目标评价事件在目标时刻下
的测量值，确定目标时刻下目标评价指标对应的实际评分。
[0099]
在该实施例中，目标时刻下目标评价指标对应的实际评分表征在综合考虑时间变化对评价指标的影响下的，目标评价指标所对应的实际值。
[0100]
目标评价指标下评价目标评价事件在各个时刻下的测量值的均值为目标评价指标下评价目标评价事件在目标时段内的多个时刻下的测量值的均值。
[0101]
如，在目标评价事件为网络攻击事件的情况下，在目标时段内，在n个时刻发生了网络攻击事件，且各个时刻发生的网络攻击次数为分别为n1、n2和n3次；则目标评价指标下评价目标评价事件在各个时刻下的测量值的均值为(n1+n2+n3)/n次。
[0102]
目标评价指标下评价目标评价事件的标准参考值为在不考虑评价指标随时刻变化的情况下，基于目标技术标准知识图谱所确定的该评价指标下评价该评价事件的值。
[0103]
可以理解的是，目标评价指标下评价目标评价事件的标准参考值可以基于目标技术标准知识图谱确定。
[0104]
在一些实施例中，目标时刻下目标评价指标对应的实际评分可以通过公式：
[0105][0106]
确定，其中，为t时刻评价指标in对应的实际评分；ψi表征评价指标in下评价事件i的标准参考值；表征评价指标in下对应的评价事件在各个时刻下的测量值的均值；表征评价指标in下评价事件i在t时刻下的测量值；n表示评价指标in对应的评价事件的数量，且n为正整数；i为第i个评价事件。
[0107]
在该实施例中，评价指标in下评价事件i的标准参考值ψi可以直接从目标技术标准知识图谱中查找所获取。
[0108]
评价指标in对应的评价事件在各个时刻下的测量值的均值可以通过对评价指标in下全部的评价事件在各个时刻下的测量值取平均值确定。
[0109]
在一些实施例中，目标评价指标在目标时刻对信息服务的重要指标通过如下步骤确定：
[0110]
基于目标技术标准知识图谱，确定目标时刻下目标评价指标对应的标准评分；
[0111]
基于目标时刻下目标评价指标对应的实际评分和目标时刻下目标评价指标对应的标准评分之差，与目标时刻下目标评价指标对应的标准评分，之间的比值，确定目标评价指标在目标时刻对信息服务的重要指标。
[0112]
在该实施例中，目标时刻下目标评价指标对应的标准评分，为在考虑评价指标随时间变化的情况下，基于目标技术标准知识图谱所确定的目标评价指标所对应的评分。
[0113]
目标时刻下目标评价指标对应的实际评分的确定方式已在上述实施例中进行说明，在此不作赘述。
[0114]
在一些实施例中，目标评价指标在目标时刻对信息服务的重要指标可以通过公式：
[0115][0116]
确定，其中，为评价指标in在t时刻对信息服务的重要指标；为t时刻评价指标in对应的实际评分；为t时刻评价指标in对应的标准评分。
[0117]
其中，t时刻评价指标in对应的标准评分可以基于目标技术标准知识图谱确定。
[0118]
需要说明的是，实际应用过程中每一次涉及到的目标评价事件均可以作为历史数据，通过将该历史数据作为标准实体相关信息以对目标技术标准知识图谱进行补充以及优化。
[0119]
在一些实施例中，可以基于历史数据的规律，建立历史评价事件与该历史评价事件对应的时刻值之间的关联关系，从而建立目标技术标准知识图谱中，各目标实体与时刻值之间的对应关系。
[0120]
在后续应用过程中，通过查找目标技术标准知识图谱，即可直接获取目标时刻下目标评价指标对应的标准评分。
[0121]
步骤130、基于目标评价指标在各时刻的第一质量评价分数的最大幅值、目标评价指标在各时刻的第一质量评价分数的平均值、目标评价指标在各时刻的第一质量评价分数的期望以及目标评价指标在各时刻的第一质量评价分数的方差，确定信息服务质量的目标质量评价分数；
[0122]
在该步骤中，目标质量评价分数为综合不同时刻下的多个评价指标评价对应的评价事件所得到的信息服务质量的整体评价分数。
[0123]
基于步骤120，可以分别生成全部评价指标在各个时刻的第一质量评价分数，得到多个第一质量评价分数；然后通过对这多个第一质量评价分数进行综合处理，即可生成目标质量评价分数。
[0124]
其中，目标评价指标在各时刻的第一质量评价分数的最大幅值即该评价指标在目标时段对应的多个第一质量评价分数的最大值与最小值的差值的绝对值。
[0125]
目标评价指标在各时刻的第一质量评价分数的平均值即该评价指标在目标时段对应的多个第一质量评价分数的平均值。
[0126]
目标评价指标在各时刻的第一质量评价分数的方差即该评价指标在目标时段对应的多个第一质量评价分数的方差。
[0127]
在一些实施例中，可以基于公式：
[0128][0129]
确定信息服务质量的目标质量评价分数，其中，f为信息服务质量的目标质量评价分数；x为评价指标in在各时刻的第一质量评价分数的平均值；b为评价指标in在各时刻的质量评价分数的期望；c为评价指标in在各时刻的第一质量评价分数的方差；为评价指标in的第一质量评价分数的最大幅值。
[0130]
步骤140、基于目标质量评价分数和目标阈值，确定信息服务质量的评价结果。
[0131]
在该步骤中，目标阈值可以基于用户自定义。
[0132]
目标阈值为用于评价目标质量评价分数的高低的标准值。
[0133]
评价结果用于表征信息服务质量的高低。
[0134]
例如，评价结果可以包括：信息服务质量较差和信息服务质量较好。
[0135]
可以理解的是，在目标质量评价分数低于目标阈值的情况下，表征目标质量评价分数较低，则生成用于表征信息服务质量较差的评价结果。
[0136]
在目标质量评价分数不低于目标阈值的情况下，表征目标质量评价分数较高，则生成用于表征信息服务质量较好的评价结果。
[0137]
当然，在其他实施例中，还可以设置多个目标阈值，以将信息服务质量分为三个或三个以上的等级，本发明不作限定。
[0138]
下面以目标评价指标为安全性指标，评价事件为网络攻击事件为例，对该方法的具体实现方式进行说明。
[0139]
例如，分别在t1、t2和t3时刻发生了网络攻击事件，其中，t1时刻发生的网络攻击事件记为i1，t2时刻发生的网络攻击事件记为i2，t3时刻发生的网络攻击事件记为i3。
[0140]
其中，i1对应的测量值为x1，i2对应的测量值为x2，i3对应的测量值为x3。
[0141]
在实际执行过程中，当要计算安全性指标在t1时刻下的第一质量评价分数时，先基于目标技术标准知识图谱直接获取安全性指标下评价事件i1的标准参考值ψ1；
[0142]
然后计算安全性指标下评价网络攻击事件在t1、t2和t3时刻下的测量值的均值以及安全性指标下评价事件i1在t1时刻下的测量值α(t)i，α(t)i＝x1。
[0143]
将以上各数值带入上述公式(2)中，其中n＝3，即可确定t1时刻安全性指标对应的实际评分
[0144]
基于同样的方法，可以分别获取t2和t3时刻安全性指标对应的实际评分；以及其他评价指标在各时刻对应的实际评分。
[0145]
在分别得到各时刻各评价指标对应的实际评分之后，可以计算目标评价指标在目标时刻对信息服务的重要指标。
[0146]
继续以安全性指标在t1时刻对信息服务的重要指标为例，首先可以直接从目标技术标准知识图谱中获取t1时刻安全性指标对应的标准评分然后根据之前确定的t1时刻安全性指标对应的实际评分，带入上述公式(3)中，即可确定安全性指标在t1时刻对信息服务的重要指标
[0147]
基于同样的方法，可以分别获取安全性指标在t2和t3时刻对信息服务的重要指标，以及其他评价指标在各时刻对信息服务的重要指标。
[0148]
在得到t1时刻安全性指标对应的实际评分以及安全性指标在t1时刻对信息服务的重要指标之后，将二者带入上述公式(1)中，即可得到安全性指标在t1时刻的第一质量评价分数。
[0149]
可以理解的是，当t1时刻，安全性指标对应有多个实际发生的评价事件时，则可以分别获取t1时刻各评价事件所对应的安全性指标对应的实际评分，并进行求和计算，如公式(1)所示，以生成最终的第一质量评价分数。
[0150]
基于同样的方法，可以获取各评价指标在各时刻的第一质量评价分数，然后基于上述公式(4)即可确定目标质量评价分数，并基于目标质量评价分数确定信息服务质量的评价结果。
[0151]
其中，例如当安全性指标在t1、t2和t3时刻的第一质量评价分数分别为f1(t1)、f2(t2)、f3(t3)，且f1(t1)最大，f3(t3)最小时，则安全性指标的第一质量评价分数的最大幅值为[f1(t1)-f3(t3)]。
[0152]
根据本发明实施例提供的信息服务质量评价方法，通过获取目标评价事件以根据实际发生的各评价事件在各个时刻的测量值，确定目标评价指标在目标时刻的第一质量评价分数；然后基于各个评价指标在各个时刻的第一质量评价分数，确定最终的信息服务的目标质量评价分数；使得在对信息服务进行质量评价时，可以根据实际情况，考虑信息技术服务在各时间下的评价指标以及评价事件的具体信息，并根据评价指标以及评价事件的具体信息计算各时刻下的服务质量评分，进而得到最终的质量评分，显著提高评价结果的准确性，且实现了信息服务质量评分的实时更新。
[0153]
在一些实施例中，在步骤110之前，该方法可以包括：
[0154]
拆解目标技术标准文档，生成多个技术标准知识点文档；
[0155]
对技术标准知识点文档进行实体识别，确定技术标准知识点文档对应的目标实体；
[0156]
对技术标准知识点文档进行切分，获取多个句子文档；
[0157]
基于句子文档间的关联关系和目标实体，获取目标技术标准知识图谱。
[0158]
在该实施例中，目标技术标准知识图谱包括：实体、属性和关系三要素。
[0159]
其中，实体为客观存在并可相互区别的事物，在本发明中，实体可以为评价事件类。
[0160]
属性用于表征各个实体的属性，在本发明中，属性可以为各个评价事件对应的标准参数以及标注参数对应的阈值等。
[0161]
例如，在评价事件为网络攻击事件的情况下，则评价事件对应的标准参数可以为攻击次数，标准参数对应的阈值可以为1次或2次，可以理解的是，在实际攻击次数不超过攻击阈值的情况下，则认为未发生网络攻击事件。
[0162]
关系用于表征各实体之间的关联关系，在本发明中，关系可以表征不同评价事件之间的关联关系。
[0163]
目标技术标准文档可以为信息服务质量领域的标准技术评价文档。
[0164]
技术标准知识点文档可以包括但不限于：信息技术服务的服务范围知识点文档以及信息技术服务的标准评价指标知识点文档等。
[0165]
目标实体包括各类评价事件实体以及评价事件对应的标准参数。
[0166]
在一些实施例中，对技术标准知识点文档进行实体识别，确定技术标准知识点文档对应的目标实体，可以包括：
[0167]
对技术标准知识点文档的标准评价指标的评价事件类进行识别，确定技术标准知
识点文档对应的第一实体；
[0168]
对第一实体标注第一实体对应的实体相关信息，获取目标实体；其中，
[0169]
实体相关信息包括：评价事件类中各评价事件的标准参数，以及标准参数对应的阈值。
[0170]
在该实施例中，第一实体即为各个评价事件类，也即为各个评价指标对应的评价事件。
[0171]
对技术标准知识点文档的标准评价指标的评价事件类进行识别，可以得到多个评价事件类，并将不同的评价事件类确定为不同的第一实体。
[0172]
例如，第一实体可以包括：网络攻击事件对应的实体和网络稳定事件对应的实体等。
[0173]
获取每一个第一实体对应的实体相关信息，将该实体相关信息确定为该第一实体对应的属性，并基于该实体相关信息对第一实体进行标记，生成目标实体。
[0174]
其中，实体相关信息包括：评价事件类中各评价事件的标准参数，以及标准参数对应的阈值。
[0175]
则，不同的目标实体表征不同的评价事件以及该评价事件对应的标准参数。
[0176]
在一些实施例中，对技术标准知识点文档进行切分，获取多个句子文档，可以包括：基于断句符号对技术标准知识点文档进行切分，获取多个句子文档。
[0177]
在该实施例中，句子文档为技术标准知识点中的一句文本。
[0178]
断句符号包括但不限于句号、分号以及省略号等。
[0179]
在实际执行过程中，对每个技术标准知识点文档按照句号、分号以及省略号等断句符号进行句子切分，得到多个句子文档。
[0180]
在该实施例中，通过对每个技术标准知识点文档按照句号、分号等断句符号，进行句子切分，得到多个句子文档，可以实现对技术标准知识点文档的精细切分，从而有助于提高后续所建立的目标技术标准知识图谱中各目标实体之间的关联关系的精确度，以提供能精准搜索，并提高最终评价结果的精度和准确度。
[0181]
在得到目标实体和句子文档后，获取各个句子文档之间的关联关系，并基于各句子文档对应的目标实体，建立各个目标实体之间的关联关系，从而生成目标技术标准知识图谱。
[0182]
可以理解的是，在该目标技术标准知识图谱中，包含有多个评价事件类、各评价事件类对应的相关信息以及各评价事件类之间的关联关系。
[0183]
基于各评价事件类、各评价事件类对应的相关信息以及各评价事件类之间的关联关系，可以生成标准情况下目标评价指标对应的评价标准值。
[0184]
根据本发明实施例提供的信息服务质量评价方法，通过在实际应用之前建立目标技术标准知识图谱，以精细描述目标技术标准文档中各个实体的关联关系，实现实体的链接，并能够提供精准搜索，从而，保证用户在对文档数据中的知识点(比如，评价指标，评价事件类)进行提取时，可以快速提取到所需的评价指标和评价事件类，并且无需遍历整个文档数据，显著提高了评价效率、评价结果的精确度和准确度。
[0185]
下面对本发明提供的信息服务质量评价装置进行描述，下文描述的信息服务质量评价装置与上文描述的信息服务质量评价方法可相互对应参照。
[0186]
如图2所示，该信息服务质量评价装置包括：第一处理模块210、第二处理模块220、第三处理模块230和第四处理模块240。
[0187]
第一处理模块210，用于获取目标评价事件的测量值以及目标评价事件对应的目标时刻，目标评价事件为实际发生的评价事件；
[0188]
第二处理模块220，用于计算多个评价指标中与目标评价事件对应的目标评价指标的权重，与目标评价指标在目标时刻对信息服务的重要指标与目标时刻下目标评价指标对应的实际评分的比值，之间的乘积，确定目标评价指标在目标时刻的第一质量评价分数；
[0189]
第三处理模块230，用于基于目标评价指标在各时刻的第一质量评价分数的最大幅值、目标评价指标在各时刻的第一质量评价分数的平均值、目标评价指标在各时刻的第一质量评价分数的期望以及目标评价指标在各时刻的第一质量评价分数的方差，确定信息服务质量的目标质量评价分数；
[0190]
第四处理模块240，用于基于目标质量评价分数和目标阈值，确定信息服务质量的评价结果；
[0191]
其中，目标时刻下目标评价指标对应的实际评分和目标评价指标在目标时刻对信息服务的重要指标均基于目标技术标准知识图谱和目标评价事件的测量值确定。
[0192]
根据本发明实施例提供的信息服务质量评价装置，通过获取目标评价事件以根据实际发生的各评价事件在各个时刻的测量值，确定目标评价指标在目标时刻的第一质量评价分数；然后基于各个评价指标在各个时刻的第一质量评价分数，确定最终的信息服务的目标质量评价分数；使得在对信息服务进行质量评价时，可以根据实际情况，考虑信息技术服务在各时间下的评价指标以及评价事件的具体信息，并根据评价指标以及评价事件的具体信息计算各时刻下的服务质量评分，进而得到最终的质量评分，显著提高评价结果的准确性，且实现了信息服务质量评分的实时更新，
[0193]
在一些实施例中，第二处理模块220，还可以用于：
[0194]
通过公式：
[0195][0196]
确定目标评价指标在目标时刻的第一质量评价分数，其中，为评价指标in在t时刻的第一质量评价分数；为评价指标in在t时刻对信息服务的重要指标；为评价指标in的权重；为t时刻评价指标in对应的实际评分；in用于表征目标评价指标；n表示评价指标in对应的评价事件的数量，且n为正整数。
[0197]
在一些实施例中，该装置还可以包括第五处理模块，用于：
[0198]
基于目标技术标准知识图谱，确定目标时刻下目标评价指标对应的标准评分；
[0199]
基于目标时刻下目标评价指标对应的实际评分和目标时刻下目标评价指标对应的标准评分之差，与目标时刻下目标评价指标对应的标准评分，之间的比值，确定目标评价指标在目标时刻对信息服务的重要指标。
[0200]
在一些实施例中，第五处理模块，还可以用于：
[0201]
通过公式：
[0202][0203]
确定目标评价指标在目标时刻对信息服务的重要指标，其中，为评价指标in在t时刻对信息服务的重要指标；为t时刻评价指标in对应的实际评分；为t时刻评价指标in对应的标准评分。
[0204]
在一些实施例中，该装置还可以包括第六处理模块，用于：
[0205]
基于目标技术标准知识图谱，确定目标评价指标下评价目标评价事件的标准参考值；
[0206]
基于目标评价指标下评价目标评价事件的标准参考值、目标评价指标对应的评价事件在各个时刻下的测量值的均值以及目标评价指标下评价目标评价事件在目标时刻下的测量值，确定目标时刻下目标评价指标对应的实际评分。
[0207]
在一些实施例中，第三处理模块230，还可以用于：
[0208]
通过公式：
[0209][0210]
确定目标时刻下目标评价指标对应的实际评分，其中，为t时刻评价指标in对应的实际评分；ψi表征评价指标in下评价事件i的标准参考值；表征评价指标in下对应的评价事件在各个时刻下的测量值的均值；表征评价指标in评价事件i在t时刻下的测量值；n表示评价指标in对应的评价事件的数量，且n为正整数；i为第i个评价事件。
[0211]
在一些实施例中，第二处理模块210还可以用于：
[0212]
通过公式：
[0213][0214]
确定信息服务质量的目标质量评价分数，其中，f为目标质量评价分数；x为评价指标in在各时刻的第一质量评价分数的平均值；b为评价指标in在各时刻的质量评价分数的期望；c为评价指标in在各时刻的第一质量评价分数的方差；为评价指标in的第一质量评价分数的最大幅值。
[0215]
在一些实施例中，该装置还可以包括第七处理模块，用于：
[0216]
在获取多个时刻中目标时刻下目标评价事件的测量值之前，拆解目标技术标准文档，获取多个技术标准知识点文档；
[0217]
对技术标准知识点文档进行实体识别，确定技术标准知识点文档对应的目标实体；
[0218]
对技术标准知识点文档进行切分，获取多个句子文档；
[0219]
基于句子文档间的关联关系和目标实体，获取目标技术标准知识图谱。
[0220]
在一些实施例中，第七处理模块还可以用于：
[0221]
对技术标准知识点文档的标准评价指标的评价事件类进行识别，确定技术标准知识点文档对应的第一实体；
[0222]
对第一实体标注第一实体对应的实体相关信息，生成目标实体；其中，
[0223]
实体相关信息包括：评价事件类中各评价事件的标准参数，以及标准参数对应的阈值。
[0224]
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行信息服务质量评价方法，该方法包括：获取目标评价事件的测量值以及目标评价事件对应的目标时刻，目标评价事件为实际发生的评价事件；计算多个评价指标中与目标评价事件对应的目标评价指标的权重，与目标评价指标在目标时刻对信息服务的重要指标与目标时刻下目标评价指标对应的实际评分的比值，之间的乘积，确定目标评价指标在目标时刻的第一质量评价分数；基于目标评价指标在各时刻的第一质量评价分数的最大幅值、目标评价指标在各时刻的第一质量评价分数的平均值、目标评价指标在各时刻的第一质量评价分数的期望以及目标评价指标在各时刻的第一质量评价分数的方差，确定信息服务质量的目标质量评价分数；基于目标质量评价分数和目标阈值，确定信息服务质量的评价结果；其中，目标时刻下目标评价指标对应的实际评分和目标评价指标在目标时刻对信息服务的重要指标均基于目标技术标准知识图谱和目标评价事件的测量值确定。
[0225]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0226]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的信息服务质量评价方法，该方法包括：获取目标评价事件的测量值以及目标评价事件对应的目标时刻，目标评价事件为实际发生的评价事件；计算多个评价指标中与目标评价事件对应的目标评价指标的权重，与目标评价指标在目标时刻对信息服务的重要指标与目标时刻下目标评价指标对应的实际评分的比值，之间的乘积，确定目标评价指标在目标时刻的第一质量评价分数；基于目标评价指标在各时刻的第一质量评价分数的最大幅值、目标评价指标在各时刻的第一质量评价分数的平均值、目标评价指标在各时刻的第一质量评价分数的期望以及目标评价指标在各时刻的第一质量评价分数的方差，确定信息服务质量的目标质量评价分数；基于目标质量评价分数和目标阈值，确定信息服务质量的评价结果；其中，目标时刻下目标评价指标对
应的实际评分和目标评价指标在目标时刻对信息服务的重要指标均基于目标技术标准知识图谱和目标评价事件的测量值确定。
[0227]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的信息服务质量评价方法，该方法包括：获取目标评价事件的测量值以及目标评价事件对应的目标时刻，目标评价事件为实际发生的评价事件；计算多个评价指标中与目标评价事件对应的目标评价指标的权重，与目标评价指标在目标时刻对信息服务的重要指标与目标时刻下目标评价指标对应的实际评分的比值，之间的乘积，确定目标评价指标在目标时刻的第一质量评价分数；基于目标评价指标在各时刻的第一质量评价分数的最大幅值、目标评价指标在各时刻的第一质量评价分数的平均值、目标评价指标在各时刻的第一质量评价分数的期望以及目标评价指标在各时刻的第一质量评价分数的方差，确定信息服务质量的目标质量评价分数；基于目标质量评价分数和目标阈值，确定信息服务质量的评价结果；其中，目标时刻下目标评价指标对应的实际评分和目标评价指标在目标时刻对信息服务的重要指标均基于目标技术标准知识图谱和目标评价事件的测量值确定。
[0228]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0229]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0230]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。