一种审核质量监控方法和装置及设备与流程

1.本发明涉及互联网技术领域，尤其涉及一种审核质量监控方法和装置及设备。


背景技术：

2.随着互联网技术的发展，媒体平台已经深入人们的日常生活，各种媒体平台向用户展示不同的页面信息，实现了信息的高效传播。媒体平台的服务器接收用户上传的请求页面展示的页面信息，该页面信息可以是广告或文学作品等不同类型的页面信息。以广告为例，为了避免不合乎规范的广告被展示传播，在服务器接收广告主上传的广告的基本信息和请求页面展示的广告创意之后，媒体平台需要根据审核规则对上述基本信息和广告创意进行审核。不符合审核规则的页面信息一旦被投放到媒体平台，不仅会对媒体平台用户造成不良影响，还会给媒体平台带来很大的安全隐患，例如造成媒体平台停运及整改，会给媒体平台造成很大的损失，因此页面信息的审核质量十分重要。媒体平台一般通过审核人员进行页面信息审核，所以审核人员的审核质量关系到页面信息投放系统和投放媒体平台的内容安全。
3.而相关技术的审核方案只能通过对审核人员审核的页面信息的数量、待审核的页面信息的数量、审核耗时等信息进行统计，评估审核人员的工作时间和效率，不能实现对审核质量的监控。


技术实现要素：

4.本发明实施例提供一种审核质量监控方法和装置及设备，解决相关技术的审核方案只能评估审核人员的工作时间和效率，不能实现对审核质量的监控的问题。
5.第一方面，本发明实施例提供一种审核质量监控方法，该方法包括：
6.响应于对待审核页面的审核请求，显示待审核页面；
7.根据对所述待审核页面的操作，采集至少一种类型的操作行为；
8.比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数；
9.将采集的各类型的操作行为对应的权重系数与该类型的标准操作行为的评分值相乘并求和，获得所述待审核页面对应的审核质量评分。
10.在一种可能的实施方式中，所述至少一种类型的操作行为包括如下至少一种：
11.统计与操作行为相关的预设指标，所得到的指标统计类型的操作行为；
12.监测到预设事件被触发时，所采集得到的事件触发类型的操作行为。
13.本发明实施例提供的审核质量监控方法，通过对采集的操作行为的类型进行具体划分，增加了采集的操作行为的全面性，提升了上述审核质量监控方法评价审核质量的合理性和可靠性。
14.在一种可能的实施方式中，所述至少一种类型的操作行为包括以下至少一项：
15.浏览所述待审核页面所占用的页面停留时间；
16.根据所述待审核页面中被浏览页面的占比确定的页面浏览深度；
17.点击所述待审核页面中的链接触发的链接点击行为；
18.查看所述待审核页面中的图像资源触发的资源查看行为；
19.填写所述待审核页面中的待填写内容触发的内容填写行为。
20.本发明实施例提供的审核质量监控方法，通过对采集的操作行为进行具体设置，提升了采集的操作行为的全面性，提升了上述审核质量监控方法评价审核质量的合理性和可靠性。
21.在一种可能的实施方式中，所述采集至少一种类型的操作行为，包括如下至少一个步骤：
22.统计开始显示所述待审核页面至关闭所述待审核页面的时长，得到页面停留时间；
23.根据关闭所述待审核页面时，所述待审核页面中滑块滑过的滚动条高度与滚动条总高度的比值，得到所述页面浏览深度；
24.监测到对链接类型的信息项的点击操作时，确定采集到链接点击行为，并统计对预设必点链接的点击操作的次数；
25.监测到对图像资源类型的信息项的查看操作时，确定采集到资源查看行为，并统计已查看的图像资源类型的信息项的数量；
26.监测到对审核状态为不通过的待填写内容类型的信息项的内容输入操作时，确定采集到内容填写行为，并统计已填写的审核状态为不通过的待填写内容类型的信息项的数量，及审核状态为不通过的待填写内容类型的信息项的数量。
27.本发明实施例提供的审核质量监控方法，通过对采集操作行为的步骤进行具体设置，可以合理地采集操作行为，提升了上述采集操作行为的步骤的可实施性，提升了上述审核质量监控方法的合理性、可靠性及可实施性。
28.在一种可能的实施方式中，统计对预设必点链接的点击操作的次数，包括：
29.记录被点击的链接类型的信息项的标识信息；
30.根据所述标识信息确定该点击操作为对预设必点链接的点击操作，且之前未记录有相同标识信息时，将对预设必点链接的点击操作的次数加一。
31.本发明实施例提供的审核质量监控方法，对采集链接点击行为的具体过程进行了限定，通过比较被点击的链接类型的信息项的标识信息是否被记录，可以避免对同一点击行为多次计数，准确的计算对预设必点链接的点击操作的次数，提升了上述采集链接点击行为的步骤的可实施性，提升了上述审核质量监控方法的合理性、可靠性及可实施性。
32.在一种可能的实施方式中，比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数，包括：
33.根据采集的各类型的操作行为与该类型的标准操作行为的差异度，确定采集的各类型的操作行为对应的权重系数；
34.其中，差异度越大，对应的权重系数越小。
35.本发明实施例提供的审核质量监控方法，通过比较采集的各类型的操作行为与该类型的标准操作行为的差异度，确定采集的各类型的操作行为对应的权重系数，并具体限定了差异度对权重系数的影响，提供了一种具体的权重系数的确定方法，为计算审核质量
评分提供了必要的技术基础，提升了上述审核质量监控方法的可实施性。
36.在一种可能的实施方式中，根据采集的各类型的操作行为与该类型的标准操作行为的差异度，确定采集的各类型的操作行为对应的权重系数，包括如下至少一个步骤：
37.根据采集的页面停留时间与标准页面停留时间的第一差值，确定采集的页面停留时间对应的第一权重系数；
38.根据采集的页面浏览深度与标准页面浏览深度的第二差值，确定采集的页面浏览深度对应的第二权重系数；
39.根据采集的对预设必点链接的点击操作的次数与标准的对预设必点链接的点击操作的次数的第三差值，确定采集的链接点击行为对应的第三权重系数；
40.根据已查看的图像资源类型的信息项的数量与标准图像资源类型的信息项的数量的比值，确定采集的资源查看行为对应的第四权重系数；
41.根据已填写的审核状态为不通过的待填写内容类型的信息项的数量，与审核状态为不通过的待填写内容类型的信息项的数量的第四差值，确定采集的内容填写行为对应的第五权重系数。
42.本发明实施例提供的审核质量监控方法，提供了一种确定不同类型的操作行为的差异度的具体实施方式，提升了上述审核质量监控方法的可实施性和可靠性。
43.在一种可能的实施方式中，所述差异度越大，对应的权重系数越小，包括：
44.所述第一差值为非负值时，对应最大的第一权重系数，所述第一差值为负值时，不同第一差值的绝对值范围对应不同的第一权重系数，且较大绝对值范围对应的第一权重系数小于较小绝对值范围对应的第一权重系数；
45.所述第二差值为0时，对应最大的第二权重系数，所述第二差值为负值时，不同第二差值的绝对值范围对应不同的第二权重系数，且较大绝对值范围对应的第二权重系数小于较小绝对值范围对应的第二权重系数；
46.所述第三差值为0时，对应最大的第三权重系数，所述第三差值的绝对值为正值时，对应最小的第三权重系数；
47.所述比值为1时，对应最大的第四权重系数，所述比值小于1时，不同比值对应不同的第四权重系数，且较小比值对应的第四权重系数小于较大比值对应的第四权重系数；
48.所述第四差值为0时，对应最大的第五权重系数，所述第四差值为负值时，对应的第五权重系数为所述最大的第五权重系数，减去预设系数和未填写的审核状态为不通过的待填写内容类型的信息项的数量的乘积。
49.本发明实施例提供的审核质量监控方法，提供了一种计算不同类型的操作行为的对应的权重系数的具体实施方式，增强了权重系数计算的合理性和灵活性，提升了上述审核质量监控方法的可实施性和可靠性。
50.在一种可能的实施方式中，获得所述待审核页面对应的审核质量评分之后，还包括：
51.获取所述待审核页面是否审核通过的审核结果；
52.触发审核信息统计时，统计以下至少一项审核信息；
53.根据所述审核结果，确定不同主题类型的待审核页面在统计周期内的已审核数量和/或未审核数量；
54.根据所述审核结果，确定不同主题类型的待审核页面在统计周期内的已审核数量和/或未审核数量的同比变化值和/或环比变化值；
55.根据所述审核结果，确定不同审核账号在统计周期内审核的待审核页面的审核质量评分的总和；
56.根据所述审核结果，确定在统计周期内的各待审核页面中各类型的操作行为对应的权重系数，及所述待审核页面对应的审核质量评分；
57.根据所述审核结果，确定在统计周期内不同质量评分范围的待审核页面的数量。
58.本发明实施例提供的审核质量监控方法，具体的设置了审核信息的形式，提供了一种统计审核信息的具体实施方式，提升了统计审核信息的可实施性，提升了上述审核质量监控方法的可实施性和可靠性。
59.在一种可能的实施方式中，所述统计周期包括不同的时间周期，统计至少一项审核信息之后，还包括：
60.响应于审核信息显示指令，在显示界面上采用文字和/或统计图表的形式，显示任一时间周期的审核信息；
61.响应于对所述显示界面上的时间周期切换图标的触发操作，在所述显示界面上显示所述触发操作指示的时间周期的审核信息。
62.本发明实施例提供的审核质量监控方法，提供了一种显示统计的审核信息的具体实施方式，通过文字和/或统计图表的形式显示统计的审核信息，并且可以对统计的审核信息的时间周期进行切换，提升了审核质量的直观性，可以方便快捷的展示统计的审核信息。
63.在一种可能的实施方式中，获得所述待审核页面对应的审核质量评分之后，还包括：
64.触发审核质量检测时，比较所述审核质量评分和预设低审核质量报警阈值；
65.确定所述审核质量评分小于所述预设低审核质量报警阈值时，触发低审核质量报警。
66.本发明实施例提供的审核质量监控方法，提供了一种低审核质量报警的具体实施方式，通过监测审核质量评分是否小于预设低审核质量报警阈值，判断是否触发低审核质量报警，可以在产生低审核质量事件时，及时触发低审核质量报警，提升了上述审核质量监控方法的实用性。
67.在一种可能的实施方式中，所述标准页面停留时间的评分值小于其他类型的标准操作行为对应的评分值。
68.本发明实施例提供的审核质量监控方法，通过设置标准页面停留时间的评分值小于其他类型的标准操作行为对应的评分值，可以降低页面停留时间对审核质量评分的影响，减轻故意拖延页面停留时间对审核质量评分的影响，提升了上述审核质量监控方法的实用性和合理性。
69.第二方面，本发明实施例提供一种审核质量监控装置，包括：
70.页面显示单元，用于响应于对待审核页面的审核请求，显示待审核页面；
71.行为采集单元，用于根据对所述待审核页面的操作，采集至少一种类型的操作行为；
72.系数确定单元，用于比较采集的各类型的操作行为与该类型的标准操作行为，确
定采集的各类型的操作行为对应的权重系数；
73.质量评价单元，用于将采集的各类型的操作行为对应的权重系数与该类型的标准操作行为的评分值相乘并求和，获得所述待审核页面对应的审核质量评分。
74.在一种可能的实施方式中，所述至少一种类型的操作行为包括如下至少一种：
75.统计与操作行为相关的预设指标，所得到的指标统计类型的操作行为；
76.监测到预设事件被触发时，所采集得到的事件触发类型的操作行为。
77.在一种可能的实施方式中，所述至少一种类型的操作行为包括以下至少一项：
78.浏览所述待审核页面所占用的页面停留时间；
79.根据所述待审核页面中被浏览页面的占比确定的页面浏览深度；
80.点击所述待审核页面中的链接触发的链接点击行为；
81.查看所述待审核页面中的图像资源触发的资源查看行为；
82.填写所述待审核页面中的待填写内容触发的内容填写行为。
83.在一种可能的实施方式中，所述行为采集单元采集至少一种类型的操作行为，包括如下至少一个步骤：
84.统计开始显示所述待审核页面至关闭所述待审核页面的时长，得到页面停留时间；
85.根据关闭所述待审核页面时，所述待审核页面中滑块滑过的滚动条高度与滚动条总高度的比值，得到所述页面浏览深度；
86.监测到对链接类型的信息项的点击操作时，确定采集到链接点击行为，并统计对预设必点链接的点击操作的次数；
87.监测到对图像资源类型的信息项的查看操作时，确定采集到资源查看行为，并统计已查看的图像资源类型的信息项的数量；
88.监测到对审核状态为不通过的待填写内容类型的信息项的内容输入操作时，确定采集到内容填写行为，并统计已填写的审核状态为不通过的待填写内容类型的信息项的数量，及审核状态为不通过的待填写内容类型的信息项的数量。
89.在一种可能的实施方式中，所述行为采集单元统计对预设必点链接的点击操作的次数，包括：
90.记录被点击的链接类型的信息项的标识信息；
91.根据所述标识信息确定该点击操作为对预设必点链接的点击操作，且之前未记录有相同标识信息时，将对预设必点链接的点击操作的次数加一。
92.在一种可能的实施方式中，所述系数确定单元比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数，包括：
93.根据采集的各类型的操作行为与该类型的标准操作行为的差异度，确定采集的各类型的操作行为对应的权重系数；
94.其中，差异度越大，对应的权重系数越小。
95.在一种可能的实施方式中，所述系数确定单元根据采集的各类型的操作行为与该类型的标准操作行为的差异度，确定采集的各类型的操作行为对应的权重系数，包括如下至少一个步骤：
96.根据采集的页面停留时间与标准页面停留时间的第一差值，确定采集的页面停留
时间对应的第一权重系数；
97.根据采集的页面浏览深度与标准页面浏览深度的第二差值，确定采集的页面浏览深度对应的第二权重系数；
98.根据采集的对预设必点链接的点击操作的次数与标准的对预设必点链接的点击操作的次数的第三差值，确定采集的链接点击行为对应的第三权重系数；
99.根据已查看的图像资源类型的信息项的数量与标准图像资源类型的信息项的数量的比值，确定采集的资源查看行为对应的第四权重系数；
100.根据已填写的审核状态为不通过的待填写内容类型的信息项的数量，与审核状态为不通过的待填写内容类型的信息项的数量的第四差值，确定采集的内容填写行为对应的第五权重系数。
101.在一种可能的实施方式中，所述差异度越大，对应的权重系数越小，包括：
102.所述第一差值为非负值时，对应最大的第一权重系数，所述第一差值为负值时，不同第一差值的绝对值范围对应不同的第一权重系数，且较大绝对值范围对应的第一权重系数小于较小绝对值范围对应的第一权重系数；
103.所述第二差值为0时，对应最大的第二权重系数，所述第二差值为负值时，不同第二差值的绝对值范围对应不同的第二权重系数，且较大绝对值范围对应的第二权重系数小于较小绝对值范围对应的第二权重系数；
104.所述第三差值为0时，对应最大的第三权重系数，所述第三差值的绝对值为正值时，对应最小的第三权重系数；
105.所述比值为1时，对应最大的第四权重系数，所述比值小于1时，不同比值对应不同的第四权重系数，且较小比值对应的第四权重系数小于较大比值对应的第四权重系数；
106.所述第四差值为0时，对应最大的第五权重系数，所述第四差值为负值时，对应的第五权重系数为所述最大的第五权重系数，减去预设系数和未填写的审核状态为不通过的待填写内容类型的信息项的数量的乘积。
107.在一种可能的实施方式中，获得所述待审核页面对应的审核质量评分之后，所述质量评价单元还用于：
108.获取所述待审核页面是否审核通过的审核结果；
109.触发审核信息统计时，统计以下至少一项审核信息；
110.根据所述审核结果，确定不同主题类型的待审核页面在统计周期内的已审核数量和/或未审核数量；
111.根据所述审核结果，确定不同主题类型的待审核页面在统计周期内的已审核数量和/或未审核数量的同比变化值和/或环比变化值；
112.根据所述审核结果，确定不同审核账号在统计周期内审核的待审核页面的审核质量评分的总和；
113.根据所述审核结果，确定在统计周期内的各待审核页面中各类型的操作行为对应的权重系数，及所述待审核页面对应的审核质量评分；
114.根据所述审核结果，确定在统计周期内不同质量评分范围的待审核页面的数量。
115.在一种可能的实施方式中，所述统计周期包括不同的时间周期，统计至少一项审核信息之后，所述质量评价单元还用于：
116.响应于审核信息显示指令，在显示界面上采用文字和/或统计图表的形式，显示任一时间周期的审核信息；
117.响应于对所述显示界面上的时间周期切换图标的触发操作，在所述显示界面上显示所述触发操作指示的时间周期的审核信息。
118.在一种可能的实施方式中，获得所述待审核页面对应的审核质量评分之后，所述质量评价单元还用于：
119.触发审核质量检测时，比较所述审核质量评分和预设低审核质量报警阈值；
120.确定所述审核质量评分小于所述预设低审核质量报警阈值时，触发低审核质量报警。
121.在一种可能的实施方式中，所述标准页面停留时间的评分值小于其他类型的标准操作行为对应的评分值。
122.第三方面，本发明实施例提供一种审核质量监控设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行：
123.响应于对待审核页面的审核请求，显示待审核页面；
124.根据对所述待审核页面的操作，采集至少一种类型的操作行为；
125.比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数；
126.将采集的各类型的操作行为对应的权重系数与该类型的标准操作行为的评分值相乘并求和，获得所述待审核页面对应的审核质量评分。
127.在一种可能的实施方式中，所述至少一种类型的操作行为包括如下至少一种：
128.统计与操作行为相关的预设指标，所得到的指标统计类型的操作行为；
129.监测到预设事件被触发时，所采集得到的事件触发类型的操作行为。
130.在一种可能的实施方式中，所述至少一种类型的操作行为包括以下至少一项：
131.浏览所述待审核页面所占用的页面停留时间；
132.根据所述待审核页面中被浏览页面的占比确定的页面浏览深度；
133.点击所述待审核页面中的链接触发的链接点击行为；
134.查看所述待审核页面中的图像资源触发的资源查看行为；
135.填写所述待审核页面中的待填写内容触发的内容填写行为。
136.在一种可能的实施方式中，所述处理器采集至少一种类型的操作行为，包括如下至少一个步骤：
137.统计开始显示所述待审核页面至关闭所述待审核页面的时长，得到页面停留时间；
138.根据关闭所述待审核页面时，所述待审核页面中滑块滑过的滚动条高度与滚动条总高度的比值，得到所述页面浏览深度；
139.监测到对链接类型的信息项的点击操作时，确定采集到链接点击行为，并统计对预设必点链接的点击操作的次数；
140.监测到对图像资源类型的信息项的查看操作时，确定采集到资源查看行为，并统计已查看的图像资源类型的信息项的数量；
141.监测到对审核状态为不通过的待填写内容类型的信息项的内容输入操作时，确定
采集到内容填写行为，并统计已填写的审核状态为不通过的待填写内容类型的信息项的数量，及审核状态为不通过的待填写内容类型的信息项的数量。
142.在一种可能的实施方式中，所述处理器统计对预设必点链接的点击操作的次数，包括：
143.记录被点击的链接类型的信息项的标识信息；
144.根据所述标识信息确定该点击操作为对预设必点链接的点击操作，且之前未记录有相同标识信息时，将对预设必点链接的点击操作的次数加一。
145.在一种可能的实施方式中，所述处理器比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数，包括：
146.根据采集的各类型的操作行为与该类型的标准操作行为的差异度，确定采集的各类型的操作行为对应的权重系数；
147.其中，差异度越大，对应的权重系数越小。
148.在一种可能的实施方式中，所述处理器根据采集的各类型的操作行为与该类型的标准操作行为的差异度，确定采集的各类型的操作行为对应的权重系数，包括如下至少一个步骤：
149.根据采集的页面停留时间与标准页面停留时间的第一差值，确定采集的页面停留时间对应的第一权重系数；
150.根据采集的页面浏览深度与标准页面浏览深度的第二差值，确定采集的页面浏览深度对应的第二权重系数；
151.根据采集的对预设必点链接的点击操作的次数与标准的对预设必点链接的点击操作的次数的第三差值，确定采集的链接点击行为对应的第三权重系数；
152.根据已查看的图像资源类型的信息项的数量与标准图像资源类型的信息项的数量的比值，确定采集的资源查看行为对应的第四权重系数；
153.根据已填写的审核状态为不通过的待填写内容类型的信息项的数量，与审核状态为不通过的待填写内容类型的信息项的数量的第四差值，确定采集的内容填写行为对应的第五权重系数。
154.在一种可能的实施方式中，所述差异度越大，对应的权重系数越小，包括：
155.所述第一差值为非负值时，对应最大的第一权重系数，所述第一差值为负值时，不同第一差值的绝对值范围对应不同的第一权重系数，且较大绝对值范围对应的第一权重系数小于较小绝对值范围对应的第一权重系数；
156.所述第二差值为0时，对应最大的第二权重系数，所述第二差值为负值时，不同第二差值的绝对值范围对应不同的第二权重系数，且较大绝对值范围对应的第二权重系数小于较小绝对值范围对应的第二权重系数；
157.所述第三差值为0时，对应最大的第三权重系数，所述第三差值的绝对值为正值时，对应最小的第三权重系数；
158.所述比值为1时，对应最大的第四权重系数，所述比值小于1时，不同比值对应不同的第四权重系数，且较小比值对应的第四权重系数小于较大比值对应的第四权重系数；
159.所述第四差值为0时，对应最大的第五权重系数，所述第四差值为负值时，对应的第五权重系数为所述最大的第五权重系数，减去预设系数和未填写的审核状态为不通过的
待填写内容类型的信息项的数量的乘积。
160.在一种可能的实施方式中，获得所述待审核页面对应的审核质量评分之后，所述处理器还用于：
161.获取所述待审核页面是否审核通过的审核结果；
162.触发审核信息统计时，统计以下至少一项审核信息；
163.根据所述审核结果，确定不同主题类型的待审核页面在统计周期内的已审核数量和/或未审核数量；
164.根据所述审核结果，确定不同主题类型的待审核页面在统计周期内的已审核数量和/或未审核数量的同比变化值和/或环比变化值；
165.根据所述审核结果，确定不同审核账号在统计周期内审核的待审核页面的审核质量评分的总和；
166.根据所述审核结果，确定在统计周期内的各待审核页面中各类型的操作行为对应的权重系数，及所述待审核页面对应的审核质量评分；
167.根据所述审核结果，确定在统计周期内不同质量评分范围的待审核页面的数量。
168.在一种可能的实施方式中，所述统计周期包括不同的时间周期，统计至少一项审核信息之后，所述处理器还用于：
169.响应于审核信息显示指令，在显示界面上采用文字和/或统计图表的形式，显示任一时间周期的审核信息；
170.响应于对所述显示界面上的时间周期切换图标的触发操作，在所述显示界面上显示所述触发操作指示的时间周期的审核信息。
171.在一种可能的实施方式中，获得所述待审核页面对应的审核质量评分之后，所述处理器还用于：
172.触发审核质量检测时，比较所述审核质量评分和预设低审核质量报警阈值；
173.确定所述审核质量评分小于所述预设低审核质量报警阈值时，触发低审核质量报警。
174.在一种可能的实施方式中，所述标准页面停留时间的评分值小于其他类型的标准操作行为对应的评分值。
175.第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述第一方面提供的审核质量监控方法的步骤。
176.本发明实施例提供的审核质量监控方法，通过采集对待审核页面的操作行为，计算对应的权重系数，并计算审核质量评分，可以实现基于操作行为的审核质量监控，及时地控制审核质量，保障页面信息投放系统和投放媒体平台的内容安全。
附图说明
177.图1为相关技术对广告的基本信息和广告创意进行审核的示意图；
178.图2为本发明实施例提供的一种审核质量监控方法的应用场景示意图；
179.图3为本发明实施例提供的一种审核质量监控方法的流程图；
180.图4为本发明实施例提供的一种操作行为在广告主资质审核页面的分布示意图；
181.图5为本发明实施例提供的另一种操作行为在广告主资质审核页面的分布示意图；
182.图6为本发明实施例提供的一种操作行为在广告创意审核页面的分布示意图；
183.图7为本发明实施例提供的一种显示审核信息的页面的示意图；
184.图8为本发明实施例提供的一种各类型的操作行为的权值记录页面的示意图；
185.图9为本发明实施例提供的一种审核质量检测的流程图；
186.图10为本发明实施例提供的一种审核质量监控方法的示意图；
187.图11为本发明实施例提供的一种审核质量监控方法的实施方式的流程图；
188.图12为本发明实施例提供的一种审核质量监控装置的示意图；
189.图13为本发明实施例提供的一种审核质量监控设备的示意图；
190.图14为本发明实施例提供的一种审核质量监控程序产品的示意图。
具体实施方式
191.下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
192.本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
193.根据本发明的实施方式，提出了一种审核质量监控方法和装置及设备。
194.在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
195.为了方便理解，下面对本技术实施例中涉及的名词进行解释：
196.广告主：是指为交易产品或者提供服务，自行或者委托他人设计、制作、发布广告的法人、其他经济组织或者个人。
197.应用程序接口(application programming interface，api)：指一些预先定义的接口，或指软件系统不同组成部分衔接的约定。
198.程序化广告：是指利用技术手段进行广告交易和管理，广告主可以程序化采购媒体资源，并利用算法和技术自动实现精准的目标受众定向；媒体可以程序化售卖跨媒体、跨终端，例如电脑、手机、平板、互联网电视等的媒体资源，并利用技术实现广告流量的分级，进行差异化定价。
199.同比：指本年某期的某一参数与上年同期的对应参数的比值。例如，2012年8月对参数的统计值为1000，2011年8月对参数统计值为800，(1000/800
‑
1)*100％＝25％，即参数同比增长了25％。
200.环比：指当前统计周期的某一参数和上一个统计周期的对应参数的比值。例如，2008年7月份对参数的统计值为1000，2008年6月份对参数的统计值为800，(1000/800
‑
1)*100％＝25％，即参数环比增长了25％。
201.下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
202.发明概述
203.本发明人发现，媒体平台的服务器接收用户上传的请求页面展示的页面信息，该页面信息可以是广告或文学作品等不同类型的页面信息。以广告为例，随着互联网技术的发展，广告的投放已经进入了程序化广告的阶段，广告主通过程序将广告的基本信息和广告创意上传到媒体平台，为了避免不合乎规范的广告被展示传播，在服务器接收到上述广告的基本信息和请求页面展示的广告创意之后，需要根据审核规则对上述基本信息和广告创意进行审核。不符合审核规则的页面信息一旦被投放到媒体平台，不仅会对媒体平台用户造成不良影响，还会给媒体平台带来很大的安全隐患，例如造成媒体平台停运及整改，会给媒体平台造成很大的损失，因此页面信息的审核质量十分重要。媒体平台一般通过审核人员进行页面信息审核，所以审核人员的审核质量关系到页面信息投放系统和投放媒体平台的内容安全。
204.如图1所示，为相关技术对广告的基本信息和广告创意进行审核的示意图。广告主在广告程序化平台上传广告主资料和广告素材，上述广告程序化平台通过api推送审核信息至广告程序化运营后台，审核人员在广告程序化运营后台审核广告主资料或广告素材，广告程序化运营后台将审核结果返回广告程序化平台，管理人员可以查看上述广告程序化运营后台统计的审核工作量和审核进度。由上述图1可以得到，相关技术的审核方案只能通过对审核人员审核的页面信息的数量、待审核的页面信息的数量、审核耗时等信息进行统计，评估审核人员的工作时间和效率，不能实现对审核质量的监控。
205.有鉴于此，本发明实施例提供了一种审核质量监控方法，包括：响应于对待审核页面的审核请求，显示待审核页面；根据对所述待审核页面的操作，采集至少一种类型的操作行为；比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数；将采集的各类型的操作行为对应的权重系数与该类型的标准操作行为的评分值相乘并求和，获得所述待审核页面对应的审核质量评分，以实现对审核质量的监控。
206.在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
207.应用场景总览
208.首先参考图2，其为本发明实施例提供的一种审核质量监控方法的应用场景示意图。
209.客户端设备21，用于响应于对待审核页面的审核请求，显示待审核页面；根据对所述待审核页面的操作，采集至少一种类型的操作行为；比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数；将采集的各类型的操作行为对应的权重系数与该类型的标准操作行为的评分值相乘并求和，获得所述待审核页面对应的审核质量评分。
210.客户端设备22，用于获取待审核页面，并向服务器23发送获取的待审核页面。
211.服务器23，用于接收上述客户端设备22发送的待审核页面，并向上述客户端设备21发送待审核页面。
212.上述客户端设备21和上述客户端设备22与上述服务器23之间通过网络进行通信连接，该网络可以为局域网、广域网等。
213.上述客户端设备21和上述客户端设备22可以为便捷设备(例如：手机、平板、笔记本电脑等)，也可以为个人电脑(pc，personal computer)。
214.上述服务器23可以为任何能够提供互联网服务的设备。
215.用户通过上述客户端设备21中安装的客户端与上述服务器23进行数据交互，其中，上述客户端可以为网页的浏览器，也可以为安装于移动用户设备，如手机，平板电脑等中的应用客户端。
216.用户通过上述客户端设备22中安装的客户端与上述服务器23进行数据交互，其中，上述客户端可以为网页的浏览器，也可以为安装于移动用户设备，如手机，平板电脑等中的应用客户端。
217.需要说明的是，上述应用场景仅是对本发明实施例中一种可能的实施方式的说明，并不对本发明实施例产生限定，相反，本技术的实施方式可以应用于适用的任何场景，且上述应用场景可以根据具体的实施情况进行实体的增减、删改。
218.例如上述客户端设备21执行的功能可以拆分到客户端设备和服务器上执行，其中，上述客户端设备用于响应于对待审核页面的审核请求，显示待审核页面；根据对所述待审核页面的操作，采集至少一种类型的操作行为；将采集的至少一种类型的操作行为发送至服务器；上述服务器用于比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数；将采集的各类型的操作行为对应的权重系数与该类型的标准操作行为的评分值相乘并求和，获得所述待审核页面对应的审核质量评分。
219.示例性方法
220.如图3所示，为本发明实施例提供的一种审核质量监控方法的流程图，例如应用于上述客户端设备21，包括如下步骤：
221.步骤s301，响应于对待审核页面的审核请求，显示待审核页面；
222.上述审核请求可以通过审核人员执行设定的操作触发，如打开审核应用程序的操作，或对上述审核应用程序运行后在界面上显示的审核按钮的点击操作触发。
223.上述待审核页面可以为不同类型的待审核页面，例如以广告为例，上述待审核页面可以为广告主资质审核页面，或广告创意审核页面。
224.需要说明的是，本发明实施例采用广告为例对上述审核质量监控方法进行说明，但是上述审核质量监控方法可以应用到其他需要进行审核的平台、系统中，例如文学作品的审核平台、视频内容的审核平台等，在此不再赘述。
225.步骤s302，根据对所述待审核页面的操作，采集至少一种类型的操作行为；
226.审核人员在上述待审核页面上触发多种类型的操作行为，按照采集的方式的不同，上述至少一种类型的操作行为包括如下至少一种：
227.统计与操作行为相关的预设指标，所得到的指标统计类型的操作行为；
228.监测到预设事件被触发时，所采集得到的事件触发类型的操作行为。
229.按照具体操作行为的不同，上述至少一种类型的操作行为包括以下至少一项：
230.浏览上述待审核页面所占用的页面停留时间；
231.根据上述待审核页面中被浏览页面的占比确定的页面浏览深度；
232.点击上述待审核页面中的链接触发的链接点击行为；
233.查看上述待审核页面中的图像资源触发的资源查看行为；
234.填写上述待审核页面中的待填写内容触发的内容填写行为。
235.上述页面停留时间和页面浏览深度属于上述指标统计类型的操作行为；上述链接点击行为、资源查看行为及内容填写行为属于上述事件触发类型的操作行为。
236.需要说明的是，本发明实施例提供的上述多种类型的操作行为，仅是对本发明实施例的操作行为的一种举例说明，可以根据具体的实施情况设置其他类型的操作行为，例如，观看上述待审核页面中的视频资源触发的视频查看行为等，本发明实施例对此不进行任何限定。
237.如图4所示，本发明实施例提供一种操作行为在广告主资质审核页面的分布示意图。
238.上述广告主资质审核页面包括广告主公司名称、网址等不同类型的信息项，上述信息项的具体实施方式可以根据具体的实施情况进行具体设置，本发明实施例对此不进行任何限定，之后不再赘述。
239.在上述图4所示的广告主资质审核界面中，存在隐藏的与操作行为相关的预设指标：页面停留时间、页面浏览深度，还存在不同类型的信息项：链接类型的信息项，例如“网址”，待填写内容类型的信息项，例如“备注”、“缺少资质”，链接点击行为与上述链接类型的信息项对应，内容填写行为与上述待填写内容类型的信息项对应。
240.如图5所示，本发明实施例提供另一种操作行为在广告主资质审核页面的分布示意图。
241.在上述图5所示的广告主资质审核界面中，存在隐藏的与操作行为相关的预设指标：页面停留时间、页面浏览深度，还存在不同类型的信息项：链接类型的信息项例如“网址”，图像资源类型的信息项，例如“营业执照图片”，待填写内容类型的信息项，例如“备注”、“审核失效日期”、“拒绝原因”等，链接点击行为与上述链接类型的信息项对应，资源查看行为与上述图像资源类型的信息项对应，内容填写行为与上述待填写内容类型的信息项对应。
242.如图6所示，本发明实施例提供一种操作行为在广告创意审核页面的分布示意图。
243.上述广告创意审核页面包括广告主公司名称、网址等不同类型的信息项，上述信息项的具体实施方式可以根据具体的实施情况进行具体设置，本发明实施例对此不进行任何限定，之后不再赘述。
244.在上述图6所示的广告创意审核页面中，存在隐藏的与操作行为相关的预设指标：页面停留时间、页面浏览深度，还存在不同类型的信息项：链接类型的信息项，例如“网址”、“点击url”，图像资源类型的信息项，例如“必备资质”、“行业资质”、“备用资质”、“素材资源图片”，待填写内容类型的信息项，例如“备注”，链接点击行为与上述链接类型的信息项对应，资源查看行为与上述图像资源类型的信息项对应，内容填写行为与上述待填写内容类型的信息项对应。
245.返回对图3的说明，步骤s303，比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数；
246.预先根据具体的实施情况设置不同类型的标准操作行为及对应的评分值，并通过比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数。
247.需要说明的是，上述权重系数的确定操作可以实时执行，也可以在到达预设周期时执行，例如，通过实时汇总逻辑模块汇总在预设周期内的采集的各类型的操作行为，并通过定时任务对周期进行监控，在到达预设周期后，基于上述多种类型的操作行为确定对应的权重系数。
248.步骤s304，将采集的各类型的操作行为对应的权重系数与该类型的标准操作行为的评分值相乘并求和，获得所述待审核页面对应的审核质量评分。
249.本发明实施例在审核人员的操作过程中，通过上述权重系数和上述评分值，进行行为加权，计算审核质量评分。
250.上述行为加权指根据各类型的操作行为对应的权重系数，以及该类型的标准操作行为的评分值，采用预设公式，计算审核质量评分。
251.行为加权公式：f1+f2+
…
+f
k
＝n，其中，审核质量评分n<＝100，f1，f2，
…
，f
k
叫做权，是各类型的操作行为对应的权重系数与该类型的标准操作行为的评分值的乘积。
252.例如，页面停留时间对应的权f1＝5*0.8＝4；页面浏览深度对应的权f2＝5*1＝5；链接点击行为对应的权f3＝15*1＝15；资源查看行为对应的权f4＝45*0.8＝36；内容填写行为对应的权f5＝30*1＝30；带入上述行为加权公式，f1+f2+f3+f4+f5＝4+5+15+36+30＝90，计算得到上述待审核页面对应的审核质量评分为90。
253.本发明实施例采用如下至少一个步骤采集上述至少一种类型的操作行为：
254.统计开始显示上述待审核页面至关闭上述待审核页面的时长，得到页面停留时间；
255.根据关闭上述待审核页面时，上述待审核页面中滑块滑过的滚动条高度与滚动条总高度的比值，得到上述页面浏览深度；
256.监测到对链接类型的信息项的点击操作时，确定采集到链接点击行为，并统计对预设必点链接的点击操作的次数；
257.监测到对图像资源类型的信息项的查看操作时，确定采集到资源查看行为，并统计已查看的图像资源类型的信息项的数量；
258.监测到对审核状态为不通过的待填写内容类型的信息项的内容输入操作时，确定采集到内容填写行为，并统计已填写的审核状态为不通过的待填写内容类型的信息项的数量，及审核状态为不通过的待填写内容类型的信息项的数量。
259.需要说明的是，为了防止审核人员利用操作行为的采集规则，不合理地提高各类型的操作行为对应的权重系数，以提高审核质量评分，在采集操作行为时设置对应的规则对作弊行为进行筛除，或降低作弊行为对审核质量评分的影响，如下述表1所示。
260.表1：采集操作行为时对作弊行为的处理措施
[0261][0262][0263]
作为一种可选的实施方式，上述标准页面停留时间的评分值小于其他类型的标准操作行为对应的评分值。
[0264]
降低标准页面停留时间的评分值，可以减少故意拖延以增加页面停留时间的作弊行为对审核质量评分的影响。
[0265]
此外，将页面停留时长记录在操作日志中，可以在审核质量评分不合理时对页面停留时长进行检查。
[0266]
本发明实施例采用如下实施方式对链接点击行为进行筛选，具体的，统计对预设必点链接的点击操作的次数，包括：
[0267]
记录被点击的链接类型的信息项的标识信息；
[0268]
根据上述标识信息确定该点击操作为对预设必点链接的点击操作，且之前未记录有相同标识信息时，将对预设必点链接的点击操作的次数加一。
[0269]
通过对预设必点链接的点击操作进行重复筛除，可以精确的统计对预设必点链接的点击操作的次数，保证对预设必点链接的审核。
[0270]
需要说明的是，上述f1，f2，
…
，f
k
为基于处理上述作弊行为之后的操作行为计算的权重系数，与该类型的标准操作行为的评分值的乘积。
[0271]
本发明实施例基于审核人员在待审核页面触发的不同类型的操作行为，例如，页面停留时间、页面浏览深度、链接点击行为、资源查看行为、内容填写行为等，定义各类型的操作行为对应的权重系数，在审核人员的操作过程中，采集操作行为、进行筛选和资源对比等处理作弊行为的操作，并计算对应的权重系数和审核质量评分，以供后续统计质量监控数据。
[0272]
本发明实施例采用如下实施方式计算各类型的操作行为对应的权重系数，具体的，比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数，包括：
[0273]
根据采集的各类型的操作行为与该类型的标准操作行为的差异度，确定采集的各类型的操作行为对应的权重系数；
[0274]
其中，差异度越大，对应的权重系数越小。
[0275]
具体的，根据采集的各类型的操作行为与该类型的标准操作行为的差异度，确定采集的各类型的操作行为对应的权重系数，包括如下至少一个步骤：
[0276]
(1)根据采集的页面停留时间与标准页面停留时间的第一差值，确定采集的页面停留时间对应的第一权重系数；
[0277]
需要说明的是，上述标准页面停留时间的具体数值可以根据具体的实施情况进行具体设置，例如，设置上述标准页面停留时间为60秒，本发明实施例对此不进行任何限定。
[0278]
上述第一差值为非负值时，对应最大的第一权重系数，上述第一差值为负值时，不同第一差值的绝对值范围对应不同的第一权重系数，且较大绝对值范围对应的第一权重系数小于较小绝对值范围对应的第一权重系数；
[0279]
当上述第一差值为非负值时，说明页面停留时间大于标准页面停留时间，对应最大的第一权重系数，例如1；当上述第一差值为负值时，说明页面停留时间比标准页面停留时间小，且上述第一差值的绝对值越大，页面停留时间越小，对应的第一权重系数也越小。
[0280]
上述不同第一差值的绝对值范围与不同的第一权重系数的具体对应关系可以根据具体的实施情况进行具体设置，本发明实施例对此不进行任何限定。
[0281]
(2)根据采集的页面浏览深度与标准页面浏览深度的第二差值，确定采集的页面浏览深度对应的第二权重系数；
[0282]
需要说明的是，上述标准页面浏览深度的具体数值可以根据具体的实施情况进行具体设置，例如，设置上述标准页面浏览深度为80％，本发明实施例对此不进行任何限定。
[0283]
上述第二差值为0时，对应最大的第二权重系数，上述第二差值为负值时，不同第二差值的绝对值范围对应不同的第二权重系数，且较大绝对值范围对应的第二权重系数小于较小绝对值范围对应的第二权重系数；
[0284]
当上述第二差值为0时，说明页面浏览深度等于标准页面浏览深度，对应最大的第二权重系数，例如1；当上述第二差值为负值时，说明页面浏览深度比标准页面浏览深度小，且上述第二差值的绝对值越大，页面浏览深度越小，对应的第二权重系数也越小。
[0285]
上述不同第二差值的绝对值范围与不同的第二权重系数的具体对应关系可以根据具体的实施情况进行具体设置，本发明实施例对此不进行任何限定。
[0286]
(3)根据采集的对预设必点链接的点击操作的次数与标准的对预设必点链接的点击操作的次数的第三差值，确定采集的链接点击行为对应的第三权重系数；
[0287]
需要说明的是，上述标准的对预设必点链接的点击操作的次数的具体数值可以根据具体的实施情况进行具体设置，例如，设置上述标准的对预设必点链接的点击操作的次数为3次，本发明实施例对此不进行任何限定。
[0288]
上述第三差值为0时，对应最大的第三权重系数，上述第三差值的绝对值为正值时，对应最小的第三权重系数；
[0289]
当上述第三差值为0时，说明采集的对预设必点链接的点击操作的次数，等于标准的对预设必点链接的点击操作的次数，对应最大的第三权重系数，例如1；当上述第三差值的绝对值为正值时，说明存在未被点击的预设必点链接，对应最小的第三权重系数，例如0。
[0290]
(4)根据已查看的图像资源类型的信息项的数量与标准图像资源类型的信息项的数量的比值，确定采集的资源查看行为对应的第四权重系数；
[0291]
需要说明的是，上述标准图像资源类型的信息项的数量的具体数值可以根据具体的实施情况进行具体设置，例如，设置上述标准图像资源类型的信息项的数量为2个，本发明实施例对此不进行任何限定。
[0292]
上述比值为1时，对应最大的第四权重系数，上述比值小于1时，不同比值对应不同的第四权重系数，且较小比值对应的第四权重系数小于较大比值对应的第四权重系数；
[0293]
当上述比值为1时，说明已查看的图像资源类型的信息项的数量，等于标准图像资源类型的信息项的数量，对应最大的第四权重系数，例如1；且第四权重系数与上述比值成正比。
[0294]
(5)根据已填写的审核状态为不通过的待填写内容类型的信息项的数量，与审核状态为不通过的待填写内容类型的信息项的数量的第四差值，确定采集的内容填写行为对应的第五权重系数。
[0295]
需要说明的是，上述审核状态为不通过的待填写内容类型的信息项的数量的具体数值需要基于操作行为的采集获得，不是固定值。
[0296]
上述第四差值为0时，对应最大的第五权重系数，上述第四差值为负值时，对应的第五权重系数为上述最大的第五权重系数，减去预设系数和未填写的审核状态为不通过的待填写内容类型的信息项的数量的乘积。
[0297]
当上述第四差值为0时，说明已填写的审核状态为不通过的待填写内容类型的信息项的数量，等于审核状态为不通过的待填写内容类型的信息项的数量，对应最大的第五权重系数，例如1；当上述第四差值为负值时，说明存在未填写的审核状态为不通过的待填写内容类型的信息项，根据预设系数和未填写的审核状态为不通过的待填写内容类型的信息项的数量的乘积，计算第五权重系数。
[0298]
需要说明的是，上述未填写的审核状态为不通过的待填写内容类型的信息项的数量，可以通过采集内容填写行为获得，也可以将审核状态为不通过的待填写内容类型的信息项的数量和已填写的审核状态为不通过的待填写内容类型的信息项的数量做差获得。
[0299]
如下述表2，本发明实施例提供了一种确定采集的各类型的操作行为对应的权重系数的具体实施方式。
[0300]
表2：确定采集的各类型的操作行为对应的权重系数的具体实施方式
[0301]
[0302][0303]
需要说明的是，上述标准操作行为的评分值之和不大于100。
[0304]
上述标准操作行为的评分值之和不小于65为合格。
[0305]
在获得上述审核质量评分之后，本发明实施例对审核结果和相关审核信息进行统计及上报，以实现对审核质量的监控。
[0306]
例如，统计审核信息{ui、r、actions、t}，其中，ui为审核人员，r为审核质量评分，actions为操作行为集合，t为审核类型}。
[0307]
在获得上述待审核页面对应的审核质量评分之后，本发明实施例采用如下实施方式统计审核结果和相关审核信息：
[0308]
获取上述待审核页面是否审核通过的审核结果；
[0309]
触发审核信息统计时，统计以下至少一项审核信息；
[0310]
根据上述审核结果，确定不同主题类型的待审核页面在统计周期内的已审核数量和/或未审核数量；
[0311]
根据上述审核结果，确定不同主题类型的待审核页面在统计周期内的已审核数量和/或未审核数量的同比变化值和/或环比变化值；
[0312]
根据上述审核结果，确定不同审核账号在统计周期内审核的待审核页面的审核质量评分的总和；
[0313]
根据上述审核结果，确定在统计周期内的各待审核页面中各类型的操作行为对应的权重系数，及上述待审核页面对应的审核质量评分；
[0314]
根据上述审核结果，确定在统计周期内不同质量评分范围的待审核页面的数量。
[0315]
上述审核结果指待审核页面审核通过或审核不通过的结果。
[0316]
需要说明的是，上述审核信息是对本发明实施例的审核信息的一种举例说明，任
意可以体现审核结果的相关信息都可以应用到本发明实施例中，可以根据具体的实施情况进行具体的设置，本发明实施例对此不进行任何限定。
[0317]
统计至少一项审核信息之后，本发明实施例采用如下实施方式显示上述审核信息：
[0318]
响应于审核信息显示指令，在显示界面上采用文字和/或统计图表的形式，显示任一时间周期的审核信息；
[0319]
响应于对上述显示界面上的时间周期切换图标的触发操作，在上述显示界面上显示上述触发操作指示的时间周期的审核信息。
[0320]
上述统计周期包括不同的时间周期，上述不同的时间周期的周期长度可以根据具体的实施情况进行具体的设置，例如将上述周期长度设置为小时、天、周、月、季度、年等，本发明实施例对此不进行任何限定。
[0321]
其中，当上述周期长度为小时时，采用实时汇总的实施方式；当上述周期长度为非小时的其他长度时，采用定时任务汇总的实施方式。
[0322]
将上述审核信息按照不同审核人员和/或不同统计周期生成图表，进行显示，可以让查看上述审核信息的审核管理员随时掌握审核的动态，便于管理。
[0323]
如图7所示，本发明实施例提供一种显示审核信息的页面的示意图。
[0324]
具有管理员权限的审核管理员，可以通过如上述图7所示的审核管理员视图页面查看统计的审核信息。
[0325]
上述图7采用文字的形式显示了：(1)已审核的广告主类型的待审核页面的总数量、今日的已审核数量、本周的已审核数量的周同比、今日的已审核数量的日环比；(2)已审核的广告类型的待审核页面的总数量、今日的已审核数量、本周的已审核数量的周同比、今日的已审核数量的日环比；(3)未审核的广告主类型的待审核页面的总数量、今日的未审核数量、本周的未审核数量的周同比、今日的未审核数量的日环比；(4)未审核的广告类型的待审核页面的总数量、今日的未审核数量、本周的未审核数量的周同比、今日的未审核数量的日环比。
[0326]
上述图7采用排行榜的形式显示了，不同审核账号在今日审核的待审核页面的审核质量评分的总和。
[0327]
上述图7采用柱状图的形式显示了不同审核账号在今日已审核的广告主类型的待审核页面的审核质量评分的总和，以及广告类型的待审核页面的审核质量评分的总和，其中，柱状图的横坐标为审核质量评分，纵坐标为不同的审核账号，条纹的柱状图对应广告主类型的待审核页面的审核质量评分的总和，纯色的柱状图对应广告类型的待审核页面的审核质量评分的总和。
[0328]
上述图7采用饼状图的形式显示了在今日不同质量评分范围的待审核页面的数量，例如，审核质量评分在90分以上的待审核页面的数量占今日已审核的待审核页面的数量的30％，审核质量评分在65分以下的待审核页面的数量占今日已审核的待审核页面的数量的15％，审核质量评分在65分
‑
90分的待审核页面的数量占今日已审核的待审核页面的数量的55％。
[0329]
上述图7采用表格的形式显示了今日低于低审核质量报警阈值的审核质量评分，及对应的审核账号和待审核页面的类型。
[0330]
需要说明的是，通过点击上述图7显示的审核管理员视图页面上的今日/本周/本月/全年图标，可以切换显示今日/本周/本月/全年的审核信息。
[0331]
通过点击上述图7显示的审核管理员视图页面上的周期选择图标，可以自由设置时间周期的起始和结束时间。
[0332]
如图8所示，本发明实施例提供一种各类型的操作行为的权值记录页面的示意图。
[0333]
上述图8显示的权值记录页面通过表格的形式，显示了不同审核人员的操作权值记录信息，上述操作权值记录信息包括审核人员的名称、审核质量评分、待审核页面的所属类型、操作时间、权值集合，即不同类型的操作行为的权重系数和该类型的标准操作行为的评分值的乘积、行为加权计算的过程。
[0334]
需要说明的是，通过在上述图8显示的权值记录页面上的搜索框中输入审核人员的名称，并点击搜索图标，可以显示上述审核人员的操作权值记录信息。
[0335]
通过点击上述图8显示的权值记录页面上的今日/本周/本月/全年图标，可以切换显示今日/本周/本月/全年的操作权值记录信息。
[0336]
通过点击上述图8显示的权值记录页面上的周期选择图标，可以自由设置时间周期的起始和结束时间。
[0337]
获得上述待审核页面对应的审核质量评分之后，本发明实施例采用如下实施方式进行审核质量检测：
[0338]
触发审核质量检测时，比较上述审核质量评分和预设低审核质量报警阈值；
[0339]
确定上述审核质量评分小于上述预设低审核质量报警阈值时，触发低审核质量报警。
[0340]
上述审核质量检测的触发条件可以是到达预设周期，例如1小时，也可以是接收到检测审核质量的指令等。
[0341]
上述低审核质量报警阈值的具体数值可以根据具体的实施情况进行具体的设置，例如设置上述低审核质量报警阈值为65分，本发明实施例对此不进行任何限定。
[0342]
如图9所示，本发明实施例提供一种审核质量检测的流程图，包括：
[0343]
步骤s901，设置低审核质量报警阈值；
[0344]
步骤s902，计算审核质量评分；
[0345]
上述计算审核质量评分的具体过程如上述图3所示，在此不再赘述。
[0346]
步骤s903，汇总统计不同审核账号的审核质量评分；
[0347]
步骤s904，触发审核质量检测时，判断不同审核账号的审核质量评分中是否存在小于低审核质量报警阈值的审核质量评分，若是，执行步骤s905，否则结束流程；
[0348]
步骤s905，触发对于上述审核账号的低审核质量报警。
[0349]
需要说明的是，上述图9提供的是基于不同审核账号的低审核质量报警流程，上述低审核质量报警还可以基于不同的统计周期，或不同待审核页面实现，可以根据具体的实施情况进行具体设置，本发明实施例对此不进行任何限定，在此不再赘述。
[0350]
本发明实施例通过上述显示审核信息的审核管理员视图页面、权值记录页面，及低审核质量报警，实现对审核质量的监控，可以实现对审核的广告主和广告素材的内容和质量严格把控，保证程序化广告系统的内容安全。
[0351]
本发明实施例对采集的操作行为进行加权统计和汇总，并进行报表展示和阈值告
警，为把控审核质量提供了新的解决思路和方案，保障了需要把控内容质量的后台系统，例如程序化广告系统的内容安全。
[0352]
如图10所示，本发明实施例提供一种审核质量监控方法的示意图。
[0353]
审核人员对待审核页面的不同类型的操作行为，触发操作行为采集，并将采集的不同类型的操作行为，包括页面停留时间、页面浏览深度、链接点击行为、资源查看行为、内容填写行为等，进行上报，对上报的操作行为进行汇总统计并分析，并通过基于不同审核人员的操作行为的审核质量评分的统计报表，及低审核质量报警，实现对审核质量的监控。
[0354]
本发明实施例提出了一种基于操作行为的审核质量监控方法，可以把控和监察不同审核人员的审核质量，及时的控制审核质量，保障内容显示平台，例如，程序化广告系统等的内容安全，克服了相关技术的审核方案只能评估审核人员的工作时间和效率，不能实现对审核质量的监控的缺陷。
[0355]
如图11所示，本发明实施例提供一种审核质量监控方法的实施方式的流程图，包括：
[0356]
步骤s1101，响应于对待审核页面的审核请求，显示待审核页面；
[0357]
上述待审核页面可以为不同类型的待审核页面，例如广告主类型的待审核页面，或广告类型的待审核页面。
[0358]
步骤s1102，根据对上述待审核页面的操作，采集至少一种类型的操作行为；
[0359]
上述至少一种类型的操作行为包括页面停留时间、页面浏览深度、链接点击行为、资源查看行为、内容填写行为。
[0360]
步骤s1103，比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数；
[0361]
步骤s1104，将采集的各类型的操作行为对应的权重系数与该类型的标准操作行为的评分值相乘并求和，获得上述待审核页面对应的审核质量评分，执行步骤s1105，或步骤s1108；
[0362]
步骤s1105，获取上述待审核页面是否审核通过的审核结果，执行步骤s1106；
[0363]
步骤s1106，触发审核信息统计时，统计至少一项审核信息，执行步骤s1107；
[0364]
步骤s1107，响应于审核信息显示指令，在显示界面上采用文字和/或统计图表的形式，显示任一时间周期的审核信息，流程结束；
[0365]
步骤s1108，触发审核质量检测时，判断上述审核质量评分是否小于预设低审核质量报警阈值，若是，执行步骤s1109，否则结束流程；
[0366]
步骤s1109，触发低审核质量报警，流程结束。
[0367]
示例性设备
[0368]
在介绍了本发明示例性实施方式的方法之后，接下来，对本技术示例性实施方式的审核质量监控装置等进行介绍。
[0369]
如图12所示，基于相同的发明构思，本发明实施例还提供了一种审核质量监控装置，包括：
[0370]
页面显示单元1201，用于响应于对待审核页面的审核请求，显示待审核页面；
[0371]
行为采集单元1202，用于根据对所述待审核页面的操作，采集至少一种类型的操作行为；
[0372]
系数确定单元1203，用于比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数；
[0373]
质量评价单元1204，用于将采集的各类型的操作行为对应的权重系数与该类型的标准操作行为的评分值相乘并求和，获得所述待审核页面对应的审核质量评分。
[0374]
在一种可能的实施方式中，所述至少一种类型的操作行为包括如下至少一种：
[0375]
统计与操作行为相关的预设指标，所得到的指标统计类型的操作行为；
[0376]
监测到预设事件被触发时，所采集得到的事件触发类型的操作行为。
[0377]
在一种可能的实施方式中，所述至少一种类型的操作行为包括以下至少一项：
[0378]
浏览所述待审核页面所占用的页面停留时间；
[0379]
根据所述待审核页面中被浏览页面的占比确定的页面浏览深度；
[0380]
点击所述待审核页面中的链接触发的链接点击行为；
[0381]
查看所述待审核页面中的图像资源触发的资源查看行为；
[0382]
填写所述待审核页面中的待填写内容触发的内容填写行为。
[0383]
在一种可能的实施方式中，所述行为采集单元1202采集至少一种类型的操作行为，包括如下至少一个步骤：
[0384]
统计开始显示所述待审核页面至关闭所述待审核页面的时长，得到页面停留时间；
[0385]
根据关闭所述待审核页面时，所述待审核页面中滑块滑过的滚动条高度与滚动条总高度的比值，得到所述页面浏览深度；
[0386]
监测到对链接类型的信息项的点击操作时，确定采集到链接点击行为，并统计对预设必点链接的点击操作的次数；
[0387]
监测到对图像资源类型的信息项的查看操作时，确定采集到资源查看行为，并统计已查看的图像资源类型的信息项的数量；
[0388]
监测到对审核状态为不通过的待填写内容类型的信息项的内容输入操作时，确定采集到内容填写行为，并统计已填写的审核状态为不通过的待填写内容类型的信息项的数量，及审核状态为不通过的待填写内容类型的信息项的数量。
[0389]
在一种可能的实施方式中，所述行为采集单元1202统计对预设必点链接的点击操作的次数，包括：
[0390]
记录被点击的链接类型的信息项的标识信息；
[0391]
根据所述标识信息确定该点击操作为对预设必点链接的点击操作，且之前未记录有相同标识信息时，将对预设必点链接的点击操作的次数加一。
[0392]
在一种可能的实施方式中，所述系数确定单元1203比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的操作行为对应的权重系数，包括：
[0393]
根据采集的各类型的操作行为与该类型的标准操作行为的差异度，确定采集的各类型的操作行为对应的权重系数；
[0394]
其中，差异度越大，对应的权重系数越小。
[0395]
在一种可能的实施方式中，所述系数确定单元1203根据采集的各类型的操作行为与该类型的标准操作行为的差异度，确定采集的各类型的操作行为对应的权重系数，包括如下至少一个步骤：
[0396]
根据采集的页面停留时间与标准页面停留时间的第一差值，确定采集的页面停留时间对应的第一权重系数；
[0397]
根据采集的页面浏览深度与标准页面浏览深度的第二差值，确定采集的页面浏览深度对应的第二权重系数；
[0398]
根据采集的对预设必点链接的点击操作的次数与标准的对预设必点链接的点击操作的次数的第三差值，确定采集的链接点击行为对应的第三权重系数；
[0399]
根据已查看的图像资源类型的信息项的数量与标准图像资源类型的信息项的数量的比值，确定采集的资源查看行为对应的第四权重系数；
[0400]
根据已填写的审核状态为不通过的待填写内容类型的信息项的数量，与审核状态为不通过的待填写内容类型的信息项的数量的第四差值，确定采集的内容填写行为对应的第五权重系数。
[0401]
在一种可能的实施方式中，所述差异度越大，对应的权重系数越小，包括：
[0402]
所述第一差值为非负值时，对应最大的第一权重系数，所述第一差值为负值时，不同第一差值的绝对值范围对应不同的第一权重系数，且较大绝对值范围对应的第一权重系数小于较小绝对值范围对应的第一权重系数；
[0403]
所述第二差值为0时，对应最大的第二权重系数，所述第二差值为负值时，不同第二差值的绝对值范围对应不同的第二权重系数，且较大绝对值范围对应的第二权重系数小于较小绝对值范围对应的第二权重系数；
[0404]
所述第三差值为0时，对应最大的第三权重系数，所述第三差值的绝对值为正值时，对应最小的第三权重系数；
[0405]
所述比值为1时，对应最大的第四权重系数，所述比值小于1时，不同比值对应不同的第四权重系数，且较小比值对应的第四权重系数小于较大比值对应的第四权重系数；
[0406]
所述第四差值为0时，对应最大的第五权重系数，所述第四差值为负值时，对应的第五权重系数为所述最大的第五权重系数，减去预设系数和未填写的审核状态为不通过的待填写内容类型的信息项的数量的乘积。
[0407]
在一种可能的实施方式中，获得所述待审核页面对应的审核质量评分之后，所述质量评价单元1204还用于：
[0408]
获取所述待审核页面是否审核通过的审核结果；
[0409]
触发审核信息统计时，统计以下至少一项审核信息；
[0410]
根据所述审核结果，确定不同主题类型的待审核页面在统计周期内的已审核数量和/或未审核数量；
[0411]
根据所述审核结果，确定不同主题类型的待审核页面在统计周期内的已审核数量和/或未审核数量的同比变化值和/或环比变化值；
[0412]
根据所述审核结果，确定不同审核账号在统计周期内审核的待审核页面的审核质量评分的总和；
[0413]
根据所述审核结果，确定在统计周期内的各待审核页面中各类型的操作行为对应的权重系数，及所述待审核页面对应的审核质量评分；
[0414]
根据所述审核结果，确定在统计周期内不同质量评分范围的待审核页面的数量。
[0415]
在一种可能的实施方式中，所述统计周期包括不同的时间周期，统计至少一项审
核信息之后，所述质量评价单元1204还用于：
[0416]
响应于审核信息显示指令，在显示界面上采用文字和/或统计图表的形式，显示任一时间周期的审核信息；
[0417]
响应于对所述显示界面上的时间周期切换图标的触发操作，在所述显示界面上显示所述触发操作指示的时间周期的审核信息。
[0418]
在一种可能的实施方式中，获得所述待审核页面对应的审核质量评分之后，所述质量评价单元1204还用于：
[0419]
触发审核质量检测时，比较所述审核质量评分和预设低审核质量报警阈值；
[0420]
确定所述审核质量评分小于所述预设低审核质量报警阈值时，触发低审核质量报警。
[0421]
在一种可能的实施方式中，所述标准页面停留时间的评分值小于其他类型的标准操作行为对应的评分值。
[0422]
下面参照图13来描述根据本发明的这种实施方式的审核质量监控设备130。图13显示的审核质量监控设备130仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0423]
如图13所示，审核质量监控设备130可以以通用计算设备的形式表现，例如其可以为终端设备。审核质量监控设备130的组件可以包括但不限于：上述至少一个处理单元131、上述至少一个存储单元132、连接不同系统组件(包括存储单元132和处理单元131)的总线133。
[0424]
总线133可以包括数据总线、地址总线和控制总线。
[0425]
存储单元132可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(rom)1323。
[0426]
存储单元132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0427]
审核质量监控设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，这种通信可以通过输入/输出(i/o)接口135进行。并且，审核质量监控设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与审核质量监控设备130的其它模块通信。应当明白，尽管图中未示出，可以结合审核质量监控设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0428]
示例性程序产品
[0429]
在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使客户端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的审核质量监控装置中各模块的步骤，例如，客户端设备可以执行审核质量监控方法，包括：响应于对待审核页面的审核请求，显示待审核页面；根据对所述待审核页面的操作，采集至少一种类型的操作行为；比较采集的各类型的操作行为与该类型的标准操作行为，确定采集的各类型的
操作行为对应的权重系数；将采集的各类型的操作行为对应的权重系数与该类型的标准操作行为的评分值相乘并求和，获得所述待审核页面对应的审核质量评分。
[0430]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0431]
如图14所示，描述了根据本发明的实施方式的用于审核质量监控的程序产品140，其可以采用便携式紧凑盘只读存储器(cd
‑
rom)并包括程序代码，并可以在终端设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0432]
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0433]
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0434]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0435]
应当注意，尽管在上文详细描述中提及了系统的若干模块或子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
[0436]
此外，尽管在附图中以特定顺序描述了本发明系统各模块的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些操作，将多个操作合并为一个操作执行，和/或将一个操作分解为多个操作执行。
[0437]
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。