一种基于多维数据的数据处理方法与流程

本发明涉及数据分析，尤其涉及一种基于多维数据的数据处理方法。

背景技术：

1、人工智能要是指利用人工智能技术和算法来对输入的数据进行分析、判断和分类的过程，它可以识别和理解图像、语音、文本、视频等各种形式的数据，并从中提取有用的信息和模式。

2、但是，目前的技术无法对识别数据的偏差异常进行主动高效地监测分析，且难以进行针对性的管理来提高数据识别的监测效果。为此，本发明提出了一种基于多维数据的数据处理方法，通过对获取的历史识别数据进行处理筛选得到异常识别数据，对异常识别数据进行效度和信度的计算和分析得到偏差数据，并针对偏差数据进行评估管理，以便可以及时高效的提高异常数据的监管处理效果。

技术实现思路

1、本发明的目的是为了解决背景技术中的问题，而提出的一种基于多维数据的数据处理方法。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种基于多维数据的数据处理方法，包括：

4、获取目标数据库的历史识别数据，对获取的历史识别数据进行数据清洗，并对数据清洗后的数据进行预处理和筛选得到异常识别数据；

5、将异常识别数据进行分组标记，对每个异常识别数据进行有效性计算以及可靠性计算，得到对应的效度和信度；

6、将异常识别数据的信度与预设的信度临界阈值比较分析得到偏差数据；

7、对偏差数据进行偏差发生率的计算和分析，并根据分析结果动态制定偏差数据管理评估准则。

8、优选地，对获取的历史识别数据进行数据清洗，并对数据清洗后的数据进行预处理的步骤包括：

9、通过数据质量工具自动识别和纠正数据质量问题，并将数据格式标准化；

10、基于历史识别数据采集模块获取历史识别数据，将历史识别数据按照不同类型进行分组，包括自然语言数据组、语音数据组以及图像数据组；

11、对每个类型的数据组集合进行标记hj，j＝1，2，3。

12、优选地，统计数据组集合hj的识别率；将数据组集合识别率标记为slj；

13、设置数据组识别率标准值bj；并通过公式zs＝(slj/bj)×100％计算获取数据组集合对应的识别指数zs；

14、根据计算获得的识别指数数值绘制识别指数曲线，分析历史识别数据的识别指数变化趋势时；

15、获取任意一组识别数据对应的识别指数变化曲线；通过识别指数变化曲线确定异常临界值；

16、根据异常临界值确定若干计算周期，基于计算周期对所有数据组的异常临界值取均值；将低于均值的数据标记为异常识别数据。

17、优选地，基于若干计算周期将异常识别数据按照对应数据类型进行分组并标记ai，i＝1，2，3，并按组记录异常识别数据对应的识别率si；

18、对每个异常识别数据进行有效性计算，得到对应的每个异常识别数据的效度d；根据每个异常识别数据的效度继续对其进行可靠性计算，得到异常识别数据的信度xd；

19、优选地，对每个异常识别数据进行有效性计算时，确定每个识别数据组的正常响应时间ti0；统计每个异常识别数据的识别过程的响应时间ti和识别率si；通过公式d＝(ti-ti0)×si计算每个异常识别数据的效度d。

20、优选地，根据每个异常识别数据的效度继续对其进行可靠性计算，统计每个异常识别数据的识别过程的识别复杂度fi；通过公式计算获取异常识别数据的信度xd；式中，α为异常识别数据的信度的预设比例系数，且0<α<1。

21、优选地，将异常识别数据的信度xd与预设的信度临界阈值xd0比较分析；若xd不大于xd0，则判定异常识别数据的信度失效并生成失效标签，根据失效标签将对应的异常识别数据标记为偏差数据；若xd大于xd0，则判定异常识别数据的信度有效并生成有效标签。

22、优选地，获取偏差数据对应的信度，并通过公式计算得到偏差发生率pf，式中，β为可变更常数参数；

23、根据偏差发生率的数值进行评估，制定管理准则，将偏差发生率与预设的所有偏差发送范围进行遍历匹配获取对应的偏差发送范围并生成对应的管理指令，将获取的管理指令发送至不同等级的技术员进行处理分析。

24、与现有的技术相比，本发明提供了基于一种基于多维数据的数据处理方法的优点在于：

25、本发明通过对人工智能数据库的历史识别数据进行采集，并进行分组标记，将数据筛选清洗可以避免重复、不完整以及失实数据；通过异常识别处理分析模块接收预处理数据，并获取异常识别数据，有利于更好地管理和使用数据，并高效地对数据进行分析；通过对所有异常识别数据进行数据计算得到对应的效度和信度，将异常识别数据的信度与预设的信度临界阈值比较分析得到偏差数据，基于偏差数据进行综合评估管理，制定偏差数据管理评估准则，并生成不同等级管理指令。

26、综上所述，本发明可以根据实际情况，结合偏差数据计算偏差发生率，对计算结果进行分析处理，通过评估偏差发生率的数值判断是否超过预设范围，系统生成的不同等级管理指令，并将该信息发送至不同等级的技术员进行处理操作，由此确保后续一种基于多维数据的数据处理方法的正常运行。

技术特征：

1.一种基于多维数据的数据处理方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多维数据的数据处理方法，其特征在于，对获取的历史识别数据进行数据清洗，并对数据清洗后的数据进行预处理的步骤包括：

3.根据权利要求2所述的一种基于多维数据的数据处理方法，其特征在于，统计数据组集合hj的识别率；将数据组集合识别率标记为slj；

4.根据权利要求3所述的一种基于多维数据的数据处理方法，其特征在于，基于若干计算周期将异常识别数据按照对应数据类型进行分组并标记ai，i＝1，2，3，并按组记录异常识别数据对应的识别率si；

5.根据权利要求4所述的一种基于多维数据的数据处理方法，其特征在于，对每个异常识别数据进行有效性计算时，确定每个识别数据组的正常响应时间ti0；统计每个异常识别数据的识别过程的响应时间ti和识别率si；通过公式d＝(ti-ti0)×si计算每个异常识别数据的效度d。

6.根据权利要求4所述的一种基于多维数据的数据处理方法，其特征在于，根据每个异常识别数据的效度继续对其进行可靠性计算，统计每个异常识别数据的识别过程的识别复杂度fi；通过公式计算获取异常识别数据的信度xd；式中，α为异常识别数据的信度的预设比例系数，且0<α<1。

7.根据权利要求5所述的一种基于多维数据的数据处理方法，其特征在于，将异常识别数据的信度xd与预设的信度临界阈值xd0比较分析；若xd不大于xd0，则判定异常识别数据的信度失效并生成失效标签，根据失效标签将对应的异常识别数据标记为偏差数据；若xd大于xd0，则判定异常识别数据的信度有效并生成有效标签。

8.根据权利要求7所述的一种基于多维数据的数据处理方法，其特征在于，获取偏差数据对应的信度，并通过公式计算得到偏差发生率pf，式中，β为可变更常数参数；

技术总结
本发明涉及数据分析技术领域，尤其涉及一种基于多维数据的数据处理方法，包括获取目标数据库的历史识别数据，对获取的历史识别数据进行数据清洗，并对数据清洗后的数据进行预处理和筛选得到异常识别数据；将异常识别数据进行分组标记，对每个异常识别数据进行有效性计算以及可靠性计算，得到对应的效度和信度；将异常识别数据的信度与预设的信度临界阈值比较分析得到偏差数据；对偏差数据进行偏差发生率的计算和分析，并根据分析结果动态制定偏差数据管理评估准则；本发明用于解决现有技术方案中不能对异常的识别数据偏差进行分析并智能管理的技术问题。

技术研发人员：张婷婷
受保护的技术使用者：吉林省日圆科技有限公司
技术研发日：
技术公布日：2024/5/16