数据处理方法、装置、电子设备及计算机可读取存储介质与流程

文档序号:33157610发布日期:2023-02-04 00:00阅读:22来源:国知局
数据处理方法、装置、电子设备及计算机可读取存储介质与流程

1.本技术涉及城市内涝仿真数据管理技术领域,具体而言,涉及一种数据处理方法、装置、电子设备及计算机可读取存储介质。


背景技术:

2.近些年来,全球气候变化影响以及城市化导致的雨岛效应,部分城市暴雨强度及频率有加大的趋势。市区内大面积范围地面沉降,形成一些排水不通畅甚至困难的洼地,容易造成暴雨积水。城区面积增大以及不透水比例增加都直接导致径流系数增大以及汇流时间变短,从而导致内涝加剧。因此,为了对内涝情况进行有效地预防,通常会采用城市内涝防控措施,例如建设城市内涝仿真预警系统对内涝进行预警,以提高城市暴雨内涝预警水平,减少内涝损失。
3.目前的城市内涝仿真预警方式是结合气象预报、物理模型和监测数据,流体力学仿真、人工智能、大规模并行计算等技术进行预警,能够在分钟级模拟整个城市区域范围内空间降雨、地面积水和管网排水的演进过程,实现城市雨洪过程、多种数据的立体化预报预测的实时数据仿真。但是,预警时的仿真数据较多,而目前仿真数据的存储主要采用传统数据库进行存储,随着预警系统运行时间的增长,历史数据存储量也不断增多,导致数据存储以及检索查询越来越慢,且体量较大时的数据备份或迁移也较困难,导致仿真数据的处理效率较低,对城市内涝仿真预警的结果造成不利影响。


技术实现要素:

4.有鉴于此,本技术实施例的目的在于提供一种数据处理方法、装置、电子设备及计算机可读取存储介质,以改善现有技术中存在的城市内涝仿真预警的仿真数据的处理效率较低的问题。
5.为了解决上述问题,第一方面,本技术实施例提供了一种数据处理方法,所述方法包括:确定存储数据库中的多级索引信息;根据所述多级索引信息和目标仿真数据的目标数据定位所述目标仿真数据的目标数据文件;基于所述目标数据文件对所述目标仿真数据进行处理。
6.在上述实现过程中,在进行城市内涝的仿真预警工作时,由于对视频或图像进行仿真时的数据较多,在存储数据库中对仿真数据进行存储、检索、备份以及迁移等操作的效率较低,因此,可以通过在存储数据库中创建多层不同目录的索引信息,以针对城市内涝仿真预警系统中产生的大量的仿真数据分别进行处理。通过多级索引信息快速、准确地定位到每个仿真数据所对应的进行存储的目标数据文件,并基于定位确定的目标数据文件对对应的仿真数据进行相应地存储、检索、备份、迁移等多种处理。有效地提高了对城市内涝仿真预警系统产生的大量仿真数据的处理效率,从而优化了城市内涝仿真预警系统的预警效
果。
7.可选地,其中,所述多级索引信息包括:第一级索引信息、第二级索引信息和第三级索引信息;所述确定存储数据库中的多级索引信息,包括:确定所述存储数据库中每个子数据库对应的所述第一级索引信息;确定每个所述子数据库中每个仿真次数对应的所述第二级索引信息;确定每个所述仿真次数中每个数据文件对应的所述第三级索引信息。
8.在上述实现过程中,多级索引信息包括三个不同目录下对应的三级索引信息。根据存储数据库中的每个子数据库确定相应的子数据库目录下的第一级索引信息,根据城市内涝仿真预警系统以每个子数据库为基础进行的仿真次数确定相应的仿真次数目录下的第二级索引信息,在每次仿真次数中继续仿真数据的分类,以确定表示不同仿真数据目录下对应的数据文件的第三级索引信息。能够根据不同目录下的多级索引信息,从子数据库到仿真数据的帧数等不同层面,由大至小地确定各个目录所对应的范围,以保证每一级索引信息所对应的子数据库、仿真次数或数据文件的准确性,提高了多级索引信息的准确性和有效性。
9.可选地,所述确定所述存储数据库中每个子数据库对应的所述第一级索引信息,包括:获取所述存储数据库中每个所述子数据库的子数据库信息;其中,所述子数据库信息包括:所述子数据库的编号、名称以及用户信息中的至少一种;根据所述子数据库信息创建对应的所述第一级索引信息。
10.在上述实现过程中,在确定第一级索引信息时,可以获取与每个子数据库的相关的子数据库信息,并根据多个具有唯一性的子数据库信息创建相应的第一级索引信息,以使第一级索引信息能够包括每个子数据库所对应的唯一性标识信息,从而在数据定位时,能够准确、快速地在子数据库的目录中定位到城市内涝仿真预警系统进行仿真时所对应的子数据库。
11.可选地,所述确定每个所述子数据库中每个仿真次数对应的所述第二级索引信息,包括:根据仿真需求确定基于每个所述子数据库进行仿真的所述仿真次数;根据每个所述仿真次数创建对应的所述第二级索引信息。
12.在上述实现过程中,在确定第二级索引信息时,可以根据城市内涝仿真预警系统基于每个子数据库进行仿真时的仿真需求,确定相应的仿真次数,以根据每个仿真次数的编号、序号等与每个仿真次数对应的唯一标识信息创建相应的第二级索引信息,从而在数据定位时,能够准确、快速地在子数据库中的多次仿真中定位到该次仿真时所对应的仿真次数。
13.可选地,所述确定每个所述仿真次数中每个数据文件对应的所述第三级索引信息,包括:根据仿真需求确定在每个所述仿真次数进行仿真时的仿真描述信息;其中,所述仿真描述信息包括:仿真时的网格信息、指标数量、指标数据类型、仿真组数、仿真时间以及时间间隔中的至少一种;
确定每个所述数据文件在所述仿真次数中唯一的标识信息;根据所述仿真描述信息和所述标识信息创建每个所述数据文件对应的所述第三级索引信息。
14.在上述实现过程中,在确定第三级索引信息时,可以根据城市内涝仿真预警系统的仿真需求确定在每个仿真次数中进行仿真时,与仿真时的网格、指标数量、指标数据类型、组数、时间以及时间间隔等相关的仿真描述信息,并确定每个数据文件在仿真次数对应的目录下唯一的标识信息。通过结合仿真描述信息与标识信息,能够创建表征仿真时相关信息的第三级索引信息,从而在数据定位时,能够准确、快速地在仿真次数的目录中定位到与仿真实际情况相对应的数据文件。
15.可选地,所述根据所述多级索引信息和目标仿真数据的目标数据定位所述目标仿真数据的目标数据文件,包括:根据目标仿真需求确定所述目标仿真数据的所述目标数据;其中,所述目标数据包括:目标子数据库信息、目标仿真次数信息和目标仿真描述信息;基于所述目标数据在所述多级索引信息中进行检索,确定对应的目标子数据库中的目标仿真次数中对应的所述目标数据文件。
16.在上述实现过程中,根据目标仿真数据的目标仿真需求确定其仿真时对应的目标数据,以根据目标数据中的目标子数据库信息目标仿真次数信息和目标仿真描述信息在多级索引信息中依次进行检索和匹配,从而依次确定相应的目标数据库,目标数据库中对应的目标仿真次数,以及目标仿真次数中对应的目标数据文件。通过仿真数据的实际情况的信息,在多级索引中进行层层检索,以实现对最终存储仿真数据的数据文件的高效定位,提高了定位时的效率和准确性。
17.可选地,所述基于所述目标数据文件对所述目标仿真数据进行处理,包括:将所述目标仿真数据写入所述目标数据文件中;或在所述目标数据文件中读取存储的所述目标仿真数据;或对所述目标数据文件进行备份,以对所述目标数据文件中存储的所述目标仿真数据进行备份;或对所述目标数据文件进行迁移,以对所述目标数据文件中存储的所述目标仿真数据进行迁移。
18.在上述实现过程中,对目标仿真数据的处理方式可以包括检索定位后的存储、读取、备份或迁移等多种操作,以对仿真数据进行快速、准确、合理地存储,在需要调用相关的仿真数据时,能够快速、准确地在检索定位到相应的仿真数据并进行读取,在需要对相应的仿真数据进行备份或迁移时,无需对仿真数据进行实质操作,直接通过对仿真数据所处的目标数据文件进行备份或迁移即可实现对仿真数据的备份或迁移,有效地提高了对仿真数据进行存储、检索、备份以及迁移等多种操作时的效率和准确性,以提高城市内涝仿真预警系统工作时效率。
19.第二方面,本技术实施例还提供了一种数据处理装置,所述装置包括:索引模块,用于确定存储数据库中的多级索引信息;定位模块,用于根据所述多级索引信息和目标仿真数据的目标数据定位所述目标仿真数据的目标数据文件;
处理模块,用于基于所述目标数据文件对所述目标仿真数据进行处理。
20.第三方面,本技术实施例还提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器读取并运行所述程序指令时,执行上述数据处理方法中任一实现方式中的步骤。
21.第四方面,本技术实施例还提供了一种计算机可读取存储介质,所述可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行上述数据处理方法中任一实现方式中的步骤。
22.综上所述,本技术实施例提供了一种数据处理方法、装置、电子设备及计算机可读取存储介质,通过设置不同目录下的多级索引信息,以检索定位到存储城市内涝仿真预警系统产生的仿真数据相应的数据文件,从而在数据文件中对仿真数据进行相应地处理,有效地提高了对城市内涝仿真预警系统产生的大量仿真数据的处理效率,从而优化了城市内涝仿真预警系统的预警效果。
附图说明
23.为了更清楚地说明本技术实施例的技术方案,下面将对本技术实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本技术的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
24.图1为本技术实施例提供的一种电子设备的方框示意图;图2为本技术实施例提供的一种数据处理方法的流程示意图;图3为本技术实施例提供的一种步骤s200的详细流程示意图;图4为本技术实施例提供的一种步骤s210的详细流程示意图;图5为本技术实施例提供的一种步骤s220的详细流程示意图;图6为本技术实施例提供的一种步骤s230的详细流程示意图;图7为本技术实施例提供的一种步骤s300的详细流程示意图;图8为本技术实施例提供的一种步骤s400的详细流程示意图;图9为本技术实施例提供的一种数据处理装置的结构示意图。
25.图标:100-电子设备;111-存储器;112-存储控制器;113-处理器;114-外设接口;115-输入输出单元;116-显示单元;500-数据处理装置;510-索引模块;520-定位模块;530-处理模块。
具体实施方式
26.下面将结合本技术实施例中附图,对本技术实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本技术实施例的一部分实施例,而不是全部的实施例。基于本技术实施例的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术实施例保护的范围。
27.目前的城市内涝仿真预警系统能够结合气象预报、物理模型和监测数据,流体力学仿真、人工智能、大规模并行计算等技术,能够在分钟级模拟整个城市区域范围内空间降雨、地面积水和管网排水的演进过程,实现城市雨洪过程、多种数据的立体化预报预测的实
时数据仿真。例如,城市内涝仿真预警系统对100公里区域中5米的中小尺度级别进行仿真预警时,仿真时对该面积区域进行划分得到的网格数量为400万个,每5分钟进行滚动仿真,以预警未来一段时间内,例如24小时内这一区域中的积水情况。仿真时的时间间隔为5分钟,一次预警时可包括288组仿真数据,每组仿真数据中可以包括400万条数据,即一次预警工作所产生的仿真数据的总数据量可以达到上11.52亿条。
28.针对城市内涝仿真预警系统进行仿真时产生的大量仿真数据,目前仿真数据的存储主要采用传统数据库进行存储。而随着预警系统运行时间的增长,历史数据存储量也不断增多,导致数据存储以及检索查询越来越慢,且体量较大时的数据备份或迁移也较困难,导致仿真数据的处理效率较低,对城市内涝仿真预警的结果造成不利影响。
29.因此,为了解决上述问题,本技术实施例提供了一种数据处理方法,应用于电子设备,电子设备可以为服务器、个人电脑(personal computer,pc)、平板电脑、智能手机、个人数字助理(personal digital assistant,pda)等具有逻辑计算功能的电子设备,能够高效、准确地对城市内涝仿真预警系统中进行仿真时所产生的仿真数据进行处理,有效地提高了仿真数据的处理效率,优化了内涝仿真时的效果。
30.可选地,请参阅图1,图1为本技术实施例提供的一种电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对电子设备100的结构造成限定。例如,电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
31.上述的存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。
32.其中,存储器111可以是,但不限于,随机存取存储器(random access memory,简称ram),只读存储器(read only memory,简称rom),可编程只读存储器(programmable read-only memory,简称prom),可擦除只读存储器(erasable programmable read-only memory,简称eprom),电可擦除只读存储器(electric erasable programmable read-only memory,简称eeprom)等。其中,存储器111用于存储程序,处理器113在接收到执行指令后,执行程序,本技术实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中,或者由处理器113实现。
33.上述的处理器113可能是一种集成电路芯片,具有信号的处理能力。上述的处理器113可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(digital signal processor,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器,也可以是任何常规的处理器等。
34.上述的外设接口114将各种输入/输出装置耦合至处理器113以及存储器111。在一些实施例中,外设接口114,处理器113以及存储控制器112可以在单个芯片中实现。在其他
一些实例中,他们可以分别由独立的芯片实现。
35.上述的输入输出单元115用于提供给用户输入数据。输入输出单元115可以是,但不限于,鼠标和键盘等。
36.上述的显示单元116在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,显示单元可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器进行计算和处理。在本技术实施例中,显示单元116可以显示存储数据库中的多级目录、每级目录所对应的索引信、以及进行处理的仿真数据等多种数据。
37.本实施例中的电子设备可以用于执行本技术实施例提供的各个数据处理方法中的各个步骤。下面通过几个实施例详细描述数据处理方法的实现过程。
38.请参阅图2,图2为本技术实施例提供的一种数据处理方法的流程示意图,该方法可以包括步骤s200-s400。
39.步骤s200,确定存储数据库中的多级索引信息;其中,存储数据库为对城市内涝仿真预警系统进行仿真所产生的所有将仿真数据存储到存储数据库时,可以在存储数据库中设置范围由大至小的多级目录,并确定在每一级目录中进行检索时相应的索引信息,得到不同范围的多级索引信息。
40.步骤s300,根据多级索引信息和目标仿真数据的目标数据定位目标仿真数据的目标数据文件。
41.其中,由于城市内涝仿真预警系统会产生大量的仿真数据,在进行处理时,可以将多个仿真数据中的需要进行处理的仿真数据作为相应的目标仿真数据,以根据目标仿真数据在多级索引信息中的每级索引信息中确定对应的目录下相应的位置,从而由大至小、依次确定相应的目录位置,直至确定最终的目录中对应的用于对仿真数据进行存储的目标数据文件,以作为进行检索时定位的仿真数据的文件位置。
42.可选地,多级目录下可以包括多个数据文件,数据文件可以为文件夹之类能够对数据进行存储和标识的数据结构。
43.需要说明的是,目标仿真数据可以为对视频中的某一帧图像进行仿真后得到的具有关联的多个仿真数据组成的一组仿真数据,可以同时对多个不同的目标仿真数据进行处理,进一步地提高仿真数据的处理效率。
44.步骤s400,基于目标数据文件对目标仿真数据进行处理。
45.其中,在定位到相应的数据文件后,可以根据目标仿真数据的处理需求,选择相应的处理方式对目标数据文件进行多种处理,例如:将目标仿真数据写入目标数据文件中,或在目标数据文件中读取相应的目标仿真数据等。能够在定位得到的数据文件的位置基础上进行相应地存储、检索、备份、迁移等多种处理。
46.可选地,城市内涝仿真预警系统在使用本技术实施例提供的数据处理方法对产生的仿真数据进行处理时,能够快速、准确地将仿真数据存储到相应位置,或在相应位置中读取需要调用的仿真数据,或对仿真数据进行备份或迁移到对应位置,从而提高了城市内涝仿真预警系统的操作效率,优化了城市内涝仿真预警系统的预警效果。
47.在图2所示的实施例中,有效地提高了对城市内涝仿真预警系统产生的大量仿真数据的处理效率,从而优化了城市内涝仿真预警系统的预警效果。
48.需要说明的是,存储数据库中可以存在子数据库、子数据库中的仿真次数,以及仿真次数中的数据文件这三级由大至小的不同目录。多级目录所对应的多级索引信息可以包括:第一级索引信息、第二级索引信息和第三级索引信息。
49.可选地,请参阅图3,图3为本技术实施例提供的一种步骤s200的详细流程示意图,步骤s200可以包括步骤s210-s230。
50.步骤s210,确定存储数据库中每个子数据库对应的第一级索引信息。
51.其中,由于存储数据库中包括多个子数据库,城市内涝仿真预警系统在进行仿真时,可以基于不同的子数据库进行仿真。因此,在对仿真产生的仿真数据进行处理时,为了对仿真时不同的子数据库进行区分,可以先根据多个子数据库作为目录,确定相应的用于对子数据库进行检索的第一级索引信息。
52.步骤s220,确定每个子数据库中每个仿真次数对应的第二级索引信息。
53.其中,在城市内涝仿真预警系统基于相应的子数据库进行仿真时,可能存在仿真多次的情况,为了对不同的仿真次数进行区分,可以根据多个仿真次数作为目录,确定相应的用于对仿真次数进行检索的第二级索引信息。
54.步骤s230,确定每个仿真次数中每个数据文件对应的第三级索引信息。
55.其中,在城市内涝仿真预警系统处于相应的仿真次数中进行仿真时,由于仿真时可以对视频进行仿真,因此,单次的仿真时可以根据视频中的每一帧图像,产生多组不同的仿真数据。为了对仿真次数中的帧数进行区分,可以根据对仿真数据进行存储的数据文件作为目录,确定相应的用于对不同帧数的仿真数据进行存储的数据文件进行检索的第三级索引信息。
56.在图3所示的实施例中,能够根据不同目录下的多级索引信息,从子数据库到仿真数据的帧数等不同层面,由大至小地确定各个目录所对应的范围,以保证每一级索引信息所对应的子数据库、仿真次数或数据文件的准确性,提高了多级索引信息的准确性和有效性。
57.可选地,请参阅图4,图4为本技术实施例提供的一种步骤s210的详细流程示意图,步骤s210可以包括步骤s211-s212。
58.步骤s211,获取存储数据库中每个子数据库的子数据库信息。
59.其中,子数据库信息可以包括:子数据库的编号、名称以及用户信息等与子数据库相关的信息,可以在存储数据库中对每个子数据库的相关信息进行搜索,以确定每个子数据库对应的子数据库信息。
60.示例地,子数据库的编号可以为该子数据库在存储数据库中所有子数据库中的编号,可以预先确定城市内涝仿真预警系统所使用的所有子数据库的数量,并根据数量,依次生成每个子数据库的唯一的编号信息。子数据库的名称可以为该子数据库对应的名称信息,可以为中文全名,也可以为英文缩写等。子数据库的用户信息可以为使用该子数据库时的账号信息,例如账号和相应的密码信息等。
61.步骤s212,根据子数据库信息创建对应的第一级索引信息。
62.其中,可以根据每个子数据库对应的子数据库信息创建相应的第一级索引信息,
以在输入子数据库的相关信息时,能够以第一级索引信息进行检索,并确定相应的子数据库。
63.在图4所示的实施例中,在数据定位时,能够根据创建的第一级索引信息,准确、快速地在子数据库的目录中定位到城市内涝仿真预警系统进行仿真时所对应的子数据库。
64.可选地,请参阅图5,图5为本技术实施例提供的一种步骤s220的详细流程示意图,步骤s220可以包括步骤s221-s222。
65.步骤s221,根据仿真需求确定基于每个子数据库进行仿真的仿真次数。
66.其中,城市内涝仿真预警系统基于每个子数据库进行仿真时,为了提高仿真预警结果的准确性,可能会进行多次仿真。因此,城市内涝仿真预警系统进行仿真工作时都具有相应的仿真需求,仿真需求中可以包括对仿真次数进行限定的次数需求,能够根据仿真需求确定城市内涝仿真预警系统基于子数据库进行仿真的仿真次数。
67.步骤s222,根据每个仿真次数创建对应的第二级索引信息。
68.其中,由于具有多次仿真,为了对每次仿真进行区分,可以按照预设顺序,依次对每次仿真进行标识,示例地,可以根据字母、数字等设置不同的编号、序号等,例如,可以设第一次仿真为001号,第二次仿真为002号等。在获取相应的仿真次数后,可以根据每个仿真次数所对应的编号、序号等唯一标识信息,生成对应的第二级索引信息,以在输入仿真次数的相关信息时,能够以第二级索引信息进行检索,并确定相应的子数据库目录中的仿真次数。
69.在图5所示的实施例中,在数据定位时,能够准确、快速地在子数据库中的多次仿真中定位到该次仿真时所对应的仿真次数。
70.可选地,请参阅图6,图6为本技术实施例提供的一种步骤s230的详细流程示意图,步骤s230可以包括步骤s231-s233。
71.步骤s231,根据仿真需求确定在每个仿真次数进行仿真时的仿真描述信息。
72.其中,在每次进行仿真时,若仿真对象为含有多帧图像或画面的对象,例如视频等,则每一帧图像或画面都具有相应的一组仿真数据。而对每一帧图像或画面进行仿真时,对仿真时的条件进行限制的仿真描述信息可能也不相同。因此,可以获取城市内涝仿真预警系统对每一帧图像进行仿真时的仿真描述信息,仿真描述信息可以包括:仿真时的网格信息、指标数量、指标数据类型、仿真组数、仿真时间以及时间间隔等多种不同的仿真限制条件。
73.可选地,在城市内涝仿真预警系统对每一帧图像进行仿真时,由于图像较大,为了提高仿真时的准确性,可以对图像进行划分,将图像划分为多个小的网格信息,从而对每个网格信息进行仿真,以所有网格仿真的网格数据组成一组相应的仿真数据。因此,仿真时的网格信息可以包括对图像进行划分后得到的网格信息的总数量以及排列信息等数据。指标数量可以为每个网格的相关信息的总数量,指标数据类型可以为每个网格的相关信息的具体信息,例如每个网格的长度、宽度,以及长度、宽度等数据为整数类型还是小数类型等。仿真组数可以为进行仿真的图像在视频中对应的帧数,仿真时间可以为对该帧图像进行仿真时的时间,或对第一帧图像进行仿真时的时间等。时间间隔可以为根据仿真需求确定的与预警相关的间隔,例如,仿真获取5小时以后的预警结果,或获取24小时之后的内涝预警结果等。
74.步骤s232,确定每个数据文件在仿真次数中唯一的标识信息。
75.其中,由于每次仿真都能够产生不同组的仿真数据,为了对每一组仿真数据进行处理,可以设置不同的数据文件以对不同组的仿真数据进行存储。而为了对多个分别存放不同组仿真数据的数据文件进行区分,可以对仿真次数目录下的每个数据文件进行标识,以生成唯一的标识信息。
76.可选地,在生成数据文件的标识信息时,可以根据仿真数据的仿真组数生成对应的标识信息,例如,在仿真组数为表征仿真数据为第3组仿真数据时,则表示信息可以为0003;也可以根据仿真次数中数据文件的数量对每个数据文件进行依次编号,例如,在具有128个数据文件,则根据每个数据文件在所有数据文件中的序号,将数据文件的标识信息分别设为0001、0002、0003等。
77.步骤s233,根据仿真描述信息和标识信息创建每个数据文件对应的第三级索引信息。
78.其中,在获取多种仿真描述信息和标识信息后,可以将两种信息进行结合,从而创建每个数据文件对应的第三级索引信息。多种仿真描述信息与标识信息生成的第三级索引信息可以占用相应的存储长度,例如,占用32位存储长度,将多种仿真描述与标识信息按顺序分别写入多个存储长度中,写入时可以将标识信息放在头部的存储长度中,以使第三级索引信息占用较小的存储位置,能够在各个数据文件中作为相应的头部数据,在输入与数据文件相关的信息时,能够以第三级索引信息进行检索,并确定相应的放在次数目录中的数据文件。
79.可选地,子数据库、仿真次数以及数据文件的数量以及相关信息都可以根据实际情况和存储的需求进行设置和调整,生成的第一级索引信息、第二级索引信息以及第三级索引信息也可以根据子数据库、仿真次数以及数据文件的调整进行相应地更新。
80.在图6所示的实施例中,能够创建表征仿真时相关信息的第三级索引信息,从而在数据定位时,能够准确、快速地在仿真次数的目录中定位到与仿真实际情况相对应的数据文件。
81.可选地,请参阅图7,图7为本技术实施例提供的一种步骤s300的详细流程示意图,步骤s300可以包括步骤s310-s320。
82.步骤s310,根据目标仿真需求确定目标仿真数据的目标数据。
83.其中,在城市内涝仿真预警系统进行仿真前,即可确定生成相应的目标仿真数据的目标仿真需求,并将目标仿真需求同步到数据处理中。目标数据可以包括:目标子数据库信息、目标仿真次数信息和目标仿真描述信息等与仿真使用的子数据库、次数以及仿真条件相关的数据。
84.可选地,目标子数据库信息可以包括城市内涝仿真预警系统进行仿真时所使用的子数据库的名称、编号、用户信息等相关信息,目标仿真次数信息可以为仿真时的次数,例如,第一次仿真,第二次仿真等,目标仿真描述信息可以包括仿真时的网格信息、指标数量、指标数据类型、仿真组数、仿真时间以及时间间隔等仿真时的限制条件。
85.步骤s320,基于目标数据在多级索引信息中进行检索,确定对应的目标子数据库中的目标仿真次数中对应的目标数据文件。
86.其中,为了对存储的仿真数据进行相应地处理,可以先对仿真数据进行处理时的
文件位置进行定位,定位方式可以为根据目标仿真数据的目标数据在多级索引信息中进行依次检索,根据目标数据中的目标子数据库信息在第一级索引信息中确定对应的目标子数据库,在目标子数据库中根据目标数据中的目标仿真次数信息在第二级索引信息确定对应的目标仿真次数,在目标仿真次数中根据目标数据中的目标仿真描述信息在第三级索引信息中确定具有对应仿真描述信息和标识信息的数据文件,以作为定位得到的最终文件位置的目标数据文件。
87.示例地,在获取的目标数据中包括“a数据库,仿真3,第三帧图像”时,则可以在多级索引信息中的第一级索引信息中确定子数据库为a数据库,在第二级索引信息中确定仿真次数为第三次仿真,在第三级索引信息中确定为编号为0003的数据文件,并将数据文件中的网格信息、指标数量、指标数据类型、仿真组数、仿真时间以及时间间隔等与目标仿真数据相关数据进行对比,若符合,则以0003对应的数据文件作为目标数据文件。
88.在图7所示的实施例中,通过仿真数据的实际情况的信息,在多级索引中进行层层检索,以实现对最终存储仿真数据的数据文件的高效定位,提高了定位时的效率和准确性。
89.可选地,请参阅图8,图8为本技术实施例提供的一种步骤s400的详细流程示意图,步骤s400可以包括步骤s410-s440。
90.步骤s410,将目标仿真数据写入目标数据文件中。
91.其中,在需要对目标仿真数据进行存储时,则可将目标数据文件作为目标仿真数据的存储位置,按组将多个目标仿真数据批量写入对应的目标数据文件中以进行存储。
92.可选地,在进行写入时,可以直接操作目标数据文件的指针,按组对目标仿真数据中的多个网格的数据进行批量写入,能够同时写入几千万个网格数据,提高数据写入的速率,从而提高对仿真数据进行存储的效率。
93.步骤s420,在目标数据文件中读取存储的目标仿真数据。
94.其中,在城市内涝仿真预警系统需要对存储的仿真数据进行调用时,可以以目标数据文件作为对仿真数据进行检索后得到的检索地址,以目标数据文件中存储的目标仿真数据作为检索结果,以根据目标数据文件的指针位置和数据长度,读取其中的目标仿真数据。能够快速、准确地进行检索和定位,通过检索和读取实现数据的调用。
95.步骤s430,对目标数据文件进行备份,以对目标数据文件中存储的目标仿真数据进行备份。
96.其中,在城市内涝仿真预警系统需要对存储的仿真数据进行备份时,备份方式可以为全量备份或定时增量备份。备份时无需对目标数据文件中存储的内容进行处理,而是直接对相应的目标数据文件进行备份,例如:全量备份可以直接把目标数据文件整体全量复制到备份盘上,并保证目录结构与原始保存一致;定时增量备份可以根据需求,定时把目标数据文件增量复制到备份盘上。通过对目标数据文件的备份处理,实现对其中存储的目标仿真数据的备份,减小了数据备份时的难度,提高了备份时的有效性。
97.步骤s440,对目标数据文件进行迁移,以对目标数据文件中存储的目标仿真数据进行迁移。
98.其中,在城市内涝仿真预警系统需要对存储的仿真数据进行迁移时,无需对目标数据文件中存储的内容进行处理,可以直接对相应的目标数据文件进行迁移,以将其中存储的目标仿真数据进行对应地迁移处理,减小了数据迁移时的难度,提高了迁移时的有效
性。
99.在图8所示的实施例中,有效地提高了对仿真数据进行存储、检索、备份以及迁移等多种操作时的效率和准确性,以提高城市内涝仿真预警系统工作时效率。
100.请参阅图9,图9为本技术实施例提供的一种数据处理装置的结构示意图,数据处理装置500中可以包括:索引模块510,用于确定存储数据库中的多级索引信息;定位模块520,用于根据多级索引信息和目标仿真数据的目标数据定位目标仿真数据的目标数据文件;处理模块530,用于基于目标数据文件对目标仿真数据进行处理。
101.其中,多级索引信息包括:第一级索引信息、第二级索引信息和第三级索引信息;在一可选的实施方式中,索引模块510中还可以包括:第一级索引子模块、第二级索引子模块和第三级索引子模块;第一级索引子模块,用于确定存储数据库中每个子数据库对应的第一级索引信息;第二级索引子模块,用于确定每个子数据库中每个仿真次数对应的第二级索引信息;第三级索引子模块,用于确定每个仿真次数中每个数据文件对应的第三级索引信息。
102.在一可选的实施方式中,第一级索引子模块中还可以包括:获取单元和第一构建单元;获取单元,用于获取存储数据库中每个子数据库的子数据库信息;其中,子数据库信息包括:子数据库的编号、名称以及用户信息中的至少一种;第一构建单元,用于根据子数据库信息创建对应的第一级索引信息。
103.在一可选的实施方式中,第二级索引子模块中还可以包括:次数单元和第二构建单元;次数单元,用于根据仿真需求确定基于每个子数据库进行仿真的仿真次数;第二构建单元,用于根据每个仿真次数创建对应的第二级索引信息。
104.在一可选的实施方式中,第三级索引子模块中还可以包括:确定单元、标识单元和第三构建单元;确定单元,用于根据仿真需求确定在每个仿真次数进行仿真时的仿真描述信息;其中,仿真描述信息包括:仿真时的网格信息、指标数量、指标数据类型、仿真组数、仿真时间以及时间间隔中的至少一种;标识单元,用于确定每个数据文件在仿真次数中唯一的标识信息;第三构建单元,用于根据仿真描述信息和标识信息创建每个数据文件对应的第三级索引信息。
105.在一可选的实施方式中,定位模块520中还可以包括数据确定子模块和检索子模块;数据确定子模块,用于根据目标仿真需求确定目标仿真数据的目标数据;其中,目标数据包括:目标子数据库信息、目标仿真次数信息和目标仿真描述信息;
检索子模块,用于基于目标数据在多级索引信息中进行检索,确定对应的目标子数据库中的目标仿真次数中对应的目标数据文件。
106.在一可选的实施方式中,处理模块530中还可以包括存储子模块、读取子模块、备份子模块或迁移子模块;存储子模块,用于将目标仿真数据写入目标数据文件中;读取子模块,用于在目标数据文件中读取存储的目标仿真数据;备份子模块,用于对目标数据文件进行备份,以对目标数据文件中存储的目标仿真数据进行备份;迁移子模块,用于对目标数据文件进行迁移,以对目标数据文件中存储的目标仿真数据进行迁移。
107.由于本技术实施例中的数据处理装置500解决问题的原理与前述的数据处理方法的实施例相似,因此本实施例中的数据处理装置500的实施可以参见上述数据处理方法的实施例中的描述,重复之处不再赘述。
108.本技术实施例还提供了一种计算机可读取存储介质,可读取存储介质中存储有计算机程序指令,计算机程序指令被一处理器读取并运行时,执行本实施例提供的数据处理方法中任一项方法中的步骤。
109.在本技术所提供的几个实施例中,应该理解到,所揭露的设备,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的框图显示了根据本技术的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上,框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图中的每个方框、以及框图的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
110.另外,在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
111.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
112.以上所述仅为本技术的实施例而已,并不用于限制本技术的保护范围,对于本领域的技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
113.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。
114.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1