一种数据库数据处理方法、设备及计算机可读存储介质与流程

1.本发明涉及数据分析技术领域，特别是涉及一种数据库数据处理方法、设备及计算机可读存储介质。


背景技术：

2.随着计算机网络技术的发展，在当前模拟和数字高清化发展的今天，智能化也越来越成为时代的潮流，伴随着的就是海量的数据分析和处理，数据库无疑是保存海量数据最好的选择。
3.受限于监控设备性能等因素影响，数据库容量存在数量上限限制，一旦插入数据库的数据累积到一定程度总会达到该上限值，此时要么停止数据插入操作及后续新增数据无法进行保存，要么根据插入先后顺序先清除部分最早入库的旧数据后将新数据插入，保证新生成的有用数据可以保存。


技术实现要素：

4.本发明主要解决的技术问题是提供一种数据库数据处理方法、设备及计算机可读存储介质，能够在数据库容量不足的情况下有差别地保留重要数据。
5.为解决上述技术问题，本发明采用的一个技术方案是：提供一种数据库数据处理方法，该数据库数据处理方法包括：获取数据库中目标数据的使用频数和引用频数，使用频数为目标数据被使用的次数，引用频数为目标数据被关联数据所引用的次数；当数据库需要进行数据删除时，结合使用频数和引用频数，删除重要程度低的目标数据，目标数据的重要程度与使用频数和/或引用频数成正比。
6.其中，结合引用频数和使用频数，删除重要程度低的目标数据包括：判断目标数据的引用频数是否为预设引用频数；若引用频数不为预设引用频数，则保留目标数据；若引用频数为预设引用频数，则判断目标数据的使用频数是否小于预设使用频数，若目标数据的使用频数小于预设使用频数，则删除目标数据。
7.其中，结合引用频数和使用频数，删除重要程度低的目标数据包括：判断目标数据的引用频数是否为预设引用频数；若引用频数不为预设引用频数，则保留目标数据；若引用频数为预设引用频数，则获取所有引用频数为预设引用频数的目标数据，将目标数据的使用频数进行排序，删除使用频数较小的预设数量的目标数据。
8.其中，数据库数据处理方法还包括：若至少两个目标数据的使用频数相同，则将目标数据按写入数据库的时间进行排序，优先删除写入数据库的时间早的目标数据。
9.其中，结合引用频数和使用频数，删除重要程度低的目标数据包括：判断目标数据的使用频数是否相同，若目标数据的使用频数不同，则将目标数据的使用频数进行排序，删除使用频数较小的预设数量的目标数据；若目标数据的使用频数相同，则判断目标数据的引用频数是否相同，若目标数据的引用频数不同，则将目标数据的引用频数进行排序，删除引用频数较小的预设数量的目标数据；若目标数据的引用频数相同，则将目标数据按写入
数据库的时间进行排序，优先删除写入数据库的时间早的目标数据。
10.其中，获取数据库中目标数据的使用频数和引用频数包括：引用频数和使用频数初始值为零；当目标数据写入数据库时或目标数据被使用时，每使用一次，目标数据的使用频数加一；当目标数据被关联数据引用时，每引用一次，目标数据的引用频数加一。
11.其中，获取数据库中目标数据的引用频数包括：当引用目标数据的关联数据被删除时，目标数据的使用频数和引用频数减一。
12.其中，目标数据为人脸数据，关联数据为车牌数据，获取数据库中目标数据的使用频数和引用频数包括：当人脸数据写入数据库时或人脸数据被使用时，每使用一次，人脸数据的使用频数加一；当车牌数据写入数据库时，车牌数据的使用频数加一，将车牌数据与人脸数据关联，人脸数据的使用频数和引用频数加一。
13.为解决上述技术问题，本发明采用的另一个技术方案是：提供一种数据库数据处理设备，该数据库数据处理设备包括处理器，处理器用于执行以实现上述的数据库数据处理方法。
14.为解决上述技术问题，本发明采用的另一个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质用于存储指令/程序数据，指令/程序数据能够被执行以实现上述的数据库数据处理方法。
15.本发明的有益效果是：区别于现有技术的情况，本发明提出使用频数和引用频数两个指标，通过在数据入库的时候对数据使用频数和引用计数的统计保存，在数据库容量有限的情况下，通过对数据库中各目标数据使用频数和引用计数的比较和判断，可以得知该目标在布控区域内的活动频率和该目标数据在其他模块重复使用的次数，从而可以判断出该目标数据的关注度和重要程度，根据数据重要程度对非重要的数据进行删除，以清除非重要数据空间，保证新数据可正常入库。
附图说明
16.图1是本技术数据库数据处理方法一实施方式的流程示意图；
17.图2是本技术数据库数据处理方法另一实施方式的流程示意图；
18.图3是本技术数据库数据处理方法一具体实施方式的流程示意图；
19.图4是本技术实施方式中数据库数据处理装置的结构示意图；
20.图5是本技术实施方式中数据库数据处理设备的结构示意图；
21.图6是本技术实施方式中计算机可读存储介质的结构示意图。
具体实施方式
22.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。
23.本技术提供一种数据库数据处理方法，提出使用频数和引用频数两个指标，通过在数据入库的时候对数据使用频数和引用计数的统计保存，在数据库容量有限的情况下，通过对数据库中各目标数据使用频数和引用计数的比较和判断，可以得知该目标在布控区域内的活动频率和该目标数据在其他模块重复使用的次数，从而可以判断出该目标数据的关注度和重要程度，根据数据重要程度对非重要的数据进行删除，以清除非重要数据空间，
保证新数据可正常入库。
24.请参阅图1，图1是本技术数据库数据处理方法一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施方式包括：
25.s110：获取数据库中目标数据的使用频数和引用频数。
26.获取数据库中目标数据的使用情况，本技术利用使用频数和引用频数评估目标数据的使用情况，其中，使用频数为目标数据被使用的次数，引用频数为目标数据被关联数据所引用的次数。
27.s130：当数据库需要进行数据删除时，结合使用频数和引用频数，删除重要程度低的目标数据。
28.数据库的容量存在上限限制，当数据库的数据量积累到一定程度时，需要对数据进行删除。结合目标数据的使用情况，将重要程度较低的目标数据进行删除。其中，目标数据的重要程度与使用频数和/或引用频数成正比。选择删除一定数量使用频数和/或引用频数低的目标数据。
29.该实施方式中，通过在数据入库的时候对数据使用频数和引用计数的统计保存，在数据库容量有限的情况下，通过对数据库中各目标数据使用频数和引用计数的比较和判断，可以得知该目标在布控区域内的活动频率和该目标数据在其他模块重复使用的次数，从而可以判断出该目标数据的关注度和重要程度，根据数据重要程度对非重要的数据进行删除，以清除非重要数据空间，保证新数据可正常入库。
30.请参阅图2，图2是本技术数据库数据处理方法另一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施方式包括：
31.s210：获取数据库中目标数据的使用频数和引用频数。
32.获取数据库中目标数据的使用情况，本技术利用使用频数和引用频数评估目标数据的使用情况，其中，使用频数为目标数据被使用的次数，即该目标数据在本数据库内被使用且命中的次数，可体现目标数据在布控或者监控区域内活动频率，使用频数越高说明目标在该区域内活动越频繁，目标数据越重要。引用频数为目标数据被关联数据所引用的次数，即该目标数据在本数据库之外其他模块被关联使用次数，引用频数可体现该目标数据在布控或者监控区域内被关注程度，表示不止一个功能或者模块需要该目标数据，在其他模块数据库中同样会使用该目标数据，引用频数越多，说明目标数据关联度越大，涉及面越广，用途也就越大，目标数据越重要。数据库中目标引用频数和使用频数初始值为零，当目标数据第一被检测到并写入数据库时，目标数据的使用频数加一，当目标数据被使用时，每使用一次，目标数据的使用频数加一；当目标数据被关联数据引用时，每引用一次，目标数据的引用频数加一。具体地，当目标数据被其他数据引用时，该数据的使用频数和引用频数均加一。
33.s230：判断数据库容量是否满足删除数据条件。
34.数据库的容量存在上限限制，当数据库的数据量积累到一定程度时，需要对数据进行删除。因此，先判断数据库容量是否满足删除数据条件。在一实施方式中，当数据库容量已满时，选择删除数据。在另一实施方式中，建立数据库容量预警值，并提供达到容量预
警值后是否开启智能删除策略配置开关，当数据库当前存储数据达到预警值时，开启智能删除策略配置项，满足删除数据条件。
35.s250：结合使用频数和引用频数，删除重要程度低的目标数据。
36.结合目标数据的使用情况，将重要程度较低的目标数据进行删除。其中，目标数据的重要程度与使用频数和/或引用频数成正比。选择删除一定数量使用频数和/或引用频数低的目标数据。
37.在一实施方式中，先判断目标数据的引用频数，后判断目标数据的使用频数。具体地，判断目标数据的引用频数是否为预设引用频数；若引用频数不为预设引用频数，则保留目标数据；若引用频数为预设引用频数，则再判断目标数据的使用频数是否小于预设使用频数，若目标数据的使用频数小于预设使用频数，则删除目标数据。在一具体实施方式中，预设引用频数为零，若引用频数不为零，则说明该目标数据有关联数据，目前还在被使用中，保留该目标数据。若引用频数为零，则说明该目标数据目前没有被其他数据关联，因此，再判断其使用频数。
38.在另一实施方式中，先判断目标数据的引用频数，后判断目标数据的使用频数。具体地，判断目标数据的引用频数是否为预设引用频数；若引用频数不为预设引用频数，则保留目标数据；若引用频数为预设引用频数，则获取所有引用频数为预设引用频数的目标数据，将目标数据的使用频数进行排序，删除使用频数较小的预设数量的目标数据。若在排序选择过程中存在至少两个目标数据的使用频数相同，则将使用频数相同的目标数据按写入数据库的时间进行排序，优先删除写入数据库的时间早的目标数据。
39.在又一实施方式中，先判断目标数据的使用频数，后判断目标数据的引用频数。具体地，判断目标数据的使用频数是否相同，若目标数据的使用频数不同，则将目标数据的使用频数进行排序，删除使用频数较小的预设数量的目标数据；若目标数据的使用频数相同，则再判断目标数据的引用频数是否相同，若目标数据的引用频数不同，则将目标数据的引用频数进行排序，删除引用频数较小的预设数量的目标数据；若目标数据的引用频数相同，则将引用频数相同的目标数据按写入数据库的时间进行排序，优先删除写入数据库的时间早的目标数据。
40.s270：当引用目标数据的关联数据被删除时，目标数据的使用频数和引用频数减一。
41.当目标数据被其他关联数据引用时，使用频数和引用频数均加一，则当引用目标数据的关联数据被删除时，目标数据失去该关联数据，则将目标数据的使用频数和引用频数均减一。
42.该实施方式中，通过在数据入库的时候对数据使用频数和引用计数的统计保存，在数据库容量有限的情况下，通过对数据库中各目标数据使用频数和引用计数的比较和判断，可以得知该目标在布控区域内的活动频率和该目标数据在其他模块重复使用的次数，从而可以判断出该目标数据的关注度和重要程度，根据数据重要程度对非重要的数据进行删除，以清除非重要数据空间，保证新数据可正常入库。同时，设置数据库容量预警值及自动开启智能覆盖以保证新数据可正常入库的策略和方法。
43.在一具体实施方式中，在小区或者大型商超出入口卡口设备支持人脸比对和车牌识别，人脸识别模块和车牌识别模块检测到的数据都会被添加到对应数据库中进行保存。
在车牌识别同时需要检测主驾驶和副驾驶乘坐人员，并和识别到的车辆信息进行绑定以防止车辆被盗或发生盗窃时能快速查询车辆拥有者。请参阅图3，图3是本技术数据库数据处理方法一具体实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。如图3所示，本实施方式包括：
44.首先，对目标数据进行检测输入，并统计目标数据的使用频数和引用频数。在该实施方式中，目标数据包括车牌数据和人脸数据。初始默认车牌数据和人脸数据的使用频数和引用频数均为零。当人脸数据写入数据库时或人脸数据被使用时，每使用一次，人脸数据的使用频数加一；当车牌数据写入数据库时，车牌数据的使用频数加一，将车牌数据与人脸数据关联，人脸数据的使用频数和引用频数加一。
45.具体地，当车主未驾驶车辆第一次从出入口进出，此时检测到人脸信息并入库，人脸数据的使用频数加一。后续检测到该人员从出入口出现，则累计该人员出现次数并更新数据库中该人脸数据的使用频数。当车主驾驶车辆从出入口进出，此时识别到车辆信息和驾驶者信息。此时将识别到的驾驶者人脸信息和已添加到人脸数据库的人脸数据进行比对，如果该驾驶者在人脸数据库中，则更新数据库该人脸数据的使用频数加一，同时更新数据库该人脸数据的引用频数加一；如果该驾驶者人脸信息不在人脸数据库中，则将该驾驶者的人脸信息作为新检测到的人脸数据添加到人脸数据库中，此时该驾驶者的使用频数和引用频数都为一且更新到人脸数据库中。而当车辆非第一次进入时，与其关联的同一个人脸信息的引用频数不增加。
46.实时检测数据库中的数据是否达到预警值。建立数据库容量预警值，当数据库当前存储数据没有达到预警值时，继续进行目标数据入库操作。当数据库当前存储数据达到容量预警值后判断是否开启智能覆盖策略配置，当开启智能覆盖策略时，利用预先设定的删除策略对目标数据进行删除。当没有开启智能覆盖策略时，判断数据库容量是否已满，当数据库容量满且数据不可覆盖时，停止数据入库。而当数据库数据可覆盖且覆盖策略为智能覆盖策略，则利用预先设定的删除策略对目标数据进行删除。若覆盖策略不为智能覆盖策略，则根据目标数据入库时间优先删除早入库的目标数据。
47.在该实施方式中，智能覆盖策略为首先获取数据库中人脸数据和车牌数据的使用频数和引用频数。首先判断目标数据使用频数是否相同，若使用频数不相同，则删除使用频数最低的目标数据，若使用频数相同，则进一步判断引用频数是否相同，若引用频数不相同，则删除引用频数最低的目标数据，若引用频数相同，则根据目标数据入库时间优先删除早入库的目标数据。
48.其中，当删除车牌数据库中的车牌数据时，对应绑定的驾驶员的人脸数据需要同步删除，即人脸数据库中和车牌信息绑定的人脸数据的使用频数和引用频数同步减一并更新到人脸数据库中。而当人脸数据库中的人脸数据被删除时，车牌数据的使用频数和引用频数不受影响。
49.在该实施方式中，本技术设置数据容量预警值，并提供达到预警值时是否开启智能覆盖的方式方法，在必要的时间点清除非重要数据空间，已保证新数据可正常入库。本技术提出的数据库数据量满处理策略增加智能覆盖方法，使在数据库容量满时，通过对人脸数据的比对命中次数和人脸数据在其他数据库或相关功能中引用使用次数进行分析和统计；根据统计结果优化数据删除逻辑，保证有价值数据最大限度的在数据库中储存，避免选
择不插入策略导致数据无法入库或者选择覆盖策略导致数据被无差别覆盖可能致使某些重要数据丢失的情况，从而保证重要数据在库时间最大化。
50.请参阅图4，图4是本技术实施方式中数据库数据处理装置的结构示意图。该实施方式中，数据库数据处理装置包括获取模块41和删除模块42。
51.其中获取模块41用于获取数据库中目标数据的使用频数和引用频数，使用频数为目标数据被使用的次数，引用频数为目标数据被关联数据所引用的次数；删除模块42用于当数据库需要进行数据删除时，结合使用频数和引用频数，删除重要程度低的目标数据，目标数据的重要程度与使用频数和/或引用频数成正比。该数据库数据处理装置用于通过在数据入库的时候对数据使用频数和引用计数的统计保存，在数据库容量有限的情况下，通过对数据库中各目标数据使用频数和引用计数的比较和判断，可以得知该目标在布控区域内的活动频率和该目标数据在其他模块重复使用的次数，从而可以判断出该目标数据的关注度和重要程度，根据数据重要程度对非重要的数据进行删除，以清除非重要数据空间，保证新数据可正常入库。
52.请参阅图5，图5是本技术实施方式中数据库数据处理设备的结构示意图。该实施方式中，数据库数据处理设备51包括处理器52。
53.处理器52还可以称为cpu(central processing unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器等。
54.数据库数据处理设备51可以进一步包括存储器(图中未示出)，用于存储处理器52运行所需的指令和数据。
55.处理器52用于执行指令以实现上述本技术数据库数据处理方法任一实施例及任意不冲突的组合所提供的方法。
56.请参阅图6，图6是本技术实施方式中计算机可读存储介质的结构示意图。本技术实施例的计算机可读存储介质61存储有指令/程序数据62，该指令/程序数据62被执行时实现本技术数据库数据处理方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据62可以形成程序文件以软件产品的形式存储在上述存储介质61中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质61包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
57.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
58.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以
是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
59.以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。