一种大数据视频存储方法及系统与流程

1.本发明涉及计算机技术的技术领域，尤其是涉及到基于云计算人工智能处理的一种大数据视频存储方法及系统。


背景技术：

2.在计算机领域，视频数据实质是由一组连续的图像构成的，对于图像本身而言，是仅包含有表现颜色和亮度等的非结构化数据信息。这类非结构化数据没有显著的规则，也没有预定的数据模型，因而难以进行压缩。随着视频拍摄的日益生活化，视频数据占用的储存资源也随之增加，并将增加用户的成本。随着云储存技术及云计算技术的发展，数据可分布地存储在众多服务器上，为诸如视频监控等行业所形成的大量数据实现便捷保存。然而，云储存仍然需要耗费较高的储存成本，需要对视频数据进行进一步压缩，以节省存储的控制。
3.传统的视频数据压缩方案主要是在视频的分辨率、码流率、帧率和存储格式上的改变实现数据的压缩。这将导致关键视频信息的丢失或者模糊，同时仍有大量非关键数据被保存。现有技术中，专利号cn105430480a的一种视频数据存储的方法及系统，其采用的方法和系统，可将视频中相邻的两针尽心比较，将差异值较大的保留，而差异值较小的删除。固然，经删除无动态变化的帧的方式可以保留有价值视频数据，但该技术可达到减省存储空间的效果有限。这一方面是因为出现相邻无动态变换图形帧的情况较少(例如，在闹市区拍摄的监控视频)，另一方面是仍然存在动态变化的帧属于无需保留的无价值信息(例如，拍摄到风吹动垃圾)。
4.随着人工智能发展，为视频数据的进一步有甄别的保持提供了可行的基础。特别有，云计算与人工智能的结合，可以快速处理海量的视频，实现有价值视频信息的高质量保存，并节省无价值视频信息的存储空间。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种大数据视频存储方法及系统，可解决在视频数据这类非结构化信息时，现有视频数据的储存方法难以智能地甄别和存储有价值视频信息的问题，进而避免有价值信息为了节省空间以较低的信息量保存，实现节省存储空间的基础上，同时达到有效、安全及稳定地保护视频信息的目的。
6.为了实现上述目的，本发明可以通过以下的技术方案实现：
7.在第一方面，该技术方式是一种大数据视频存储方法，包括：将监控所获得的视频数据存储入大数据集群，并获取待压缩图形帧；将待压缩图形帧进行预处理，得到满足卷积神经网络模型输入要求的预处理帧；将预处理帧输入到经预训练有识别对象集的卷积神经网络模型进行预测，得到已预测图形帧；按照已预测图形帧所包含识别对象信息的差异，确定待压缩图形帧所对应的压缩分类标记；按照压缩分类标记将待压缩图形帧分别进行不同信息保留程度的压缩处理，并将经压缩的视频数据保存。
8.上述方法可选有，在识别对象集之内的所有识别对象信息分别属于唯一类别，所述的识别对象信息的差异包括：识别对象信息的类别差异。
9.上述方法可选有，所述已预测图形帧包括识别对象信息，以及识别对象信息对应的选中区域；所述压缩方式包括：获取同一压缩分类标记的连续图形帧形成处理集合，根据处理集合的所有选中区域进行交并处理得到选中矩形框，将选中矩形框转换为待压缩图形帧的裁剪框，并且按照裁剪框对待压缩图形帧进行裁剪处理。
10.上述方法可选有，所述已预测图形帧包括含有识别对象图形帧，所述的确定待压缩图形帧所对应的压缩分类标记包括：当已预测图形帧包含有第一类别的识别对象信息，则将对应的待压缩图形帧进行第一种压缩处理标识；当已预测图形帧包含有第二类别的识别对象信息而不包含第一分类的识别对象信息，则将对应的待压缩图形帧进行第二种压缩处理标识；当已预测图形帧包含有不属于第一类别和第二类别的识别对象信息，则将对应的待压缩图形帧进行第三种压缩标识；其中，第一种至第三种压缩处理的压缩程度依次递增。
11.上述方法可选有，所述的已预测图形帧包括未含识别对象图形帧，所述的确定待压缩图形帧所对应的压缩分类标记还包括：将未含识别对象图形帧所对应的待压缩图形帧进行第四种压缩处理标识；其中，第一种至第四种压缩处理的压缩程度依次递增。
12.上述方法可选有，对于同一压缩分类标记的待压缩图形帧，所述压缩方式为保留待压缩图形帧处理，或者为裁剪压缩待压缩图形帧的处理，或者为减帧压缩待压缩图形帧处理，或者为删除待压缩图形帧处理。
13.上述方法可选有，所述的将待压缩图形帧进行预处理包括：将待压缩图形帧分割为主体区域和非主体区域，并对图形帧的主体区域进行预处理：若预设间隔的两图形帧，在主体区域一致性差异不小于预设阈值，则将对应的待压缩图形帧确定为非持续静态的第一类帧集，将第一类帧集进行满足卷积神经网络模型输入要求的预处理帧；若预设间隔的两图形帧，在主体区域一致性差异小于预设阈值，则将对应的待压缩图形帧确定为持续静态的第二类帧集，将第二类帧集进行第五种压缩处理。
14.上述方法可选有，所述卷积神经网络模型为yolo算法的卷积神经网络模型。
15.在第二方面，该技术方式是一种大数据视频存储系统，包括：云储存模块，用于存储监控所获得的视频数据，以及已压缩处理的视频数据；处理预测模块，用于从视频数据获取待压缩图形帧，将待压缩图形帧进行预处理并输入到经预训练有识别对象集的卷积神经网络模型进行预测，按照已预测图形帧所包含识别对象信息的类别差异，确定待压缩图形帧所对应的压缩分类标记；压缩处理模块，按照压缩分类标记将待压缩图形帧分别进行不同信息保留程度的压缩处理，获得已压缩处理的视频数据。
16.上述系统可选有，所述云储存模块为hadoop分布式存储集群，所述处理预测模块和压缩处理模块为经api数据接口连接至hadoop分布式存储集群的服务器；所述的处理预测模块包括：预处理单元，用于将待压缩图形帧分割为主体区域和非主体区域，根据主体区域的图形帧确定非持续静态的第一类帧集和持续静态的第二类帧集，将第一类帧集输出至卷积神经网络模型单元，将第二类帧集输出至压缩处理模块；卷积神经网络模型单元，用于根据预训练的识别对象集中预测待压缩图形帧所包含的识别对象信息；分类判断单元，用于根据识别对象信息的类别差异确定对应待压缩图形帧的压缩处理方式。
17.本技术的一种大数据视频存储方法及系统，其工作原理在于：通过智能预测视频数据的方式，将包含有不同类别预测内容的数据，采用不同信息保留程度的压缩处理，实现对非结构化的视频数据构件信息价值梯度的结构。同时，无需具体预测视频数据的内容，仅需包含有能涉及到关键信息的目标对象作为依据，并且借助预测工具为可采用保留目标对象信息，而压缩删除非目标对象信息。
18.与现有技术相比，本发明有益效果如下：可快速、高效地预测出监控视频的低价值数据，特别是能进一步压缩具有动态内容而没有价值的视频数据，实现对存储空间的节省；同时，能够高质量地保留高价值的视频数据，便于后续的调用，提升视频数据保存的价值。
19.下面结合附图对本发明作进一步的说明。
附图说明
20.图1为本发明的一种大数据视频存储方法的流程式示意图；
21.图2为本发明的一种大数据视频存储系统的运行示意图；
22.图3为本发明的一种大数据视频存储系统的结构示意图；
23.图4为本发明的实施例的大数据视频存储方法第一分步流程示意图；
24.图5为本发明的实施例的大数据视频存储方法第二分步流程示意图；
25.图6为本发明的一种大数据视频存储方法的视频数据结构变化示意图；
26.图7为本发明的实施例的分类压缩处理视频数据变化示意图。
具体实施方式
27.在下文中，将参考附图详细描述本公开的各个示例性实施方式。应当注意，这些附图和描述涉及的仅仅是作为示例的优选实施方式。应该指出的是，根据随后描述，很容易设想出此处公开的结构和方法的替换实施方式，并且可以在不脱离本公开要求保护的公开的原理的情况下使用这些替代实施方式。
28.应当理解，给出这些示例性实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。此外，在附图中，出于说明的目的，将可选的步骤、模块、单元等以虚线框示出。
29.在此使用的术语“包括”、“包含”及类似术语应该被理解为是开放性的术语，即“包括/包含但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。
30.如图1所示，根据本发明的实施例为一种大数据视频存储方法。该方法包括步骤：
31.s100将监控所获得的视频数据[x]存储入大数据集群，根据用户设定的要求，在大数据集群中提取设定限期的视频数据[x]，从待压缩的视频数据[x]中获取待压缩图形帧x；
[0032]
s200将待压缩图形帧x进行预处理，预处理至少包括将图形帧x转换为满足卷积神经网络模型的输入要求，得到预处理帧x’；预处理还可包括将图形帧x进行边界裁切、动静态帧集识别等处理，以根据视频数据[x]的特征减少识别预测的数据量；
[0033]
s300将预处理帧x’输入到卷积神经网络模型进行预测，卷积神经网络模型经预训练有识别对象集{yn}，识别对象集{yn}包含根据视频数据[x]特征设置的若干识别对象信
息，识别对象信息分别属于唯一类别[zm]，并得到已预测图形帧x*；
[0034]
s400按照已预测图形帧x*所包含识别对象集信息{yn|n＝k}的类别[zm]差异，确定待压缩图形帧x所对应的压缩分类标记[tabn]；
[0035]
s500按照压缩分类标记[tabn]，将待压缩图形帧x分别进行不同信息保留程度的压缩处理，并将已压缩视频数据[x*]保存。
[0036]
如图2所示，根据本发明实施例的一种大数据视频存储系统，包括主服务40、云储存模块和分布服务器50，主服务器设置有用户接入平台，用户可通过接入平台将视频数据[x]上传，并保存在作为云存储模块10的hxdoop分布式存储集群当中。主服务器设置有接口与分布服务器连接。当视频数据[x]达到设定限期时，主服务器将视频数据[x]利用上述大数据视频存储方法进行压缩存储。分布服务器设置有处理识别模块20，用于获取待压缩图形帧x，将待压缩图形帧x进行预处理并输入到经预训练有识别对象集{yn}的卷积神经网络模型进行预测，按照已识别图形帧所包含识别对象集{yn}信息的差异，对待压缩图形帧x进行压缩分类标记[tabn]。分布服务器还设置有压缩处理模块30，用于按照压缩分类标记[tabn]将待压缩图形帧x分别进行不同信息保留程度的压缩处理，并已压缩视频数据[x*]重新保存到云存储模块10。在需要的时候，用户可调取已压缩视频数据[x*]，仍可获取视频中的关键信息。
[0037]
由上述方法和系统可知，本实施例可实现将视频数据[x]快速与高效地识别处理，并根据数据特点的差异，采用不同压缩处理，实现压缩具有动态内容而没有价值的视频数据，同时能够高质量地保留高价值的视频数据，达到节省空间和保留有用数据的双重目的。
[0038]
参考图3，本实施例的一种大数据视频存储方法中，具体地有，理识别模块20包括预处理单元21、卷积神经网络模型单元22和分类判断单元23。预处理单元21，用于将待压缩图形帧分割为主体区域x10和非主体区域x20，根据主体区域的图形帧确定非持续静态的第一类帧集[x101]和持续静态的第二类帧集[x102]，将第一类帧集输出至卷积神经网络模型单元，将第二类帧集输出至压缩处理模块。卷积神经网络模型单元22，用于根据预训练的识别对象集中预测待压缩图形帧所包含的识别对象信息。分类判断单元23，用于根据识别对象信息的类别差异确定对应待压缩图形帧的压缩处理方式。
[0039]
参考图4，本实施例一种大数据视频存储方法中，具体地有，在上述方法的步骤s200中，将待压缩图形帧x进行预处理包括：
[0040]
s201、将待压缩图形帧x分割为主体区域x10和非主体区域x20，并对图形帧的主体区域进行预处理。其中，非主体区域x20为包含有时间和位置信息的监控视频部分，这类信息将随视频数据变化而变化，其本身不具备存储价值，而仅在图形帧的主体区域x10具备存储价值时，图形帧的非主体区域x20才具备价值。因此，可对非主体区域进行识别处理和裁切处理，可将图形帧进行分割。通常地，同一种视频数据[x]的分割方式固定，经过一次分割，其余的视频数据[x]可节省识别或设置的程序。
[0041]
s202、若相邻的两图形帧xn和xn+1，在主体区域x10一致性差异不小于预设阈值，则将对应的待压缩图形帧x确定为非持续静态的第一类帧集[x101]，将第一类帧集进行满足卷积神经网络模型输入要求的预处理帧。由于图形帧在连续的过程中发生了变化，所述图形帧将具有变化的内容。第一类帧集满足要求在视频数据结构上既包含的未变化的信息，也包含了变化的信息。预处理结构化了视频数据的内容，可以减少进入cnn模块识别的
数据处理量。
[0042]
s203、若相邻的两图形帧xn和xn+1，在主体区域x10一致性差异小于预设阈值，则将对应的待压缩图形帧确定为持续静态的第二类帧集[x102]，将第二类帧集进行第五种压缩处理[tab5]。第二类帧集仅包含为变化的信息，而对应非主体区域x20的内容也将不具备价值，并且内容价值部可包含在第一类帧集的起始及结束信息当中。在本实施例的在步骤s500中，进行相应的数据压缩处理，第五种压缩处理[tab5]是较高预设间隔的删帧操作或者直接删除，即压缩方式e。
[0043]
需要说明的是，预处理可进行初步的标记处理[tab5]并获得裁切处理的数据，并最终对视频数据[x]进行处理。同时，预处理将完整的取待压缩图形帧x进行初步裁切和分别率转换，将主体区域x10的待压缩图形帧x转换为预处理帧x’。
[0044]
本实施例的方法和系统中有，卷积神经网络模型为yolo算法的卷积神经网络模型，简称cnn模型。yolo算法将物体检测作为回归问题求解，完成从原始图像的输入到物体位置和类别的输出，yolo将物体检测作为一个回归问题进行求解，输入图像经过一次推算，便能得到图像中所有物体的位置(属于回归问题，即选中矩形框)和其所属类别及相应的置信概率(属于分类问题，即识别对象集{yn})。
[0045]
本实施例的卷积神经网络模型已训练有识别对象集{yn}。其中，{yn}包含有多个识别对象信息。例如：{yn|n∈人脸、成人形态、孩子形态、四轮车、两轮车、狗、猫、老鼠、牌照、摊位}。其中，{人脸、成人形态、孩子形态、摊位}属于第一类别，{狗、猫、老鼠}属于第二类别，{四轮车、两轮车、牌照}属于第三类别。
[0046]
本实施例的步骤s300，可实现根据识别对象集{yn}的类别情况，确定对应待压缩图形帧x的压缩处理方式。具体包括步骤：
[0047]
s301、当已识别图形帧包含有第一类别的识别对象集{yn}，则将对应的待压缩图形帧x进行第一种压缩处理标识[tab1]；
[0048]
s302、当已识别图形帧包含有第二类别的识别对象集{yn}而不包含第一分类的识别对象集{yn}，则将对应的待压缩图形帧x进行第二种压缩处理标识[tab2]；
[0049]
s303、当已识别图形帧包含有不属于第一类别和第二类别的识别对象集{yn}，则将对应的待压缩图形帧x进行第三种压缩标识[tab3]；
[0050]
s304、未包含有识别对象集{yn}的图形帧，对于的包含有识别对象集{yn}的图形帧进行第四种压缩处理标识[tab4]。
[0051]
值得说明的是，由于识别对象信息具有唯一的类别，类别可按照数据价值的排序进行划分，并针对数据价值和类别特点选取相应程度的压缩处理方式。
[0052]
在本实施例的在步骤s500中，进行相应的数据压缩处理。具体是，第一种压缩处理标识[tab1]，将对待压缩图形帧x以及处理集合不进行压缩的保存，即压缩方式a；第二种压缩处理标识[tab2]，将对待压缩图形帧x以及处理集合进行裁剪压缩处理，即压缩方式b；第三种压缩标识[tab3]，将对待压缩图形帧x以及处理集合进行减帧压缩处理，即压缩方式c；第四种压缩处理标识[tab4]进行删除压缩，即压缩方式d。视频数据[x]经过a-e压缩方式处理为已压缩视频数据[x*]，并重新保存在云储存模块10中，供用户调取。
[0053]
本实施例特别地有，本技术的方法和系统还包括一种压缩方式。在yolo算法中，在预测出识别对象信息的同时，还能确定对象信息的选中区域。在一待压缩图形帧x中，可能
包含有若干识别对象和选中区域。在第二种压缩处理标识[tab2]，对应的压缩方式b可以是，将连续标识为别[tab2]的待压缩图形帧x的处理集合进行压缩处理，将已识别图形帧的选中区域信息逆向于预处理地转换为待压缩图形帧x的选中矩形框。根据处理集合中所有选中矩形框得到较大的裁剪框，根据这个裁剪框对图形帧x及其处理集合进行压缩处理。显然，借助卷积神经网络模型的识别的位置信息，能实现在保留信息的基础上，提高数据压缩程度。
[0054]
参考图6和7，为说明本技术中上述系统和方法的特点，对于输入的视频数据[x]的大数据存储过程由：首先，视频数据[x]包含有若干待处理图形帧x，图形帧x经过预处理将被分割为非主体区域的图形帧部分[x20]，以及主体区域的图形帧部分[x10]。主体区域的图形帧部分[x10]进一步预处理，将划分非持续静态的第一类帧集[x101]和持续静态的第二类帧集[x102]。[x102]所对应的视频数据[x]所对应处理集合标记为[tab5]，并将进行压缩方式e的处理。[x102]将进一步预处理为满足cnn模型要求的数据形式，并输入cnn模式内进行预测。对于识别出{人脸、成人形态、孩子形态、摊位}的图形帧，其识别对象信息属于第一类别，将视频数据[x]所对应处理集合标记为{tab1}。对于识别出{狗、猫、老鼠}的图形帧，其识别对象信息属于第二类别，将视频数据[x]所对应处理集合标记为{tab2}。对于识别出{四轮车、两轮车、牌照}的图形帧，其识别对象信息属于第三类别，将视频数据[x]所对应处理集合标记为{tab3}。对于未识别出识别对象集{yn}，将视频数据[x]所对应处理集合标记为{tab4}。a至e的5种压缩处理方式，分别处理{tab1}至{tab5}的视频数据[x]，并得到已压缩视频数据[x*]。此外，非主体区域的图形帧部分[x20]可以伴随已经标识了{tab1}至{tab5}的视频数据[x]一同处理为[x20*]。
[0055]
对于本领域技术人员而言，显然本公开不限于上述示范性实施例的细节，而且在不背离本公开的精神或基本特征的情况下，能够以其他的具体形式实现本公开。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本公开的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本公开d内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
[0056]
另外，还可以理解的是，根据此处的公开内容和教导，本领域技术人员还可以设想到各种修改、变形、替换或等效而并不背离本公开的精神和范围。这些修改、变形、替换或等效均包括在仅由权利要求书限定的本公开的范围内。