数据处理方法和系统与流程

本发明涉及一种数据处理方法和系统，具体涉及一种视频数据处理方法和系统。

背景技术：

随着网络时代的到来，视频数据成为人类生活中获取信息的重要手段。然而，视频数据很大，尤其是实时存储的视频数据特别大，典型的如监控视频，占用的内存空间特别大，并且大量的视频数据没有用。因此，每隔一段时间（例如3-6个月），必须将一些视频数据进行删除，不然内存空间放不下。但是，有些情况下，又需要查询特定时间之前的实时视频数据，例如6个月之前的数据，如果都删除，将会无法获得相关的信息，无法满足回溯查询的要求。

因此，亟待需要一种数据处理方法和系统，能够在有限的空间内，尽量存储长时间段的实时视频数据，且能满足回溯查询的需求。

技术实现要素：

针对上述技术问题，本发明实施例提供一种数据处理方法和系统，能够满足存储长时间段的实时视频数据和回溯查询的需求。

本发明采用的技术方案为：

本发明一方面提供一种数据处理方法，包括：

按照预设的存储方式存储视频数据，所述预设的存储方式包括存储实时视频id、视频获取时间、实时视频帧率、实时视频分辨率、访问日志、视频存储路径和压缩标志；

对存储的视频中的压缩标志表征未经压缩的且视频访问时间超过预设的删除周期的视频分别进行第一压缩和第二压缩，分别形成第一压缩视频和第二压缩视频，所述第一压缩视频的分辨率等于所述实时视频分辨率，所述第一压缩视频的帧数低于实时视频的帧数，所述第二压缩视频的分辨率低于所述实时视频分辨率，所述第二压缩视频的帧数等于实时视频的帧数；

将所述第一压缩视频以二进制流的形式附加到所述第二压缩视频中，形成组合压缩视频，并将所述组合压缩视频的压缩标志设置为表征经过压缩的标志值。

可选地，所述第一压缩视频的帧数为第一压缩过程中压缩的实时视频的帧数的1/m，m为大于等于2的整数，基于所述第一压缩过程中压缩的实时视频的帧率确定。

可选地，所述第一压缩视频中保留第一压缩过程中压缩的实时视频中的每m帧中的第⌊m/2⌋的帧。

可选地，m等于⌊f/2⌋或者⌊f/3⌋，其中，f表示第一压缩过程中压缩的实时视频的帧率。

可选地，所述第二压缩视频的分辨率为第二压缩过程中压缩的实时视频的分辨率的1/n²，n为⌊w0/w^p⌋和⌊h0/h^p⌋中的较小者，w0*h0为第二压缩过程中压缩的实时视频的分辨率，w^p*h^p为预设的最低分辨率。

可选地，所述第二压缩视频中保留坐标为(⌊n/2⌋+n*i，⌊n/2⌋+n*j)的像素，其中，i=0,1,2,......；j=0,1,2,......，i和j的最大值分别为⌊w0/n⌋和⌊h0/n⌋。

可选地，所述第二压缩视频的分辨率为第二压缩过程中压缩的实时视频的分辨率的1/n²，n为w0/w^p和h0/h^p中的较小者，w0*h0为第二压缩过程中压缩的实时视频的分辨率，w^p*h^p为预设的最低分辨率。

可选地，如果n为整数，则所述第二压缩视频中保留坐标为(⌊n/2⌋+n*i，⌊n/2⌋+n*j)的像素，其中，i=0,1,2,......；j=0,1,2,......，i和j的最大值分别为⌊w0/n⌋和⌊h0/n⌋；

如果n为非整数，则所述第二压缩视频中保留坐标为：

(⌊n1/2⌋+x0，⌊n1/2⌋+y0)、(⌊n1/2⌋+x0，⌊n2/2⌋+n1+y0)、(⌊n2/2⌋+n1+x0，⌊n2/2⌋+y0)和(⌊n2/2⌋+n1+x0，⌊n2/2⌋+n1+y0)的像素，其中，n1和n2分别为⌊n⌋和⌈n⌉，x0和y0为第二压缩过程中压缩的实时视频帧中的每个单位网格的左上角像素点的坐标，所述单位网格的网格大小为（n1+n2）*（n1+n2），第一个单位网格的起始点为第二压缩过程中压缩的实时视频帧的左上角像素点。

可选地，所述视频访问时间基于所述访问日志确定。

本发明另一方面提供一种数据处理系统，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一技术方案所述的方法的步骤。

本发明实施例提供的数据处理方法，首先，对存储的视频中的压缩标志表征未经压缩的且视频访问时间超过预设的删除周期的视频分别进行第一压缩和第二压缩，分别形成第一压缩视频和第二压缩视频，所述第一压缩视频的分辨率等于所述实时视频分辨率，所述第一压缩视频的帧数低于实时视频的帧数，所述第二压缩视频的分辨率低于所述实时视频分辨率，所述第二压缩视频的帧数等于实时视频的帧数，接着，将所述第一压缩视频以二进制流的形式附加到所述第二压缩视频中，形成组合压缩视频，并将所述组合压缩视频的压缩标志设置为表征经过压缩的标志值。这样，经过本发明数据处理方法，可以将原始视频压缩成大小和分辨率不同的两个压缩视频，第一压缩视频的分辨率不变但帧数变小，即画面清晰但不连贯，第二压缩视频分辨率变低，但帧数不变，即画面不清晰但连贯，通过这两个压缩视频，在存储空间相对固定的情况下，能够尽可能的存储长时间段的视频数据，从而满足回溯查询的需求。

附图说明

图1为本发明实施例提供的数据处理方法的流程示意图；

图2为本发明一实施例的压缩后的视频中保留原始视频中的那些像素的示意图；

图3为本发明另一实施例的压缩后的视频中保留原始视频中的那些像素的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的数据处理方法的流程示意图。如图1所示，本发明实施例提供的数据处理方法，包括：

s100、按照预设的存储方式存储视频数据，所述预设的存储方式包括存储实时视频id、视频获取时间、实时视频帧率、实时视频分辨率、访问日志、视频存储路径、压缩标志。

s200、对存储的视频中的压缩标志表征未经压缩的且视频访问时间超过预设的删除周期的视频分别进行第一压缩和第二压缩，分别形成第一压缩视频和第二压缩视频，所述第一压缩视频的分辨率等于所述实时视频分辨率，所述第一压缩视频的帧数低于实时视频的帧数；所述第二压缩视频的分辨率低于所述实时视频分辨率，所述第二压缩视频的帧数等于实时视频的帧数。

s300、将所述第一压缩视频以二进制流的形式附加到所述第二压缩视频中，形成组合压缩视频，并将所述组合压缩视频的压缩标志设置为表征经过压缩的标志值。

本发明实施例提供的数据处理方法，首先，对存储的视频中的压缩标志表征未经压缩的且视频访问时间超过预设的删除周期的视频分别进行第一压缩和第二压缩，分别形成第一压缩视频和第二压缩视频，所述第一压缩视频的分辨率等于所述实时视频分辨率，所述第一压缩视频的帧数低于实时视频的帧数，所述第二压缩视频的分辨率低于所述实时视频分辨率，所述第二压缩视频的帧数等于实时视频的帧数，接着，将所述第一压缩视频以二进制流的形式附加到所述第二压缩视频中，形成组合压缩视频，并将所述组合压缩视频的压缩标志设置为表征经过压缩的标志值。这样，经过本发明数据处理方法，可以将原始视频压缩成大小和分辨率不同的两个压缩视频，第一压缩视频的分辨率不变但帧数变小，即画面清晰但不连贯，第二压缩视频分辨率变低，但帧数不变，即画面不清晰但连贯，通过这两个压缩视频，能够在存储空间相对固定的情况下，尽可能的存储长时间段的视频数据，从而能够满足回溯查询的需求。

进一步地，在本发明实施例中，在步骤s100中，可使用具有存储功能的数据库存储实时视频。实时视频id可随机确定。访问日志可为“xx年xx月xx日xx时xx分xx秒访问过该视频”，访问包括查询、播放、复制等。压缩标志可使用预设的标志值表示，例如，使用数值0表示未压缩，使用数值1表示压缩等。

进一步地，在本发明实施例中，步骤s200至s300可通过具有数据处理能力的通用处理器实现。在本发明实施例中，处理器会对数据库存储的每一个压缩标志为0的视频进行上述步骤s200至s300的压缩处理。在一个具体示例中，执行如下处理步骤：

s401、获取最近访问需要压缩的实时视频的时间t；如果t在预设的删除周期内，例如3个月内，则不做压缩处理操作，结束操作，处理下一个视频；否则，进入s402。

s402、对需要压缩的实时视频进行第一压缩，形成第一压缩视频；第一压缩视频的分辨率等于需要压缩的实时视频的分辨率，帧数低于实时视频的帧数；

s403、对需要压缩的实时视频进行第二压缩，形成第二压缩视频；第二压缩视频的分辨率低于实时视频的分辨率，帧数等于实时视频的帧数；

s404、将第一压缩视频以二进制流的形式附加到第二压缩视频，形成包括两个压缩视频的组合压缩视频，并将该组合压缩视频的压缩标志设置为1。

进一步地，在本发明实施例中，所述第一压缩视频的帧数可为第一压缩过程中压缩的实时视频的帧数的1/m，即采样率为每隔m帧对实时视频采样1帧，m表示第一压缩率，为大于等于2的整数，基于所述第一压缩过程中压缩的实时视频的帧率确定。在一具体示例中，m等于⌊f/2⌋或者⌊f/3⌋，其中，f表示第一压缩过程中压缩的实时视频的帧率。例如，如果帧率f=60帧/秒，那么m=20，相当于每秒留下3帧。

在一个示例中，所述第一压缩视频中保留第一压缩过程中压缩的实时视频中的每m帧中的第⌊m/2⌋的帧。例如，以m=20为例，则第一压缩视频中保留第一压缩过程中压缩的实时视频中的第10帧、第30帧、第50帧......。

进一步地，在本发明实施例中，第二压缩视频的分辨率和保留的像素可通过如下两种方式确定：

实施例一

在该实施例中，所述第二压缩视频的分辨率为第二压缩过程中压缩的实时视频的分辨率的1/n²，n表示第二压缩率，与w0和h0相关。在一示例中，n为⌊w0/w^p⌋和⌊h0/h^p⌋中的较小者，w0*h0为第二压缩过程中压缩的实时视频的分辨率，w^p*h^p为预设的最低分辨率。即，第二压缩视频的分辨率w1*h1与第二压缩过程中压缩的实时视频的分辨率w0*h0的关系为：w1=w0/n，h1=h0/n。在一具体示例中，预设的最低分辨率w^p*h^p可为320*240，即n为⌊w0/320⌋和⌊h0/240⌋中的较小者，这样，第二压缩过程中压缩后的视频的最低分辨率为320*240。在一示例中，实时视频的分辨率为1920*1080的情况下，n为⌊1920/320⌋（=6）和⌊1080/240⌋（=4）中的较小者4，这样，压缩后的视频为480*270，即压缩后的视频为原来视频的1/16。

进一步地，在该实施例中，所述第二压缩视频中保留坐标为(⌊n/2⌋+n*i，⌊n/2⌋+n*j)的像素，其中，i=0,1,2,......；j=0,1,2,......，i和j的最大值分别为⌊w0/n⌋和⌊h0/n⌋，w0*h0为第二压缩过程中压缩的实时视频的分辨率。即将压缩的实时视频帧划分为多个网格大小为n²的单位网格，每个单位网格中保留1个像素，像素的坐标为。如图2所示，在n=4的情况下，压缩的实时视频帧的单位网格的网格大小为4*4=16，每个单位网格保留的像素p在所属网格中的位置如图2中的斜线部分所示。通过图2可知，保留的像素位于所属单位网格相对靠中间的位置，更能代表16个像素的颜色。这样，在本实施例中，在每个网格大小为16的单位网格中仅保留一个像素，使得能够尽可能的压缩视频，选择像素坐标相对靠中间的像素保留下来，能够更能体现原始实时视频帧的颜色。

实施例二

在该实施例中，所述第二压缩视频的分辨率为第二压缩过程中压缩的实时视频的分辨率的1/n²，n表示第二压缩率，与w0和h0相关。在一示例中，n为w0/w^p和h0/h^p中的较小者，w0*h0为第二压缩过程中压缩的实时视频的分辨率，w^p*h^p为预设的最低分辨率。即，第二压缩视频的分辨率w1*h1与第二压缩过程中压缩的实时视频的分辨率w0*h0的关系为：w1=w0/n，h1=h0/n。在一具体示例中，预设的最低分辨率w^p*h^p可为320*240，即n为w0/320和h0/240中的较小者，这样，第二压缩过程中压缩后的视频的最低分辨率为320*240。

在该实施例中，如果基于压缩的实时视频的分辨率和预设的最低分辨率求得的n为整数，例如n=4，则所述第二压缩视频中保留坐标为(⌊n/2⌋+n*i，⌊n/2⌋+n*j)的像素，其中，i=0,1,2,......；j=0,1,2,......，i和j的最大值分别为⌊w0/n⌋和⌊h0/n⌋，即保留的像素与前述实施例一中保留的像素一致。

如果基于压缩的实时视频的分辨率和预设的最低分辨率求得的n为非整数，例如n=4.5，则所述第二压缩视频中保留坐标为：(⌊n1/2⌋+x0，⌊n1/2⌋+y0)、(⌊n1/2⌋+x0，⌊n2/2⌋+n1+y0)、(⌊n2/2⌋+n1+x0，⌊n2/2⌋+y0)和(⌊n2/2⌋+n1+x0，⌊n2/2⌋+n1+y0)的像素，其中，n1和n2分别为⌊n⌋和⌈n⌉，x0和y0为第二压缩过程中压缩的实时视频帧中的每个单位网格的左上角像素点p0的坐标，所述单位网格的网格大小为（n1+n2）*（n1+n2），第一个单位网格的起始点为第二压缩过程中压缩的实时视频帧的左上角像素点。即可将压缩的实时视频帧划分为多个网格大小为（n1+n2）*（n1+n2）的单位网格，每个单位网格中保留4个像素，每个单位网格内保留的像素的坐标为(⌊n1/2⌋+x0，⌊n1/2⌋+y0)、(⌊n1/2⌋+x0，⌊n2/2⌋+n1+y0)、(⌊n2/2⌋+n1+x0，⌊n2/2⌋+y0)和(⌊n2/2⌋+n1+x0，⌊n2/2⌋+n1+y0)。如图3所示，在n=4.5的情况下，压缩的实时视频帧的单位网格的网格大小为（4+5）*（4+5）=81，每个单位网格保留的4个像素p1~p4在所属网格中的位置如图3中的斜线部分所示。通过图3可知，保留的4个像素位于所属单位网格相对靠中间的位置，更能代表81个像素的颜色。这样，在本实施例中，在每个网格大小为81的单位网格中仅保留4个像素，使得能够尽可能的压缩视频，选择像素坐标相对靠中间的像素保留下来，能够更能体现原始实时视频帧的颜色。

进一步地，在本发明实施例中，所述视频访问时间可基于所述访问日志确定。

需要说明的是，在本发明实施例中，符号⌊⌋表示向下取整，符号⌈⌉表示向上取整。

综上，本发明实施例提供的数据处理方法，能够将原始视频压缩成大小和分辨率不同的两个压缩视频，其中，第一压缩视频为原实时视频的1/m，第二压缩视频为原视频的1/(n*n)。在本发明实施例中，视频的总压缩率可通过公式(m*n²)/(n²+m)确定，这样，可根据第一压缩率和第二压缩率，得到总压缩率。

本发明实施例通过将原始实时视频压缩成两个具有不同分辨率和帧数的两个压缩视频，能够在存储空间相对固定的情况下，尽可能的存储长时间段的视频数据，从而满足回溯查询的需求。

本发明实施例还提供了一种数据处理系统，包括存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序，其中，上述处理器执行上述计算机程序时实现上述数据处理方法的步骤。

具体地，上述存储器和处理器能够为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机程序时，能够执行上述数据处理方法，从而解决相关技术中不能存储长时间段的实时视频数据和不能满足回溯查询的需求的问题。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（rom，readonlymemory）、随机存取存储器（ram，randomaccessmemory）、磁盘或光盘等。

以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。