视频数据处理方法、装置及存储介质与流程

本发明涉及视频分析技术领域，具体涉及一种视频数据处理方法、装置及存储介质。

背景技术：

现有的多线程并行计算方法，只是在使用时创建多线程，使用后销毁。当运行高并发的计算任务时，线程的重复创建会浪费系统资源，并且线程运行的cpu核心是由操作系统分配，当启动的线程数量大于cpu核心数量时，会加剧cpu争抢现象，导致cpu调度的负载增加。

技术实现要素：

本发明实施例的目的在于提供一种视频数据处理方法、装置及计算机可读存储介质，以解决现有技术中多线程并行计算仅在使用时创建线程、而使用后销毁的累赘运行方式的问题，从而减少线程重复创建对系统的资源消耗，提高资源有效利用率，减小cpu调度负载。

为实现上述目的，第一方面，本发明实施例提供了一种视频数据处理方法，包括：

接收计算任务，并根据所述计算任务获取待处理视频数据；

对所述待处理视频数据进行分块以得到多个数据块；

调用任务计算线程池中的多线程，在不同的核心上运行线程以实现不同数据块的计算，并得到不同数据块的计算结果；

在线程计算完成后，对所述计算结果进行排序，并将线程放回所述任务计算线程池；

在所述计算任务完成后，将多线程的计算结果进行聚合。

作为本申请一种优选的实施方式，对所述待处理视频数据进行分块以得到多个数据块，具体包括：

判断是否存在预设的数据分块数量；

若存在预设的数据分块数量，则获取预设的数据分块数量，并按照预设的数据分块数量对所述待处理视频数据进行分块，以得到多个数据块；

若不存在预设的数据分块数量，则按照默认值对所述待处理视频数据进行分块，以得到多个数据块。

作为本申请一种优选的实施方式，所述默认值等于cpu线程数。

作为本申请一种优选的实施方式，得到多个数据块之后，所述方法还包括：

判断任务计算线程池是否初始化；

若所述任务计算线程池已初始化，则启动多线程；

若所述任务计算线程池未初始化，则对所述任务计算线程池进行初始化并启动多线程。

作为本申请一种优选的实施方式，将多线程的计算结果进行聚合之后，所述方法还包括：

返回所述计算结果。

第二方面，本发明实施例还提供了一种视频数据处理装置，包括：

获取单元，用于接收计算任务，并根据所述计算任务获取待处理视频数据；

分块单元，用于对所述待处理视频数据进行分块以得到多个数据块；

计算单元，用于调用任务计算线程池中的多线程，在不同的核心上同时运行以实现不同数据块的计算，并得到不同数据块的计算结果；

排序单元，用于在线程计算完成后，对所述计算结果进行排序，并将线程放回所述任务计算线程池；

聚合单元，用于在所述计算任务完成后，将多线程的计算结果进行聚合。

作为本申请一种优选的实施方式，所述分块单元具体用于：

判断是否存在预设的数据分块数量；

若存在预设的数据分块数量，则获取预设的数据分块数量，并按照预设的数据分块数量对所述待处理视频数据进行分块，以得到多个数据块；

若不存在预设的数据分块数量，则按照默认值对所述待处理视频数据进行分块，以得到多个数据块。

作为本申请一种优选的实施方式，所述处理装置还包括初始化单元，用于：

判断任务计算线程池是否初始化；

若所述任务计算线程池已初始化，则启动多线程；

若所述任务计算线程池未初始化，则对所述任务计算线程池进行初始化并启动多线程。

第三方面，本发明实施例还提供了一种视频数据处理装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其内存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

实施本发明实施例，先对待处理视频数据进行分块以得到多个数据块，再调用任务计算线程池中的多个线程，在不同的核心上同时运行以实现不同数据块的计算，并得到计算结果，且在线程计算完成后对计算结果进行排序，并将线程返回任务计算线程池，在计算任务完成后，将计算结果进行聚合；即，本发明实施例通过线程池实现了多核并行计算，解决了现有技术中多线程并行计算仅在使用时创建线程、而使用后销毁的累赘运行方式的问题，从而减少了线程重复创建对系统的资源消耗，提高了资源有效利用率，减小了cpu调度负载。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1是本发明第一实施例提供的视频数据处理方法的示意流程图；

图2是本发明第二实施例提供的视频数据处理方法的示意流程图；

图3是本发明第一实施例提供的视频数据处理装置的结构示意图；

图4是本发明第二实施例提供的视频数据处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

需要说明的是，本发明实施例的构思是提供一种数据分块及并行算法，其使用多线程并结合线程池实现多核并行计算，减少线程重复创建对系统的资源消耗，并限定分块的数量小于机器的核心数，通过将线程绑定到指定的核心运行。将以上两种方式结合应用，可大幅减少cpu的调度负载。

请参考图1，是本发明第一实施例提供的视频数据处理方法，如图所示，该方法可以包括以下步骤：

s101，接收计算任务，并根据所述计算任务获取待处理视频数据。

s102，对所述待处理视频数据进行分块以得到多个数据块。

s103，调用任务计算线程池中的多线程，在不同的核心上运行线程以实现不同数据块的计算，并得到不同数据块的计算结果。

s104，在线程计算完成后，对计算结果进行排序，并将线程放回任务计算线程池。

s105，在计算任务完成后，将多线程的计算结果进行聚合。

实施本发明实施例所提供的视频数据处理方法，若先对待处理视频数据进行分块以得到多个数据块，再调用任务计算线程池中的多个线程，在不同的核心上同时运行线程以实现不同数据块的计算，并得到计算结果，且在线程计算完成后对计算结果进行排序，并将线程返回任务计算线程池，在计算任务完成后，将计算结果进行聚合；即，本发明实施例通过线程池实现了多核并行计算，解决了现有技术中多线程并行计算仅在使用时创建线程、而使用后销毁的累赘运行方式的问题，从而减少了线程重复创建对系统的资源消耗，提高了资源有效利用率，减小了cpu调度负载。

请参考图2，是本发明第二实施例提供的视频数据处理方法，如图所示，该方法可以包括以下步骤：

s201，接收计算任务，并根据计算任务获取待处理的视频数据。

s202，判断是否存在预设的数据分块数量，若是，则执行步骤s203，反之，执行步骤s204。

s203，获取预设的数据分块数量，并按照预设的数据分块数量对所述待处理视频数据进行分块，以得到多个数据块。

s204，按照默认值对所述待处理视频数据进行分块，以得到多个数据块。

在本实施例中，默认值等于cpu线程数。

s205，判断任务计算线程池是否初始化，若是，则执行步骤s206，反之，执行步骤s207。

s206，启动多线程。

s207，对所述任务计算线程池进行初始化并启动多线程。

s208，调用任务计算线程池中的多线程，在不同的核心上运行线程以实现不同数据块的计算，并得到不同数据块的计算结果。

s209，在线程计算完成后，对计算结果进行排序，并将所述线程放回所述任务计算线程池。

s210，在计算任务完成后，将多线程的计算结果进行聚合。

s211，返回计算结果。

实施本发明实施例所提供的视频数据处理方法，若先对待处理视频数据进行分块以得到多个数据块，再调用任务计算线程池中的多个线程，在不同的核心上同时运行线程以实现不同数据块的计算，并得到计算结果，且在线程计算完成后对计算结果进行排序，并将线程返回任务计算线程池，在计算任务完成后，将计算结果进行聚合；即，本发明实施例通过线程池实现了多核并行计算，解决了现有技术中多线程并行计算仅在使用时创建线程、而使用后销毁的累赘运行方式的问题，从而减少了线程重复创建对系统的资源消耗，提高了资源有效利用率，减小了cpu调度负载。

相应地，在上述实施例所提供的视频数据处理方法的基础上，本发明实施例还提供了一种视频数据处理装置。如图3所示，该处理装置可以包括：

获取单元10，用于接收计算任务，并根据所述计算任务获取待处理视频数据；

分块单元11，用于对所述待处理视频数据进行分块以得到多个数据块；

计算单元12，用于调用任务计算线程池中的多线程，在不同的核心上运行线程以实现不同数据块的计算，并得到不同数据块的计算结果；

排序单元13，用于在线程计算完成后，对计算结果进行排序，并将线程放回任务计算线程池；

聚合单元14，用于在所述计算任务完成后，将多线程的计算结果进行聚合。

进一步度，该聚合单元14还用于返回上述计算结果。

进一步地，在本实施例中，所述分块单元11具体用于：

判断是否存在预设的数据分块数量；

若存在预设的数据分块数量，则获取预设的数据分块数量，并按照预设的数据分块数量对所述待处理视频数据进行分块，以得到多个数据块；

若不存在预设的数据分块数量，则按照默认值对所述待处理视频数据进行分块，以得到多个数据块。

进一步地，在本实施例中，所述视频数据处理装置还包括初始化单元，用于：

判断任务计算线程池是否初始化；

若所述任务计算线程池已初始化，则启动多线程；

若所述任务计算线程池未初始化，则对所述任务计算线程池进行初始化并启动多线程。

需要说明的是，本实施例中视频数据处理装置的具体工作流程请参考前述方法实施例部分，在此不再赘述。

实施本发明实施例所提供的视频数据处理装置，先对待处理视频数据进行分块以得到多个数据块，再调用任务计算线程池中的多线程，在不同的核心上同时运行线程以实现不同数据块的计算，并得到不同数据块的计算结果，且在线程计算完成后对计算结果进行排序，并将线程返回任务计算线程池，在计算任务完成后，将计算结果进行聚合；即，本发明实施例通过线程池实现了多核并行计算，解决了现有技术中多线程并行计算仅在使用时创建线程、而使用后销毁的累赘运行方式的问题，从而减少了线程重复创建对系统的资源消耗，提高了资源有效利用率，减小了cpu调度负载。

进一步地，在上述实施例所提供的视频数据处理方法及装置的基础上，本发明另一实施例还提供了一种视频数据处理装置。如图4所示，该视频数据处理装置，可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法。

应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(centralprocessingunit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备102可以包括键盘等，输出设备103可以包括显示器(lcd等)、扬声器等。

该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的视频数据处理方法的实施例中所描述的实现方式，在此不再赘述。

实施本发明实施例所提供的视频数据处理装置，先对待处理视频数据进行分块以得到多个数据块，再调用任务计算线程池中的多线程，在不同的核心上运行线程以实现不同数据块的计算，并得到不同数据块的计算结果，且在线程计算完成后对计算结果进行排序，并将线程返回任务计算线程池，在计算任务完成后，将计算结果进行聚合；即，本发明实施例通过线程池实现了多核并行计算，解决了现有技术中多线程并行计算仅在使用时创建线程、而使用后销毁的累赘运行方式的问题，从而减少了线程重复创建对系统的资源消耗，提高了资源有效利用率，减小了cpu调度负载。

相应地，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述视频数据处理方法。

所述计算机可读存储介质可以是前述任一实施例所述的系统的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。