一种视频处理方法、装置、电子设备及可读存储介质与流程

1.本发明涉及物联网设备技术领域，具体涉及一种视频处理方法、装置、电子设备及可读存储介质。


背景技术：

2.随着通信技术的不断发展，实现了通过智能识别能够高效地对特定区域进行长时间监控，减少了人力的使用，被广泛应用于建筑工地、交通安全等领域。在现有技术中，单个业务通常就需要使用多个摄像头，不同业务的独立布局造成在同一区域出现多个摄像头。进而，会造成摄像机等设备资源投入过多，还会因其拍摄的视频上传至服务器造成网络传输和存储资源被大量占用。
3.可见，现有技术中存在着设备及网络资源被浪费的问题。


技术实现要素：

4.本发明实施例提供一种视频处理方法、装置、电子设备及可读存储介质，以解决现有技术中存在着设备及网络资源被浪费的问题。
5.为解决上述问题，本发明是这样实现的：第一方面，本发明实施例提供一种视频处理方法，由网关执行，包括：接收第一服务器发送的n个算法模型，以及n个帧率参数和n个格式参数，其中，所述n个帧率参数为分别与所述n个算法模型对应的n个参数，所述n个格式参数为分别与所述n个帧率参数对应的n个参数，n为大于1的自然数；获取视频，所述视频由一个摄像头记录；利用目标格式参数对所述视频进行格式转换处理，得到转换视频数据，其中，所述目标格式参数为所述n个格式参数中的至少一个格式参数；依据目标帧率参数对所述转换视频数据进行抽帧处理，得到中间图片数据，其中，所述目标帧率参数为所述n个帧率参数中与所述目标格式参数对应的至少一个帧率参数；通过目标算法模型对所述中间图片数据进行计算处理，得到计算处理结果，其中，所述目标算法模型为所述n个算法模型中与所述目标帧率参数对应的至少一个算法模型；向所述第一服务器发送所述计算处理结果。
6.第二方面，本发明实施例还提供一种视频处理方法，由第一服务器执行，包括：获取配置信息，所述配置信息包括n个算法模型和m个第二服务器，所述n个算法模型为分别与所述m个第二服务器对应的n个算法模型，m为大于1的自然数；向网关发送所述n个算法模型，以及n个帧率参数和n个格式参数，其中，所述n个帧率参数为分别与所述n个算法模型对应的n个参数，所述n个格式参数为分别与所述n个帧率参数对应的n个参数，n为大于1的自然数；接收计算处理结果，所述计算处理结果为网关响应所述n个算法模型向所述第一服务器发送的处理结果；
向目标服务器发送所述计算处理结果，所述目标服务器为所述n个第二服务器中的至少一个服务器。
7.第三方面，本发明实施例还提供一种视频处理装置，包括：接收模块，用于接收第一服务器发送的n个算法模型，以及n个帧率参数和n个格式参数，其中，所述n个帧率参数为分别与所述n个算法模型对应的n个参数，所述n个格式参数为分别与所述n个帧率参数对应的n个参数，n为大于1的自然数；获取模块，用于获取视频，所述视频由一个摄像头记录；第一处理模块，用于利用目标格式参数对所述视频进行格式转换处理，得到转换视频数据，其中，所述目标格式参数为所述n个格式参数中的至少一个格式参数；第二处理模块，用于依据目标帧率参数对所述转换视频数据进行抽帧处理，得到中间图片数据，其中，所述目标帧率参数为所述n个帧率参数中与所述目标格式参数对应的至少一个帧率参数；第三处理模块，用于通过目标算法模型对所述中间图片数据进行计算处理，得到计算处理结果，其中，所述目标算法模型为所述n个算法模型中与所述目标帧率参数对应的至少一个算法模型；发送模块，用于向所述第一服务器发送所述计算处理结果。
8.第四方面，本发明实施例还提供一种视频处理装置，包括：获取模块，用于获取配置信息，所述配置信息包括n个算法模型和m个第二服务器，所述n个算法模型为分别与所述m个第二服务器对应的n个算法模型，m为大于1的自然数；第一发送模块，用于向网关发送所述n个算法模型，以及n个帧率参数和n个格式参数，其中，所述n个帧率参数为分别与所述n个算法模型对应的n个参数，所述n个格式参数为分别与所述n个帧率参数对应的n个参数，n为大于1的自然数；接收模块，用于接收计算处理结果，所述计算处理结果为网关响应所述n个算法模型向所述第一服务器发送的处理结果；第二发送模块，用于向目标服务器发送所述计算处理结果，所述目标服务器为所述m个第二服务器中的至少一个服务器。
9.第五方面，本发明实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述第一方面所述的视频处理方法中的步骤；或，实现如上述第二方面所述的视频处理方法中的步骤。
10.第六方面，本发明实施例还提供一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如上述第一方面所述的视频处理方法中的步骤；或，实现如上述第二方面所述的视频处理方法中的步骤。
11.在本发明实施例中，通过对处理一个摄像头的视频进行不同的格式处理和算法处理，可以适配不同的业务需求，减少了设备及网络资源的占用。
附图说明
12.为更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对
于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
13.图1是本发明实施例提供的一种视频处理方法的流程图之一；图2是本发明实施例提供的一种视频处理方法的流程图之二；图3是本发明实施例提供的一种视频处理装置的结构示意图之一；图4是本发明实施例提供的一种视频处理装置的结构示意图之二；图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
14.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
15.请参见图1，图1是本发明实施例提供的一种视频处理方法的流程图之一，由网关执行，如图1所示，视频处理方法包括：步骤101、接收第一服务器发送的n个算法模型，以及n个帧率参数和n个格式参数，其中，n个帧率参数为分别与n个算法模型对应的n个参数，n个格式参数为分别与n个帧率参数对应的n个参数，n为大于1的自然数。
16.算法模型是由于识别视频中是否存在特定对象的一种算法模型，对于不同的业务需求其算法模型存在区别，不同的算法模型对应的帧率和格式大小也存在区别。例如，第一算法模型用于识别视频中是否存在施工设备，其需求的帧率为10fps（frames per second，每秒传输帧数），需求的格式大小为800
×
600像素大小；第二算法模型用于识别视频中是否存在河流，其需求的帧率为15fps，需求的格式大小为1024
×
786像素大小。算法模型、帧率参数和格式参数均根据具体的业务需求进行设计，在进行视频处理之前需要从第一服务器获取设定好的算法模型、帧率参数和格式参数。
17.步骤102、获取视频，视频由一个摄像头记录。
18.对于一个位置，只采用一个摄像头记录视频，通过n个算法模型对视频进行处理，以满足不同的业务需求，减少了摄像头的使用，同时减少了对网络资源的占用。
19.步骤103、利用目标格式参数对视频进行格式转换处理，得到转换视频数据，其中，目标格式参数为n个格式参数中的至少一个格式参数。
20.由于不同的业务需要不同的视频格式，需要利用算法模型对应的格式参数对视频进行处理，得到符合算法模型格式的视频。例如，第一算法模型需求的格式大小为800
×
600像素大小，第二算法模型需求的视频格式大小为1024
×
786像素大小，通过网关自带的格式转换模型对原始视频分别进行格式转换，转换为800
×
600像素大小的第一视频，以及1024
×
786像素大小的第二视频，再由第一算法模型对第一视频处理，第二算法模型对第二视频处理。
21.步骤104、依据目标帧率参数对转换视频数据进行抽帧处理，得到中间图片数据，其中，目标帧率参数为n个帧率参数中与目标格式参数对应的至少一个帧率参数。
22.对于n个算法模型，其对应的格式参数或对应的帧率参数可能存在相同的情况。对
于格式参数相同的多个算法模型，可以进行一次格式转换后，对转换后的视频进行不同的抽帧处理，得到中间图片数据。
23.例如，第一算法模型对应的格式参数为800
×
600像素大小，帧率参数为15fps；第二算法模型对应的格式参数为800
×
600像素大小，帧率参数为30fps；第三算法模型对应的格式参数为1024
×
786像素大小，帧率参数为15fps；第四算法模型对应的格式参数为1024
×
786像素大小，帧率参数为30fps。对于第一算法模型和第二算法模型，其格式参数相同，所处理的中间图片数据可以由对格式转换后的800
×
600像素大小的第一视频进行抽帧处理获得；同样的，对于第三算法模型和第四算法模型，其格式参数相同，可以对格式转换后的1024
×
786像素大小的第一视频进行抽帧处理，得到帧率参数为15fps和帧率参数为30fps两种中间图片数据。
24.步骤105、通过目标算法模型对中间图片数据进行计算处理，得到计算处理结果，其中，目标算法模型为n个算法模型中与目标帧率参数对应的至少一个算法模型。
25.在获得符合目标算法模型的中间图片数据后，利用目标算法模型处理中间图片数据，得到计算处理结果。计算处理结果是一组图片数据，通过目标算法模型对中间图片数据处理，得到包含了识别结果的一组图片数据，识别结果包括识别出对象和未识别出对象两种结果。
26.步骤106、向第一服务器发送计算处理结果。
27.本实施例中，通过对处理一个摄像头的视频进行不同的格式处理和算法处理，可以适配不同的业务需求，减少了设备及网络资源的占用。
28.在一个实施例中，依据目标帧率参数对转换视频数据进行抽帧处理，得到中间图片数据，包括：通过第一帧率参数对转换视频数据进行抽帧处理，得到抽帧图片数据，其中，第一帧率参数为目标帧率参数中最大的帧率参数；对抽帧图片数据进行命名处理，得到第一编码数据；通过第一编码数据和第二帧率对抽帧图片数据分拣处理，得到中间图片数据，其中，第二帧率为与目标算法模型对应的至少一个帧率参数。
29.本实施例中，对转换视频数据进行抽帧处理，由于同一格式参数可能对应多个帧率参数，需要对抽帧后的数据进行命名区别。而对于同一格式参数进行抽帧处理，按最大的帧率参数进行抽帧，抽帧后的抽帧图片数据内包括了其他帧率抽帧会得到的结果，在抽帧图片数据内分拣可以得到其他帧率需要的图片数据。
30.例如，帧率参数中最大的参数为60fps，则利用60fps的帧率参数进行抽帧，得到抽帧图片数据。对抽帧图片数据命名，得到第一编码数据，第一编码数据包括摄像机编号、格式代码、时间戳、帧号和方位信息中的至少一项。再根据第一编码数据对抽帧图片数据进行分拣，得到30fps、15fps等其他帧率参数的中间图片数据。在一个实施例中，利用目标格式参数对视频进行格式转换处理，得到转换视频数据，包括：对视频进行解码处理，获得解码视频；对解码视频进行复制处理，得到多个复制视频，其中，复制视频的数量与目标格式参数的数量相同；利用目标格式参数对目标复制视频进行处理，得到转换视频数据，其中，目标复制
视频为多个复制视频中的一个。
31.本实施例中，在获取到摄像头拍摄的视频之后，先对视频进行解码处理，得到解码视频，再对解码视频进行不同格式转换。其中，由于在最后需要算法模型处理中间图片数据，而中间图片数据由转换视频数据抽帧获得，需要对拍摄的视频先进行复制处理，复制的数量与目标格式参数的数量相同，得到复制视频。再对复制视频转换格式，得到满足格式参数的转换视频数据，可以有效适配n个算法模型。
32.在一个实施例中，计算处理结果包括融合图片数据和第二编码数据，通过目标算法模型对中间图片数据进行计算处理，得到计算处理结果，包括：利用目标算法模型处理中间图片数据，得到分析结果；对分析结果和中间图片数据进行融合处理，得到融合图片数据；对融合图片数据进行命名处理，获得第二编码数据；向第一服务器发送计算处理结果，包括：向第一服务器发送第二编码数据和融合图片数据。
33.本实施例中，算法模型对中间图片数据计算处理，得到分析结果，将分析结果和中间图片数据进行融合处理，得到融合图片数据。其中，融合图片数据包括识别标签、识别对象边界、分类参数和自定义参数中的至少一项，融合图片数据满足业务需求。再对融合图片数据进行命名处理，获得第二编码数据，第二编码数据包括摄像机编号、格式代码、时间戳、帧号和方位信息中的至少一项，服务器可以根据第二编码数据将融合图片数据发送给特定平台，实现由一个摄像头的视频适配多个业务需求。
34.请参见图2，图2是本发明实施例提供的一种视频处理方法的流程示意图之二，由第一服务器执行，如图2所示，视频处理方法包括：步骤201、获取配置信息，配置信息包括n个算法模型和m个第二服务器，n个算法模型为分别与m个第二服务器对应的n个算法模型，m为大于1的自然数。
35.第一服务器为与网关通信的服务器，第二服务器为业务服务器，根据不同的业务需要配置不同的算法模型，算法模型和第二服务器可以为一一对应关系，也可以为一个第二服务器对应多个算法模型，或者一个算法模型对应多个第二服务器，可以根据业务需求进行设计。
36.步骤202、向网关发送n个算法模型，以及n个帧率参数和n个格式参数，其中，n个帧率参数为分别与n个算法模型对应的n个参数，n个格式参数为分别与n个帧率参数对应的n个参数，n为大于1的自然数。
37.步骤203、接收计算处理结果，计算处理结果为网关响应n个算法模型向第一服务器发送的处理结果。
38.步骤204、向目标服务器发送计算处理结果，目标服务器为m个第二服务器中的至少一个服务器。
39.本实施例中，第一服务器向m个第二服务器发送计算处理结果，实现了对多个业务需求的适配，同时减少了摄像头和网络资源的使用。
40.在一个实施例中，计算处理结果包括融合图片数据和第三编码数据，第三编码数据为网关对融合图片数据进行命名处理获得，向目标服务器发送计算处理结果，包括：依据第三编码数据向目标服务器发送融合图片数据。
41.本实施例中，第三编码数据包括摄像机编号、格式代码、时间戳、帧号和方位信息中的至少一项，服务器可以根据第三编码数据将融合图片数据发送至第三服务器。
42.上述第一编码数据、第二编码数据或第三编码数据按照下述规则进行命名：编码数据包括摄像机编号、格式代码、时间戳、帧号和方位信息中的至少一项，将格式设计为cn_p_pf_yyyymmddhhmmss_fn_pppsttzz。其中：cn表示摄像机编号；p表示图片是否已经进行算法模型处理；pf表示图片格式的固定编码，具体如下：yyyymmddhhmmss表示时间，包括年月日时分秒，在位数不足时补零；fn表示图像帧号，不足2位时，前面一位补“0”；pppsttzz表示方位信息，具体如下：通过上述命名规则得到第一编码数据、第二编码数据和第三编码数据。
43.请参见图3，图3是本发明实施例提供的一种视频处理装置的结构示意图之一，如图3所示，视频处理装置300包括：接收模块301，用于接收第一服务器发送的n个算法模型，以及n个帧率参数和n个格式参数，其中，n个帧率参数为分别与n个算法模型对应的n个参数，n个格式参数为分别与n个帧率参数对应的n个参数，n为大于1的自然数；获取模块302，用于获取视频，视频由一个摄像头记录；第一处理模块303，用于利用目标格式参数对视频进行格式转换处理，得到转换视频数据，其中，目标格式参数为n个格式参数中的至少一个格式参数；第二处理模块304，用于依据目标帧率参数对转换视频数据进行抽帧处理，得到中间图片数据，其中，目标帧率参数为n个帧率参数中与目标格式参数对应的至少一个帧率参数；
第三处理模块305，用于通过目标算法模型对中间图片数据进行计算处理，得到计算处理结果，其中，目标算法模型为n个算法模型中与目标帧率参数对应的至少一个算法模型；发送模块306，用于向第一服务器发送计算处理结果。
44.在一个实施例中，第二处理模块304包括：第一处理单元，用于通过第一帧率参数对转换视频数据进行抽帧处理，得到抽帧图片数据，其中，第一帧率参数为目标帧率参数中最大的帧率参数；第二处理单元，用于对抽帧图片数据进行命名处理，得到第一编码数据；第三处理单元，用于通过第一编码数据和第二帧率对抽帧图片数据分拣处理，得到中间图片数据，其中，第二帧率为与目标算法模型对应的至少一个帧率参数。
45.在一个实施例中，第一处理模块303包括：第四处理单元，用于对视频进行解码处理，获得解码视频；第五处理单元，用于对解码视频进行复制处理，得到多个复制视频，其中，复制视频的数量与目标格式参数的数量相同；第六处理单元，用于利用和目标格式参数对目标复制视频进行处理，得到转换视频数据，其中，目标复制视频为多个复制视频中的一个。
46.在一个实施例中，计算处理结果包括融合图片数据和第二编码数据，第三处理模块305包括：第七处理单元，用于利用目标算法模型处理中间图片数据，得到分析结果；第八处理单元，用于对分析结果和中间图片数据进行融合处理，得到融合图片数据；第九处理单元，用于对融合图片数据进行命名处理，获得第二编码数据；发送模块306包括：第一发送单元，用于向第一服务器发送第二编码数据和融合图片数据。
47.视频处理装置300为能实现上述应用于网关的视频处理方法的各实施例的各个过程，技术特征一一对应，且能达到相同的技术效果，为避免重复，这里不再赘述。
48.请参见图4，图4是本发明实施例提供的一种视频处理装置的结构示意图之二，如图4所示，视频处理装置400包括：获取模块401，用于获取配置信息，配置信息包括n个算法模型和m个第二服务器，n个算法模型为分别与m个第二服务器对应的n个算法模型，m为大于1的自然数；第一发送模块402，用于向网关发送n个算法模型，以及n个帧率参数和n个格式参数，其中，n个帧率参数为分别与n个算法模型对应的n个参数，n个格式参数为分别与n个帧率参数对应的n个参数，n为大于1的自然数；接收模块403，用于接收计算处理结果，计算处理结果为网关响应n个算法模型向第一服务器发送的处理结果；第二发送模块404，用于向目标服务器发送计算处理结果，目标服务器为m个第二服务器中的至少一个服务器。
49.在一个实施例中，计算处理结果包括融合图片数据和第三编码数据，第三编码数据为网关对融合图片数据进行命名处理获得，第二发送模块404包括：
发送单元，用于依据第三编码数据向目标服务器发送融合图片数据。
50.视频处理装置400为能实现上述应用于第一服务器的视频处理方法的各实施例的各个过程，技术特征一一对应，且能达到相同的技术效果，为避免重复，这里不再赘述。
51.本发明实施例还提供一种电子设备，参见图5，图5是本发明实施提供的一种电子设备的结构示意图，电子设备包括存储器501、处理器502和存储在存储器501上运行的程序或者指令，该程序或者指令被处理器502执行时可实现图1或图2对应的方法实施例中的任意步骤及达到相同的有益效果，此处不再赘述。
52.其中，处理器502可以是cpu、asic、fpga、gpu、npu或cpld。
53.本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成，所述的程序可以存储于一可读取介质中。
54.本发明实施例还提供一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现上述图1或图2对应的方法实施例中的任意步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。所述的存储介质，如只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等。
55.本发明实施例中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，本技术中使用“和/或”表示所连接对象的至少其中之一，例如a和/或b和/或c，表示包含单独a，单独b，单独c，以及a和b都存在，b和c都存在，a和c都存在，以及a、b和c都存在的7种情况。
56.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
57.通过以上的实施方式的描述，本领域的技术人员可以清楚地解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，空调器，或者第二终端设备等）执行本技术各个实施例的方法。
58.上面结合附图对本技术的实施例进行描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。