一种基于数字视网膜的端、边、云协同系统及方法、设备

本申请涉及视频数据处理技术领域，更为具体来说，本申请能够提供一种基于数字视网膜的端、边、云协同系统及方法、设备。

背景技术：

传统的视频数据处理一般过程为：通过视频编码技术将被压缩之后的大规模视频传输到云端进行存储，并可对每个压缩的视频进行解码，然后进行视频分析和识别任务。更具体来说，云端收到的视频大部分用于存储；另一部分用于视频解码，并进行远程监视；只有小部分数据用于分析识别任务，云端存储占用非常大的资源且成本高。

但是，近年来监控视频数据的数量呈指数级增长。即使不断提高视频压缩率，实际上能够用于分析识别任务上的视频数据仍然是少量的，导致视频大数据利用率低，视频大数据资源浪费严重，难以挖掘视频数据价值。

技术实现要素：

为解决现有技术对视频大数据利用率较低、视频大数据浪费严重的问题，本申请能够提供一种基于数字视网膜的端、边、云协同系统及方法、设备，以解决现有技术存在的一个或多个问题。

为实现上述技术目的，本申请一个或多个实施例公开了一种基于数字视网膜的端、边、云协同系统，该协同系统包括但不限于前端设备、边缘设备及云端设备。

所述前端设备，用于从采集的视频数据中提取出具有通用性的特征，并用于基于所述特征生成分析识别任务；所述前端设备还用于对所述分析识别任务进行处理，以得到用于发送至所述边缘设备的第一中间结果。

所述边缘设备，用于基于所述第一中间结果对所述分析识别任务进行处理，以得到用于发送至所述云端设备的第二中间结果。

所述云端设备，用于基于所述第二中间结果对所述分析识别任务进行处理，以生成视频数据的分析识别结果。

为实现上述技术目的，本申请一个或多个实施例公开了一种基于数字视网膜的端、边、云协同方法，该协同方法包括但不限于如下的至少一个步骤。

从采集的视频数据中提取出具有通用性的特征。

基于所述具有通用性的特征生成分析识别任务。

利用前端设备对所述分析识别任务进行处理，以得到第一中间结果。

基于所述第一中间结果利用边缘设备对所述分析识别任务进行处理，以得到第二中间结果。

基于所述第二中间结果利用云端设备对所述分析识别任务进行处理，以生成视频数据的分析识别结果。

为实现上述技术目的，本申请一个或多个实施例公开了一种前端设备，该设备包括但不限于摄像头、存储器及一个或多个处理器；所述摄像头用于采集视频数据，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：从采集的视频数据中提取出具有通用性的特征，基于所述具有通用性的特征生成分析识别任务，对所述分析识别任务进行处理，以得到用于发送至边缘设备的第一中间结果。

其中，所述边缘设备用于基于所述第一中间结果对所述分析识别任务进行处理，以得到用于发送至云端设备的第二中间结果；所述云端设备用于基于所述第二中间结果对所述分析识别任务进行处理，以生成视频数据的分析识别结果。

为实现上述技术目的，本申请一个或多个实施例公开了一种边缘设备，该设备包括但不限于处理器和一个或多个处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：基于第一中间结果对分析识别任务进行处理，以得到用于发送至云端设备的第二中间结果。

其中，所述第一中间结果由前端设备处理分析识别任务而产生；所述前端设备用于从采集的视频数据中提取出具有通用性的特征，并用于基于所述具有通用性的特征生成分析识别任务；所述云端设备用于基于所述第二中间结果对所述分析识别任务进行处理，以生成视频数据的分析识别结果。

为实现上述技术目的，本申请一个或多个实施例公开了一种云端设备，该设备包括但不限于存储器和一个或多个处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：基于第二中间结果对分析识别任务进行处理，以生成视频数据的分析识别结果。

其中，所述第二中间结果由边缘设备处理分析识别任务而产生；所述边缘设备用于基于第一中间结果对分析识别任务进行处理，以得到用于发送至所述云端设备的第二中间结果；所述第一中间结果由前端设备处理分析识别任务而产生；所述前端设备用于从采集的视频数据中提取出具有通用性的特征，并用于基于所述具有通用性的特征生成所述分析识别任务。

进一步地，所述前端设备，用于利用由所述云端设备训练完成的神经网络模型中第一数量目标层对所述分析识别任务进行处理。

进一步地，所述边缘设备，用于利用由所述云端设备训练完成的神经网络模型中第二数量目标层对所述分析识别任务进行处理。

进一步地，所述云端设备，用于利用由所述云端设备训练完成的神经网络模型中第三数量目标层对所述分析识别任务进行处理；其中，所述神经网络模型包括依次连接的所述第一数量目标层、所述第二数量目标层以及所述第三数量目标层。

进一步地，多个所述前端设备之间用于进行同等级的分析识别任务分配和数据交换。

多个所述边缘设备之间用于进行同等级的分析识别任务分配和数据交换。

多个所述云端设备之间用于进行同等级的分析识别任务分配和数据交换。

进一步地，所述前端设备为视频采集装置，所述边缘设备为边缘服务器，所述云端设备为云端服务器。

本申请的有益效果为：

本申请提供了一种全新视频数据处理架构，能够将计算任务合理分布在前端设备、边缘设备以及云端设备上，以达到高能效处理的目的，可见本申请技术方案能够实现计算协同。本申请技术方案还能够基于具有通用性的特征满足各端、边、云设备上不同分析识别任务的要求，可见本申请技术方案能够实现特征协同。本申请能在云端设备上训练用于不同场景的基网模型和小样本学习适配模型等，并进行轻量化处理以部署到端、边、云侧，可见本申请技术方案能够实现模型协同。本申请所提供的协同系统架构能够对大数据进行快速处理，特别适用于处理大规模的视频数据，使整个视频数据处理系统性能最优。

本申请技术方案突破了常规的视频数据处理架构，能够有效且充分地利用计算资源挖掘视频大数据的价值，能够从根源上彻底解决视频大数据利用率低的难题。

本申请所提供的一个或多个技术方案能够广泛应用在智慧城市、智能交通等多种场景中，具有非常大的市场价值，适于大面积推广和应用。

附图说明

图1示出了本申请一些实施例中基于数字视网膜的端、边、云协同系统架构示意图。

图2示出了本申请一个或多个实施例中利用本申请协同系统架构与深度神经网络模型的结合完成分类识别任务的示意图。

图3示出了本申请另一些实施例中基于数字视网膜的端、边、云协同系统架构示意图。

图4示出了本申请一个或多个实施例端、边、云设备间进行协同计算任务分配的示意图。

图5示出了本申请一个或多个实施例中利用云端训练神经网络模型以及部署到端、边设备应用侧的示意图。

具体实施方式

下面结合说明书附图对本申请提供的一种基于数字视网膜的端、边、云协同系统及方法、设备进行详细的解释和说明。

如图1所示，本申请能够提供一种基于数字视网膜的端、边、云协同系统。该协同系统包括但不限于前端设备、边缘设备以及云端设备，计算任务可由端(前端设备)、边(边缘设备)、云(云端设备)分工协同完成。应当理解的是，本申请方案能够用在端(前端设备)-边(边缘设备)、端(前端设备)-云(云端设备)、边(边缘设备)-云(云端设备)两级设备的情况。

前端设备用于从采集的视频数据中提取出具有通用性的特征，并用于基于特征生成相关的分析识别任务。本申请使所提取的特征具有通用性，从而使分析识别任务中的特征具有通用性，达到使不同分析识别任务分别被前端设备、边缘设备、云端设备高效且快速处理的目的，并能够与卷积神经网络技术有效地结合；其中，本申请能够对视频数据形成的多媒体流进行在线特征编码，以得到特征流。本申请一个或多个实施例具有通用性的特征可包括但不限于cdvs(compactdescriptorsforvisualsearch，紧凑视觉描述子)、cdva(compactdescriptorsforvideoanalysis，紧凑图像描述子)、vfc(vectorfieldconsensus，向量场一致性)等，对于具体场景或者对象，可为边缘特征或角点特征等。本申请实施例中的前端设备还用于对分析识别任务进行处理，以得到用于可发送至边缘设备的第一中间结果，可见本申请利用前端设备完成部分计算任务。

如图2、5所示，本申请一个或多个实施例中的前端设备能具体用于利用由云端设备训练完成的神经网络模型中第一数量目标层对分析识别任务进行处理。如图3所示，多个前端设备之间可用于进行同等级的分析识别任务分配和数据交换，多个前端设备可协作完成部分分析识别任务的计算。本申请中的前端设备为具有计算任务处理功能和视频或者图像采集功能的视频采集装置。

边缘设备用于基于第一中间结果对分析识别任务进行进一步处理，以得到用于发送至云端设备的第二中间结果，可见本申请利用边缘设备完成部分计算任务。如图2、5所示，本申请一个或多个实施例中的边缘设备具体用于利用由云端设备训练完成的神经网络模型中第二数量目标层对分析识别任务进行处理。如图3所示，多个边缘设备之间可以用于进行同等级的分析识别任务分配和数据交换，则多个边缘设备协作完成部分分析识别任务的计算。本申请实施例中的边缘设备为具有计算任务处理功能和存储功能的边缘服务器。

云端设备用于基于第二中间结果对分析识别任务进行进一步处理，以生成视频数据的分析识别结果，可见本申请在端、边、云设备之间将计算任务(包括但不限于分析识别任务)进行分配、协同完成所有计算任务。

如图2、5所示，本申请一个或多个实施例中的云端设备可具体用于利用由云端设备训练完成的神经网络模型中第三数量目标层对分析识别任务进行处理。其中，神经网络模型包括依次直接连接或间接连接的第一数量目标层、第二数量目标层以及第三数量目标层。具体地，本申请能够在云上训练基网模型、小样本学习适配模型等，并能够将训练完成的模型部署到端、边、云设备上，并可对部署到端、边侧的模型进行轻量化处理，本申请能够将训练完成的模型适配到不同场景平台。本实施例以深度神经网络(dnn)为例，本申请能够利用前端设备计算出部分dnn，然后再传输到边缘设备计算出部分dnn，最后可通过云端设备实现剩余dnn的计算。

如图5所示，本申请的基网模型即基网络模型，例如可以包括但不限于resnet(残差网络)、3dcnn(3dconvolutionalneuralnetworks，3d卷积神经网络)等。在云端训练侧，对多媒体流形式的大规模无标注数据进行无监督特征预学习处理，产生的模型流用于基网络模型的训练。利用多媒体流形式的少量标注数据结合基网络模型训练结果进行弱监督交互学习处理，并将产生的模型流用于感知模型训练和算法仓的校验，从而使模型具有目标检测、目标分类、目标重识别以及目标跟踪等功能，将训练完成的模型分配到应用侧(包括但不限于前端设备、边缘设备及云端设备)。在应用侧通过前端设备进行实时特征流提取，提起的特征包括但不限于通过在线特征编码方式得到cdvs(compactdescriptorsforvisualsearch，紧凑视觉描述子)、cdva(compactdescriptorsforvideoanalysis，紧凑图像描述子)、vfc(vectorfieldconsensus，向量场一致性)等特征，通过这些特征建立特征库，本申请利用特征库内的特征描述待处理的分析识别任务。

如图3所示，多个云端设备之间用于进行同等级的分析识别任务分配以及数据交换，多个云端设备协作完成剩余的分析识别任务的计算。云端设备为具有计算任务处理功能和大数据存储功能的云端服务器。

如图2所示，本申请能够根据云端服务器状态和/或边缘服务器状态确定一个或多个目标层分割点i(例如i1和i2)，可见本申请能够根据边缘设备状态和/或云端设备状态确定目标层数量。因此，本申请能够根据边缘设备状态和/或云端设备状态确定第一数量目标层、第二数量目标层、第三数量目标层中的至少一个。对于端设备图像视频，即由摄像机采集的视频，例如可以包括视频v1和视频v2。视频v1到达dnn模型1～i1层的时间为a2，产生中间结果并发送至dnn模型i1+1～n层，结束时间为t2，并得到相应的识别结果(例如猫)。其中，dnn模型1～i1层可部分或全部设置于前端设备和/或边缘设备上，dnn模型i1+1～n层可全部或部分设置于云端服务器上。视频v2到达dnn模型1～i2层的时间为a1，产生中间结果并发送至dnn模型i2+1～n层，结束时间为t1，并得到对应的识别结果(例如狗)。其中，dnn模型1～i2层可部分或全部设置于前端设备和/或边缘设备上，dnn模型i2+1～n层可全部或部分设置于云端服务器上。本申请dnn模型分割算法通过服务器状态确定模型层的分割点i1、i2等，即如果云端服务器状态为较空闲，则可分配更多的模型层，如果云端服务器当前计算负载或压力较大，则可相应分配较少的模型层。本申请创新地将深度神经网络(dnn)等卷积神经网络中各层分配在前端设备、边缘设备及云端设备上，能够明显降低云端设备计算复杂度，极大地减小云端设备的负载，并能够提高任务处理效率，对于延迟敏感的分析任务非常有用，能够应用于多种视频数据处理场景中。

应当理解的是，本申请技术方案涉及的若干前端设备、若干边缘设备以及若干云端设备，均可选择完成分析识别任务计算的部分或者全部或者不参与计算。其中，前端设备、边缘设备及云端设备均可具有完整的分工协作通信协议，包括前端设备、边缘设备、云端设备三者之间和同类设备(如一台前端设备与另一台前端设备，一台边缘设备与另一台边缘设备，一台云端设备与另一台云端设备)之间的数据交换通信协议，支持同类别或不同类别设备之间计算任务协作完成。前端设备、边缘设备及云端设备均可具有完整的分工协作调度方案，包括前端设备、边缘设备、云端设备三者之间和同类设备之间的计算任务调度。

本申请所涉及的数字视网膜是一种端、边、云协同处理架构，具体可体现在计算协同(即计算需合理分布在端、边、云设备上，达到高能效等目的)、特征协同(即特征具有通用性，以满足端、边、云上不同分析识别任务)以及模型协同(即云上训练基网模型、小样本学习适配模型到不同场景，并进行轻量化处理，以部署到端边侧)。本申请创新地将特征提取功能设置于摄像头端(或者本地服务器上)，特征可经过编码和部分处理后传输到云端，从而能够形成特征实时汇聚、视频按需调取的视频大数据分析技术架构。所以本申请能够从根源上彻底解决视频大数据利用度低、云端计算复杂度高及难以实时传输等问题，充分挖掘出视频大数据的价值。

与本申请的协同系统基于相同的技术构思，本申请一个或多个实施例能够提供一种基于数字视网膜的端、边、云协同方法，该协同方法可包括但不限于如下的至少一个步骤。

从采集的视频数据中提取出具有通用性的特征。

基于具有通用性的特征生成分析识别任务，即计算任务。本申请能够实现对计算任务的合理调度。

如图4所示，本申请在端、边、云设备间协同计算任务分配，并基于整个系统性能最优的原则将计算任务分配给可均具有服务器集群的前端设备、边缘设备以及云端设备。

利用前端设备对分析识别任务进行处理，并能完成部分视频分析任务的计算，以得到第一中间结果。

利用边缘设备接收第一中间结果，再基于第一中间结果利用边缘设备对分析识别任务进行处理，并再次完成部分视频分析任务的计算，以得到第二中间结果。

利用云端设备接收第二中间结果，最后再基于第二中间结果利用云端设备对分析识别任务进行处理，并完成剩余视频分析任务的计算，以生成视频数据的分析识别结果。另外，端、边、云协同方法进一步实施过程如前述端、边、云协同系统中说明，不再进行赘述。

与本申请的协同系统基于相同的技术构思，本申请一个或多个实施例能够提供一种前端设备，前端设备包括但不限于摄像头、存储器及一个或多个处理器。摄像头用于采集视频数据，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如下步骤：从采集的视频数据中提取出具有通用性的特征，基于具有通用性的特征生成分析识别任务，对分析识别任务进行处理，以得到用于发送至边缘设备的第一中间结果。其中，边缘设备用于基于第一中间结果对分析识别任务进行处理，以得到用于发送至云端设备的第二中间结果；云端设备用于基于第二中间结果对分析识别任务进行处理，以生成视频数据的分析识别结果。另外，该前端设备的相关说明如前述端、边、云协同系统中表述，不再进行赘述。

与本申请的协同系统基于相同的技术构思，本申请一个或多个实施例能够提供一种边缘设备，该边缘设备可包括但不限于处理器和一个或多个处理器。存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如下步骤：基于第一中间结果对分析识别任务进行处理，以得到用于发送至云端设备的第二中间结果。

其中，第一中间结果由前端设备处理分析识别任务而产生；前端设备用于从采集的视频数据中提取出具有通用性的特征，并用于基于具有通用性的特征生成分析识别任务；云端设备用于基于第二中间结果对分析识别任务进行处理，以生成视频数据的分析识别结果。另外，边缘设备的相关说明如前述端、边、云协同系统中表述，不再进行赘述。

与本申请的协同系统基于相同的技术构思，本申请一个或多个实施例能够提供一种云端设备，该云端设备可包括但不限于存储器和一个或多个处理器。存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如下步骤：基于第二中间结果对分析识别任务进行处理，以生成视频数据的分析识别结果。

其中，第二中间结果由边缘设备处理分析识别任务而产生；边缘设备用于基于第一中间结果对分析识别任务进行处理，以得到用于发送至云端设备的第二中间结果；第一中间结果由前端设备处理分析识别任务而产生；前端设备用于从采集的视频数据中提取出具有通用性的特征，并用于基于特征生成分析识别任务。另外，该云端设备的相关说明如前述端、边、云协同系统中表述，不再进行赘述。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram，randomaccessmemory)，只读存储器(rom，read-onlymemory)，可擦除可编辑只读存储器(eprom，erasableprogrammableread-onlymemory，或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom，compactdiscread-onlymemory)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga，programmablegatearray)，现场可编程门阵列(fpga，fieldprogrammablegatearray)等。

在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本申请的保护范围之内。