一种视频状态确定方法和装置与流程

本申请涉及数据分析技术领域，具体而言，涉及一种视频状态确定方法和装。

背景技术：

目前，在大部分视频序列中的状态预测任务中，现有的卷积门循环神经网络(convolutionalgatedrecurrentunits，convgru)中的输入到状态(input-to-state)和状态到状态(state-to-state)的迁移变化中使用的卷积结构比普通门循环神经网络使用的全连接结构能更好地捕捉时空关系，但是，convgru限制了状态到状态迁移变化中的递归连接结构，由于convgru使用相同的卷积核，因此，convgru在不同的时刻，其特征图(featuremap)的每个位置拥有完全相同的局部连接结构，而在视频序列预测中的状态预测任务中，根据位置不变(location-invariant)的属性没有体现视频序列中视频帧的变化。

技术实现要素：

有鉴于此，本申请的目的在于提供一种视频状态确定方法和装置，能够减少计算，准确预测视频状态。

第一方面，本申请实施例提供了一种视频状态确定方法，该方法包括：

基于当前时刻的输入对象和上一个时刻的状态，确定当前时刻的光流变化量；

基于所确定的所述光流变化量，对所述上一个时刻的状态进行扭曲处理，得到扭曲处理结果；

基于所述扭曲处理结果、所述当前时刻的输入对象以及所述上一个时刻的状态，确定所述当前时刻的状态。

可选地，基于所述扭曲处理结果、所述当前时刻的输入对象以及所述上一个时刻的状态，确定所述当前时刻的状态，包括：

基于所述当前时刻的输入对象、所述扭曲处理结果，以及预设的卷积核和预设的第一激活函数，确定当前时刻的更新值和重置值；

基于所述当前时刻的输入对象、所述扭曲处理结果、所述重置值和预设的第二激活函数，确定当前时刻的候选状态；

基于所述当前时刻的候选状态、所述上一个时刻的状态以及所述更新值，确定所述当前时刻的状态。

可选地，所述卷积核为基于更新门函数或重置门函数确定的。

可选地，基于所述当前时刻的输入对象、所述扭曲处理结果、所述重置值和预设的第二激活函数，确定当前时刻的候选状态，包括：

基于表征候选状态函数的卷积核和所述当前时刻的输入对象，确定候选对象卷积结果；

基于所述表征候选状态函数的卷积核和所述扭曲处理结果，确定候选状态卷积结果；

将所述候选对象卷积结果、所述重置值和所述候选状态卷积结果输入所述第二激活函数，得到所述当前时刻的候选状态。

可选地，所述基于当前时刻的输入对象和上一个时刻的状态，确定当前时刻的光流变化量，包括：

将所述当前时刻的输入对象和所述上一个时刻的状态输入到预设的光流网络模型，得到当前时刻的第一预设方向的光流变化量和在第二预设方向的光流变化量。

第二方面，本申请实施例提供了一种视频状态确定装置，该装置包括：

第一确定模块，用于基于当前时刻的输入对象和上一个时刻的状态，确定当前时刻的光流变化量；

处理模块，用于基于所确定的所述光流变化量，对所述上一个时刻的状态进行扭曲处理，得到扭曲处理结果；

第二确定模块，用于基于所述扭曲处理结果、所述当前时刻的输入对象以及所述上一个时刻的状态，确定所述当前时刻的状态。

可选地，所述处理模块具体用于：

基于所述当前时刻的输入对象、所述扭曲处理结果，以及预设的卷积核和预设的第一激活函数，确定当前时刻的更新值和重置值；

基于所述当前时刻的输入对象、所述扭曲处理结果、所述重置值和预设的第二激活函数，确定当前时刻的候选状态；

基于所述当前时刻的候选状态、所述上一个时刻的状态以及所述更新值，确定所述当前时刻的状态。

可选地，所述卷积核为基于更新门函数或重置门函数确定的。

第三方面，本申请实施例提供了一种计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。

本申请实施例提供的视频状态确定方法和装置，将当前时刻的输入对象和上一个时刻的状态输入到光流网络模型中得到光流变化量，利用得到的光流变化量对上一个时刻的状态进行扭曲处理，进一步，根据扭曲处理结果、当前时刻的输入对象和上一个时刻的状态，确定当前时刻的状态。这样，通过光流网络模型得到光流变化量，仅需要生成一次递归网络中的递归连接结构，且利用光流变化量对上一个时刻的状态进行扭曲处理，大大减少运行时间，减少了对存储内存的要求，提高了确定的当前时刻的状态的准确度。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种视频状态确定方法的流程示意图；

图2为本申请实施例提供的一种利用光流变化量对状态进行扭曲的示意图；

图3为本申请实施例提供的一种视频状态确定装置的结构示意图；

图4为本申请实施例提供的一种计算机设备400的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种视频状态确定方法，如图1所示，应用于视频状态确定系统中，该视频状态确定系统包括终端设备，如：计算机、笔记本电脑、平板电脑、移动电话、便携设备、车载设备等，也包括网络系统，如：视听服务系统、大屏幕系统、客户端/服务器系统(c/s)、浏览器/服务器系统、云计算系统，等等。此处并不限制视频状态确定系统的类型和架构。该方法包括：

s101，基于当前时刻的输入对象和上一个时刻的状态，确定当前时刻的光流变化量；

这里，上一个时刻可以为与当前时刻相邻的上一个时刻，也可以为与当前时刻间隔预设数目个时刻的时刻，其中，预设数目可以为1、2、3等等，本申请对此不予限制；输入对象一般为视频帧中的图像，不同时刻对应视频帧中不同的图像，在输入对象为图像时，根据当前时刻的输入对象中每一个像素点的像素值以及上一个时刻的状态可以确定当前时刻的光流变化量。其中，像素值一般为像素点的rgb值。

每个时刻的状态包括该时刻之前的至少一个时刻的图像信息和运动规律信息，其中，图像信息为图像中物体的抽象特征，抽象特征一般是通过对图像中包含的物体(如，人脸、汽车等等)抽取得到的，抽象特征可以通过圆形、四边形、椭圆形等等表征，如，图像中包含汽车，则该图像的抽象特征通过矩形表征；运动规律信息可以为直线运动信息、抛物线运动信息、曲线运动信息的等等；每个时刻的状态可以通过多维的张量(tensor)表示，张量的维度可以根据实际情况确定，例如，张量的维度可以为32×32×100、16×16×128等，不同时刻的状态的表征张量的维度一般为相同的，也就是，初始时刻状态的表征张量的维度与之后每个时刻的状态的表征张量的维度相同，初始时刻的状态(表示张量)中每个维度的值一般为预先设置的设定值(如，0)。

在确定光流变化量时，可以将当前时刻的输入对象和上一个时刻的状态输入到预设的光流网络模型，得到当前时刻的输入对象在第一预设方向的光流变化量和在第二预设方向的光流变化量。

这里，光流网络模型包括流网络模型(flownet)、简单流网络模型(flownetsimple)、卷积流网络模型(flownetconvolutional)等，通过光流网络模型得到光流变化量的技术在现有技术中已有详细的解释，此处不在进行过多解释。

光流变化量为当前时刻的输入对象相对于上一个时刻的输入对象之间的位移变化量，光流变化量一般为输入对象在两个预设方向的位移变化量，第一预设方向可以是水平方向或垂直方向，第二预设方向可以是水平方向或垂直方向，若第一预设方向为水平方向，则第二预设方向为垂直方向。

例如，不同时刻的输入对象对应为视频帧中的图像，图像中包括物体a，不同时刻物体a在图像中的位置不同，若当前时刻为第三时刻，在将第三时刻的图像和第二时刻的状态输入到光流网络模型后，得到物体a在第三时刻的位置相对于第二时刻的位置之间的位移变化量，将物体a的位移变化量在水平方向的分量和垂直方向的分量作为光流变化量。

在具体实施中，在将当前时刻的输入对象和上一个时刻的状态输入到光流网络模型后，光流网络模型对输入对象和状态进行两次卷积处理、两次反卷积处理、一次卷积处理，最终得到当前时刻对应的光流变化量。

通过以下公式确定当前时刻的光流变化量：

ut，vt＝γ(xt，ht-1)

其中，ut为当前时刻水平方向的光流变化量，vt为当前时刻垂直方向的光流变化量，γ为光流网络模型，xt为当前时刻的输入对象，在输入对象为图像时，xt为图像中各像素点的像素值；ht-1为与当前时刻相邻的上一个时刻的状态。

s102，基于所确定的所述光流变化量，对所述上一个时刻的状态进行扭曲处理，得到扭曲处理结果；

这里，若输入对象为图像，扭曲处理一般为图形扭曲处理，利用光流变化量对上一个时刻的状态进行图形扭曲处理的技术在现有技术已有详细的介绍，此处不再进行过多说明。在实际应用中，对前一个时刻的状态和当前时刻的输入对象进行扭曲处理的图示可参考图3，图3中仅以三个时刻为例进行示意，实际应用中应以具体情况为准。

在具体实施中，确定的扭曲处理结果为λ＝warp(ht-1,ut,vt)。

其中，λ为扭曲处理结果；warp(ht-1,ut,vt)为根据当前时刻在水平方向的光流变化量ut和垂直方向的光流变化量vt，对上一个时刻的状态进行图形扭曲。

s103，基于所述扭曲处理结果、所述当前时刻的输入对象以及所述上一个时刻的状态，确定所述当前时刻的状态。

在基于所述扭曲处理结果、所述当前时刻的输入对象以及所述上一个时刻的状态，确定所述当前时刻的状态时，包括以下步骤：

基于所述当前时刻的输入对象、所述扭曲处理结果，以及预设的卷积核和预设的第一激活函数，确定当前时刻的更新值和重置值；

基于所述当前时刻的输入对象、所述扭曲处理结果、所述重置值和预设的第二激活函数，确定当前时刻的候选状态；

基于所述当前时刻的候选状态、所述上一个时刻的状态以及所述当前时刻的更新值，确定所述当前时刻的状态。

这里，卷积核为基于更新门函数或重置门函数确定的，更新门函数决定从当前时刻之前的各时刻的状态中忘记的信息量，重置门函数决定保留当前时刻之前的各时刻的状态中的信息量；基于更新门函数确定的卷积核作为更新门卷积核，该更新门卷积核表征输入对更新门函数的影响程度，由于更新门函数的输入包括当前时刻的输入对象和上一个时刻的状态，不同的输入对函数具有不同的影响，因此，更新门卷积核包括更新门对象卷积核和更新门状态卷积核；基于重置门函数确定的卷积核作为重置门卷积核，则该重置门卷积核表征输入对重置门函数的影响程度，由于重置门函数的输入包括当前时刻的输入对象和上一个时刻的状态，因此，重置门卷积核包括重置门对象卷积核和重置门状态卷积核。

第一激活函数包括但不限于sigmoid函数、高斯函数、幂函数、指数函数等，优选地，第一激活函数为sigmoid函数；第二激活函数包括但不限于sigmoid函数、高斯函数、幂函数、指数函数等，优选地，第二激活函数为sigmoid函数。

在具体实施中，对更新门对象卷积核和当前时刻的输入对象进行卷积处理，得到更新门对象卷积结果，对更新门状态卷积核和扭曲处理结果进行卷积处理，得到更新门状态卷积结果，将计算的更新门对象卷积结果和更新门状态卷积结果的和值输入第一激活函数，得到当前时刻的更新值。

根据以下公式计算当前时刻的更新值zt：

zt＝σ(wxz*xt+whz*λ)

其中，zt为当前时刻的更新值；σ为第一激活函数，可选地，为sigmoid函数；wxz为更新门对象卷积核，表征当前时刻的输入对象对更新门函数的影响程度；*为卷积操作；whz为更新门状态卷积核，表征上一个时刻的状态对更新门函数的影响程度。

对重置门对象卷积核和当前时刻的输入对象进行卷积处理，得到重置门对象卷积结果，对更新门状态卷积核和扭曲处理结果进行卷积处理，得到重置门状态卷积结果，将计算的重置门对象卷积结果和重置门状态卷积结果的和值输入第一激活函数，得到当前时刻的重置值；

根据以下公式计算当前时刻的重置值rt：

rt＝σ(wxr*xt+whr*λ)

其中，rt为当前时刻的重置值；σ为第一激活函数，可选地，为sigmoid函数；wxr为重置门对象卷积核，表征当前时刻的输入对象对重置门函数的影响程度；*为卷积操作；whr为重置门状态卷积核，表征上一个时刻的状态对重置门函数的影响程度。

在基于所述当前时刻的输入对象、所述扭曲处理结果、所述重置值和预设的第二激活函数，确定当前时刻的候选状态时，包括以下步骤：

基于表征候选状态函数的卷积核和所述当前时刻的输入对象，确定候选对象卷积结果；

基于所述表征候选状态函数的卷积核和所述扭曲处理结果，确定候选状态卷积结果；

将所述候选对象卷积结果、所述重置值和所述候选状态卷积结果输入所述第二激活函数，得到所述当前时刻的候选状态。

这里，表征候选状态函数的卷积核可以是基于候选状态函数确定的，将上述卷积核作为候选卷积核，由于候选状态函数的输入包括当前时刻的输入对象和上一个时刻的状态，因此，候选卷积核包括候选对象卷积核和候选状态卷积核。

在具体实施中，对候选对象卷积核和当前时刻的输入对象进行卷积处理，得到候选对象卷积结果，对候选状态卷积核和扭曲处理结果进行卷积处理，得到候选状态卷积结果，将候选对象卷积结果和对候选状态卷积结果与重置值进行哈达玛积运算得到的结果的和值输入所述第二激活函数，得到当前时刻的候选状态。

根据以下公式计算当前时刻的候选状态

其中，为当前时刻的候选状态；f为第二激活函数；wxh为候选对象卷积核，表征当前时刻的输入对象对候选状态函数的影响程度；*为卷积操作；whh为候选状态卷积核，表征上一个时刻的状态对候选状态函数的影响程度。

在得到当前时刻的更新值、当前时刻的候选状态后，对当前时刻与更新值与上一个时刻的状态进行哈达玛积运算，得到第一运算结果，也就是，更新门函数决定的从上一个时刻的状态遗忘的信息量；对预设值与更新值的差值和当前时刻的候选状态进行哈达玛积运算，得到第二运算结果，也就是更新门函数决定从当前时刻的候选状态增加的信息量，对第一运算结果和第二运算结果进行加权就和，得到当前时刻的状态。其中，在进行加权求和时，第一运算结果的权重和第二运算结果的权重可以均为1.

通过以下公式确定当前时刻的状态ht：

其中，ht为当前时刻的状态；ht-1为上一个时刻的状态；α为实数，优选地，α为1；⊙为哈达玛积操作。

在一个实施例中，以视频帧包括三个图像为例进行说明，初始时刻(即第一时刻)的输入对象为x1，初始时刻的状态为h1(预先设置的)，从第二时刻开始计算每个时刻的状态，第二时刻的输入对象为x1，对输入对象x1和第一时刻的状态h1进行扭曲处理得到扭曲处理结果，计算对扭曲处理结果与更新门状态卷积核进行卷积处理的结果和对输入对象x1与更新门对象卷积核进行卷积处理得到的结果的和值，将该和值作为第一和值，将第一和值输入到第一激活函数，得到当前时刻的更新值，计算对扭曲处理结果与重置门状态卷积核进行卷积处理的结果和对输入对象x1与重置门对象卷积核进行卷积处理得到的结果的和值，将该和值作为第二和值，将第二和值输入到第一激活函数，得到当前时刻的重置值，将计算的对重置值与扭曲处理结果进行哈达玛积运算得到的结果，和对输入对象x1与候选对象卷积核进行卷积处理得到的结果的和值，输入到第二激活函数，得到当前时刻的候选状态，根据上文的状态计算公式得到当前时刻的状态，第二时刻之后的每个时刻的状态的计算过程与第二时刻的状态的计算过程相似，此处不针对每个时刻的状态的计算过程进行一一举例。

在现有技术中，轨迹门循环网络模型(trajectorygatedrecurrentunit，trajgru)使用光流域(opticalflowfield)来表示递归连接结构中每个节点的位置，由于递归连接结构中一般包含多个节点，所以，需要产生多个对应的光流域，在得到递归连接结构之后，针对递归连接结构中每个节点，需要根据递归连接结构中该节点的位置信息对前一个时刻的状态进行一次图形扭曲(imagewarping)，进而得到每个节点对应的递归连接结构，对各节点的递归连接结构进行处理，最终得到新的递归连接结构，且每个节点的扭曲处理结果均需要存储，通过这种方式处理比较费时，并且消耗较多内存。本申请将当前时刻的输入对象和上一个时刻的状态输入到光流网络模型中得到光流变化量(也就是，位移变化量)，不需要对每个节点的状态扭曲一次得到一个递归连接结构，仅需要生成一次递归连接结构，进而利用光流变化量对上一个时刻的状态进行扭曲处理，这样，可以大大减少运行时间，减少了对存储内存的需求，提高了确定的当前时刻的状态的准确度。

本申请实施例提供了一种视频状态确定装置，如图3所示，该装置包括：

第一确定模块31，用于基于当前时刻的输入对象和上一个时刻的状态，确定当前时刻的光流变化量；

处理模块32，用于基于所确定的所述光流变化量，对所述上一个时刻的状态进行扭曲处理，得到扭曲处理结果；

第二确定模块33，用于基于所述扭曲处理结果、所述当前时刻的输入对象以及所述上一个时刻的状态，确定所述当前时刻的状态。

可选地，所述处理模块32具体用于：

基于所述当前时刻的输入对象、所述扭曲处理结果，以及预设的卷积核和预设的第一激活函数，确定当前时刻的更新值和重置值；

基于所述当前时刻的输入对象、所述扭曲处理结果、所述重置值和预设的第二激活函数，确定当前时刻的候选状态；

基于所述当前时刻的候选状态、所述上一个时刻的状态以及所述更新值，确定所述当前时刻的状态。

可选地，所述卷积核为基于更新门函数或重置门函数确定的。

可选地，所述处理模块32还用于：

基于表征候选状态函数的卷积核和所述当前时刻的输入对象，确定候选对象卷积结果；

基于所述表征候选状态函数的卷积核和所述扭曲处理结果，确定候选状态卷积结果；

将所述候选对象卷积结果、所述重置值和所述候选状态卷积结果输入所述第二激活函数，得到所述当前时刻的候选状态。

可选地，所述第一确定模块31具体用于：

将所述当前时刻的输入对象和所述上一个时刻的状态输入到预设的光流网络模型，得到当前时刻的第一预设方向的光流变化量和在第二预设方向的光流变化量

对应于图1中的视频状态确定方法，本申请实施例还提供了一种计算机设备400，如图4所示，该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述视频状态确定方法。

具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述视频状态确定方法，解决了现有技术中确定的当前时刻的状态无法与上个一个时刻的状态关联的问题，本申请将当前时刻的输入对象和上一个时刻的状态输入到光流网络模型中得到光流变化量，利用得到的光流变化量对上一个时刻的状态进行扭曲处理，进一步，根据扭曲处理结果、当前时刻的输入对象和上一个时刻的状态，确定当前时刻的状态。这样，通过光流网络模型得到光流变化量，仅需要生成一次递归网络中的递归连接结构，且利用光流变化量对上一个时刻的状态进行扭曲处理，大大减少运行时间，减少了对存储内存的要求，提高了确定的当前时刻的状态的准确度。

对应于图1中的视频状态确定方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述视频状态确定方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述视频状态确定方法，解决了现有技术中确定的当前时刻的状态无法与上个一个时刻的状态关联的问题，本申请将当前时刻的输入对象和上一个时刻的状态输入到光流网络模型中得到光流变化量，利用得到的光流变化量对上一个时刻的状态进行扭曲处理，进一步，根据扭曲处理结果、当前时刻的输入对象和上一个时刻的状态，确定当前时刻的状态。这样，通过光流网络模型得到光流变化量，仅需要生成一次递归网络中的递归连接结构，且利用光流变化量对上一个时刻的状态进行扭曲处理，大大减少运行时间，减少了对存储内存的要求，提高了确定的当前时刻的状态的准确度。

在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。