模型生成方法、装置、电子设备和计算机可读存储介质与流程

本公开的实施例涉及图像识别技术领域，具体而言，涉及模型生成方法、模型生成装置、电子设备和计算机可读存储介质以及图像识别方法。

背景技术：

目前识别图像，主要通过将图像的数据输入到模型中进行识别，而目前确定模型的方法主要是通过机器学习。通过机器学习生成模型，需要预先确定训练样本集，训练样本集中包含多个训练样本。

然而目前通过机器学习生成模型存在安全隐患，其中一种就是对抗样本攻击。对抗样本攻击是以人眼几乎无法察觉的方式修改图像，例如在的图像的每个像素上添加噪声信息，从而使得基模型无法准确地识别该图像。

例如图1a、图1b和图1c所示，图1a为正常的图像，图1b为噪声生信息，图1c为在图1a所示图像中添加噪声信息后得到的对抗样本。

在人眼来看，图1a和图1c几乎相同，但是识别图像的模型以57.7％的置信度正确地将图1a识别为熊猫，却以99.3％的置信度错误地将图1c识别为长臂猿。

为了防范对抗样本，目前采用的方法主要有增广法和去噪法，但是增广法仅能对特定类型的对抗样本保持较高的鲁棒性，对于新类型的对抗样本则会失效，去噪法虽然理论上能够从根本上去除对抗样本中的噪声信息，但是实际上对抗样本中的噪声信息很难被去除，所以实际效果并不够好。

技术实现要素：

有鉴于此，本公开的实施例提出了模型生成方法、模型生成装置、电子设备和计算机可读存储介质以及图像识别方法。

根据本公开的第一方面，提出一种模型生成方法，包括：

构建关于所述样本图像的训练样本集，其中，所述样本图像的特征信息为所述线条信息和光流信息；

通过机器学习算法对所述训练样本集进行学习，生成以图像的线条信息和光流信息为输入量的识别模型。

可选地，所述方法还包括：

在构建关于所述样本图像的训练样本集之前，滤除所述线条信息中的噪点。

可选地，所述滤除所述线条信息中的噪点包括：

对所述线条信息进行图像形态学处理，和/或对所述线条信息进行低通滤波处理。

可选地，所述方法还包括：

根据样本图像中像素的运动方向和运动速度，确定所述样本图像的光流信息。

可选地，所述方法还包括：

在构建关于样本图像的训练样本集之前，基于多个预设维度，对所述线条信息所表达的图像和所述光流信息所表达的图像进行拼接，以得到包含所述线条信息和所述光流信息的所述样本图像。

根据本公开的第二方面，提出一种模型生成装置，包括：

集合构建模块，用于构建关于所述样本图像的训练样本集，其中，所述样本图像的特征信息为所述线条信息和光流信息；

模型生成模块，用于通过机器学习算法对所述训练样本集进行学习，生成以图像的线条信息和光流信息为输入量的识别模型。

可选地，所述装置还包括：

噪点滤除模块，用于滤除所述线条信息中的噪点。

可选地，所述噪点滤除模块用于对所述线条信息进行图像形态学处理，和/或对所述线条信息进行低通滤波处理。

可选地，所述装置还包括：

光流确定模块，用于根据样本图像中像素的运动方向和运动速度，确定所述样本图像的光流信息。

可选地，所述装置还包括：

图像拼接模块，用于基于多个预设维度，对所述线条信息所表达的图像和所述光流信息所表达的图像进行拼接，以得到包含所述线条信息和所述光流信息的所述样本图像。

根据本公开的第三方面，提出一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任一实施例所述方法中的步骤。

根据本公开的第四方面，提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述任一实施例所述方法中的步骤。

根据本公开的第五方面，提出一种图像识别方法，包括：

根据上述任一实施例所述方法和/或上述任一实施例所述装置中生成的识别模型识别图像。

根据本公开的实施例，由于图像中物体的线条和运动趋势可以表达图像中的内容，因此可以采集物体的线条信息和表示运动趋势的光流信息作为区分图像的特征，从而基于以线条信息和光流信息作为特征信息的样本图像构建训练样本集。进而通过机器学习对训练样本集进行学习，生成的识别模型就以图像的线条信息和光流信息为输入量，而由于在对抗样本中加入的对抗噪声对于图像中的线条信息和光流信息几乎没有影响，所以基于生成的识别模型对图像进行识别，可以以图像中的线条信息和光流信息为输入量对图像进行识别，避免了对抗噪声对识别结果的影响，提高了识别的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1a是一种正常的图像的示意图；

图1b是一声噪声生信息的示意图；

图1c是在图1a所示图像中添加噪声信息后得到的对抗样本的示意图；

图2是本公开一示例性实施例示出的一种模型生成方法的示意流程图；

图3a是本公开一示例性实施例示出的一种样本图像的示意图；

图3b是本公开一示例性实施例示出的一种样本图像的光流信息；

图3c是本公开一示例性实施例示出的另一种样本图像的光流信息；

图4是本公开一示例性实施例示出的另一种模型生成方法的示意流程图；

图5a是本公开一示例性实施例示出的一种样本图像的线条信息；

图5b是本公开一示例性实施例示出的另一种样本图像的线条信息；

图6是本公开一示例性实施例示出的又一种模型生成方法的示意流程图；

图7是本公开一示例性实施例示出的又一种模型生成方法的示意流程图；

图8是本公开一示例性实施例示出的模型生成装置所在终端的一种硬件结构图；

图9是本公开一示例性实施例示出的一种模型生成装置的示意框图；

图10是本公开一示例性实施例示出的另一种模型生成装置的示意框图；

图11是本公开一示例性实施例示出的又一种模型生成装置的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图2是本公开一示例性实施例示出的一种模型生成方法的示意流程图。如图2所示，所述模型生成方法可以包括以下步骤：

步骤s1，构建关于所述样本图像的训练样本集，其中，所述样本图像的特征信息为线条信息和光流信息；

在一个实施例中，图像的线条信息可以是一种信息，也可以是多种信息，例如可以包括直线条信息、曲线条信息、封闭线条信息；

步骤s2，通过机器学习算法对所述训练样本集进行学习，生成以图像的线条信息和光流信息为输入量的识别模型。

在一个实施例中，由于在对抗样本中加入的对抗噪声是针对图像中的多个像素改变像素值(例如灰度值)，而被改变像素值的像素并没有严格的规律，所以对于图像中的线条，以及线条构成的轮廓几乎没有影响。

在一个实施例中，由于在对抗样本中加入的对抗噪声是针对图像中的多个像素改变像素值，而对于连续的多张图像而言，在图像中加入的对抗噪声一般是相同的，也即对于连续的多张图像而言，加入对抗噪声只是使得多张图像的像素值改变一次，但是多张图像中物体的运动趋势并不会被改变，而图像中物体的运动趋势可以根据像素点在时间维度上的运动轨迹来体现，不同图像中物体的运动趋势有所不同，因此物体的运动趋势可以表达图像中的内容，从而作为区分图像的特征。

据此，可以确定图像中物体的运动趋势，其中，可以通过光流表示该运动趋势，光流包括图像中每个像素点运动方向和运动速度。

需要说明的是，样本图像的特征信息可以仅包括线条信息和光流信息，从而避免其他可能会受到对抗样本的噪声信息影响的信息被作为特征信息，进而使得通过机器学习得到的识别模型能够准确地区分图像，而不受到对抗样本中噪声信息的影响。

图3a是本公开一示例性实施例示出的一种样本图像的示意图。图3b是本公开一示例性实施例示出的一种样本图像的光流信息。图3c是本公开一示例性实施例示出的另一种样本图像的光流信息。

如图3a所示，样本图像中的人在打网球，基于该图像与其之前或之后的一帧或多帧图像，可以确定该图像的光流信息，基于光流信息可以确定出图像中物体的运动趋势，如图3b所示，可以确定出人的右脚的运动速度比左脚的运动速度大。基于光流信息还可以确定出图像中物体的距离，如3c所示，在图像中运动速度越快的物体距离越近，运动速度越慢的物体距离越远。

根据上述分析可知，由于图像中物体的线条和运动趋势可以表达图像中的内容，因此可以采集物体的线条信息和表示运动趋势的光流信息作为区分图像的特征，从而基于以线条信息和光流信息作为特征信息的样本图像构建训练样本集。进而通过机器学习对训练样本集进行学习，生成的识别模型就以图像的线条信息和光流信息为输入量，而由于在对抗样本中加入的对抗噪声对于图像中的线条信息和光流信息几乎没有影响，所以基于生成的识别模型对图像进行识别，可以以图像中的线条信息和光流信息为输入量对图像进行识别，避免了对抗噪声对识别结果的影响，提高了识别的准确性。

需要说明的是，样本图像的特征信息可以仅包括线条信息，从而避免其他可能会受到对抗样本的噪声信息影响的信息被作为特征信息，进而使得通过机器学习得到的识别模型能够准确地区分图像，而不受到对抗样本中噪声信息的影响。

图4是本公开一示例性实施例示出的另一种模型生成方法的示意流程图。如图4所示，所述模型生成方法还包括：

步骤s3，在构建关于所述样本图像的训练样本集之前，滤除所述线条信息中的噪点。

在一个实施例中，从样本图像中提取的线条信息可能存在较多噪点，直观的视觉体现是线条较为粗糙，而噪点并不能准确地表达图像中的内容，也即并不能准确地作为区分图像的特征，若根据这种存在噪点较多样本图像构成训练样本集，进一步通过机器学习得到的模型也就并不能准确地区分图像。通过滤除线条信息中的噪点，可以保证线条信息能够准确地表达图像中的内容，也即能够准确地作为区分图像的特征，从而保证进一步通过机器学习得到的模型能够准确地区分图像。

图5a是本公开一示例性实施例示出的一种样本图像的线条信息。

如图5a所示，图像的构成较为复杂，提取的线条信息存在较多噪点，例如物体的轮廓不清晰，存在过多点状物，而噪点并不能准确地表达图像中的内容，例如图5a所示道路中的点状物，实际上在道路中并不会存在如图5a所示的那么多点，若根据这种存在噪点较多样本图像构成训练样本集，进一步通过机器学习得到的模型也就并不能准确地区分图像。

图5b是本公开一示例性实施例示出的另一种样本图像的线条信息。

如图5b所示，通过滤除所述线条信息中的噪点，可以保证将实际环境中并不存在的内容滤除，保证线条信息能够准确地表达图像中的内容，也即能够准确地作为区分图像的特征，从而保证进一步通过机器学习得到的模型能够准确地区分图像。

图6是本公开一示例性实施例示出的又一种模型生成方法的示意流程图。如图6所示，所述滤除所述线条信息中的噪点包括：

步骤s31，对所述线条信息进行图像形态学处理，和/或对所述线条信息进行低通滤波处理。

在一个实施例中，滤除线条信息中噪点的方式并不唯一，可以根据需要进行选择，并且可以选择一种方式，也可以选择多种方式相结合。

例如可以采用图像形态学处理的方式，也可以采用低通滤波的方式，还可以在通过图像形态学处理后，进一步进行低通滤波。其中，图像形态学处理是指对像素点进行膨胀、腐蚀等处理，膨胀就是求局部最大值的操作，腐蚀就是求局部最小值的操作，例如对于某些像素点可以进行开运算其实就是先腐蚀再膨胀，开运算可以用来消除小物体，在纤细处分离物体，并且在平滑较大物体的边界的同时不明显改变其面积，对某些像素点可以闭运算，闭运算其实就是先膨胀再腐蚀，闭运算能够排除小型黑洞(黑色区域)。

可选地，所述模型生成方法还包括：

根据样本图像中像素的运动方向和运动速度，确定所述样本图像的光流信息。

在一个实施例中，计算图像光流的方法并不唯一，可以根据需要选择，例如可以基于梯度计算，可以基于匹配计算，可以基于能量计算，可以基于相位计算

图7是本公开一示例性实施例示出的又一种模型生成方法的示意流程图。如图7所示，所述方法包括：

步骤s4，在构建关于样本图像的训练样本集之前，基于多个预设维度，对所述线条信息所表达的图像和所述光流信息所表达的图像进行拼接，以得到包含所述线条信息和所述光流信息的所述样本图像。

在一个实施例中，为了构建特征信息既包括线条信息，又包括光流信息的样本图像，可以将线条信息与光流信息融合，融合这两种信息的方式并不唯一，可以根据需要选择。例如设图像的预设维度包括长、宽和通道数(以彩色图像为例，可以包括r、g、b三个通道)，根据线条信息可以表达一个图像，根据光流信息可以也可以表达一个图像，基于上述几个维度可以将线条信息表达的图像与光流信息表达的图像进行拼接。

其中，拼接是指针对每个像素，通过上述预设通道表达线条信息和光流信息，例如线条信息可以在r、g、b三个通道上表示，也即在r通道上存在一个值，在g通道上存在一个值，在b通道上存在一个值，光流信息可以在长和宽两个通道上表示，例如在长通道上为一个值，在宽通道上为一个值，据此，拼接后的图像中，每个像素可以包含5个通道的信息，相当于一个5维向量。从而形成特征信息既包括线条信息，又包括光流信息的样本图像。

需要说明的是，上述实施例中进行学习所采用的机器学习算法，包括但不限于卷积神经网络、支持向量机、决策树、随机森林等，具体可以根据需要选择。

与前述模型生成方法的实施例相对应，本公开还提供了模型生成装置的实施例。

本公开模型生成装置的实施例可以应用在终端上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在终端的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为本公开一示例性实施例示出的模型生成装置所在终端的一种硬件结构图，除了图8所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的终端通常根据该终端的实际功能，还可以包括其他硬件，对此不再赘述。

图9是本公开一示例性实施例示出的一种模型生成装置的示意框图。如图9所示，所述模型生成装置包括：

集合构建模块1，用于构建关于所述样本图像的训练样本集，其中，所述样本图像的特征信息为线条信息和光流信息；

模型生成模块2，用于对所述训练样本集进行学习，生成以图像的线条信息和光流信息为输入量的识别模型。

图10是本公开一示例性实施例示出的另一种模型生成装置的示意框图。如图10所示，所述模型生成装置还包括：

噪点滤除模块3，用于滤除所述线条信息中的噪点。

可选地，所述噪点滤除模块用于对所述线条信息进行图像形态学处理，和/或对所述线条信息进行低通滤波处理。

可选地，所述装置还包括：

光流确定模块，用于根据样本图像中像素的运动方向和运动速度，确定所述样本图像的光流信息。

图11是本公开一示例性实施例示出的又一种模型生成装置的示意框图。如图11所示，所述模型生成装置还包括：

图像拼接模块4，用于基于多个预设维度，对所述线条信息所表达的图像和所述光流信息所表达的图像进行拼接，以得到包含所述线条信息和所述光流信息的所述样本图像。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开的实施例还提出一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任一实施例所述方法中的步骤。

本公开的实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述任一实施例所述方法中的步骤。

本公开的实施例还提出一种图像识别方法，包括：

根据上述任一实施例所述方法和/或上述任一实施例所述装置中生成的识别模型识别图像。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。