一种图像样本扩充方法、装置及存储介质与流程

本申请涉及图像处理领域，尤其涉及一种图像样本扩充方法、装置及存储介质。

背景技术：

在图像识别领域，通常会使用深度学习方法进行图像识别，而在进行深度学习时，需要通过样本集对神经网络模型进行训练，为了使神经网络模型能够准别的进行图像识别，需要的样本数量越多越好。在现有技术中，若样本集中的样本数量有限，则会使得神经网络模型训练的效果较差。

技术实现要素：

本申请实施例提供一种图像样本扩充方法、装置及存储介质，用以解决在样本集中的样本数量有限时，使得神经网络模型训练的效果较差的问题。

第一方面，本申请实施例提供一种图像样本扩充方法，该方法包括：

从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像；

以预设的融合系数对选取的样本图像的像素进行融合处理，生成用于神经网络训练的扩充图像。

上述方法，通过将至少两张图像类型相同的图像的各像素点进行融合，从而可以得到一个新的图像，这样，在样本集中的样本数量有限时，通过将样本集中的样本图像进行融合处理，可以得到新的图像，从而使得样本集中的样本数量增多，从而提高了神经网络模型训练的效果。

在一种可能的实现方式中，所述从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像，包括：

根据预设的扩充图像数量，从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像；

所述以预设的融合系数对选取的样本图像的像素进行融合处理，生成用于神经网络训练的扩充图像之后，所述方法还包括：

以所述样本图像m张、所述扩充图像n张的方式交替输入到神经网络模型中训练；其中，m和n为所述样本图像的数量和所述扩充图像的数量的比例关系中的比例系数。

上述方法，将样本图像和扩充图像依次交替输入到神经网络模型中训练，可以使神经网络模型训练的结果更加准确。

在一种可能的实现方式中，所述从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像，包括：

满足预设的选取条件后，从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像；其中，所述选取条件包括以下中的部分或全部：

接收到用于生成扩充图像的扩充指令；

生成的所述扩充图像的数量小于预设扩充数量。

上述方法，通过选取条件进行选取图像，这样，在知道了所需扩充图像的数量后，可以自动选取图像，直到生成满足数量的扩充图像。

在一种可能的实现方式中，所述以预设的融合系数对选取的样本图像的像素进行融合处理，生成用于神经网络训练的扩充图像，包括：

以所述融合系数为权重因子对选取的样本图像中同一位置像素点的像素值进行加权求和，得到该像素点融合后的像素值；

根据各像素点融合后的像素值得到所述扩充图像。

上述方法，通过将多张图像在同一位置像素点的像素值进行加权求和，可以得到一张新的扩充图像。

在一种可能的实现方式中，所述从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像之后，所述方法还包括：

若选取的样本图像的像素数量不同，则对选取的样本图像进行裁剪处理，使选取的样本图像的像素数量相同。

上述方法，通过对样本图像进行预处理，可以正常的对样本图像进行融合处理。保证了融合处理的准确性。

第二方面，本申请实施例提供的一种图像样本扩充装置，包括：

选取模块，用于从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像；

生成模块，用于以预设的融合系数对选取的样本图像的像素进行融合处理，生成用于神经网络训练的扩充图像。

在一种可能的实现方式中，选取模块具体用于根据预设的扩充图像数量，从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像；

生成模块具体用于以所述样本图像m张、所述扩充图像n张的方式交替输入到神经网络模型中训练；其中，m和n为所述样本图像的数量和所述扩充图像的数量的比例关系中的比例系数。

在一种可能的实现方式中，选取模块包括具体用于满足预设的选取条件后，从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像；其中，所述选取条件包括以下中的部分或全部：

接收到用于生成扩充图像的扩充指令；

生成的所述扩充图像的数量小于预设扩充数量。

在一种可能的实现方式中，生成模块包括：

融合单元，用于以所述融合系数为权重因子对选取的样本图像中同一位置像素点的像素值进行加权求和，得到该像素点融合后的像素值；

确定扩充图像单元，用于根据各像素点融合后的像素值得到所述扩充图像。

在一种可能的实现方式中，所述装置还包括：

处理模块，用于选取模块从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像之后，若选取的样本图像的像素数量不同，则对选取的样本图像进行裁剪处理，使选取的样本图像的像素数量相同。

第三方面，提供一种计算装置，包括至少一个处理单元、以及至少一个存储单元，其中，存储单元存储有计算机程序，当程序被处理单元执行时，使得处理单元执行上述任意一种图像样本扩充方法的步骤。

在一个实施例中，计算装置可以使服务器，也可以是终端设备。

第四方面，提供一种计算机可读介质，其存储有可由终端设备执行的计算机程序，当程序在终端设备上运行时，使得终端设备执行上述任意一种图像样本扩充方法的步骤。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种图像样本扩充方法的流程示意图；

图2为本申请实施例中两张样本图像的像素值的示意图；

图3为本申请实施例中样本图像和扩充图像排列顺序的示意图；

图4为本申请实施例中一种图像样本扩充装置的结构示意图；

图5为本申请实施方式中终端设备结构示意图。

具体实施方式

为了解决现有技术中，在样本集中的样本数量有限时，使得神经网络模型训练的效果较差的问题，本申请实施例中提供一种图像样本扩充方法、装置及存储介质。为了更好的理解本申请实施例提供的技术方案，这里对该方案的基本原理做一下简单说明：

在图像识别领域，通常会使用深度学习方法进行图像识别，而这种深度学习的方法，首要条件就是图像的数量越多越好。那么如何保证图像的数量足够训练神经网络呢，那就是使用大量的标注好的数据集，若不能保证数据集足够时，如何通过有限的数据集去更好的训练神经网络呢？

为了解决上述问题，可以将原本的数据集进行扩充，使用已有的数据集来扩充新的图像，有鉴于此，本申请实施例提供一种图像样本扩充方法、装置及存储介质，通过将至少两张图像类型相同的图像的各像素点进行融合，从而可以得到一个新的图像，这样，在样本集中的样本数量有限时，通过将样本集中的样本图像进行融合处理，可以得到新的图像，从而使得样本集中的样本数量增多，从而提高了神经网络模型训练的效果。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请实施例中的实施例及实施例中的特征可以相互组合。

下面对本申请实施例提供的图像样本扩充方法进行进一步的解释说明。如图1所示，包括以下步骤：

s101：从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像。

其中，图像类型为图像的标签，如动物类型的图像，例如猫、狗、兔子等图像类型，或者风景类型的图像，例如树、河流等图像类型。

在本申请实施例中，在进行扩充图像之前，需要确定扩充图像的数量。具体可实施为，根据预设的扩充图像数量，从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像。而扩充图像的数量，可以根据样本图像的数量确定，也可以预先设定，本申请对此不进行限定。

若一个样本集合中存在至少两种图像类型，在扩充图像的数量不变的情况下，各图像类型生成的扩充图像的数量与样本集合中各图像类型的样本图像的数量有关。

而在本申请实施例中，只有在满足了预设的选取条件后，才能够从样本集合中选取样本图像，具体可实施为：满足预设的选取条件后，从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像。

其中，选取条件包括以下中的部分或全部：

接收到用于生成扩充图像的扩充指令；

生成的所述扩充图像的数量小于预设扩充数量。

通过选取条件进行选取图像，这样，在知道了所需扩充图像的数量后，可以自动选取图像，直到生成满足数量的扩充图像。

在本申请实施例中，若选取的样本图像的像素数量不同，则需要对选取的样本图像进行预处理，具体可实施为：若选取的样本图像的像素数量不同，则对选取的样本图像进行裁剪处理，使选取的样本图像的像素数量相同。

在一个实施例中，预处理可以以像素数量最小的图像为基准，将其他图像进行裁剪处理，使选取的样本图像的像素数量相同。例如，若选取了2张样本图像，其中一张图像的像素数量为2*4，另一张图像的像素数量为2*6，因此需要将像素数量为2*6的图像剪裁为2*4的。

在一个实施例中，若选取的样本图像为不规则图像，则可以根据预先设定的尺寸对各样本图像进行裁剪，使选取的样本图像的像素数量相同。

通过对样本图像进行预处理，可以正常的对样本图像进行融合处理，便于后续的融合处理，保证了融合处理的准确性。

s102：以预设的融合系数对选取的样本图像的像素进行融合处理，生成用于神经网络训练的扩充图像。

在选取了样本图像之后，则需要进行融合处理，具体的：以所述融合系数为权重因子对选取的样本图像中同一位置像素点的像素值进行加权求和，得到该像素点融合后的像素值；根据各像素点融合后的像素值得到所述扩充图像。

其中，像素值可以是灰度值，也可以是rgb(红绿蓝，一种颜色模型)值。

如图2所示，若选取的两个图像均为2*2大小的图像，且每一个像素点均存在一个rgb值。因此，对这两张图像进行融合，即将同一位置像素的rgb值进行融合。以第一个像素点为例，第一张图像中的rgb值为(255,126,35)，第二张图像中的rgb值为(200,12,5)，该像素点融合后的rgb值为(255*r1+200*r2，126*r1+12*r2，35*r1+5*r2)，将各融合后的像素点组成的图像即为扩充图像。

其中，r1和r2的取值范围为0～1；若由两张图像进行融合，那么融合系数r2为1-r1。

需要说明的是，融合的图像至少为两张，若要保证扩充图像的准确性，最好选取两张样本图像进行融合处理。这样，通过将多张图像在同一位置像素点的像素值进行加权求和，可以得到一张新的扩充图像。

在得到的扩充图像后，可以将生成的扩充图像和样本图像输入到神经网络模型中训练。而为了保证神经网络模型训练的结果更加准确，在进行神经网络模型训练时，可将样本图像和扩充图像依次交替输入到神经网络模型中训练，具体可实施为：

以所述样本图像m张、所述扩充图像n张的方式交替输入到神经网络模型中训练。

其中，m和n为所述样本图像的数量和所述扩充图像的数量的比例关系中的比例系数。

如图3所示，其为样本图像和扩充图像排列顺序的示意图。其中，图像1表示样本图像，图像2表示扩充图像。在图3中，若样本图像的数量和扩充图像的数量之间的比值为5:1，则在将图像输入到神经网络模型中时，每训练5张样本图像，就训练1张扩充图像。

在一个实施例中，样本图像和扩充图像排列顺序还可以是将样本图像全部输入到神经网络模型后，再输入扩充图像。

基于相同的发明构思，本申请实施例还提供了一种图像样本扩充装置。如图4所示，该装置包括：

选取模块401，用于从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像；

生成模块402，用于以预设的融合系数对选取的样本图像的像素进行融合处理，生成用于神经网络训练的扩充图像。

在一种可能的实现方式中，选取模块401具体用于根据预设的扩充图像数量，从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像；

生成模块402具体用于以所述样本图像m张、所述扩充图像n张的方式交替输入到神经网络模型中训练；其中，m和n为所述样本图像的数量和所述扩充图像的数量的比例关系中的比例系数。

在一种可能的实现方式中，选取模块401包括具体用于满足预设的选取条件后，从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像；其中，所述选取条件包括以下中的部分或全部：

接收到用于生成扩充图像的扩充指令；

生成的所述扩充图像的数量小于预设扩充数量。

在一种可能的实现方式中，生成模块402包括：

融合单元，用于以所述融合系数为权重因子对选取的样本图像中同一位置像素点的像素值进行加权求和，得到该像素点融合后的像素值；

确定扩充图像单元，用于根据各像素点融合后的像素值得到所述扩充图像。

在一种可能的实现方式中，所述装置还包括：

处理模块，用于选取模块401从用于神经网络训练的样本集合中选取图像类型相同的至少两张样本图像之后，若选取的样本图像的像素数量不同，则对选取的样本图像进行裁剪处理，使选取的样本图像的像素数量相同。

基于同一技术构思，本申请实施例还提供了一种终端设备500，参照图5所示，终端设备500用于实施上述各个方法实施例记载的方法，例如实施图2所示的实施例，终端设备500可以包括存储器501、处理器502、输入单元503和显示面板504。

存储器501，用于存储处理器502执行的计算机程序。存储器501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据终端设备500的使用所创建的数据等。处理器502，可以是一个中央处理单元(centralprocessingunit，cpu)，或者为数字处理单元等。输入单元503，可以用于获取用户输入的用户指令。显示面板504，用于显示由用户输入的信息或提供给用户的信息，本申请实施例中，显示面板504主要用于显示终端设备中各应用程序的显示界面以及各显示界面中显示的控件实体。可选的，显示面板504可以采用液晶显示器(liquidcrystaldisplay，lcd)或oled(organiclight-emittingdiode，有机发光二极管)等形式来配置显示面板504。

本申请实施例中不限定上述存储器501、处理器502、输入单元503和显示面板504之间的具体连接介质。本申请实施例在图5中以存储器501、处理器502、输入单元503、显示面板504之间通过总线505连接，总线505在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线505可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器501可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，ram)；存储器501也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flashmemory)，硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)、或者存储器501是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器501可以是上述存储器的组合。

处理器502，用于实现如图1所示的实施例，包括：

处理器502，用于调用存储器501中存储的计算机程序执行如实施图1所示的实施例。

本申请实施例还提供了一种计算机可读存储介质，存储为执行上述处理器所需执行的计算机可执行指令，其包含用于执行上述处理器所需执行的程序。

在一些可能的实施方式中，本申请提供的一种图像样本扩充方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种图像样本扩充方法中的步骤。例如，终端设备可以执行如实施图1所示的实施例。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的用于一种图像样本扩充程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、rf等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向实体的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程文件处理设备的处理器以产生一个机器，使得通过计算机或其他可编程文件处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程文件处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程文件处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。