数据的自主修改的方法和系统与流程

本发明一般地涉及自主更改数据模式，更具体地说，涉及用于使用生成式对抗网络来修改数据集中的模式的计算机实现的方法。本发明还涉及用于使用生成式对抗网络来修改数据集中的模式的对应的机器学习系统以及计算机程序产品。

背景技术：

采取特殊机器学习形式的人工智能(ai)被广泛引入企业部署中并且作为企业应用的一部分。当前，软件开发正在经历从线性编程到机器学习(ml)模型训练的转型过程。然而，事实证明，机器学习系统的训练并不轻松，它是一个高度复杂的过程，成败取决于训练数据的可用性。机器学习系统的预测结果仅与训练数据的结果一样好。但是，良好的训练数据通常需要良好的注释或标记(labeling)才能被机器学习系统正确解释以便开发成功的模型。

因此，如今编程不再是该过程中最耗时的部分。随着机器学习的兴起，标记成为新型工具开发的重要组成部分。实际上，基于机器学习的过程所需的样本数量随输入的复杂性而伸缩。例如，lsvrc-2010imagenet训练集包括被组织成1000个类别的130万个图像(sutskever，hinton和krizhevsky，2012年)。

在这种情况下，生成式对抗网络(gan)作为一种捕获数据集固有分布的方式而开始获得关注(goodfellow等人所著，2014年)，从而导致诸如数据增强之类的应用(antoniou、storkey和edwards，2018年)，在这些应用中，可以使用合成生成的样本来训练其它ai模型。

技术实现要素：

根据本发明的一方面，可以提供一种用于使用生成式对抗网络来修改数据集中的模式的计算机实现的方法。所述生成式对抗网络可以包括生成器和判别器。所述方法可以包括提供数据样本对。每个所述对可以包括具有模式的基础数据样本和具有对应的修改模式的修改数据样本。所述修改模式可以通过对所述基础数据样本应用至少一个随机修改来确定。

所述方法可以还包括使用对抗训练方法并且使用所述数据样本对作为输入来训练所述生成器以构建所述生成器的模型。从而，所述判别器可以接收数据集的数据集对作为输入，其中，每个所述数据集对可以包括所述生成器的基于基础数据样本和所述对应的修改数据样本的预测输出，由此能够优化用于所述生成器和所述判别器的联合损失函数。

此外，所述方法可以包括在没有所述判别器(即，可以去除所述判别器)的情况下，针对未知数据样本作为所述生成器的输入来预测输出数据集。

根据本发明的另一方面，可以提供一种用于使用生成式对抗网络来修改数据集中的模式的机器学习系统。所述生成式对抗网络可以包括生成器网络系统和判别器网络系统。所述机器学习系统可以包括接收单元，其适于提供数据样本对。每个所述对可以包括具有模式的基础数据样本和具有对应的修改模式的修改数据样本。所述修改模式可以通过对所述基础数据样本应用至少一个随机修改来确定。

所述系统可以还包括训练模块，其适于控制使用对抗训练方法并且使用所述数据样本对作为输入来训练所述生成器网络系统以构建所述生成器网络系统的模型。从而，所述判别器网络系统可以接收数据集的数据集对作为输入。每个所述数据集对可以包括所述生成器的基于基础数据样本和所述对应的修改数据样本的预测输出。由此，能够优化用于所述生成器和所述判别器的联合损失函数。

所述系统另外可以包括预测单元，其适于在没有所述判别器的情况下，针对未知数据样本作为所述生成器的输入来预测输出数据集。

此外，实施例可以采取可从计算机可用或计算机可读介质访问的相关计算机程序产品的形式，所述计算机可用或计算机可读介质提供了由计算机或任何指令执行系统使用或与计算机或任何指令执行系统结合的程序代码。出于本说明书的目的，计算机可用或计算机可读介质可以是任何可以包含用于存储、传送、传播或传输程序以供指令执行系统、装置、或设备使用或与之结合使用的部件的装置。

附图说明

应当注意，本发明的实施例是参考不同的主题进行描述的。特别地，一些实施例是参考方法型权利要求描述的，而其它实施例是参考装置型权利要求描述的。然而，本领域技术人员将从上文和下文的描述中理解，除非另外指出，否则除了属于一种类型主题的特征的任何组合之外，还将与不同主题相关的特征之间(尤其是方法型权利要求的特征之间以及装置型权利要求的特征之间)的任何组合视为在本文中公开。

本发明的上述定义的方面以及其它方面从以下将描述的实施例的示例而变得显而易见，并且参考实施例的示例进行了说明，但本发明不限于这些实施例的示例。

将仅通过举例的方式并参考以下附图来描述本发明的优选实施例，这些附图是：

图1示出了用于使用生成式对抗网络来修改数据集中的模式的本发明的计算机实现的方法的实施例的框图；

图2示出了由所提出的方法使用的本文提出的系统的一般设置；

图3示出了主要处理步骤；

图4示出了要修改的模式以及修改输出的地面实况(groundtruth)数据和修改输出的地面实况的示例；

图5示出了将损坏的输入图像变换为修改输出1和修改输出2的示例；

图6是相位图的重建的示例600；

图7示出了涉及表单的另一示例700；

图8和9示出了非常嘈杂的扫描文档的极具挑战性的数据集的其它示例；

图10和11示出了涉及被训练为从文档中“分离”噪声的与生成器串联的另一生成器的示例；

图12示出了用于使用生成式对抗网络来修改数据集中的模式的本发明的机器学习系统的实施例的框图；

图13示出了包括根据图12的机器学习系统的计算系统的框图。

具体实施方式

在本说明的上下文中，可以使用以下约定、术语和/或表达：

术语“生成式对抗网络”(gan)表示一类机器学习系统。两个神经网络可以在零和博弈框架中相互竞争。该技术可以生成例如具有许多真实特征的照片，这些照片对于人类观察者而言至少表面上看起来是真实的。它可以表示一种形式的无监督学习。

生成式网络或生成器网络可以生成候选者，而判别网络评估这些候选者。竞赛可以在数据分布方面进行。通常，生成式网络可以学习从隐藏空间映射到感兴趣的数据分布，而判别网络可以将生成器生成的候选者与真实数据分布区分开。生成式网络的训练目标可以是通过产生判别器可能认为是非合成(即，是真实数据分布的一部分)的新候选者来增加判别网络的错误率(即，“愚弄”判别器网络)。

已知的数据集可以用作判别器的初始训练数据。训练涉及呈现来自训练数据集的模式，直到达到可接受的准确性。可以基于生成器是否成功愚弄判别器来训练生成器。通常，可以使用从预定义的隐藏空间(例如，多元正态分布)中采样的随机输入来作为生成器的种子。此后，判别器可以评估由生成器合成的候选者。可以在两个网络中应用后向传播，以便生成器生成更好的图像，而判别器在标记合成图像方面可能变得更加熟练。生成器通常可以是反卷积神经网络，而判别器是卷积神经网络。

术语“神经网络”可以表示受构成动物大脑的生物神经网络启发的计算系统。神经网络本身不仅可以是一种算法，而且可以作为使许多不同的ml算法一起工作并处理复杂数据输入的框架。这样的系统可以通过考虑示例来“学习”执行任务，一般无需使用任何任务特定的规则来编程。神经网络可以包括多个节点作为输入层、多个隐藏层以及位于输出层处的多个节点。节点可以逐层连接，并且每个节点可以包括使用来自先前层节点的输入值的激活函数。隐藏层的节点数可以小于输入和/或输出层反卷积神经网络的节点数。

术语“生成器”在此可以表示具有多个层的神经网络，其中输入层的节点数可以等于输出层的节点数。这样，生成器或生成器网络或生成器网络系统可以生成复杂度(即，分辨率)与输入数据相同的输出数据，即，反卷积网络。

术语“判别器”可以表示人工神经网络，其包含的输入节点数与生成器具有的输出节点数相同。因此，判别器不能仅基于分辨率参数来区分其输入是原始数据样本还是由生成器生成的数据样本。判别器的输出节点数可以是两个。这是为了区分原始数据样本和由生成器输出的人工生成的数据样本。

术语“数据样本”可以表示例如图像、声音数据、文本数据或任何种类的其它非结构化数据。非结构化数据可以表示那些不适合如关系数据库中的典型结构化数据方案的数据。

术语“基础数据样本”可以表示用于训练和/或也用作被训练的生成器的输入的未修改的数据样本。

术语“修改数据样本”可以表示与基础数据样本相比具有至少一个修改的特征的与基础数据样本有关的数据样本。基础数据样本可始终具有相关的修改数据样本，从而构建一对用于训练的数据样本。

术语“修改模式”可以示例性地表示(在图像作为数据样本的情况下)虚线可以被补全为实线，彩色线转换为黑白线，或者线从数据样本中完全去除以便可以分离表单数据和内容数据。

术语“联合损失函数”可以表示衡量基础数据样本与修改数据样本之间的内容损失的函数。但是，也可能的是，它们的联合损失函数涉及添加的内容。重要的是内容已更改。

术语“wasserstein损失函数”(也表示为kantorovich-rubinstein度量或距离)可以表示在给定度量空间上的概率分布之间定义的距离函数。直观地，如果将每个分布视为堆积在m上的单位“污垢(drit)”量，则度量是将一个堆变成另一个堆的最小“成本”，该成本被假设为是需要移动的污垢量乘以污垢移动的平均距离。由于此类比，该度量在计算机科学中被称为推土机距离。

术语“patchgan”可以表示相同且独立地成块(patch)处理输入数据(例如，图像)的卷积神经网络，这使得处理在所需参数、时间和内存方面成本很低。

术语“vgg19”可以表示由vgg小组在ilsvrc-2014竞赛中开发的预先训练的19层神经网络。有关详细信息，请参见以下arxiv论文：“verydeepconvolutionalnetworksforlarge-scaleimagerecognition(用于大规模图像识别的极深卷积网络，k.simonyan、a.zisserman发表于arxiv：1409.1556)”。

术语“resnet-50”可以表示用于残差学习的50层卷积神经网络。在残差学习中，可以尝试学习一些残差，而不是尝试学习某些特征。残差可以简单地理解为减去从该层的输入中学到的特征。resnet使用快捷连接(将第n层的输入直接连接到第(n+x)层)进行此操作。事实证明，训练这种形式的网络比训练简单的深度卷积神经网络更容易，而且还解决了降低精度的问题。

所提出的用于使用生成式对抗网络来修改数据集中的模式的计算机实现的方法能够提供多种优势和技术效果：

本文提出的超分辨率gan能够改进训练收敛性，并允许分离生成器和判别器的架构。通过选择实现wasserstein损失而非对抗，与标准架构中的任何单独组件相比，所提出的方法和系统能够导致更好的结果。

生成器能够类似于u-net，因此能够将低级信息直接传递到更深的层，从而使训练变得更有效率，因为跳过的层促进了梯度后向传播，而且能够克服更深网络的梯度消失问题。另外，密集层的缺失能够提供在与用于训练的输入形状不同的输入形状下进行测试的灵活性。

实现为patchgan的可选地修改的判别器允许减少所需功率计的数量，这能够节省内存和时间，并且能够将架构应用于任意输入形状。

总之，所提出的方法和相关系统能够允许训练神经网络以处理不同种类的输入数据，分离不同模式作为输出数据，处理困难、嘈杂的输入数据，以及还能够应用于图像以外的其它数据类型。主要的优点是不需要标记或注释的数据；因此，所提出的概念能够表示一种特殊形式的无监督学习，从而显著减少训练阶段的人力。

在下文中，将描述适用于该方法以及对应的系统的其它实施例：

根据该方法的一个有利实施例，联合损失函数可以是wasserstein损失函数，特别是具有梯度惩罚的损失函数。这能够实现包括生成器和判别器的联合系统的特别有效的训练。

根据一个许可实施例，该方法还可以包括使用对抗训练方法并且使用数据样本对作为输入来训练生成器网络的不同模型。由此，修改数据样本能够根据不同的方面被修改。因此，能够实现完整模式的重建，从输入数据中提取表单以及优化嘈杂的文档。在某些情况下，能够建议对以不同方式训练的生成器进行序列化。

根据该方法的一个优选实施例，生成器可以是输出节点与输入节点一样多并且隐藏层节点少于输入节点数量的神经网络。这可以被称为反卷积神经网络。因此，能够生成分辨率与输入数据相同的输出数据(例如，图像)以用于生产使用或用于训练。

根据该方法的优选实施例，判别器可以是输入节点与生成器具有的输出节点一样多并且具有两个输出节点的神经网络。两个输出节点可以将判别器的输入分类成“真”或“假”，从而表示“输入是由生成器人工生成的，还是输入是原始样本”。如果判别器无法再区分其输入的源，则能够将生成器的训练视为已完成。

根据该方法的一个有用实施例，判别器可以是patchgan，即具有批量标准化的一系列卷积神经网络(cnn)。这样的系统能够保证训练期间具有快速收敛的最佳结果。

根据该方法的一个有利实施例，联合损失函数可以是损失函数的加权组合。这样，能够在训练期间反映出不同的方面，并且能够达到根据各个方面的在训练期间的良好收敛。

根据该方法的另一有利实施例，损失函数可以与基础数据样本的内容损失有关，其中，内容损失是使用预先训练的神经网络的特征图来确定的。预先训练的神经网络实际上可以是类型vgg19或resnet-50。

根据该方法的一个可选实施例，与相关数据样本相比，修改数据样本可以包括：实线而不是虚线；黑白模式而不是等效的彩色模式；无文本模式而不是具有文本的模式，以及无线条图像而不是混合线条/文本图像。因此，能够对生成器进行训练以在推断阶段添加或减去关于所提供的新输入数据的信息。

根据该方法的进一步开发的实施例，提供数据样本对可以包括：提供具有模式的图像集，确定要被修改的至少一个模式，使用随机数生成器来随机修改该图像的至少一个模式，以及将该图像集中的一个图像和相关图像与定义包括基础数据样本和修改数据样本的样本对中的一个对的至少一个模式相关。因此，根本不需要标记的数据。这能够提高所提出的系统适应各种不同应用领域的速度。能够在训练过程中省去人工和劳动密集型任务。

根据该方法的一个有用实施例，当比较当前迭代与先前迭代的结果时，如果联合损失函数的结果可能小于相对阈值，则可以终止生成式对抗网络的训练。除了其它选择以外，此条件还可以标记生成式对抗网络以及生成器的训练时间的适应性限制。

根据该方法的一个可选实施例，基础数据样本和修改数据样本可以是图像。但是，其它数据样本类型(例如声音或文本)或其它所谓的非结构化数据也能够用作数据样本。这些数据样本的其它示例和结果将在下面说明。

下面将给出附图的详细描述。图中的所有例示均为示意性的。首先，给出了使用生成式对抗网络来修改数据集中的模式的本发明的计算机实现的方法的实施例的框图。此后，将描述其他实施例以及用于使用生成式对抗网络来修改数据集中的模式的机器学习系统的实施例。

图1示出了用于使用生成式对抗网络来修改数据集中的模式的计算机实现的方法100的实施例的框图。生成式对抗网络包括生成器和判别器。该方法包括提供102数据样本对。数据样本的示例可以是图像。然而，还可以提供其它类型的数据样本，例如声音数据、文本数据等。

每个对包括具有模式的基础数据样本和具有至少一个相应的修改模式的修改数据样本。修改可以涉及例如完整的线，或者涉及例如不具有表格模式。各种不同的修改模式可以向基础数据样本中添加其它元素，或者可以减少来自基础数据样本的信息。例如，可以通过使用随机数生成器对基础数据样本应用随机修改来确定修改模式。

方法100还包括结合判别器使用对抗训练方法并且使用数据样本对作为输入来训练104生成器以构建生成器的模型。判别器接收数据集的数据集对作为输入。每个数据集对包括生成器的基于基础数据样本和对应的修改数据样本的预测输出。由此，能够优化用于生成器和判别器的联合损失函数。

最后但同样重要的是，方法100包括在没有判别器(即，除去判别器)的情况下，针对未知数据样本作为生成器的输入来预测106输出数据集，并且能够仅使用生成器网络来实现生产使用。

图2示出了由所提出的方法使用的本文提出的系统的一般设置。用包括例如相关图像对206、208的训练数据204来训练具有反卷积神经网络的生成器网络202。反卷积神经网络202在输入侧210(左)和输出侧212(右)包括大体相同的节点数量。输入层210与输出层212之间的层中的节点数较少。

判别器214(例如，被实现为卷积神经网络)包括的输入节点216的数量与生成器网络202具有的输出节点212的数量大体相同。

首先，必须合成地生成具有成对相关图像的两个数据集206、208以用于训练。这些数据集包括感兴趣模式的修改。接下来，使用这些数据集训练gan模型，直到它能够执行想要的修改为止。训练一直持续到满足针对基于损失的训练停止标准的要求为止。一旦gan模型准备就绪，就将生成器202与判别器214分离以用于生产使用，并且新图片被发送到生成器202并被修改为在输出层212处的输出。

可以注意到，判别器网络214被示为具有两个输出节点。它可用于指示到判别器214的输入数据是否被识别为是由生成器202人工生成的，或者指示到判别器214的输入数据(与在训练期间的生成器202的输出相同)是否为来自训练数据集的原始未修改数据。在训练期间，判别器214接收生成器202的输出数据以及原始基础数据样本作为输入。

图3示出了主要处理步骤300。在生成302合成数据集期间，第一步是识别304和定义应被修改的模式。该任务应该是有关需要被修改的样本集的数据符号研究的输出。在重要性定义能够基于阈值的情况下，该研究可以突出显示样本中最重要的模式。该处理的第一次初始化必须在开始时执行一次。

然后使用模式以便产生至少两个对应的合成数据集。第一合成数据集包括模式，第二数据集包括修改模式。合成数据集的生成306是基于初始样本集的独特特征；即，通过伪随机数生成器改变特征并将这些特征相加在一起以合成临时数据集308。然后，弃用临时数据集，并在这些特征中一个(而不是第二个)特征上添加(或去除)重要特征，该添加是重要特征的修改。

在数据集的形成过程中还包括并非必须修改的情况是有用的，以使得该处理学习应对并非必须被改变的特征。

gan的训练310按照以下方式执行：gan的输入是目标特征中没有修改的图像集，相反，gan学习再现的数据来自具有修改的特征的集。值得注意的是，在此步骤中，始终在要再现的数据中协调输入数据，以使得只有更改的特征是应当被修改的特征。因此，其余的特征在输入数据和稍后要再现的版本两者中对于所有其它特征具有相同的值(由随机数控制)。

一旦训练完成，便使用gan的生成器部分再现312新样本，新样本具有来自输入样本(该输入样本包括这些特征的在单独生成期间被提取的部分)的修改。因此，gan的训练不需要任何标记或注释的数据，这表示大幅减少了人工工作量。

如上所述，取决于处理的应用，某些所需的校正(即修改)也可能无法一步完成。在这种情况下，处理可以连续扩展，并且修改可以逐一完成，一次修改一个模式。为此，需要以不同方式训练的生成器。

在转到真实训练和结果数据的示例之前，应仔细研究所使用的gan体系结构的适应性。

gan体系结构的创建灵感来自多个最新体系结构，例如pix2pix、superresolutiongan，同时为了提高性能、改进训练收敛性并分离生成器和判别器的体系结构，使用wasserstein损失函数代替对抗函数。与标准体系结构中的任何单独组件相比，这种新颖的组合带来更好的结果。以下详细信息概述了所使用的gan网络的基础的技术细节：

生成器类似于u-net(一种特殊形式的全卷积网络)。该体系结构受深度卷积自动编码器的启发，并且具有额外的重要优势：跳过编码部和解码部中对应的对称卷积层之间的连接。这样，将相关低级信息直接传递到更深的层，从而使训练变得更有效率，因为跳过的层促进了梯度后向传播，而且能够克服更深网络的梯度消失问题。密集层的缺失提供在与用于训练的输入形状不同的输入形状下进行测试的灵活性。

判别器的网络是patchgan，它是具有批量标准化的一系列卷积层。该网络与常规判别器之间的区别在于，不是将输入映射到单个数字(该数字对应于输入为真的概率)，而是将输入映射到nxn块。取决于所使用的损失函数，输出块的每个标量值能够进行以下分类：与其感受野(receptivefield)相对应的输入的块是否为真(对于对抗性损失)或其真实程度(wasserstein损失)。该网络的进展首先是减少所需参数的数量(这导致节省内存和时间)，以及能够将该体系结构应用于任意输入形状的事实，这是在应用中实现通用且灵活的方法所需的要求。

在所提出的体系结构中，应用不同损失函数的加权组合。首先，知晓以下事实：像素方面的mse(均方差)和mae(均值平均误差)损失倾向于产生更平滑和模糊的结果，所使用的内容损失是基于预先训练的网络的特征图，这些预先训练的网络例如包括vgg19(即，在来自imagenet数据库的超过百万个的图像上训练的cnn)或resnet-50(也是具有50个层的cnn，其被启用以将图像分类成1000个对象种类)。

此外，本文使用具有梯度惩罚的wasserstein损失函数，而非使用是生成器和判别器的典型交叉熵的传统对抗性损失，wasserstein损失函数对应于期望数据分布与所生成的数据分布之间的推土机距离。选择将该损失函数引入到本文提出的体系结构中的原因有两方面：首先，在将评判家(critic)训练到最佳时，该损失函数增强训练稳定性并实现更快的收敛而没有梯度消失问题。考虑到gan训练很脆弱并且判别器与生成器之间的平衡训练通常很难实现的事实，这是一个重要方面。第二个原因在于以下观察：传统的以及最新的gan体系结构(例如pix2pix和srgan)使用对抗性损失，并且无法将损失进展(lossevolution)映射到所生成样本的质量。在本文提出的实施方式中不是这种情况。实际上，由于wasserstein损失的性质，在损失与生成器的输出质量之间存在对应性。

图4示出了要被修改的模式402以及生成器408的修改输出1的地面实况数据404和修改输出2的地面实况数据406的示例400。训练集包括使用上述原理生成的完全合成的数据。更准确地，在附图所示的示例中，可以看到作为到生成器408的输入的需要被修改的数据模式，而期望修改模式被用作生成器的输出处的地面实况404、406。在此，具有单个数据集的针对输出1修改的模式404是：(i)将虚线转换成实线一次，(ii)填充线条中随机缺失的部分，(iii)将彩色图像输入(未显示)转换为黑白表示，以及(iv)去除文本(间接检测)。输出2406包括输入的所有剩余部分而没有任何线条。

下面的附图示出了生成器在验证集中获得的性能，该验证集还包括来自同一合成数据集但尚未用于训练的图像。

图5清楚地示出了由生成器508将损坏的输入图像502转换为修改的输出图像1504和修改的图像输出2506的示例500。

为了测试本文提出的方法的一般性和可伸缩性，如上所述，在gan完成训练程序之后提取生成器，并且将要在三个不同的数据集中应用数据修改，这三个数据集与用于合成数据集的训练中心具有完全的区域相关性。但是，处于修改的模式已存在于训练数据集中。

图6是相位图的重建的示例600。在这种情况下，当将要被修改的模式602的虚线被转换为实线并且正确填充了图的缺失部分时，能够将图的重建定义为成功，如重建后的相位图604所示。可以看出，生成器606能够近乎完美地执行任务。

图7示出了涉及表单的另一示例700。在此，任务是通过将来自文本的线与要被修改的模式702相“分离”或将要被修改的模式702与来自文本的线相“分离”来修改表单。因此，取决于期望的输出，能够将生成器“感知”为表单结构提取器(仅线条)或文本提取器，如在生成器708产生的表单结构输出704和表单文本输出706的表单中清晰地看到的。

图8和9示出了非常嘈杂的扫描文档802、902的极具挑战性的数据集的其它示例800、900。然而，事实证明，生成器804、904无法成功地执行任务，因为由于高水平噪声的存在，输入802、902与训练数据集的输入不同。

图10和11示出了示例1000、1100，通过放置被训练为从文档中“分离”噪声的与生成器1006、1106串联的另一生成器1004、1104，文本提取性能实际上类似于上面讨论的示例之一。这证明所提出方法的效率还连续地适用于具有不同生成器的多个步骤。在图10中，要被修改的模式1002由去噪生成器1004和文本提取生成器1006过滤以生成表单文本输出1008。

在图11中，要被修改的模式1102先由去噪生成器1104过滤，然后由文本提取生成器1106过滤以生成表单文本输出1108。

还应注意，被认为与图像有关的所有内容不限于审核者(examiner)在上面所描述的图像。实际上，还能够使用本文提出的方法(例如，使用声学数据，使用文本数据或其它结构化数据)解决其它用例。

对于声学或声音数据，要被修改的模式例如可以是语言重音(accent)，以使得所提出的方法能够用于修改录音中的重音。

对于文本数据，要被修改的模式例如可以是特定表达和句子的使用，以使得所提出的方法能够用其它表达来改变该特定表达和句子，从而保持句子中的语义。

对于非结构化数据，要被修改的模式例如可以是获知第x天与第x+1天的财务数据的按时间顺序的转换。然后，能够在当前(x＝今天)应用所提出的方法以便预测明天的趋势。

出于完整性原因，图12示出了用于使用生成式对抗网络1202来修改数据集中的模式的机器学习系统1200的实施例，该系统包括生成器网络系统1204和判别器网络系统1206。机器学习系统1200包括接收单元1202，其适于提供数据样本对。每个对包括具有模式的基础数据样本和具有对应的修改模式的修改数据样本。因此，修改模式是通过对基础数据样本应用至少一个随机修改来确定的。

该系统另外包括训练模块1208，其适于控制使用对抗训练方法并且使用数据样本对作为输入来训练生成器网络系统以构建生成器网络系统的模型。判别器网络系统1206接收数据集的数据集对作为输入。每个数据集对包括生成器网络系统1202的基于基础数据样本和对应的修改数据样本的预测输出；由此，能够优化生成器和判别器的联合损失函数。

最后但同样重要的是，系统1200包括预测单元1210，其适于在没有判别器的情况下针对未知数据样本作为生成器的输入来预测输出数据集。

本发明的实施例能够与几乎任何类型的计算机一起实现，而与适合于存储和/或执行程序代码的平台无关。图13示出了作为示例的适于执行与所提出的方法有关的程序代码的计算系统1300。

计算系统1300仅是合适的计算机系统的一个示例，并非旨在暗示关于本文描述的本发明实施例的使用范围或功能的任何限制，与计算机系统1300是否能够被实现和/或执行以上所述的任何功能无关。在计算机系统1300中，存在可以与许多其它通用或专用计算系统环境或配置一起操作的组件。适合与计算机系统/服务器1300一起使用的公知计算系统、环境和/或配置的例子包括但不限于个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任意系统或设备的分布式云计算技术环境，等等。计算机系统/服务器1300可以在由计算机系统1300执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算机系统/服务器1300可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中，程序模块可以位于包括内存存储设备的本地和远程计算系统存储介质两者上。

如图中所示，计算机系统/服务器1300以通用计算设备的形式示出。计算机系统/服务器1300的组件可以包括但不限于：一个或者多个处理器或者处理单元1302、系统存储器1304、将包括系统存储器1304的不同系统组件连接到处理器1302的总线1306。总线1306表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线、微通道体系结构(mac)总线、增强型isa(eisa)总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。计算机系统/服务器1300典型地包括多种计算机系统可读介质。这些介质可以是能够被计算机系统/服务器1300访问的任意可获得的介质，包括易失性和非易失性介质、可移动的和不可移动的介质。

系统存储器1304可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)1308和/或高速缓存存储器1310。计算机系统/服务器1300可以还包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统1312可以用于读写不可移动的、非易失性磁介质(图中未显示，通常称为“硬盘驱动器”)。尽管图中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线1306相连。存储器1304可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块1316的程序/实用工具，可以存储在例如存储器1304中，这样的程序模块1316包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块1316通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器1300也可以与一个或多个外部设备1318(例如键盘、指向设备、显示器1320等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器1300交互的设备通信，和/或与使得该计算机系统/服务器1300能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1314进行。并且，计算机系统/服务器1300还可以通过网络适配器1322与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1322通过总线1306与计算机系统/服务器1300的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器1300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

此外，用于使用生成式对抗网络来修改数据集中的模式的机器学习系统1200能够附接到总线系统1306。

已经出于示例目的提供了本发明的各实施例的描述，上述说明并非穷尽性的并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

本发明可以体现为系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

所述介质可以是电、磁、光、电磁、红外线或半导体系统或传播介质。计算机可读介质的例子可以包括半导体或固态存储器、磁带、可移动计算机盘、随机存取存储器(ram)、只读存储器(rom)、硬磁盘和光盘。光盘的当前例子包括光盘-只读存储器(cd-rom)、光盘-读/写(cd-r/w)、dvd和蓝光光盘。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或另一个设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或另一个设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和/或框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本文使用的术语只是为了描述特定的实施例并且并非旨在限制本发明。如本文所使用的，单数形式“一”、“一个”和“该”旨在同样包括复数形式，除非上下文明确地另有所指。还将理解，当在此说明书中使用时，术语“包括”和/或“包含”指定存在所声明的特征、整数、步骤、操作、元素和/或组件，但是并不排除存在或增加一个或多个其它特征、整数、步骤、操作、元素、组件和/或它们的组合。

以下的权利要求中的对应结构、材料、操作以及所有功能性限定的装置或步骤的等同替换，旨在包括任何用于与在权利要求中具体指出的其它单元相组合地执行该功能的结构、材料或操作。所给出的对本发明的一个或多个方面的描述是示例性和描述性的，并非穷尽性的，并且也不限于所公开的发明形式。在不偏离本发明的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。实施例的选择和描述是为了最佳地解释本发明的原理、实际应用，并且当适合于所构想的特定使用时，使得本领域的其他技术人员能够理解本发明的具有各种修改的各种实施例。