风格可定制的文本生成的制作方法
背景技术：
自如语言处理(nlp)技术涉及计算机与人类语言或自然语言之间的交互，特别是如何处理和分析大量的自然语言数据。nlp技术可以在很多广泛的领域中得到应用，包括机器翻译、文摘和转述等。文本生成是各种自然语言处理(nlp)应用的核心技术。然而，目前的文本生成模型不支持对风格的定制。
技术实现要素：
本公开的各个实现提供风格可定制的文本生成方案。在一些实现中，通过文本生成模型将第一自然语言文本转换为第二自然语言文本，第二自然语言文本至少部分地体现第一自然语言文本的含义并且具有与第一自然语言文本可区分的风格，文本生成模型包括可修改的参数。响应于接收到针对参数的修改，通过文本生成模型将第一自然语言文本转换为第三自然语言文本，第三语言文本至少部分地体现第一自然语言文本的含义并且具有与第一自然语言文本和第二语言文本均可区分的风格。
提供发明内容部分是为了简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。
附图说明
图1示出了能够实施本公开的多个实现的计算设备的框图；
图2示出了根据本公开的一些实现的文本风格化的架构的示意图；
图3示出了根据本公开的一些实现的文本风格化的界面的示意图；
图4示出了根据本公开的一些实现的文本风格化的界面的示意图；
图5示出了根据本公开的一些实现的文本风格化的模型的示意图；以及
图6示出了根据本公开的一些实现的文本风格化方法的流程图。
这些附图中，相同或相似参考符号用于表示相同或相似元素。
具体实施方式
现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本主题的范围的任何限制。
如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
以下参考附图来说明本公开的基本原理和若干示例实现。图1示出了能够实施本公开的多个实现的计算设备100的框图。应当理解，图1所示出的计算设备100仅仅是示例性的，而不应当构成对本公开所描述的实现的功能和范围的任何限制。如图1所示，计算设备100包括通用计算设备形式的计算设备100。计算设备100的部件可以包括但不限于一个或多个处理器或处理单元110、存储器120、存储设备130、一个或多个通信单元140、一个或多个输入设备150以及一个或多个输出设备160。
在一些实现中，计算设备100可以被实现为具有计算能力的各种用户终端或服务终端。服务终端可以是各种服务提供方提供的服务器、大型计算设备等。用户终端诸如是任意类型的移动终端、固定终端或便携式终端，包括移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(pcs)设备、个人导航设备、个人数字助理(pda)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，计算设备100能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。
处理单元110可以是实际或虚拟处理器并且能够根据存储器120中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备100的并行处理能力。处理单元110也可以被称为中央处理单元(cpu)、微处理器、控制器、微控制器。
计算设备100通常包括多个计算机存储介质。这样的介质可以是计算设备100可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(ram))、非易失性存储器(例如，只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存)或其某种组合。存储器120可以包括文本生成模块122，这些程序模块被配置为执行本文所描述的各种实现的功能。文本生成模块122可以由处理单元110访问和运行，以实现相应功能。
存储设备130可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，其能够用于存储信息和/或数据并且可以在计算设备100内被访问。计算设备100可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图1中示出，可以提供用于从可拆卸、非易失性磁盘进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。
通信单元140实现通过通信介质与另外的计算设备进行通信。附加地，计算设备100的部件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备100可以使用与一个或多个其他服务器、个人计算机(pc)或者另一个一般网络节点的逻辑连接来在联网环境中进行操作。
输入设备150可以是一个或多个各种输入设备，例如鼠标、键盘、追踪球、语音输入设备等。输出设备160可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备100还可以根据需要通过通信单元140与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备100交互的设备进行通信，或者与使得计算设备100与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(i/o)接口(未示出)来执行。
在一些实现中，除了被集成在单个设备上之外，计算设备100的各个部件中的一些或所有部件还可以以云计算架构的形式被设置。在云计算架构中，这些部件可以被远程布置，并且可以一起工作以实现本公开所描述的功能。在一些实现中，云计算提供计算、软件、数据访问和存储服务，它们不需要终端用户知晓提供这些服务的系统或硬件的物理位置或配置。在各种实现中，云计算使用适当的协议通过广域网(诸如因特网)提供服务。例如，云计算提供商通过广域网提供应用，并且它们可以通过web浏览器或任何其他计算部件被访问。云计算架构的软件或部件以及相应的数据可以被存储在远程位置处的服务器上。云计算环境中的计算资源可以在远程数据中心位置处被合并或者它们可以被分散。云计算基础设施可以通过共享数据中心提供服务，即使它们表现为针对用户的单一访问点。因此，可以使用云计算架构从远程位置处的服务提供商提供本文所描述的部件和功能。备选地，它们可以从常规服务器被提供，或者它们可以直接或以其他方式被安装在客户端设备上。
计算设备100可以用于实施根据本公开的多个实现的用于将自然语言输入或者文本转换为另一风格的自然语言或者文本(也称风格化)的方法。在文本中，“风格”表示体现思想或信息是如何呈现的文本特征和/或语言特征，例如，长短、词汇量或词汇表、写作风格等。不同的风格之间能够彼此区分。更具体地，风格可以包括词汇的选择、句子结构、段落结构等等。
在对文本进行风格化时，计算设备100可以通过输入设备150接收文本(或自然语言语句)170。文本生成模块122可以对文本170进行处理，并根据文本170来生成另一风格的文本，该文本至少部分地体现或指示文本170包含或表达的信息。该文本可以被提供给输出设备160以作为输出180提供给用户等。例如，该文本可以显示在显示器上，以呈现给用户。
以下将参照图2-图5来详细描述本公开的示例实现。图2示出了根据本公开的一些实现的文本风格化架构200的示意图。应当理解，图2仅仅是出于示例的目的而提供，而不旨在限制本公开的范围。在不脱离本公开的精神和范围的情况下，可以将文本风格化架构200中的一个或多个模块合并为一个模块，也可以向文本风格化架构200中增加一个或多个模块，或者替换文本风格化架构200中的一个或多个模块等等。
在一些实现中，文本或者自然语言输入可以被提供给规划器202。规划器202可以将文本转换为另一风格的文本。规划器202可以基于自然语言文本来确定并输出规划表示，其指示最终生成的文本的风格，例如，应当如何呈现，例如，长度、词汇等。生成器204可以基于自然语言文本和规划器202输出的规划表示来生成由规划表示所指示风格的文本，并将其输出。生成器204可以是序列-序列模型，例如，编码器-解码器模型。
在一些实现中，规划器202是用户可定制的，例如，规划器202可以包括用户可定制的参数，从而用户可以改变定制参数，以改变规划器202输出的规划表示，进一步修改生成器204的输出的风格。
图3示出了根据本公开的一些实现的文本风格化的界面300的示意图。在该示例中，定制化风格是文本的长度。如图3所示，自然语言文本302作为输入提供给规划器202，并且生成器204输出具有定制化风格的自然语言文本304，其体现了自然语言文本302的主要含义。另外，图形界面元素306示出了定制化参数的示例。在该示例中，定制化参数包括五个定制化的层级，并且图3示出了定制化参数处于第二层级。
图4示出了根据本公开的一些实现的文本风格化的界面400的示意图。图4与图3对应，并且表示具有不同定制化等级的示例。如图4所示，自然语言文本402作为输入提供给规划器202，并且生成器204输出具有定制化风格的自然语言文本404，其体现了自然语言文本402的含义。另外，图形界面元素406示出了定制化参数的示例，图4示出了定制化参数处于第四层级。可以看出，第四等级输出具有更小长度的自然语言文本。
图5示出了根据本公开的一些实现的文本风格化架构200的示意图。如图5所示，规划器202接收输入序列212，表示为x＝(x1，x2，...，x|x|)，其中输入序列212表示自然语言文本wt(其中，t＝1…|x|)的嵌入表示或向量表示，其中|x|表示输入序列212的长度。应当理解，可以使用任何已知的方法或将来开发的方法来确定自然语言文本的嵌入表示。规划器202可以确定并输出自然语言文本的规划表示或预测向量vp(x)＝[v1；...；vi]，其中每个子向量vi表示输入序列212的特定特性的表示，例如，长度、措辞等风格；“；”表示子向量的组合、叠加或拼接(concatenate)，并且|x|表示输入序列x的长度。
如图5所示，输入序列212可以被提供给双向递归神经网络模型214，例如，双向长短时记忆(lstm)模型或者双向门控递归单元(gru)模型。应当理解，也可以使用任何其他合适的神经网络模型来替代双向递归神经网络模型。
在一些实现中，双向递归神经网络模型214可以将输入序列212解码为隐状态序列(h1，h2，...，h|x|)，其中
如图5所示，隐状态序列作为输入提供给各个规划函数216。规划函数216基于隐状态序列来计算各个规划函数216的子规划向量218，其可以表示为
规划函数fi(·)可以具有可定制的参数，以提供用于定制自然语言文本的风格的接口。用户可以更改规划函数的可定制参数来对要生成的文本的风格进行定制，例如，如图3-图4所示的定制方案。
在一些实现中，可以实现长度规划的方案，在该方案中，规划器202预测输出序列的长度。例如，实数
在一些实现中，可以实现词汇规划的方案，在该方案中，规划器202预测输出序列中使用的词语集合。可以使用向量
词汇规划函数可以包括可定制参数，例如，将词汇规划向量中的一些词汇对应的向量值定义为零，从而使得该词汇不会出现在输出序列中。例如，可以设置若干选项，其中一个选项可以是选择基础词汇，在该选项中，将词汇规划向量中的高级词汇对应的向量值设置为零。
在一些实现中，可以在结合器220处将多个子规划向量218相结合，以获得规划向量222。例如，可以将子规划向量vlen和vvocab相结合，以获得输入序列212的规划向量vp(x)＝[vlen；vvocab]。
如图5所示，生成器204可以接收输入序列212和规划向量222作为输入。在一些实现中，可以使用编码器-解码器架构来实现生成器204。应当理解，也可以使用任何其他合适的架构来实现生成器204。例如，可以将输入序列(嵌入向量)212及其规划向量222组合或拼接，以形成修改的嵌入向量(x′1，...，x′|x|)，并将其提供给编码器224作为输入。编码器224可以基于修改的嵌入向量(x′1，...，x′|x|)来生成隐状态序列(h′1，h′2，...，h′|x|)，其中
如图5所示，解码器226基于编码器224生成的编码器序列来生成目标序列(y1，y2，...，y|y|)。解码器226可以由lstm来实现，如图5所示。应当理解，解码器226也可以由任何其他合适的神经网络实现。
在时间t生成词语yt的概率可以表示为p(yt|y＜t，h′)＝g(yt-1，st，ct)，其中st表示解码器226的第t个隐状态，yt-1表示在时间t-1生成的词语，ct表示上下文向量，并且可以通过注意力机制来计算。上下文向量ct可以通过等式(1)和(2)来计算
其中a表示前馈神经网络。
在一些实现中，可以通过多个输入输出对来对图5所示的文本风格化架构进行训练。例如，对于m个输入输出对
在损失函数(3)中，第一项是常规的序列-序列模型的损失函数，第二项用于优化不同的规划函数，其中参数wi表示每个规划模块的损失函数li的权重以控制其重要性。
在一些实现中，长度规划模块的损失函数可以表示为公式(4)：
其中mse表示均分误差。
在一些实现中，词汇规划模块的损失函数可以表示为公式(5)：
其中h(y，p)表示二进制交叉熵函数，并且可以通过公式(6)来计算h(y，p)＝-(y*log(p)+(1-y)log(1-p))。另外，onehot(y)表示真相y的独热表示。
由于通过规划器202进行了规划，本公开的实现文本生成方案可以具有改进的性能，生成更加优化的文本输出。
图6示出了根据本公开的一些实施例的文本风格化的方法600的流程图。方法600可以由图1所示的文本生成模块122或者图2或图5所示的文本风格化架构200来实现。然而，应当理解，也可以使用任何其他合适的模块或架构来实现方法600。
在602，接收第一自然语言文本。第一自然语言文本可以是提供给规划器202的自然语言文本。
在604，通过文本生成模型将第一自然语言文本转换为第二自然语言文本。第二自然语言文本至少部分地体现第一自然语言文本的含义并且具有与第一自然语言文本可区分的风格，文本生成模型包括可修改的参数。
在一些实现中，可以从第一自然语言文本提取第一特征向量。通过具有可修改的参数的规划函数将第一特征向量转换为第二特征向量，第二特征向量由可修改的参数的第一参数值定义，并且表示与第一自然语言文本可区分的风格。然后，可以基于第二特征向量来生成第二自然语言文本。在一些实现中，通过双向递归神经网络从第一自然语言文本提取第一特征向量。例如，图2或图5所示的规划器202可以基于自然语言文本提取特征向量，并基于提取的特征向量来生成特征向量222。
在一些实现中，第二特征向量包括第一子向量和第二子向量中的至少一项，第一子向量表示由第一参数值定义的第二自然语言文本的长度，并且第二子向量表示由第一参数值定义的第二自然语言文本的词汇表。例如，第一子向量或第二子向量可以是如图5所示的子规划向量218之一。
在一些实现中，基于第一自然语言文本和第二特征向量，生成第二自然语言文本。例如，图5所示的生成器204可以基于自然语言文本212和特征向量222来生成自然语言文本。具体地，在图5所示的生成器中，获取第一自然语言文本的向量表示212，将第一自然语言文本的向量表示212和第二特征向量222拼接在一起，以获得拼接后的特征向量，并且基于拼接后的特征向量，生成第二自然语言文本。
在一些实现中，基于第二特征向量，通过编码器解码器生成第二自然语言文本。例如，编码器解码器可以是如图5所示的编码器解码器架构。
在606，接收针对上述参数的修改。用户可以对可定制参数进行修改，从而对可定制参数进行定制。
在608，通过文本生成模型将第一自然语言文本转换为第三自然语言文本，第三语言文本至少部分地体现第一自然语言文本的含义并且具有与第一自然语言文本和第二语言文本均可区分的风格。
在一些实现中，通过具有可修改的参数的规划函数将第一特征向量转换为第三特征向量，第三特征向量由可修改的参数的第二参数值来定义，并且表示与第一自然语言文本和第二自然语言文本可区分的风格。然后，基于第三特征向量来生成第三自然语言文本。例如，图3和图4分别示出了具有不同风格的输出。
在一些实现中，第三特征向量包括第三子向量和第四子向量中的至少一项，第三子向量表示由第二参数值定义的第三自然语言文本的长度，并且第三子向量表示由第二参数值定义的第三自然语言文本的词汇表。
以下列出了本公开的一些示例实现方式。
在第一方面，本公开提供了一种计算机实现的方法。该方法包括：接收第一自然语言文本；通过文本生成模型将所述第一自然语言文本转换为第二自然语言文本，所述第二自然语言文本至少部分地体现所述第一自然语言文本的含义并且具有与所述第一自然语言文本可区分的风格，所述文本生成模型包括可修改的参数；以及响应于接收到针对所述参数的修改，通过所述文本生成模型将所述第一自然语言文本转换为第三自然语言文本，所述第三语言文本至少部分地体现所述第一自然语言文本的含义并且具有与所述第一自然语言文本和所述第二语言文本均可区分的风格。
在一些实现中，将所述第一自然语言文本转换为所述第二自然语言文本包括：从第一自然语言文本提取第一特征向量；通过具有所述可修改的参数的规划函数将所述第一特征向量转换为第二特征向量，所述第二特征向量由所述可修改的参数的第一参数值定义，并且表示与所述第一自然语言文本可区分的风格；以及基于所述第二特征向量来生成所述第二自然语言文本。
在一些实现中，将所述第一自然语言文本转换为第三自然语言文本包括：通过具有所述可修改的参数的规划函数将所述第一特征向量转换为第三特征向量，所述第三特征向量由所述可修改的参数的第二参数值定义，并且表示与所述第一自然语言文本和所述第二自然语言文本可区分的风格；以及基于所述第三特征向量来生成所述第三自然语言文本。
在一些实现中，所述第二特征向量包括第一子向量和第二子向量中的至少一项，所述第一子向量表示由所述第一参数值定义的所述第二自然语言文本的长度，并且所述第二子向量表示由所述第一参数值定义的所述第二自然语言文本的词汇表。
在一些实现中，基于所述第二特征向量来生成所述第二自然语言文本包括：获取所述第一自然语言文本的向量表示；将所述第一自然语言文本的向量表示和所述第二特征向量拼接在一起，以获得拼接后的特征向量；以及基于所述拼接后的特征向量生成所述第二自然语言文本。
在一些实现中，从所述第一自然语言文本提取所述第一特征向量包括：通过双向递归神经网络从所述第一自然语言文本提取所述第一特征向量。
在一些实现中，基于所述第二特征向量来生成所述第二自然语言文本包括：基于所述第二特征向量，通过编码器解码器生成所述第二自然语言文本。
在一些实现中，所述第三特征向量包括第三子向量和第四子向量中的至少一项，所述第三子向量表示由所述第二参数值定义的所述第三自然语言文本的长度，并且所述第三子向量表示由所述第二参数值定义的所述第三自然语言文本的词汇表。
在第二方面，本公开提供了一种设备。所述设备包括：处理单元；以及存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行以下动作：接收第一自然语言文本；通过文本生成模型将所述第一自然语言文本转换为第二自然语言文本，所述第二自然语言文本至少部分地体现所述第一自然语言文本的含义并且具有与所述第一自然语言文本可区分的风格，所述文本生成模型包括可修改的参数；以及响应于接收到针对所述参数的修改，通过所述文本生成模型将所述第一自然语言文本转换为第三自然语言文本，所述第三语言文本至少部分地体现所述第一自然语言文本的含义并且具有与所述第一自然语言文本和所述第二语言文本均可区分的风格。
在一些实现中，将所述第一自然语言文本转换为所述第二自然语言文本包括：从第一自然语言文本提取第一特征向量；通过具有所述可修改的参数的规划函数将所述第一特征向量转换为第二特征向量，所述第二特征向量由所述可修改的参数的第一参数值定义，并且表示与所述第一自然语言文本可区分的风格；以及基于所述第二特征向量来生成所述第二自然语言文本。
在一些实现中，将所述第一自然语言文本转换为第三自然语言文本包括：通过具有所述可修改的参数的规划函数将所述第一特征向量转换为第三特征向量，所述第三特征向量由所述可修改的参数的第二参数值定义，并且表示与所述第一自然语言文本和所述第二自然语言文本可区分的风格；以及基于所述第三特征向量来生成所述第三自然语言文本。
在一些实现中，所述第二特征向量包括第一子向量和第二子向量中的至少一项，所述第一子向量表示由所述第一参数值定义的所述第二自然语言文本的长度，并且所述第二子向量表示由所述第一参数值定义的所述第二自然语言文本的词汇表。
在一些实现中，基于所述第二特征向量来生成所述第二自然语言文本包括：获取所述第一自然语言文本的向量表示；将所述第一自然语言文本的向量表示和所述第二特征向量拼接在一起，以获得拼接后的特征向量；以及基于所述拼接后的特征向量，生成所述第二自然语言文本。
在一些实现中，从所述第一自然语言文本提取所述第一特征向量包括：通过双向递归神经网络从所述第一自然语言文本提取所述第一特征向量。
在一些实现中，基于所述第二特征向量来生成所述第二自然语言文本包括：基于所述第二特征向量，通过编码器解码器生成所述第二自然语言文本。
在一些实现中，所述第三特征向量包括第三子向量和第四子向量中的至少一项，所述第三子向量表示由所述第二参数值定义的所述第三自然语言文本的长度，并且所述第三子向量表示由所述第二参数值定义的所述第三自然语言文本的词汇表。
在第三方面，本公开提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括计算机可执行指令，计算机可执行指令在由设备执行时使设备执行本公开的第二方面中的方法。
在第四方面，本公开提供了一种计算机可读介质，其上存储有计算机可执行指令，计算机可执行指令在由设备执行时使设备执行本公开的第二方面中的方法。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
- 还没有人留言评论。精彩留言会获得点赞！