地震拖缆形状的神经网预测的制作方法

专利名称：地震拖缆形状的神经网预测的制作方法
本申请是2000年6月26日提交的题为“Optimal Path for MarineData Collection美国专利申请No.09/603,068的部分继续申请，该文献在此结合以资对比。
本发明涉及在地震数据获得期间产生预测缆索形状的系统和方法。具体来说，本发明提供了被训练的神经网络，以预测在海运、船只拖动、地震数据收集操作期间地震拖缆或接收器缆索的形状。
在地震数据收集操作期间，确定地震船只及其相关的接收器的拖缆的最佳路径中，与海运拖动相关的缆索的形状和运动是重要的因素。在地震数据获取勘测中，由于缆索的偏转或位移对大量的地下地形没有正确地采样或完全错过。在地震数据获取期间精确地预测接收器缆索的形状，对于预料和补偿地震缆索的偏转和位移是重要的。能够更精确地选择和执行勘测路径，勘测路径变得更优化和有效。
在地震勘测的初始和二次或填充(in fill)部分期间，有地震拖动船只可通过的无数可能的路径。此外在许多情形下，最优的通过路径可能是难以确定的。然而如果能够识别最优初始和弃填路径，则可显著降低与地震数据收集相关的工作量和费用。这样，就需要一种有效的手段确定缆索形状，以获得地震勘测中最优的路径。
在初始通过时错过的目标必须在二次通过时再命中。每一附加的通过增加了勘测的成本。这种二次通过为完成勘测增加了与成本相关的时间。地震船只典型的操作成本超过每天$50,000。这样，预测缆索形状以获得最优路径结果将大量节省勘测每一地震前景的成本。这些大量成本的降低将提供在海洋数据收集市场中有竞争力的优点。这样，在初始和二次通过期间对勘测目标区域采样中，缆索形状预测是重要的。业内在地震数据获取操作期间感到非常需要预测地震拖缆形状。
根据本发明在地震操作期间使用神经网络预测地震拖缆形状已可满足上述急需。根据本发明的一优选实施例，提供了用于预测缆索形状的一种系统，包括具有输入层，可选的隐藏层，及输出层的神经网络，每一层具有一个或多个结点。第一层包括输入结点联系如下各地震数据获取操作参数船只座标，接收器座标，时间，船只速度，水流速度，风速，水温，盐度，潮汐信息，水深，拖缆密度，拖缆尺寸。输入层中每一结点连接到隐藏层中每一结点，且隐藏层中每一结点连接到输出层中每一结点，输出层输出预测的缆索形状。可以省略隐藏层。当隐藏层被省略时，输入层中每一结点联系到输出层中每一结点。
结点之间的每一连接具有相关的权重，以及用于对神经网络每一连接确定权重的训练过程。训练过的神经网络响应输入，并输出而产生预测的缆索形状。训练过程向神经网络施加多个训练集。每一训练集包括一组输入和一个所需的缆索形状。使用每一训练数据集，训练过程确定由神经网络预测的缆索形状与所需的缆索形状之间的差。然后训练过程基于输出预测的缆索形状与所需的缆索形状之间的差，调整神经网络的权重。通过使用反向传播或某种其它学习技术，指定给神经网络每一结点的误差可通过训练过程指定。


图1是本发明的一优选实施例的神经网络的图示；图2是具有输入层，隐藏层和输出层神经网络的一例；图3是表示在训练本发明的神经网络中执行的优选步骤的过程步骤图；以及图4是神经网络中前向激活流和后向误差流的图示。
在业内神经网络是众所周知的。以下的术语对于理解本发明的神经网络是有用的。“结点”是神经网络中的计算元素。“权重”是与网络中结点之间连接相关的可调整值。权重的量值确定连接的强度。负的权重禁止结点启动，而正的权重使结点能够启动。“连接”是连接结点成为网络的各结点之间的通路。
“学习定律”是响应输入信号修改结点的本地存储器中所有或某些权重的数学关系。学习定律方程式使神经网络能够适应它所作的事情的例子，并从而进行学习。权重调整的学习定律能够被描述为监视学习或非监视学习。监视学习假设所需的结点输出是已知的，或能够从用来更新权重的整个误差被确定。
在非假监视学习中，不知道所需的输出。在非监视学习中，与结点相关的权重不是与特定结点相关的输出误差成正比变化，而是与某种类型的整体增强信号成正比变化。“激活函数”是确定结点输出信号为最近输入信号和权重的函数的一种数学关系。“反向传播”是被监视的学习方法，其中输出误差信号通过网络被反馈，改变权重以便使误差最小化。“输入层”是向神经网络提供输入的结点层。“隐藏层”是不直接与神经网络的输入或输出连接的结点层。“输出层”是提供对神经网络结果访问的结点层。
本发明是用于产生预测缆索形状的一种神经网络系统和方法。图1示出神经网络101，处理单元107。神经网络101从施加到输入层的输入数据产生预测的缆索形状109。到神经网络的操作输入包括船只座标110，接收器座标111，时间112，船只速度113，水流速度114，风速115，水温116，盐度117，潮汐信息118，水深119，拖缆密度120，及拖缆尺寸121。在地震数据收集期间这些操作输入被实时检测并输入到神经网络。能够检测附加的操作数据并用作为神经网络的输入。输入到神经网络的数据可如图1所示由处理单元107处理。处理能够用来归一化或重新群集输入数据。
神经网络101以三种基本模式操作训练，操作和再训练。训练步骤示于图3。在训练期间，使用对神经网络提供训练数据集的训练手段训练神经网络。训练数据集包括船只座标1110，接收器座标1111，时间1112，船只速度1113，水流速度1114，风速1115，水温1116，盐度1117，潮汐信息1118，水深1119，拖缆密度1120，及拖缆尺寸1121，及所需的输出(即实际的，已知的，或正确的输出)。训练数据在实际操作期间收集或通过模型产生，并被存储供稍后神经网络的训练。能够产生通过检测其它操作参数获得的附加的操作数据，并用作为神经网络的输入。神经网络基于训练输入而产生预测的缆索的位置。然后这一预测的缆索形状与所需的或已知的输出比较。由神经网络产生的预测的缆索位置与所需的或已知的缆索位置之间的差，通过反向传播或某种其它学习技术，用来调整神经网络中的结点的权重。
在训练期间，神经网络学习并适应提供给它的输入。在神经网络被训练之后，它能够被用来对给定的输入数据集进行缆索位置预测。这种操作的模式称为操作模式。在操作模式之后，能够使用从其它勘测收集的另外的数据再训练神经网络。这样，对于一种勘测进行缆索位置预测的神经网络，能够使用来自第二勘测的收集被再训练。然后再训练的神经网络能够用来对第二勘测进行缆索位置的预测。
现在参见图2，示出神经网络的代表性例子。应当注意，图2所示的例子只是神经网络一实施例的示例。如以下将讨论的，能够使用神经网络的其它实施例。图2的实施例具有输入层205，隐藏层(或中间层)203及输出层201。输入层205包括输入结点层，它们从外部输入(船只座标，接收器座标，时间，船只速度，水流速度，风速，水温，盐度，潮汐信息，水深，拖缆密度，拖缆尺寸)取得其输入值207。输入数据由神经网络用来产生输出209(或缆索位置)。虽然输入层205被称为神经网络的一层，但输入层205不包含任何处理结点。
中间层被称为隐藏层203。隐藏层不是必须的，但通常是提供的。来自输入层205的结点的输出被输入到隐藏层203的每一结点。类似地，隐藏层203的结点的输出被输入到输出层291的每一结点。可以使用附加的隐藏层。附加的隐藏层中的每一结点取得来自前的层的输出作为其输入。
输出层201可由一个或多个结点组成。输出层接收隐藏层203结点的输出。输出层201的结点(多个)的输出(多个)就是隐藏的缆索形状209。结点之间的每一连接具有相关的权重。权重确定每一输入值对每一输出值的相关效果。最初对每一权重选择随机值。权重在神经网络训练时被修改。
本发明考虑其它类型的神经网络结构用于神经网络。对于神经网络都需要使神经网络能够被训练并再训练，以便提供所需的预测缆索位置。
输入数据207提供给表示输入层205中的输入结点的输入计算机存储器存储单元。隐藏结点203每一接收来自输入层205中所有输入的输入值。每一隐藏层结点具有与每一输入值相关的权重。每一结点使每一输入值乘以其相关的权重，并对于所有输入对这些值求和。然后这一和用作为方程式的输入(也称为函数或激活函数)，以便产生对该结点的输出。对于隐藏层203中的各结点的处理能够并行执行，或它们也可串行执行。在如图2所示只带有一个隐藏层203的神经网络中，这时可计算输出值或激活。每一输出值或激活乘以其权重，并对这些值求和。然后这一和用作为一方程式的输入，该方程式作为其结果产生预测的缆索形状209。这样使用输入数据207，神经网络就产生了作为预测值的输出209。使用模拟设备能够实现等价的功能。
结点的输出是其输入的加权和的函数。结点的输入/输出关系常常作为传递函数描述。激活函数能够以符号表示如下Y＝f(∑(wixi))正是这一加权和∑(wixi)被输入到激活函数。激活函数确定了作为输入信号的结果在结点中产生的激活水平。可选择任何函数作为激活函数。然而，带有使用反向传播最好是S形曲线函数。S形曲线函数是连续的S-形单调增加的函数，该函数在输入逼近正或负无穷时渐进逼近固定值。典型地S形曲线函数的上极限被设置为+1，且下极限被设置为0或-1。S形曲线函数能够表示为f(x)＝1/(1+e-(x+T))其中x是加权输入(即(wixi))，而T是简单阈值或偏移。
注意到，通过在神经网络中包含一偏移结点能够消除在以上方程式中的阈值T。偏移结点没有输入，但是向神经网络中所有输出和隐藏层结点输出一恒定值。每一结点指定给这一结点输出的权重成为对给定结点的阈值项。这把方程式简化为f(x)＝1/(1+e-x)，其中x是加权输入(即(wixi)。其中X0＝1，且W0是作为权重添加的)。
关系或面向对象的数据库适用于本发明。有很多适用于本发明的商用数据库。
神经网络中权重的调整通常称为训练。训练一神经网络需要对训练过程所使用的训练数据进行编排。然后训练过程实现如图3所示和以下所述的步骤。现在参见图3，本发明考虑到各种方式训练神经网络。在步骤300中初始化权重为随机值。当训练神经网络时，步骤300可被跳过，使得训练使用从先前训练阶段(多个)计算的权重开始。在步骤301，向神经网络施加一输入数据集。这一输入数据引起输入层中的结点产生到隐藏层结点的输出，它们转而产生到产生结果的输出层结点的输出。从输入结点到输出结点的这一信息流程一般称为如图4右侧所示的前向激活流。
现在返回到图3，在步骤301与施加到神经网络的输入数据相关的是所需的，实际的或已知的输出值。在步骤303，通过神经网络产生的预测缆索形状与所需的，实际的或已知的输出比较。所需的输出与由神经网络产生的预测的缆索形状之间的差被称为误差值。然后这一误差值用来如步骤305所示调整神经网络中的权重。
调整权重的一个适当的途径被称为反向传播，其中输出误差信号通过网络反馈，改变连接的权重使得误差最小化。反向传播把整个误差值分配到神经网络中每一结点，基于分配给它的误差值调整与每一结点输入相关的权重。这种反向误差流在图4的左侧描绘出。
一旦知道了与给定结点相关的误差，结点的权重就被调整。对于给定的结点调整权重的一种途径如下Wnew＝Wold+βEX其中E是与该结点相关的误差信号，X表示输入，Wold表示当前权重，Wnew表示调整后的权重，而β是学习常数与沿误差曲线所取的步长。这一方法其它的变形可用于本发明。例如以下Wnew＝Wold+βEX+α·(Wnew-Wold)prev包括动量项α(Wnew-Wold)prev，其中α是常数，它乘以来自先前输入模式的权重的变化。
使用每一训练集重复反向传播或其它学习技术直到完成训练为止。如步骤307所示，使用一确认测试确定训练是否完成。这一确认测试能够简单地检验误差值对于给定的迭代数目小于一定的值，或在一定数目的迭代之后简单地结束训练。优选的技术是使用一测试数据集并测量由测试数据产生的误差。测试数据能够这样产生，使得用于训练的数据相互排斥。如果施加测试数据所得结果误差小于预定的值，则认为训练完成。作为向神经网络施加确认测试数据的结果不调整权重。
注意，虽然已经对于基本的反向传播算法描述了本发明，但反向传播算法的其它变形也可用于本发明。其它的学习定律也可使用。例如增强学习。在增强学习中，整体的增强信号施加到神经网络中所有的结点。然后结点基于该增强信号调整它们的权重，这是与基本上是在网络中每一结点的输出形成误差信号的反向传播技术明显的差别。在增强学习中，只有由所有的结点使用的一个误差信号。
然后如上所述训练集用来调整神经网络中的权重。任何给定的训练集可在训练部分多次使用。在神经网络被训练之后，操作数据施加到被训练的神经网络以便产生预测缆索所形状。
在图1中描述了预处理功能107。在输入向神经网络施加时，可进行输入值的预处理。已经发现当输入数据或在范围[-1，1]或
中被归一化时，反向传播工作得最好。注意，归一化是对数据的每一因子进行的。归一化步骤还可以与其它步骤诸如对输入取自然对数的步骤结合。对数标度对大数据值比对较小数值缩减的更大。当神经网络包含带有S形曲线激活函数的结点时，如果在范围
上归一化数据，则可达到较好的结果。归一化到范围
使用了S形曲线激活函数的核心。可以采用其它的函数预处理输入值。
本发明的优选实施例包括一个或多个软件系统。在这种场合，软件系统是一个或多个可执行软件程序、以及一个或多个存储器存储区的集合，例如RAM或磁盘等。一般来说，软件系统应当被理解为包括功能的全部功能软件具体实施，该系统能够添加到现有的计算机系统以对该计算机系统提供新的功能。
软件系统一般是以分层的方式的构成的。在分层的系统中，最低层软件系统通常是能够使硬件执行软件指令的计算机的操作系统。可以提供软件系统附加的层，例如数据库能力。这一数据库系统提供了在其上能够构建附加的软件系统的基础层。例如，能够在数据库顶部形成神经网络软件的层。
于是软件系统被理解为，能够以分层的方式被组合以产生提供新功能的计算机系统的功能的软件实现。而且，一般来说，由一个软件系统提供的对另一软件系统的接口是被明确定义的。在本发明的情形下应当理解，软件系统之间的描写表示为优选实现。然而，本发明可使用软件系统的任何组合或分离来实现。
数据库可作为形成了基础层单独的软件系统实现，在其上可叠层其它的软件系统(例如神经网络，和训练方法)。本发明中所使用的数据库可使用数个方法实现。例如，数据库可作为随机访问存储器(RAM)数据库，基于磁盘的数据库，或作为RAM与磁盘的组合。本发明可考虑实现数据库功能的任何计算机或模拟装置。仅列举几例，这些包括平面文件，关系数据库，面向对象的数据库或分层数据库等。
神经网络检索输入数据，并使用这些输入的数据输出预测缆索形状。输出数据可提供给数据库供存储，或可发送到其它软件系统，诸如进行决策或计划的应用程序。输入数据可从数据库获得。
关于本发明还应当理解，软件和计算机的实施只是实现系统和方法中各种要素的一种可能的途径。如上所述，神经网络可以模拟或数字的形式实现。应当理解，对于如上所述本节中所述系统的功能的方法步骤，诸如计算或确定的运算(这意味着数字计算机的运算)也可以在模拟的等价物中或通过其它方法进行。
神经网络模型能够具有完全连接的方式，或非反馈的方式。这些只是例子。可考虑用于神经网络模型的其它方式和体系结构。
神经网络必须可访问输入数据和训练数据，并访问能够存储输出数据和误差数据的位置。本发明的一个实施例使用一种方法，其中数据不是保存在神经网络中。而是指向数据存储位置的数据指针被保存在神经网络中。这些指针也称为数据说明，能够取数的形式，并能够用来指向用于数种目的的数据。例如，必须规定输入数据指针和输出数据指针。指针能够指向或使用特定的用于数据的数据源系统，数据类型，及数据项指针。神经网络还必须有数据检索功能及数据存储功能。这些功能的例子是可调用例行程序，磁盘访问，及网络访问。这些只是检索和存储功能各方式的例子。优选的方式是使神经网络使用数据库中的数据。神经网络本身能够从数据库检索数据，或另一模块能够向由神经网络指针规定的区域馈送数据。
神经网络还需要如上所述被训练。如先前所述，本发明考虑采用任何当前可用的或未来发展的训练方法。训练方法还可以由所使用的神经网络模型的结构指定。训练方法方面的例子包括反向传播，推广的德尔塔，及梯度下降，所有这些在业内都是熟知的。
有几种通常可使用的用于开发神经网络的辅助程序。例如，IBMNeural Network Utility(NNU)提供了使用图形界面(GUI)以及应用程序接口(API)对几种神经网络的访问，这允许未来可嵌入在较大的系统中。NNU GUI运行在使用OS/2或DOS/Windows基于Intel的机器上，及运行在使用AIX的RISC/6000机器上。API不仅在这些平台上可得，而且在包括VM/CMS及OS/400等数种大型机平台上也可得。用于改进神经网络训练和运行时间的可用的硬件包括IBM Wizard，这是插入到MicroChannel总线的一种卡。其它的有类似的软件和/或硬件的销售商包括NeuralWare，Nestor和Hecht-Nielsen Co.
向神经网络的输入集可被预处理。用于归一化输入的最佳技术是对输入取自然对数并然后将其归一化到0.2电话0.8之间的值。这样能够保证使用S形曲线函数的“核心”。这改善了位于函数的边缘即0和1附近的值隐含的问题。如果数据简单地被归一化在0.2和0.8之间，则百分比误差在较小的区域将趋向很大。误差平均对于所有的输入几乎相等；然而，在较小区域上相等的误差将比在较大的区域上引起较大的百分比误差。未来尽量减小这一效果，数据被归一化。首先取数据的自然对数，这压缩了数据并产生更正常的分布。然后我们归一化这些自然对数并把它们提供给网络。
使用十二个输入结点，一个隐藏层，一个输入结点和标准反向传播的前向网络进行缆索预测。也可采用使用不同操作数据的输入结点和更多或较少隐藏结点。
虽然已使用缆索预测技术和返回量应用为例说明了本发明，但本发明不限于这些特定的应用。
虽然这里根据其一定的优选实施例详细说明了本发明，但业内专业人员可在其中实现修改和变化。因而，所附权利要求要覆盖的是所有属于本发明精神和范围内的这些修改和变化。
权利要求
1.一种缆索形状预测系统，包括一种神经网络，它包括输入层，隐藏层，和输出层，每一层包括一个或多个结点，输入层中的所有结点连接到操作数据，输入层中的每一结点连接到隐藏层中每一结点，且隐藏层中每一结点连接到输出层中每一结点，输出层输出预测的缆索位置，结点之间的每一连接具有相关的权重；以及训练装置，用于确定神经网络的结点之间的每一所述连接的权重，神经网络响应操作输入以输出预测的缆索位置。
2.权利要求1的系统，其中训练设备包括用于向神经网络施加多个训练集的设备，每一训练集由历史数据，相关的统计预测和所需的预测组成，用于对每一训练数据集确定由神经网络产生的预测与所需预测之间的差的设备，及用于基于这一差调整神经网络每一权重的设备。
3.权利要求2中的系统，其中训练装置包括用于使用反向传播调整每一权重的装置。
4.权利要求3中的系统，其中训练装置还包括用于向神经网络施加测试数据集的装置，以确定训练是否完成。
5.权利要求4中的系统，其中测试数据集不是训练集。
6.权利要求1中的系统，还包括预处理装置，用于对每一历史数据计算对数值并用于连接每一对数值到输入层。
7.权利要求1中的系统，其中神经网络包括偏移结点，具有到隐藏层的所有结点以及输出层的所有结点的连接。
全文摘要
一种神经网络在地震操作期间预测地震光束形状，具有输入层，可选的隐藏层，和输出层，每一层具有一个或多个结点。结点之间的每一连接具有相关的权重，以及用于对神经网络的每一连接确定权重的训练过程。训练的神经网络响应输入和输出而产生预测的缆索形状。训练过程对神经网络采用多个训练集。每一训练集包括输入的一集合和所需的缆索形状。使用每一训练数据集，训练过程确定由神经网络预测的缆索形状与所需的或已知的缆索形状之间的差别。然后训练过程基于输出的预测缆索形状和所需的缆索形状之间的差别调整神经网络结点的权重。
文档编号G01V1/38GK1470000SQ01817274
公开日2004年1月21日 申请日期2001年9月7日 优先权日2000年9月11日
发明者大卫·李·尼兰德, 大卫 李 尼兰德 申请人:维斯特恩格科有限责任公司