一种滑动定向数据处理方法与流程

本发明涉及一种滑动定向数据处理方法，属于石油天然气钻井数据处理领域。

背景技术：

滑动钻井逐渐向数字化、智能化方向发展，依赖工程数据指导滑动定向作业，样本数据的质量尤为重要，滑动钻井过程中，钻井现场采集数据主要来源于录井、mwd、扭摆三个系统，然而这三个系统相互独立，通常具有不同的量纲和数量级，加上采集频率各异，数据的完整性、准确性、及时性等方面存在较大差距，当各指标间的水平相差很大时，直接用原始指标值进行分析，就会突出数值较高的指标在综合分析中的作用，相对削弱值水平低指标的作用，影响数据可靠性，直接经过合并后的数据并不适合直接用来进行计算和模型训练，各系统产生的大量数据难以实现融合、共享和集成管理，不能直接比较分析。同时，由于采集软件重启、通信故障等因素易造成丢失乱码等问题，给数据的准确定和可靠性造成了很大的影响。因此，必须对采集数据进行预处理，才能发挥指导滑动钻井作业的最大价值。

技术实现要素：

本发明的目的在于克服现有技术存在的上述问题，提供一种滑动定向数据处理方法。本发明能够实现多系统数据集成管理，并对集成数据进行数据清洗，删除乱码、冗余数和无效数据，提升数据质量，在此基础上，对数据清洗后的原始指标数据进行标准化处理，提升滑动钻井数据规范性与适用性。

为实现上述目的，本发明采用的技术方案如下：

一种滑动定向数据处理方法，其特征在于，由如下步骤构成：

(1)以扭摆系统数据表为基准表，获取单行时间戳；

(2)根据时间戳遍历mwd系统、录井系统数据表，将遍历到的数据进行合并存储，得到扭摆、mwd、录井三个系统的集成数据总表；

(3)遍历集成数据总表，清洗乱码、冗余数和无效数据，更新数据表，实现数据清洗；

(4)数据标准化，形成有效数据集。

步骤(1)中，以扭摆系统数据表为基准表，循环获取扭摆系统数据表的第n行的时间戳(n＝1,2,3…n)。

步骤(2)中，对扭摆系统第n行数据而言，根据时间戳遍历mwd、录井系统数据表，即根据时间戳进行其他系统数据的筛选，寻找mwd、录井系统数据表中相同及相近的时间戳遍，判断依据：小于该时间的最近值，如判断扭摆数据表中n行的时间戳与其他系统数据表时间戳之间的差值是否为1秒。

步骤(2)中，由于数据来源于多个系统，数据的结构和属性不同，数据合并时应根据数据结构和属性对数据类型进行划分，依时间戳同类型的数据合并，形成有效数据列。

步骤(2)中，对于满足三数据表筛选条件的数据戳，合并三数据表各自时间戳所在行数据，储存至数据总表中，重复步骤(1)～步骤(2)，遍历完所有单行时间戳，遍历结束，得到扭摆、mwd、录井三个系统的集成数据总表。

步骤(3)中，遍历数据总表，判断是否存在出现乱码、冗余数和无效数据，筛选无效信息，删除乱码、冗余数和无效数据，更新数据表。

步骤(3)中，乱码错误数据主要存在于mwd传输过程中的应发送频率过快而造成的乱码问题，根据关键字搜索可能存在乱码的地方，通过前后时间对比分析修改。

步骤(3)中，冗余数主要受钻井工况的影响，滑动钻井作业过程中，起、下钻工况下与滑动钻井定向无关的数据即为冗余数。

步骤(3)中，无效数据主要包括：录井系统、mwd系统因设备运行调试、网络故障造成的空记录数据；以及扭摆系统未进行定向作业采集的基础数据，以实际扭矩钻速作为参考依据。

步骤(3)中，筛选无效信息是根据参数变化波动情况作为是否具有参考价值的依据，进行无效数据的筛选。

步骤(4)中，为了使数据结果更规范和更方便利用，需要对清洗后的原始指标数据进行归一化处理，即数据标准化，形成有效数据集。

步骤(4)中，数据标准化包括如下步骤：

a)对原始数据进行线性变换，使结果落到[0,1]区间，转换公式为：

其中max为样本数据的最大值，min为样本数据的最小值，x为原始数据；

b)如果想要将数据映射到[-1,1]，则公式为：

其中mean为样本均值。

采用本发明的优点在于：

1、本发明以扭摆系统数据表为基准表，采用扭摆系统数据表的时间戳遍为参考依据，进行扭摆、mwd、录井系统三数据表集成，实现多系统数据集成管理。然后，对集成数据进行数据清洗，删除乱码、冗余数和无效数据，提升数据质量。在此基础上，对数据清洗后的原始指标数据进行标准化处理，提升滑动钻井数据规范性与适用性。

2、本发明解决了滑动钻井现场录井、mwd、扭摆系统相互独立、数据分散，各系统产生的大量数据难以实现融合、共享和集成管理的问题，为一体化数据管理提供了技术支持。

3.通过对集成数据进行数据清洗，筛除了乱码、冗余数和无效数据，提升了滑动钻井的数据质量，进而提高了滑动钻井数据的利用价值。

4.对数据清洗后的原始指标数据进行标准化处理，提升滑动钻井数据规范性与适用性，为滑动钻井数据的广泛应用提供了基础。

附图说明

图1为本发明方法流程示意图；

图2为采用z-score标准化数据训练结果图；

图3为采用min-max标准化数据训练结果对比图。

具体实施方式

实施例1

一种滑动定向数据处理方法，由如下步骤构成：

(1)以扭摆系统数据表为基准表，获取单行时间戳；

(2)根据时间戳遍历mwd系统、录井系统数据表，将遍历到的数据进行合并存储，得到扭摆、mwd、录井三个系统的集成数据总表；

(3)遍历集成数据总表，清洗乱码、冗余数和无效数据，更新数据表，实现数据清洗；

(4)数据标准化，形成有效数据集。

步骤(1)中，以扭摆系统数据表为基准表，循环获取扭摆系统数据表的第n行的时间戳(n＝1,2,3…n)。

步骤(2)中，对扭摆系统第n行数据而言，根据时间戳遍历mwd、录井系统数据表，即根据时间戳进行其他系统数据的筛选，寻找mwd、录井系统数据表中相同及相近的时间戳遍，判断依据：小于该时间的最近值，如判断扭摆数据表中n行的时间戳与其他系统数据表时间戳之间的差值是否为1秒。

步骤(2)中，由于数据来源于多个系统，数据的结构和属性不同，数据合并时应根据数据结构和属性对数据类型进行划分，依时间戳同类型的数据合并，形成有效数据列。

步骤(2)中，对于满足三数据表筛选条件的数据戳，合并三数据表各自时间戳所在行数据，储存至数据总表中，重复步骤(1)～步骤(2)，遍历完所有单行时间戳，遍历结束，得到扭摆、mwd、录井三个系统的集成数据总表。

步骤(3)中，遍历数据总表，判断是否存在出现乱码、冗余数和无效数据，筛选无效信息，删除乱码、冗余数和无效数据，更新数据表。

步骤(3)中，乱码错误数据主要存在于mwd传输过程中的应发送频率过快而造成的乱码问题，根据关键字搜索可能存在乱码的地方，通过前后时间对比分析修改。

步骤(3)中，冗余数主要受钻井工况的影响，滑动钻井作业过程中，起、下钻工况下与滑动钻井定向无关的数据即为冗余数。

步骤(3)中，无效数据主要包括：录井系统、mwd系统因设备运行调试、网络故障造成的空记录数据；以及扭摆系统未进行定向作业采集的基础数据，以实际扭矩钻速作为参考依据。

步骤(3)中，筛选无效信息是根据参数变化波动情况作为是否具有参考价值的依据，进行无效数据的筛选。

步骤(4)中，为了使数据结果更规范和更方便利用，需要对清洗后的原始指标数据进行归一化处理，即数据标准化，形成有效数据集。

步骤(4)中，数据标准化包括如下步骤：

a)对原始数据进行线性变换，使结果落到[0,1]区间，转换公式为：

其中max为样本数据的最大值，min为样本数据的最小值，x为原始数据；

b)如果想要将数据映射到[-1,1]，则公式为：

其中mean为样本均值。

现场原始数据数据处理主要分为数据清洗、数据集成、数据归一化三个方面。数据集成、数据清洗和数据归一化。

数据集成是由于滑动钻井数据来源于多个系统多张数据表，因此是严重影响数据调用效率，同时也给数据管理带来困难，为了方便调用和管理，需要将数据编织成一个数据集合，以实现数据集成管理。数据集成是一个数据整合的过程，通过综合各系统的数据源，将拥有不同结构、不同属性的数据整合归纳在一起，并根据结构和属性对数据类型进行有效划分，形成一个包含所有数据表的数据集。

数据清洗是由于不同数据采集系统的数据源定义属性时命名规则不同，存入的数据格式、取值方式、单位都会有不同。因此即便两个值代表的业务意义相同，也不代表存在数据库中的值就是相同的。同时，在数据采集过程中，由于采集时间长，数据传送频率高，不可避免的产生一些错误的数据格式。因此。需要数据集成前进清理，保证数据质量。

数据归一化是由于在多指标评价体系中，由于各评价指标的性质不同，通常具有不同的量纲和数量级。当各指标间的水平相差很大时，如果直接用原始指标值进行分析，就会突出数值较高的指标在综合分析中的作用，相对削弱数值水平较低指标的作用。因此，为了保证结果的可靠性，需要对原始指标数据进行归一化处理。归一化方法有两种形式，一种是把数变为(0，1)之间的小数，一种是把有量纲表达式变为无量纲表达式。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。

实施例2

步骤(1)中，以扭摆系统数据表为基准表，循环获取扭摆系统数据表的第n行的时间戳(n＝1,2,3…n)。

步骤(2)根据时间戳遍历mwd、录井系统数据表，将遍历到的数据进行合并存储，实现数据集成。

进一步地，步骤(2)中，对扭摆系统第n行数据而言，根据时间戳遍历mwd、录井系统数据表，即根据时间戳进行其他系统数据的筛选，寻找mwd、录井系统数据表中相同及相近的时间戳遍，判断依据：小于该时间的最近值，如判断扭摆数据表中n行的时间戳与其他系统数据表时间戳之间的差值是否为1秒。

进一步地，步骤(2)中，由于数据来源于多个系统，数据的结构和属性不同，数据合并时应根据数据结构和属性对数据类型进行划分，实现依时间戳同类型的数据合并，形成有效数据列。

进一步地，步骤(2)中，对于满足三数据表筛选条件的数据戳，合并三数据表各自时间戳所在行数据，储存至数据总表中，重复步骤(1)～步骤(2)，遍历完所有单行时间戳，遍历才结束，最终得到包含扭摆、mwd、录井三个系统的数据总表，实现数据三系统数据集成的目的。

步骤(3)中，遍历数据总表，判断是否存在出现乱码、冗余数和无效数据，筛选无效信息，删除乱码、冗余数和无效数据，更新数据表。

进一步地，步骤(3)中，乱码错误数据主要存在于mwd传输过程中的应发送频率过快而造成的乱码问题。根据关键字搜索可能存在乱码的地方，通过前后时间对比分析修改。

进一步地，步骤(3)中，冗余数主要受钻井工况的影响，滑动钻井作业过程中，起、下钻等工况下与滑动钻井定向无关的数据即为冗余数。

进一步地，步骤(3)中，无效数据主要包括：录井系统、mwd系统因设备运行调试、网络故障造成的空记录数据；以及扭摆系统未进行定向作业采集的基础数据，以实际扭矩钻速作为参考依据。

进一步地，步骤(3)中，筛选无效信息是根据参数变化波动情况作为是否具有参考价值的依据，进行无效数据的筛选，减少参与筛选的无效参数。

步骤(4)中，为了使数据结果更规范和更方便利用，需要对清洗后的原始指标数据进行归一化处理，即数据标准化，形成有效数据集。

进一步地，步骤(4)中，选择min-max标准化作为处理滑动钻井原始数据标准化的方法,min-max标准化步骤如下：

a)对原始数据进行线性变换，使结果落到[0,1]区间，转换公式为：

其中max为样本数据的最大值，min为样本数据的最小值，x为原始数据；

b)如果想要将数据映射到[-1,1]，则公式为：

其中mean为样本均值。

常见数据预处理方法包括min-max标准化、z-score标准化、log函数转换等常见数据预处理方法，min-max标准化和z-score标准化均，现将不同量级的数据统一化为同一个量级，本发明利用滑动钻井数据零对z-score标准化和min-max标准化方法进行了比较。

对比图2和图3可知，z-score标准化方法损失值随训练轮次增加趋于稳定，对正向扭矩、反向扭矩的拟合效果较好，但正向转速、反向转速预测值与真实值差距较大，表明该方法对部分滑动定向数据的标准化效果不佳。而min-max标准化方法除了对正向扭矩、反向扭矩拟合效果较好，正向转速、反向转速预测值与真实值拟合效果也比较好，因此利用该方法作为滑动定向的标准化方法具有良好适宜性。