一种井场数据转换与同步方法与流程

1.本发明涉及石油井场数据同步技术领域，特别是涉及一种井场数据转换与同步方法。


背景技术：

2.石油井场是指经过勘探发现储油区块 , 指利用专用设备和技术，在预先选定的地表位置处，向下或一侧钻出一定直径的圆柱孔眼，并钻达地下油气层的工作。
3.为减少钻井成本，提高效益，当前石油行业正积极开展井场数字化建设。目前，几大钻探公司已实现钻井、录井、固井等现场数据的实时采集与监控。为保证稳定性，该数据大多存储在可实时备份的大型数据库中，且施工井的数据更以每五秒一行的频率快速增加。
4.现有技术下的井场数据转换与同步方法有着（1）、采集的井场数据只能监控，无法实时同步到专业钻录井软件中，无法保障随钻分析与快速调整施工方案，需提高专家资源的利用率。（2）、数据量庞大。单井每日产生一万余行数据，一月则产生四十余万行。如果某口井钻时半年，则会产生两百万行以上数据，这对数据同步的稳定运行提出了相当大的考验。（3）兼容性难题。数据库结构差异大、数据存储分散，接口适配耗时较长，且维护成本会较高。


技术实现要素：

5.本发明的目的在于提供一种井场数据转换与同步方法，解决上述背景技术中的问题。
6.为解决上述技术问题，本发明是通过以下技术方案实现的：本发明为一种井场数据转换与同步方法，包括以下步骤：s1、数据读取：根据同步软件反馈的井场数据，进入数据读取阶段，并传输数据，实时读取数据；s2、数据转换：将上述数据转换成witsml标准格式，witsml服务器解析请求参数，witsml服务器根据面向对象的思想将witsml标准格式的数据抽象成了基本的类模板；其中，这样极大地提高了转换性能，增大了数据的完整性以及服务的稳定性，对于后续witsml更高版本的支持只需要更新模板即可，同时数据量大时转换性能依旧稳定，对计算机硬件要求低，4g内存的电脑即可平稳无压力运行该服务。
7.s3、数据传输：将上述数据传输至服务器，服务器采用的是基于无状态的http封装后的soap+xml的通用通信协议；其中，soap+xml的通用通信协议，兼容性好，传输性能稳定。
8.s4、数据同步：
服务器的数据同步系统包含两个以上数据集群以及一个中心节点，每个所述数据集群内包含一个一级数据节点以及至少一个二级数据节点，所述中心节点接收所述一级数据节点发送的待同步数据，并提取所述待同步数据对应的数据特征信息，其中，所述待同步数据由所述二级数据节点所下联的用户终端经由所述二级数据节点发送至所述一级数据节点；s5、数据查询：在服务器中，首先对数据进行写入，然后能对数据进行查询。
9.优选的，所述数据传输以增量查询的方式返回；本实施例中，对于几百万行的数据而言就可以分批次进行传输，而且此传输方式更加贴合钻井作业持续时间长、增量数据多的特点，增量查询，返回小范围内数据可节省大量带宽，确保其他通信设备的正常通信，服务启动后根据配置的数据库链接信息自动建立数据库表与井间的路由规则，屏蔽数据库间差异。
10.优选的，所述数据转换中，根据面向对象的需求,witsml服务器将witsml标准格式的数据抽象成基本的类模板。
11.所述数据查询中，查询参数自动录入到数据库表，根据增量查询获取区间值优选的，所述服务器对于已查询出的数据，服务器不做缓存处理。
12.优选的，所述数据查询，在数据查询过程中遇到中断，则会自动结束此次请求，已查询的数据在内存中会被自动回收。
13.优选的，所述数据传输，若发生断网，服务器根据soap+xml的通用通信协议，客户端再次请求时只需要携带和断网前相同的请求参数，能再次获取上次请求的数据。
14.优选的，所述数据查询，若断网，服务器根据soap+xml的通用通信协议，默认回滚此次写入操作，进而保证数据库数据的完整性。
15.本发明具有以下有益效果：1、本发明根据面向对象的思想将witsml规范转抽象成了基本的类模板，这样极大的提高了转换性能，增大了数据的完整行以及服务的稳定性，对于后续witsml更高版本的支持只需要更新模板即可，同时数据量大时转换性能依旧稳定，对计算机硬件要求低，4g内存的电脑即可平稳无压力运行该服务，由于数据是增量范围查询且转换过程性能稳定，几乎无衰减，所以对于已查询出的数据，服务不做缓存处理，这样避免了磁盘的占用，将系统开销进一步降低。
16.2、本发明传输数据默认以增量查询的方式返回，这样对于几百万行的数据而言就可以分批次进行传输，而且此传输方式更加贴合钻井作业持续时间长、增量数据多的特点。数据传输协议采用soap+xml的通用通信协议，兼容性好，传输性能稳定。
附图说明
17.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明中一种井场数据转换与同步方法的技术框架图；图2为本发明中s1中数据读取技术框图；
图3为本发明中s2中数据转换技术框图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
20.在本发明的描述中，需要理解的是，术语“上”、“中”、“外”、“内”等指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。
21.请参阅图1～3所示，本实施列一种井场数据转换与同步方法，包括以下步骤：s1、数据读取：根据同步软件反馈的井场数据，进入数据读取阶段，并传输数据，实时读取数据；s2、数据转换：将上述数据转换成witsml标准格式；本实施例中，这样极大地提高了转换性能，增大了数据的完整性以及服务的稳定性，对于后续witsml更高版本的支持只需要更新模板即可，同时数据量大时转换性能依旧稳定，对计算机硬件要求低，4g内存的电脑即可平稳无压力运行该服务。
22.s3、数据传输：将上述数据传输至服务器，服务器采用的是基于无状态的http封装后的soap+xml的通用通信协议；本实施例中，soap+xml的通用通信协议，兼容性好，传输性能稳定。
23.s4、数据同步：服务器的数据同步系统包含两个以上数据集群以及一个中心节点，每个数据集群内包含一个一级数据节点以及至少一个二级数据节点，中心节点接收一级数据节点发送的待同步数据，并提取待同步数据对应的数据特征信息，其中，待同步数据由所述二级数据节点所下联的用户终端经由所述二级数据节点发送至所述一级数据节点；s4、数据查询：在服务器中，首先对数据进行写入，然后能对数据进行查询。
24.数据传输以增量查询的方式返回；本实施例中，对于几百万行的数据而言就可以分批次进行传输，而且此传输方式更加贴合钻井作业持续时间长、增量数据多的特点，增量查询，返回小范围内数据可节省大量带宽，确保其他通信设备的正常通信，服务启动后根据配置的数据库链接信息自动建立数据库表与井间的路由规则，屏蔽数据库间差异。
25.数据转换中，根据面向对象的需求,witsml服务器将witsml标准格式的数据抽象成基本的类模板。
26.服务器对于已查询出的数据，服务器不做缓存处理。
27.数据查询，在数据查询过程中遇到中断，则会自动结束此次请求，已查询的数据在内存中会被自动回收。
28.数据传输，若发生断网，服务器根据soap+xml的通用通信协议，此时客户端再次请求时只需要携带和断网前相同的请求参数，能再次获取上次请求的数据。
29.数据查询，若断网，服务器根据soap+xml的通用通信协议，默认回滚此次写入操作，进而保证数据库数据的完整性。
30.本实施例中，由于数据是增量范围查询且转换过程性能稳定，几乎无衰减，所以对于已查询出的数据，服务不做缓存处理，这样避免了磁盘的占用，将系统开销进一步降低。
31.针对数百万行，在实际传输过程中难免出现网络抖动甚至在恶劣自然条件下的信号中断导致的断网问题，由于服务采用的是基于无状态的http封装后的soap+xml协议，可以很好的解决此问题。针对数据查询，如果在数据查询过程中遇到中断，则会自动结束此次请求，已查询的数据在内存中会被自动回收。如果在数据回传阶段发生断网，此时客户端再次请求时只需要携带和断网前相同的请求参数，即可再次获取上次请求的数据。针对数据写入，如果断网，服务的事务机制则默认回滚此次写入操作，进而保证数据库数据的完整性。
32.维护简单：基于web页面管理服务器软件，无需单独安装客户端；支持web页面的钻录井数据图表浏览；数据多样：支持井口、轨迹、套管、钻具、钻井、录井、固井等等数据的同步；数据来源可以是井场设备，也可以是专业数据库；同步稳定、效率高：支持数十口井的流畅同步，同步频率默认60秒每次；稳定性强，且可支持断点续传；单井数据量支持百万行；支持主流软件：支持主流石油工程软件，如 landmark edt 的 wellplan和compass软件、贝克休斯的应力模拟软件gmi、斯伦贝谢的测井软件 techlog等。
33.在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
34.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。