胡露露 张亮 李伟 胡琳 符颖东

摘要:长期以来,南海西部石油研究院科研硬件尤其是存储主要由国外品牌提供服务,核心地球物理业务使用的地学软件同样为国外品牌。随着国际竞争环境日益激烈,企业对核心技术自主可控的意愿急迫,国产化替换需求不断增强。南海西部石油研究院在新科研环境组建过程中,实现粤西地区能源领域首个数据中心硬件100%国产化工程,尤其是科研硬件存储实现国产自主可控。另外在地学软件方面,积极与国内软件厂商合作,推动国产地学软件成功应用。在此基础上,为保证科研核心数据的绝对安全,创新完成了基于国产存储模式下的国产地学软件数据容灾建设,实现了同构存储的近线容灾、异构存储的同城容灾及异地容灾,保障科研生产数据安全。

关键词:地学软件;同构存储;异构存储;数据容灾;国产化

中图分类号:ET19        文献标识码:A

文章编号:1009-3044(2024)07-0064-03

开放科学(资源服务)标识码(OSID)

在不断追求核心技术自主可控的背景下,南海西部石油研究院(以下简称研究院)数据中心新建时采用全国产化硬件架构,完成数据中心的搭建,同时也积极探索国产地学软件GeoEast,积极推进地震解释平台自主可控。科研软件与数据是开展科研工作的重要前提,勘探开发的研究离不开分析软件和数据支持,因此在国产软硬件的基础上,对地学软件数据容灾建设进行了探索研究,以保障科研数据的安全性[1-2],为勘探开发科研生产的正常开展保驾护航。

1 国产化软硬件存储架构

1.1 国产化软硬件存储架构

长期以来,研究院硬件尤其是存储主要由国外品牌构成。然而随着国际竞争环境日益激烈,争端所引发的“卡脖子”事件频发,对科研应用造成了一定影响。面对如此特殊的大环境,研究院科研硬件环境实现自主可控的重要性不言而喻。

针对科研硬件国产化占比较低的问题,研究院在新科研环境建设的过程中,充分与国内知名硬件厂商开展合作,对国产硬件品牌进行了探索研究,使得数据中心在建成时关键核心硬件达到了100%国产化。最后根据实际的数据类型与应用需求配置了不同的存储,其中选择Ocean Store 6800用来存储核心生产数据,选择Ocean Store 5310用来近线容灾,存储100%国产化为数据安全提供了有力保障。

1.2 国产地学软件应用

研究院目前主要使用的地学软件均为国外引进,存在技术支持中断和供应停止的风险。因此,急需一款功能强大、自主性高的国产地学软件,以逐步替换国外地学软件。经过深入的市场调研和前期功能应用测试,我们选择了GeoEast作为国产软件进行推广应用。

GeoEast是一款集构造解释、储层预测、油气检测、地质分析于一体的综合地震资料解释系统。在功能性上,它能够较为完整地替代当前的国外地学软件。因此,我们决定开展对国产地学软件GeoEast的推广应用工作[3-4]。在完成数据迁移后,为确保科研工作的正常开展与数据的安全性,我们开展了软件数据容灾建设的相关研究。鉴于GeoEast数据存储结构的复杂性,以及研究院尚未在全国产生产存储上部署数据容灾的实际情况,研究并探索了两种容灾部署方案。首先,我们在国产存储上部署了软件、工区数据以及其他关键数据的存储灾备系统。其次,针对结构化的数据库相关数据,我们编写了定时备份脚本,以实现数据库热备系统的部署。

2 国产地学软件数据容灾建设

数据容灾不仅仅是简单的数据备份,而是将存储系统、备份系统和容灾技术有机结合,构建成一个一体化的数据容灾系统,以提升灾难后的数据恢复能力。这一系统主要针对以下三种情况:由人为原因、软件故障和硬件故障导致的数据全部或部分丢失;因工作需要而对历史数据的恢复;以及因灾难性事件(如火灾、地震、环境、电力等)引发的本地数据损坏[5-6]。在建设这一系统时,我们的基本思路是:前两种情况可通过本地备份进行快速恢复,而最后一种情况则需要从异地远程容灾点进行恢复。本地备份可分为近线容灾和同城容灾,本文将详细介绍本地备份的相关内容。

2.1 同构存储模式下的近线容灾建设

根据实际应用需求,考虑兼容性问题,近线容灾存储选择与生产存储同品牌的存储。国产存储进行数据容灾建设面临以下两个问题:第一是国产存储与之前的存储相比数据服务和管理功能存在差异,文件系统和管理架构也不同,需进行相应数据管理模式设计;第二是备份策略没有经验可借鉴,需要测试不同类型的数据,并结合应用需求和存储系统架构来制定数据备份策略。

数据备份的难点主要在于数据库的备份,为了保障科研生产的连续性,对数据库热备方式进行了研究。GeoEast软件的底层数据库是PostgreSQL数据库,PostgreSQL数据库的热备方式主要有以下几种方式:1) pg_dump是PostgreSQL自带的一个备份工具,可以用于备份整个数据库或者某个特定的模式。并且可以创建SQL脚本文件,包含还原整个数据库或者特定模式的命令,便于数据库恢复。2) pg_basebackup是PostgreSQL的另一种热备工具,可以用来创建物理备份文件,在数据库运行时,对数据文件和归档文件进行备份,且备份文件可以直接存储在网络存储设备上。3) Barman是一个开源的PostgreSQL热备份工具,支持全备份和增量备份,支持在远程服务器上执行备份操作,支持跨版本还原数据。基于现有GeoEast软件应用情况以及需求,对pg_basebackup热备方式进行了研究,pg_basebackup通过流式备份对所有必要的数据文件进行备份,其采用 PostgreSQL 的 Write-Ahead Logging(WAL) 机制,保证了数据备份的一致性和可恢复性。

因此基于科研生产实际需求,研发基于国产存储的地学软件GeoEast数据库热备功能,编写数据库热备脚本并定时执行,如图1所示,完成生产存储至近线存储的数据库自动热备。对于软件和工区数据则利用同构存储间的远程复制功能进行数据备份,并定制策略定期对数据进行增量备份[7-9],实现科研生产不间断的数据应用保护。

2.2 异构存储模式下的同城容灾建设

在实现近线容灾的基础上,为进一步保障数据的安全性,开展同城容灾工作。考虑到高可用性和容错性,同城容灾存储选择与生产存储不同品牌的存储。异构存储间数据容灾可以通过多地点复制、云备份和恢复以及异构存储管理软件等方式进行。由于异构存储管理软件能够集中管理,提供统一的管理界面,可以管理不同厂商的存储设备,易于对科研数据进行备份、恢复和迁移等操作,提高了管理效率;异构存储管理软件能够实现对异构数据的兼容管理,支持多种数据协议,易于备份各种协议的科研数据;异构存储管理软件有良好的可扩展性和灵活性,可以随着业务的发展而扩展数据备份的规模,支持各种类型的数据容灾需求。

英方软件具备全量备份和增量备份功能,以满足不同应用需求;它能够在不同平台间进行数据复制,实现异构模式下的数据备份;同时支持自动同步和手动同步,应用灵活;此外,它还具备日志分析功能,通过分析源数据库的日志文件,能够识别并解决同步过程中可能遇到的问题或错误。因此,我们最终选择英方软件作为同城容灾数据备份软件[10]。我们搭建了2台虚拟机,分别作为英方软件的管理节点和数据容灾节点,并针对GeoEast数据的特点制定了同步计划。通过对数据进行全备份和增量备份,并结合应用动态工作日限额传输流量,我们确保了日常生产应用的正常运行,并成功完成了GeoEast软件数据的同城容灾工作。

2.3 数据备份策略

为保障数据备份的高可用性,结合存储快照功能,制定数据备份策略,如表1所示,确保能够恢复不同时间节点的数据,以此应对不同的业务需求。

2.4 数据恢复演练

定期对数据进行恢复演练是数据容灾工作中至关重要的一环,其主要作用体现在以下几点:首先,它可以验证备份作业的正常运行,确保备份数据的正确性和完整性,从而确保在需要恢复数据时能够顺利进行;其次,通过定期演练,可以提升数据管理人员在数据恢复方面的专业技能,确保在紧急情况下能够迅速、准确地完成数据恢复工作;最后,它还可以帮助我们发现并解决数据容灾过程中存在的问题和不足,从而进一步提升数据安全管理水平。通过定期的数据恢复演练,我们能够检验数据的可用性,提升数据安全水平,确保生产业务的连续性,并在最大程度上减少因数据丢失等可能造成的损失。

2.5 软件数据容灾实际应用

软件数据容灾建设为科研安全生产提供了有力保障,有科研人员在使用GeoSast工区时,不小心删除了某层位数据,通过数据恢复,半个小时内就完成了数据恢复,如图2所示。

3 结束语

本文通过对国产地学软件数据容灾建设进行研究,取得了以下三点技术创新:

1) 创新研发基于国产存储的数据库定时备份系统,实现国产地学软件数据库与工区数据近40TB数据量的生产不间断热备功能。

2) 从零出发探索国产同构、异构存储的数据容灾建设,完成科研数据的近线、同城、异地的三级容灾备份,满足中海油集团公司科研数据“六地两中心”架构要求。

3) 运用连续数据保护与数据副本管理技术,探索实现科研数据的价值备份,在保证关键数据可靠恢复的基础上减少不必要的数据冗余。

研究院投资建设的国产化勘探开发数据容灾系统,采用近线、同城和异地容灾三级备份,保障了勘探开发数据安全,若面临突发事故导致生产存储设备无法使用,能在一小时内快速恢复科研生产。另外,基于国产存储的国产地学软件热备份的功能实现为国产地学软件的推广应用奠定了基础,同时为其他国产地学软件转型提供借鉴,提升了科研软件国产化率。

参考文献:

[1] 刘素军,杨国颖,山青青,等.数据灾备与恢复系统在校园网络安全中的应用探究[J].电脑知识与技术,2023,19(10):108-110.

[2] 布英塔.基于高校大数据同城双活数据中心容灾备份建设思考[J].电脑知识与技术,2023,19(21):61-62,66.

[3] 孙成田,朱宗良,周在华,等.应用GeoEast解释系统综合评价鄂尔多斯盆地环庆区块有利勘探目标[J].石油地球物理勘探,2022,57(S2):110-115,229.

[4] 姜传金,戴世立,陈鸿安,等.GeoEast地震数据管理与解释技术在松辽盆地中央古隆起带基底勘探中的应用[J].石油地球物理勘探,2022,57(S2):160-167,232.

[5] 付向艳,蒲伟华,甘霖.统一容灾备份技术在高校数据安全中的应用[J].吉林大学学报(信息科学版),2019,37(6):664-670.

[6] 傅扬,张舵,王彬.数据容灾备份与恢复的关键技术和运用研究[J].无线互联科技,2022,19(23):103-105.

[7] 何静.数据中心的备份与容灾[J].计算机与网络,2018,44(17):57.

[8] 赵明.灾备建设中的数据同步技术应用及选型方案[J].电子技术与软件工程,2019(17):175-176.

[9] 王琦.异地数据存储备份与容灾系统建设与实践[J].网络安全技术与应用,2020(6):81-82.

[10] 黄亮.英方软件发布新品Data+为用户提供个性化服务[J].计算机与网络,2020,46(20):74-75.

【通联编辑:代影】