一种基于关系型数据库的灾备数据管理平台的设计与实现

一种基于关系型数据库的灾备数据管理平台的设计与实现

缪骞云 1 刘硕 1

1.南瑞集团有限公司（国网电力科学研究院），南京 210000

摘要：信息灾备系统数据质量是灾备系统建设成功与否的标志之一。信息灾备系统中数据的完整性、可用性直接决定了灾备系统的建设质量。本文设计了一种新的基于关系型数据库的灾备数据管理平台，使用该平台后，实际情况下数据完整性和一致性有了较大的提高。

关键词:灾备系统；数据质量；管理平台；软件测试

1.引言

发生在美国的世界贸易组织大楼恐怖袭击事件使国际社会认识到信息灾难防范保护的重要性。常见信息系统多采用ORACEL、DB2等基于关系型的数据库进行数据管理，多数灾备系统存在复制对象缺乏标准化、不支持结构复制对象的管理、灾备系统的日常运行管理等问题，因此开展基于关系型数据库灾备数据的校验平台（以下简称“灾备数据管理平台”）设计开发工作迫在眉睫。

2.架构设计

2.1设计分析

灾备数据管理平台总体功能由展现层、控制层、业务层、数据层、数据层五部分组成。表示层用于人机交互，表示层通过JSP+flex实现，其中flex技术可以实现更多的界面显示特效，改善用户体验。控制层的作用是struts2中的操作承担控制层的任务，控制层由技术平台进一步封装。数据层用于访问数据库并完成数据访问操作^[1]。一些功能需要较高的数据读取效率，本架构采用Oracle进行数据存储、收集和转换^[5]。如图2-1所示。

图2-1灾备数据管理平台总体架构

2.2设计原则

通过数据管理平台的开发与应用，实现灾备复制对象库的建设，标准库对象检查校验与管理、生产端与灾备端灾备数据一致性比对与验证，强化灾备系统运行管理，提升灾备系统运行水平与实施化水平。

（1）复制对象标准化

分析各信息系统的应用级容灾，利用数据管理平台建立和管理各系统的标准库，确保标准库的实时性。实现复制对象标准化确保现有数据库复制软件数据的完整性。它可以支持每个信息系统，以便在发生故障时启用灾难恢复系统。

（2）复制对象可验证

对于各类信息系统需要使用数据库复制软件复制的对象，可以通过数据管理平台验证其有效性，完整性。

3.关键技术

3.1调度执行功能

调度执行功能可以设置任务的调度时间，分为三个字段：日、月和年。时间设置完成后，执行队列设置从任务表格中取出数据，然后以增量的方式更新任务内容。

3.2复制软件监控数据采集功能

作为灾备系统的管理软件，因为收集数据的服务器有多台，将一套业务系统对应的生产复制软件服务器和灾备复制软件服务器视为一组，同一组复制软件的数据采集由一个任务负责，同时可并发多个采集服务进行数据处理。

3.3数据比对功能

数据比对服务从任务队列中收取数据比对任务，在数据比对任务中得到需要比对的生产库与灾备库的IP地址、端口、服务名、数据库用户、数据库密码信息，数据比对服务使用这些基本信息通过jdbc连接取得生产库和灾备库的数据。数据比对服务比对用户，表，同义词，主键，索引，触发器，外键，级联约束，物化视图，存储过程，压缩表，这11个对象类型的数据将不一致的数据保存到管理库中。

3.4日常巡检功能

数据比对服务从任务队列中收取数据比对任务，在数据比对任务中得到需要比对的生产库与灾备库的IP地址、端口、服务名、数据库用户、数据库密码信息，数据比对服务使用这些基本信息通过jdbc连接取得生产库和灾备库的数据。数据比对服务比对用户，表，同义词，主键，索引，触发器，外键，级联约束，物化视图，存储过程，压缩表，这11个对象类型的数据将不一致的数据保存到管理库中。逻辑图如图3-2所示。

3.5灾备演练考核评价管理模块功能

为了使常态演练监督评价工作更效率、更规范、更合理，在灾备数据管理平台开发模块中，需要建立灾备演练考核评价管理模块。该模块主要包括：常态演练规范流程及必须资料模版；演练评价考核模版。并利用这一模块，对各系统的演练工作进行监督、记录以及考核评分。通过灾备演练考核评价管理模块，客观全面的评价各系统灾备实用化水平，查找问题、总结经验，提出专业意见和建议，提高灾备数据质量，进行优化消缺。

3.6灾难恢复计划管理功能

目前大部分灾备系统的流程流转都采用手动与人工的方式进行，自动化程度低，流程管控能力与人工干预能力较弱。

3.7对多云环境的支持功能

随着云环境的快速推进，为了支撑云环境下的灾备的切换与其它应用，部署了多种灾备支撑工具与平台，包括灾备监控工具、灾备切换软件、云资源调度软件、灾备导航软件等，这些软件相互间关联程度高，相互影响，其中任何一部分的变更都会对其他的支撑工具软件造成影响，甚至可能造成灾备切换的不可用。该软件可以对缺少统一的灾备管理平台进行贯通与集成，提供灾备支撑工具的联动性变更管理，提升灾备工具的可用性与自动化程度。

4.软件功能

灾备系统数据管理平台：包括灾备运行、标准库、数据验证、日常巡检、基础信息、调度任务、日志管理七个模块。

灾备运行：主要用于显示灾备系统的运行状态，包括复制对象一致性、非计划中断时长、配置参数规范性、灾备检修规范性、非计划修复不规范次数。

标准库：标准库模块包括了标准库的维护，标准库对象的维护，标准库比对任务执行，标准库比对结果查询功能^[3]。

数据验证：数据验证模块包括了数据一致性比对任务执行，数据一致性比对结果查询功能^[1]。

日常巡检：日常巡检模块包括了日常巡检结果查询，日常巡检内容维护功能^[2]。

基础信息：基础信息包括了角色信息维护，用户信息维护，业务系统信息维护，主机信息维护，数据库信息维护，复制组信息维护功能^[4]。

调度任务：调度任务模块包括了调度任务维护、调度任务立即执行、调度任务执行查询，调度任务执行控制（任务终止，任务删除等），比对任务进程等功能^[4]。

日志管理：日志管理模块包括了模块操作日志、数据采集日志功能^[3]。

5.软件测试

利用业界常见的loadrunner软件从两个维度对软件在系统现实运行情况下举行测试，测试成果以下文所示。

5.1响应时间测试结果

用户登录响应时间测试

普通查询类响应时间测试

普通修改类响应时间测试

普通删除类响应时间测试

普通新增类响应时间测试

数据导入响应时间测试

数据导出响应时间测试

5.2吞吐量测试结果

用户登录吞吐量测试

普通查询类吞吐量测试

普通修改类吞吐量测试

普通删除类吐量测试

普通新增类吞吐量测试

输入导入吞吐量测试

数据导出吞吐量测试

6.总结

通过数据管理平台的开发与应用，实现灾备复制对象标准库的建设，标准库对象检查校验与管理生产端与灾备端灾备数据一致性比对与验证，保证数据一致性对于不一致的数据能够及时发现及时更正。确保灾难恢复系统的数据一致、完整和可用是灾难恢复系统在生产系统发生灾难时提供可靠服务的基础。通过使用日常检查功能，提高了灾备系统的日常管理效率，提高了灾备系统的运行水平和实施水平。数据管理平台GoldenGate进程参数配置规范性检查功能，检查灾备实施的规范性，提升灾备实施的整体水平。数据管理平台的建设能够及时掌握各个系统的灾备情况，同时对生产端的问题可以及时提出整改需求，并且保障灾备系统可用。

7.参考文献

[1]MatthewHart,ScottJesse.HighAvailabilitywithRACFlashback&DataGuard[M].McGraw-Hill/Osborne&copy,2004.

[2]林新宇,福建海事局数据集中存储及异地灾备系统的设计和实现[J],信息与电脑,2011(2)

[3]张晶.浅谈远程灾备系统的搭建与实现[J]铁道建筑技术2011(4)

[4]俞凯晟.GoldenGate软件在数据迁移中的应用[J]开发应用,2012(4)

[5]盛玮琦.基于OracleDataguard的数据灾备技术[J]信息系统工程,2010.6.20.