电力调度SCADA系统中历史数据压缩及存储策略

电力调度SCADA系统中历史数据压缩及存储策略

耿睿岐

（国网通辽供电公司内蒙通辽028100）

摘要：随着电力系统规模的扩大，电网结构和容量也随之不断扩大，相应的电力调度需要采集的信息量也急剧增加；随着自动化、通信及计算机技术的飞速发展，极大的促进了国网、省市的各级电力系统调度中心的数据采集、分析和处理技术的发展，而高效的数据压缩技术可以使数据量减少，并提升数据利用的效率。数据经过压缩后，可以释放大量存储空间，存储更多的数据，而达到这一目标就需要采用合理的压缩策略。

关键词：电力调度；SCADA系统；历史数据压缩

随着电力运行自动化的发展，实时采集的数据量越来越大。海量的历史数据给网络和信息处理系统造成了极大的负担。高效的数据压缩技术可以减少数据量、提高数据使用率，对压缩数据采用合理的存储策略可以进一步降低数据存储空间、提高查询效率，因此采用高效的数据压缩算法及合理的压缩数据存储策略成为保证SCADA系统在海量数据下稳定、高效运行的有效途径。

一、SCADA系统及数据压缩

1、SCADA系统。SCADA即数据采集和监视控制系统，它是以计算机为基础，对生产过程进行调度与控制的自动化系统，广泛应用于电力、冶金、燃气、化工等领域，而在电力系统中应用最为广泛，同时技术也最为成熟。SCADA系统分硬件部分和软件部分：硬件部分可以分为两个层面，服务器及硬件通信设备，能够对数据进行处理及运算。硬件设备可以通过点到点的方式联接，也可以通过总线方式进行联接。软件方面，SCADA由多个功能模块组成，每个模块需要完成特定功能，数据采集工作主要由多个或者单一设备的服务器来完成。服务器可以相互通讯，也可以依据一定标准对其进行分类。对数据进行压缩通用是有损压缩的方法，而通用的数据压缩方法则可以将其分为三类：矢量量化、信号变换、分段线性法。第一代SCADA系统源于上世纪70年代，基于专用操作系统与计算机而设计，十年之后更新到第二代系统，基于通用计算机技术。第二代SCADA系统采用了通用工作站，而操作系统则采用的是UNIX系统。第三代系统出现于90年代，依据开放性原则，基于分布式计算机网络、数据库技术、通信部门依靠网络技术，管理部分则是与数据库技术相结合，控制系统利用的是单片机或者是小微型计算机。通过数据库存储大量数据，从而实现对数据进行挖掘分析。

2、数据压缩。数据压缩指的是通过一定的方法重新组织数据，用新表示方法来替代原有数据表示方法，对于原始信息表示利用更少的数码，使数据冗余得以减少，存储空间得以节约，而数据存储，传输及处理效率得到提升。数据可以进行压缩是由于其自身的特点所决定的，对于任何数据而言，都会存在一定冗余信息，而某一具体信息中，部分字符可能会多次出现，字符出现频率要高于其它字符出现频率。某些符号出现的位置总是可以预测的，对于这一类冗余数据就可以通过编码方式将其过滤。数据之间会存在一定关联性，比如对于图片而言，色彩可能是均匀的，声音信号也会存在一定规律，影像信号相邻两帧空图像是相同的。对于数据存在的关联性，可以通过转换将其去除，但是转换通常是不可逆的操作，并且会导致失真。数据压缩技术基本要求是保证信号质量，虽然压缩方法有许多，但是从大的方面来分，可分为无损与有损压缩。

二、历史数据库的特点

历史数据库特点体现在以下方面：一是自维护，系统从开始运行就会采集与存储数据，随着运行时间推移，历史库中数据会不断增加，但是历史库空间是有限的，因此需要确定哪些数据是需要存储的，哪一个时间段内的数据是需要存储的，从而将不需要存储的数据丢弃。二是存储介质，数据库内数据是依据一定规则存储于计算机内部，由于计算机内存读取速度会高于磁盘读写速度，系统可以快速对内存数据访问。受到存储容量与挥发性限制，计算机内部不适宜大规模存放数据。一般情况下，SCADA系统会将磁盘与内存结合到一起，依据时间标准将数据库划成若干单位，每一个单位在内存中都会对应设置记录，采集的数据存储于此记录中。当数据记录没有空间时就会将其压缩至磁盘，以此实现数据处理及时性及大规格数据存储要求。三是周期性，系统周期性采集实时数据，并将数据存储于数据库，这一过程是自动的并且不会受到其它事件或者是人员限制，在时间上体现周期性。四是访问关键字，根据历史数据库特点，时间是访问的关键字之一，而关键字则是系统自动进行标记的，数据库可以检索到历史数据并且完成对某个量在某时刻的访问。

三、SDT压缩算法简介

SDT压缩算法的基本原理在于通过平行四边形构造寻找关键数据，而将非关键数据丢弃，从而实现数据压缩的目的，而关键数据则是指能够代表数据流趋势的数据。电力系统运行过程会产生大量的冗余、不相关信息，剔除冗余信息并且保留过程特征信息，就能够达到数据压缩的目的。SDT压缩算法对于给定的数据规定允许的最大误差，找出最长直线趋势，算法的本质是通过由终点及起点确定的直线替代一系列数据，记录起点与终点，间隔数据。该方法优势在于简单高效，但是其缺点在于第一个关键数据被发现后，马上进行下一周期压缩，后面可能会存在其它关键点数据。该方法作为线性拟合算法，其特点体现在速度快，对于给定数据设置压缩精度，就可以找出最长直线趋势。该算法压缩偏移量是基于实际情况人为设定，与算法本身不存在关系。参数会对数据精度与压缩性能造成影响，如果偏移量选择过大，数据就可能会存在较大误差导致失真，而如果选择过小，压缩数据量就会增大，压缩比就会降低，因此需要对该方法进行改良，提出适合的策略，可以自适应对偏移量进行调整。

四、SCADA系统压缩数据存储策略

电力调度工作采样数据特点体现在数据采集点多，系统需要对各方面进行监控，因此导致数据信息采集点数量单规模大。数据信息采集频率高，为了解并掌握所有设备运行情况，数据采集频率会增大，通常是间隔几秒就进行一次采集工作。鉴于数据采集量巨大，而且其中某些采样点是动态采集，只有当数据出现变化时才会采集，可能在某一个时间数据变化量大，从而出现数据爆发式存储。数据变化频率低，由于具备较高的采集频率，对于特定数据而言，在正常情况下，数据不会出现较大变化，甚至是某些数据采样点长时间都不会出现数据变化。对电力调度工作数据采样存在的以上特点，系统应用三级存储体系来应对，并对压缩后的数据进行存储，包括历史数据库，实时数据库，磁盘文件库。存储对象是断面数据及高查询频率曲线数据，而历史数据库则主要是对压缩采样数据进行存储。电力系统监控数据主要存储于历史库，由于数据量巨大，由此会导致数据库性能降低。为解决此问题，SCADA系统应用动态归档技术，该技术应用后会对历史库中非活动数据库进行定期识别，并依据一定策略将其转移到其它存储空间，SCADA系统则会提供对活动与非活动数据一致性访问。SCADA系统中，数据预处理模块接收信息后，依据算法对数据进行处理压缩，并且将压缩后的数据交于历史服务器，完成这一环节工作需要通过数据总线，而历史服务器则将处理后的数据存储到数据库中。

SCADA系统在电力调度工作中应用十分广泛，并且在应用过程中，某些算法存在的不足也得到了改善。数据压缩可以通过判断斜率，最大平行四边形构造来实现。而数据存储则可以通过实时与历史数据库，磁盘文件库等三级存储来实现。实践已经证明SCADA系统在安全可靠性方面都能够满足工作需要。

参考文献：

[1]张斌，张东来，电力系统稳态数据参数化压缩算法[J]．中国电机工程学报，2013，31（1）：81．

[2]张景涛，王华，王宏安．实时数据的存储与压缩[J]．化工自动化及仪表，2013，30（3）：50．

[3]吕帅，刘光明，徐凯．海量信息分级存储数据迁徙策略研究[J]．计算机工程与科学，2012，31（A1）：7．