国家电力调度控制中心 许洪强，蔡宇，万雄

《电网技术》，值得信赖的电力学术期刊

戳题目，看全文！

电网调控大数据平台体系架构及关键技术/许洪强，蔡宇，万雄，叶瑞丽，狄方春，李立新，宋旭日

01

研究背景

一方面以数字化技术和能源互联网理念为驱动的“数字新基建”对现有调度自动化系统的数字化转型提出了新的挑战大数据技术架构，另一方面随着以新能源为主体的新型电力系统建设开展，调度运行对扩展数据管理的范畴，以及提升数据深度应用支撑能力也提出了新的需求，需要考虑调控数据存储规模、数据加工复杂度和数据服务多样化的需求，设计电网调控大数据平台的体系架构及关键技术，发挥调控全景数据资源优势，实现调控业务精益管理。

02

体系架构

部署模式如图1所示，大数据平台遵循调控云总体架构设计，采用主导、协同节点两级广域分布式部署方式，实现大数据汇集、存储、分析和共享。从两级节点的角色区别看，主导节点还担负全网调控数据资产统一管理角色，协同节点则遵从调控数据资产管理要求。两级大数据平台通过资源高速同步网部署统一的运行数据服务以实现不同电压等级运行数据的透明共享，确保在主导节点和协同节点均能获取到全网全电压等级运行数据。

图1 电网调控大数据平台部署示意图

软件结构如图2所示，按照“存、通、用”的设计思路，结合调控运行和管理业务数据特点及应用需求，在Hadoop、MPP、图数据库等基础组件之上，从数据处理角度将大数据平台功能分为数据汇集、数据加工、数据服务三层，以及数据管理和数理方法等支撑功能。调控大数据平台存储管理的数据需要兼顾自动化运行数据、管理信息和市场交易数据特征，对应的系统功能兼具工业自动化系统、管理信息系统和金融系统的特性。大数据平台一方面实现电网海量数据的汇集与存储，实现物理分布、逻辑统一的数据管理；另一方面实现数据加工、数据分析挖掘等功能，将数据进行资产化，并通过数据服务的形式实现数据共享共用。

图2 电网调控大数据平台的体系架构

03

关键技术

（1）多源调控数据集成与融合技术

结合电力调度通用数据对象结构化设计方法，设计调控数据编码、多源数据汇集、多源数据质量和异构调控信息融合方法，解决海量调控数据标准化管理、数据全面汇集和数据共建共享问题。

针对调控数据大量来自终端设备采集和派生的特点，在电力调度通用数据对象ID编码的基础之上设计了一种调控数据组合编码方法，实现更为精细的调控数据建模。调控数据编码表示为四元组，其中对象类编码对应电力调度通用数据对象ID的4位“大类码”、“小类码”，对象编码对应电力调度通用数据对象的ID，数据管理机构代码对应电力调度通用数据对象结构化设计的数据管理机构代码，数据编码是8位全局唯一类型编码。典型的调控数据编码如表1所示。

表1 典型调控数据编码示例

考虑数据准确性和可靠性要求，大数据平台采用多源机制，针对重要一次设备的电力电量数据等由国网省多个源端系统采集及存储。运行数据源端部署于国调、网调、省调、地调以及外部系统接口端等，数据取自SCADA、OMS、TMR等等多类源端调控系统以及调控云上的各类业务应用。数据主要采用基于消息的多源数据分布式汇集方法，定义电力、电量、计划、预测、气象、告警、事件等各类数据的消息报文规范，并基于调控云广域消息总线完成分布式数据汇集。

为提升数据质量，依据数据的完整性、及时性、准确性等质量维度定制质量诊断方法，定量分析数据质量，并根据现有的问题和特征，预测未来的数据质量问题。完成全网多源数据处理、缺失值处理、异常值处理、合理值处理等数据清洗工作。针对多源的数据关联性或互补性特点，通过对多领域多源数据融合，挖掘出传统方法无法获得的知识。

（2）异构数据库分层统一存储技术

大数据平台采用异构数据库混合部署方案，如图3所示，形成软硬件分层解耦的混合存储模式，充分发挥各类数据库的技术优势，实现海量数据的全息存储与计算分析，提升平台整体的数据服务效率。

图3 异构数据库统一存储与访问

为实现存储在HBASE(分布式列数据库,hadoop database)、MPP（大规模并行数据库,massively parallel processing database）、RDB(关系数据库,relational database)、GDB（图数据库,graph database）中调控数据的透明访问，在服务接口层实现统一数据服务，数据服务基于后端管理的数仓目录元数据实现在线、离线数据异构存储访问的统一。数仓目录从物理层模型、电网对象模型、数据对象类型等3个维度，对数据库、数据表、表结构信息和调控数据编码等元数据信息进行统一管理，如图4所示。

图4 调控大数据多维存储模型示例

（3）面向调控对象的调控数据资产管理技术

数据作为资源，伴随着大数据时代支撑数据交换共享和数据服务应用的技术发展，不断积淀的数据才可以逐步发挥数据的价值。大数据平台引入数据资产管理机制，定义调控数据资产及分类原则，实现数据资产管理功能，以支持调控数据全域范围内准确规划、定义和共享。调控数据资产管理技术主要包括数据资产规划、数据资产目录以及数据资产价值评估等。数据资产规划对各类对象的数据资产进行规划管理，对数据资产类型和属性建模，规范定义数据的业务含义和物理含义，明确数据汇集来源范围，提升数据接入汇集、数据融合过程中的一致性。数据资产目录对各类调控对象的数据资产可视化展示，通过灵活便捷的数据统计查询，提高调控多源海量数据的访问效率，并通过数据血缘追踪数据的变化过程。数据资产价值评估从数据的热度、时效、质量和价值密度等多个维度评估管理数据的价值属性。

（4）面向业务分析的数理方法引擎

考虑电网一体化及各类业务数据分散分布的特点，针对多源异构数据在时间维度、空间维度、应用维度等的关联性，构建适用于电网调控运行的数理分析算法引擎，通过可视化、流程化的算法模式。数理分析算法引擎融合多类算法框架与编程语言，解决业务人员挖掘分析算法编程成本高、算法验证与比较过程复杂的问题，在工程应用过程中，减少数据挖掘分析验证与试错周期。

大数据平台已经在国调、天津、四川、冀北、湖南等调控云工程中示范应用，实现了上述关键技术的部署测试，已经开展并完成了35kV以上电网运行数据的汇集与融合，提升了海量运行数据的质量，提升了大数据分析加工能力，实现了运行数据共享服务。

04

后续研究方向或讨论话题

目前该平台在国网省调控中心进行试点建设，在调控数据全面汇集、数据质量持续提升、数据分析手段持续丰富、数据应用全面共建共享等方面取得突出成效。以调控大数据平台为基础，积极探索大数据技术在提升调度业务智能化水平潜在能力，从大电网安全管控、市场化运行、清洁能源消纳、源网荷储调度等调控核心业务场景开展大数据技术的实践与应用，是下一步需要重点研究的内容。

参 文 格 式

宋亚奇，周国亮，朱永利．智能电网大数据处理技术现状与挑战[J]．电网技术，2013，37(4)：927-935．

作者介绍

许洪强，教授级高级工程师，国家电力调度控制中心副主任、中国电机工程学会自动化专委会主任委员。长期从事电网调度自动化、调度运行管理、电力市场等工作，主持大电网智能调度等国家重点研发计划项目，组织调控云和新一代调度技术支持系统建设，实现了云计算、大数据、人工智能等技术在调控领域应用落地。发表SCI/EI检索论文30余篇。

蔡宇，博士，高级工程师，国家电力调度控制中心专责。主要从事电网调度自动化、电力市场等工作，曾获国家电网有限公司抗击新冠肺炎疫情先进个人、巾帼建功标兵等荣誉称号。获国网公司项目成果奖励3项，发表SCI/EI检索论文10余篇，参编著作4部。

万雄，高级工程师，国家电力调度控制中心专责，主要从事电网调度运行、电网调度自动化、专业运行管理等工作，参加调控云、新一代调度技术支持系统研发建设。获多项行业级科技成果奖励，发表SCI/EI检索论文10余篇。

叶瑞丽，高级工程师，中国电力科学研究院有限公司电力自动化研究所，主要从事电网调度自动化及大数据技术研究工作，参加多个调控云工程建设，发表SCI/EI检索论文10余篇。

狄方春，高级工程师，中国电力科学研究院有限公司电力自动化研究所副总工，中国电机工程学会电力系统自动化专业委员会“互联网+”电力系统自动化学科组委员。主要从事电网调度自动化、云计算及大数据技术研究工作，参加多个调控云工程建设，发表SCI/EI检索论文20余篇。

李立新，教授级高级工程师，中国电力科学研究院有限公司电力自动化研究所所长，电力调度自动化技术研究与系统评价北京市重点实验室主任，长期从事调度自动化领域的科研以及相关产品的设计、开发、完善和推广工作，发表SCI/EI检索论文30余篇。

宋旭日，高级工程师，中国电力科学研究院有限公司电力自动化研究所室主任，主要从事调控云、网络分析、培训仿真、大数据及人工智能在调控领域应用等研发工作，发表SCI/EI检索论文20余篇。

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!