基于云计算技术的电力大数据预处理属性约简方法_曲朝阳
第３８卷 第８期２０１４年４月２５
日Ｖｏｌ．３８ Ｎｏ．８
Ａｒ．２５，２０１４ｐ
：／ＤＯＩ１０．７５００ＡＥＰＳ２０１３０６０１００１
基于云计算技术的电力大数据预处理属性约简方法
曲朝阳，陈 帅，杨 帆，朱 莉
（）东北电力大学信息工程学院，吉林省吉林市１３２０１２
摘要：针对大数据时代下电网数据体量大、类型多、速度快的特点，传统的属性约简方法已经无法
完成对电力大数据的预处理，为此提出一种基于云计算技术的电力大数据预处理属性约简方法。该方法剖析了粗糙集中相对正域理论的特性，利用ＭａＲｅｄｕｃｅ模型设计了可以并行计算正域中元ｐ素个数的属性约简算法ＭＰ＿在ＨＰＯＳＲＳ。最后，ａｄｏｏｐ平台上对电网故障诊断表和风电实测数据进行属性约简，实验结果表明，该方法有效可行，并具有较好的加速比和可扩展性，适用于电力大数据预处理属性约简。
；粗糙集；属性约简关键词：电力大数据；ＭａＲｅｄｕｃｅｐ
０ 引言
随着电力大数据时代的来临，电力企业信息化与智能电力系统的建成将使电力数据的体量以前所
未有的速度增长；电力大数据应用中，对行业内外诸如能源、天气等数据的关联分析都将直接导致电力数据类型的增加；电力大数据实时处理的特征使其
１］
。有效利用软分析的速度要求更高［对数据处理、
降低投入，节约成本，及时地从数据海洋硬件资源，
济，而系统中新节点的加入将导致重新组织数据库
以均衡负载，这些都使关系数据库（并行数据库）的但系统的扩展性是扩展性遇到了前所未有的障碍，
９］
，大数据分析的重要前提［所以基于关系数据库技术的属性约简方法无法胜任电力大数据处理的要
求。
电力云为有效利用软硬件资源、处理海量增长的电力数据提供了新途径。云计算技术之一的ＭａＲｅｄｕｃｅ是Ｇｏｏｌｅ提出的一种并行编程模型，ｐｇ
可以实现大规模数据集的并行处理。
本文深入研究了Ｍ对粗糙ａＲｅｄｕｃｅ编程模型，ｐ集相对正域理论及现有的知识约简算法进行剖析，利用相对正域的性质，给出了电力大数据预处理属性约简中的相关定义和定理，结合ＭａＲｅｄｕｃｅ模型ｐ
设计了并行计算电力大数据集相对正域势的算法
并利用ＨＭＰ＿ＰＯＳＲＳ，ａｄｏｏｐ平台实现了云环境下的电力大数据预处理属性约简算法。实验结果表
明，该算法不仅能够高效地进行电力大数据集属性约简计算，而且具有较好的可扩展性。
，中挖掘出知识“金块”使工作人员获得有效的电网
管控决策的高层次知识，是大数据时代电网管控的一个重要难题。解决上述难题的有效途径之一是对电力大数据进行预处理，包括数据清洗、集成、转换与约简。
在实际电网数据分析中，影响最终决策目标的
找出这些决定性因素对降低数因素可能并非全部，
提高数据分析效率具有重要作用，如文据处理规模，
］献［中使用经典粗糙集理论约简出影响风速的关２键属性，并在风速预测中取得了良好的效果。传统的数据约简算法虽然在降低时间复杂度、提高效率
］３６－
，方面取得了显著效果［但是，这些属性约简算法
均假设所有数据一次性装入内存中，显然无法处理
１ 电力知识表达系统相关定义及定理
定义１ 设电力决策信息表Ｓ＝（为Ｕ，Ａ，Ｖ，ｆ）
一个电力知识表达系统，其中Ｕ为对象集合，Ａ＝Ｃ
电力大数据。文献［中的基于传统关系数据库７８］－技术的属性约简方法在处理小规模属性约简问题时
表现出了良好的时间性能，但是这些方法可处理的数据规模和时效均受到硬件的严重制约。通过增加或更换Ｃ内存、硬盘等纵向扩展方式十分不经ＰＵ、
Ｃ为条件属性集，Ｄ为决策属性集，Ｖ为属性∪Ｄ，
值集合，其指定每个对象的属性值。ｆ为信息函数，
定义２ 令Ｐ，ＱＡ，Ｐ∩Ｑ＝，Ｑ的Ｐ正域（，即ｐ相对正域）记为ｐＱ）Ｑ）＝ｏｓｏｓＰ（Ｐ（ＰＸ，Ｑ的Ｐ正域是Ｕ中所有根据分类Ｕ／Ｐ∪Ｘ∈Ｕ／Ｑ
－
；修回日期：。收稿日期：２０１３０６０１２０１４０１１４－－－－）。国家自然科学基金资助项目（５１０７７０１０，５１２７７０２３
的信息可以准确地划分到关系Ｑ的等价类中去的
（）对象集合。Ｃ表示Ｑ的Ｐ正域中包ｏｕｎｔｏｓＱ）ｐＰ（
—６７—
（）２０１４，３８８
含的元素个数，也称为Ｑ的Ｐ正域的势。定义３ 令Ｐ，如果ＱＡ，Ｐ∩Ｑ＝，ｒ∈Ｐ，，则称ｒ为Ｐ中Ｑ不必要的，｝（ｏｓＱ）＝ｐｏｓＱ）ｐＰ（Ｐ－｛ｒ
否则ｒ为Ｐ中Ｑ必要的。Ｐ中所有Ｑ必要的属性
。构成的集合称为Ｐ的Ｑ核，记为ｃｏｒｅＰ）Ｑ（
定义４ 令Ｐ，任意的ＱＡ，Ｐ∩Ｑ＝，都是Ｐ中Ｑ必要的，称Ｐ为Ｑ独立的。若ａ（ａ∈Ｐ）
，有ｐ则Ｐ的Ｑ独立子集ＲＰ，Ｑ）＝ｐｏｓＱ）ｏｓＲ（Ｐ（
称Ｒ为Ｐ的Ｑ约简。
定义５ 令Ｐ，对任意ＱＡ，Ｐ∩Ｑ＝，ＥＰ，的ｒ∈Ｐ，属性ｒ相对于Ｅ的重要性定义为：
）（ｏｓＱ）Ｅ（（）Ｉｍｐｒ＝１－Ｃ（）｝（ｏｕｎｔＱ）ｏｓｐＥ∪｛ｒ（）为Ｃ｝（ｏｓＩｍｒ）ｏｕｎｔＱ） 由此定义易知，ｐｐ（Ｅ∪｛ｒ
上的单调递增函数。
定理１ 设Ｓ＝（为一个电力知识表Ｕ，Ａ，Ｖ，ｆ）达系统，ｏｓＰ，ＱＡ，Ｐ∩Ｑ＝，ＲＰ，Ｑ）＝ｐＲ（
）＝ｏｓｏｓＱ）的充要条件是：Ｃｏｕｎｔ（Ｑ）ｐｐＰ（Ｒ（
（）。ｏｓＣｏｕｎｔＱ）ｐＰ（
必要性证明：由ｐ可知，ｏｓＱ）＝ｐｏｓＱ）Ｑ的Ｒ（Ｐ（
（）则ＣＲ正域与Ｑ的Ｐ正域相同，ｏｕｎｔＱ）＝ｏｓｐＲ（
（）。ＣｏｕｎｔｏｓＱ）ｐＰ（
充分性证明：利用反证法，假设ｐｏｓＱ）≠Ｒ（
，由ＲＰ及定义３易知，Ｑ）Ｑ）ｏｓｏｓｐｐＰ（Ｒ（。ｏｓＱ）ｐＰ（
，因为ｐ所以ｐｏｓＱ）ｏｓＱ）ｏｓＱ）≠ｐＲ（Ｐ（Ｒ（
，因此Ｃ（Ｑ））＜ｏｓＱ）ｏｕｎｔ（ｐｏｓｐＰ（Ｒ（），（）与条件ＣＣｏｕｎｔＱ）ｏｕｎｔＱ）＝ＣｏｕｎｔｏｓｏｓｐｐＰ（Ｒ（（），矛盾，所以ｐ证明完ｏｓｏｓＱ）Ｑ）＝ｐｏｓＱ）ｐＰ（Ｒ（Ｐ（毕。
定理２ 设Ｓ＝（为一个电力知识表Ｕ，Ａ，Ｖ，ｆ）达系统，Ａ＝Ｃ∪Ｄ，Ｃ∩Ｄ＝，Ｃ为条件属性集，Ｄ为决策属性集，核属性）的充要条ａ∈Ｃ是必要属性（
（）（）。件是ＣｏｕｎｔＤ）ｏｕｎｔＤ）ｏｓｏｓ≠ＣｐｐＣ－｛ａ｝（Ｃ（
必要性证明：则由定义４可知ａ为核属性，
，由定理１可知Ｄ）≠ｐＤ）ｏｓｏｓｐＣ－｛ａ｝（Ｃ（
（）（）。ＣｏｕｎｔｏｓＤ）ｏｕｎｔｏｓＤ）≠ＣｐｐＣ－｛ａ｝（Ｃ（
（）充分性证明：因为ＣｏｕｎｔｏｓＤ）ｏｕｎｔ≠ＣｐＣ－｛ａ｝（
（），；由定理１可知ｐｏｓｏｓｏｓＤ）Ｄ）Ｄ）≠ｐｐＣ（Ｃ－｛ａ｝（Ｃ（由定义４可知ａ为核属性。
定理３ 设Ｓ＝（为一个电力知识表Ｕ，Ａ，Ｖ，ｆ）达系统，Ａ＝Ｃ∪Ｄ，Ｃ∩Ｄ＝，Ｃ为条件属性集，Ｄ为决策属性集，则Ｅ是Ｃ的一个约简的充要ＥＣ，
（）（）。条件是：ＣｏｕｎｔＤ）＝ＣｏｕｎｔＤ）ｏｓｏｓｐｐＥ（Ｃ（
该定理由定义５和定理１容易得证，证法与定理２证明类似。—６８—
从上述定义和定理可以看出，利用粗糙集理论
求一个电力知识表达系统Ｓ的属性约简，由求正域问题转化为求决策属性子集在条件属性子集上正域的势的问题。这样避免了使用正域方法计算属性约减小了计算量，也避免了建立可简的一些繁琐操作，
分辨矩阵消耗的大量时间和空间开销，更重要的是，计算正域的势实际上就是计算等价类问题，而不同
这就解决了传统属性约的等价类是可并行计算的，
简方法因内存限制不能处理大数据集的问题。下面给出基于云计算技术的电力大数据预处理属性约简
方法。
２ 基于ＭａＲｅｄｕｃｅ技术的电力大数据预处ｐ理属性约简
将一个电力大数据集视为一个电力知识表达系统，则求影响指定决策属性集的条件属性，即求此电力大数据集的属性约简问题就转化为计算正域的势的问题。利用ＭａＲｅｄｕｃｅ计算上述问题方法如下：ｐ根据需求，提取属ｍａｐ函数同时访问多个数据分片，
，〉性及属性值，形成〈键值对（表示意义如ｋｅｖａｌｕｅｙ
〈“”，〉）。ＲＣＯ１１故障区域Ｓｅｃ１１ｅｄｕｃｅ函数接收来 自不同节点ｍａｅｐ发送的ｋｙ值相同的键值对序列，计算相同等价类的个数。
Ｈａｄｏｏｐ在处理复杂任务时的思想是增加任务数，而不是增加ｍ所以ａｅｄｕｃｅ函数的复杂性，ｐ和ｒ
在云环境下的电力大数据预处理属性约简算法中，、＿分别设计了２个ｍａ３个ｒｅｄｕｃｅ１个ｃａｌｌｏｂ函ｐ、ｊ
数和主程序。下面给出各算法的描述。
）算法１：１ｍａｐ函数
输入条件属性Ｃ，决策属性Ｄ，对象Ｘ。步骤１：
。步骤２：ｆｏｒｅａｃｈｏｂｅｃｔｘｄｏ ｊ步骤３：将ｘ存ｉ的Ｃ和Ｄ属性及属性值提取，
入ｋｅｙ中。
，〉。步骤４：输出〈ｋｅ１ｙ
）算法２：２ｍａｐ函数
步骤１：输入前次ＭａＲｅｄｕｃｅ任务的结果。ｐ
，〉。步骤２：读出ＨＤＦＳ中的键值对〈ｋｅｖａｌｕｅｙ，〉。步骤３：输出〈ｋｅｖａｌｕｅｙ
）算法３：３ｒｅｄｕｃｅ函数
，＿步骤１：输入ｍａｋｅｖａｌｕｅｓｐ聚类后的结果〈ｙ〉。ｌｉｓｔ
步骤２：ｓｕｍ＝０。），步骤３：ｆｏｒｉ＝１ｔｏｖａｌｕｅ＿ｌｉｓｔ．ｓｉｚｅ（ｓｕｍ＝
＿［］。ｓｕｍ＋ｖａｌｕｅｌｉｓｔｉ
步骤４：去掉ｋｅｙ中Ｄ属性及其属性值。
步骤５：ｖａｌｕｅ＝ｓｕｍ。
·研制与开发· 曲朝阳，等 基于云计算技术的电力大数据预处理属性约简方法
，〉。步骤６：输出〈ｋｅｖａｌｕｅｙ
）算法４：４ｒｅｄｕｃｅ函数
bbs.99jianzhu.com内容：建筑图纸、PDF/word 流程，表格，案例，最新,施工方案、工程书籍、建筑论文、合同表格、标准规范、CAD图纸等内容。
中考满分作文六大秘诀？ 步骤/方法 一种体裁 只写记叙文，好好把记叙文复习好。 两个原则 1、真实才能动情。真正能打 ...
用户满意的答案： 公元538年，东魏、西魏边境烽烟四起，战争频繁。 西魏派南兖州刺史韦孝宽奔赴边境。 在韦孝宽临去之 ...
台湾省主治医师(公共卫生)初级（师）试题 一、单项选择题（共26题，每题的备选项中，只有 1 个事最符合题意） 1、慢性 ...
警民携手托起明天的太阳 ------“武警爱民学校”续写鱼水情 云南省玉溪市通海县九龙小学 张淼淼 2016年9月30日 伴随着 ...
M10-U1 I.重点单词 1.中心的；在中间的_____________2.绵羊__________→复数___________ 3.神奇的，迷人的__________4 ...
英脚（a） 上课时间：一班 教学目标：1，观察不同性别，不同年龄脚。 2，学习足部知识的结构。英俊的脚 3，学习不同的 ...
2016年学校工作总结 一年来,我学区在上级的领导、关心和支持下。学校以育人为本，发扬开拓进取的精神。有计划、有步骤 ...
尊敬的各位领导、各位老师: 下午好!今天我很荣幸地站在这里代表所有的徒弟发言。在此，我代表所有的徒弟发自内心的感 ...
搬个凳子排排坐 专家来上德国留学礼仪课 终于要前往德国留学啦，简直嗨翻天有木有!不过啊，先别那么兴奋，现在小编就 ...
生物必修1 1、根据细胞内有无以核膜为界限的细胞核，把细胞分为真核细胞和原核细胞两大类。 2、氨基酸是组成蛋白质的 ...
草原请你来 那是谁的爱重新被拾起 一首牧歌留下多少传奇 苍狼和白鹿一股英雄气 流动在草原人滚烫的脉搏里 岁月里温热 ...