探索中国CIO人才现状 | 第四季调研报告
Isilon、Pivotal Hadoop“制服”偷电贼
2015-05-29  来源:techtarget

加拿大电力公司BC Hydro正在使用EMC的存储设备以及Pivotal Hadoop分布式计算系统控制电力偷窃行为。

位于温哥华的工厂从2011年起就已经部署了近两百万只智能测量器,这也引发了一场“我们可以将其付诸于行动的‘数据海啸’”,BC Hydro负责智能测量及架构项目的副总裁Elizabeth Fletcher说道。

智能测量器是BC Hydro在2007年开展的价值9.39亿美元的现代化项目中的一部分。之所以进行这项改进,就是因为每年由于未经授权的电力使用给公司造成了近1亿美元的损失。

“过去我们开展的一项商业案例可以帮助我们在7年时间节省两千万美元。我们从中总结出了一套可行性方案,再去寻求技术伙伴的协助将其实现。”Fletcher在上周的EMC World 2015的用户板块提到。

BC Hydro选择了EMC的可扩展存储产品并配以Pivotal的大数据分析产品。

该公司部署了Pivotal Greenplum数据库、Pivotal Hadoop分布式计算系统以及EMC Isilon扩展NAS。这些产品都是EMC Federation数据湖泊产品库中的一部分。

Hadoop集群对运行在Isilon上的数据进行“咀嚼”。分析结果会表明是否有人在非法使用电力资源或者是否有数据录入错误。

传感器数据驱使存储升级

上周在Las Vegas举办的EMC World中,Fletcher在一次采访时透露了相关细节。她提到联网的测量器每年生成约25TB的数据。传感器会对新加入电网中的电能进行测量并记录它们是如何被消耗掉的。

她表示BC Hydro选择EMC的高密度存储设备以及Pivotal的软件堆栈来来帮助其管理动态信息流。目前已经部署了3台Pivotal Data Computing Appliance来支持运行了能源分析软件的Greenplum 4.3数据库。

Pivotal HD 3.0 Hadoop分布式集群以及Pivotal HAWQ 并行队列处理软件部署在了Cisco的UCS服务器上,同时后端连着一台10节点的EMC Isilon X410存储。

“这些传感器发回的新型数据正是我们需要分析的。为了能够做到这一点,我们对存储系统进行升级。”Fletcher补充道。

X410 NAS将会作为长期存储设备来使用

Fletcher表示,EMC X410与Pivotal Hadoop集群的结合使得复杂数据得以快速处理并加以分析。

BC Hydro同时配有EMC Data Domain DD990备份设备,其上运行了Data Domain Boost数据去重软件。(EMC在EMC World上声称DD990将会逐步退出,旨在为更高容量的DD9500让步)。

X410s提供了160TB的存储容量并可以按照需求进行扩容,这使得BC Hydro可以暂缓其对存储设备升级的脚步。

“我们的周期为7年(在下次升级之前)。我们会将大部分数据保留至少七年然后对其进行归档。”Fletcher表示。