探索中国CIO人才现状 | 第四季调研报告
企业存储十年转型与闪存有何关系?
2013-08-18  作者:企业网 

  8月13日下午14:30,DOSTOR独家发起围绕“FlashevolveDatacenter闪存进化数据中心”为主题的网络沙龙活动圆满结束,沙龙现场邀请到国家信息中心专家委员会主任、研究员宁家骏、Gartner大中华区首席存储分析师张瑾、国家审计署计算机技术中心技术推广处副处长裴晓宁、中国农业银行总行清算中心经理王正江以及华为的两位专家。沙龙互动热烈,共有348名在线网友参与,收到提问639条。在闪存时代,也相信很多网友有着不少疑问,特别是企业存储十年转型,闪存从中带来了什么动力?闪存在加速数据中心过程中到底扮演什么角色?闪存可靠性方面到底需要注意什么?华为闪存策略又有哪些与众不同的地方?


  企业存储十年转型与闪存有何关系?


  数据中心经历10年左右的发展,从数据孤岛到数据集中,再到对存储提出更为高标准的要求,存储效率与价值的发挥已经成为企业用户关注的焦点之一。


  国家信息中心专家委员会主任、研究员宁家骏也赞同这样的观点,对于数据中心十年发展的转型,他进一步分析道,大型数据中心转型主要经历了三个阶段,第一个阶段是大型机阶段;第二个阶段就是当前以服务器为主构建数据中心的阶段;第三个阶段进入以云计算为代表的数据中心阶段,包括软件定义数据中心阶段。随着企业用户数据量爆发增长,如何做到数据更高效利用和数据的安全关键是存储的稳定运行,这成为数据中心发展过程中最重要的事情。


  不过,在谈到这方面的问题时,Gartner大中华区首席存储分析师张瑾明确指出,在摩尔定律与服务器虚拟化技术的快速演进过程中,CPU、网络都获得很快的发展,而存储长期依靠机械硬盘早已远远跟不上前两者的发展,从而存储成为数据中心发展的瓶颈,一些新的存储技术出现成为必然,包括闪存的出现。包括大数据的应用对于存储的需求在增加而没有减少,为此,对于企业用户来说如何在有限资金下提升存储效率成为很重要的话题。


  可见,来自两位专家的观点都充分表明,闪存的出现带来了数据中心存储的新动力,但闪存是否能重塑数据中心?张瑾认为,闪存实际在颠覆传统存储的技术架构和竞争格局,从现在来看,主流厂商是被动或半主动地推出闪存策略,既然有这么多对于闪存的投资,未来闪存将会有突飞猛进的阶段。在软件定义架构的理念推动下,必然使得主流厂商更为重视这方面的发展。


  另外,从企业用户层面来分析,在衡量闪存应用的标准时,国家审计署计算机技术中心技术推广处副处长裴晓宁认为主要关注其安全性、可靠性和性价比,不过对于安全性方面应该是放在第一位。


  对于谈到企业用户存储及闪存需求方面,华为存储产品线高级营销经理张秦筠认为企业对于存储的需求要满足三点,一是存储性能要能与企业业务匹配;二是存储是否可靠,管理简单;三是在总体拥有成本方面给企业带来益处。在他看来,闪存的出现,可以提供存储系统更低的时延,并给业务系统提供更快的保障。如何在闪存系统上提供更好的可靠性,相对于传统机械硬盘比较,闪存在性能容量比、性能能耗比、性能空间比上都具有天然优势,充分发挥闪存与系统之间的优势可以成为企业数据中心发展中非常好的选择。


  为什么强调闪存是数据中心进化的催化剂?


  当然了,对于闪存进化数据中心不可能一蹴而就,那么闪存在数据中心演进过程中到底扮演什么样的角色,发挥着什么样的作用呢?


  当前,传统存储阵列逐渐变成了虚拟化基础架构的性能瓶颈,直接限制了虚拟化基础架构的效益最大化。华为存储产品线高级营销经理张秦筠认为,闪存及其构筑在其上的相关产品的出现,为存储系统的性能提升,给出了一个崭新的解决方案,闪存本身并不能解决虚拟环境中出现的复杂数据管理问题,但提供了一种可能。那么,闪存产品、闪存系统以什么样的路线图演进方式,进入到企业的IT基础架构中去?


  从1984年东芝正式公布Flash原理到现在,闪存技术已经走过了30年的发展历程。最开始,闪存依靠高IOPS、低时延、低功耗、无机械部件的特点进入人们的视野,但在2008年开始才真正在企业级服务器和存储领域取得商用,那时,仅仅是作为一个独立部件对一些对性能有特殊要求的应用进行加速,它有效地拉近了计算与数据的距离,并解决了数据中心基础架构虚拟化所带来的I/O搅拌问题,是“良药”。随着工艺的不断演进、密度的不断提高、技术的不断完善,以及价格的不断下降,闪存产品已经不仅仅局限于对系统进行加速或者提升性能的单一部件优化层面。


  在可以预见的2-3年内,闪存将会逐步取代SAS机械硬盘成为高性能盘的唯一选择,围绕着闪存与SSD进行设计的系统和特性将会越来越多地应用在企业的不同级别业务中。


  张秦筠强调说,在整个数据中心的演进过程中,“简”和“捷”是不变的话题,闪存在这两个维度都带来了巨大的冲击,从服务器计算效率、到网络传输效率,再到供电、散热等。闪存作为一种催化剂,促进了整个数据中心的变化。


  面向未来,数据中心将逐步演进成为由上层软件堆栈定义下的能够自适应的下层统一的IT基础设施所构成,由软件按需使用硬件资源,以最高效的方式使用硬件资源。闪存将进一步促进数据中心更上一个台阶,催生计算与存储的聚合,计算以最高效的内存访问方式访问存储,存储离CPU最近,彻底消除CPU与存储介质之间的性能鸿沟。未来的企业数据中心,将从计算、网络到存储的各个路径做好适配,数据中心效能极大提升,将硅片上构筑的计算与存储效能发挥至极致,实现物尽其用。传统数据中心逐步步入“Flash”时代,即闪存进化下的企业数据中心——更高效、更可靠、更节能。


  如何分析闪存可靠性的关键因素?


  中国农业银行总行清算中心经理王正江表示,作为一线用户,最重视闪存可靠性,特别是在金融结算过程中,更是担心闪存的可靠性,其次对于数据反映时间要求也非常高,每天金融业务处理上亿笔,如何加快数据反映时间,对存储速度要求就非常快。


  在谈到可靠性方面话题时,华为存储产品线闪存系统架构师龚涛指出在数据中心中,计算、网络、存储都是非常明确。如何保证企业用户业务连续性,成为闪存可靠性方面的关键因素。在这个方面,华为对闪存采取了错时运行技术,快速复位固件(在一秒以内的秒级复位),起到定时器作用,达到SSD运行时长错开,一旦有SSD盘有问题发生,就只是单盘失效,而不会出现数据丢失,避免客户业务中断。在保护用户数据业务连续性方面有着很大的作用,在SSD方面能有这样功能的厂商华为做到了领先。


  另外,如何保障闪存硬件具备可靠性?那么需要对闪存故障模式有深入的了解。从2007年到现在,华为在闪存方面做了非常多的技术积累。首先,龚涛谈到可靠性的故障模式,比如闪存颗粒随机失效,华为尽可能减少颗粒的磨损和擦写次数。同时华为采取全局容量冗余,使用软件功能控制硬盘冗余比,达到整体系统可靠性。另外,减少颗粒磨损能提升SSD可靠性,但华为不仅如此,还采取了自研的全局反磨损均衡技术,在软件管理系统里面显示直接的磨损监控。同时牺牲小部分盘利用来争取整体SSD盘的可靠性,从而不至于因SSD盘片全部失效而导致业务断掉。


  从实际出发,华为SSD配套阵列、服务器等都在出货,所有SSD出货量达到了数万片,华为SSD年返还率是0.29%,而某友商SSD年返还率是0.44%,华为在SSD可靠性方面做了大量工作。再具体到华为全闪存阵列方面,到目前全闪存阵列出货在数PB以上,从2010年到现在,没有出现一起故障问题,没有一片SSD返还,这得益于华为在闪存、阵列以及相互配合方面做了大量优化工作。


  同时在业务不断发展变化过程中,企业用户越来越重视存储的可靠性,要做到可靠性提升,盘和系统相结合是基础。SSD是基于Nandflash来设计的,不是10k的SASHDD,其工作方式和故障模式和机械硬盘存在很大的不同,SSD不受振动、腐蚀、平均利用率等因素的影响,但存在颗粒随机失效、固件潜在bug、失效概率随着磨损次数上升而变化等可能。对此,通过盘与系统更好的融合,可以为数据中心可靠性带来最大的帮助,洞察存储变化,提高存储可靠性。


  怎么看待华为闪存Flashfirst的1.0到3.0?


  既然华为对于闪存可靠性有着这样深入的理解和分析,那么在配合闪存带给数据中心的演进方面,作为国内最早从事闪存研发的华为如何看待闪存的应用?华为闪存的总体策略又是什么样的?相信这是诸多网友最为关心的话题。为此,华为存储产品线高级营销经理张秦筠针对这方面的问题给出了非常详尽的解释,华为公司一直以来就非常重视Flash在数据中心的应用,早在2007年,华为就洞察到闪存在逐渐演进的过程中给企业级用户带来的核心价值,开始投入到SSD领域的研发,并聚焦于将SSD与系统进行融合,以充分发挥SSD的特性。


  “一直以来,华为和闪存颗粒厂商保持着良好的“战略”合作关系,在自研SSD和SSDController方面,我们先后推出了三代SSD以及自研ASIC芯片。正是因为我们拥有自主研发的SSD,我们可以做到针对SSD的全局资源管理以及SSD与系统深度融合设计。另一方面,我们更看重如何在企业级应用中将SSD更好的用起来,在不改变用户使用习惯的基础上,将SSD系统与相应软件功能更平滑地切入到现网环境。”


  他进一步指出,华为在闪存方面的整体策略是Flashfirst,通过完美地在数据中心注入闪存基因,加速闪存在数据中心的布局,帮助数据中心完成整体进化。作为目前业界唯一一家同时自研SSDController、SSD以及SSD系统的厂商,华为通过将SSD相关的技术完美融合到数据中心的核心业务中,力求为企业提供更稳定的、更高效、更节能的SSD系统与解决方案。


  基于以这个大方针为指引,华为提出了“Flashfirst”三步走的策略。


  Flashfirst1.0阶段,关键词:“加速”。从2008年到2012年,在这个时期,大多数数据中心存储虽然在物理上集中,但业务还是独立分散部署,Flash对数据中心加速,只是解决部分应用的性能问题。在这个时期,华为称作Flashfirst1.0阶段,它的关键词是“加速”。从这个思路出发,华为在2010年推出了应用在传统阵列里的SSDCache以及SSDTier,以及基于SSD的全固态存储系统Dorado,对数据中心的性能敏感的关键业务进行加速。目前,华为已经实现了Flashfirst1.0的目标,进入到第二个阶段的实施中。


  FlashFirst2.0阶段,关键词:“融合”。如前文所述,在主机虚拟化浪潮的推动下,数据中心建设模式由烟囱式走向资源池化,池化数据中心的大量业务并发运行,业务规模和业务种类动态变化,产生大量动态变化的随机IO。客户期望高性能、特别是高随机性能的存储资源池。与此同时,池化数据中心支撑大量的业务,一旦出现异常,将会波及很多业务;所以,客户期望是高可靠、能自愈的存储资源池。同时,在这一时期,随着Flash规模应用,及Flash价格快速下降,逐步接近高性能HDD(15K、10K转速),使得Flash在企业级市场的大规模应用成为可能。Flash逐步替代高性能HDD盘,应用于主存,成为高性能盘的唯一选择。而在这个时候,机械硬盘却不会一下子从数据中心彻底消失,数据中心需要能融合高速的SSD以及大容量的HDD的融合架构。华为称之为FlashFirst2.0时代,它的关键词就是“融合”。一方面,基于融合架构,通过多介质融合、多协议融合、跨设备融合、跨生命周期融合技术,推动Flash以平滑方式进驻数据中心,同时也是推动数据中心存储资源池化的过程。而另一方面,存储系统专为Flash设计,基于全局表项管理、全局动态均衡(全局容量冗余、全局磨损均衡、全局反磨损均衡)、全局坏块管理等技术,提供超高性能、超高可靠的存储服务。


  FlashFirst3.0阶段,关键词:“聚合”。在FlashFirst3.0阶段,华为认为数据中心走向AllIP承载的软件定义下的数据中心。通过全IP互联,实现网络高度融合与统一,不仅数据中心内部全IP互联,数据中心之间全IP互联,数据中心与终端之间也是采用IP互联,数据基于统一IP网自由流动。软件与硬件解耦,计算、存储、交换基于通用标准硬件,由软件按需使用硬件资源,以最高效的方式使用硬件资源。在FlashFirst3.0阶段,Flash将促进计算与存储的聚合,计算以最高效的内存访问的方式访问存储,计算与存储的界限将变得模糊,存储离CPU最近,彻底消除CPU与存储介质之间的性能鸿沟。消除了以SCSI为核心的复杂软件堆栈,彻底简化编程模型,将硬件资源发挥至最高效。存储与计算高度聚合,聚合成单一硬件节点,单节点具备计算、存储、交换的能力,单节点是紧缩的数据中心。节点之间基于IP互联,计算与数据跨节点自由流动,多个节点互联就是扩展的数据中心。未来的企业数据中心,将从计算、网络到存储各个路径做好适配,数据中心效能将得到极大提升,将在硅片上构筑的计算与存储效能发挥到极致,实现真正的物尽其用。(阿明)