谷歌公司重新思考开发数据中心存储技术

标签:存储

访客:11464  发表于:2016-05-11 10:27:23

根据相关机构的预测,数据中心的存储容量市场增长没有放缓的迹象。思科公司预计,到2019年,使用个人云存储服务的全球互联网用户(20亿)将从2014年的42%增长到2019年的55%,每个用户每月消费的云存储流量将从2014年的992兆字节增长到2019年的1.6GB字节。思科公司称之为“万物联网”的物联网数据将会从2014年的134.5ZB字节增长到2019年的507.5ZB字节。

谷歌公司重新思考开发数据中心存储技术

不用说,这是一个庞大的数据量,需要大量的存储空间,而谷歌公司需要采用各种方法对此进行根本性转变,该公司的工程师提议要重新思考数据中心存储系统的设计。

云计算需要不同的磁盘

在2016年文件和存储技术国际会议(FAST2016年)上,谷歌公司基础设施副总裁埃里克·布鲁尔表示,该公司希望与产业界和学术界合作开发支持云数据中心的适合云存储服务的磁盘。他认为,云计算的存储方式兴起,意味着大多数机械硬盘将成为主要部署在数据中心大容量存储服务的一部分。这样的服务已经成为磁盘增长最快的市场,并将在不久的将来占据大部分市场。

他以谷歌子公司YouTube作为一个例子,最近来自DisksforDataCenters的一篇论文指出,全球用户每分钟向YouTube网站上传的视频超过400小时,而在每天中,其1小时的视频需要添加1PB字节的数据中心存储容量。

面对一个如此依赖于这一基本技术的行业,这是一个艰难的现实。目前这一代的磁盘,通常被称为“近线企业”的磁盘,并没有为这个新的使用案例进行优化,它们被设计成满足传统服务器的需求。谷歌公司认为,这需要技术人员花费时间来开发一种新的专门针对大型数据中心和云服务设计的磁盘。

谷歌公司并不是唯一一个寻找新的存储问题答案的厂商。面对存储容量的需求不断增长的问题,来自微软和华盛顿大学的研究人员最近发表了一篇论文,该论文主张进一步探索利用DNA片段对数据进行编码和存储,并对迄今为止已经探索的这种编码系统提出了重大改进建议。

让我们退后一步,从谷歌公司的角度看存储。首先,该公司说你应该停止寻找单个磁盘(甚至是数组)作为独立的技术。相反,是时候把重点放在“收集”上。

谷歌公司提出的三种存储的关键变化:

(1)在“集合视图”中,其中重点收集了大量的磁盘的性能汇总

(2)将重点放在使用存储的现场服务的潜伏尾期

(3)从存储别人的数据中了解变化的安全需求

收集视图

收集视图意味着更高级别的维护,包括背景检查,总结,检测潜在的错误,数据再平衡,更均衡地使用磁盘(包括新的磁盘),以及数据复制和重建。现代磁盘的这些变化发生在内部,这是部分冗余,而通过自身的单个磁盘不能满足要求。同时,磁盘包含了低层次细节,这通常有利于新的API,使磁盘和更高级别的系统之间有更好的广泛合作。

集合视图的第三个方面是,谷歌公司优化IOPS和容量的整体平衡,利用随时间变化的驱动器的一个精心挑选的组合。谷歌公司选择新的磁盘,以便增加边际IOPS和容量,使谷歌公司更接近他们的总体目标。工作量的变化,如更好地利用固态硬盘或RAM,并转移总体目标。

为什么不是固态硬盘?

但是,为什么我们谈论了这么多都是围绕机械磁盘,而不是固态硬盘,而固态硬盘的读取速度更快,而其成本已经开始下降。

可以说,固态硬盘提供更好的IOPS,并很有可能是未来的存储技术。但谷歌公司表示,每GB的成本仍然太高。更重要的是,在机械磁盘和固态硬盘之间的每美元容量的增长速度都比较接近(使用数据中心的固态硬盘,其程序擦除周期至少具有足够数量),所以其成本不会在未来十年发生太大的变化。谷歌公司确实大量使用固态硬盘,但它们主要用于高性能工作负载和缓存方面,这有助于磁盘存储需求转移到固态硬盘。

重新设计的磁盘

如今,这样的事情变得更加有趣。谷歌基公司本上是呼吁业界来全面建立一个新的磁盘设计标准。

谷歌公司指出,目前的3.5英寸硬盘几何形状和大小继承PC软盘的设计。另一种形式的因素应该会产生一个更好的总拥有成本。改变外形是一个长期的过程,需要一个广泛的讨论,但谷歌公司认为它应该考虑。虽然该公司可以规范其自身的形式(高容量),其潜在的问题超出了谷歌的设计与业界一起开发新的解决方案可以更好地服务于大家,尤其是实现一个标准。这就是一个关键点:标准化。

有一系列可能的二次优化,其中一些可能是重要的。这些包括系统级热优化,系统水平振动优化、自动化和机器人处理优化,系统级氦备份优化和系统水平权重优化。

“传统”的数据中心存储的未来是什么?

是的,基于云的存储继续以惊人的速度增长。是的,我们看到更多的采用新的端点技术,物联网和虚拟化。所有这些都围绕创建存储和数据优化的更多需求。

但是在你心慌,并开始寻找未来的存储方案之前,你必须了解有谷歌公司所提议的有多大承诺。谷歌公司的建议将重新定义现代标准化的磁盘架构,而这种架构已经存在了相当长的一段时间。

1956年,IBM公司推出了第一款硬盘驱动器RAMAC305系统,其存储容量为5MB,每兆数据价格为1万美元。该系统的体积有两个冰箱大小,采用50个24寸磁盘。1980年,希捷公司发布了第一个5.25英寸硬盘。然后在1983年,Rodime公司发布了世界上第一个3.5英寸硬盘;R0352硬盘包括两个盘片,其存储容量为10MB。

在他们的文件中,谷歌公司讨论了物理变化,如更高密度的驱动器和磁盘组,以及一系列的固件的变化。他们讨论公司的目标,包括更高的容量和更多的I/O每秒的操作,除了一个更好的总拥有成本。但即使是谷歌公司这样的规模,以及不确定的市场需求,那这种想法如何可行?

我们谈论的是每个业务和数据中心创建一个新的存储标准,以及充分利用基于磁盘环境的生态系统。谷歌认为这将是数据中心的存储磁盘的新时代。

技术发展似乎是一个巨大的上升电梯。随着时间的推移,存储技术不断进步。也许是时候开发能够满足云计算生态系统需求的存储环境了。无论哪种方式,这是不容易的任务,需要整个行业的支持,使其成为现实。

评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");