实用性好的分布式存储框架推荐 分布式存储框架有哪些


一、集中存储结构 说到分布式存储,我们先来看一下传统的存储是怎么个样子 。
传统的存储也称为集中式存储,从概念上可以看出来是具有集中性的,也就是整个存储是集中在一个系统中的,但集中式存储并不是一个单独的设备,是集中在一套系统当中的多个设备,比如下图中的 EMC 存储就需要几个机柜来存放 。
在这个存储系统中包含很多组件,除了核心的机头(控制器)、磁盘阵列( JBOD )和交换机等设备外,还有管理设备等辅助设备 。
结构中包含一个机头,这个是存储系统中最为核心的部件 。通常在机头中有包含两个控制器,互为备用,避免硬件故障导致整个存储系统的不可用 。机头中通常包含前端端口和后端端口,前端端口用户为服务器提供存储服务,而后端端口用于扩充存储系统的容量 。通过后端端口机头可以连接更多的存储设备,从而形成一个非常大的存储资源池 。
在整个结构中,机头中是整个存储系统的核心部件,整个存储系统的高级功能都在其中实现 。控制器中的软件实现对磁盘的管理,将磁盘抽象化为存储资源池,然后划分为 LUN 提供给服务器使用 。这里的 LUN 其实就是在服务器上看到的磁盘。当然,一些集中式存储本身也是文件服务器,可以提供共享文件服务 。无论如何,从上面我们可以看出集中式存储 最大的特点是有一个统一的入口,所有数据都要经过这个入口,这个入口就是存储系统的机头 。这也就是集中式存储区别于分布式存储最显著的特点 。如下图所示:
二、分布式存储 分布式存储最早是由谷歌提出的,其目的是通过廉价的服务器来提供使用与大规模,高并发场景下的 Web 访问问题 。它 采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展 。
1 、分布式存储的兴起 分布式存储的兴起与互联网的发展密不可分,互联网公司由于其数据量大而资本积累少,而通常都使用大规模分布式存储系统 。
与传统的高端服务器、高端存储器和高端处理器不同的是,互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通 PC 服务器通过网络连接而成 。其主要原因有以下三点
(1) 互联网的业务发展很快,而且注意成本消耗,这就使得存储系统不能依靠传统的纵向扩展的方式,即先买小型机,不够时再买中型机,甚至大型机 。互联网后端的分布式系统要求支持横向扩展,即通过增加普通 PC 服务器来提高系统的整体处理能力 。
(2) 普通 PC 服务器性价比高,故障率也高,需要在软件层面实现自动容错,保证数据的一致性 。

推荐阅读