Hadoop的HDFS架构深入学习，Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异是值得我们注意的：
Hadoop的HDFS架构深入学习

HDFS具有高度容错能力，旨在部署在低成本硬件上。(高容错)

HDFS提供对数据的高吞吐量访问，适用于具有海量数据集的应用程序。(高吞吐量)

HDFS放宽了一些POSIX要求，以实现对文件系统数据的流式访问。(流式访问)

HDFS最初是作为Apache Nutch网络搜索引擎项目的基础设施而构建的。HDFS是Apache Hadoop Core项目的一部分。

一、目标和假设

硬件故障检测：硬件故障是常态而非例外。Hadoop通常部署在低成本的硬件上，并且通常包含成百上千的服务器，每个服务器都存储文件系统数据的一部分。由于存在大量的组件，并且每个组件都具有不可忽略(non-trivial )的故障概率，这意味着HDFS的某些组件始终都不起作用。因此，故障检测并快速恢复是HDFS的核心架构目标。

流式访问：HDFS更适合批处理而不是交互式使用，更加注重数据访问的高吞吐量而不是数据访问的低延迟。在HDFS上运行的应用程序需要对其数据集进行流式访问。

海量数据集：运行在HDFS上的应用程序具有大型数据集，HDFS中的一个典型文件的大小是g到tb，因此，HDFS被调优为支持大文件。它应该提供高聚合数据带宽，并可扩展到单个集群中的数百个节点。它应该在一个实例中支持数千万个文件。

一致性模型：HDFS应用程序需要一个一次写入多次读取的文件访问模型。文件一旦创建、写入和关闭，除了追加和截断操作外，无需要更改。支持将内容追加到文件末尾，但无法在任意点更新。该假设简化了数据一致性问题并实现了高吞吐量数据访问。MapReduce应用程序或Web爬虫应用程序完全适合此模型。

移动计算比移动数据便宜：应用程序请求的计算如果在其操作的数据附近执行，效率会高得多。当数据集的大小很大时尤其如此。这可以最大限度地减少网络拥塞并提高系统的整体吞吐量。因此更好的做法是将计算迁移到更靠近数据所在的位置，而不是将数据移动到运行应用程序的位置。HDFS为应用程序提供了一些接口，使它们自己更接近数据所在的位置。

跨平台和可移植：Hadoop使用Java语言开发，使得Hadoop具有良好的跨平台性。

二、NameNode和DataNodes

HDFS具有主/从( master/slave)架构。HDFS集群由一个NameNode和许多DataNode组成，NameNode是一个主服务器(master)，管理文件系统名称空间并管理客端对数据的访问(NameNode在Hadoop集群中充当u管家/u的角色)。此外集群中每个节点通常是一个DataNode，DataNode管理它们的节点上存储的数据。

HDFS公开文件系统名称空间，并允许用户数据存储在文件中。在内部，文件被分成一个或多个块(block)，这些块存储在DataNode中。NameNode执行文件系统名称空间的相关操作，如打开、关闭和重命名文件和目录。它还确定了块到DataNode的映射(块存储到哪个DataNode中)。数据节点负责服务来自文件系统客户端的读写请求。数据节点还根据NameNode的指令执行块创建、删除和复制。

深入理解Hadoop之HDFS架构

集群中单一NameNode的结构大大简化了系统的架构。NameNode是所有HDFS元数据的仲裁者和管理者，这样，用户数据永远不会流过NameNode。

文件系统名称空间(namespace)

HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名称空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。当前，HDFS不支持用户磁盘配额和访问权限控制，也不支持硬链接和软链接。但是HDFS架构并不妨碍实现这些特性。

NameNode负责维护文件系统的名称空间，任何对文件系统名称空间或属性的修改都将被NameNode记录下来。应用程序可以设置HDFS保存的文件的副本数目。文件副本的数目称为文件的副本系数，这个信息也是由NameNode保存的。