好消息！为了庆祝小史获得大厂offer，他约吕老师和小伙伴们一起吃饭；

为了照顾每个人的胃口，小史让大家自行点菜，自己也是忙里忙外的招呼；

服务员面对几桌子，忘记哪些桌子上了哪些菜，小史在旁边提醒......

【饭后】

【分布式文件系统】

小史：这个简单，文件系统就是用来管理文件的一个系统。

【文件切块】

小史：大文件被切成若干块，存储在若干机器上，嫁接统一接口。

【潜在问题】

吕老师：这样效率很低，还存在个问题就是，万一机器坏了，那文件访问不了怎么办？

吕老师：这样，你计算一下，如果我们分布式系统有1000台电脑运作，每台电脑出现问题的平均概率是0.1%，那么，运行一天这个系统出问题的概率有多大呢？

吕老师：当然存在这个问题，分布式系统是相当复杂的。

【hdfs架构】

吕老师：举个例子，假设每个桌子都是DataNode，每道菜是一个切块，服务员是client，而你就是NameNode。
DataNode的功能是存储数据，NameNode是一名管理者角色，NameNode明确DataNode的存储信息，client属于统一操作接口。

小史：我明白了，我会告诉服务员哪桌上什么菜。就类似于client执行查询文件任务的时候，会在NameNode查询文件在哪个DataNode上。

小史：那就去别的桌上吃，那么，hdfs会将数据保存备份吗？

吕老师：没错，hdfs在写数据的时候，会将其写入多个DataNode中，保证数据安全不丢失。

【hdfs读写流程】

小史：好的，我认为读取文件分为以下步骤：

小史：文件写入流程分为以下步骤：

【SecondNameMode】

小史：文件的元数据很重要，我们可以持久化到硬盘上，每次重启之后再从硬盘把数据恢复到内存。

小史：是应该考虑这个问题，但写硬盘需要找到文件元信息的具体位置，效率不是很高。

吕老师：是的，这样操作效率不高，所以hdfs不这样执行。

hdfs会把操作日志记录下来，存在editlog中，下次重启的时候，先加载editlog，回访日志，达到重启前的状态。

小史：NameNode长时间运行，editlog就会很大，导致重启时间变长。

吕老师：没错，但SecondNameNode，就是用来解决这个问题。

我们知道，NameNode会回放editlog，但不会从头回放，它会加载文件元数据的内存快照，在此基础上回放editlog，随后会立马清空editlog，再把当前文件元数据的内存状态写入fsimage，方便下一次加载。

【hdfs的HA】

小史：吕老师，万一NameNode奔溃了，会有SecondNameNode来接替工作吗？

吕老师：不是的，其实，SecondNameNode是不能替代NameNode的，万一NameNode奔溃了，整个系统也会随之奔溃。

吕老师：没错，所以hadoop1.x有本身的不稳定性。但是hadoop2.x之后，可以在集群中多配置NameNode，就会避免此类问题。

吕老师：这个问题和系统的设计理念有关，虽然hadoop1.x存在一个NameNode单点，但是它大大简化了系统的复杂度，并且数据量在一定范围内时，NameNode并没有这么容易挂，所以能够被接受的。但是随着数据量越来越大，这个单点始终是个隐患，所以设计者不得不升级为更加复杂的hadoop2.x，来保证NameNode的高可靠。

吕老师：两个NameNode只能有一个是活跃状态active，另一个是备份状态standby。以下为两个NameNode的架构图。

吕老师：因为active的NameNode奔溃之后，standby的NameNode要马上接替它，所以它们的数据需要保持一致，在写入数据的时候，两个NameNode内存中都要记录数据的元信息，并保持一致。这个JournalNode就是用来在两个NameNode中同步数据的，并且standby NameNode实现了SecondNameNode的功能。

吕老师：active NameNode有操作之后，它的editlog会被记录到JournalNode中，standby NameNode会从JournalNode中读取到变化并进行同步，同时standby NameNode会监听记录的变化。

【hdfs优缺点】

小史：可以，hdfs可以存储海量数据，并且高可用的，数据有备份，不存在丢失问题。

吕老师：这都是小事儿，不过，你想想如果我们吃饭点很多小分量的菜，你还会记得哪桌点哪些吗？

小史：我明白了，每个小文件都有元信息，它们都存在NameNode里面，可能造成NameNode的内存不足？

小史：如果要随机写，由于文件被切块，需要先找到内容在哪个块，然后读入内存，修改完成之后再更新所有备份，由于一个块并不小，这个效率会很低。

【笔记】

1、hdfs是一个分布式文件系统，简单理解就是多台机器组成的一个文件系统。

2、hdfs中有3个重要的模块，client对外提供统一操作接口，DataNode真正存储数据，NameNode协调和管理数据，是一个典型的master-slave架构。

3、hdfs会对大文件进行切块，并且每个切块会存储备份，保证数据的高可用，适合存储大数据。

4、NameNode通过fsimage和editlog来实现数据恢复和高可用。

5、hdfs不适用于大量小文件存储，不支持并发写入，不支持文件随机修改，查询效率大概在秒级。