大数据框架Hadoop(三)  HDFS的HA和联邦

大数据框架Hadoop(三) HDFS的HA和联邦

hdfs 2的HA机制

  • HDFS的HA,指的是在一个集群中存在两个NameNode,分别运行在独立的物理节点上。在任何时间点,只有一个NameNode是处于Active状态,另一种是standby状态。Activite NameNode负责所有客户端操作,而standby NameNode用来同步Active NameNode的状态信息来提高快速的故障恢复能力。

  • 为了保证Active NN和Standby NN节点状态同步,即元数据保持一致。除了DataNode需要向两个NN发送block位置信息外,还构建了一组独立的守护进程——JournalNodes,用来同步Edits信息。当Active NN执行任何有关命名空间的修改,它需要持久化到一半以上的JournalNodes上。而StandBy NN负责观察JNs的变化,从JNs读取从Active 发送过来的Edits信息并更新自己的内部空间,一旦ActiveNN遇到错误,StandBy NN需要保证从JNs中读出了全部的Edits,然后切换成Active状态。

    hdfs_ha

  • 使用HA的时候,不能启动SecondNameNode,会出错。

HDFS2 的Federation(联邦)

  • HDFS Federation设计可解决单一命名空间存在的以下几个问题:

    1. hdfs集群扩展性。多个NameNode分管一部分目录,使得一个集群可以扩展到更多节点,不再像1.0呢样由于内存的限制制约文件存储数目。
    2. 性能更高效。多个NameNode管理不同的数据,而且同时对外提高服务,将为用户提高更高的读写吞吐率。
    3. 良好的隔离性。用户可根据需要将不同业务数据交由不同的NameNode管理,这样不同业务至今啊影响很小。

    hdfs_federation_ha

hdfs常见问题

  • 集群启动失败
    • 查看日志
  • hdfs 文件无法操作
    • 一般是处于安全模式
      • 离开安全模式 hdfs dfsadmin -safemode leave
      • 进入安全模式 hdfs dfsadmin -safemode enter
      • 查看安全模式 hdfs dfsadmin -safemode get

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×