IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    [原]Hadoop2.x的学习路线

    book_mmicky发表于 2014-05-13 15:24:22
    love 0
    正如人类社会的发展,计算机的计算开始了一场计算框架蜕变的运动,由“高富大”走向了“屌丝”计算的演变过程,而hadoop在这演变的过程中充当了急先锋的角色。从接触hadoop2.x开始,已经有很长一段时间,总结一下自己的学习路线:

    1:原理篇
    HDFS原理(计划中)
    MapReduce原理(计划中)
    YARN原理(计划中)

    2:运维
    hadoop2.2.0测试环境搭建
    Hadoop2.2.0生产环境模拟 
    hadoop2.2.0源码编译(ubuntu) 
    hadoop2.2.0源码编译(CentOS6.4)  
    hadoop2.2.0源码编译(eclipse)
    hadoop的优化之CentOS篇(计划中)
    hadoop优化之HDFS篇(计划中)
    hadoop优化之MapReduce篇(计划中)
    hadoop优化之YARN篇(计划中)

    3:HDFS
    在HDFS方面,hadoop2.x比hadoop1.x有了很大的进展,主要是解决了1.x的单点故障和NN的负载,解决方案就是HA和Federation。
    HDFS HA系列实验之一:基础环境搭建 
    HDFS HA系列实验之二:HA+JournalNode+zookeeper  
    HDFS HA系列实验之三:HA+NFS+zookeeper
    HDFS HA系列实验之四:HA+Federation
    HDFS HA系列实验之五:client 配置
    HDFS HA系列实验之六:Federation之增减NN和Balancer  
    HDFS HA系列实验之七:NN故障转移处理 
    HDFS HA系列实验之八:机架感知(计划中)
    HDFS HA系列实验之经验总结 

    4:YARN
    YARN的提出使得Hadoop2.x更像是一个操作平台,扩展了hadoop的应用范围
    Spark原理(计划中)
    Spark安装和测试(YARN模式)
    Storm原理(计划中)
    Storm安装和测试(计划中)
    Tez原理(计划中)
    Tez安装和测试(计划中)

    5:老当益壮的MapReduce
    尽管MapReduce的计算模型有很多缺点,但在海量数据的批量处理上还是有其存在价值,这里陈列一系列场景模拟和MR代码解决方案
    MapReduce之helloworld(计划中)
    单表关联和多表关联(计划中)
    云存储模拟(计划中)

    6:hadoop生态环境
    hbase之学习路线(计划中)
    hive之学习路线(计划中)
    mahout之学习路线(计划中)
    spark之学习路线(计划中)

    7:开发和源码研读
    eclipse开发hadooop2.2.0程序


    本篇为指导性文章,将持续补充和更新......


沪ICP备19023445号-2号
友情链接