正如人类社会的发展,计算机的计算开始了一场计算框架蜕变的运动,由“高富大”走向了“屌丝”计算的演变过程,而hadoop在这演变的过程中充当了急先锋的角色。从接触hadoop2.x开始,已经有很长一段时间,总结一下自己的学习路线:
1:原理篇
HDFS原理(计划中)
MapReduce原理(计划中)
YARN原理(计划中)
2:运维
hadoop的优化之CentOS篇(计划中)
hadoop优化之HDFS篇(计划中)
hadoop优化之MapReduce篇(计划中)
hadoop优化之YARN篇(计划中)
3:HDFS
在HDFS方面,hadoop2.x比hadoop1.x有了很大的进展,主要是解决了1.x的单点故障和NN的负载,解决方案就是HA和Federation。
4:YARN
YARN的提出使得Hadoop2.x更像是一个操作平台,扩展了hadoop的应用范围
Spark原理(计划中)
Storm原理(计划中)
Storm安装和测试(计划中)
Tez原理(计划中)
Tez安装和测试(计划中)
5:老当益壮的MapReduce
尽管MapReduce的计算模型有很多缺点,但在海量数据的批量处理上还是有其存在价值,这里陈列一系列场景模拟和MR代码解决方案
MapReduce之helloworld(计划中)
单表关联和多表关联(计划中)
云存储模拟(计划中)
6:hadoop生态环境
hbase之学习路线(计划中)
hive之学习路线(计划中)
mahout之学习路线(计划中)
spark之学习路线(计划中)
7:开发和源码研读
本篇为指导性文章,将持续补充和更新......