首先,大数据是个好东西。
然后,问个3个问题。
多少数据量,你觉得是大?
大数据工具比如hadoop能解决什么样的问题?对企业有什么利弊?
大数据工具hadoop能做的事情,为什么传统的企业数据库比如sql,oracle就不能做?
弄大数据以前,先思考这3个问题。不要人云亦云。
就像当年的云计算,外行人吵得好热好热,内行人都在呵呵。技术层面来说,分布式解决方案升级版?
Hadoop入门及生态系统介绍
介绍Hadoop的发展,系统架构,相关版本和如何学习Hadoop。
新一代虚拟技术Docker
新一代的虚拟技术Docker的基本情况介绍和使用,并利用Docker快速的构建Hadoop的学习环境
1. 新一代虚拟技术-容器虚拟化
2. 在Windows上安装使用Docker
Hadoop学习
1. Hadoop介绍
2. Hadoop系统搭建与部属
a) Hadoop的三种安装方式
b) Hadoop的Shell命令
3. Hadoop HDFS组件分析
a) HDFS架构,SNN及副本放置策略
b) HDFS API
4. Hadoop MapReduce工作原理与架构
a) MapReduce API及工作流程
b) MapReduce 错误处理,作业调度
c) MapReduce 重要组件:Combiner
d) MapReduce 重要组件:Partitioner
e) MapReduce 重要组件:RecordReader
5. Hadoop MapReduce 编程
a) MapReduce 计数器
b) MapReduce Join
c) MapReduce Sort
HBase学习
基于Hadoop的关系型数据库HBase的学习,学习目标:了解HBase的应用场景,学习如何使用HBase
1. Hbase介绍
2. Pig,HBase,Hive三者的关系比较
3. HBase系统搭建与部属
4. HBase的Shell操作
5. HBase的客户端操作
Hive学习
基于Hadoop的数据仓库和SQL查询引擎Hive 的学习,学习目标:了解Hive的应用场景,学习如何使用Hive,HQL语句,学习如何利用Hive来做数据分析
1. Hive综述
2. Hive系统搭建与部属。
3. Hive的表操作
4. Hive的数据加载与操作
5. Hive的查询语句HQL
6. Hive的窗口函数,分析函数和UDTF操作
7. Hive自定义函数
8. Hive HQL的优化
基于Hadoop的开发实战
1. 利用SQOOP来做简单的ETL抽取
2. 日志分析系统
3. 推荐系统(暂定)
|