課程描述INTRODUCTION
數(shù)據(jù)分析平臺
日程安排SCHEDULE
課程大綱Syllabus
數(shù)據(jù)分析平臺課程大綱:
數(shù)據(jù)分析平臺第一天
第1個主題:Hadoop的來源和動機
1.傳統(tǒng)大規(guī)模系統(tǒng)存在的問題
2.對一種新的解決方案的需求
3.Hadoop應用案例解析
4.Hadoop 版本介紹
5.Hadoop與傳統(tǒng)分布式環(huán)境的區(qū)別
第2個主題:Hadoop安裝和部署準備
1.Hadoop系統(tǒng)模塊組件概述
2.Hadoop試驗集群的部署結構
3.Hadoop 安裝依賴關系
4.Hadoop 生產環(huán)境的部署結構
第3個主題:Hadoop集群安裝和部署
第4個主題:Hadoop組件詳解
1.Hadoop HDFS 基本結構
2.Hadoop HDFS 副本存放策略
3.Hadoop NameNode 詳解
4.Hadoop SecondaryNameNode 詳解
5.Hadoop DataNode 詳解
6.Hadoop JobTracker 詳解
7.Mapper
8.Reducer
9.API 使用Eclipse進行快速開發(fā)
10.新MapReduce API
第5個主題:Hadoop 核心代碼剖析
1. Hadoop Mapper 類核心代碼剖析
2. Hadoop Reducer 類核心代碼剖析
第6個主題:HDFS分布式文件系統(tǒng)編程
1. Hadoop HDFS 剖析
2. Hadoop NameNode 剖析
3. Hadoop DataNode 剖析
4. hadoop I/O 操作
5. 使用Hadoop HDFS API對HDFS編程
第7個主題
數(shù)據(jù)分析平臺第二天
第1個主題:Hadoop MapReduce
1. Hadoop JobTracker 剖析
2.Hadoop TaskTracker 剖析
3.Hadoop 任務提交流程剖析
第2個主題: Hadoop MapReduce Streaming編程
1. Hadoop Streaming 和 Java MapReduce Api 差異
2. 使用 MapReduce 實現(xiàn)數(shù)據(jù)庫功能
第3個主題:MapReduce分布式程序
1. MapReduce流程
2.剖析一個MapReduce程序
3.基本MapReduceAPI 概念
4.驅動代碼
第4個主題:Hadoop Mapreduce高級編程
1.ToolRunner介紹
2.使用MRUnit進行測試
3.利用Combiners來減少中間數(shù)據(jù)
4.使用Configure和Close方法來進行Map/Reduce設置和關閉
5.編寫Partitioner來優(yōu)化負載平衡
6.直接訪問Hadoop分布式文件系統(tǒng)(HDFS)
7.使用分布式緩存(Distributed Cache)
第5個主題:MapReduce的優(yōu)化
1. map優(yōu)化
2. reduce優(yōu)化
3. 小文件優(yōu)化
第6個主題:MapReduce的任務調度
1. Queue調度的使用
2. 公平調度的使用
3. 能力調度的使用
第7個主題Hadoop 生態(tài)系統(tǒng)介紹
分布式管理組件-Zookeeper
分布式數(shù)據(jù)倉庫-Hive
分布式數(shù)據(jù)庫-Hbase
數(shù)據(jù)導入導出-Sqoop
工作流管理- Ozzie
Hadoop數(shù)據(jù)倉庫-Hive
Hive基礎
Hive的作用和原理說明
Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關系;Hive與傳統(tǒng)數(shù)據(jù)庫的對接使用
Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
數(shù)據(jù)分析平臺第三天
Hadoop數(shù)據(jù)倉庫-Hive
Hive Cli 的基本用法
HQL基本語法
自行編寫數(shù)據(jù)庫與Hadoop相互ETL工具的思路
Hadoop 分布式數(shù)據(jù)倉庫-Hbase
Hbase概念與架構
hbase核心知識點
hbase安裝、部署
Hbase配置優(yōu)化綜述
表設計優(yōu)化相關參數(shù)
監(jiān)控工具使用方法及注意事項
常見異?,F(xiàn)象級處理方法
數(shù)據(jù)分析平臺總結
轉載:http://www.jkyingpanluxiangji.com/gkk_detail/5836.html
已開課時間Have start time
大數(shù)據(jù)課程內訓
- 大數(shù)據(jù)時代下服務營銷新思維 秦超
- 大數(shù)據(jù)行業(yè)的現(xiàn)狀與熱點 徐全
- 管理者數(shù)據(jù)能力晉級 宋致旸
- 數(shù)字媒體和數(shù)字教學 鐘理勇
- 《零售行業(yè)社群團購運營》 陳蕊
- 《小紅書運營策劃與執(zhí)行》 黃光偉
- 《企業(yè)數(shù)據(jù)管理與數(shù)據(jù)資產化 張光利
- 數(shù)字經濟基礎和企業(yè)數(shù)字化轉 盧森煌
- 數(shù)字化轉型與新質生產力 盧森煌
- 數(shù)字金融與智能金融下的智慧 盧森煌
- 企業(yè)區(qū)塊鏈技術的應用場景與 李璐
- 商業(yè)銀行數(shù)據(jù)治理體系建設實 馬慶