課程描述INTRODUCTION
大數(shù)據(jù)Hadoop課程
日程安排SCHEDULE
課程大綱Syllabus
大數(shù)據(jù)Hadoop課程
培訓(xùn)對象
軟件工程師;數(shù)據(jù)庫開發(fā)人員;網(wǎng)絡(luò)后臺開發(fā)人員;運維人員;
課程簡介
hadoop天生是解決大數(shù)據(jù)高并發(fā)問題的, 是一個能夠?qū)A繑?shù)據(jù)進行分布式處理的軟件框架?;ヂ?lián)網(wǎng)企業(yè)、金融機構(gòu)、政府組織和云計算服務(wù)企業(yè)每天都會產(chǎn)生大量的數(shù)據(jù)并面臨高并發(fā)的嚴(yán)峻考驗,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已經(jīng)無法滿足大數(shù)據(jù)量高并發(fā)的要求,作為云計算實現(xiàn)規(guī)范和實施標(biāo)準(zhǔn)的hadoop應(yīng)運而生。
使用hadoop,用戶可以在不了解分布式底層細節(jié)的情況下開發(fā)出分布式程序,從而可以使用眾多廉價的計算設(shè)備的集群的威力來高速的運算和存儲,而且hadoop的運算和存儲是可靠的、高效的、可伸縮的,能夠使用普通的社區(qū)服務(wù)器出來PB級別的數(shù)據(jù),是分布式大數(shù)據(jù)處理的存儲的理想選擇。
“云計算分布式大數(shù)據(jù)hadoop深入淺出案例驅(qū)動實戰(zhàn)”基于實務(wù)經(jīng)驗萃取而成,從hadoop開發(fā)環(huán)境的搭建到到圖片服務(wù)器、WordCount實現(xiàn)、Hbase微博系統(tǒng)、話單查詢與統(tǒng)計、Hive數(shù)據(jù)統(tǒng)計案例,理論結(jié)合實際案例,祝你輕松駕馭hadoop以滿足大數(shù)據(jù)的分布式處理與存儲。
課程以MapReduce、Hbase、Hive為主軸,想理解和使用hadoop,就必須掌握這三大核心。
課程特色
案例驅(qū)動教學(xué),全程項目實戰(zhàn)訓(xùn)練;
掌握Hadoop三大核心:MapReduce、Hbase、Hive
萃取出實際開發(fā)中最常用、最實用的內(nèi)容并以深入淺出的方式把難點化于無形之中
基礎(chǔ)要求
了解Linux系統(tǒng);
了解網(wǎng)絡(luò);
了解Java;
課程大綱
第一天
第1個主題:Hadoop思考
1.Hadoop的設(shè)計目標(biāo)和適用場景
2.Hadoop架構(gòu)解析
3.MapReduce工作原理和案例說明
第2個主題: Hadoop安裝和配置實戰(zhàn)
1. 安裝和配置單機版Hadoop實戰(zhàn)
2. 安裝和配置偽分布式Hadoop實戰(zhàn)
3.安裝和配置分布式Hadoop集群實戰(zhàn)
第3個主題:HDFS
1. HDFS命令行操作實戰(zhàn)
2. HDFS的配置管理
3. NameNode的工作機制
第4個主題:HDFS案例實戰(zhàn)
1. HDFS案例的分析和設(shè)計
2. 環(huán)境搭建
3.使用Hadoop Java API實現(xiàn)對HDFS寫入、讀取、刪除文件等操作
第5個主題:MapReduce剖析
1. MapReduce的原理和運行過程
2. 構(gòu)建MapReduce的開發(fā)環(huán)境
第6個主題:MapReduce案例實戰(zhàn)
1. 使用MapReduce的Java接口實現(xiàn)經(jīng)典的WordCount
2. wordcount運行過程解析
3. MapReduce實現(xiàn)數(shù)據(jù)去重操作
4. MapReduce實現(xiàn)數(shù)據(jù)排序
5. MapReduce實現(xiàn)數(shù)據(jù)平均數(shù)據(jù)的計算
第二天
第1個主題:Hbase架構(gòu)設(shè)計和實現(xiàn)剖析
1. Hbase架構(gòu)設(shè)計
2. Hbase中的表結(jié)構(gòu)等
3. Hbase:Master、Region、Region Server
第2個主題:Hbase案例實戰(zhàn)1---使用Hbase實現(xiàn)微博系統(tǒng)
1. 項目架構(gòu)和設(shè)計
2. 開發(fā)環(huán)境搭建
3. 實現(xiàn)用戶登錄和注銷
4.“關(guān)注”功能的設(shè)計和實現(xiàn)
5.“發(fā)微博”功能的設(shè)計和實現(xiàn)
6.發(fā)布和運行整個基于Hbase的微博系統(tǒng)
第3個主題:Hbase與MapReduce
1. Hbase與MapReduce的關(guān)系
2. Hbase如何使用MapReduce
第4個主題:Hbase案例實戰(zhàn)2---話單查詢與統(tǒng)計
1. 項目架構(gòu)設(shè)計
2. 開發(fā)環(huán)境搭建
3. 話單入庫和查詢的設(shè)計與實現(xiàn)
4.統(tǒng)計功能的設(shè)計與實現(xiàn)
第三天
第1個主題:MapReduce高級實戰(zhàn)
1. Split實現(xiàn)剖析
2. 自定義輸入的實現(xiàn)
3. Reduce的partition
4. 案例實戰(zhàn)
第2個主題:安裝和使用Hive
1. Hive剖析
2. 安裝Hive
3.Hive的基本使用
第3個主題:Hive與HDFS、MapReduce
1. Hive向HDFS存入結(jié)構(gòu)化數(shù)據(jù)
2. 使用MySQL作為Hive的元數(shù)據(jù)庫
3.Hive與MapReduce
第4個主題:Hive案例實戰(zhàn)---數(shù)據(jù)統(tǒng)計
1. 項目架構(gòu)設(shè)計
2. 表結(jié)構(gòu)設(shè)計
3.數(shù)據(jù)的插入與統(tǒng)計實現(xiàn)
第5個主題:Hadoop開發(fā)者之路
1. Hadoop技能模型
2. Hadoop開發(fā)者*學(xué)習(xí)路線和方式
3.Hadoop開發(fā)者*成長路線
大數(shù)據(jù)Hadoop課程
轉(zhuǎn)載:http://www.jkyingpanluxiangji.com/gkk_detail/257465.html
已開課時間Have start time
- 張曉誠
大數(shù)據(jù)營銷內(nèi)訓(xùn)
- 數(shù)字媒體和數(shù)字教學(xué) 鐘理勇
- 商業(yè)銀行數(shù)據(jù)治理體系建設(shè)實 馬慶
- 大數(shù)據(jù)時代下服務(wù)營銷新思維 秦超
- 《小紅書運營策劃與執(zhí)行》 黃光偉
- 《零售行業(yè)社群團購運營》 陳蕊
- 數(shù)字化轉(zhuǎn)型與新質(zhì)生產(chǎn)力 盧森煌
- 企業(yè)區(qū)塊鏈技術(shù)的應(yīng)用場景與 李璐
- 管理者數(shù)據(jù)能力晉級 宋致旸
- 數(shù)字金融與智能金融下的智慧 盧森煌
- 大數(shù)據(jù)行業(yè)的現(xiàn)狀與熱點 徐全
- 數(shù)字經(jīng)濟基礎(chǔ)和企業(yè)數(shù)字化轉(zhuǎn) 盧森煌
- 《企業(yè)數(shù)據(jù)管理與數(shù)據(jù)資產(chǎn)化 張光利