課程描述INTRODUCTION
大數(shù)據(jù)課程:Hadoop應(yīng)用與開發(fā)
日程安排SCHEDULE
課程大綱Syllabus
課程收益:
1、使參加學(xué)員全面掌握物大數(shù)據(jù)相關(guān)技術(shù)及教學(xué)方法;幫助各高校在大數(shù)據(jù)專業(yè)課程體系建設(shè)提供全方位、強(qiáng)有力的教學(xué)資源和技術(shù)支持。
2、全面掌握Hadoop的架構(gòu)原理和使用場景,并通過貫穿課程的項(xiàng)目進(jìn)行實(shí)戰(zhàn)鍛煉,從而熟練使用Hadoop進(jìn)行MapRedce程序開發(fā)。課程還涵蓋了分布式計(jì)算領(lǐng)域的常用算法介紹,幫助學(xué)員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價(jià)值。
3、深入理解Hadoop技術(shù)架構(gòu),對Hadoop運(yùn)作機(jī)制有清晰全面的認(rèn)識(shí),可以獨(dú)立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop集群,掌握Hadoop基本運(yùn)維思路和方法,對Hadoop集群進(jìn)行管理和優(yōu)化。現(xiàn)如今大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)處于高速發(fā)展階段,互聯(lián)網(wǎng)每天都會(huì)產(chǎn)生大量的數(shù)據(jù),這些海量的數(shù)據(jù)資源對我們生活產(chǎn)生了影響,對企業(yè)的經(jīng)營決策進(jìn)行指導(dǎo)。在這種形勢下,大數(shù)據(jù)已經(jīng)被視為一種財(cái)富、一種資產(chǎn)、一種可以被衡量和計(jì)算的價(jià)值,大數(shù)據(jù)將成為不可或缺的戰(zhàn)略資源。新技術(shù)的發(fā)展必然導(dǎo)致大批專業(yè)人才的稀缺,對于高校而言,擁有專業(yè)的大數(shù)據(jù)師資隊(duì)伍將成為高教產(chǎn)業(yè)發(fā)展的重要環(huán)節(jié)。而在這個(gè)過程中,中國軟件產(chǎn)業(yè)培訓(xùn)網(wǎng)憑借多年的大數(shù)據(jù)企業(yè)培訓(xùn)、技術(shù)咨詢、專業(yè)師資等優(yōu)勢資源,和各大院校一起共同構(gòu)建大數(shù)據(jù)專業(yè)人才培養(yǎng)體系,同時(shí)歡迎更多的高校能夠與本單位聯(lián)手,共同為中國培養(yǎng)出優(yōu)秀的云計(jì)算、大數(shù)據(jù)的專業(yè)人才!本次培訓(xùn)由中聯(lián)軟博(北京)科技有限公司具體承辦,相關(guān)事項(xiàng)如下:
一、課程目標(biāo)
1、使參加學(xué)員全面掌握物大數(shù)據(jù)相關(guān)技術(shù)及教學(xué)方法;幫助各高校在大數(shù)據(jù)專業(yè)課程體系建設(shè)提供全方位、強(qiáng)有力的教學(xué)資源和技術(shù)支持。
2、全面掌握Hadoop的架構(gòu)原理和使用場景,并通過貫穿課程的項(xiàng)目進(jìn)行實(shí)戰(zhàn)鍛煉,從而熟練使用Hadoop進(jìn)行MapRedce程序開發(fā)。課程還涵蓋了分布式計(jì)算領(lǐng)域的常用算法介紹,幫助學(xué)員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價(jià)值。
3、深入理解Hadoop技術(shù)架構(gòu),對Hadoop運(yùn)作機(jī)制有清晰全面的認(rèn)識(shí),可以獨(dú)立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop集群,掌握Hadoop基本運(yùn)維思路和方法,對Hadoop集群進(jìn)行管理和優(yōu)化。
二、培訓(xùn)時(shí)間
2017年7月11日-7月17日杭州(11日全天報(bào)到)
2017年7月18日-7月24日北京(18日全天報(bào)到)
2017年7月25日-7月31日成都(25日全天報(bào)到)
三、培訓(xùn)對象
各高等院校計(jì)算機(jī)科學(xué)技術(shù)、網(wǎng)絡(luò)工程、軟件工程、信息工程、信息管理、物聯(lián)網(wǎng)等相關(guān)專業(yè)教學(xué)帶頭人及骨干教師;各高校教務(wù)處、科研處、信息中心、實(shí)驗(yàn)室等領(lǐng)導(dǎo)
各企業(yè)大數(shù)據(jù)架構(gòu)師、技術(shù)總監(jiān)、數(shù)據(jù)挖掘負(fù)責(zé)人、數(shù)據(jù)挖掘開發(fā)工程師
四、培訓(xùn)安排
在本屆師資培訓(xùn)安排的實(shí)訓(xùn)課程中,來自阿里與高校等專家講師、一線工程師將結(jié)合自主研發(fā)的Hadoop課程體系及實(shí)驗(yàn),講解并帶著老師們完成了從實(shí)驗(yàn)基礎(chǔ)環(huán)境的搭建---實(shí)驗(yàn)數(shù)據(jù)的建立---實(shí)驗(yàn)數(shù)據(jù)的導(dǎo)入---數(shù)據(jù)分析—數(shù)據(jù)挖掘全過程,以幫助參訓(xùn)教師完整學(xué)習(xí)Hadoop知識(shí)體系,包括實(shí)驗(yàn)環(huán)境的搭建、使用、數(shù)據(jù)分析、數(shù)據(jù)挖掘,給參訓(xùn)老師們有了更加直觀的體驗(yàn)。還詳細(xì)講解了大數(shù)據(jù)搜索挖掘平臺(tái),通過大數(shù)據(jù)精準(zhǔn)搜索,使其搜索結(jié)果自動(dòng)分組統(tǒng)計(jì)。根據(jù)關(guān)鍵詞提取,聚類、過濾分類等技術(shù)流程進(jìn)行數(shù)據(jù)挖掘,挖掘出數(shù)據(jù)的價(jià)值。
五、師資力量
張老師:阿里大數(shù)據(jù)高級專家,國內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家,對HDFS、MapRedce、Hbase、Hive、Mahot、Storm、spark和openTSDB、大數(shù)據(jù)挖掘算法等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究,更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用,因此在Hadoop開發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有:某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國移動(dòng)某省移動(dòng)公司請賬單系統(tǒng)和某省移動(dòng)詳單實(shí)時(shí)查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(WebGameDaas)平臺(tái)項(xiàng)目等。
蔣老師:清華大學(xué)博士,云計(jì)算專家熟悉主流的云計(jì)算平臺(tái),并有商業(yè)與開源云計(jì)算平臺(tái)的實(shí)踐經(jīng)驗(yàn),對云計(jì)算關(guān)鍵技術(shù)有深刻了解和實(shí)踐經(jīng)驗(yàn),如分布式系統(tǒng)、虛擬化、分布式文件系統(tǒng)、云存儲(chǔ)等,參與并領(lǐng)導(dǎo)多個(gè)大型云計(jì)算項(xiàng)目。對大數(shù)據(jù)關(guān)鍵技術(shù)有深刻了解和實(shí)踐經(jīng)驗(yàn),如NoSQL數(shù)據(jù)庫、大數(shù)據(jù)處理、Hadoop、Hive、Hbase、Spark等。
六、頒發(fā)證書
參加相關(guān)培訓(xùn)并通過考試的學(xué)員,可以獲得:
工業(yè)和信息化部頒發(fā)的-大數(shù)據(jù)處理高級工程師。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明,以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據(jù)。
注:請學(xué)員帶二寸彩照2張(背面注明姓名)、身份證復(fù)印件一張。
七、培訓(xùn)費(fèi)用及須知
3980元/人(含盤電子資料、教材、培訓(xùn)費(fèi)、證書費(fèi)以及學(xué)習(xí)用具等費(fèi)用)
食宿統(tǒng)一安排,費(fèi)用自理。
八、增值服務(wù)
1、協(xié)助高校大數(shù)據(jù)專業(yè)共建和課程置換
2、建立大數(shù)據(jù)聯(lián)合實(shí)驗(yàn)室,協(xié)助高校搭建大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)
3、培養(yǎng)大數(shù)據(jù)專業(yè)講師,為高校大數(shù)據(jù)課程儲(chǔ)備人才
4、培養(yǎng)大數(shù)據(jù)應(yīng)用型人才,面向就業(yè)提高學(xué)生就業(yè)率
5、免費(fèi)提供大數(shù)據(jù)相關(guān)咨詢服務(wù)
九、報(bào)名方式
請?zhí)詈脠?bào)名回執(zhí)表,并于開班前一周傳真或者郵件至?xí)?wù)組,開班前一周我們將發(fā)送報(bào)到通知,屆時(shí)請注意查收.
十、培訓(xùn)內(nèi)容
課程模塊課程主題主要內(nèi)容案例和演示
模塊一大數(shù)據(jù)介紹及高校如何開設(shè)大數(shù)據(jù)教學(xué)課程
1)大數(shù)據(jù)概念的發(fā)展與解析
2)大數(shù)據(jù)在國內(nèi)外發(fā)展現(xiàn)狀
3)大數(shù)據(jù)在互聯(lián)網(wǎng)發(fā)展現(xiàn)狀
4)大數(shù)據(jù)四個(gè)特點(diǎn)分析
5)大數(shù)據(jù)課程教師需要具備的大數(shù)據(jù)知識(shí)儲(chǔ)備
6)大數(shù)據(jù)相關(guān)招聘崗位需求分析
7)大數(shù)據(jù)技術(shù)演進(jìn)與變革
8)應(yīng)對IT新技術(shù)變革,教師知識(shí)的儲(chǔ)備與提升
9)在哪個(gè)層面進(jìn)行教學(xué)精彩案例
高校開設(shè)大數(shù)據(jù)的教學(xué)可在多個(gè)層面上進(jìn)行
有條件的高??梢蚤_設(shè)云計(jì)算專業(yè)
不具備條件的高??梢蚤_設(shè)大數(shù)據(jù)方面的課程,介紹大數(shù)據(jù)的知識(shí),引導(dǎo)學(xué)生向大數(shù)據(jù)方面發(fā)展
模塊二大數(shù)據(jù)帶來的機(jī)遇和挑戰(zhàn)大數(shù)據(jù)帶來的機(jī)遇和挑戰(zhàn)
1)大數(shù)據(jù)能帶來什么、引領(lǐng)社會(huì)進(jìn)入“大數(shù)據(jù)時(shí)代”
2)大數(shù)據(jù)對國家、社會(huì)的作用、大數(shù)據(jù)將推動(dòng)經(jīng)濟(jì)發(fā)展
3)大數(shù)據(jù)將推動(dòng)科技發(fā)展進(jìn)程、開啟商業(yè)智能新階段
4)數(shù)據(jù)分析的發(fā)展——從數(shù)據(jù)到知識(shí)大數(shù)據(jù)如何讓商業(yè)更智能、大數(shù)據(jù)應(yīng)用案例
5)帶來數(shù)據(jù)處理新變革、大數(shù)據(jù)的關(guān)鍵技術(shù)
6)大數(shù)據(jù)與云計(jì)算、大數(shù)據(jù)技術(shù)的發(fā)展趨勢精彩案例
電信手機(jī)上網(wǎng)日志分析
移動(dòng)GPRS上網(wǎng)日志查詢系統(tǒng)
某省份聯(lián)通網(wǎng)絡(luò)不良信息檢測系統(tǒng)
國土資源部門下屬單位非結(jié)構(gòu)離線網(wǎng)格分析平臺(tái)
某銀行海量數(shù)據(jù)統(tǒng)一分析平臺(tái)
某電信用戶屬性精分系統(tǒng)
某銀行實(shí)時(shí)計(jì)算平臺(tái)
某電力電臺(tái)電視節(jié)目推薦系統(tǒng)
模塊三Hadoop在云計(jì)算技術(shù)的作用和地位傳統(tǒng)大規(guī)模系統(tǒng)存在的問題
Hadoop概述
Hadoop分布式文件系統(tǒng)
MapRedce工作原理
Hadoop集群剖析
Hadoop生態(tài)系統(tǒng)對一種新的解決方案的需求
Hadoop的行業(yè)應(yīng)用案例分析
Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系數(shù)據(jù)開放,數(shù)據(jù)云服務(wù)平臺(tái)(DAAS)時(shí)代
Hadoop平臺(tái)在數(shù)據(jù)云平臺(tái)(DAAS)上的天然優(yōu)勢。
數(shù)據(jù)云平臺(tái)(DAAS平臺(tái))組成部分
互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)案例
Hadoop構(gòu)建構(gòu)建游戲云(WebGameDaas)平臺(tái)
模塊四Hadoop生態(tài)系統(tǒng)介紹和演示HadoopHDFS和MapRedce
Hadoop數(shù)據(jù)庫之Hbase
Hadoop數(shù)據(jù)倉庫之Hive
Hadoop數(shù)據(jù)處理腳本Pig
Hadoop數(shù)據(jù)接口Sqoop和Flme,ScribeDataX
Hadoop工作流引擎Oozie運(yùn)用Hadoop自下而上構(gòu)建大規(guī)模企業(yè)數(shù)據(jù)倉庫
暴風(fēng)影音數(shù)據(jù)倉庫實(shí)戰(zhàn)解析
模塊五Hadoop組件詳解HadoopHDFS基本結(jié)構(gòu)
HadoopHDFS副本存放策略
HadoopNameNode詳解
HadoopSecondaryNameNode詳解
HadoopDataNode詳解
HadoopJobTracker詳解
HadoopTaskTracker詳解HadoopMapper類核心代碼
HadoopRedce類核心代碼
Hadoop核心代碼
模塊六Hadoop安裝和部署Hadoop系統(tǒng)模塊組件概述
Hadoop試驗(yàn)集群的部署結(jié)構(gòu)
Hadoop安裝依賴關(guān)系
Hadoop生產(chǎn)環(huán)境的部署結(jié)構(gòu)
Hadoop集群部署
Hadoop高可用配置方法
Hadoop集群簡單測試方法
Hadoop集群異常Debg方法Hadoop安裝部署實(shí)驗(yàn)
RedhatLinx基礎(chǔ)環(huán)境搭建
Hadoop單機(jī)系統(tǒng)版本安裝配置
Hadoop集群系統(tǒng)版本安裝和啟動(dòng)配置
使用HadoopMapRedceStreaming快速測試系統(tǒng)
Hadoopcore-site,hdfs-site,mapred-site配置詳解
模塊七Hadoop集群規(guī)劃Hadoop集群內(nèi)存要求
Hadoop集群磁盤分區(qū)
集群和網(wǎng)絡(luò)拓?fù)湟?br />
集群軟件的端口配置針對NameNodeJobtrackerDataNodeTaskTrackerHiveserver等不同組件需求推薦服務(wù)器配置
模塊八 MapRedce算法原理HadoopMapRedce算法的原理和優(yōu)化思想
靈活運(yùn)用MapRedce實(shí)現(xiàn)算法運(yùn)用MapRedce構(gòu)建數(shù)據(jù)庫算法
SelectSortGrogBySmCont
Join新進(jìn)流失算法
使用Y-Smart快速轉(zhuǎn)換SQL為MapRedce代碼
模塊九 編寫MapRedce高級程序使用HadoopMapRedceStreaming編程
MapRedce流程
剖析一個(gè)MapRedce程序
基本MapRedceAPI概念
驅(qū)動(dòng)代碼Mapper、Redcer
Hadoop流
API使用Eclipse進(jìn)行快速開發(fā)
新MapRedceAPI
MapRedce的優(yōu)化
MapRedce的任務(wù)調(diào)度
MapRedce編程實(shí)戰(zhàn)
如何利用其他Hadoop相關(guān)技術(shù),包括ApacheHive,ApachePig,Sqoop和Oozie等
滿足解決實(shí)際數(shù)據(jù)分析問題的高級HadoopAPIHadoopStreaming和JavaMapRedceApi差異。
MapRedce實(shí)現(xiàn)數(shù)據(jù)庫功能
利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負(fù)載平衡
直接訪問Hadoop分布式文件系統(tǒng)(HDFS)
Hadoop的join操作
輔助排序在Redcer方的合并
定制Writables和WritableComparables
使用SeqenceFiles和Avro文件保存二進(jìn)制數(shù)據(jù)
創(chuàng)建InptFormatsOtptFormats
Hadoop的二次排序
Hadoop的海量日志分析
在Map方的合并
模塊十 集成Hadoop到現(xiàn)有工作流
及HadoopAPI深入探討存儲(chǔ)系統(tǒng)
利用Sqoop從關(guān)系型數(shù)據(jù)庫系統(tǒng)中導(dǎo)入數(shù)據(jù)到Hadoop
利用Flme導(dǎo)入實(shí)時(shí)數(shù)據(jù)到Hadoop
ToolRnner介紹、使用MRnit進(jìn)行測試
使用Configre和Close方法來進(jìn)行Map/Redce設(shè)置和關(guān)閉使用FseDFS和Hadoop訪問HDFS
使用分布式緩存(DistribtedCache)
直接訪問Hadoop分布式文件系統(tǒng)(HDFS)
利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負(fù)載平衡
模塊十一 使用Hive和Pig開發(fā)及技巧Hive和Pig基礎(chǔ)
Hive的作用和原理說明
Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系
Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
Hive部署和安裝
HiveCli的基本用法
HQL基本語法
運(yùn)用Pig過濾用戶數(shù)據(jù)使用JDBC連接Hive進(jìn)行查詢和分析
使用正則表達(dá)式加載數(shù)據(jù)
HQL高級語法
編寫DF函數(shù)
編寫DAF自定義函數(shù)
基于Hive腳本內(nèi)嵌Streaming編程
模塊十二 Hbase安裝和使用Hbase安裝部署
Hbase原理和結(jié)構(gòu)
Hbase運(yùn)維和管理使用Hbase+Hive提供OLAPSQL查詢能力
使用Hbase+Phoenix提供OLTPSQL能力
基于Hbase的時(shí)間序列數(shù)據(jù)庫OpenTsDb結(jié)構(gòu)解析
模塊十三 Hadoop2.0集群探索Hadoop2.0HDFS原理
Hadoop2.0Yarn原理
Hadoop2.0生態(tài)系統(tǒng)基于Hadoop2.0構(gòu)建分布式系統(tǒng)
模塊十四 Hadoop企業(yè)級別案例解析Hadoop結(jié)構(gòu)化數(shù)據(jù)案例
Hadoop非結(jié)構(gòu)化案例
Hbase數(shù)據(jù)庫案例
Hadoop視頻分析案例利用大數(shù)據(jù)分析改進(jìn)交通管理
區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用案例
銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)
某銀行大數(shù)據(jù)Spark應(yīng)用案例詳解
某證券公司大數(shù)據(jù)案例介紹
廣東移動(dòng)省公司請賬單系統(tǒng)
上海電信網(wǎng)絡(luò)優(yōu)化
某通信運(yùn)營商全國用戶上網(wǎng)記錄
浙江臺(tái)州市智能交通系統(tǒng)
移動(dòng)廣州詳單實(shí)時(shí)查詢系統(tǒng)
跨區(qū)域?qū)崟r(shí)視頻監(jiān)控系統(tǒng)
電信大數(shù)據(jù)案例介紹:
基于社交網(wǎng)絡(luò)的*營銷和客戶維系
基于信令分析用戶的移動(dòng)軌跡
基站規(guī)劃和動(dòng)態(tài)優(yōu)化
智慧城市交通
流量分析
上海聯(lián)通大數(shù)據(jù)開放變現(xiàn)的實(shí)現(xiàn)案例介紹
模塊十五 RedHadoop企業(yè)版本運(yùn)用RedHadoop快速構(gòu)建服務(wù)集群
運(yùn)用RedHadoopDW構(gòu)建數(shù)據(jù)倉庫基于RedHadoopHive構(gòu)建數(shù)據(jù)倉庫平臺(tái)
靈活運(yùn)用Hive加速游戲數(shù)據(jù)倉庫
基于Pig+OpenCV大規(guī)模圖像人臉識(shí)別
模塊十六 Spark原理和入門Spark原理;Spark的架構(gòu)圖;Spark運(yùn)行模式介紹
—local;—standalone;—messos;—yarn;Spark的RDD
什么是RDD;RDD的種類;—Tranformation;—Action
Spark的存儲(chǔ)級別;Cache介紹;Spark的容錯(cuò)原理
Lineage容錯(cuò);Checkpoint容錯(cuò);RDD的創(chuàng)建
案例—統(tǒng)計(jì)單詞的個(gè)數(shù)
模塊十七 互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用案例根阿里的ODPS大數(shù)據(jù)平臺(tái)架構(gòu)介紹
阿里的實(shí)時(shí)推薦架構(gòu)
阿里的交叉營銷系統(tǒng)
阿里支付寶交易監(jiān)控系統(tǒng)
支付寶微貸案例分析(互聯(lián)網(wǎng)征信系統(tǒng))
京東打白條系統(tǒng)分析
百度預(yù)測大數(shù)據(jù)平臺(tái)案例分析
轉(zhuǎn)載:http://www.jkyingpanluxiangji.com/gkk_detail/23552.html
已開課時(shí)間Have start time
IT相關(guān)內(nèi)訓(xùn)
- 電力信息化:價(jià)值和建設(shè)分析 劉宇佳
- CISSP認(rèn)證培訓(xùn)課程 張勝生
- 大模型技術(shù)與應(yīng)用培訓(xùn) 葉梓
- 信息安全風(fēng)險(xiǎn)評估與加固技能 張勝生
- Python高效辦公自動(dòng)化 張曉如
- IT崗位數(shù)智化能力提升路徑 甄文智
- 云計(jì)算的應(yīng)用領(lǐng)域和實(shí)踐 武威
- 網(wǎng)安管理崗培訓(xùn) 張勝生
- 軟件安全意識(shí)加強(qiáng)與技能提高 張勝生
- Fine BI 數(shù)據(jù)分析與 張曉如
- 互聯(lián)網(wǎng)新技術(shù)在銀行的應(yīng)用 武威
- 滲透測試與攻防實(shí)戰(zhàn)高級課程 張勝生