综合亚洲欧美,亚洲欧洲另类,逼逼爱爱,国产限制,欧美 久久国产亚洲日韩一本,欧美日韩专区国产精品,久久精品

全國 [城市選擇] [會員登錄] [講師注冊] [機構(gòu)注冊] [助教注冊]  
中國企業(yè)培訓(xùn)講師
暑期大數(shù)據(jù)“ Hadoop應(yīng)用與開發(fā)高級工程師” 實戰(zhàn)培訓(xùn)班
 
講師:講師團 瀏覽次數(shù):2617

課程描述INTRODUCTION

大數(shù)據(jù)培訓(xùn):Hadoop應(yīng)用與開發(fā)高級工程師

· IT人士

培訓(xùn)講師:講師團    課程價格:¥元/人    培訓(xùn)天數(shù):5天   

日程安排SCHEDULE

課程大綱Syllabus

模塊一大數(shù)據(jù)介紹帶來的機遇和挑戰(zhàn)
1)大數(shù)據(jù)概念的發(fā)展與解析
2)大數(shù)據(jù)在國內(nèi)外發(fā)展現(xiàn)狀
3)大數(shù)據(jù)在互聯(lián)網(wǎng)發(fā)展現(xiàn)狀
4)大數(shù)據(jù)四個特點分析
大數(shù)據(jù)帶來的機遇和挑戰(zhàn)
1)大數(shù)據(jù)能帶來什么、引領(lǐng)社會進入“大數(shù)據(jù)時代”
2)大數(shù)據(jù)對國家、社會的作用、大數(shù)據(jù)將推動經(jīng)濟發(fā)展
3)大數(shù)據(jù)將推動科技發(fā)展進程、開啟商業(yè)智能新階段
4)數(shù)據(jù)分析的發(fā)展——從數(shù)據(jù)到知識大數(shù)據(jù)如何讓商業(yè)更智能、大數(shù)據(jù)應(yīng)用案例
5)帶來數(shù)據(jù)處理新變革、大數(shù)據(jù)的關(guān)鍵技術(shù)
6)大數(shù)據(jù)與云計算、大數(shù)據(jù)技術(shù)的發(fā)展趨勢精彩案例
電信手機上網(wǎng)日志分析
移動GPRS上網(wǎng)日志查詢系統(tǒng)
某省份聯(lián)通網(wǎng)絡(luò)不良信息檢測系統(tǒng)
國土資源部門下屬單位非結(jié)構(gòu)離線網(wǎng)格分析平臺
某銀行海量數(shù)據(jù)統(tǒng)一分析平臺
某電信用戶屬性精分系統(tǒng)
某銀行實時計算平臺
某電力電臺電視節(jié)目推薦系統(tǒng)

模塊二Hadoop在云計算技術(shù)的作用和地位傳統(tǒng)大規(guī)模系統(tǒng)存在的問題
Hadoop概述
Hadoop分布式文件系統(tǒng)
MapRedce工作原理
Hadoop集群剖析
Hadoop生態(tài)系統(tǒng)對一種新的解決方案的需求
Hadoop的行業(yè)應(yīng)用案例分析
Hadoop在云計算和大數(shù)據(jù)的位置和關(guān)系數(shù)據(jù)開放,數(shù)據(jù)云服務(wù)平臺(DAAS)時代
Hadoop平臺在數(shù)據(jù)云平臺(DAAS)上的天然優(yōu)勢。
數(shù)據(jù)云平臺(DAAS平臺)組成部分
互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)案例
Hadoop構(gòu)建構(gòu)建游戲云(WebGameDaas)平臺

模塊三Hadoop生態(tài)系統(tǒng)介紹和演示HadoopHDFS和MapRedce
Hadoop數(shù)據(jù)庫之Hbase
Hadoop數(shù)據(jù)倉庫之Hive
Hadoop數(shù)據(jù)處理腳本Pig
Hadoop數(shù)據(jù)接口Sqoop和Flme,ScribeDataX
Hadoop工作流引擎Oozie運用Hadoop自下而上構(gòu)建大規(guī)模企業(yè)數(shù)據(jù)倉庫
暴風影音數(shù)據(jù)倉庫實戰(zhàn)解析

模塊四Hadoop組件詳解HadoopHDFS基本結(jié)構(gòu)
HadoopHDFS副本存放策略
HadoopNameNode詳解
HadoopSecondaryNameNode詳解
HadoopDataNode詳解
HadoopJobTracker詳解
HadoopTaskTracker詳解HadoopMapper類核心代碼
HadoopRedce類核心代碼
Hadoop核心代碼

模塊五Hadoop安裝和部署Hadoop系統(tǒng)模塊組件概述
Hadoop試驗集群的部署結(jié)構(gòu)
Hadoop安裝依賴關(guān)系
Hadoop生產(chǎn)環(huán)境的部署結(jié)構(gòu)
Hadoop集群部署
Hadoop高可用配置方法
Hadoop集群簡單測試方法
Hadoop集群異常Debg方法Hadoop安裝部署實驗
RedhatLinx基礎(chǔ)環(huán)境搭建
Hadoop單機系統(tǒng)版本安裝配置
Hadoop集群系統(tǒng)版本安裝和啟動配置
使用HadoopMapRedceStreaming快速測試系統(tǒng)
Hadoopcore-site,hdfs-site,mapred-site配置詳解

模塊六Hadoop集群規(guī)劃Hadoop集群內(nèi)存要求
Hadoop集群磁盤分區(qū)
集群和網(wǎng)絡(luò)拓撲要求
集群軟件的端口配置針對NameNodeJobtrackerDataNodeTaskTrackerHiveserver等不同組件需求推薦服務(wù)器配置

模塊七MapRedce算法原理HadoopMapRedce算法的原理和優(yōu)化思想
靈活運用MapRedce實現(xiàn)算法運用MapRedce構(gòu)建數(shù)據(jù)庫算法
SelectSortGrogBySmCont
Join新進流失算法
使用Y-Smart快速轉(zhuǎn)換SQL為MapRedce代碼

模塊八編寫MapRedce高級程序使用HadoopMapRedceStreaming編程
MapRedce流程
剖析一個MapRedce程序
基本MapRedceAPI概念
驅(qū)動代碼Mapper、Redcer
Hadoop流
API使用Eclipse進行快速開發(fā)
新MapRedceAPI
MapRedce的優(yōu)化
MapRedce的任務(wù)調(diào)度
MapRedce編程實戰(zhàn)
如何利用其他Hadoop相關(guān)技術(shù),包括ApacheHive,ApachePig,Sqoop和Oozie等
滿足解決實際數(shù)據(jù)分析問題的高級HadoopAPIHadoopStreaming和JavaMapRedceApi差異。
MapRedce實現(xiàn)數(shù)據(jù)庫功能
利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負載平衡
直接訪問Hadoop分布式文件系統(tǒng)(HDFS)
Hadoop的join操作
輔助排序在Redcer方的合并
定制Writables和WritableComparables
使用SeqenceFiles和Avro文件保存二進制數(shù)據(jù)
創(chuàng)建InptFormatsOtptFormats
Hadoop的二次排序
Hadoop的海量日志分析
在Map方的合并

模塊九集成Hadoop到現(xiàn)有工作流
及HadoopAPI深入探討存儲系統(tǒng)
利用Sqoop從關(guān)系型數(shù)據(jù)庫系統(tǒng)中導(dǎo)入數(shù)據(jù)到Hadoop
利用Flme導(dǎo)入實時數(shù)據(jù)到Hadoop
ToolRnner介紹、使用MRnit進行測試
使用Configre和Close方法來進行Map/Redce設(shè)置和關(guān)閉使用FseDFS和Hadoop訪問HDFS
使用分布式緩存(DistribtedCache)
直接訪問Hadoop分布式文件系統(tǒng)(HDFS)
利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負載平衡

模塊十使用Hive和Pig開發(fā)及技巧Hive和Pig基礎(chǔ)
Hive的作用和原理說明
Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系
Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
Hive部署和安裝
HiveCli的基本用法
HQL基本語法
運用Pig過濾用戶數(shù)據(jù)使用JDBC連接Hive進行查詢和分析
使用正則表達式加載數(shù)據(jù)
HQL高級語法
編寫DF函數(shù)
編寫DAF自定義函數(shù)
基于Hive腳本內(nèi)嵌Streaming編程

模塊十一Hbase安裝和使用Hbase安裝部署
Hbase原理和結(jié)構(gòu)
Hbase運維和管理使用Hbase+Hive提供OLAPSQL查詢能力
使用Hbase+Phoenix提供OLTPSQL能力
基于Hbase的時間序列數(shù)據(jù)庫OpenTsDb結(jié)構(gòu)解析

模塊十二Hadoop2.0集群探索Hadoop2.0HDFS原理
Hadoop2.0Yarn原理
Hadoop2.0生態(tài)系統(tǒng)基于Hadoop2.0構(gòu)建分布式系統(tǒng)

模塊十三Hadoop企業(yè)級別案例解析Hadoop結(jié)構(gòu)化數(shù)據(jù)案例
Hadoop非結(jié)構(gòu)化案例
Hbase數(shù)據(jù)庫案例
Hadoop視頻分析案例利用大數(shù)據(jù)分析改進交通管理
區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用案例
銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺
某銀行大數(shù)據(jù)Spark應(yīng)用案例詳解
某證券公司大數(shù)據(jù)案例介紹
廣東移動省公司請賬單系統(tǒng)
上海電信網(wǎng)絡(luò)優(yōu)化
某通信運營商全國用戶上網(wǎng)記錄
浙江臺州市智能交通系統(tǒng)
移動廣州詳單實時查詢系統(tǒng)
跨區(qū)域?qū)崟r視頻監(jiān)控系統(tǒng)
電信大數(shù)據(jù)案例介紹:
基于社交網(wǎng)絡(luò)的*營銷和客戶維系
基于信令分析用戶的移動軌跡
基站規(guī)劃和動態(tài)優(yōu)化
智慧城市交通
流量分析
上海聯(lián)通大數(shù)據(jù)開放變現(xiàn)的實現(xiàn)案例介紹

模塊十四RedHadoop企業(yè)版本運用RedHadoop快速構(gòu)建服務(wù)集群
運用RedHadoopDW構(gòu)建數(shù)據(jù)倉庫基于RedHadoopHive構(gòu)建數(shù)據(jù)倉庫平臺
靈活運用Hive加速游戲數(shù)據(jù)倉庫
基于Pig+OpenCV大規(guī)模圖像人臉識別

模塊十五Spark原理和入門Spark原理;Spark的架構(gòu)圖;Spark運行模式介紹
—local;—standalone;—messos;—yarn;Spark的RDD
什么是RDD;RDD的種類;—Tranformation;—Action
Spark的存儲級別;Cache介紹;Spark的容錯原理
Lineage容錯;Checkpoint容錯;RDD的創(chuàng)建
案例—統(tǒng)計單詞的個數(shù)

模塊十六互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用案例根阿里的ODPS大數(shù)據(jù)平臺架構(gòu)介紹
阿里的實時推薦架構(gòu)
阿里的交叉營銷系統(tǒng)
阿里支付寶交易監(jiān)控系統(tǒng)
支付寶微貸案例分析(互聯(lián)網(wǎng)征信系統(tǒng))
京東打白條系統(tǒng)分析
百度預(yù)測大數(shù)據(jù)平臺案例分析

大數(shù)據(jù)培訓(xùn):Hadoop應(yīng)用與開發(fā)高級工程師


轉(zhuǎn)載:http://www.jkyingpanluxiangji.com/gkk_detail/23553.html

已開課時間Have start time

在線報名Online registration

    參加課程:暑期大數(shù)據(jù)“ Hadoop應(yīng)用與開發(fā)高級工程師” 實戰(zhàn)培訓(xùn)班

    單位名稱:

  • 參加日期:
  • 聯(lián)系人:
  • 手機號碼:
  • 座機電話:
  • QQ或微信:
  • 參加人數(shù):
  • 開票信息:
  • 輸入驗證:  看不清楚?點擊驗證碼刷新
付款信息:
開戶名:上海投智企業(yè)管理咨詢有限公司
開戶行:中國銀行股份有限公司上海市長壽支行
帳號:454 665 731 584