數(shù)據(jù)分析與數(shù)據(jù)挖掘方法論與工具
講師：尹立慶 瀏覽次數(shù)：2552
課程描述INTRODUCTION
數(shù)據(jù)分析與數(shù)據(jù)挖掘方法
· IT人士· 其他人員· 系統(tǒng)工程師· 技術(shù)總監(jiān)
培訓(xùn)講師：尹立慶
課程價格：￥元/人
培訓(xùn)天數(shù)：3天
日程安排SCHEDULE
課程大綱Syllabus
數(shù)據(jù)分析與數(shù)據(jù)挖掘方法
課程簡介
隨著大數(shù)據(jù)時代的快速到來，以及大數(shù)據(jù)在生產(chǎn)生活中迅速應(yīng)用，大數(shù)據(jù)領(lǐng)域如雨后春筍般的出現(xiàn)大量的新技術(shù)，如Hadoop、Spark等技術(shù)已經(jīng)成為大數(shù)據(jù)技術(shù)中最為重要的一部分，被越來越多的企業(yè)所使用。涵蓋了大數(shù)據(jù)領(lǐng)域的數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、機器學(xué)習(xí)、人工智能、大數(shù)據(jù)應(yīng)用開發(fā)等各種不同類型的計算操作，應(yīng)用范圍廣泛、前景非常廣闊。本課程是尹老師多年工作經(jīng)驗的總結(jié)和歸納，從實際業(yè)務(wù)案例為入口，使學(xué)員從理論層到實操層面系統(tǒng)的學(xué)習(xí)數(shù)據(jù)處理技術(shù)，使學(xué)員深入理解數(shù)據(jù)分析。通過本課程的學(xué)習(xí)，學(xué)員即可以正確的分析企業(yè)的數(shù)據(jù)，為管理者、決策層提供數(shù)據(jù)支撐。
本課程重點講解的數(shù)據(jù)分析和數(shù)據(jù)挖掘方法論、算法、思路、流程、工具，并通過對SPSS與SAS數(shù)據(jù)處理軟件實現(xiàn)，為企業(yè)的戰(zhàn)略發(fā)展提供參考。
培訓(xùn)目標
1、 介紹數(shù)據(jù)分析、數(shù)據(jù)挖掘方法論、算法、常用工具，在工作中如何應(yīng)用數(shù)據(jù)分析；
2、 介紹數(shù)據(jù)分析思路，學(xué)習(xí)提煉數(shù)據(jù)、分析數(shù)據(jù)和建立數(shù)據(jù)模型的方法和技巧；
3、 讓學(xué)員掌握基礎(chǔ)統(tǒng)計分析知識，包括概率統(tǒng)計的概念、術(shù)語和基本統(tǒng)計的算法等；
4、 使學(xué)員具備分析企業(yè)業(yè)務(wù)數(shù)據(jù)的能力，提高分析數(shù)據(jù)、發(fā)現(xiàn)問題的能力，提高工作效率；
5、 使用SPSS實現(xiàn)數(shù)據(jù)挖掘與數(shù)據(jù)分析與建模；
6、 使學(xué)員具備數(shù)據(jù)分析與建模為企業(yè)管理者制定戰(zhàn)略決策提供數(shù)據(jù)依據(jù)；
7、 使學(xué)員深入理解數(shù)據(jù)分析與數(shù)據(jù)模型的概念、技術(shù)、思維模式；
8、 使學(xué)員具備數(shù)據(jù)收集、數(shù)據(jù)挖掘、信息提取的能力；
9、 使學(xué)員具備利用圖形輔助思考的能力；
10、 使學(xué)員具備大數(shù)據(jù)技術(shù)梳理技能，如歷史數(shù)據(jù)+預(yù)測方法+標準工序。
培訓(xùn)對象
1、 即將投身于大數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)挖掘領(lǐng)域的企業(yè)或者個人；
2、 本課程適合于想通過數(shù)據(jù)化決策制定企業(yè)戰(zhàn)略的決策者；
3、 適合于經(jīng)常需要匯報工作的管理者；
4、 對數(shù)據(jù)可視化分析、數(shù)據(jù)可視化展現(xiàn)等感興趣的人士；
5、 對數(shù)據(jù)分析、數(shù)據(jù)挖掘算法等感興趣的人士；
6、 大型集團公司、大型網(wǎng)站、電商網(wǎng)站等數(shù)據(jù)挖掘、數(shù)據(jù)分析人員；
7、 云計算、大數(shù)據(jù)從業(yè)者；
8、 系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員；
9、 牽涉到大數(shù)據(jù)的數(shù)據(jù)中心運維、規(guī)劃、設(shè)計負責(zé)人；
10、 政府機關(guān)，金融保險、移動互聯(lián)網(wǎng)、能源行業(yè)等大數(shù)據(jù)相關(guān)人員；
11、 高校、科研院所統(tǒng)計分析研究員，涉及到數(shù)據(jù)處理的人員；
課程內(nèi)容：
第1個主題： 數(shù)據(jù)分析與數(shù)據(jù)挖掘概述（深入剖析數(shù)據(jù)數(shù)據(jù)分析與數(shù)據(jù)挖掘的過程與方法，介紹數(shù)據(jù)建模中的機器學(xué)習(xí)與數(shù)據(jù)挖掘）
1、 數(shù)據(jù)分析與建模的概念
2、 數(shù)據(jù)分析與建模過程
3、 數(shù)據(jù)分析模型開發(fā)過程
4、 數(shù)據(jù)建模概述
5、 機器學(xué)習(xí)概念
6、 機器學(xué)習(xí)算法剖析
7、 算法庫分類
8、 算法庫
9、 深度學(xué)習(xí)
10、 神經(jīng)網(wǎng)絡(luò)
11、 人工智能
12、 商業(yè)智能
第2個主題： 數(shù)據(jù)挖掘和應(yīng)用（介紹數(shù)據(jù)挖掘和應(yīng)用）
1、 數(shù)據(jù)挖掘的基本任務(wù)
2、 數(shù)據(jù)挖掘建模過程
a) 定義挖掘目標
b) 數(shù)據(jù)取樣
c) 數(shù)據(jù)探索
d) 數(shù)據(jù)預(yù)處理
e) 挖掘建模
f) 建立模型
g) 業(yè)務(wù)理解
h) 模型擬合
i) 訓(xùn)練集
j) 測試集
k) 模型評價
3、 常用的數(shù)學(xué)預(yù)測模型
a) 線性回歸
b) 回歸（預(yù)測）與分類
c) 決策樹與隨機森林
d) 聚類分析（kmeans）
e) 關(guān)聯(lián)規(guī)則
f) 時序模式
g) 離群點檢測
h) 深度學(xué)習(xí)
i) 人工智能
j) 神經(jīng)網(wǎng)絡(luò)
4、 案例：如何從數(shù)據(jù)中挖掘出有價值的信息
第3個主題： 數(shù)據(jù)預(yù)處理（剖析數(shù)據(jù)預(yù)處理技術(shù)）
1、 數(shù)據(jù)分析挖掘的過程
2、 建立數(shù)據(jù)庫的方法
3、 企業(yè)對數(shù)據(jù)分析挖掘的錯誤認識
4、 有效運用數(shù)據(jù)為客戶提供針對性、主動化服務(wù)（精準營銷）
5、 數(shù)據(jù)源
6、 數(shù)據(jù)采集
7、 隨機抽樣
8、 數(shù)據(jù)去重
9、 數(shù)據(jù)缺失值處理
10、 檢驗數(shù)據(jù)邏輯錯誤
11、 離群點檢測
12、 數(shù)據(jù)轉(zhuǎn)換
13、 數(shù)據(jù)分組
14、 課堂實操：數(shù)據(jù)預(yù)處理案例講解
第4個主題： 數(shù)據(jù)的描述性分析（深入剖析數(shù)據(jù)的描述性分析）
1、 統(tǒng)計學(xué)基本概念
2、 統(tǒng)計數(shù)據(jù)的計量尺度
3、 常用基本統(tǒng)計量
4、 集中趨勢的描述指標
5、 離散趨勢的描述指標
6、 中心極限定理
7、 大數(shù)定律
8、 數(shù)據(jù)的分布
9、 正態(tài)分布的特征
10、 偏度和峰度
11、 檢測數(shù)據(jù)集的分布
12、 數(shù)據(jù)的分布擬合檢驗與正態(tài)性檢驗
13、 抽樣標準
14、 假設(shè)檢驗
15、 T檢驗
16、 置信區(qū)間
第5個主題： 數(shù)據(jù)的可視化（實踐數(shù)據(jù)可視化）
1、 散點圖
2、 直方圖
3、 經(jīng)驗分布函數(shù)
4、 QQ圖
5、 莖葉圖
6、 離群點檢測
7、 箱型圖檢驗離群值
8、 蓋帽法
9、 課堂實操：SPSS描述性統(tǒng)計分析實現(xiàn)航空業(yè)客戶描述和行為分析模型
第6個主題： 主成分分析和因子分析（深入剖析主成分分析及因子分析）
1、 主成分分析
2、 總體主成分
3、 樣本主成分
4、 主成分分析模型
5、 案例：SPSS主成分分析模型實現(xiàn)
6、 課堂實操：SPSS主成分分析模型實現(xiàn)
第7個主題： 方差分析（深入剖析方差分析方法及SPSS實現(xiàn)）
1、 單因素方差分析
2、 單因素方差分析模型
3、 因素效應(yīng)的顯著性檢驗
4、 因素各水平均值的估計與比較
5、 兩因素等重復(fù)試驗下的方差分析
6、 統(tǒng)計模型
7、 交互效應(yīng)及因素效應(yīng)的顯著性檢驗
8、 無交互效應(yīng)時各因素均值的估計與比較
9、 有交互效應(yīng)時因素各水平組合上的均值估計與比較
10、 兩因素非重復(fù)試驗下的方差分析
11、 金融案例：SPSS方差分析實現(xiàn)
12、 課堂實操：SPSS方差分析實現(xiàn)
第8個主題： Bayes統(tǒng)計分析（深入剖析Bayes統(tǒng)計分析）
1、 Baves統(tǒng)計模型
2、 Bayes統(tǒng)計分析的基本思想
3、 Bayes統(tǒng)計模型
4、 Bayes統(tǒng)計推斷原則
5、 先驗分布的Bayes假設(shè)與不變先驗分布
6、 共軛先驗分布
7、 先驗分布中超參數(shù)的確定
8、 Baves統(tǒng)計推斷
9、 參數(shù)的Bayes點估計
10、 Bayes區(qū)間估計
11、 Bayes假設(shè)檢驗
12、 案例：SPSS實現(xiàn)Bayes統(tǒng)計分析建模
13、 課堂實操：SPSS實現(xiàn)Bayes統(tǒng)計分析建模
第9個主題： 數(shù)學(xué)建模（深入剖析數(shù)學(xué)建模）
1、 數(shù)學(xué)建模
2、 數(shù)學(xué)預(yù)測模型
3、 模型評估
4、 模型參數(shù)優(yōu)化
第10個主題： 回歸分析與分類分析原理與應(yīng)用（深入剖析數(shù)據(jù)的回歸分析與分類分析的原理以及應(yīng)用）
1、 回歸與分類
2、 回歸分析概念
3、 線性回歸模型及其參數(shù)估計
4、 一元線性回歸
5、 一元線性回歸模型
6、 一元線性回歸模型求解參數(shù)
7、 損失函數(shù)
8、 求偏導(dǎo)
9、 回歸方程的顯著性檢驗
10、 殘差分析
11、 誤差項的正態(tài)性檢驗
12、 殘差圖分析
13、 統(tǒng)計推斷與預(yù)測
14、 回歸模型的選取
15、 窮舉法
16、 逐步回歸法
17、 嶺回歸分析
18、 SPSS一元線性回歸
19、 金融案例：SPSS一元線性回歸模型檢驗
20、 多元線性回歸概述
21、 多元線性回歸模型
22、 金融案例：SPSS多元線性回歸實現(xiàn)航空業(yè)信用打分和評級模型
第11個主題： Logistic回歸分析（剖析Logistic回歸與其它回歸分析方法）
1、 Logistic回歸介紹
2、 Logistic函數(shù)
3、 Logistic回歸模型
4、 案例：SPSS Logistic回歸實現(xiàn)
5、 課堂實操：SPSS Logistic回歸實現(xiàn)航空業(yè)欺詐預(yù)測模型
6、 課堂實操：SPSS Logistic回歸實現(xiàn)航空業(yè)風(fēng)險分析模型
第12個主題： 非線性回歸原理及應(yīng)用（剖析非線性回歸原理及應(yīng)用實踐）
1、 非線性回歸
2、 雙曲線函數(shù)
3、 冪函數(shù)
4、 指數(shù)函數(shù)
5、 對數(shù)函數(shù)
6、 S型曲線
7、 案例：SPSS非線性回歸實現(xiàn)
8、 課堂實操：SPSS非線性回歸實現(xiàn)航空業(yè)經(jīng)營分析和績效分析模型
第13個主題： 數(shù)據(jù)建模常用距離（深入剖析數(shù)據(jù)建模過程中常用的距離模型）
1、 數(shù)據(jù)挖掘常用距離
2、 歐氏距離
3、 曼哈頓距離
4、 切比雪夫距離
5、 閔可夫斯基距離
6、 標準化歐氏距離
7、 馬氏距離
8、 夾角余弦
9、 漢明距離
10、 杰卡德距離 & 杰卡德相似系數(shù)
11、 相關(guān)系數(shù) & 相關(guān)距離
12、 信息熵
第14個主題： 聚類分析與建模實現(xiàn)（深入剖析聚類分析以及通過SPSS聚類算法模型分析數(shù)據(jù)）
1、 聚類分析
2、 聚類算法
3、 樣品間相近性的度量
4、 快速聚類法
5、 快速聚類法的步驟
6、 用Lm距離進行快速聚類
7、 譜系聚類法
8、 類間距離及其遞推公式
9、 譜系聚類法的步驟
10、 變量聚類
11、 案例：SPSS聚類實現(xiàn)及繪圖
12、 案例：Kmeans應(yīng)用案例剖析
13、 課堂實操：編寫程序?qū)崿F(xiàn)Kmeans應(yīng)用案例剖析
第15個主題： 決策樹分析與實現(xiàn)（深入剖析決策樹分析以及通過SPSS決策樹模型分析數(shù)據(jù)）
1、 決策樹分析
2、 決策樹
3、 決策樹構(gòu)成要素
4、 決策樹算法原理
5、 決策樹法的決策過程
6、 決策樹算法
7、 案例：SPSS實現(xiàn)決策樹分析
8、 課堂實操：SPSS實現(xiàn)航空業(yè)客戶細分模型
9、 隨機森林
第16個主題： 關(guān)聯(lián)規(guī)則分析與實現(xiàn)（深入剖析關(guān)聯(lián)規(guī)則分析以及通過SPSS關(guān)聯(lián)規(guī)則算法模型分析數(shù)據(jù)）
1、 關(guān)聯(lián)規(guī)則
2、 支持度與置信度
3、 關(guān)聯(lián)規(guī)則挖掘的過程
4、 Apriori算法
5、 關(guān)聯(lián)規(guī)則案例
6、 支持度與置信度計算
7、 案例：SPSS實現(xiàn)關(guān)聯(lián)規(guī)則
8、 課堂實操：SPSS實現(xiàn)航空業(yè)數(shù)據(jù)關(guān)聯(lián)規(guī)則分析
第17個主題： 數(shù)據(jù)建模時序模式分析與實現(xiàn)（深入剖析時序模式分析）
1、 時序模式
2、 時間序列分析
3、 時間序列分析
4、 時間序列
5、 序列分析的三個階段
6、 課堂實操：SPSS實現(xiàn)航空業(yè)客戶流失模型
第18個主題： 數(shù)據(jù)分析工具SPSS/SAS在金融行業(yè)應(yīng)用案例（深入剖析數(shù)據(jù)分析工具SPSS/SAS在金融行業(yè)應(yīng)用案例）
1、 案例：風(fēng)險分析模型
2、 案例：信用打分和評級模型
3、 案例：客戶細分模型
4、 案例：客戶描述和行為分析模型
5、 案例：欺詐預(yù)測模型
6、 案例：客戶流失模型
7、 案例：經(jīng)營分析和績效分析模型
8、 案例：交叉銷售和增量銷售模型
9、 案例：SPSS實現(xiàn)航空業(yè)客戶流失模型建模
10、 課堂實操：SPSS實現(xiàn)金融行業(yè)客戶流失模型建模
第19個主題： 大數(shù)據(jù)個性化精準推薦實戰(zhàn)（深入理解大數(shù)據(jù)個性化精準推薦原理和實現(xiàn)技術(shù)）
1、 個性化推薦的理論依據(jù)
2、 個性化推薦的價值
3、 個性化推薦能達到的目的
4、 個性化推薦的原則
5、 個性化推薦技術(shù)發(fā)展史
6、 個性化推薦的相關(guān)技術(shù)
7、 基于用戶的常用推薦算法
8、 基于用戶的協(xié)同過濾推薦
9、 課堂實操：SPSS實現(xiàn)航空業(yè)交叉銷售和增量銷售模型
數(shù)據(jù)分析與數(shù)據(jù)挖掘方法
轉(zhuǎn)載：http://www.jkyingpanluxiangji.com/gkk_detail/253114.html
已開課時間Have start time
- 尹立慶
[僅限會員]