課程描述INTRODUCTION
Python數(shù)據(jù)挖掘
日程安排SCHEDULE
課程大綱Syllabus
Python數(shù)據(jù)挖掘
【課程目標】
本課程主要講解如何利用Python進行時間序列的數(shù)據(jù)建模。
通過本課程的學習,達到如下目的:
1、全面掌握Python語言以及其編程思想。
2、掌握常用擴展庫的使用,特別是數(shù)據(jù)挖掘相關庫的使用。
3、學會使用Python完成數(shù)據(jù)挖掘項目整個過程。
4、掌握利用Python實現(xiàn)可視化呈現(xiàn)。
5、掌握數(shù)據(jù)挖掘常見算法在Python中的實現(xiàn)。
【授課對象】
業(yè)務支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)分析中心、網(wǎng)絡運維部等相關技術人員。
【課程大綱】
一、數(shù)據(jù)挖掘基礎
1、數(shù)據(jù)挖掘概述
2、數(shù)據(jù)挖掘的標準流程(CRISP-DM)
-商業(yè)理解
-數(shù)據(jù)準備
-數(shù)據(jù)理解
-模型建立
-模型評估
-模型應用
案例:客戶流失預測及客戶挽留
3、數(shù)據(jù)挖掘常用模型
二、數(shù)據(jù)預處理篇
1、數(shù)據(jù)預處理的主要任務
-數(shù)據(jù)集成:多個數(shù)據(jù)集的合并
-數(shù)據(jù)清理:異常值的處理
-數(shù)據(jù)處理:數(shù)據(jù)篩選、數(shù)據(jù)精簡、數(shù)據(jù)平衡
-變量處理:變量變換、變量派生、變量精簡
-數(shù)據(jù)歸約:實現(xiàn)降維,避免維災難
2、數(shù)據(jù)集成
-數(shù)據(jù)追加(添加數(shù)據(jù))
-變量合并(添加變量)
3、數(shù)據(jù)理解(異常數(shù)據(jù)處理)
-取值范圍限定
-重復值處理
-無效值/錯誤值處理
-缺失值處理
-離群值/極端值處理
-數(shù)據(jù)質量評估
4、數(shù)據(jù)準備:數(shù)據(jù)處理
-數(shù)據(jù)篩選:數(shù)據(jù)抽樣/選擇(減少樣本數(shù)量)
-數(shù)據(jù)精簡:數(shù)據(jù)分段/離散化(減少變量的取值個數(shù))
-數(shù)據(jù)平衡:正反樣本比例均衡
5、數(shù)據(jù)準備:變量處理
-變量變換:原變量取值更新,比如標準化
-變量派生:根據(jù)舊變量生成新的變量
-變量精簡:降維,減少變量個數(shù)
6、數(shù)據(jù)降維
-常用降維的方法
-如何確定變量個數(shù)
-特征選擇:選擇重要變量,剔除不重要的變量
-從變量本身考慮
-從輸入變量與目標變量的相關性考慮
-對輸入變量進行合并
-因子分析(主成分分析)
-因子分析的原理
-因子個數(shù)如何選擇
-如何解讀因子含義
案例:提取影響電信客戶流失的主成分分析
7、數(shù)據(jù)探索性分析
-常用統(tǒng)計指標分析
-單變量:數(shù)值變量/分類變量
-雙變量:交叉分析/相關性分析
-多變量:特征選擇、因子分析
演練:描述性分析(頻數(shù)、描述、探索、分類匯總)
8、數(shù)據(jù)可視化
-數(shù)據(jù)可視化:柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
-圖形的表達及適用場景
演練:各種圖形繪制
三、用戶專題分析
1、用戶專題分析的主要任務
2、客戶群細分與聚類分析
問題:我們的客戶有幾類?各類特征是什么?如何實現(xiàn)客戶細分,開發(fā)符合細分市場的新產(chǎn)品?
-聚類方法原理介紹
-聚類方法作用及其適用場景
-聚類分析的種類
-K均值聚類
案例:移動三大品牌細分市場合適嗎?
演練:寶潔公司如何選擇新產(chǎn)品試銷區(qū)域?
演練:如何評選優(yōu)秀員工?
演練:中國各省份發(fā)達程度分析,讓數(shù)據(jù)自動聚類
-最優(yōu)K值選擇
-Elbow手肘法
-Silhouette Coefficient輪廓系數(shù)
-Calinski-Harabasz Index準則
-雙聚類bicluster及評估
-譜聚類聯(lián)合
-聯(lián)合譜聚類SpectralCoclustering
-雙向譜聚類SpectralBiclustering
-DBSCAN鄰近聚類
3、客戶喜好評估與主成分分析PCA
營銷問題:如何匯聚大眾的共同喜好?
-主成分分析方法介紹
-主成分分析基本思想
-主成分分析步驟
案例:如何評估汽車購買者的客戶細分市場
4、客戶價值評估與RFM模型
營銷問題:如何評估客戶的價值?不同的價值客戶有何區(qū)別對待?
-RFM模型(客戶價值評估)
-RFM模型,更深入了解你的客戶價值
-RFM模型與市場策略
-RFM模型與活躍度分析
案例:淘寶客戶價值評估與促銷名單
案例:重購用戶特征分析
四、產(chǎn)品專題分析
1、產(chǎn)品專題分析主要任務
-產(chǎn)品設計分析
-市場占有分析
-累計銷量分析
-定價策略分析
2、產(chǎn)品設計優(yōu)化(聯(lián)合分析法)
問題:如何設計最優(yōu)的功能特征?
-評估功能特征的重要性
-評估功能特征的價值
案例:產(chǎn)品開發(fā)與設計分析
3、產(chǎn)品評估模型(隨機效用理論)
-屬性重要性評估
-市場占有率評估
-產(chǎn)品價格彈性評估
-評估產(chǎn)品的品牌價值
-動態(tài)調(diào)價(納會均衡價格)
案例:品牌價值與價格敏感度分析
案例:納什均衡價格
五、產(chǎn)品定價策略
營銷問題:產(chǎn)品如何實現(xiàn)最優(yōu)定價?套餐價格如何確定?采用哪些定價策略可達到利潤*化?
1、常見的定價方法
2、產(chǎn)品定價的理論依據(jù)
-需求曲線與利潤*化
-如何求解最優(yōu)定價
案例:產(chǎn)品最優(yōu)定價求解
3、如何評估需求曲線
-價格彈性
-曲線方程(線性、乘冪)
4、如何做產(chǎn)品組合定價
5、如何做產(chǎn)品捆綁/套餐定價
-*收益定價(演進規(guī)劃求解)
-避免價格反轉的套餐定價
案例:電信公司的寬帶、IPTV、移動電話套餐定價
6、非線性定價原理
-要理解支付意愿曲線
-支付意愿曲線與需求曲線的異同
案例:雙重收費如何定價(如會費+按次計費)
7、階梯定價策略
案例:電力公司如何做階梯定價
8、數(shù)量折扣定價策略
案例:如何通過折扣來實現(xiàn)薄利多銷
9、定價策略的評估與選擇
案例:零售公司如何選擇最優(yōu)定價策略
10、航空公司的收益管理
-收益管理介紹
-如何確定機票預訂限制
-如何確定機票超售數(shù)量
-如何評估模型的收益
案例:FBN航空公司如何實現(xiàn)收益管理(預訂/超售)
六、產(chǎn)品推薦與協(xié)同過濾
問題:購買A產(chǎn)品的顧客還常常要購買其他什么產(chǎn)品?應該給客戶推薦什么產(chǎn)品最有可能被接受?
1、從搜索引擎到推薦引擎
2、常用產(chǎn)品推薦模型及算法
3、基于流行度的推薦
-基于排行榜的推薦,適用于剛注冊的用戶
-優(yōu)化思路:分群推薦
4、基于內(nèi)容的推薦CBR
-關鍵問題:如何計算物品的相似度
-優(yōu)缺點
-優(yōu)化:Rocchio算法、基于標簽的推薦、基于興趣度的推薦
5、基于用戶的推薦
-關鍵問題:如何對用戶分類/計算用戶的相似度
-算法:按屬性分類、按偏好分類、按地理位置
6、協(xié)同過濾的推薦
-基于用戶的協(xié)同過濾
-基于物品的協(xié)同過濾
-冷啟動的問題
案例:計算用戶相似度、計算物品相似度
7、基于分類模型的推薦
8、其它推薦算法
-LFM基于隱語義模型
-按社交關系
-基于時間上下文
9、多推薦引擎的協(xié)同工作
七、信用評分卡模型
信用評分卡模型簡介
評分卡的關鍵問題
信用評分卡建立過程
-篩選重要屬性
-數(shù)據(jù)集轉化
-建立分類模型
-計算屬性分值
-確定審批閾值
篩選重要屬性
-屬性分段
-基本概念:WOE、IV
-屬性重要性評估
數(shù)據(jù)集轉化
-連續(xù)屬性最優(yōu)分段
-計算屬性取值的WOE
建立分類模型
-訓練邏輯回歸模型
-評估模型
-得到字段系數(shù)
計算屬性分值
-計算補償與刻度值
-計算各字段得分
-生成評分卡
確定審批閾值
-畫K-S曲線
-計算K-S值
-獲取最優(yōu)閾值
八、交叉銷售與關聯(lián)規(guī)則
1、關聯(lián)規(guī)則概述
2、常用關聯(lián)規(guī)則算法
-Apriori算法
-發(fā)現(xiàn)頻繁集
-生成關聯(lián)規(guī)則
-FP-Growth算法
-構建FP樹
-提取規(guī)則
案例:使用apriori實現(xiàn)關聯(lián)分析
九、基于關聯(lián)分析的推薦
-如何制定套餐,實現(xiàn)交叉/捆綁銷售
案例:啤酒與尿布、颶風與蛋撻
-關聯(lián)分析模型原理(Association)
-關聯(lián)規(guī)則的兩個關鍵參數(shù)
-支持度
-置信度
-關聯(lián)分析的適用場景
案例:購物籃分析與產(chǎn)品捆綁銷售/布局優(yōu)化
案例:通信產(chǎn)品的交叉銷售與產(chǎn)品推薦
結束:課程總結與問題答疑。
Python數(shù)據(jù)挖掘
轉載:http://www.jkyingpanluxiangji.com/gkk_detail/265687.html
已開課時間Have start time
- 傅一航