Python機(jī)器學(xué)習(xí)算法實(shí)戰(zhàn)
講師：傅一航 瀏覽次數(shù)：2553
課程描述INTRODUCTION
Python機(jī)器學(xué)習(xí)算法
培訓(xùn)講師：傅一航
課程價(jià)格：￥元/人
培訓(xùn)天數(shù)：3天
日程安排SCHEDULE
課程大綱Syllabus
Python機(jī)器學(xué)習(xí)算法
【課程目標(biāo)】
本課程為高級(jí)課程，專注于機(jī)器學(xué)習(xí)算法，原理，以及算法實(shí)現(xiàn)及優(yōu)化。
通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：
1、熟悉常見(jiàn)的機(jī)器學(xué)習(xí)的算法。
2、掌握機(jī)器學(xué)習(xí)的算法原理，以及數(shù)據(jù)推導(dǎo)。
3、學(xué)會(huì)使用Python來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法，以及優(yōu)化算法。
4、掌握scikit-learn擴(kuò)展庫(kù)來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法。
【授課對(duì)象】
IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開(kāi)發(fā)部、大數(shù)據(jù)建模等IT技術(shù)人員。
【課程大綱】
一、機(jī)器學(xué)習(xí)基礎(chǔ)
1、機(jī)器學(xué)習(xí)簡(jiǎn)介
2、機(jī)器學(xué)習(xí)的種類
－監(jiān)督學(xué)習(xí)/無(wú)監(jiān)督學(xué)習(xí)/半監(jiān)督學(xué)習(xí)/強(qiáng)化學(xué)習(xí)
－批量學(xué)習(xí)和在線學(xué)習(xí)
－基于實(shí)例與基于模型
3、機(jī)器學(xué)習(xí)的主要戰(zhàn)挑
－數(shù)據(jù)量不足
－數(shù)據(jù)質(zhì)量差
－無(wú)關(guān)特征
－過(guò)擬合/擬合不足
4、機(jī)器學(xué)習(xí)任務(wù)
－監(jiān)督：分類、回歸
－無(wú)監(jiān)督：聚類、降維、關(guān)聯(lián)規(guī)則
5、機(jī)器學(xué)習(xí)基本過(guò)程
6、機(jī)器學(xué)習(xí)常用庫(kù)
二、回歸算法實(shí)現(xiàn)
1、建模的本質(zhì)，其實(shí)是一個(gè)最優(yōu)化問(wèn)題
2、回歸模型的基礎(chǔ)
3、基本概念：損失函數(shù)
4、線性回歸常用算法
－普通最小二乘法OLS
－梯度下降算法
－牛頓法/擬牛頓法
5、最小二乘法
a) 數(shù)學(xué)推導(dǎo)
b) OLS存在的問(wèn)題
6、過(guò)擬合解決方法：正則化
－嶺回歸（Ridge）
－套索回歸Lasso
－ElasticNet回歸
－各種算法的適用場(chǎng)景
7、超大規(guī)模數(shù)據(jù)集的回歸模型：迭代算法
－梯度概念
－梯度下降/上升算法
－批量梯度BGD/隨機(jī)梯度SGD/小批量梯度MBGD
－學(xué)習(xí)率的影響
－早期停止法
8、梯度算法的關(guān)鍵問(wèn)題
9、牛頓法/擬牛頓法
－泰勒公式(Taylor)
－牛頓法(Newton)
－擬牛頓法(Quasi-Newton)的優(yōu)化
－DFP/BFGS/L-BFGS
10、算法比較
三、邏輯回歸算法
1、邏輯回歸基礎(chǔ)
2、LR的常用算法
－*似然估計(jì)法
－梯度算法
－牛頓法
3、*似然估計(jì)法
－似然函數(shù)/損失函數(shù)
－數(shù)學(xué)推導(dǎo)
4、模型優(yōu)化
－迭代樣本的隨機(jī)選擇
－變化的學(xué)習(xí)率
5、邏輯回歸+正則項(xiàng)
6、求解算法與懲罰項(xiàng)的關(guān)系
7、多元邏輯回歸處理
－ovo
－ovr
－優(yōu)缺點(diǎn)比較
8、邏輯回歸建模實(shí)戰(zhàn)
案例：用sklearn庫(kù)實(shí)現(xiàn)銀行貸款違約預(yù)測(cè)
案例：訂閱者用戶的典型特征（二元邏輯回歸）
案例：通信套餐的用戶畫(huà)像（多元邏輯回歸）
四、決策樹(shù)算法
1、決策樹(shù)簡(jiǎn)介
演練：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貸者的特征
2、決策樹(shù)的三個(gè)關(guān)鍵問(wèn)題
－最優(yōu)屬性選擇
－熵、基尼系數(shù)
－信息增益、信息增益率
－屬性*劃分
－多元?jiǎng)澐峙c二元?jiǎng)澐?/div>
轉(zhuǎn)載：http://www.jkyingpanluxiangji.com/gkk_detail/265689.html
－連續(xù)變量最優(yōu)劃分
－決策樹(shù)修剪
－剪枝原則
－預(yù)剪枝與后剪枝
3、構(gòu)建決策樹(shù)的算法
－ID3、C4.5、C5.0
－CART
4、決策樹(shù)的超參優(yōu)化
5、決策樹(shù)的解讀
6、決策樹(shù)建模過(guò)程
案例：商場(chǎng)酸奶購(gòu)買用戶特征提取
案例：客戶流失預(yù)警與客戶挽留
案例：識(shí)別拖欠銀行貨款者的特征，避免不良貨款
案例：識(shí)別電信詐騙者嘴臉，讓通信更安全
案例：電力竊漏用戶自動(dòng)識(shí)別
五、神經(jīng)網(wǎng)絡(luò)算法
1、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介（ANN）
2、神經(jīng)元基本原理
－加法器
－激活函數(shù)
3、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
－隱藏層數(shù)量
－神經(jīng)元個(gè)數(shù)
4、神經(jīng)網(wǎng)絡(luò)的建立步驟
5、神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問(wèn)題
6、BP算法實(shí)現(xiàn)
7、MLP多層神經(jīng)網(wǎng)絡(luò)
8、學(xué)習(xí)率的設(shè)置
案例：評(píng)估銀行用戶拖欠貨款的概率
案例：神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)產(chǎn)品銷量
六、線性判別算法
1、判別分析簡(jiǎn)介
2、判別分析算法
－中心和方差
－類間散席Sb
－類內(nèi)散席Sw
3、特征值和特征向量
4、多分類LDA算法
5、算法實(shí)戰(zhàn)
案例：MBA學(xué)生錄取判別分析
案例：上市公司類別評(píng)估
七、最近鄰算法（KNN）
1、KNN的基本原理
2、K近鄰的關(guān)鍵問(wèn)題
－距離公式
－投票機(jī)制
3、KNN算法實(shí)現(xiàn)
－Brute（蠻力計(jì)算）
－Kd_tree（KD樹(shù)）
－Ball_tre（球樹(shù)）
4、算法比較
八、貝葉斯算法（NBN）
1、貝葉斯簡(jiǎn)介
2、貝葉斯分類原理
－先驗(yàn)概率和后驗(yàn)概率
－條件概率和類概率
3、常見(jiàn)貝葉斯網(wǎng)絡(luò)
4、計(jì)算類別屬性的條件概率
5、估計(jì)連續(xù)屬性的條件概率
6、預(yù)測(cè)分類概率（計(jì)算概率）
7、拉普拉斯修正
案例：評(píng)估銀行用戶拖欠貨款的概率
九、支持向量機(jī)算法（SVM）
1、支持向量機(jī)簡(jiǎn)介
－適用場(chǎng)景
2、支持向量機(jī)原理
－支持向量
－*邊界超平面
3、線性不可分處理
－松弛系數(shù)
4、非線性SVM分類
5、常用核函數(shù)
－線性核函數(shù)
－多項(xiàng)式核
－高斯RBF核
－核函數(shù)的選擇原則
6、SMO算法
十、模型集成優(yōu)化篇
1、模型的優(yōu)化思想
2、集成模型的框架
－Bagging
－Boosting
－Stacking
3、集成算法的關(guān)鍵過(guò)程
－弱分類器如何構(gòu)建
－組合策略：多個(gè)弱學(xué)習(xí)器如何形成強(qiáng)學(xué)習(xí)器
4、Bagging集成算法
－數(shù)據(jù)/屬性重抽樣
－決策依據(jù)：少數(shù)服從多數(shù)
－隨機(jī)森林RandomForest
5、Boosting集成算法
－基于誤分?jǐn)?shù)據(jù)建模
－樣本選擇權(quán)重更新
－決策依據(jù)：加權(quán)投票
－AdaBoost模型
6、GBDT模型
7、XGBoost模型
8、LightGBM模型
十一、聚類分析（客戶細(xì)分）實(shí)戰(zhàn)
1、聚類基本原理
2、K均值聚類算法
－K均值算法
3、距離計(jì)算公式
－閔可夫斯基距離(Minkowski Distance)
－曼哈頓距離(Manhattan Distance)
－歐氏距離(Euclidean Distance)
－切比雪夫距離(Chebyshev Distance)
－余弦距離(Cosine)
－Pearson相似距離
－馬哈拉諾比斯距離（Mahalanobis）
－漢明距離(Hamming distance)
－杰卡德相似系數(shù)(Jaccard similarity coefficient)
－相對(duì)熵（K-L距離）
4、K均值算法的關(guān)鍵問(wèn)題
－初始中心的選取方式
－最優(yōu)K值的選取
5、聚類算法的評(píng)價(jià)方法
－Elbow method（手肘法）
－Calinski-Harabasz Index（CH準(zhǔn)則法）
－Silhouette Coefficient（輪廓系數(shù)法）
－Gap Statistic（間隔統(tǒng)計(jì)量法）
－Canopy算法
6、算法實(shí)戰(zhàn)
案例：使用SKLearn實(shí)現(xiàn)K均值聚類
十二、關(guān)聯(lián)規(guī)則算法
1、關(guān)聯(lián)規(guī)則基本原理
2、常用關(guān)聯(lián)規(guī)則算法
－Apriori算法
－發(fā)現(xiàn)頻繁集
－生成關(guān)聯(lián)規(guī)則
－FP-Growth算法
－構(gòu)建FP樹(shù)
－提取規(guī)則
3、算法實(shí)戰(zhàn)
案例：使用apriori庫(kù)實(shí)現(xiàn)關(guān)聯(lián)分析
案例：中醫(yī)證型關(guān)聯(lián)規(guī)則挖掘
十三、協(xié)同過(guò)濾算法
1、協(xié)同過(guò)濾基本原理
2、協(xié)同過(guò)濾的兩各類型
－基于用戶的協(xié)同過(guò)濾UserCF
－基于物品的協(xié)同過(guò)濾ItemCF
3、相似度評(píng)估常用公式
4、UserCF算法實(shí)現(xiàn)
－計(jì)算用戶間的興趣相似度
－篩選前K個(gè)相似用戶
－合并相似用戶購(gòu)買過(guò)的物品集
－剔除該用戶已經(jīng)購(gòu)買過(guò)的產(chǎn)品，得到候選物品集
－計(jì)算該用戶對(duì)物品的喜歡程度，物品集排序
－優(yōu)先推薦前N個(gè)物品
5、ItemCF算法實(shí)現(xiàn)
－計(jì)算物品間的相似度
－篩選前K個(gè)喜歡的物品
－合并與前K個(gè)物品相似的前L個(gè)物品集
－剔除該用戶已經(jīng)購(gòu)買過(guò)的物品，得到候選物品集
－計(jì)算該用戶到候選物品的喜愛(ài)程度，物品排序
－優(yōu)先推薦前N個(gè)物品
6、關(guān)于冷啟動(dòng)問(wèn)題
7、協(xié)同過(guò)濾算法比較
結(jié)束：課程總結(jié)與問(wèn)題答疑。
Python機(jī)器學(xué)習(xí)算法
轉(zhuǎn)載：http://www.jkyingpanluxiangji.com/gkk_detail/265689.html
已開(kāi)課時(shí)間Have start time
- 傅一航
[僅限會(huì)員]
IT相關(guān)內(nèi)訓(xùn)
- CISSP認(rèn)證培訓(xùn)課程 張勝生
- Fine BI 數(shù)據(jù)分析與 張曉如
- 大模型技術(shù)與應(yīng)用培訓(xùn) 葉梓
- 軟件安全意識(shí)加強(qiáng)與技能提高 張勝生
- 電力信息化：價(jià)值和建設(shè)分析 劉宇佳
- 云計(jì)算的應(yīng)用領(lǐng)域和實(shí)踐 武威
- Python高效辦公自動(dòng)化 張曉如
- 滲透測(cè)試與攻防實(shí)戰(zhàn)高級(jí)課程 張勝生
- 互聯(lián)網(wǎng)新技術(shù)在銀行的應(yīng)用 武威
- 信息安全風(fēng)險(xiǎn)評(píng)估與加固技能 張勝生
- 網(wǎng)安管理崗培訓(xùn) 張勝生
- IT崗位數(shù)智化能力提升路徑 甄文智