Python數據建模及模型優(yōu)化（回歸篇）

【培訓對象】
業(yè)務(wù)支持部、數據分析部、系統設計部、系統開(kāi)發(fā)部、網(wǎng)絡(luò )運維部等相關(guān)技術(shù)人員。

【培訓收益】

第一部分：預測建?；A
1、數據建模六步法
選擇模型：基于業(yè)務(wù)選擇恰當的數據模型
屬性篩選：選擇對目標變量有顯著(zhù)影響的屬性來(lái)建模
訓練模型：采用合適的算法，尋找到最合適的模型參數
評估模型：進(jìn)行評估模型的質(zhì)量，判斷模型是否可用
優(yōu)化模型：如果評估結果不理想，則需要對模型進(jìn)行優(yōu)化
應用模型：如果評估結果滿(mǎn)足要求，則可應用模型于業(yè)務(wù)場(chǎng)景
2、數據挖掘常用的模型
數值預測模型：回歸預測、時(shí)序預測等
分類(lèi)預測模型：邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò )、支持向量機等
市場(chǎng)細分：聚類(lèi)、RFM、PCA等
產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過(guò)濾等
產(chǎn)品優(yōu)化：回歸、隨機效用等
產(chǎn)品定價(jià)：定價(jià)策略/最優(yōu)定價(jià)等
3、屬性篩選/特征選擇/變量降維
基于變量本身特征
基于相關(guān)性判斷
因子合并（PCA等）
IV值篩選（評分卡使用）
基于信息增益判斷（決策樹(shù)使用）
4、訓練模型及實(shí)現算法
模型原理
算法實(shí)現
5、模型評估
評估指標
評估方法
過(guò)擬合評估
6、模型優(yōu)化
優(yōu)化模型：選擇新模型/修改模型
優(yōu)化數據：新增顯著(zhù)自變量
優(yōu)化公式：采用新的計算公式
7、模型應用
模型解讀
模型部署
模型應用
8、好模型是優(yōu)化出來(lái)的

第二部分：回歸模型評估
1、三個(gè)基本概念：SST、SSR、SSE
2、三個(gè)方面評估：指標、方法、過(guò)擬合
3、擬合程度指標
簡(jiǎn)單判定系數：
調整判定系數：
4、預測值誤差指標
平均絕對誤差：MAE
根均方差：RMSE
平均絕對誤差率：MAPE
5、信息損失準則指標
赤池信息準則：AIC
貝葉斯信息準則：BIC
HQ信息準則：HQIC
6、評估方法
原始評估法
留出法（Hold-Out）
交叉驗證法（k-fold cross validation）
自助采樣法（Bootstrapping）
7、其它評估
過(guò)擬合評估：學(xué)習曲線(xiàn)
殘差評估：白噪聲評估

第三部分：影響因素分析
問(wèn)題：如何選擇合適的屬性來(lái)進(jìn)行建模預測？如何做特征選擇/特征降維？
1、屬性篩選/變量降維的常用方法
2、影響因素分析常用方法
相關(guān)分析
方差分析
卡方檢驗
3、相關(guān)分析（衡量變量間的線(xiàn)性相關(guān)性）
問(wèn)題：這兩個(gè)屬性是否會(huì )相互影響？影響程度大嗎？
相關(guān)分析簡(jiǎn)介
相關(guān)分析的三個(gè)種類(lèi)
簡(jiǎn)單相關(guān)分析
偏相關(guān)分析
相關(guān)系數的三種計算公式
Pearson相關(guān)系數
Spearman相關(guān)系數
Kendall相關(guān)系數
相關(guān)分析的假設檢驗
相關(guān)分析的四個(gè)基本步驟
演練：體重與腰圍的關(guān)系
演練：營(yíng)銷(xiāo)費用會(huì )影響銷(xiāo)售額嗎
演練：網(wǎng)齡與消費水平的關(guān)系
偏相關(guān)分析
偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性
偏相關(guān)系數的計算公式
偏相關(guān)分析的適用場(chǎng)景
4、方差分析(衡量類(lèi)別變量與數據變量的相關(guān)性)
問(wèn)題：哪些才是影響銷(xiāo)量的關(guān)鍵因素？主要因素是哪些？次要因素是哪些？
方差分析的應用場(chǎng)景
方差分析原理
方差分析前提：齊性檢驗
方差分析的三個(gè)種類(lèi)
單因素方差分析
多因素方差分析
協(xié)方差分析
方差分析的四個(gè)步驟
分析結果解讀要點(diǎn)
演練：終端擺放位置與終端銷(xiāo)量有關(guān)嗎
演練：客戶(hù)學(xué)歷對消費水平的影響分析
演練：廣告形式和價(jià)格是影響終端銷(xiāo)量的關(guān)鍵因素嗎
演練：營(yíng)業(yè)員的性別、技能級別對產(chǎn)品銷(xiāo)量有影響嗎
演練：尋找影響產(chǎn)品銷(xiāo)量的關(guān)鍵因素
多因素方差分析原理
多因素方差分析的作用
多因素方差結果的解讀
演練：廣告形式、地區對銷(xiāo)量的影響因素分析
協(xié)方差分析原理
協(xié)方差分析的適用場(chǎng)景
演練：排除收入后，網(wǎng)齡對消費水平的影響大小分析
5、列聯(lián)分析/卡方檢驗（兩類(lèi)別變量的相關(guān)性分析）
卡方檢驗應用場(chǎng)景
交叉表與列聯(lián)表
計數值與期望值
卡方檢驗的原理
卡方檢驗的幾個(gè)計算公式
列聯(lián)表分析的適用場(chǎng)景
案例：套餐類(lèi)型對客戶(hù)流失的影響分析
案例：學(xué)歷對業(yè)務(wù)套餐偏好的影響分析
案例：行業(yè)/規模對風(fēng)控的影響分析
6、屬性重要程度排序/篩選
7、主成份分析（PCA）
因子分析的原理
因子個(gè)數如何選擇
如何解讀因子含義
案例：提取影響電信客戶(hù)流失的主成分分析

第四部分：線(xiàn)性回歸模型
問(wèn)題：如何預測產(chǎn)品的銷(xiāo)量/銷(xiāo)售金額？
1、常用數值預測的模型
通用預測模型：回歸模型
2、線(xiàn)性回歸應用場(chǎng)景
3、線(xiàn)性回歸模型種類(lèi)
一元線(xiàn)性回歸
多元線(xiàn)性回歸
4、線(xiàn)性回歸建模過(guò)程
5、帶分類(lèi)變量的回歸建模
6、回歸模型的質(zhì)量評估
7、回歸方程的解讀
第五部分：回歸算法實(shí)現
1、基本概念
損失函數
2、普通最小二乘法OLS
數學(xué)推導
OLS存在的問(wèn)題
3、梯度下降算法
梯度概念
梯度下降/上升算法
批量梯度/隨機梯度/小批量梯度
學(xué)習率的影響
早期停止法
4、牛頓法/擬牛頓法
泰勒公式(Taylor)
牛頓法(Newton)
擬牛頓法(Quasi-Newton)的優(yōu)化
DFP/BFGS/L-BFGS
5、算法比較-優(yōu)缺點(diǎn)

第六部分：回歸模型優(yōu)化
6、回歸分析的基本原理
三個(gè)基本概念：總變差、回歸變差、剩余變差
方程的顯著(zhù)性檢驗：是否可以做回歸分析？
因素的顯著(zhù)性檢驗：自變量是否可用？
擬合優(yōu)度檢驗：回歸模型的質(zhì)量評估？
理解標準誤差的含義：預測的準確性？
7、欠擬合解決：多項式回歸
剔除離群值
剔除非顯著(zhù)因素
非線(xiàn)性關(guān)系檢驗
相互作用檢驗
共線(xiàn)性檢驗
檢驗誤差項
案例：銷(xiāo)量預測模型優(yōu)化示例
8、過(guò)擬合解決：正則項
嶺回歸（Ridge）
套索回歸（Lasso）
彈性網(wǎng)絡(luò )回歸（ElasticNet）
9、超參優(yōu)化
手工遍歷cross_val_score
交叉驗證RidgeCV/LassCV/ElasticNetCV
網(wǎng)格搜索GridSearchCV
隨機搜索RandomizedSearchCV

第七部分：自定義模型
1、自定義回歸模型
2、模型參數最優(yōu)法方法
全局優(yōu)化/暴力破解brute
局部?jì)?yōu)化fmin
有約束優(yōu)化minimize
3、好模型都是優(yōu)化出來(lái)的
案例：餐廳客流量進(jìn)行建模及模型優(yōu)化
4、基于回歸季節模型
季節性回歸模型的參數
相加模型
相乘模型
模型解讀/模型含義
案例：美國航空旅客里程的季節性趨勢分析
5、新產(chǎn)品預測與S曲線(xiàn)
產(chǎn)品累計銷(xiāo)量的S曲線(xiàn)模型
如何評估銷(xiāo)量增長(cháng)的上限以及拐點(diǎn)
珀爾曲線(xiàn)
龔鉑茲曲線(xiàn)
案例：預測IPAD的銷(xiāo)售增長(cháng)拐點(diǎn)，以及銷(xiāo)量上限
第八部分：案例實(shí)戰
1、客戶(hù)消費金額預測模型
2、房?jì)r(jià)預測模型及優(yōu)化

結束：課程總結與問(wèn)題答疑。