大數據建模與模型優(yōu)化實(shí)戰培訓

【培訓對象】
業(yè)務(wù)支撐、網(wǎng)絡(luò )中心、IT系統部、數據分析部等對業(yè)務(wù)數據分析有較高要求的相關(guān)專(zhuān)業(yè)人員。

【培訓收益】

第一部分：數據建模流程
1、預測建模六步法
選擇模型：基于業(yè)務(wù)選擇恰當的數據模型
特征工程：選擇對目標變量有顯著(zhù)影響的屬性來(lái)建模
訓練模型：采用合適的算法對模型進(jìn)行訓練，尋找到最優(yōu)參數
評估模型：進(jìn)行評估模型的質(zhì)量，判斷模型是否可用
優(yōu)化模型：如果評估結果不理想，則需要對模型進(jìn)行優(yōu)化
應用模型：如果評估結果滿(mǎn)足要求，則可應用模型于業(yè)務(wù)場(chǎng)景
2、數據挖掘常用的模型
定量預測模型：回歸預測、時(shí)序預測等
定性預測模型：邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò )、支持向量機等
市場(chǎng)細分：聚類(lèi)、RFM、PCA等
產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過(guò)濾等
產(chǎn)品優(yōu)化：回歸、隨機效用等
產(chǎn)品定價(jià)：定價(jià)策略/最優(yōu)定價(jià)等
3、特征工程/特征選擇/變量降維
基于變量本身特征
基于相關(guān)性判斷
因子合并（PCA等）
IV值篩選（評分卡使用）
基于信息增益判斷（決策樹(shù)使用）
4、模型評估
模型質(zhì)量評估指標：R^2、正確率/查全率/查準率/特異性等
預測值評估指標：MAD、MSE/RMSE、MAPE、概率等
模型評估方法：留出法、K拆交叉驗證、自助法等
其它評估：過(guò)擬合評估、殘差檢驗
5、模型優(yōu)化
優(yōu)化模型：選擇新模型/修改模型
優(yōu)化數據：新增顯著(zhù)自變量
優(yōu)化公式：采用新的計算公式
集成思想：Bagging/Boosting/Stacking
6、常用預測模型介紹
時(shí)序預測模型
回歸預測模型
分類(lèi)預測模型
第二部分：建模特征工程
問(wèn)題：如何選擇合適的屬性/特征來(lái)建模呢？選擇的依據是什么？比如價(jià)格是否可用于產(chǎn)品銷(xiāo)量預測？
1、數據預處理vs特征工程
2、特征工程處理內容
變量變換
變量派生
變量精簡(jiǎn)（特征選擇、因子合并）
類(lèi)型轉換
3、特征選擇常用方法
相關(guān)分析、方差分析、卡方檢驗
4、相關(guān)分析（衡量?jì)蓴祿妥兞康木€(xiàn)性相關(guān)性）
相關(guān)分析簡(jiǎn)介
相關(guān)分析的應用場(chǎng)景
相關(guān)分析的種類(lèi)
簡(jiǎn)單相關(guān)分析
偏相關(guān)分析
距離相關(guān)分析
相關(guān)系數的三種計算公式
Pearson相關(guān)系數
Spearman相關(guān)系數
Kendall相關(guān)系數
相關(guān)分析的假設檢驗
相關(guān)分析的四個(gè)基本步驟
演練：營(yíng)銷(xiāo)費用會(huì )影響銷(xiāo)售額嗎？影響程度如何量化？
演練：哪些因素與汽車(chē)銷(xiāo)量有相關(guān)性
演練：影響用戶(hù)消費水平的因素會(huì )有哪些
偏相關(guān)分析
偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性
偏相關(guān)系數的計算公式
偏相關(guān)分析的適用場(chǎng)景
距離相關(guān)分析
5、方差分析（衡量類(lèi)別變量與數值變量間的相關(guān)性）
方差分析的應用場(chǎng)景
方差分析的三個(gè)種類(lèi)
單因素方差分析
多因素方差分析
協(xié)方差分析
單因素方差分析的原理
方差分析的四個(gè)步驟
解讀方差分析結果的兩個(gè)要點(diǎn)
演練：擺放位置與銷(xiāo)量有關(guān)嗎
演練：客戶(hù)學(xué)歷對消費水平的影響分析
演練：廣告和價(jià)格是影響終端銷(xiāo)量的關(guān)鍵因素嗎
演練：營(yíng)業(yè)員的性別、技能級別對產(chǎn)品銷(xiāo)量有影響嗎
演練：尋找影響產(chǎn)品銷(xiāo)量的關(guān)鍵因素
多因素方差分析原理
多因素方差分析的作用
多因素方差結果的解讀
演練：廣告形式、地區對銷(xiāo)量的影響因素分析
協(xié)方差分析原理
協(xié)方差分析的適用場(chǎng)景
演練：排除產(chǎn)品價(jià)格，收入對銷(xiāo)量有影響嗎？
6、列聯(lián)分析/卡方檢驗（兩類(lèi)別變量的相關(guān)性分析）
交叉表與列聯(lián)表：計數值與期望值
卡方檢驗的原理
卡方檢驗的幾個(gè)計算公式
列聯(lián)表分析的適用場(chǎng)景
案例：套餐類(lèi)型對客戶(hù)流失的影響分析
案例：學(xué)歷對業(yè)務(wù)套餐偏好的影響分析
案例：行業(yè)/規模對風(fēng)控的影響分析
第三部分：線(xiàn)性回歸模型
營(yíng)銷(xiāo)問(wèn)題：如何預測未來(lái)的產(chǎn)品銷(xiāo)量/銷(xiāo)售額？如果產(chǎn)品跟隨季節性變動(dòng)，該如何預測？
1、回歸分析簡(jiǎn)介和原理
2、回歸分析的種類(lèi)
一元回歸/多元回歸
線(xiàn)性回歸/非線(xiàn)性回歸
3、常用回歸分析方法
散點(diǎn)圖+趨勢線(xiàn)（一元）
線(xiàn)性回歸工具（多元線(xiàn)性）
規劃求解工具（非線(xiàn)性回歸）
演練：散點(diǎn)圖找營(yíng)銷(xiāo)費用與銷(xiāo)售額的關(guān)系
4、線(xiàn)性回歸分析的五個(gè)步驟
演練：營(yíng)銷(xiāo)費用、辦公費用與銷(xiāo)售額的關(guān)系（線(xiàn)性回歸）
5、線(xiàn)性回歸方程的解讀技巧
定性描述：正相關(guān)/負相關(guān)
定量描述：自變量變化導致因變量的變化程度
6、回歸預測模型評估
質(zhì)量評估指標：判定系數R^2
如何選擇最佳回歸模型
演練：如何選擇最佳的回歸預測模型（一元曲線(xiàn)回歸）
7、帶分類(lèi)自變量的回歸預測
演練：汽車(chē)季度銷(xiāo)量預測
演練：工齡、性別與終端銷(xiāo)量的關(guān)系
演練：如何評估銷(xiāo)售目標與資源最佳配置
8、自動(dòng)篩選不顯著(zhù)因素（自變量）
第四部分：回歸模型優(yōu)化
1、回歸分析的基本原理
三個(gè)基本概念：總變差、回歸變差、剩余變差
方程的顯著(zhù)性檢驗：方程可用性
因素的顯著(zhù)性檢驗：因素可用性
方程擬合優(yōu)度檢驗：質(zhì)量好壞程度
理解標準誤差含義：預測準確性？
2、回歸模型優(yōu)化措施：尋找最佳回歸擬合線(xiàn)
如何處理預測離群值（剔除離群值）
如何剔除不顯著(zhù)因素（剔除不顯著(zhù)因素）
如何進(jìn)行非線(xiàn)性關(guān)系檢驗（增加非線(xiàn)性自變量）
如何進(jìn)行相互作用檢驗（增加相互作用自變量）
如何進(jìn)行多重共線(xiàn)性檢驗（剔除共線(xiàn)性自變量）
演練：模型優(yōu)化演示
3、好模型都是優(yōu)化出來(lái)的
第五部分：自定義回歸模型
1、回歸建模的本質(zhì)
2、規劃求解工具簡(jiǎn)介
3、自定義回歸模型
案例：如何對客流量進(jìn)行建模預測及模型優(yōu)化
4、回歸季節預測模型模型
回歸季節模型的原理及應用場(chǎng)景
加法季節模型
乘法季節模型
模型解讀
案例：美國航空旅客里程的季節性趨勢分析
5、新產(chǎn)品累計銷(xiāo)量的S曲線(xiàn)
S曲線(xiàn)模型的應用場(chǎng)景（最大累計銷(xiāo)量及銷(xiāo)量增長(cháng)的拐點(diǎn)）
珀爾曲線(xiàn)
龔鉑茲曲線(xiàn)
案例：如何預測產(chǎn)品的銷(xiāo)售增長(cháng)拐點(diǎn)，以及銷(xiāo)量上限
演練：預測IPad產(chǎn)品的銷(xiāo)量

第六部分：定量模型評估
1、定量預測模型的評估
方程顯著(zhù)性評估
因素顯著(zhù)性評估
擬合優(yōu)度的評估
估計標準誤差評估
預測值準確度評估
2、模型擬合度評估
判定系數：
調整判定系數：
3、預測值準確度評估
平均絕對誤差：MAE
根均方差：RMSE
平均誤差率：MAPE
4、其它評估：殘差檢驗、過(guò)擬合檢驗
第七部分：時(shí)序預測模型
營(yíng)銷(xiāo)問(wèn)題：像利率/CPI/GDP等按時(shí)序變化的指標如何預測？當銷(xiāo)量隨季節周期變動(dòng)時(shí)該如何預測？
1、回歸預測vs時(shí)序預測
2、因素分解思想
3、時(shí)序預測常用模型
趨勢擬合
季節擬合
平均序列擬合
4、評估預測值的準確度指標：MAD、RMSE、MAPE
5、移動(dòng)平均（MA）
應用場(chǎng)景及原理
移動(dòng)平均種類(lèi)
一次移動(dòng)平均
二次移動(dòng)平均
加權移動(dòng)平均
移動(dòng)平均比率法
移動(dòng)平均關(guān)鍵問(wèn)題
如何選取最優(yōu)參數N
如何確定最優(yōu)權重系數
演練：平板電腦銷(xiāo)量預測及評估
演練：快銷(xiāo)產(chǎn)品季節銷(xiāo)量預測及評估
6、指數平滑（ES）
應用場(chǎng)景及原理
最優(yōu)平滑系數的選取原則
指數平滑種類(lèi)
一次指數平滑
二次指數平滑（Brown線(xiàn)性、Holt線(xiàn)性、Holt指數、阻尼線(xiàn)性、阻尼指數）
三次指數平滑
演練：煤炭產(chǎn)量預測
演練：航空旅客量預測及評估
7、溫特斯季節預測模型
適用場(chǎng)景及原理
Holt-Winters加法模型
Holt-Winters乘法模型
演練：汽車(chē)銷(xiāo)量預測及評估
8、平穩序列模型（ARIMA）
序列的平穩性檢驗
平穩序列的擬合模型
AR(p)自回歸模型
MA(q)移動(dòng)模型
ARMA(p,q)自回歸移動(dòng)模型
模型的識別與定階
ACF圖/PACF圖
最小信息準則
序列平穩化處理
變量變換
k次差分
d階差分
ARIMA(p,d,q)模型
演練：上海證券交易所綜合指數收益率序列分析
演練：服裝銷(xiāo)售數據季節性趨勢預測分析
平穩序列的建模流程
第八部分：分類(lèi)預測模型
問(wèn)題：如何評估客戶(hù)購買(mǎi)產(chǎn)品的可能性？如何預測客戶(hù)的購買(mǎi)行為？如何提取某類(lèi)客戶(hù)的典型特征？如何向客戶(hù)精準推薦產(chǎn)品或業(yè)務(wù)？
1、分類(lèi)模型概述及其應用場(chǎng)景
2、常見(jiàn)分類(lèi)預測模型
3、邏輯回歸（LR）
邏輯回歸的適用場(chǎng)景
邏輯回歸的模型原理
邏輯回歸分類(lèi)的幾何意義
邏輯回歸的種類(lèi)
二項邏輯回歸
多項邏輯回歸
如何解讀邏輯回歸方程
帶分類(lèi)自變量的邏輯回歸分析
多項邏輯回歸/多分類(lèi)邏輯回歸
案例：如何評估用戶(hù)是否會(huì )購買(mǎi)某產(chǎn)品（二項邏輯回歸）
案例：多品牌選擇模型分析（多項邏輯回歸）
4、分類(lèi)決策樹(shù)（DT）
問(wèn)題：如何預測客戶(hù)行為？如何識別潛在客戶(hù)？
風(fēng)控：如何識別欠貸者的特征，以及預測欠貸概率？
客戶(hù)保有：如何識別流失客戶(hù)特征，以及預測客戶(hù)流失概率？
決策樹(shù)分類(lèi)簡(jiǎn)介
案例：美國零售商（Target）如何預測少女懷孕
演練：識別銀行欠貨風(fēng)險，提取欠貸者的特征
決策樹(shù)分類(lèi)的幾何意義
構建決策樹(shù)的三個(gè)關(guān)鍵問(wèn)題
如何選擇最佳屬性來(lái)構建節點(diǎn)
如何分裂變量
修剪決策樹(shù)
選擇最優(yōu)屬性生長(cháng)
熵、基尼索引、分類(lèi)錯誤
屬性劃分增益
如何分裂變量
多元劃分與二元劃分
連續變量離散化（最優(yōu)分割點(diǎn)）
修剪決策樹(shù)
剪枝原則
預剪枝與后剪枝
構建決策樹(shù)的四個(gè)算法
C5.0、CHAID、CART、QUEST
各種算法的比較
如何選擇最優(yōu)分類(lèi)模型？
案例：商場(chǎng)用戶(hù)的典型特征提取
案例：客戶(hù)流失預警與客戶(hù)挽留
案例：識別拖欠銀行貨款者的特征，避免不良貨款
案例：識別電信詐騙者嘴臉，讓通信更安全
多分類(lèi)決策樹(shù)
案例：不同套餐用戶(hù)的典型特征
決策樹(shù)模型的保存與應用
5、人工神經(jīng)網(wǎng)絡(luò )（ANN）
神經(jīng)網(wǎng)絡(luò )概述
神經(jīng)網(wǎng)絡(luò )基本原理
神經(jīng)網(wǎng)絡(luò )的結構
神經(jīng)網(wǎng)絡(luò )分類(lèi)的幾何意義
神經(jīng)網(wǎng)絡(luò )的建立步驟
神經(jīng)網(wǎng)絡(luò )的關(guān)鍵問(wèn)題
BP反向傳播網(wǎng)絡(luò )（MLP）
徑向基網(wǎng)絡(luò )（RBF）
案例：評估銀行用戶(hù)拖欠貨款的概率
6、判別分析（DA）
判別分析原理
判別分析種類(lèi)
Fisher線(xiàn)性判別分析
案例：MBA學(xué)生錄取判別分析
案例：上市公司類(lèi)別評估
7、最近鄰分類(lèi)（KNN）
KNN模型的基本原理
KNN分類(lèi)的幾何意義
K近鄰的關(guān)鍵問(wèn)題
8、支持向量機（SVM）
SVM基本原理
線(xiàn)性可分問(wèn)題：最大邊界超平面
線(xiàn)性不可分問(wèn)題：特征空間的轉換
維災難與核函數
9、貝葉斯分類(lèi)（NBN）
貝葉斯分類(lèi)原理
計算類(lèi)別屬性的條件概率
估計連續屬性的條件概率
預測分類(lèi)概率（計算概率）
拉普拉斯修正
案例：評估銀行用戶(hù)拖欠貨款的概率
第九部分：定性模型評估
1、模型的評估指標
兩大矩陣：混淆矩陣，代價(jià)矩陣
六大指標：Acc,P,R,Spec,F1,lift
三條曲線(xiàn)：
ROC曲線(xiàn)和AUC
PR曲線(xiàn)和BEP
KS曲線(xiàn)和KS值
2、模型的評估方法
原始評估法
留出法（Hold-Out）
交叉驗證法（k-fold cross validation）
自助采樣法（Bootstrapping）
第十部分：模型集成優(yōu)化
1、模型的優(yōu)化思路
2、集成算法基本原理
單獨構建多個(gè)弱分類(lèi)器
多個(gè)弱分類(lèi)器組合投票，決定預測結果
3、集成方法的種類(lèi)
Bagging
Boosting
Stacking
4、Bagging集成
數據/屬性重抽樣
決策依據：少數服從多數
典型模型：隨機森林RF
5、Boosting集成
基于誤分數據建模
樣本選擇權重更新公式
決策依據：加權投票
典型模型：AdaBoost模型
6、其它高級集成算法：GBDT，XGBoost等
結束：課程總結與問(wèn)題答疑。 

• 低成本智能自動(dòng)化技能實(shí)戰培訓

   

  課程特色全面：從無(wú)動(dòng)力到有動(dòng)力裝置的LCIA，從基礎到精細化LCIA再到手元化等高級LCIA；治具類(lèi)、操作類(lèi)、搬運類(lèi)、品質(zhì)類(lèi)等等，一應俱全；實(shí)操：學(xué)員在道場(chǎng)內親自設計、動(dòng)手制作，全情體驗（拉線(xiàn)、自重、杠桿等原理的巧妙設計）；案例：各種類(lèi)型LCIA的視頻案例，如何建設LCIA道場(chǎng)LCIA模擬，茅塞頓開(kāi)；系統：從單個(gè)LCIA“點(diǎn)&..

  ￥   元/ 天

  人氣：996  

  

• 大數據及人工智能背景下消費和小微信貸線(xiàn)上獲客、產(chǎn)品設計、風(fēng)控應對策略

   

  第一部分：金融科技發(fā)展狀況的介紹一、金融科技的現狀與發(fā)展趨勢（一）宏觀(guān)背景1、金融科技（支付寶人臉識別技術(shù)、APPLEPAY、虹膜技術(shù)、二維碼支付技術(shù)）2、利率市場(chǎng)化3、金融脫媒（二）移動(dòng)互聯(lián)技術(shù)的發(fā)展使互聯(lián)網(wǎng)金融成為可能1、移動(dòng)互聯(lián)網(wǎng)技術(shù)2、移動(dòng)支付技術(shù)3、H5、APP（三）互聯(lián)網(wǎng)金融對傳統銀行資產(chǎn)業(yè)務(wù)的顛覆和沖..

  ￥   元/ 天

  人氣：1030  

  

• 大數據時(shí)代——提升患者管理，構建專(zhuān)業(yè)藥房

   

  【課程導言】：移動(dòng)互聯(lián)時(shí)代下，實(shí)體門(mén)店面臨巨大的挑戰，同時(shí)也是一種機會(huì )。馬云說(shuō)：不是實(shí)體門(mén)店不行了，而是你的實(shí)體門(mén)店不行了。面臨新的沖擊實(shí)體店如何進(jìn)行創(chuàng )新，如何守住老陣地，如何利用新武器，這是所有實(shí)體連鎖共同面臨的問(wèn)題。課程從互聯(lián)網(wǎng)環(huán)境對我們的實(shí)體店挑戰和我們面臨的消費者消費習慣和方式的的變化入手，通過(guò)分析新零售良品鋪子，海瀾之家，名創(chuàng )優(yōu)品的..

  ￥   元/ 天

  人氣：816  

  

• 電商互聯(lián)網(wǎng)大數據營(yíng)銷(xiāo)之落地實(shí)踐鐵律

   

  課程背景：未來(lái)人貨場(chǎng)一切數字化，數據將成為一種資源，沒(méi)有數據沒(méi)有未來(lái)，企業(yè)如何構建自己的大數據未來(lái)？人工智能已經(jīng)來(lái)臨，人工智能在營(yíng)銷(xiāo)板塊的應用本質(zhì)就是大數據營(yíng)銷(xiāo)！企業(yè)的ERP、CRM、報表等等僅僅是零散的死數據，如何激活流動(dòng)產(chǎn)生閉環(huán)，產(chǎn)生效益？經(jīng)驗將成為負債，未來(lái)將利用數據產(chǎn)品規劃、定位、策劃、人群分析、活動(dòng)策劃，數據成為商業(yè)的起點(diǎn)！人為..

  ￥19,100   元/ 天

  人氣：1446  

  

• 電商互聯(lián)網(wǎng)智能商業(yè)：大數據營(yíng)銷(xiāo)分析與落地實(shí)踐

   

  課程背景：數據是未來(lái)企業(yè)唯一資源，大數據營(yíng)銷(xiāo)意味著(zhù)高效、精準、成本低、全自動(dòng)化，讓企業(yè)從人海戰、廣告戰、渠道戰的泥潭中拔出來(lái)為什么搜索廣告效果差了？為什么團購效果也差了？為什么傳統的用戶(hù)細分、STP在大數據提出的用戶(hù)畫(huà)像面前蒼白了？為什么獨角獸全靠增長(cháng)黑客模式崛起？企業(yè)未來(lái)如何搭建科學(xué)的大數據營(yíng)銷(xiāo)隊伍，建立科學(xué)的數字營(yíng)銷(xiāo)體！通過(guò)互動(dòng)獲取數據，..

  ￥19,100   元/ 天

  人氣：1728  

  

• 大數據基礎原理與應用

   

  一、運營(yíng)商網(wǎng)絡(luò )架構和技術(shù)選擇1.運營(yíng)商網(wǎng)絡(luò )架構2.運營(yíng)商業(yè)務(wù)類(lèi)型3.接入網(wǎng)技術(shù)選擇4.不同業(yè)務(wù)的技術(shù)實(shí)現二、全業(yè)務(wù)運營(yíng)技術(shù)實(shí)現1.集團業(yè)務(wù)分類(lèi)及特點(diǎn)2.集團高等級業(yè)務(wù)特點(diǎn)及業(yè)務(wù)場(chǎng)景3.集團低等級業(yè)務(wù)特點(diǎn)及業(yè)務(wù)場(chǎng)景4.集團高、低等級業(yè)務(wù)要求及技術(shù)選擇5.數據專(zhuān)線(xiàn)業(yè)務(wù)及技術(shù)實(shí)現6.互聯(lián)網(wǎng)專(zhuān)線(xiàn)業(yè)務(wù)及技術(shù)實(shí)現7.集..

  ￥   元/ 天

  人氣：1171