模塊三：大數據技術(shù)及行業(yè)創(chuàng )新應用案例

一、大數據系統平臺總體架構及部署
1、大數據系統平臺總體架構描述
（1）大數據的業(yè)務(wù)目標
（2）大數據總體架構模型
（3）大數據總體架構特點(diǎn)
（4）大數據系統的物理架構
（5）大數據系統的邏輯架構
（6）大數據系統與現有系統的關(guān)系
（7）傳統應用如何成為大數據系統的應用
2、大數據平臺工作流程
（1）大數據采集系統架構及工作流程
（2）大數據存儲架構及工作流程
（3）大數據處理架構及工作流程
（4）大數據挖掘分析架構及工作流程
（5）大數據展現平臺及工作流程
3、大數據平臺技術(shù)體系構成
（1）大數據采集技術(shù)（多樣性：多源數據融合，數據抽取、轉換和加載的過(guò)程優(yōu)化）
（2）大數據存儲技術(shù)（海量：結構化、半結構化和非結構化數據）
（3）大數據處理技術(shù)（快速：并行計算、流計算）
（4）大數據挖掘分析技術(shù)（價(jià)值：數據挖掘、商業(yè)智能）
（5）大數據可視化展示技術(shù)（價(jià)值：數據可視化）
（6）大數據隱私安全
4、大數據相關(guān)概念與相關(guān)技術(shù)概覽
（1）數據結構：結構化數據與非結構化數據
（2）數據庫數據模型：關(guān)系型數據庫與非關(guān)系型數據庫
（3）數據處理特性：OLTP與OLAP
（4）數據一致性：強一致性與最終一致性
（5）數據存儲方式：行式存儲與列式存儲
（6）數據庫存儲與處理架構：SMP與MPP
（7）數據存儲架構：傳統分布式文件與新型分布式文件
（8）數據處理架構：基于并行計算的分布式數據處理技術(shù)（MapReduce）
5、大數據存儲和處理技術(shù)
（1）分布式存儲和計算平臺- Hadoop
（2）分布式文件系統-HDFS
（3）分布式計算框架-YARN/MapReduce
（4）分布式數據庫-NoSQL
6、大數據查詢(xún)和分析技術(shù)：SQL on Hadoop
（1）Hive：基本的Hadoop 查詢(xún)和分析
（2）Hive 2.0：Hive 的優(yōu)化和升級
（3）實(shí)時(shí)互動(dòng)的SQL：Impala 和drill
（4）基于PostgreSQL 的SQL on Hadoop
（5）大數據高級分析和可視化技術(shù)
（6）傳統數據倉庫與聯(lián)機分析處理技術(shù)
（7）大數據挖掘與高級分析
（8）大數據挖掘與高級分析庫：Mahout
（9）非結構化復雜數據分析
（10）實(shí)時(shí)預測分析
（11）開(kāi)源可視化工具：R語(yǔ)言
（12）可視化技術(shù)
7、大數據Hadoop2.0平臺架構及組件
（1）Hadoop2.0平臺總體架構解析
Hadoop2.0平臺層次劃分及構成
Hadoop2.0平臺軟件系統構成
Hadoop2.0平臺各組件介紹
（2）Hadoop2.0平臺各組件功能描述
分布式文件系統-HDFS
分布式批處理計算-YARN/MapReduce
分布式數據庫-HBase
分布式數據倉庫-Hive
分布式協(xié)作服務(wù)-ZooKeeper
數據分析挖掘-Pig
數據采集系統-Chukwa
高吞吐量分布式消息系統-Kafka
系統監控- Ambari
跨語(yǔ)言服務(wù)間通信-Thrift
日志收集與轉運工具-Flume
數據結果與線(xiàn)上決策的交互-Redis
流計算基礎平臺-Storm vs Spark
流式計算框架Spark Streaming
二、大數據應用實(shí)踐方法及行業(yè)應用案例分析
1、大數據應用實(shí)踐方法
（1）業(yè)務(wù)需求定義
（2）大數據應用現狀分析與標桿比較
（3）大數據系統平臺規劃和設計
（4）大數據技術(shù)切入與實(shí)施
（5）大數據試用和評估
（6）大數據應用推廣
2、業(yè)務(wù)需求定義
（1）分析業(yè)務(wù)戰略，了解戰略層面的大數據需求
（2）調研業(yè)務(wù)經(jīng)營(yíng)模式、管理現狀、進(jìn)行大數據需求分析，發(fā)現應用機會(huì )和場(chǎng)景
（3）發(fā)現大數據應用對企業(yè)的機會(huì )和挑戰
（4）標桿應用研究
3、各行業(yè)大數據應用的個(gè)性需求分析方法
（1）“互聯(lián)網(wǎng)與電子商務(wù)行業(yè)”大數據應用需求分析
（2）“電信運營(yíng)業(yè)”大數據應用需求分析
（3）“政府”大數據應用需求分析
（4）“金融業(yè)”大數據應用需求分析
（5）“零售業(yè)”大數據應用需求分析
（6）“教育業(yè)”大數據應用需求分析
（7）“醫療業(yè)”大數據應用需求分析
（8）“能源業(yè)”大數據應用需求分析
（9）“制造業(yè)”大數據應用需求分析
（10）“交通物流業(yè)”大數據應用需求分析
（11）企業(yè)級大數據應用的共性需求分析
（12）客戶(hù)分析
（13）績(jì)效分析
（14）欺詐和風(fēng)險評估
4、大數據應用現狀分析與標桿比較
（1）分析數據應用現狀和能力
（2）分析應用場(chǎng)景和數據容量、種類(lèi)和速度
（3）確定大數據評價(jià)指標體系
（4）應用場(chǎng)景的數據源和樣本分析
（5）標桿數據分析研究
5、大數據系統平臺規劃和設計
（1）大數據戰略目標定義
（2）大數據系統平臺架構設計
提出大數據架構
細化獲取架構
處理和存儲架構
分析架構
信息安全架構
大數據組織架構
6、關(guān)鍵技術(shù)系統設計
7、技術(shù)選型和采購建議
8、技術(shù)實(shí)施規劃
（1）大數據技術(shù)切入與實(shí)施
大數據技術(shù)試驗
試點(diǎn)和數據采集、存儲和分析
平臺部署
（2）大數據試用和評估
大數據試用
大數據評估
9、大數據應用推廣
（1）需求分析
（2）應用推廣準備
（3）啟動(dòng)新的項目
10、以電信運營(yíng)商客戶(hù)分析為例的大數據實(shí)施案例分析
（1）大數據客戶(hù)分析業(yè)務(wù)需求
（2）大數據客戶(hù)分析現狀與標桿比較
（3）大數據客戶(hù)分析應用架構規劃與設計
（4）大數據客戶(hù)分析實(shí)施、試點(diǎn)和推廣 

博士
北京信息科技大學(xué)副教授
人工智能、數據挖掘專(zhuān)家
IEEE Access等SCI期刊特約審稿人
中博智學(xué)教育公司常年簽約講師。
在A(yíng)I技術(shù)高速發(fā)展的今天，王老師希望憑借他在深度學(xué)習、數據挖掘、大數據技術(shù)、云計算技術(shù)和移動(dòng)通信技術(shù)方面完整的知識體系及融會(huì )貫通的能力，加上深厚的數學(xué)功底，通過(guò)技術(shù)培訓和咨詢(xún)?yōu)樾畔⑼ㄐ?、高?？蒲袌F隊、AI從業(yè)者長(cháng)遠發(fā)展助一臂之力！在軟件測試流程設計及優(yōu)化、自動(dòng)化測試框架的實(shí)現、性能優(yōu)化等領(lǐng)域具有多年的實(shí)戰經(jīng)驗，擅長(cháng)自動(dòng)化測試解決方案的制定與實(shí)施。
【主要工作】
長(cháng)期從事人工智能、數據挖掘、大數據領(lǐng)域研究生、自動(dòng)化測試、企業(yè)員工教學(xué)培訓與地震人工智能科研工作；多次參與行業(yè)人工智能技術(shù)引用研討及大會(huì )發(fā)言；在大唐電信、中國地質(zhì)科學(xué)院等單位長(cháng)期全職、兼職從事深度學(xué)習、數據挖掘相關(guān)技術(shù)的培訓及軟件研發(fā)；在高校從事數據挖掘、深度學(xué)習教學(xué)8年。
【主要研究領(lǐng)域】
基于對AI行業(yè)的長(cháng)期研究，對現在A(yíng)I技術(shù)的發(fā)展與演進(jìn)、深度學(xué)習算法的推導、地震人工智能、自動(dòng)化測試、物聯(lián)網(wǎng)、智慧城市、大數據、云計算、TD-LTE都有著(zhù)深入的理解，并且也一直在一線(xiàn)從事相關(guān)項目的咨詢(xún)服務(wù)工作，積累的豐富的實(shí)操經(jīng)驗，保證課程的時(shí)效性和落地性，課程受到相關(guān)高校以及相關(guān)政府部門(mén)的高度好評。
【授課特點(diǎn)】
既有雄厚而扎實(shí)的AI理論基礎、精湛而熟練的技術(shù)，又有豐富的理論及實(shí)踐教學(xué)經(jīng)驗和技巧，做過(guò)項目課題、參加過(guò)通信計費結算軟件、建筑軟件、遙感圖像處理軟件、地震預測預報等軟件開(kāi)發(fā)工作。
在長(cháng)期的教學(xué)與培訓實(shí)踐中形成了獨具特色、自成體系的教學(xué)風(fēng)格和教學(xué)方法，最大特點(diǎn)在于以人文的思想與方法進(jìn)行教學(xué)，生動(dòng)活潑，富于激情與感染力；教學(xué)針對性強，知識全面、思路清晰、邏輯嚴密、結合豐富的案例進(jìn)行教學(xué)，深入淺出、詼諧幽默；通過(guò)互動(dòng)教學(xué)，解決學(xué)員在實(shí)際工作中遇到的各種問(wèn)題，讓學(xué)員在短時(shí)間內取得較大收獲。教授過(guò)得學(xué)院上千人，學(xué)生對教學(xué)效果評估滿(mǎn)意率均達 90%以上。
【精品課程】
人工
智能 人工智能技術(shù)概述及發(fā)展前景展望：人工智能背景與歷史、深度學(xué)習、腦認知、行業(yè)發(fā)展現狀、發(fā)展趨勢 Python基礎：列表、元組、字符串、字典、條件、循環(huán)控制、函數、異常處理、文件操作、多線(xiàn)程
大數據處理：Numpy、Pandas、Matplotilb、OpenCV、特征抽取、特征轉換、歸一化 機器學(xué)習：線(xiàn)性回歸、KNN、邏輯回歸、梯度下降算法、牛頓法、決策樹(shù)、隨機森林、GBDT算法、支持向量機、K-means、樸素貝葉斯算法、隱馬爾可夫模型、最大熵模型
深度學(xué)習平臺：TensorFlow、PyTorch、Keras
深度學(xué)經(jīng)典模型及應用：
CNN、RNN、LSTM、GAN、Seq2Seq

強化學(xué)習：Q-Learning、Sarsa、DQN、Policy Gradient、Actor Critic 爬蟲(chóng)技術(shù)：urllib3、requests、lxml、bs4、Srapy、Selenium、PhantomJS
深度學(xué)習項目進(jìn)階實(shí)踐：人臉識別系統、智能推薦系統、情感分析系統、智能對話(huà)系統
大數據及數據挖掘 大數據技術(shù)概述及演變趨勢 大數據時(shí)代的業(yè)務(wù)支撐系統
MapReduce技術(shù)架構 Hadoop 分布式程序開(kāi)發(fā)
Spark內存程序開(kāi)發(fā) HBase數據存儲原理及應用
MongoDB數據庫開(kāi)發(fā)
數據挖掘技術(shù)概述 協(xié)同過(guò)濾——基于用戶(hù)的顯式推薦算法
協(xié)同過(guò)濾——隱式評級及基于物品的過(guò)濾 內容過(guò)濾機及分類(lèi)——基于物品屬性的過(guò)濾
算法評估及KNN 概率及樸素貝葉斯：貝葉斯定理、非結構化文本分類(lèi)
聚類(lèi)：K-MEANS聚類(lèi)、SSE及散度

【近幾年主持、參與的科研項目】
（1）國家自然科學(xué)基金，模擬地震監測波形記錄矢量化關(guān)鍵算法研究與系統開(kāi)發(fā)（數字圖像處理、數據挖掘方向）（國家級，主持）。
（2）大唐電信軟件公司計費結算部工程師，設計開(kāi)發(fā)了內蒙聯(lián)通計費結算系統，河北鐵通計費系統，河南移動(dòng)計費系統。
（3）多次指導學(xué)生參加阿里天池杯大數據競賽，2015年度40個(gè)國家2100支隊伍參與的“淘寶穿衣搭配算法” 競賽決賽取得排名189名；2016年度40個(gè)國家3046支隊伍參與的“機場(chǎng)客流量的時(shí)空分布預測”競賽決賽中決賽排名115名，優(yōu)異成績(jì)；2017年，在全球1143支隊伍參與的“余震捕捉AI大賽”中指導學(xué)生排名45名。
（4）中博教育人工智能研發(fā)部技術(shù)總監，人工智能公考軟件技術(shù)負責人。
（5）校級人才引進(jìn)支持計劃A類(lèi)（人工智能方向），主持。
（6）中國地質(zhì)調查局工作項目子課題，陸域天然氣水合物大數據處理與存儲（數據挖掘方向）（省部級，排名第2）。
（7）中國地震局教師科研基金，活動(dòng)斷裂帶重點(diǎn)區域用地變化檢測技術(shù)研究（數據挖掘方向）（省部級，主持）。
（8）中央高?；究蒲袆?chuàng )新團隊項目子課題，基于多源地震遙感數據融合的斷層識別技術(shù)研究（數據挖掘方向）（主持）。
（9）國家重大科技專(zhuān)項子課題，高分遙感應急示范工程先期攻關(guān)項目--多源地震信息融合技術(shù)研究（數據挖掘方向）（國家級，排名第2）。
（10）中央高?；究蒲袠I(yè)務(wù)費青年教師資助計劃，基于HRTEM和STM圖像的石墨烯晶體結構缺陷識別（數字圖像處理、數據挖掘方向）（主持）。
（11）中國地震局教師科研基金，主震地震參數與后續最大地震震級之間的統計關(guān)系研究（人工智能方向）（排名第2）。
（12）河北省科學(xué)技術(shù)廳河北省科技計劃項目，基于大數據技術(shù)的流體觀(guān)測數據前兆異常自動(dòng)識別算法研究（人工智能方向）（排名第3）。
（13）校級教育研究與教學(xué)改革項目， 情景式教學(xué)方法在《UML與設計模式》教學(xué)中的應用（主持）。
【近幾年發(fā)表的論文（第一作者）】
(1)A new program on digitizing analog seismograms, Computers & Geosciences, 2016, 93,70-76.(SCI，IF 2.8)
(2)Recognition of Defect Structure of Graphene by Image Processing Technique, Journal of Computational and Theoretical Nanoscience, 2014, 11(2), 391-395. (SCI)
(3)Recognition of amount of carbon atoms of graphite STM images, Journal of Computational and Theoretical Nanoscience, 2011, 8(11), 2204-2208. (SCI)
(4)Recognition of atomically-resolved STM images of graphite, Journal of Computational and Theoretical NanoScience, 2010, 7(2), 404-407 (SCI)
(5)Recognition of chiral vector angle of individual single-walledcarbon nanotubes by image processing techniques, Journal of Computational and Theoretical NanoScience, 2009, 6 (5), 1008-1012. (SCI)
(6) Land use Change Detecting using Remote Sensing in Xiadian Fault Zone, Journal of Residuals Science & Technology, 2016,12(8), 185-186. (SCI 刊源)
(7)Fault Diagnosis of Sucker-Rod Pumping System Using Support Vector Machine, Communications in Computer and Information Science, 2012, 289,179-189.(EI)
(8)Study of oil-gas yield model of a suck-rod pumping well based on thedata mining of pump dynamometer cards，The 2th International Conference onComputer Science and Service System, 2012.
(9)Recognition of topology feature of Graphene by image processing technique, Advanced Materials Research, 2013, 756-759: 4133-4137. (EI)
(10)Analysis of the Relationship between Main Shock and Aftershocks Based on Association Rules, Advanced Materials Research , 2013, 760 -762: 1174-1177 (EI).
(11)Energy Field Filling of NEIC Broadband Radiated Energy Catalogue Based on Method of Least Squares, Advanced Materials Research (Volumes 760-762), 1339-1342, 2013. (EI)
(12)A New Curve Tracing Algorithm Based on Local Feature in the Vectorization of Paper Seismograms, Sensors & Transducers Journal, 2014 165: 108-111, 2014. (EI)
(13)Spatial characteristics of the major surface rupture in Lushan area to the south of Dujiangyan city by analyzing remote sensing images, 2014 International Conference on Information GIS and Resource Management, 2014.
(14)Researches on key algorithms in analogue seismogram records vectorization，Sensors & Transducers Journal, 2014, 178 (9): 209-213.
(15)A new waveform mosaic algorithm in the vectorization of paper seismograms, Sensors & Transducers Journal,Vol. 2014, 182 (11), 203-206.
(16)Energy field filling of neic broadband radiated energy catalogue based on Support Vector Machine regression model, Applied Mechanics and Materials. 2014, 687-691, 1514-1517. (EI)
(17)Analysis of the relationship between apparent stress and main-after shocks magnitude difference on association rules, energy education science and technology part a. 2015. 33(1): 425-434.
【主要培訓經(jīng)歷】
1、擁有5年以上的通信行業(yè)工作經(jīng)驗，先后為全國多家通信公司有過(guò)項目開(kāi)發(fā)合作及授課。曾為北京大唐電信、河北聯(lián)通等多家省市通信公司講授大數據系統、AI研發(fā)技術(shù)系統培訓、數據挖掘技術(shù)、Nosql數據庫、移動(dòng)互聯(lián)網(wǎng)等相關(guān)技術(shù)。
2、曾為溫州大學(xué)、石家莊鐵道大學(xué)、中國地質(zhì)科學(xué)院及北京城市學(xué)院等多家院校講授《人工智能算法在醫學(xué)數據分類(lèi)上的應用（CNN及Reinforcement Learning）》、《人工智能技術(shù)概述及典型算法培訓》、《人工智能在地學(xué)資料文本數據挖掘方向的應用》、《計算機網(wǎng)絡(luò )》、《數字圖像處理》、《計算機程序設計語(yǔ)言》等高級核心課程。