Hadoop大數據解決方案平臺技術(shù)培訓

【培訓對象】
網(wǎng)絡(luò )部、大數據系統開(kāi)發(fā)部、大數據中心、網(wǎng)絡(luò )運維部等相關(guān)技術(shù)人員。

【培訓收益】

第一部分：Hadoop的基本框架
1、大數據時(shí)代面臨的問(wèn)題
2、當前解決大數據的技術(shù)方案
3、Hadoop架構和云計算
4、Hadoop簡(jiǎn)史及安裝部署
5、Hadoop設計理念和生態(tài)系統

第二部分：HDFS分布式文件系統--海量數據存儲的搖籃
1、HDFS的設計目標
2、HDFS的基本架構
NameNode名稱(chēng)節點(diǎn)
SecondaryNameNode第二名稱(chēng)節點(diǎn)
DataNode數據節點(diǎn)
3、HDFS的存儲模型
數據塊存儲
元數據存儲（空間鏡像與編輯日志）
多副本存儲
4、多副本放置策略
5、多數據節點(diǎn)管理機制與交互過(guò)程
6、文件系統操作與管理
讀文件過(guò)程
寫(xiě)文件過(guò)程（數據流管道）
7、數據完整性機制
數據校驗和
數據完整性?huà)呙杈€(xiàn)程
元數據備份與合并
8、數據可靠性設計
安全模式（數據塊與節點(diǎn)映射關(guān)系管理）
心跳檢測機制（節點(diǎn)失效管理）
租約機制（多線(xiàn)程并發(fā)控制）
9、其它
HDFS的安全機制
負載均衡
文件壓縮
10、操作接口與編程接口
HDFS Shell
HDFS Commands
WebHDFS REST API
HDFS Java API
演練：HDFS文件操作命令
演練：HDFS編程示例

第三部分：MapReduce分布式計算系統--海量數據處理的利器
1、MapReduce的三層設計理念
分布治之的設計思想（Map與Reduce）
數據處理引擎（編程模型）
運行時(shí)環(huán)境（任務(wù)調度與執行）
2、MapReduce的基本架構
JobTracker作業(yè)跟蹤器
TaskTracker任務(wù)跟蹤器
MapReduce與HDFS的部署關(guān)系
3、MapReduce編程模型概述
編程接口介紹
Hadoop工作流實(shí)現原理
4、MapReduce作業(yè)調度機制
MapReduce作業(yè)生命周期
作業(yè)調度策略
靜態(tài)資源管理方案
5、數據并行處理機制（五步驟）
Input階段實(shí)現
Map階段實(shí)現
Shuffle階段實(shí)現
Reduce階段實(shí)現
Output階段
6、MapReduce容錯機制
任務(wù)失敗與重新嘗試
節點(diǎn)失效與重調度
單點(diǎn)故障
7、MapReduce性能優(yōu)化
優(yōu)化方向與思路
磁盤(pán)IO性能優(yōu)化
分片優(yōu)化
線(xiàn)程數量?jì)?yōu)化
內存優(yōu)化
壓縮優(yōu)化
8、MapReduce操作接口
Job Shell
Web UI
案例演練：MapReduce編程示例
9、YARN：下一代通用資源管理系統
MRv1的局限性
YARN基本框架
NN HA：解決單點(diǎn)故障
HDFS Federation：解決擴展性問(wèn)題

第四部分：HBase非關(guān)系型數據庫--海量數據的黎明
1、HBase的使用場(chǎng)景
2、HBase的基本架構
Zookeeper分布式協(xié)調服務(wù)器
Master主控服務(wù)器
Region Server區域服務(wù)器
3、HBase的數據模型
HBase的表結構
行鍵、列鍵、時(shí)間戳
4、HBase的存儲模型
基本單位Region
存儲格式HFile
5、數據分裂機制Split
6、數據合并機制Compaction
minor compaction
major compaction
7、HLog寫(xiě)前日志
8、數據庫讀寫(xiě)操作
數據庫寫(xiě)入
數據庫讀取
三次尋址
9、HBase操作接口
Native Java API
HBase Shell
批量加載工具
HiveQL操作
10、HBase性能優(yōu)化
寫(xiě)速度優(yōu)化
讀速度優(yōu)化
11、HBase集群監控與管理
案例演練：HBase命令操作實(shí)例

第五部分：Hive分布式數據倉庫--高級的編程語(yǔ)言
1、Hive是什么
2、Hive與關(guān)系數據庫的區別
3、Hive系統架構
用戶(hù)接口層
元數據存儲層
驅動(dòng)層
4、Hive常用服務(wù)
5、Hive元數據的三種部署模式
6、Hive的命名空間
7、Hive數據類(lèi)型與存儲格式
數據類(lèi)型
TextFile/SequenceFile/RCFile
8、Hive的數據模型
管理表
外部表
分區表
桶表
9、HQL語(yǔ)言命令實(shí)例
DDL數據定義語(yǔ)言
DML數據操作語(yǔ)言
QUERY數據查詢(xún)語(yǔ)言
10、Hive自定義函數
基本函數（UDF）
聚合函數（UDAF）
表生成函數（UDTF）
11、Hive性能優(yōu)化
動(dòng)態(tài)分區
壓縮
索引
JVM重用
案例演練：Hive命令操作實(shí)例

第六部分：Sqoop數據交互工具--與傳統數據庫的橋梁
1、Sqoop是什么
2、Sqoop的架構和功能
Sqoop1架構
Sqoop2架構
3、數據雙向交換
數據導入過(guò)程
數據導出過(guò)程
4、數據導入工具與命令介紹
案例演練：Sqoop數據導入/導出實(shí)際操作

第七部分：Pig數據流處理引擎--數據腳本語(yǔ)言
1、Pig介紹
2、命令行交互工具Grunt
3、Pig數據類(lèi)型
4、Pig Latin腳本語(yǔ)言介紹
基礎知識
輸入和輸出
關(guān)系操作
調用靜態(tài)Java函數
5、Pig Latin高級應用
6、開(kāi)發(fā)與測試Pig Latin腳本
開(kāi)發(fā)工具
任務(wù)狀態(tài)監控
調試技巧
7、腳本性能優(yōu)化
8、用戶(hù)自定義函數UDF
案例演練：Pig Latin腳本編寫(xiě)、測試與運行操作

結束：課程總結與問(wèn)題答疑。 

• 寬帶接入與智慧家庭技術(shù)培訓

   

  時(shí)間 內容 ..

  ￥   元/ 天

  人氣：1065  

  

• 面向全業(yè)務(wù)的寬帶傳輸技術(shù)培訓

   

  一、通信產(chǎn)業(yè)發(fā)展背景和趨勢1.全球互聯(lián)網(wǎng)流量現狀和趨勢2.全球無(wú)線(xiàn)接入流量變化趨勢3.全球消費者網(wǎng)絡(luò )視頻變化趨勢4.中國網(wǎng)民規模和結構二、四川移動(dòng)全業(yè)務(wù)布局和實(shí)現1.電信運營(yíng)商全業(yè)務(wù)格局2.全業(yè)務(wù)運營(yíng)的概念和特點(diǎn)3.中國移動(dòng)全業(yè)務(wù)運營(yíng)現狀4.全業(yè)務(wù)競爭下客戶(hù)的典型需求5.中國移動(dòng)全業(yè)務(wù)布局6.全業(yè)務(wù)基礎通信..

  ￥   元/ 天

  人氣：671  

  

• 面向全業(yè)務(wù)的傳送網(wǎng)絡(luò )技術(shù)培訓

   

  一、通信產(chǎn)業(yè)發(fā)展背景和趨勢1.全球互聯(lián)網(wǎng)流量現狀和趨勢2.全球無(wú)線(xiàn)接入流量變化趨勢3.全球消費者網(wǎng)絡(luò )視頻變化趨勢4.中國網(wǎng)民規模和結構二、中國移動(dòng)全業(yè)務(wù)布局和實(shí)現1.電信運營(yíng)商全業(yè)務(wù)格局2.全業(yè)務(wù)運營(yíng)的概念和特點(diǎn)3.中國移動(dòng)全業(yè)務(wù)運營(yíng)現狀4.全業(yè)務(wù)競爭下客戶(hù)的典型需求5.中國移動(dòng)全業(yè)務(wù)布局6.全業(yè)務(wù)基礎通信..

  ￥   元/ 天

  人氣：780  

  

• 本地網(wǎng)PON技術(shù)培訓

   

  一、達州移動(dòng)網(wǎng)絡(luò )架構和技術(shù)選擇1.達州移動(dòng)網(wǎng)絡(luò )架構2.達州移動(dòng)業(yè)務(wù)類(lèi)型3.達州移動(dòng)本地網(wǎng)技術(shù)選擇4.不同業(yè)務(wù)的技術(shù)實(shí)現二、PON關(guān)鍵技術(shù)1.接入網(wǎng)技術(shù)概述2.PON的概念及技術(shù)分類(lèi)3.光進(jìn)銅退的概念4.PON網(wǎng)絡(luò )工作原理和網(wǎng)絡(luò )質(zhì)量5.OLT設備和工作原理6.ONU設備和工作原理三、影響接入網(wǎng)網(wǎng)絡(luò )質(zhì)量..

  ￥   元/ 天

  人氣：837  

  

• 全業(yè)務(wù)綜合故障解決方案培訓、裝維技術(shù)培訓

   

  時(shí)間 內容 收益 ..

  ￥   元/ 天

  人氣：767  

  

• 物聯(lián)網(wǎng)智能技術(shù)培訓

   

  Topics/題目 Contents/內容 時(shí)長(cháng)/Time ..

  ￥   元/ 天

  人氣：980