我要預訂

咨詢電話：027-5111 9925 , 027-5111 9926手機：18971071887郵箱：Service@mingketang.com

課程背景

Hadoop生態系統是大數據技術事實標準，是大數據思想、理念、機制的具體實現，是整個大數據技術中公認的核心框架和具有極強的使用價值與研究價值。Hadoop 系統是一款開源軟件，能夠處理海量的各種結構（包括結構化、非結構化、半結構化）的數據。

Yarn是基于Hadoop的分布式集群資源管理框架；隨著Hadoop集群應用的廣泛，以及集群的規模越來越大，人們發現Hadoop MRv1存在諸多問題，因此Hadoop MRv2誕生，即現在的YARN，解決了4000節點的上限問題。

基于 Hadoop 的解決方案能夠幫助企業應對多個大數據挑戰，包括：

1、分析海量（PB 級或者更多）的數據

Hadoop 能夠分析所有數據，使得分析更準確，預測更精確；

2、從多個數據類型的組合中獲得新的洞察力

將來自多個數據源的不同類型的數據進行結合分析，發現新的數據關系和洞察力；

3、存儲大量的數據

由于它不依賴于高端硬件，且是可擴展的，所以使存儲大量數據變得經濟有效；

4、數據發現(data discovery)和研究的沙箱

Hadoop 提供了一個地方，數據科學家可在此發現新的數據關系和相互依賴性。

工業和信息化部電信研究院于2014年5月發布的“大數據白皮書”中指出：

“2012 年美國聯邦政府就在全球率先推出“大數據行動計劃（Big data initiative）”，重點在基礎技術研究和公共部門應用上加大投入。在該計劃支持下，加州大學伯克利分校開發了完整的大數據開源軟件平臺“伯克利數據分析軟件棧（Berkeley Data Analytics Stack），其中的內存計算軟件Spark的性能比Hadoop 提高近百倍，對產業界大數據技術走向產生巨大影響”

----來源：工業和信息化部電信研究院

Spark是成為替代MapReduce架構的大數據分析技術，Spark的大數據生態體系包括流處理、圖技術、機器學習等各個方面，并且已經成為Apache頂級項目，可以預計的是2014年下半年到2015年在社區和商業應用上會有爆發式的增長。

國內外一些大型互聯網公司已經部署了Spark，并且它的高性能已經得到實踐的證明。國外Yahoo已在多個項目中部署Spark，尤其在信息推薦的項目中得到深入的應用；國內的淘寶、愛奇異、優酷土豆、網易、baidu、騰訊等大型互聯網企業已經將Spark應用于自己的生產系統中。國內外的應用開始越來越廣泛。Spark正在逐漸走向成熟，并在這個領域扮演更加重要的角色。

在2014 Spark Summit上，世界20家頂級公司聲明支持Spark，這些公司包括了最大的四個Hadoop發行商Cloudera, Pivotal, MapR, Hortonworks，都提供了對非常強有力的支持Spark的支持：

1、Hadoop的頭號發行商Cloudera，在2014年7月份宣布“Impala’s it for interactive SQL on Hadoop; everything else will move to Spark”；

2、2014年5月24日Pivotal宣布了會把整個Spark stack包裝在Pivotal HD Hadoop發行版里面；這標志著四個Hadoop發行商Cloudera、Pivotal、MapR、Hortonworks都提供了對Spark的支持；

3、2014年4月，Mahout表示將不再接受任何形式的以MapReduce形式實現的算法，機器學習宣布新的算法基于Spark；

4、Cloudera的機器學習框架Oryx的執行引擎也將由Hadoop的MapReduce替換成Spark；

SparkML是Hadoop家族中與眾不同的一個成員，是一個基于Hadoop的機器學習和數據挖掘的分布式計算框架。SparkML是一個跨學科產品，同時也是Hadoop家族中最有競爭力、最難掌握、最值得學習的一個項目。SparkML為數據分析人員，降低了大數據的門檻；為算法工程師，提供基礎的算法庫；為Hadoop開發人員，提供了數據建模的標準；為運維人員，打通了和Hadoop連接。

培訓目標

1、深入理解分布式原理與實現技術；

2、分布式文件系統操作能力，以HDFS為例講解；

3、從代碼的角度深入剖析MapReduce執行的具體過程；

4、培養學員具有分布式批處理計算框架的開發MapReduce代碼的能力；

5、使學員掌握MapReduce內部運行和實現細節并改造MapReduce的能力；

6、使學員掌握分布式并行計算引擎的使用能力，如Spark、Impala等；

7、使學員掌握分布式數據庫的使用能力，如HBase、MySQL Cluster、Redis等；

8、具備分布式流計算的開發能力，如SparkStreaming、Storm等；

培訓對象

1、對大數據、分布式存儲、分布式計算等感興趣的朋友；

2、Java、PHP、C等任意一門編程語言的開發者；

3、大型網站、電商網站等運維人員；

4、云計算、大數據從業者；

5、熟悉Hadoop生態體系，想了解和學習Hadoop與Spark整合在企業應用實戰案例的朋友；

6、系統架構師、系統分析師、高級程序員、資深開發人員；

7、牽涉到大數據處理的數據中心運行、規劃、設計負責人；

8、政府機關，金融保險、移動互聯網等大數據單位的負責人；

9、高校、科研院所大數據研究人員，涉及到大數據與分布式數據處理的人員；

10、數據倉庫管理人員、建模人員，分析和開發人員、系統管理人員、數據庫管理人員以及對數據倉庫感興趣的其他人員；

以課堂講解、演示、案例分析為主，輔以互動研討、現場答疑、學以致用。

課程內容：

第一天

第1個主題：分布式基礎理論知識（深入剖析分布式原理與理論，并為分布式學習奠定基礎）（60分鐘）

1、大數據技術

2、分布式技術

3、CAP理

4、BASE思想

5、消息機制

6、分布式協調器

7、心跳機制

8、日志結構文件系統

9、RWN理論

10、跨操作系統調度資源

第2個主題：Hadoop大數據分布式平臺概述（系統性介紹Hadoop大數據分布式平臺）（30分鐘）

1、Hadoop是大數據架構的事實標準

2、Hadoop工作原理及架構

3、Hadoop生態體系介紹

4、Hadoop應用現狀

5、Hadoop發展趨勢

6、Hadoop優勢

7、實例分享：雙十一億背后的開源技術

第3個主題：Hadoop分布式集群部署與運維（動手搭建Hadoop集群及運維）（30分鐘）

1、SaltStack

2、Maven

3、禁用IPV6

4、SSH無密碼登錄

5、Hadoop HA部署介紹

6、Hadoop集群部署

7、Hadoop集群的監控

8、Hadoop集群的運維

第4個主題：分布式文件操作和存儲（深入理解大數據分布式文件系統的原理與機制）（120分鐘）

1、HDFS架構剖析

2、NameNode、DataNode、SecondaryNameNode介紹

3、NodeName高可靠性最佳實踐

4、DataNode中Block劃分的原理和具體存儲方式

5、修改Namenode、DataNode數據存儲位置

6、CLI操作HDFS

7、Java操作HDFS

8、RESTful操作HDFS

9、動態修改Hadoop的Replication數目

10、Hadoop序列化

11、Hadoop流壓縮

12、Hadoop RPC

13、SequenceFile與MapFile

14、Hadoop Avro

第5個主題：分布式資源調度框架剖析（深入剖析和使用分布式資源調度框架的能力）（30分鐘）

1、YARN介紹

2、YARN的設計思想

3、YARN的核心組件

4、YARN為核心的生態系統

5、Yarn的 HA機制

6、YARN應用程序編寫

7、ResourceManager深入剖析

8、ClientRMService與AdminService

9、NodeManager深入剖析

10、Container

第6個主題：分布式批處理計算模型MapReduce（深入剖析MapReduce原理及開發MapReduce程序能力思維方法論）（120分鐘）

1、MapReduce算法剖析

2、MapReduce編程思想

3、MapReduce常用算法

4、MapReduce命令操作

5、wordcount運行過程解析

6、MapReduce如何將HDFS文件轉化為Key-Value供Map解析與處理

7、Hadoop的調度器介紹

8、Combiner的使用原則

9、Partitioner的使用最佳實踐

10、MapReduce排序算法剖析

11、自定義排序算法

12、Hadoop內置的分組算法

13、自定義分組算法

14、MapReduce常見場景和算法實現

15、MapReduce新舊API的區別以及如何使用API

16、MapReduce程序打包并在命令行運行

17、Hadoop Streaming

18、動態增加Hadoop的Slave節點

19、學員動手編寫MapReduce程序

第7個主題：分布式內存數據庫（介紹當前主流的分布式內存數據庫，深入剖析分布式內存庫系統的原理與機制）（30分鐘）

1、業界主要應用的分布式內存庫有哪些

2、分布式內存庫的應用情況

a)大數據非結構化數據的應用場景（TFS）

b)大數據歷史明細查詢的應用場景

c)秒殺高并發的應用場景

d)實時高并發業務的應用場景

e)在線實時統計分析的應用場景

3、應用的具體案例

a)分布式內存庫在運營商話單詳單查詢系統中的應用

b)分布式內存庫在金融行業流水業務查詢系統中的應用

c)分布式內存庫在微博自媒體業務中應用

4、分布式內存庫的特性

5、CAP理論

6、BASE思想

7、RWN理論

8、分布式關系型內存庫

a)MySQL Cluster

9、分布式NoSQL列式內存庫

a)HBase

b)Cassandra

c)GemFire

10、分布式文檔內存庫

a)MongoDB

11、案例：GemFire在實時交易系統12306的使用案例分享

第8個主題：分布式協調器（深入剖析分布式協調器技術原理和實現技術）（30分鐘）

1、Zookeeper介紹

2、Paxos算法

3、Paxos 算法應用場景

4、Zookeeper的數據模型

5、Zookeeper的節點

6、Zookeeper的角色

7、Zookeeper工作原理

8、Leader選舉

9、部署ZooKeeper

10、Shell操作Zookeeper

11、Java程序操作Zookeeper

12、Zookeeper典型使用場景

第二天

第9個主題：分布式數據庫NoSQL技術（深入剖析分布式NoSQL技術及原理并實操）（30分鐘）

1、分布式數據庫概述

2、HBase介紹

3、HBase的特點

4、HBase邏輯模型

5、HBase列族與列

6、HBase時間戳

7、行式數據庫 vs 列式數據庫

8、HBase物理模型

9、數據存儲結構:LSM

10、HBase的REST接口

11、HBase安裝部署

12、HBase Shell

13、倒排索引

14、開發實踐分享：微博

15、HBase應用

16、HBase Filter

17、HBase Coprocessor

第10個主題：分布式NoSQL數據庫編程思維訓練（老師帶領學員用HBase在課上親自動手完成微博項目的開發過程，使學員掌握分布式NoSQL編程思維方法）（90分鐘）

1、HBase開發環境搭建過程介紹

2、倒排索引

3、案例實戰：微博項目

4、微博業務概述

5、微博業務功能說明

6、微博邏輯架構設計

7、微博開發使用的組件

8、HBase表結構設計

9、基于HBase的微博表結構設計

10、基于HBase的微博項目代碼開發

11、基于HBase的微博項目的總結

12、HBase API剖析

13、HBase研發案例分享

14、HBase應用

15、基于HTable的MapReduce分析

16、HBase Filter

17、HBase Filters

18、SingleColumnValueFilter示例

第11個主題：分布式內存數據庫庫Redis（深入剖析Redis的技術原理）（60分鐘）

1、Redis數據庫原理

2、Redis數據庫應用

3、Redis開發實踐（倒排索引）

4、Redis開發調試

5、Redis優化

6、Redis發布訂閱機制剖析

7、Redis集群搭建

8、Codis介紹

9、Codis整體設計

10、Codis架構

11、Codis組件介紹

第12個主題：分布式文檔內存庫MongoDB（深入剖析分布式內存庫MongoDB文檔數據庫功能與項目應用案例）（60分鐘）

1、什么是MongoDB

2、MongoDB發展現狀與趨勢

3、介紹MongoDB基礎概念

4、MongoDB架構剖析

5、MongoDB文檔與集合

6、MongoDB集群搭建

7、MongoDB狀態監控

8、MongoDB安全認證

9、MongoDB備份和恢復

10、MongoDB Shell操作

11、MongoDB數據類型

12、文檔的增加、修改與刪除

13、Java訪問MongoDB文檔的調試

14、MongoDB查詢介紹

15、MongoDB MapReduce統計分析

16、MongoDB索引

17、MongoDB性能優化

18、MongoDB主從復制

19、MongoDB Sharding分片

20、MongoDB項目案例：運營商話務數據分析案例剖析

第13個主題：關系型分布式內存庫MySQL Cluster（深入剖析關系型分布式內存庫MySQL Cluster數據庫功能與實現原理）（60分鐘）

1、什么是MySQL Cluster

2、MySQL Cluster發展現狀與趨勢

3、介紹MySQL Cluster基礎概念

4、MySQL Cluster架構剖析

5、NDB Cluster存儲引擎

6、無共享體系結構

7、管理(MGM)節點

8、數據節點

9、SQL節點

10、標準MySQL客戶端

11、MySQL Cluster應用場景

12、案例分享：MySQL Cluster在電商平臺中的應用

第14個主題：分布式并行計算引擎（深入剖析分布式并行計算引擎實現原理）（60分鐘）

1、分布式并行計算引擎概述

2、分布式并行計算引擎原理

3、Spark介紹

4、Spark架構剖析

5、Spark RDD計算模型解析

6、Spark開發分析

7、Spark的執行機制解析

8、Spark的調試與任務分配

9、Spark與MapReduce對比分析

10、Spark的容錯機制剖析

11、Spark集群部署

12、Spark Shell

13、構建與運行Spark應用

14、Spark RDD操作剖析

15、Shark基于Spark的綜合應用

16、Spark作業測試解析

17、Spark的性能調優

18、Spark生態體系剖析

19、Spark應用現狀

20、Spark應用優勢

21、Spark應用案例

22、Spark案例解析

第15個主題：分布式流計算模型（深入剖析分布式流計算模型的實現原理及開發實戰）（120分鐘）

1、Spark Streaming概述

2、Spark Streaming原理剖析

3、Spark Streaming流數據處理框架介紹

4、Spark Streaming編程剖析

5、初始化StreamingContext

6、Discretized Streams (DStreams)

7、輸入DStreams與Receivers

8、基于DStreams的Transformations

9、基于DStreams的輸出操作

10、Accumulators和Broadcast Variables

11、DataFrame和SQL操作

12、MLlib操作

13、Caching與Persistence

14、Checkpointing

15、運行Spark Streaming程序

16、性能調優：減少批處理時間

17、性能調優：設置正確的批處理間隔時間

18、內存調優

19、容錯元語

20、實戰案例：Spark Streaming與Kafka整合實現數據實時數據分析處理設計與分析

第三天

第16個主題：分布式流計算模型（深入剖析分布式流計算模型的實現原理）（30分鐘）

1、Storm基礎知識

2、Storm集群安裝

3、Storm打包運行測試

4、Storm基本api介紹

5、Storm Topology的并發度

6、Storm消息機制原理講解

7、Storm DRPC實戰講解

8、Storm Transaction原理

9、Strom Trident編程

10、Storm案例實戰

第17個主題：Storm架構原理剖析與開發實戰（深入剖析Storm架構原理與實現技術）（60分鐘）

1、Storm基本概念

2、Storm邏輯架構

3、Storm Topology的并發度

4、進程拓撲關系

5、Storm序列化

6、Storm Topology并發度配置

7、Storm核心API介紹

8、Storm核心API編程

9、Storm的Ack框架

10、Storm消息機制原理講解

11、Spout的Tail特性

12、Stream Groupings策略

13、實例講解Grouping策略及并發

14、Storm在高壓力場景下高可靠性實現

15、Storm記錄級容錯的基本原理

16、Storm DRPC整體工作流程

17、DRPC實現框架

18、Storm DRPC實戰講解

19、Storm Windowing原理與實現

20、滑動Windowing

21、滾動Windowing

22、Join Streams

23、Storm RESTful API

24、Storm多語言支持

25、Storm Transaction原理

26、Transactional Topology框架功能

27、Storm事務API及案例分析

28、Storm事務案例實戰

第18個主題：Strom Trident剖析與開發實戰（深入剖析Storm Trident實現原理及開發方法）（60分鐘）

1、Strom Trident介紹

2、Trident API介紹

3、Strom Trident消息

4、Strom TridentTopology的構建器

5、Strom Trident的SpoutNode

6、Trident Spout類型

7、Strom Trident的容錯Spout

8、Strom Trident操作與處理節點

9、Strom Trident中的Bolt

10、Strom Trident的存儲

11、Strom Trident流的基本操作

12、Strom Trident中流的交互操作

13、Strom Trident的執行優化

14、Strom Trident與DRPC

15、Strom Trident編程實戰

第19個主題：分布式并行計算引擎Impala（分布式計算引擎Impala的工作原理）（120分鐘）

1、分布式并行計算引擎概述

2、Impala介紹

3、Impala是什么

4、Impala與Hive、Pig有何不同

5、Impala與關系數據庫有何不同

6、Impala的限制和未來發展方向

7、運用 Impala Shell

8、Impala分布式集群部署

9、Impala分布式架構原理

10、Impala數據模型

11、Impala作業基本運行原理

12、Impala使用注意事項

13、Impala DDL、DML、SQL、函數

14、Impala作業資源占用

15、案例：銀行在線支付統計的案例

16、Impala調優可概述

17、Impala參數調優

18、Impala SQL調優

19、Impala分區調優

20、其他常用調優方法

21、數據傾斜處理方法

22、Impala與Shark、Hive、Pig區別剖析

23、案例：Impala調優案例

第20個主題：如何研發分布式系統？（本主題強調一個好的分布式系統離不開真實的業務需求）（60分鐘）

1、深入分析企業業務數據特點

2、TFS思想的應用

3、事務剖析

4、分布式事務剖析

5、分布式系統的職責分離思想

6、大數據+簡單算法

7、精準小數據+復雜算法

第21個主題：分布式系統架構設計（介紹分布式系統架構設計需要遵循原則與設計技巧）（60分鐘）

1、CAP理論

2、BASE思想

3、日志結構文件系統

4、RWN理論

5、分布式系統遷移策略

a)數據遷移

b)計算遷移

6、冷熱分離原則

7、算法優化策略

a)讀取+計算+顯示

b)讀取+顯示

8、數據序列化

9、RESTful架構剖析

尹老師

多年從事人工智能、深度學習、大數據、區塊鏈、云計算、物聯網研發工作經驗，資深軟件架構師，數學博士，北航移動云計算碩士，Cloudera大數據認證（圖1），項目管理師（PMP）認證（圖2），移動云計算專家，主要研究方向包括人工智能、深度學習、機器學習、數據挖掘、數據分析、大數據、云計算、移動開發、互聯網營銷、電子商務、項目管理等；曾就職于阿里等互聯網企業，IBM、華為等知名大型企業，現任某大型知名互聯網企業首席架構，負責人工智能、深度學習、機器學習、數據挖掘、數據分析、大數據、區塊鏈、云計算、PaaS平臺研發工作。

IT從業近二十年，秉承理論與實踐相結合，在學習中實踐，在實踐中學習，積累了豐富的理論與實踐經驗，并且樂于將自己的經驗分享。尹老師具有敏銳的目光與頭腦，發現并集成整合社會資源，為企業節省資源并創造價值，達到為合作伙伴創收的目的。曾為多家國內知名企業提供培訓與咨詢，包含阿里集團、華為、中國移動、中國電信、中國聯通、當當網、中石油、中石化、中國電網、中國銀行、中國工商銀行、浦發銀行、阿爾卡特朗訊、中航國際等。擁有人工智能、深度學習、機器學習、數據挖掘、數據分析、大數據、區塊鏈、物聯網、大流量、高并發、分布式的大型網站架構和設計經驗。曾主導過多個人工智能、深度學習、機器學習、數據挖掘、數據分析、區塊鏈、物聯網、私有云、公有云建設項目，早些年也主導過ERP、CMS等軟件項目，積累了豐富的實踐經驗，這些項目中包含多個數百萬、上千萬的大型項目。項目經歷：呼叫中心人工智能客服研發項目、貴州省政府云呼叫中心建設項目、廣東發展銀行電營、運維大數據分析項目、中石油工程設計西南分公司云計算項目評審委員、中石油大數據挖掘項目，電商庫存預測大數據分析項目、大型ERP、電子商務、CRM、電子政務等多個項目。

尹老師在工作中研究新技術、新框架、及時更新知識體系，并長期堅持編寫架構核心代碼。在技術平臺方面，善于TensorFlow、Keras、Hadoop、Spark、Docker、Kubernetes、OpenStack、Storm等技術平臺的應用與運維。深入理解TensorFlow、Keras、Hadoop、HDFS、HBase、MapReduce、Zookeeper、Hive、Sqoop、BigTable 等人工智能、大數據技術和開源框架理論。對于云計算體系有深刻認識，及獨到的見解，如OpenStack的技術架構、安裝部署、運維等。在移動云計算方面，善于設計與建設云計算體系；也善于移動云計算相關的咨詢與培訓。在項目管理方面，善于使用敏捷項目管理方法，把客戶的需求變更作為常態，作為軟件架構設計的一部分，減少需求變更帶來的返工；善于捕捉、挖掘、分析客戶需求，為用戶提供滿意的產品。

講師經驗

1、阿里巴巴集團云計算、大數據、區塊鏈、物聯網咨詢師

2、百度云計算、大數據、區塊鏈、物聯網咨詢師及講師

3、中國移動多省人工智能、大數據、區塊鏈、物聯網、云計算特聘講師

4、中國移動多省Docker特聘講師

5、中國移動研究院微特聘講師

6、中國聯通總部人工智能、大數據、區塊鏈、物聯網、云計算特聘講師

7、中國電信人工智能、大數據、區塊鏈、物聯網、云計算、虛擬化特約講師

8、中國人民銀行人工智能、大數據、區塊鏈、物聯網特聘講師

9、中國工商銀行人工智能、大數據、區塊鏈、物聯網講師

10、花旗銀行人工智能、大數據、區塊鏈、物聯網講師

11、招商銀行人工智能、大數據調優、區塊鏈、物聯網講師

12、中信銀行人工智能、分布式數據庫、區塊鏈、物聯網講師

13、中國航天三院人工智能、大數據、區塊鏈、物聯網咨詢師

14、中國石油人工智能、大數據、區塊鏈、物聯網、云計算特聘講師

15、中國石化人工智能、大數據、云計算特聘講師

16、中國電力科學研究院流計算特聘講師

17、西安電信十所人工智能、大數據架構設計、區塊鏈、物聯網講師

18、RedHat（中國）大數據咨詢師

19、中電28所人工智能、大數據、區塊鏈、物聯網特聘講師

20、北京中電普華人工智能、大數據、區塊鏈、物聯網特聘講師

21、中國石油東方地球物理公司大數據咨詢師

22、當當網人工智能、云計算、大數據咨詢師

23、北航人工智能、云計算、大數據、區塊鏈、物聯網特聘企業講師

24、阿爾卡特-朗訊（Alcatel-Lucent）虛擬化與OpenStack培訓特約講師

25、中石油工程設計西南分公司云計算數據中心建設項目

26、廣東發展信用卡精準營銷項目

27、廣東發展銀行電營、運維大數據分析項目

28、電商庫存預測大數據分析項目

29、中航國際大綜貿易云計算規劃項目咨詢、培訓講師

30、北京民生軟件SaaS平臺研發咨詢師

31、北京立達資本項目管理信息系統解決方案咨詢師

32、曾任大型ERP、電子商務、CRM、電子政務等項目經理

項目經驗

1、云呼叫中心人工智能客服項目研發

2、云呼叫中心PaaS平臺首席架構師

3、貴州省政府云呼叫中心建設項目

4、廣東發展信用卡智能精準營銷項目

5、廣東發展銀行電營、運維大數據分析、區塊鏈、物聯網項目

6、中石油工程設計西南分公司云計算項目評審委員、培訓講師

7、中石油人工智能、大數據挖掘、區塊鏈、物聯網項目，項目經理

8、電商庫存預測大數據分析項目

9、智能物流、智能供應鏈管理項目

10、中航國際大綜貿易云計算規劃項目咨詢、培訓講師

11、北京民生軟件SaaS平臺研發咨詢師

12、北京立達資本項目管理信息系統解決方案咨詢師

13、曾任大型ERP、電子商務、CRM、電子政務等多個項目的項目經理

我要預訂

咨詢電話：027-5111 9925 , 027-5111 9926手機：18971071887郵箱：Service@mingketang.com