對象

研發技術人員

目的

介紹目前大數據的核心技術和應用實例，并以實踐操作和項目式教學的方式著重講解Hadoop和Spark的基本原理和應用。

內容

一、Hadoop關鍵技術

學習如何安裝運行各種大數據軟件以及如何進行初級編程實踐，包括Hadoop、HDFS、MapReduce等安裝、操作和編程。其中會介紹一些Hadoop的應用案例，并通過一些實驗初步了解Hadoop的操作。

第1章　Hadoop概論

1.1　緣于搜索的Hadoop

1.1.1　Hadoop簡介

1.1.2　Hadoop發展

1.2　大數據、Hadoop的關系

1.3　Hadoop設計思想與架構

1.3.1　數據存儲與切分

1.3.2　MapReduce模型

1.3.3　MPI和MapReduce

第2章　Hadoop存儲系統

2.1　基本概念

2.1.1　NameNode

2.1.2　DateNode

2.1.3　客戶端

2.1.4　塊

2.2　HDFS的特性和目標

2.2.1　HDFS的特性

2.2.2　HDFS的目標

2.3　HDFS架構

2.3.1　Master/Slave架構

2.3.2　NameNode和Secondary   NameNode通信模型

2.3.3　文件存取機制

2.4　HDFS核心設計

2.5　HDFS權限管理

第3章　HDFS的使用

3.1    HDFS環境準備

3.2　HDFS命令的使用

3.3　HDFS Java API的使用方法

第4章　MapReduce計算框架

4.1　Hadoop MapReduce簡介

4.2　MapReduce模型

4.2.1　MapReduce編程模型

4.2.2　MapReduce實現原理

第5章　Hadoop命令系統

5.1　Hadoop命令系統的組成

5.2　用戶命令

第6章　Hadoop作業調度系統

6.1　作業調度概述

6.1.1　相關概念

6.1.2　作業調度流程

6.1.3　集群資源組織與管理

6.1.4　隊列控制和權限管理

6.1.5　插件式調度框架

第7章　Hadoop集群搭建

7.1　Hadoop版本的選擇

7.2　集群基礎硬件需求

7.3　安裝Hadoop

實驗

實驗一：熟悉常用的 Linux 操作和 Hadoop 操作

實驗二：熟悉常用的 HDFS 操作

實驗三：熟悉常用的 HBase 操作

實驗四：NoSQL 和關系數據庫的操作比較

實驗五：MapReduce 初級編程實踐

二、Spark內存計算框架

介紹為什么會出現Spark？Spark是什么？Spark能做什么？還有Spark安裝、使用以及編程基礎，并初步了解Spark SQL等核心技術。其中穿插一些Spark的典型應用案例，并通過動手實驗初步體驗Spark的應用。

第8章 Spark概述

8．3．1 Spark的出現與發展

8．3．2 Spark協議族

8．3．3 Spark的應用及優勢

第9章 Spark原理

9．1 Spark工作原理

9．2 Spark架構及運行機制

9．2．1 Spark系統架構與節點角色

9．2．2 Spark作業執行過程

9．2．3 應用初始化

9．2．4 構建RDD有向無環圖

9.2.5RDD有向無環圖拆分

第10章 RDD算子

10．1 創建算子

10．1．1 基于集合類型數據創建RDD

10．1．2 基于外部數據創建RDD

10．2 transformation變換算子

10．2．1對Value型RDD進行變換

10．2．2對Key/Value型RDD進行變換

10.3 action行動算子

10．3．1 數據運算類行動算子

10．3．2 存儲型行動算子

第11章 安裝和使用Spark

11．1 安裝Spark

11．2 編寫和運行Spark程序

實驗：

實驗1：Linux系統基本命令和Hadoop使用方法

實驗2：RDD基本操作

實驗3：迭代式算法編程實踐

實驗4：自定義分匙、排序、合并

實驗5：利用DataFrame實現數據庫的讀寫

實驗 6：利用 Spark Streaming 實現流數據處理