課程目標：

???? 掌握大數(shù)據(jù)核心知識點，把握大數(shù)據(jù)最新趨勢。掌握Spark核心概念和技術原理掌握Spark與Hadoop的優(yōu)勢對比掌握Spark的兩種安裝方式與集群的構建掌握Spark的核心概念Resilient Distributed Dataset.掌握Maven的工作原理以及本地Maven倉庫服務器的搭建與配置掌握Spark集群的部署模式以及shell的應用掌握Spark編程與運行。了解sbt(simple build tool)掌握使用maven對Spark的項目進行編譯和運行，理解addFile的操作原理和Spark的整體概述掌握maven的pom文件的配置掌握eclipse下maven的使用與spark項目的構建以及倉庫的配置。掌握spark中分別使用java和scala語言創(chuàng)建sparkContext對象，掌握SparkContext中幾種元數(shù)據(jù)掌握addFile文件的意圖和常見錯誤掌握flatMap的RDD扁平化處理機制掌握csv文件的spark數(shù)據(jù)處理。

適用人群：

????? 掌握Hadoop基礎，了解分布式編程思想，有maven的開發(fā)基礎, eclipse開發(fā)經(jīng)驗、spark基礎知識。