1.課程簡介

本課程詳細(xì)講解了大數(shù)據(jù)生態(tài)體系的各個(gè)模塊的功能和開發(fā)技術(shù)。包括Hadoop體系中的HDFS，Hbase、ZooKeeper進(jìn)行數(shù)據(jù)操作，MapReduce進(jìn)行數(shù)據(jù)開發(fā)，YARN進(jìn)行資源配置，Hive完成數(shù)據(jù)倉庫，Pig進(jìn)行數(shù)據(jù)分析，理解其基本原理， Storm實(shí)時(shí)流式處理，Spark大數(shù)據(jù)處理框架等。并通過實(shí)驗(yàn)掌握其操作和編程開發(fā)。

2.教學(xué)目標(biāo)

掌握大數(shù)據(jù)主流技術(shù)體系各個(gè)模塊的功能和基本原理，掌握各個(gè)技術(shù)模塊的安裝，基本操作與開發(fā)，能夠根據(jù)需求，完成對(duì)應(yīng)模塊上的應(yīng)用開發(fā)，理解大數(shù)據(jù)解決方案中的技術(shù)框架，能夠基于已有的框架完成一般項(xiàng)目的大數(shù)據(jù)應(yīng)用開發(fā)。

3.適合人群

Java高級(jí)開發(fā)人員，數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計(jì)相關(guān)在職人群，想從事大數(shù)據(jù)開發(fā)工作的在職人士 有職業(yè)技能、崗位晉升需求的在職人員 對(duì)大數(shù)據(jù)開發(fā)感興趣的業(yè)界人士。

4.課程內(nèi)容

章節(jié)1：Linux基礎(chǔ)

章節(jié)2：Java負(fù)基礎(chǔ)掃盲課程

章節(jié)3：JAVA語言基礎(chǔ)入門

章節(jié)4：JAVA核心編程

章節(jié)5：JavaWeb開發(fā)技術(shù)

章節(jié)6：傳統(tǒng)核心框架之SSH

章節(jié)7：MySQL基礎(chǔ)

章節(jié)8：Storm實(shí)時(shí)流式處理

章節(jié)9：Hadoop介紹

章節(jié)10：數(shù)據(jù)倉庫HIVE

章節(jié)11：分布式數(shù)據(jù)庫Hbase

章節(jié)12：計(jì)算模型MapReduce

章節(jié)13：分布式協(xié)作系統(tǒng)ZooKeeper

章節(jié)14：分布式文件系統(tǒng)HDFS體系結(jié)構(gòu)

章節(jié)15：Spark項(xiàng)目入門與提高

章節(jié)16：Spark項(xiàng)目編譯

章節(jié)17：Spark平臺(tái)下的機(jī)器學(xué)習(xí)

章節(jié)18：Scala編程語言

章節(jié)19：ElasticSearch搜索引擎

章節(jié)20：Flink精講

章節(jié)21：機(jī)器學(xué)習(xí)

章節(jié)22：超大集群調(diào)優(yōu)

5.項(xiàng)目實(shí)戰(zhàn)

項(xiàng)目一：通過PAI基于機(jī)器學(xué)習(xí)的精細(xì)化營銷方法、案例和算法。

項(xiàng)目二：互聯(lián)網(wǎng)電商數(shù)據(jù)爬蟲項(xiàng)目，分析抓取、解析、存儲(chǔ)和監(jiān)控。

項(xiàng)目三：Web應(yīng)用云高頻實(shí)時(shí)處理項(xiàng)目，包含Web服務(wù)、Web日志及其他實(shí)時(shí)數(shù)據(jù)。

項(xiàng)目四：某大型網(wǎng)站日志分析項(xiàng)目，使用hadoop、mapreduce、hive清理進(jìn)行分析。

項(xiàng)目五：移動(dòng)業(yè)務(wù)感知項(xiàng)目，使用MR對(duì)多類數(shù)據(jù)分析，使用hive完成用戶維度關(guān)聯(lián)匯總。

項(xiàng)目六：用戶畫像分析系統(tǒng)項(xiàng)目，通過sqoop導(dǎo)入hdfs或spark的jdbc連接傳統(tǒng)數(shù)據(jù)庫。

項(xiàng)目七：非法網(wǎng)站監(jiān)測系統(tǒng)項(xiàng)目，對(duì)日志數(shù)據(jù)進(jìn)行實(shí)時(shí)采集、轉(zhuǎn)換與分發(fā)。

項(xiàng)目八：搭建個(gè)性化推薦系統(tǒng)。了解算法原理及引擎RecEng操作，搭建電商推薦系統(tǒng)上線。