1.Avro與Protobuf。Avro與Protobuf均是數(shù)據(jù)序列化系統(tǒng)，可以提供豐富的數(shù)據(jù)結(jié)構(gòu)類型，十分適合做數(shù)據(jù)存儲，還可進(jìn)行不同語言之間相互通信的數(shù)據(jù)交換格式，學(xué)習(xí)大數(shù)據(jù)，需掌握其具體用法。
2.ZooKeeper。ZooKeeper是Hadoop和Hbase的重要組件，是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組件服務(wù)等，在大數(shù)據(jù)開發(fā)中要掌握ZooKeeper的常用命令及功能的實(shí)現(xiàn)方法。
3.Kafka。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，其在大數(shù)據(jù)開發(fā)應(yīng)用上的目的是通過Hadoop的并行加載機(jī)制來統(tǒng)一線上和離線的消息處理，也是為了通過集群來提供實(shí)時(shí)的消息。大數(shù)據(jù)開發(fā)需掌握Kafka架構(gòu)原理及各組件的作用和使用方法及相關(guān)功能的實(shí)現(xiàn)！

項(xiàng)目介紹
隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)源頭越來越多且是分散的，除了業(yè)務(wù)庫，APP 埋點(diǎn)，web 網(wǎng)站 log，LOT 設(shè)備等會產(chǎn)生各種各樣的海量數(shù)據(jù)，這些數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉庫之前（或之后），需要進(jìn)行統(tǒng)一（字段定義、主題歸屬、項(xiàng)目劃分等），數(shù)據(jù)集成在一起。離線數(shù)倉的ETL，涵蓋數(shù)據(jù)的抽取轉(zhuǎn)換與加載。
項(xiàng)目目標(biāo)
在數(shù)據(jù)倉庫中構(gòu)建模型，從數(shù)據(jù)源中抽取數(shù)據(jù)，然后對這些數(shù)據(jù)進(jìn)行轉(zhuǎn)化，最終加載到目標(biāo)數(shù)據(jù)庫或者數(shù)據(jù)倉庫中去，實(shí)現(xiàn)離線數(shù)倉ETL的過程。

項(xiàng)目介紹
企業(yè)信息化發(fā)展，數(shù)據(jù)源豐富，數(shù)據(jù)量比以往結(jié)構(gòu)化的數(shù)據(jù)大了幾個(gè)量級，對 ETL 過程、存儲都提出了更高的要求?；ヂ?lián)網(wǎng)的在線特性也對實(shí)時(shí)性提出了要求，如用戶反欺詐、用戶審核等隨著用戶的暴漲。實(shí)時(shí)數(shù)據(jù)開發(fā)，主要是對由用戶行為、業(yè)務(wù)行為等產(chǎn)生的巨大量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，并應(yīng)用到生產(chǎn)中。
項(xiàng)目目標(biāo)
基于分層的模型 ods/dwd/dws/，業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù),事實(shí)數(shù)據(jù)存儲在 kafka 中，維度數(shù)據(jù)存儲在 Hbase/Tair 中，dm 層的數(shù)據(jù)最終導(dǎo)出到 mq/olap/rds/kv 中。ad-hoc 查詢基于 Flink 來做。實(shí)時(shí)數(shù)倉的存儲需考慮支持?jǐn)?shù)據(jù)重放，方便支持任務(wù)重跑。選擇一個(gè)具有重放功能的、能夠保存歷史數(shù)據(jù)并支持多消費(fèi)者的消息隊(duì)列，根據(jù)需求設(shè)置歷史數(shù)據(jù)保存的時(shí)長，通過實(shí)時(shí)數(shù)據(jù)開發(fā)，建成實(shí)時(shí)數(shù)倉、實(shí)時(shí)指標(biāo)等，支撐企業(yè)鏈路的實(shí)時(shí)化。

項(xiàng)目介紹
大數(shù)據(jù)采集與指標(biāo)監(jiān)控項(xiàng)目是基于第一階段和第二階段課程，貫穿離線數(shù)據(jù)上報(bào)、數(shù)據(jù)儲存、數(shù)據(jù)服務(wù)監(jiān)控、數(shù)據(jù)分析等全套流程。整個(gè)項(xiàng)目包括Flume自定義攔截器代碼、自定義Azkaban監(jiān)控代碼和SQL相關(guān)指標(biāo)代碼開發(fā)。
項(xiàng)目目標(biāo)
解決離線數(shù)據(jù)上報(bào)流程，數(shù)據(jù)采集操作，flume和azkaban的二次開發(fā)，數(shù)據(jù)服務(wù)監(jiān)控，離線數(shù)據(jù)開發(fā)流程。

項(xiàng)目介紹
HDFS+Flume+Sqoop+數(shù)倉思想+Spark
SQL/Hive+Azkaban+Python+Shell+Superset大數(shù)據(jù)離線數(shù)倉解決方案。
項(xiàng)目目標(biāo)
1 采集和同步架構(gòu)組件采用: Sqoop+Flume
2數(shù)倉架構(gòu)組件采用:HDFS+SparkSQL/Hive
3 任務(wù)調(diào)度架構(gòu)采用：Azkaban+Python/Shell
4 涉及到數(shù)倉思想: 分層+建模+維度+粒度+拉鏈+增量/全量+數(shù)據(jù)質(zhì)量等
5 本項(xiàng)目中的BI工具： Superset

項(xiàng)目介紹
準(zhǔn)實(shí)時(shí)數(shù)倉是一個(gè)集流式數(shù)據(jù)集成，數(shù)據(jù)分析、DAU預(yù)測和數(shù)據(jù)應(yīng)用的數(shù)倉型項(xiàng)目。整個(gè)項(xiàng)目架構(gòu)為Nginx+OpenResty+Kafka+Spark+Presto等技術(shù)構(gòu)成。
項(xiàng)目目標(biāo)
解決事件行為分析。
解決企業(yè)留存分析。
解決漏斗分析。
解決DAU預(yù)測及數(shù)據(jù)服務(wù)提供。

項(xiàng)目介紹
用戶畫像是基于數(shù)倉之上的項(xiàng)目，主要解決畫像標(biāo)簽服務(wù)，比如人群圈定服務(wù)和相似用戶搜索服務(wù)等。同時(shí)標(biāo)簽的處理使用Word2Vec、TF-IDF、HanLP分詞等技術(shù)。
項(xiàng)目目標(biāo)
解決企業(yè)人群圈定。
解決相似用戶搜索。

   過去幾年，大數(shù)據(jù)理念已經(jīng)深入人心，“用數(shù)據(jù)說話”已經(jīng)成為所有人的共識，數(shù)據(jù)也成了堪比石油、黃金、鉆石的戰(zhàn)略資源。多年來，我國大數(shù)據(jù)產(chǎn)業(yè)政策日漸完善，技術(shù)、應(yīng)用和產(chǎn)業(yè)都取得了非常明顯的進(jìn)展。未來大數(shù)據(jù)技術(shù)將會沿著工具平臺云化部署、多業(yè)務(wù)場景統(tǒng)一處理、專有高性能硬件適配幾個(gè)方面進(jìn)行突破。

   目前大數(shù)據(jù)技術(shù)工具的主要應(yīng)用模式為應(yīng)用企業(yè)在自建機(jī)房內(nèi)獨(dú)立部署，其存在資源浪費(fèi)、彈性能力不足、管理復(fù)雜等缺點(diǎn)，這些缺陷可以通過基于云計(jì)算技術(shù)的云化部署方案解決，助力大數(shù)據(jù)技術(shù)工具的快速落地和應(yīng)用；同時(shí)大數(shù)據(jù)技術(shù)工具主要瞄準(zhǔn)的是分析型業(yè)務(wù)場景，但隨著電子商務(wù)以及智能終端的爆發(fā)性發(fā)展，轉(zhuǎn)賬等事務(wù)型業(yè)務(wù)場景也需要大數(shù)據(jù)處理能力，所以未來的多業(yè)務(wù)場景統(tǒng)一處理技術(shù)將會得到充分發(fā)展。