大數據平臺開發大數據平臺工程師開發主要關注提供大數據基礎設施和工具。大數據開發和大數據平臺開發的工作都主要集中在1、2、3三層，大數據平臺開發、大數據分析師(BI)、大數據運維、大數據處理(ETL)、大數據組件開發(偏大數據組件底層)，大數據開發主要是滿足企業在大數據平臺上的應用開發，與場景有密切的關系。

1、大數據開發主要做哪些工作？

大家好，我是Lake，專注大數據技術、程序員經驗、互聯網科技見解分享。作為一個軟件工程師，我個人目前從事的就是大數據方向，目前大數據可以分成很多具體的方向：大數據平臺開發、大數據分析師(BI)、大數據運維、大數據處理(ETL)、大數據組件開發(偏大數據組件底層)。不同的工作方向，其工作內容還是有一定差異的，下面我來說下不同工作崗位具體的工作內容：大數據平臺開發更偏向對整體數據平臺功能性開發，比如離線計算平臺、實時計算平臺、算法推薦平臺等等，

平時用的較多的語言是Java，其更偏向于Java開發。如果用戶是上層用戶，大數據相關組件作為最低層，大數據平臺就橋接著用戶和大數據組件，方便用戶使用大數據組件的功能，大數據分析師(BI同學)更多的是對我們已有的線上數據進行價值分析，從相關的線上用戶所產生的數據中，發現出一些潛在的商業價值，能夠更好的去輔助決策層的戰略決定。

BI需要對數據敏感、細心，善于從數據中發現業務價值，平常很多工作就是數據可視化、簡單化、深入化、PPT化，大數據運維同學主要是保障公司相關機器集群的穩定，使得它們不能出現故障。當申請到新的機器時，會在新機器上面部署各種大數據組件組成的集群，同樣，當有業務同學需要用到機器時，可以給大數據運維同學提需求。

當大數據組件集群突然因為什么變得集群不穩定時，運維同學需要去定位問題和解決問題，運維同學平時用的較多的LinuxShell腳本和命令行等，其職位更偏向于為其他同學提供機器穩定保障，ETL同學(數倉同學)則是對我們的線上數據進行數據加工，形成DWD層(公共明細層)、DWS層(公共匯總層)，形成統一的指標口徑。

ETL同學會根據不同的業務需求，一般使用SQL進行數據指標的加工，指導業務同學更好的運營相關業務，同時ETL同學更關注業務指標的口徑，在指標開發的過程中，使用數倉模型對業務數據進行建模，便于開發的指標數據更加統一，減少口徑偏差。大數據組件開發，更多的是結合公司業務，對大數據基礎組件進行定制化開發、性能優化、BUG修復等等，

同時，也需要對業務方接入進行問題答疑，指導他們使用大數據組件滿足業務需求。同時，你也需要運維你的大數據組件，當出現故障BUG時，需要你能及時修復，保證大數據組件的穩定，大數據組件開發需要對你自己運維的組件原理掌握的很全很深，只有這樣，你才能夠更好的指導別人。總結大數據開發有很多方向，你可以結合你自己的興趣，選擇一個從事方向，

2、大數據開發、大數據分析、大數據運維主要工作各是什么？哪個好？

在大數據領域大概有四個大的工作方向，除了大數據平臺應用及開發、大數據分析與應用和大數據平臺集成與運維之外，還有大數據平臺架構與研發，除了以上四個大的工作方向之外，還有一個工作方向是大數據技術推廣和培訓，這部分工作目前也有不少人在從事。大數據平臺架構與研發主要的工作內容是研發底層的大數據平臺，這部分工作的難度較高，從事這部分工作的研發級崗位也并不多，

現在不少技術研發團隊都以Hadoop、Spark平臺為基礎進行研發，這樣能夠節省大量的時間，也更容易做出市場接受度比較高的大數據平臺（商用較多）。大數據平臺應用開發是目前一個就業的熱門方向，一方面是大數據開發的場景眾多，另一方面是難度并不高，能夠接納的從業人數也非常多，大數據開發主要是滿足企業在大數據平臺上的應用開發，與場景有密切的關系。