雲端服務 Google Cloud Platform (3)

教學目標

「Data Engineering on Google Cloud Platform」專項課程心得分享。

重點概念

首先本週終於完成 Coursera 線上課程網站中的「Data Engineering on Google Cloud Platform」專項課程,過去我曾在新創公司服務時導入 Google 雲端平台進行大數據的使用者分析,當時主要是採用 Google BigQuery 雲端服務收集使用者資料整合資料工程的方法,以利分析行動 App 使用者的行為,因為有過去的實務經驗,所以課程內容相對較簡單易懂,同時也更全面性有系統的了解 Google 雲端平台,收獲非常多。

接著在 Coursera 線上課程網站中的「Data Engineering on Google Cloud Platform」專項課程提供一系列原理概念和實務應用的教學內容,對於初學者來說非常實用,專項課程中主要有五門課程,分別為:

  1. 了解 Google雲端平台之大數據和機器學習基礎概論。
  2. 使用 Google Cloud Dataproc 雲端服務處理非結構化資料。
  3. 使用 Google BigQuery 和 Cloud Dataflow 進行無伺服器的資料分析。
  4. 使用 Google Tensorflow 進行無伺服器的機器學習。
  5. 了解 Google 雲端平台上如何建構彈性的串流系統。

再來每門課程皆有不同的學習目標,初學者可以依照興趣和本身技能挑選適當的課程,但還是建議先上「了解 Google雲端平台之大數據和機器學習基礎概論」課程以利初步了解 Google 雲端平台在於大數據和機器學習全面性的應用,該課程主要學習目標有五項分別為:

  1. 識別 Google 雲端平台中關鍵大數據和機器學習產品之目的和價值。
  2. 使用 Could SQL 和 Cloud Dataproc 將現有的 MySQL、Hadoop、Pig、Spartk、Hive、…等工作負載遷移至 Google 雲端平台中。
  3. 使用 BigQuery 和 Cloud Datalab 進行互動式的資料分析。
  4. 使用 TensorFlow 訓練神經網路進行應用。
  5. 選擇 Google 雲端平台中不同資料處理的產品。

最後課程中有許多的實驗操作除了會先進行影片說明實驗操作的基本概念之外,還會有實驗操作之後的影片解說,能夠讓初學者除了做實驗之外也能更進一步去思考實驗操作目的為何?當然還會有許多課堂測驗,題目非常簡單主要是測驗對於 Google 雲端服務在資料工程應用方面的基本常識,只要有看完教學影片就能夠輕鬆作答。

總結 Google 雲端平台提供非常完整資料處理產品,以利我們進行資料工程,對於新創公司的資料工程師而言,非常建議花些時間了解資料工程在 Google 雲端平台的實用應用,其中資料工程概念和架構原則與其它雲端平台非常類似,所以理應能夠進行整合應用,找出最適合新創公司解決問題的方法。

Data Engineering on Google Cloud Platform

相關內容