Leo Yeh's Blog

SAS Viya (121)

教學目標

初步了解 SAS Viya 分析平台如何整合 AWS 雲端平台中的資料庫服務之基本概念。

重點概念

首先目前已經有許多企業除了將運算移至雲端平台之外,也開始將資料移至雲端平台,像是 AWS 雲端平台中提供許多不同類型的資料庫服務,然而最常見問題則是為什麼 AWS 雲端平台需要提供這麼多的資料庫產品呢?事實上開發人員皆希望應用程式將能夠很好地建立和有效進行擴展,為了此目的就會需要能夠在同一個應用程式中使用多個資料庫和資料模型,因為一個資料庫已經很難滿足多個不同案例的需求,現今開發人員正在使用大量專門的資料庫建立高度分散式的應用程式,以及將復雜的應用程式分解為更小的部分,然後選擇最佳工具來解決每個問題,所謂最佳工具通常會因為案例而有所不同,資料庫就像車子,有商務車、休旅車、跑車、… 等不同類型,當情境為日常上班時,則建議開商務車,當情境為全家出遊,則建議開休旅車,當情境為假日約會時,則建議開跑車,所以企業必須開始考慮以下問題,分別為資料將儲存在哪裡?想要一個混合解決方案嗎?有哪些雲端儲存選項?有哪種儲存解決方案最符合商業需求?以及相關分析平台是否準備就緒呢?此時 SAS Viya 分析平台目前已經能夠在各種雲端平台提供各種部署方式,並且支援與雲端儲存服務的整合。

接著 SAS Viya 分析平台中所提供的 SAS Data Connectors 目前已經能夠支援 AWS 雲端平台中的資料庫服務,而在 AWS 雲端平台中執行的資料庫服務非常類似於內部部署的資料庫,但是不同主要在於是由 AWS 雲端平台來管理資料庫服務相關的軟體和硬體。然而不論 SAS Viya 分析平台部署在企業環境或不同雲端平台皆能夠與 AWS 雲端平台中的資料庫進行整合,至於客戶要選擇哪一個 AWS 雲端平台中的資料庫服務呢?主要能夠試問以下三個問題,分別為:

  1. 需要儲存關聯式資料嗎?
  2. 需要進行水平擴展嗎?
  3. 需要進行分析工作嗎?

若是需要儲存關聯式資料,則建議選擇 RDBMS 資料庫服務,像是 Amazon RDS 或 Amazon Aurora 資料庫服務,若是需要進行水平擴展,則建議使用 Amazon Aurora 資料庫服務,反之則建議選擇 NoSQL 資料庫服務,像是 Amazon DynamoDB 、 Amazon DocumentDB 、 Amazon Neptune 資料庫服務,至於要選用哪一種資料庫服務,則取決於資料儲存的方式,若是鍵值則建議使用 Amazon DynamoDB,若是文件則建議使用 Amazon DocumentDB,若是圖分析則建議使用 Amazon Neptune,此外若是有分析工作的需求,則建議使用 Amazon Redshift 資料庫服務,其主要是用於資料倉儲。

再來若是企業客戶選擇使用 Amazon RDS 或 Amazon Aurora 等 RDBMS 資料庫服務,則需要更進一步了解使用的資料庫引擎是 Oracle 、 Microsoft SQL Server、 MySQL 、 MariaDB 或 PostgreSQL,若是使用 Oracle 資料庫引擎,則需搭配 SAS Data Connector to Oracle 與 SAS Viya 分析平台進行整合,若是使用 Microsoft SQL Server 資料庫引擎,則需搭配 SAS Data Connector to Microsoft SQL Server 與 SAS Viya 分析平台進行整合,若是使用 MySQL 和 MariaDB,則需搭配 SAS Data Connector to MySQL 與 SAS Viya 分析平台進行整合。但若是企業客戶選擇使用 Amazon DynamoDB 、 Amazon DocumentDB 、 Amazon Neptune 等 NoSQL 資料庫服務,則需搭配 SAS Data Connector to ODBC 或 SAS Data Connector to JDBC 與 SAS Viya 分析平台進行整合。至於 Amazon Redshift 資料庫服務主要用於分析工作的需求,則需搭配 SAS Data Connector to MySQL 與 SAS Viya 分析平台進行整合。

最後除了關聯式資料庫和非關聯式資料庫之外,還有分散式平行處理和儲存的服務 Hadoop,其能夠跨節點提供可靠的儲存和強大的平行處理,而無需大量資料的移動,而 AWS 雲端平台則有提供 Amazon Elastic Map Reduce (Amazon EMR) 作為其 Hadoop 服務的產品,此時則需搭配 SAS Data Connector to Hadoop 與 SAS Viya 分析平台進行整合,至於 Spark 呢?雖然有 SAS Data Connector to Spark 能夠讓 SAS Viya 分析平台與 Spark 進行整合,但是目前還有任何官方資訊有提到支援 Amazon EMR 中的 Spark 叢集,這點需要特別注意,若有需要進行整合,則建議先進行測試。此外請注意在選擇 AWS 資料庫服務之前,請先考慮資料庫的使用案例,以及計劃儲存的資料類型,了解工作負載對於獲得正確的效能和成本至關重要,同時當使用雲端資料資料庫時,我們需要為使用的儲存付費,而且還需要為從資料庫中移出的資料付費,以及要對資料進行分析和報表,可能需要進行資料傳輸,此時就會產生額外的成本,所以建議思考如何將經常存取的資料儲存至某處或保留在內部環境來降低相關成本,而 SAS Viya 分析平台就會是非常合適的選擇。

總結 SAS Viya 分析平台將能夠透過適當的 SAS Data Connectors 軟體整合 AWS 雲端平台中多種資料庫服務,像是 Amazon RDS、Amazon Aurora、Amazon DynamoDB、Amazon Redshift、… 等。

相關資源

⬅️ Go back