Leo Yeh's Blog

SAS Viya (45)

教學目標

初步了解 SAS Viya 3.4 資料自動載入記憶體的基本概念。

重點概念

首先開始使用 SAS Viya 3.4 的客戶總會有許多的問題,像是資料從哪來?如何進行設定?會不會很困難,這沒有標準答案,因為每個客戶所面臨的挑戰皆不一樣,尤其在雲端平台與企業伺服器之間,我們要如何滿足客戶的需求,更進一步解決客戶的問題。

接著我們回到資料從哪來的問題,若在企業中無法直接針對雲端平台的資料進行報表分析時,我們就能夠透過 SAS Viya 3.4 中資料和工作設定將落地至企業伺服器的資料定期排程載入至記憶體中,以利使用者能夠快速瀏覽報表進行決策分析,此外僅需簡單三個階段的步驟,就能夠讓 SAS 平台的管理人員快速進行設定,分別為:

階段一:建立 Linux 作業系統資料夾

建立資料檔案 (csv) 落地至企業伺服器的資料夾,並且設定存取的權限。

1
2
$ mkdir /data
$ chmod 755 -R /data

階段二:建立 CASLIB 資料館

以管理員帳號登入 SAS Viya 3.4 網站點選「管理」->「管理環境」->「資料」。點選「資料來源」->「cas-shared-default」。點選「連接」鈕,設定「連線名稱」和「需要路徑」,並且勾選「在目前的工作階段之外持續此連線」和「包含子目錄」,按下「儲存」鈕,按下「重新整理」鈕,此時就完成 CASLIB 資料館對應 Linux 作業系統資料夾的設定。

階段三:建立 SAS Viya 工作排程

以管理員帳號登入 SAS Viya 3.4 網站點選「管理」->「管理環境」->「工作」,此時我們主要須建立兩種類型的排程工作,分別為「匯入」和「載入」,兩者差別在於匯入主要是將資料檔案以 SASHDAT 的資料檔格式匯入至 CASLIB 中,載入主要是將 SASHDAT 格式資料檔載入至記憶體中。

設定匯入排程工作

點選「排程」->「Sample: Import cas-shared-default Public data」,按下右鍵選擇「複製」,輸入「名稱」和輸入「描述」,按下「儲存」。按右鍵選擇「屬性」,點選「引數」,按下「編輯」鈕,選取「輸入 CAS 資料館」和選取「輸出 CAS 資料館」,按下「儲存」,按下「關閉」。點選新增的工作,按下右鍵選擇「排程」,輸入「名稱」和選取「排程使用者」,點選「+」鈕,新增觸發輸入「名稱」和輸入「時間」,按下「儲存」,此時就能夠完成將資料檔案以 SASHDAT 的資料檔格式匯入至 CASLIB 中的排程工作。

設定載入排程工作

點選「排程」->「Sample: Load cas-shared-default Public data」,按下右鍵選擇「複製」,輸入「名稱」和輸入「描述」,按下「儲存」。按右鍵選擇「屬性」,點選「引數」,按下編輯」鈕,選取「輸入 CAS 資料館」和選取「輸出 CAS 資料館」,按下「儲存」,按下「關閉」。點選新增的工作,按下右鍵選擇「排程」,輸入「名稱」和選取「排程使用者」,點選「+」鈕,新增觸發輸入「名稱」和輸入「時間」,按下「儲存」,此時就能夠完成將 SASHDAT 格式資料檔載入至記憶體中的排程工作。

再來當我們透過簡單三個階段的步驟,就能夠讓 SAS 平台的管理人員快速進行設定將落地至企業伺服器的資料定期排程載入至記憶體中,以利使用者能夠快速瀏覽報表進行決策分析。此外在 SAS Viya 中的資料除非被移除,否則僅有當 CAS 伺服器重新啟動時,才會被清除,因此我們不是將全部資料在 CAS 伺服器啟動時,就載入至記憶體中,因為企業伺服器的硬體記憶體大小是有限的,以及若有需要額外需求時,則須要進行特別申請,因此我們必須初步評估瀏覽報表的情況,選擇最適當的方式將資料載入記憶體中。至於 SASHDAT 格式資料檔僅有在以下三種情況才會載入至記憶體中,分別為:

  1. 當業務單位使用者開啟報表進行瀏覽時 (該業務單位使用者必須有載入資料的授權權限)。
  2. 當 CAS 伺服器啟動時 (系統管理人員需要透過 SAS Environment Manager 進行控管)。
  3. 設定排程工作針對資料檔進行載入、卸載和更新的自動化操作 (資料管理人員可以透過 SAS Data Studio 進行個別資料表的 ETL 載入排程工作)。

最後我們要如何確認排程工作皆有正確執行完成,主要能夠以管理員帳號登入 SAS Viya 3.4 網站點選「管理」->「管理環境」->「工作」,點選「監控」查看排程工作的「執行時間」和「狀態」,以及直接下載「日誌」檔,查看詳細的執行資訊,當我們也能夠針對排程工作的記錄直接按右鍵點選「立即執行」和「刪除」,或著透過「工作篩選」的功能過濾監控的工作排程記錄。

總結 SAS Viya 3.4 平台將能夠有效整合雲端平台的資料以記憶體的方式進行報表分析,至於雲端平台的資料要如何落地至企業伺服器中這又是另一個議題,工作有接觸到並且有研究時再進行分享啦!

相關資源

⬅️ Go back