SAS Environment Manager

SAS 系統管理 (34)

教學目標

初步了解 SAS Environment Manager 的功能與特色。

重點概念

首先在大企業與組織中 SAS 管理者一般是不需要了解硬體的運作情況,但是若當伺服器發生問題時,為了解決問題有時還是需要了解硬體的運作情況,身為 SAS 管理者需要監控伺服器資訊,主要有五項,分別為:

  1. SAS Metadata 伺服器。
  2. SAS Server Tier 伺服器。
  3. SAS Middle Tier 伺服器。
  4. SAS Web Infrastructure Platform 資料伺服器。
  5. SAS DataFlux Data Management Platform 伺服器。

接著若在 Windows 平台中 SAS 管理者不透過 SAS Environment Manager 伺服器進行監控時,則可以透過 Windows 內建工具協助監控管理的工作,主要有五項,分別為:

  1. Internet Explorer 網頁瀏覽器:主要查看網站伺服器是否正常運作。
  2. Windows 服務應用程式:主要查看所有服務是否正常運作。
  3. Windows 工作管理員:主要查看 CPU、記憶體、硬碟和網路的使用情況。
  4. Windows 事件檢視器:主要查看是否有例外或錯誤事件發生。
  5. Windows 檔案總管:主要查看硬碟空間的使用情況。

再來若在 Linux 平台中 SAS 管理者不透過 SAS Environment Manager 伺服器進行監控時,則可以透過 Linux 內建指令協助監控管理的工作,主要有四項,分別為:

  1. ps:代表 Process Status,主要查看目前系統中目前運行的程序。
  2. top:代表 Top,主要查看目前系統中最佔資源的程序。
  3. mpstat:代表 Multi Processor Statistics,主要查看多核 CPU 統計資訊。
  4. free:代表 Free,主要查看目前記憶體使用情況。
  5. vmstat:代表 Virtual Meomory Statistics,主要查看目前虛擬記憶體統計資訊。
  6. lsof:代表 List Opened Files,主要查看目前系統中開啟的檔案。
  7. netstat:代表 Network Statistics,主要查看目前系統中網路情況。
  8. iostat:代表 I/O Statistics,主要查看目前系統中輸入和輸出統計。
  9. df:代表 Disk Free,主要查看目前系統中硬碟可用空間。
  10. du:代表 Disk Usage,主要查看目前系統中硬碟使用情況。

此外 SAS 管理者還能夠透過 SAS Management Console 驗證 SAS 伺服器、啟用 Apache HTTP Server 的 mod_status 模組監控網頁應用程式伺服器、SAS LASR Analytics Server 監控記憶體伺服器、Gridmon 工具監控格網伺服器、…等。然而許多存在監控工具雖然在對的環境中使用時非常實用,但是還是有些限制,像是作業系統工具被要分散至每台機器和需要權限才能存取,通常不是即時更新,以及僅提供底層資訊,和需要特殊指令的知識;否則非常難在問題發生時進行解釋說明,至於 SAS 工具則限制於特定工作和環境,至於第三方則是需要客製化。

最後在大企業與組織中 SAS 管理者其實可以在 Windows 和 Linux 作業系統平台上直接透過 SAS Environment Manager 伺服器監控所有 SAS 資源部署和安裝的細節,主要功能有五項,分別為:

  1. 提供所有 SAS 資源一致性的概觀儀表板。
  2. 顯示所有 SAS 資源完整觀點,同時提供下鑽至不同層級的詳細內容。
  3. 監控所有 SAS 資源的物件,包括伺服器、服務和應用程式。
  4. 提供強大且彈性的警示功能警告管理者問題的發生。
  5. 建立完整資料記錄詳細的歷史記錄,包括每日或每週的資料。

總結在大企業與組織中 SAS 管理者透過 SAS Environment Manager 伺服器監控所有 SAS 資源部署和安裝的細節主要有五項特點,分別為:

  1. 執行網頁瀏覽器就能夠跨平台進行操作。
  2. 提供幾乎即時的報表、許多指標和歷史記錄,主要針對所有在系統中的資料,重點是透過統一的介面。
  3. 允許管理者設定在遠端機器上設定資源,以及控制資源,包括開始、停止和查詢資源。
  4. 追蹤事件,主要可分為本機和遠端 (記錄訊息,重啟,警告)。
  5. 角色基礎客製化儀表板顯示重點,以及產生客制化報表和圖表顯示系統狀態。

請注意若是針對 SAS 9 平台的 SAS 管理者對於 SAS Environment Manager 伺服器架構沒有深入的了解,直接使用將會造成許多未來維運時的問題,像是當記錄儲存空間不足夠時將會導致 SAS Server Tier 伺服器損毀、 SAS Environment Manager 收集記錄的工具可能會弱掃不通過、… 等,此外目前一台 SAS Metadata 伺服器必須搭配一台 SAS Environment Manager 伺服器,所以無法針對多台 SAS Metadata 伺服器進行集中控管,因此雖然 SAS Environment Manager 伺服器功能雖然強大,可是若未來維運時所面臨的問題,沒有妥善的配套措施,則就請關閉 SAS Environment Manager 伺服器不要使用,以避免影響 SAS 解決方案的正常運作,至於 SAS Viya 平台上的 SAS Environment Manager 伺服器則僅有提供使用者、函式庫和伺服器基本管理功能,不會影響 CAS 雲端分析伺服器的正常運作,所以可以放心使用。

相關資源

SAS 系統管理 (33)

教學目標

初步了解 SAS Environment Manager 如何進行監控和稽核管理。

重點概念

監控和稽核

在 SAS 9.4 平台中 SAS Environment Manager 主要有兩項關鍵的管理任務,分別為監控和稽核。所謂監控主要是在某段期間內觀察與檢查程序的品質,在 SAS 9.4 台中包括許多 SAS 產品,SAS 產品是有許多元件所組成,所以將會有數百個獨立元件同時運作,此時要如何有效進行監控,以利當系統發生異常時快速提供決策和行動。因此監控將會非常大的議題,然而通常卻僅應用於持續監控某些事,確保功能正常,若被監控的系統很龐大和複雜,監控將會變的相對複雜,此時主要任務需要過濾所有可用的資訊,以及嘗試降低管理的層級,以利達到近乎即時的觀察。所謂稽核主要是檢驗帳號和記錄,尤其是財務資訊,並且透過稽核評估的方式有效改善系統,讓系統更安全和更有效率,同時檢視資源在任何期間的使用情況,以利更有效率的分配這些資源和事先找出潛在的問題。稽核最主要的概念為允許管理者分析過往的系統中資源使用效能,更進一步達成長期資源管理和規劃,然而監控最主要的概念為每日的故障排除的工作,以利維護伺服器正常運作,所以監控則是檢驗現在發生什麼事情,稽核則是尋找過去發生什麼事情。

監控計劃

接著許多監控計劃在任何平台安裝時將會是非常關鍵的部份,除非該平台非常的簡單,否則我們在設定監控環境時將會面臨幾個問題需要先進行回答。

  1. 誰有責任監控和處理問題?
  2. 什麼資源是需要被確認和多久處理?
  3. 哪一個資源非常關鍵?
  4. 哪一個指標非常實用?
  5. 當議題或問題產生時將會發生什麼事情?
  6. 是否有排程工作或例行性工作需要進行確認?
  7. 什麼報表最能夠有效識別趨勢和潛在的問題?

除了來自於上述問題的回答可以被使用至監控計劃中,同時也會根據需求進行修改。SAS 管理員開發監控計劃,主要評估需要監控哪些資源,來自於監控活動的結果將會被 SAS 管理員和第三方管理單位進行評估,若有需要則評估結果將會有助於調整監控計劃。

監控資源

再來我們主要監控的資源主要有三種類型,分別為平台、伺服器和服務。所謂平台是指作業系統、整台機器或整個 SAS 安裝,伺服器是指執行在機器上的處理程序,一般是由許多元件和服務所組成可以執行許多功能,服務是指執行特定功能的軟體程序。除了資源之外,我們還會常看到事件、警告和指標,所謂事件是指唯一發生於計算環境需要被查看和記錄,警告是指由於特定的行為產生事件時,將會給管理員警告訊息,指標是指量測資源的使用狀態。系統管理者主要是關注所有硬體和軟體平台與系統是否正常運作,SAS 管理員主要是關心所有依賴於平台與系統上 SAS 元件是否正常運作,以及 SAS 程序的內容和結果是否正確,為了讓 SAS 管理員快速了解所關心的事項,所以在 SAS 環境中有許多非常關鍵項目資訊。

  1. 如何確認 SAS 中繼資料伺服器的健康狀態和回應情況?
  2. 如何確認使用者能夠正常使用中間層的伺服器服務?
  3. 什麼預儲程序已經執行,同時已經執行多久?
  4. 什麼是 SAS 工作區的狀態?
  5. 什麼是 SAS 計算伺服器的需求?
  6. 什麼工作必須執行,同時確保結果合理?
  7. 什麼資源指標可以讓我們監控更簡單?

最後對於管理者來說,則是需要回答二大類型的問題,分別為每日維護和故障排除和長期規劃和稽核的問題。

每日維護和故障的問題

  • 是否有不正常的問題發生?
  • 有多少使用者已經在使用系統?
  • 所有伺服器和服務程序是否執行正確且完整?

長期規劃和稽核的問題

  • 使用資源的情況?
  • 是否有未使用的資源需要評估?
  • 可以調整資源更有效率?

總結 SAS 9.4 平台中 SAS Environment Manager 主要有稽核和監控兩項關鍵的管理任務,並且我們將能夠透過 SAS Environment Manager 回答每日維護、管理和故障排除和長期規劃和稽核的問題。

相關資源

SAS 系統管理 (32)

教學目標

初步了解 SAS Environment Manager 如何管理 SAS Viya。

重點概念

管理 SAS Viya 主要有兩個管理角色或群組,分別為:

  1. CAS 管理者角色 (超級使用者)。
  2. SAS 管理者預先定義客制群組。

CAS 管理者角色

首先 CAS 角色主決定 CASLIB 管理的存取等級,主要有兩個管理角色,分別為 CAS 管理者 (CAS Administrator) 和 DATA 管理者 (DATA Administrator),基本上雲端分析服務管理者包括資料管理者。

DATA 管理者 CAS 管理者
增加和刪除工作階段 CASLIBs
調整工作階段 CASLIBs 存取權限
查看和管理其使用者工作階段
查看和管理存取所有工作階段 CASLIBs
停止 CAS 伺服器
增加和移除節點
管理角色成員

SAS 管理者預先定義客制群組

接著 SAS 管理者預先定義客制群組主要是決定 SAS Viya 一般管和授權的存取等級。在 SAS 管理者群組中的SAS Environment Manager 成員擁有完整存取所有 Viya 管理的功能,像是身份、內容、安全、…等。預設 SAS 管理者為 CAS 管理者,因為 SAS 管理者預先定義客制化群組是 CAS 管理者角色 (超級使用者) 的成員。

登入 SAS Environment Manager

再來我們若要在 SAS Environment Manager 中存取管理的功能,則將會需要選擇性登入至 SAS 管理者群組成為 SAS 管理員,同時若為超級使用者角色,則會再成為 CAS 管理者,因此每當我們透過 SAS Logon 應用程式登入時,將會跳出訊息詢問我們是否要加入 SAS 管理者群組,此時按下「是」即可透過 SAS Environment Manager 中存取管理的功能。

操作 SAS Environment Manager

最後在 SAS Environment Manager 中存取首頁儀表板資訊主要有 SAS 系統健康狀況 (節點記憶體使用和 CPU 負載)、 SAS 管理者預先定義客製化群組摘要成員總數、服務 (雲端分析服務、應用程式和系統) 可用性、伺服器狀態、行動裝置存取、佔用空間前十大資料表、…等資訊。除了首頁儀表板資訊之外,我們還可以透過 SAS Environment Manager 管理使用者、函式庫和伺服器的存取權限。

總結在 SAS Viya 中我們主要透過 SAS Environment Manager 進行使用者、函式庫和伺服器的存取權限,其中管理者主要可分為 CAS 管理者角色和 SAS 管理者預先定義客制群組,我們將會根據不同的管理需求指定使用者至適當的群組中。

相關資源

SAS 系統管理 (9)

教學目標

初步了解 SAS 平台管理前十大日常維運作業。

重點概念

在企業組織中維運作業是一件很重要的工作項目,請參考 SAS 官方影片,一般來說 SAS 平台管理的生命週期主要可以分為開發階段和維運階段,請參考 SAS 官方文件,其中開發階段主要為收集客戶需求、接著根據客戶需求進行預見和設計規劃,再來建構部署和教育訓練,維運階段則是推出與使用、管理與更新以及增強調效和擴展功能,不論是 SAS 9 或 SAS Viya 皆適用上述管理的生命週期,其中 SAS 平台管理前十大日常維運作業主要有:

1. 管理排程

管理排程設計和維護 SAS 平台管理活動日常排程,並且指定日常清掃 (Housekeeping) 作業順利進行,以利確保系統執行更有效率。

2. 進行備份

定義備份和復原策略,其中需要描述哪一個 SAS 平台中的元件需要進行備份,頻率多久,以及備分需要在哪裡保留多久。看起來簡單,但是針對多台機器進行部署將會非常複雜。因為系統狀態儲存在多個地方,所以必須備份和還原同步資訊以利保留系統狀態一致性,此時請善用 SAS Deployment Backup and Recovery 工具。

3. 更新金鑰

當金鑰到期時定期更新金鑰,最好預留足夠的時間在過期之前重新更新金鑰。

4. 壓縮和刪除記錄檔

撰寫腳本檔案壓縮和刪除記錄檔,一般我們會在晚上時執定期執行腳本檔案,例如: 在 7 天之後壓縮記錄檔,在 30 天之後刪除壓縮檔。

5. 更改 SAS Work 暫存資料夾

設定 SAS Work 暫存資料夾,預設在 Linux 中 SAS Work 暫存資料夾為 /tmp,在 Windows 中 SAS Work 暫存資料夾為使用者文件資料夾,但是企業部署時通常會重的更改和配置 SAS Work 暫存資料夾的位置,主要會根據大量資料的讀寫選擇最適當的儲存位置和空間配置,以利達到最佳化的應用。

6. 清除 SAS Work 暫存資料夾

刪除 SAS Work 暫存資料夾,在 Linux 中主要透過 SAS Cleanwork Utility 工具,在 Windows 中主要透過 SAS Disk Cleanup Handler 工具,一般我們會規律執行,例如: 透過 Linux 中的 cronjob 每週執行 cleanwork 指令刪除 SAS Work 暫存資料夾。

7. 設定安全模型

設計和維護安全模型,接著實作安全政策,主要使用群組管理資料、中繼資料和應用程式的存取控管,其中包括新增、更新和移除,此時請善用 SAS Management Console 工具。

8. 設定檔案系統存取控制

預防未授權讀取和寫入存取檔案和資料夾。

9. 進行監控

透過工具監控 SAS 伺服器,相關使用者互動作業與查詢,設定批次排程工作流程,同時識別出執行最長時間的作業與查詢,以及設定相關警告訊息進行有效的控管,此時請善用 SAS Environment Manager 工具。

10. 更新修補程式

定期更新修補程式。

最後除了上述前十大日常維運作業之外還有其它的日常相關作業則請參考 SAS 官方文件。藉由 SAS 官方所提供的影片和文件,將可以讓我們在維運 SAS 平台時更有信心完成維運作業。

相關資源