Leo Yeh's Blog

SAS Viya (98)

教學目標

初步了解 SAS Event Stream Processing 串流分析的基本概念。

重點概念

首先 SAS Event Stream Processing 能夠在事件流處理專案中使用進階分析的演算法和機器學習技術,我們稱為串流分析 (Streaming Analytics),並且透過串流分析將能夠讓我們利用來自物聯網 (IoT) 的資料解決所面臨的問題,至於串流分析主要分為十大類,分別為:

  1. 在線評分 (Online Scoring)
  2. 時間序列處理 (Time Series Processing)
  3. 影像處理 (Image Processing)
  4. 文字探勘 (Text Mining)
  5. 推薦系統 (Recommender System)
  6. 描述演算法 (Descriptive Algorithms)
  7. 串流回歸 (Streaming Regression)
  8. 串流分類 (Streaming Classification)
  9. 串流降維 (Streaming Dimensionality Reduction)
  10. 串流分群 (Streaming Clustering)

其中在 SAS Event Stream Processing 中已經有內建許多演算法的在線模型,以利在事件串流處理專案中使用,此外 SAS Event Stream Processing 更支持不同演算法的離線模型,以及在線模型或離線模型的推薦系統,當然也支援 Caffe 、 TensorFlow 、 Python 、 C 、 … 等開放源始碼所建立的分析模型應用於串流資料分析。

接著為何要選擇串流分析呢?一般來說,我們會針對影片、圖片、語音、訊息、… 等非結構化的串流資料進行串流分析,並且透過 SAS Event Stream Processing 我們將能夠進行邊綠和雲端多個階段分析,而當我們自動化透過機器學習模型進行串流分析時,也就是所謂人工智慧的應用。

再來我們要如何使用 SAS Event Stream Processing 將模型部署到串流環境中,主要三種方法,分別為:

  1. 在線方法:主要整合模型至專案中,透過打包進行部署。
  2. 離線方法:主要離線訓練建立模型,透過設定進行部署。
  3. 儲存庫方法:主要基於 SAS Model Manager 儲存庫進行部署。

然而當我們進行串流分析的部署時,則將會面臨治理的挑戰,主要有部署稽核和模型再訓練稽核,此時面對部署稽核的挑戰,我們主要能夠透過工作流程了解為什麼,以及面對模型再訓練稽核的挑戰,我們主要需要自我稽核快速進行更新。

最後當我們將串流分析應用於物聯網分析時,則其分析生命週期主要獲取來自傳感器的資料量巨大,而且大部分皆沒用,此時需要過濾來評估資料,並且僅儲存將提供價值的內容,以及在模型建立的過程中,與訓練事件和其他事件相關的資料需要事件來有效預測未來事件,一旦完成且在模型部署之後,我們就能夠自動化學習和改進串流分析模型的分析成效。

相關資源

⬅️ Go back