SAS Event Stream Processing

SAS 基本介紹 (27)

教學目標

此篇主要為學習 SAS Event Stream Processing 的心得筆記。

重點概念

首先今天非常厲害的資深前輩分享 SAS Event Stream Processing 在產業應用的經驗,讓我們受益良多。在目前巨量資料的時代,資料如同下雨一樣不僅是獲立事件,像是社群媒體、金融交易、感測器、… 等,並且還有許多小資料一直持續下,此時的我們是否能夠在下的當下就進行資料的篩選呢?此外資料的價值將會隨著時間遞減,過去我們可能會使用歷史資料進行分析和建立預測模型,然而資料通常是在當下最具價值,因此是否有個 SAS 產品能夠即時的針對事件進行處理呢?答案肯定是 SAS Event Stream Processing 產品。

接著 SAS Event Stream Processing 產品主要是分析事件串流資料,並且立即提供適當的行動。所謂事件主要是指在確定時間內所發生的事情,並且能夠進行記錄的集合資訊,在傳統資料管理方法中資料主要是從來源進行收集、儲存和分析。但是在事件串流方法中事件主要是立即被分析無需任何儲存的負擔,因此傳統資料處理主要是進行定期處理,然而事件處理主要是進行連續處理。更進一步說明,傳統資料處理主要是採用批次引擎,主要是先準備資料,再來執行程序,以利取得輸出結果,像是澆花水壺一樣,事件處理主要是採用串流引擎,主要是先執行程序,再來持續接收資料,並且處理資料,同時產生輸出結果,像是沖水水管一樣。所以 SAS Event Stream Processing 產品主要是採用事件串流方法,其主要能夠處理巨量的串流資料,其中資料也就是所謂的事件,同時以極低的延遲時間持續進行處理,此外更支援模型計算,針對串流資料立即進行模型計算。

再來 SAS Event Stream Processing 產品的主要元件有三個,分別為:

  1. Event Stream Processing Engine
  2. Adaptor and Connectors
  3. Publish and Subscribe API

其中所謂 Event Stream Processing Engine 主要是進行事件的轉換,像是過濾、聚合、模式偵測、模型計算、資料品質、…等。至於所謂 Adaptor and Connectors 和 Publish and Subscribe API 則主要是處理輸入和輸出串流資料的事件,請注意 Connectors 主要是使用於 SAS ESP 引擎中,而 Adaptor 則主要是使用於 SAS ESP 引擎外獨立執行,並且支援彈性的參數調整,以利達到最佳的效能。

最後 SAS Event Stream Processing 產品的網站應用程式主要有 ESP Studio 和 ESP Streamviewr。所謂 ESP Studio 主要是用於開發、測試和維護 ESP Model,所謂 ESP Streamviewer 主要是用於訂閱 ESP Model,並且即時視覺化 ESP 模型,以圖表方式進行呈現。至於什麼是 ESP Model 則主要是使用者設定如何從發佈者的輸入事件串流轉換成有意義的輸出事件串流給訂閱者。其主要有五個階層,分別為:

  1. Engine Model
  2. Project
  3. Continuous Query
  4. Source Windows
  5. Derived Windows

其中一個 Model 包括至少一個 Engine,每個 Engine 則包括多個 Project,每個 Project 包括多個 Continuous Query,每個 Continuous Query 包括許多 Windows 和 Edges,至於 Windows 則可分為 Source 和 Derived 兩種類型。

總結 SAS Event Stream Processing 產品能夠進行非常多種類的串流分析的應用,像是影像處理、物聯網應用、企業即時決策、… 等即時串流分析的應用。此外我們也能夠應用 SAS Event Stream Processing 產品實作巨量資料的串流 ETL 轉換架構,再搭配 Kafka 達到高可用性的容錯架構。

相關資源

SAS 基本介紹 (9)

基本介紹

教學目標

初步了解 SAS 相關解決方案在金融科技方面的應用。

重點概念

昨天參加 2016 SAS Taiwan Forum 學習了許多 SAS 解決方案如何針對金融科技進行分析與應用,數位化和大數據是未來五年發展的市場趨勢,主要目標為提升客戶體驗,簡單來說,就是在對的時間和對的通路推薦對的方案,以利滿足客戶的需求,其中對的時間代表當與客戶互動發現有需要時,系統就能夠立即取得商業洞見和建議最佳行動方案。接著對的通路,不僅僅只是網頁和行動裝置而已,對於銀行而言更包括了許多互動式的客戶通路,例如電話客服、分行位置、自動櫃員機、…等,建議最佳的下一步動作,同時針對信用授權、詐騙分析、客訴處理等事項,制定分析之的決策,以利在正確的時間、地點和情境,滿足客戶的需求。此時針對數位化我們可以透過 SAS Event Stream Processing 相關解決方案針對正在發生的事件進行同步的了解,整合串流、評估和儲存的模式,簡單來說就是當接收資料時就會即時進行分析,並且在新事件發生時更新相關狀況的情報,即時掌握趨勢脈動,以及針對大數據我們可以透過 SAS Real-Time Decision Manager 相關解決方案在即時客戶互動的過程中,針對決策流程自動分析與套用,協助做出更適當且明智的決定。

然而目前企業內部則面臨的挑戰,主要有三點,分別為人才、流程和組織,更進一步探討就是缺乏客戶洞察、業務和通路不互相溝通以及企業文化的要素。此時可以藉由 SAS Customer Intelligence 相關解決方案,先從聆聽,接著了解,再來決策,最後行動解決目前企業內部所面臨的挑戰,舉例來說,若我們從業務的角度思考時,則可以整合線上和線下不同的通路資料,從業務需求進行分析,以利解決問題,同時在過程中不斷提升客戶體驗,例如:專業理專針對不同的客戶提供適當的商品投資組合時,是否能夠透過以資料分析的方式針對市場景氣、資產配置和客戶偏好提供最適當的建議呢?此時可以我們可以透過 SAS Text Analytics 相關解決方案進行理財新聞的匯整幫助理專快速理解市場景氣。SAS Visual Analytics 提供互動儀表板根據客戶風險屬性與投資傾向分析結果,進行資產配置的建議,像是挑選合適的基金。SAS Visual Statistics 針對客戶進行分群之後,接著以交叉資料表二維方式呈現關聯相關的投資組合,再來以泡泡圖多維方式呈現找出價值的狀況,最後以熱力圖多維方式產生最有價值的客群名單,此時再針對此客群的投資組合共通性提出不同策略的解決方案經營客群。此外當客戶在特店進行信用卡消費時,發現額度不夠時,是否能夠即可線上即時進行信用審查,自動化提高額度呢?此時我們可以透過 SAS Event Stream Processing 和 SAS Real-Time Decision Manager 相關解決方案解決此問題。

雖然透過 SAS 工具能夠先解決缺乏客戶洞察和業務和通路不互相溝通的挑戰,但還是無法解決企業文化要素的挑戰。破壞式創新應用的金融科技才會有未來,而非僅是利用科技改善金融服務。金融產業在未來會不會成為擁有金融相關牌照的資訊科技公司呢?在 1990 年代初期大力推廣自動櫃員機的前花旗銀行總裁 John Reed,曾說過:”Banking is just bits and bytes.”,簡單來說金融服務就是一連串的資訊處理。然而金融產業的本質主要就是信用,在於解決資訊不對稱的問題,例如:銀行會先從社會大眾取得存款,再借給有資金需求的企業,此時就擔任資金中介者,此時因為資金牽涉社會大眾,所以必需施以高度監管。然而中國大陸則在法規和監理不嚴謹和龐大市場人口的情況下發展出許多金融科技的應用,例如:一站式互聯網理財主要有四種典型的業務模式,分別為自助化、顧問化、社交化和智慧化,其中基於大數據的智慧化理財決策是非常關鍵的因素,此時若再以全球市場來看知名的金融科技新創公司破壞式創新應用。

  1. Wealthfront:主要就是改變傳統的理財投資組合的銷售模式。
  2. Motif Investing:主要是提供投資組合服務的提供商。
  3. Mint:主要是提供個人日常財務管理,推薦金融商品以利省錢收取佣金。
  4. ZestFinance:主要是針對無信用資料或記錄不佳者進行大數據建模進行風險分析。
  5. Kabbage:主要貸款給小企業,針對營運、第三方、線上交易、社群評價進行風險分析。

當然還有許多破壞式創新後應用的金融科技,但是對於金融產業的獲利關鍵,主要還是風險管理能力,一般來說在過往我們只有在交易與交付的當下接觸到客戶,接著才會進行客戶經營和商品銷售,可是現今我們是否能夠進行銷售前移,也就是說透過 SAS Customer Intelligence 360 相關解決方案提供全方位的客戶資訊,透過大數據的分析在交易和交付發生前先了解客戶的興趣和需求,讓我們能夠愈早接觸到客戶,提供最適當的商品時,此時成功率更高。然而客戶真的是優質的客戶嗎?此時我們就可以透過 SAS Real-Time Decision Manager 相關解決方案,進行大數據的管理與實務應用,主要有三大重點,分別為變數多 (Data) 、模型多 (Model) 和更新快 (Deploy) ,也就是每位客戶會有許多變數,從變數中挑選特徵變數,接著建立分析模型,再來校正模型,最後進行風險評分。傳統風險主要是以信貸違約風險為主,現今風險主要是以信用品質為主,但是因為需要採用第三方資料使得完整度較低,導致變數轉多,來源規範性較低,此時除了需要自動化篩選變數之外,更需要能夠整合決策進行模型的置換與比較,像是挑戰者模型挑選與淘汰機制,更重要的是模型部署可以透過自動化決策平台進行,其中包括業務規則、分析模型和商業流程。此外我們還可以透過 SAS Visual Investigator 針對個人為主的消費金融和公司為主的企業金融進行社群關聯分析,接著將風險因素和關聯因素相加得出風險評分,同時針對高風險的事件發出警示訊息等應用。簡單來說就是流程化資料探勘分析,優化降低誤判風險,以利帶來更多的價值。

總結我們可以從整個企業進行全面思考,接著以資料分析為戰略,最後再以業務案例為驅動,在對的時間機搭配最合適的工具以利資訊人員與業務人員協同合作,至於金融科技的關鍵重點則在於解決人才、流程和組織的挑戰。

相關資源