Data Governance

資料治理 Data Quality (1)

教學目標

初步了解資料品質的基本概念。

重點概念

首先資料品質是資料治中非常關鍵的流程,主要影響以資料進行決策的準確性,其目標主要透過可靠的資料管理提升資料在組織中使用的價值和收益。我們可以透過 PDCA 循環過程進行資料品質管理,分別為:

  1. 規劃:主要識別資料治理的需求,制定資料品質管理的方案,定義資料品質指標。
  2. 執行:主要評估資料品質,執行資料的清理,提升資料品質。
  3. 檢查:主要監控資料品質,確認資料品質指標符合標準。
  4. 動作:主要優化資料品質管理的方案。

接著影響資料品質的因素主要來自於以下四個方面,分別為:

  1. 資訊因素:中繼資料描述錯誤導致資料品質問題。
  2. 技術因素:資料處理技術環節錯誤導致資料品質問題。
  3. 流程因素:系統作業和人工操作流程設定導致資料品質問題。
  4. 管理因素:人員素質和管理機制方面的原因導致資料品質問題。

再來定義資料品質的指標主要有四大方面,分別為:

  1. 完整性:資料是否存在遺失情況。
  2. 準確性:資料是否存在異常錯誤。
  3. 一致性:資料是否遵循標準規範。
  4. 即時性:資料是否滿足分析週期。

最後資料品質的規則主要是提升資料品質主要有四大管理流程,分別為:

  1. 記錄滿足與不滿足業務需求的資料。
  2. 分析滿足與不滿足業務需求的資料比例和主要問題。
  3. 產生通知事件,即時反應可能潛在的資料品質問題。
  4. 發佈預警通知,預先告知業務部門存在的資料品質問題。

總結透過資料品質進行指標驗證,以利發現資料品質問題的原因,可能來自於資料標準、組織人員、管理流程、技術環節、…等,此時我們能夠制定適當的改善方案,特別是提升資料品質的管理流程。

相關資源

資料處理 Big Data Governance (1)

基本介紹

教學目標

初步了解大數據治理 (Big Data Governance) 的概念。

重點概念

大數據治理是廣義資訊治理計劃的一部份,主要是制定與大數據有關資料優化、隱私保護與資料變現的政策。大數據治理政策會申明未經顧客知情和同意,組織不得將顧客的資料整合至主資料記錄中。此外藉由元數據建立大數據的類別,接著針對主資料進行品質管理,並以資訊生命週期管理針對資料進行儲存的管理。

大數據治理的框架主要由三個部份所組成分別為大數據類型、產業與功能以及資訊治理準則,其中大數據可分為五大類型:

  1. Web 和社交媒體資料
  2. 機器對機器資料
  3. 海量交易資料
  4. 生物計量學資料
  5. 人工生成資料

資訊治理主要有七大準則,同時也適用於大數據治理:

  1. 組織
  2. 元數據
  3. 隱私
  4. 資料品質
  5. 業務流程整合
  6. 主資料整合
  7. 資訊生命週期管理

資訊治理組織需要將大數據納入其總體框架,包括憲章、組織結構、角色和責任,接著需要將大數據與企業的元數據進行整合的大數據治理計劃,並且將大數據相關術語帶入企業中,此外大數據治理執行時需要識別敏感資料,並且制定有關敏感資料可被接受的政策,會因大數據類別、產業和國家而有所差異的規制。然而為了在數量、速度和多樣性上達到基本水準,以利進行業務流程和主數據的整合,則需要採取有別於傳統資料類型的方法針對大數據品質進行管理,其中大數據的品質不一定會阻礙深度的商業洞察分析,重點在於足夠好。最後由於資料數量急劇擴大,組織會面臨理解規範和業務要求的挑戰,因此需要藉由資訊生命週期進行管理。

最後根據不同產業與功能會有不同的分析和營運需求,以銀行業為例,針對風險管理會針基於最新財務資訊來更新客戶層級,此時就會藉由主資料整合的準則針對關鍵資料進行即時予以更新。以及針對信用和收款藉由社交媒體資料進行決策時,會考慮相關法規防止收款者騷擾債主,或者侵犯有關債主社交媒體的隱私資訊。

相關資源