資料治理 Data Quality (1)

教學目標

初步了解資料品質的基本概念。

重點概念

首先資料品質是資料治中非常關鍵的流程,主要影響以資料進行決策的準確性,其目標主要透過可靠的資料管理提升資料在組織中使用的價值和收益。我們可以透過 PDCA 循環過程進行資料品質管理,分別為:

  1. 規劃:主要識別資料治理的需求,制定資料品質管理的方案,定義資料品質指標。
  2. 執行:主要評估資料品質,執行資料的清理,提升資料品質。
  3. 檢查:主要監控資料品質,確認資料品質指標符合標準。
  4. 動作:主要優化資料品質管理的方案。

接著影響資料品質的因素主要來自於以下四個方面,分別為:

  1. 資訊因素:中繼資料描述錯誤導致資料品質問題。
  2. 技術因素:資料處理技術環節錯誤導致資料品質問題。
  3. 流程因素:系統作業和人工操作流程設定導致資料品質問題。
  4. 管理因素:人員素質和管理機制方面的原因導致資料品質問題。

再來定義資料品質的指標主要有四大方面,分別為:

  1. 完整性:資料是否存在遺失情況。
  2. 準確性:資料是否存在異常錯誤。
  3. 一致性:資料是否遵循標準規範。
  4. 即時性:資料是否滿足分析週期。

最後資料品質的規則主要是提升資料品質主要有四大管理流程,分別為:

  1. 記錄滿足與不滿足業務需求的資料。
  2. 分析滿足與不滿足業務需求的資料比例和主要問題。
  3. 產生通知事件,即時反應可能潛在的資料品質問題。
  4. 發佈預警通知,預先告知業務部門存在的資料品質問題。

總結透過資料品質進行指標驗證,以利發現資料品質問題的原因,可能來自於資料標準、組織人員、管理流程、技術環節、…等,此時我們能夠制定適當的改善方案,特別是提升資料品質的管理流程。

相關資源