智能(néng)檢測
關鍵流程:
質量監管平台建設實踐應用及價值體現,離不開(kāi)管理流程、技(jì)術(shù)實現和組織人員(yuán)的緊密結合,主要包含如下(xià)8大流程步驟:
質量需求:發現數據問題;信息提報(bào)、收集需求;檢核規則的需求等。
提煉規則:梳理規則指标、确定有效指标、檢核指标準确度和衡量标準。
規則庫構建:檢核對象配置、調度配置、規則配置、檢核範圍确認、檢核标準确定等。
執行檢核:調度配置、調度執行、檢核代碼。
問題檢核:檢核問題展示、分類、質量分析、質量嚴重等級分類等。
分析報(bào)告:數據質量報(bào)告、質量問題趨勢分析,影響度分析,解決方案達成共識。
落實處理:方案落實執行、跟蹤管理、解決方案Review及标準化提煉。
知識庫體系形成:知識經驗總結、标準方案沉澱、知識庫體系建設。
質量檢核标準
完整性:主要包括實體缺失、屬性缺失、記錄缺失和字段值缺失四個(gè)方面;
準确性:一(yī)個(gè)數據值與設定為(wèi)準确的值之間的一(yī)緻程度,或與可接受程度之間的差異;
合理性:主要包括格式、類型、值域和業(yè)務規則的合理有效;
一(yī)緻性:系統之間的數據差異和相(xiàng)互矛盾的一(yī)緻性,業(yè)務指标統一(yī)定義,數據邏輯加工(gōng)結果一(yī)緻性;
及時性:數據倉庫ETL、應用展現的及時和快速性,Jobs運行耗時、運行質量、依賴運行及時性。
智慧檢測模塊
數據質量監管功能(néng)圖
數據質量功能(néng)模塊設計的主要功能(néng)如上(shàng)圖所示,包括:監控對象管理、檢核指标管理、數據質量過程監控、問題跟蹤管理、推薦優化管理、知識庫管理及系統管理等。其中過程監控包括離線數據監控、實時數據監控;問題跟蹤處理由問題發現(支持自(zì)動檢核、人工(gōng)錄入)、問題提報(bào)、任務推送、故障定級、故障處理、知識庫沉澱等形成閉環流程。