元數(shù)據(jù)質(zhì)量檢測方案（完整性 + 準確性核心檢測）-我們在野戰(zhàn)好舒服好大好爽-亞洲歐美日韓一區(qū)二區(qū)

一、概念定義

元數(shù)據(jù)：描述數(shù)據(jù)的數(shù)據(jù)，包含表信息、字段、數(shù)據(jù)類型、業(yè)務釋義、來源、血緣、值域、責任人、更新周期、指標口徑等。元數(shù)據(jù)質(zhì)量兩大核心維度：

1. 完整性：該有的元數(shù)據(jù)字段不能缺失

2. 準確性：元數(shù)據(jù)描述和真實數(shù)據(jù)保持一致

額外配套常見維度：一致性、時效性、唯一性、合規(guī)性

二、元數(shù)據(jù)完整性檢測

檢測目標

所有數(shù)據(jù)對象（庫、表、字段、指標）必填元數(shù)據(jù)項不存在空值、空白、未填寫。

1. 檢測對象

數(shù)據(jù)庫、數(shù)據(jù)表、字段、數(shù)據(jù)指標、數(shù)據(jù)接口、文件資源

2. 標準必填元數(shù)據(jù)項（可按需裁剪）

基礎(chǔ)信息：中文名稱、英文名稱、數(shù)據(jù)類型、長度、精度、是否主鍵 / 非空

業(yè)務信息：業(yè)務含義、業(yè)務域、數(shù)據(jù)來源系統(tǒng)、數(shù)據(jù)分層（ODS/DWD/DWS）

管理信息：責任人、聯(lián)系郵箱、數(shù)據(jù)生命周期、更新頻率、保密等級

技術(shù)信息：存儲位置、分區(qū)規(guī)則、數(shù)據(jù)血緣上游、數(shù)據(jù)標準編碼、值域說明

3. 完整性檢測規(guī)則

1. 必填屬性不為 NULL、空字符串、純空格

2. 枚舉類字段（保密等級、更新頻率）不得為空

3. 指標類元數(shù)據(jù)必須填寫統(tǒng)計口徑、統(tǒng)計維度

4. 血緣鏈路：核心業(yè)務表必須登記上游來源信息

5. 字典值域：代碼類字段必須關(guān)聯(lián)標準值域元數(shù)據(jù)

4. 輸出結(jié)果

不完整清單：對象 ID、對象名稱、缺失元數(shù)據(jù)項、風險等級、整改責任人

三、元數(shù)據(jù)準確性檢測

檢測目標

元數(shù)據(jù)登記信息與物理庫真實數(shù)據(jù)、業(yè)務定義完全匹配，不存在描述錯誤。

1. 技術(shù)屬性準確性（自動核驗，對接數(shù)據(jù)庫）

元數(shù)據(jù)記錄的字段類型、長度、小數(shù)精度 和數(shù)據(jù)庫 DDL 比對

元數(shù)據(jù)標注「非空字段」，真實表允許 NULL → 不準確

元數(shù)據(jù)標注主鍵 / 唯一鍵，實際無對應約束

分區(qū)字段、索引信息登記與真實存儲不一致

存儲引擎、文件格式、數(shù)據(jù)編碼信息錯誤

2. 業(yè)務屬性準確性（自動化 + 人工復核結(jié)合）

字段業(yè)務釋義和實際業(yè)務用途不符

指標口徑描述錯誤、計算公式和代碼不一致

值域枚舉說明與真實數(shù)據(jù)取值不匹配（元數(shù)據(jù)寫值域 1/2，實際存在 3）

來源系統(tǒng)登記錯誤，上游血緣鏈路錯誤

數(shù)據(jù)分層歸類錯誤（ODS 表錯誤標注 DWD）

3. 命名規(guī)范準確性

中英文名稱不符合企業(yè)數(shù)據(jù)標準命名規(guī)范

名稱重復、同名不同對象

4. 典型準確性核查 SQL 思路示例

sql

-- 比對元數(shù)據(jù)表登記字段數(shù)量 vs 真實表字段數(shù)量select meta_cnt, real_cnt from meta_table t1join information_schema.tables t2on t1.table_name = t2.table_namewhere meta_cnt <> real_cnt;

四、完整檢測流程

1. 采集：同步元數(shù)據(jù)平臺元數(shù)據(jù)；抽取數(shù)據(jù)庫真實結(jié)構(gòu)、指標腳本

2. 規(guī)則校驗引擎

3. 完整性規(guī)則批量掃描

4. 準確性自動化比對（元數(shù)據(jù) ? 物理數(shù)據(jù)源）

5. 質(zhì)量評分計算公式參考：

完整性得分 = 有效填寫項 ÷ 總必填項 ×100準確性得分 = 校驗一致項 ÷ 總校驗項 ×100綜合質(zhì)量分 = 完整性權(quán)重(0.5)+ 準確性權(quán)重 (0.5)

1. 生成質(zhì)量報告、問題工單推送

2. 持續(xù)監(jiān)測：定時任務（日 / 小時級）持續(xù)巡檢，新增表自動觸發(fā)檢測

五、質(zhì)量分級標準（參考）

?  ≥90 分

?? 合格 70~89 分

? 不合格 ＜70 分，強制整改

六、可落地監(jiān)測指標（用于監(jiān)控看板）

1. 元數(shù)據(jù)完整率 = 完整對象數(shù)量 / 總對象數(shù)量

2. 元數(shù)據(jù)準確率 = 核驗無誤對象數(shù)量 / 總核驗對象數(shù)量

3. 缺失元數(shù)據(jù)項 TOP 榜單

4. 元數(shù)據(jù)信息不一致問題數(shù)量趨勢

5. 逾期未整改元數(shù)據(jù)質(zhì)量問題數(shù)量

七、擴展落地建議

事前管控：新建表 / 新建指標時強制元數(shù)據(jù)校驗，不達標無法上線

事中監(jiān)測：定時調(diào)度自動化檢測任務

事后閉環(huán)：問題工單、整改時限、復測機制

為華檢測中心，全國28家分所實驗室，安徽為華檢測技術(shù)有限公司擁有專業(yè)檢測資質(zhì)，有食品檢測、環(huán)境檢測、輕工檢測、金屬檢測、高分子材料檢測、醫(yī)療器械檢測、計量校準等全品類實驗室，您將獲得專業(yè)、靠譜、高效的服務。詳情咨詢檢測工程師。