數(shù)據(jù)質(zhì)量管理：數(shù)據(jù)中心優(yōu)化必修課

數(shù)據(jù)是企業(yè)數(shù)據(jù)中心的重要資產(chǎn)，獲取并維護(hù)高質(zhì)量數(shù)據(jù)，對(duì)高效的IT和業(yè)務(wù)運(yùn)營(yíng)至關(guān)重要。面對(duì)復(fù)雜度不斷增加的業(yè)務(wù)數(shù)據(jù)，如何全面保證數(shù)據(jù)質(zhì)量？借助完備的Informatica數(shù)據(jù)質(zhì)量平臺(tái)，無(wú)論何時(shí)何地，您都可以在整個(gè)企業(yè)內(nèi)訪問(wèn)，甄別、清洗、集成、交付可信的數(shù)據(jù)，并在第一時(shí)間找出并修正藏匿于任意位置、令您的公司動(dòng)輒花費(fèi)上百萬(wàn)的數(shù)據(jù)質(zhì)量問(wèn)題。

Informatica的數(shù)據(jù)管理目標(biāo)

您心目中企業(yè)數(shù)據(jù)的價(jià)值幾何？調(diào)查顯示，信息的價(jià)值平均為企業(yè)價(jià)值的37%，可以說(shuō)，信息已經(jīng)成為企業(yè)最重要的資產(chǎn)之一，越來(lái)越多的企業(yè)更加重視數(shù)據(jù)中心的建設(shè)。但有許多因素會(huì)導(dǎo)致這些“資產(chǎn)”貶值，比如數(shù)據(jù)的冗余和重復(fù)導(dǎo)致信息的不可識(shí)別、不可信，信息時(shí)效性不強(qiáng)，精確度不夠；結(jié)構(gòu)或非結(jié)構(gòu)數(shù)據(jù)使整合有困難；管理層面的人員變動(dòng)引發(fā)的影響；數(shù)據(jù)標(biāo)準(zhǔn)不能統(tǒng)一，相關(guān)規(guī)范不完善造成對(duì)數(shù)據(jù)理解的不充分等等。

Informatica既可以在數(shù)據(jù)架構(gòu)層面提供信息傳遞、B2B數(shù)據(jù)交換、企業(yè)數(shù)據(jù)集成等一系列的基礎(chǔ)架構(gòu)解決方案，同時(shí)也可為行業(yè)提供數(shù)據(jù)質(zhì)量管理、主數(shù)據(jù)管理和復(fù)雜事件處理等方案，來(lái)支撐數(shù)據(jù)中心實(shí)現(xiàn)可信、交互、權(quán)威的信息資產(chǎn)管理，達(dá)成企業(yè)的業(yè)務(wù)目標(biāo)，這也是信息中心建設(shè)的一個(gè)重點(diǎn)。

 
數(shù)據(jù)質(zhì)量管理的整體框架

數(shù)據(jù)質(zhì)量管理在數(shù)據(jù)中心建設(shè)中是一個(gè)完整的生態(tài)鏈。數(shù)據(jù)質(zhì)量會(huì)受到供應(yīng)商、生產(chǎn)員工、工藝流程以及內(nèi)部客戶和外部一些系統(tǒng)的影響，同時(shí)，從應(yīng)用和軟件角度方面講，數(shù)據(jù)提供者、軟件開(kāi)發(fā)集成、質(zhì)量管控手段等也都會(huì)影響到企業(yè)數(shù)據(jù)質(zhì)量的整體狀況。

從數(shù)據(jù)質(zhì)量整體框架和方法論上講，首先我們要確定目標(biāo)，然后要清楚用什么人，通過(guò)怎樣的流程，采用什么樣的技術(shù)支撐來(lái)達(dá)成目標(biāo)，人、流程、技術(shù)三方面缺一不可。而設(shè)定最終目標(biāo)前最重要的一件事是要了解現(xiàn)狀，找出企業(yè)最關(guān)注哪些數(shù)據(jù)質(zhì)量，通過(guò)記分卡對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行評(píng)估，同時(shí)還要進(jìn)行實(shí)時(shí)的監(jiān)控，從流程、時(shí)間角度發(fā)現(xiàn)數(shù)據(jù)的變化，了解現(xiàn)狀后確定的目標(biāo)才是可信、可完成的，而不是天方夜譚式的水中月、霧中花。

數(shù)據(jù)質(zhì)量理論上不是完全可控的，要實(shí)現(xiàn)數(shù)據(jù)質(zhì)量提升，必須要做到指標(biāo)的可量化，通過(guò)量化指標(biāo)實(shí)現(xiàn)質(zhì)量可控。從技術(shù)層面講，要從以下六個(gè)角度去考量數(shù)據(jù)質(zhì)量，也稱為數(shù)據(jù)質(zhì)量的矩陣，包括：完備性（信息是否填寫(xiě)全面）、符合性（數(shù)據(jù)是否按照標(biāo)準(zhǔn)格式進(jìn)行填寫(xiě)）、一致性（是指內(nèi)部沖突，同一系統(tǒng)中兩個(gè)字段間相關(guān)推導(dǎo)和約束關(guān)系）、準(zhǔn)確性（包括數(shù)據(jù)是否真實(shí)有效和數(shù)據(jù)是否及時(shí)更新）、唯一性（多條信息是否相同和一致）以及完整性（從約束性和參考性方面考慮，數(shù)據(jù)相互間的參照關(guān)系）。當(dāng)然，企業(yè)是要根據(jù)自己的業(yè)務(wù)需求來(lái)確定考量數(shù)據(jù)質(zhì)量的指標(biāo)或體系，并不一定必須局限在這六個(gè)方面。

構(gòu)建數(shù)據(jù)質(zhì)量處理流程

一個(gè)完整的數(shù)據(jù)質(zhì)量管理，是人、流程和技術(shù)的完美配合，才能達(dá)到我們數(shù)據(jù)質(zhì)量管理的目標(biāo)。那數(shù)據(jù)質(zhì)量處理的流程是怎樣的呢？對(duì)于數(shù)據(jù)質(zhì)量的處理，我們把它分成兩大部分，一是面向數(shù)據(jù)質(zhì)量的分析過(guò)程，二是針對(duì)分析結(jié)果進(jìn)行增強(qiáng)的過(guò)程。先要識(shí)別和量化數(shù)據(jù)質(zhì)量，然后定義數(shù)據(jù)質(zhì)量和目標(biāo)，接下來(lái)就要交給相關(guān)部門設(shè)計(jì)質(zhì)量提升的流程，其后就是實(shí)現(xiàn)質(zhì)量提升的流程，把原有低質(zhì)量數(shù)據(jù)變成高質(zhì)量數(shù)據(jù)，并交付給業(yè)務(wù)人員使用。同時(shí)，在整個(gè)環(huán)境中，還需要有相關(guān)的一些監(jiān)控和對(duì)比來(lái)評(píng)估是否達(dá)成了目標(biāo)，決定是否需要進(jìn)行新一輪的數(shù)據(jù)質(zhì)量提升。這是一個(gè)周而復(fù)始、螺旋上升的過(guò)程，并不是一蹴而就，一次就可以解決全部問(wèn)題。

通過(guò)Informatica構(gòu)建數(shù)據(jù)質(zhì)量管理主要分為四大部分。首先是Analyze andPrfiling，通過(guò)對(duì)現(xiàn)有數(shù)據(jù)的詳細(xì)分析、描繪，來(lái)確定怎樣對(duì)他進(jìn)行處理和標(biāo)準(zhǔn)化；第二是Standardise\Cleanse，標(biāo)準(zhǔn)化和清洗更容易讓計(jì)算機(jī)識(shí)別，比如數(shù)據(jù)可以通過(guò)什么樣的格式進(jìn)行限制和約束，進(jìn)行怎樣的交驗(yàn)就可以達(dá)到數(shù)據(jù)標(biāo)準(zhǔn)的要求，那些信息可以通過(guò)數(shù)據(jù)質(zhì)點(diǎn)或者參考數(shù)據(jù)進(jìn)行相關(guān)的標(biāo)準(zhǔn)化；第三是Match，標(biāo)準(zhǔn)化后要進(jìn)行相關(guān)的數(shù)據(jù)匹配，解決數(shù)據(jù)重復(fù)性問(wèn)題，并保證數(shù)據(jù)的唯一性；第四是Consolidate，將重復(fù)數(shù)據(jù)進(jìn)行合并，最后運(yùn)用到不同的系統(tǒng)當(dāng)中。需要注意的是，在整個(gè)過(guò)程中我們都需要進(jìn)行相關(guān)的監(jiān)控。在我們?nèi)粘��?shù)據(jù)中心的建設(shè)中，也可以對(duì)這幾部分進(jìn)行相關(guān)的延展或者精簡(jiǎn)來(lái)完善我們數(shù)據(jù)質(zhì)量管理的過(guò)程。

這里重點(diǎn)介紹一下Informatica最具特色的模糊匹配技術(shù)。在數(shù)據(jù)匹配關(guān)聯(lián)中，可以用到不同的匹配關(guān)聯(lián)技術(shù)，比如在實(shí)現(xiàn)數(shù)據(jù)的精確快速匹配時(shí)，可以先對(duì)數(shù)據(jù)進(jìn)行預(yù)覽，查看兩個(gè)數(shù)據(jù)的可匹配度是多少，再進(jìn)行分析來(lái)確定這種匹配是否適用于此種數(shù)據(jù)的匹配過(guò)程。如沒(méi)有精確匹配來(lái)保證匹配率，則可以采用模糊比對(duì)的方法，比如下圖中，在人名比對(duì)中，可能因?yàn)槠匆艉?jiǎn)、繁體輸入問(wèn)題造成一個(gè)人的數(shù)據(jù)信息不一致，王門騫的“騫”，一個(gè)是簡(jiǎn)體，一個(gè)是繁體，這兩個(gè)字在計(jì)算機(jī)編碼中并不一致，所以他們的名稱并不相等，這時(shí)就要對(duì)他的名字進(jìn)行模糊匹配打分，通過(guò)結(jié)果來(lái)分辯數(shù)據(jù)的可信度。比如設(shè)定0.8以上的數(shù)據(jù)為可信，那第兩條王門騫就是可信的同一個(gè)人，而第二條陳東壁被判定不是同一個(gè)人。

現(xiàn)在，很多企業(yè)的數(shù)據(jù)中心，不僅僅只是一個(gè)最單純的面向數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ)中心，而是既能支持業(yè)務(wù)運(yùn)營(yíng)，又支持系統(tǒng)分析，還可進(jìn)行系統(tǒng)間的整合。在數(shù)據(jù)中心建設(shè)中，數(shù)據(jù)質(zhì)量需要從數(shù)據(jù)源端就開(kāi)始進(jìn)行治理，治理到業(yè)務(wù)交互的各個(gè)過(guò)程。包括PowerCenter、Data Quality、MDM Hub、Informatica 9在內(nèi)的Informatica的數(shù)據(jù)質(zhì)量工具，可以將所有的業(yè)務(wù)邏輯和規(guī)則變成相關(guān)的一些服務(wù)，由各個(gè)業(yè)務(wù)前端、各個(gè)業(yè)務(wù)處理過(guò)程中，對(duì)數(shù)據(jù)服務(wù)進(jìn)行調(diào)用，進(jìn)行相關(guān)的數(shù)據(jù)校驗(yàn)和數(shù)據(jù)清洗，這就是Informatica數(shù)據(jù)質(zhì)量平臺(tái)為企業(yè)數(shù)據(jù)中心建設(shè)所提供的支持和幫助。讓我們可信的數(shù)據(jù)大廈從現(xiàn)在開(kāi)始構(gòu)建！

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]