登錄

數(shù)據(jù)遷移

百科 > 信息管理術(shù)語 > 數(shù)據(jù)遷移

1.什么是數(shù)據(jù)遷移[1]

  數(shù)據(jù)遷移是數(shù)據(jù)系統(tǒng)整合中保證系統(tǒng)平滑升級和更新的關(guān)鍵部分。在信息化建設(shè)過程中,隨著技術(shù)的發(fā)展,原有的信息系統(tǒng)不斷被功能更強(qiáng)大的新系統(tǒng)所取代。從兩層結(jié)構(gòu)到三層結(jié)構(gòu),從Client/Server到Browser/Server。在新舊系統(tǒng)的切換過程中,必然要面臨一個數(shù)據(jù)遷移的問題。

2.數(shù)據(jù)遷移的特點[1]

  系統(tǒng)切換時的數(shù)據(jù)遷移不同于從生產(chǎn)系統(tǒng)OLTP(On-line Transaction Processing)到數(shù)據(jù)倉庫(Data Warehouse,DW)的數(shù)據(jù)抽取。后者主要將生產(chǎn)系統(tǒng)在上次抽取后所發(fā)生的數(shù)據(jù)變化同步到數(shù)據(jù)倉庫,這種同步在每個抽取周期都進(jìn)行,一般以天為單位。而數(shù)據(jù)遷移是將需要的歷史數(shù)據(jù)一次或幾次轉(zhuǎn)換到新的生產(chǎn)系統(tǒng),其最主要的特點是需要在短時間內(nèi)完成大批量數(shù)據(jù)的抽取、清洗和裝載。

  數(shù)據(jù)遷移的內(nèi)容是整個數(shù)據(jù)遷移的基礎(chǔ),需要從信息系統(tǒng)規(guī)劃的角度統(tǒng)一考慮。劃分內(nèi)容時,可以從橫向的時間和縱向的模塊2個角度去考慮。

  1.橫向劃分

  以產(chǎn)生數(shù)據(jù)的時間為劃分依據(jù),需要考慮比較久遠(yuǎn)的歷史數(shù)據(jù)如何遷移的問題。由于信息技術(shù)的發(fā)展,以及存儲工程師對計算機(jī)依賴性的增強(qiáng),每天新系統(tǒng)往往需要比舊系統(tǒng)存儲更多的信息,同時為了解決高增長的數(shù)據(jù)量帶來的性能瓶頸,新系統(tǒng)一般只保留一定時期的數(shù)據(jù)(如1年),而把超過保存周期的數(shù)據(jù),即1年以前的數(shù)據(jù)轉(zhuǎn)移到數(shù)據(jù)倉庫中,以便用于決策分析。對于這種新系統(tǒng)的數(shù)據(jù)遷移,主要遷移1年以內(nèi)的數(shù)據(jù),1年以前的歷史數(shù)據(jù)需要另外考慮。

  2.縱向劃分

  以處理數(shù)據(jù)的功能模塊為劃分依據(jù),需要考慮在新系統(tǒng)中沒有被包含的功能模塊,其所涉及數(shù)據(jù)的處理問題。這類數(shù)據(jù)由于無法建立映射關(guān)系,一般不需要遷移到新系統(tǒng)中。但對于模塊間耦合度比較緊密的舊系統(tǒng),在縱向劃分時需要注意數(shù)據(jù)的完整性。

3.數(shù)據(jù)遷移的方法和策略[2]

4.數(shù)據(jù)遷移的實現(xiàn)[2]

  數(shù)據(jù)遷移的實現(xiàn)可以分為3個階段:數(shù)據(jù)遷移前的準(zhǔn)備、數(shù)據(jù)遷移的實施和數(shù)據(jù)遷移后的校驗。由于數(shù)據(jù)遷移的特點,大量的工作都需要在準(zhǔn)備階段完成,充分而周到的準(zhǔn)備工作是完成數(shù)據(jù)遷移的主要基礎(chǔ)。具體而言,要進(jìn)行待遷移數(shù)據(jù)源的詳細(xì)說明(包括數(shù)據(jù)的存儲方式、數(shù)據(jù)量、數(shù)據(jù)的時間跨度);建立新舊系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)字典;對舊系統(tǒng)的歷史數(shù)據(jù)進(jìn)行質(zhì)量分析,新舊系統(tǒng)數(shù)據(jù)結(jié)構(gòu)的差異分析;新舊系統(tǒng)代碼數(shù)據(jù)的差異分析;建立新老系統(tǒng)數(shù)據(jù)庫表的映射關(guān)系,對無法映射字段的處理方法;開發(fā)、部屬ETL工具,編寫數(shù)據(jù)轉(zhuǎn)換的測試計劃和校驗程序;制定數(shù)據(jù)轉(zhuǎn)換的應(yīng)急措施。

  其中,數(shù)據(jù)遷移的實施是實現(xiàn)數(shù)據(jù)遷移的3個階段中最重要的環(huán)節(jié)。它要求制定數(shù)據(jù)轉(zhuǎn)換的詳細(xì)實施步驟流程;準(zhǔn)備數(shù)據(jù)遷移環(huán)境;業(yè)務(wù)上的準(zhǔn)備,結(jié)束未處理完的業(yè)務(wù)事項,或?qū)⑵涓嬉欢温?;對?shù)據(jù)遷移涉及的技術(shù)都得到測試;最后實施數(shù)據(jù)遷移。

  數(shù)據(jù)遷移后的校驗是對遷移工作的檢查,數(shù)據(jù)校驗的結(jié)果是判斷新系統(tǒng)能否正式啟用的重要依據(jù)。可以通過質(zhì)量檢查工具或編寫檢查程序進(jìn)行數(shù)據(jù)校驗,通過試運(yùn)行新系統(tǒng)的功能模塊,特別是查詢、報表功能,檢查數(shù)據(jù)的準(zhǔn)確性。

評論  |   0條評論