登錄

數(shù)據(jù)遷移

百科 > 信息管理術(shù)語 > 數(shù)據(jù)遷移

1.什么是數(shù)據(jù)遷移[1]

  數(shù)據(jù)遷移是數(shù)據(jù)系統(tǒng)整合中保證系統(tǒng)平滑升級(jí)和更新的關(guān)鍵部分。在信息化建設(shè)過程中,隨著技術(shù)的發(fā)展,原有的信息系統(tǒng)不斷被功能更強(qiáng)大的新系統(tǒng)所取代。從兩層結(jié)構(gòu)到三層結(jié)構(gòu),從Client/Server到Browser/Server。在新舊系統(tǒng)的切換過程中,必然要面臨一個(gè)數(shù)據(jù)遷移的問題。

2.數(shù)據(jù)遷移的特點(diǎn)[1]

  系統(tǒng)切換時(shí)的數(shù)據(jù)遷移不同于從生產(chǎn)系統(tǒng)OLTP(On-line Transaction Processing)到數(shù)據(jù)倉庫(Data Warehouse,DW)的數(shù)據(jù)抽取。后者主要將生產(chǎn)系統(tǒng)在上次抽取后所發(fā)生的數(shù)據(jù)變化同步到數(shù)據(jù)倉庫,這種同步在每個(gè)抽取周期都進(jìn)行,一般以天為單位。而數(shù)據(jù)遷移是將需要的歷史數(shù)據(jù)一次或幾次轉(zhuǎn)換到新的生產(chǎn)系統(tǒng),其最主要的特點(diǎn)是需要在短時(shí)間內(nèi)完成大批量數(shù)據(jù)的抽取、清洗和裝載。

  數(shù)據(jù)遷移的內(nèi)容是整個(gè)數(shù)據(jù)遷移的基礎(chǔ),需要從信息系統(tǒng)規(guī)劃的角度統(tǒng)一考慮。劃分內(nèi)容時(shí),可以從橫向的時(shí)間和縱向的模塊2個(gè)角度去考慮。

  1.橫向劃分

  以產(chǎn)生數(shù)據(jù)的時(shí)間為劃分依據(jù),需要考慮比較久遠(yuǎn)的歷史數(shù)據(jù)如何遷移的問題。由于信息技術(shù)的發(fā)展,以及存儲(chǔ)工程師對(duì)計(jì)算機(jī)依賴性的增強(qiáng),每天新系統(tǒng)往往需要比舊系統(tǒng)存儲(chǔ)更多的信息,同時(shí)為了解決高增長的數(shù)據(jù)量帶來的性能瓶頸,新系統(tǒng)一般只保留一定時(shí)期的數(shù)據(jù)(如1年),而把超過保存周期的數(shù)據(jù),即1年以前的數(shù)據(jù)轉(zhuǎn)移到數(shù)據(jù)倉庫中,以便用于決策分析。對(duì)于這種新系統(tǒng)的數(shù)據(jù)遷移,主要遷移1年以內(nèi)的數(shù)據(jù),1年以前的歷史數(shù)據(jù)需要另外考慮。

  2.縱向劃分

  以處理數(shù)據(jù)的功能模塊為劃分依據(jù),需要考慮在新系統(tǒng)中沒有被包含的功能模塊,其所涉及數(shù)據(jù)的處理問題。這類數(shù)據(jù)由于無法建立映射關(guān)系,一般不需要遷移到新系統(tǒng)中。但對(duì)于模塊間耦合度比較緊密的舊系統(tǒng),在縱向劃分時(shí)需要注意數(shù)據(jù)的完整性。

3.數(shù)據(jù)遷移的方法和策略[2]

4.數(shù)據(jù)遷移的實(shí)現(xiàn)[2]

  數(shù)據(jù)遷移的實(shí)現(xiàn)可以分為3個(gè)階段:數(shù)據(jù)遷移前的準(zhǔn)備、數(shù)據(jù)遷移的實(shí)施和數(shù)據(jù)遷移后的校驗(yàn)。由于數(shù)據(jù)遷移的特點(diǎn),大量的工作都需要在準(zhǔn)備階段完成,充分而周到的準(zhǔn)備工作是完成數(shù)據(jù)遷移的主要基礎(chǔ)。具體而言,要進(jìn)行待遷移數(shù)據(jù)源的詳細(xì)說明(包括數(shù)據(jù)的存儲(chǔ)方式、數(shù)據(jù)量、數(shù)據(jù)的時(shí)間跨度);建立新舊系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)字典;對(duì)舊系統(tǒng)的歷史數(shù)據(jù)進(jìn)行質(zhì)量分析,新舊系統(tǒng)數(shù)據(jù)結(jié)構(gòu)的差異分析;新舊系統(tǒng)代碼數(shù)據(jù)的差異分析;建立新老系統(tǒng)數(shù)據(jù)庫表的映射關(guān)系,對(duì)無法映射字段的處理方法;開發(fā)、部屬ETL工具,編寫數(shù)據(jù)轉(zhuǎn)換的測試計(jì)劃和校驗(yàn)程序;制定數(shù)據(jù)轉(zhuǎn)換的應(yīng)急措施。

  其中,數(shù)據(jù)遷移的實(shí)施是實(shí)現(xiàn)數(shù)據(jù)遷移的3個(gè)階段中最重要的環(huán)節(jié)。它要求制定數(shù)據(jù)轉(zhuǎn)換的詳細(xì)實(shí)施步驟流程;準(zhǔn)備數(shù)據(jù)遷移環(huán)境;業(yè)務(wù)上的準(zhǔn)備,結(jié)束未處理完的業(yè)務(wù)事項(xiàng),或?qū)⑵涓嬉欢温洌粚?duì)數(shù)據(jù)遷移涉及的技術(shù)都得到測試;最后實(shí)施數(shù)據(jù)遷移。

  數(shù)據(jù)遷移后的校驗(yàn)是對(duì)遷移工作的檢查,數(shù)據(jù)校驗(yàn)的結(jié)果是判斷新系統(tǒng)能否正式啟用的重要依據(jù)??梢酝ㄟ^質(zhì)量檢查工具或編寫檢查程序進(jìn)行數(shù)據(jù)校驗(yàn),通過試運(yùn)行新系統(tǒng)的功能模塊,特別是查詢、報(bào)表功能,檢查數(shù)據(jù)的準(zhǔn)確性。

評(píng)論  |   0條評(píng)論