數(shù)據(jù)庫技術(shù)
目錄
1.什么是數(shù)據(jù)庫技術(shù)
數(shù)據(jù)庫技術(shù)是信息系統(tǒng)的一個核心技術(shù)。是一種計算機輔助管理數(shù)據(jù)的方法,它研究如何組織和存儲數(shù)據(jù),如何高效地獲取和處理數(shù)據(jù)。是通過研究數(shù)據(jù)庫的結(jié)構(gòu)、存儲、設(shè)計、管理以及應(yīng)用的基本理論和實現(xiàn)方法,并利用這些理論來實現(xiàn)對數(shù)據(jù)庫中的數(shù)據(jù)進行處理、分析和理解的技術(shù)。即:數(shù)據(jù)庫技術(shù)是研究、管理和應(yīng)用數(shù)據(jù)庫的一門軟件科學(xué)。
數(shù)據(jù)庫技術(shù)是現(xiàn)代信息科學(xué)與技術(shù)的重要組成部分,是計算機數(shù)據(jù)處理與信息管理系統(tǒng)的核心。數(shù)據(jù)庫技術(shù)研究和解決了計算機信息處理過程中大量數(shù)據(jù)有效地組織和存儲的問題,在數(shù)據(jù)庫系統(tǒng)中減少數(shù)據(jù)存儲冗余、實現(xiàn)數(shù)據(jù)共享、保障數(shù)據(jù)安全以及高效地檢索數(shù)據(jù)和處理數(shù)據(jù)。
數(shù)據(jù)庫技術(shù)研究和管理的對象是數(shù)據(jù),所以數(shù)據(jù)庫技術(shù)所涉及的具體內(nèi)容主要包括:通過對數(shù)據(jù)的統(tǒng)一組織和管理,按照指定的結(jié)構(gòu)建立相應(yīng)的數(shù)據(jù)庫和數(shù)據(jù)倉庫;利用數(shù)據(jù)庫管理系統(tǒng)和數(shù)據(jù)挖掘系統(tǒng)設(shè)計出能夠?qū)崿F(xiàn)對數(shù)據(jù)庫中的數(shù)據(jù)進行添加、修改、刪除、處理、分析、理解、報表和打印等多種功能的數(shù)據(jù)管理和數(shù)據(jù)挖掘應(yīng)用系統(tǒng);并利用應(yīng)用管理系統(tǒng)最終實現(xiàn)對數(shù)據(jù)的處理、分析和理解。
2.數(shù)據(jù)庫技術(shù)的背景
數(shù)據(jù)庫技術(shù)產(chǎn)生于20世紀(jì)60年代末70年代初,其主要目的是有效地管理和存取大量的數(shù)據(jù)資源.數(shù)據(jù)庫技術(shù)主要研究如何存儲,使用和管理數(shù)據(jù). 近年來,數(shù)據(jù)庫技術(shù)和計算機網(wǎng)絡(luò)技術(shù)的發(fā)展相互滲透,相互促進,已成為當(dāng)今計算機領(lǐng)域發(fā)展迅速,應(yīng)用廣泛的兩大領(lǐng)域.數(shù)據(jù)庫技術(shù)不僅應(yīng)用于事務(wù)處理,并且進一步應(yīng)用到情報檢索,人工智能,專家系統(tǒng),計算機輔助設(shè)計等領(lǐng)域.
3.數(shù)據(jù)庫的基本概念
數(shù)據(jù)庫技術(shù)涉及到許多基本概念,主要包括:信息,數(shù)據(jù),數(shù)據(jù)處理,數(shù)據(jù)庫,數(shù)據(jù)庫管理系統(tǒng)以及數(shù)據(jù)庫系統(tǒng)等。
數(shù)據(jù)庫技術(shù)是現(xiàn)代信息科學(xué)與技術(shù)的重要組成部分,是計算機數(shù)據(jù)處理與信息管理系統(tǒng)的核心。數(shù)據(jù)庫技術(shù)研究和解決了計算機信息處理過程中大量數(shù)據(jù)有效地組織和存儲的問題,在數(shù)據(jù)庫系統(tǒng)中減少數(shù)據(jù)存儲冗余、實現(xiàn)數(shù)據(jù)共享、保障數(shù)據(jù)安全以及高效地檢索數(shù)據(jù)和處理數(shù)據(jù)。
4.數(shù)據(jù)庫技術(shù)的發(fā)展與應(yīng)用[1]
從20世紀(jì)60年代末期開始到現(xiàn)在,數(shù)據(jù)庫技術(shù)已經(jīng)發(fā)展了30多年。在這30多年的歷程中,人們在數(shù)據(jù)庫技術(shù)的理論研究和系統(tǒng)開發(fā)上都取得了輝煌的成就,而且已經(jīng)開始對新一代數(shù)據(jù)庫系統(tǒng)的深入研究。數(shù)據(jù)庫系統(tǒng)已經(jīng)成為現(xiàn)代計算機系統(tǒng)的重要組成部分。
5.數(shù)據(jù)庫技術(shù)與信息技術(shù)[1]
信息技術(shù)(Information Technology,IT)是當(dāng)今使用頻率最高的名詞之一,它隨著計算機技術(shù)在工業(yè)、農(nóng)業(yè)以及日常生活中的廣泛應(yīng)用,已經(jīng)被越來越多的個人和企業(yè)作為自己趕超世界潮流的標(biāo)志之一。而數(shù)據(jù)庫技術(shù)則是信息技術(shù)中一個重要的支撐。沒有數(shù)據(jù)庫技術(shù),人們在浩瀚的信息世界中將顯得手足無措。
數(shù)據(jù)庫技術(shù)是計算機科學(xué)技術(shù)的一個重要分支。從20世紀(jì)50年代中期開始,計算機應(yīng)用從科學(xué)研究部門擴展到企業(yè)管理及政府行政部門,人們對數(shù)據(jù)處理的要求也越來越高。1968年,世界上誕生了第一個商品化的信息管理系統(tǒng)IMS(Information Management System),從此,數(shù)據(jù)庫技術(shù)得到了迅猛發(fā)展。在互聯(lián)網(wǎng)日益被人們接受的今天,Internet又使數(shù)據(jù)庫技術(shù)、知識、技能的重要性得到了充分的放大?,F(xiàn)在數(shù)據(jù)庫已經(jīng)成為信息管理、辦公自動化、計算機輔助設(shè)計等應(yīng)用的主要軟件工具之一,幫助人們處理各種各樣的信息數(shù)據(jù)。
6.數(shù)據(jù)庫技術(shù)的應(yīng)用及特點[1]
數(shù)據(jù)庫最初是在大公司或大機構(gòu)中用作大規(guī)模事務(wù)處理的基礎(chǔ)。后來隨著個人計算機的普及,數(shù)據(jù)庫技術(shù)被移植到PC機(Personal Computer,個人計算機)上,供單用戶個人數(shù)據(jù)庫應(yīng)用。接著,由于PC機在工作組內(nèi)連成網(wǎng),數(shù)據(jù)庫技術(shù)就移植到工作組級?,F(xiàn)在,數(shù)據(jù)庫正在Internet和內(nèi)聯(lián)網(wǎng)中廣泛使用。
20世紀(jì)60年代中期,數(shù)據(jù)庫技術(shù)是用來解決文件處理系統(tǒng)問題的。當(dāng)時的數(shù)據(jù)庫處理技術(shù)還很脆弱,常常發(fā)生應(yīng)用不能提交的情況。20世紀(jì)70年代關(guān)系模型的誕生為數(shù)據(jù)庫專家提供了構(gòu)造和處理數(shù)據(jù)庫的標(biāo)準(zhǔn)方法,推動了關(guān)系數(shù)據(jù)庫的發(fā)展和應(yīng)用。1979年,Ashton-Tate公司引入了微機產(chǎn)品dBase Ⅱ,并稱之為關(guān)系數(shù)據(jù)庫管理系統(tǒng),從此數(shù)據(jù)庫技術(shù)移植到了個人計算機上。20世紀(jì)80年代中期到后期,終端用戶開始使用局域網(wǎng)技術(shù)將獨立的計算機連接成網(wǎng)絡(luò),終端之間共享數(shù)據(jù)庫,形成了一種新型的多用戶數(shù)據(jù)處理,稱為客戶機/服務(wù)器數(shù)據(jù)庫結(jié)構(gòu)?,F(xiàn)在,數(shù)據(jù)庫技術(shù)正在被用來同Internet技術(shù)相結(jié)合,以便在機構(gòu)內(nèi)聯(lián)網(wǎng)、部門局域網(wǎng)甚至WWW上發(fā)布數(shù)據(jù)庫數(shù)據(jù)。
7.數(shù)據(jù)庫技術(shù)發(fā)展的四個方向[1]
- 規(guī)模會向兩頭發(fā)展—大的越來越大,小的越來越小。所謂大的,指的是企業(yè)級數(shù)據(jù)庫的規(guī)模。10年前,數(shù)據(jù)庫存儲的數(shù)據(jù)大都以GB為基準(zhǔn)衡量,幾十GB就已經(jīng)非常龐大。而現(xiàn)在,只廣東移動每個月新增的數(shù)據(jù)量,就已經(jīng)以TB衡量,不出3年,很多企業(yè)要存儲的數(shù)據(jù)就要達到PB級。數(shù)據(jù)量越來越大,需要更大的數(shù)據(jù)庫做支撐,這就是數(shù)據(jù)庫的發(fā)展方向之一。另一方面,數(shù)據(jù)庫也會越來越小。現(xiàn)在,Sybase的數(shù)據(jù)庫已經(jīng)安裝在高檔的Casio手表中了,這些手表中記錄的有天氣情況、氣壓、佩帶者的血壓、心跳等數(shù)據(jù)。這種數(shù)據(jù)庫并不要求數(shù)據(jù)存儲量大,但是要求在低計算量的情況下反應(yīng)快,而且能夠適應(yīng)外界環(huán)境的變化。
- 存儲方式從行到列的改變。以前數(shù)據(jù)庫都是以行的形式存儲的,理由很簡單,用戶需要的是對單條數(shù)據(jù)的讀取和存儲。而現(xiàn)在,單純的數(shù)據(jù)記錄已經(jīng)不足以支撐企業(yè)發(fā)展了,企業(yè)更需要的是數(shù)據(jù)分析和決策支持。那么,單純看一條記錄沒有任何意義,而是要把所有數(shù)據(jù)的某一項都統(tǒng)計出來進行分析,這就是列的概念。以中國移動為例,上億個用戶,每個月上TB的數(shù)據(jù),哪些是VIP用戶,該如何根據(jù)他們的需求提供專有服務(wù),對于那些動感地帶的用戶,到底應(yīng)該制定哪些優(yōu)惠政策,除了看話費,是不是還能挖掘出他們的消費特點,進行更有針對性的業(yè)務(wù)推廣活動?這些,就不是看一條數(shù)據(jù)的問題,而需要頻繁對列進行操作。我預(yù)計,不出半年,各大數(shù)據(jù)庫廠商都會推出以列為存儲方式的數(shù)據(jù)庫。
- 非結(jié)構(gòu)化數(shù)據(jù)仍然不能納入數(shù)據(jù)庫中。說到這里,可能大家都認(rèn)為我在逆潮流而動,現(xiàn)在很多數(shù)據(jù)庫廠商都可以接受圖像、視頻等非結(jié)構(gòu)化數(shù)據(jù)了,Sybase怎么還要死守著結(jié)構(gòu)化數(shù)據(jù)呢?其實我認(rèn)為,非結(jié)構(gòu)化數(shù)據(jù)要想進入數(shù)據(jù)庫,仍然需要結(jié)構(gòu)化,只是這種結(jié)構(gòu)化的方法各廠商不一樣,而且相比以前有了很大的進步和提高。以前我們圖片的記錄方式是記錄它的文件名,如果文件名中提到了某個人的名字,那么在整個數(shù)據(jù)庫查詢的時候,就可以把這個圖片找到。而這是非常不科學(xué)的,因為很多非結(jié)構(gòu)化數(shù)據(jù)的文件名起的并不可能完全。那么,現(xiàn)在大家把非結(jié)構(gòu)化的數(shù)據(jù)變得結(jié)構(gòu)化,其實就是在用結(jié)構(gòu)化的數(shù)據(jù)描述這張圖片,比如用點和位置來記錄這張圖片的每個像素。而一旦需要做查詢的時候,可以根據(jù)像素的組合記錄來比對,把符合比對要求的數(shù)據(jù)全部篩選出來。這樣就把非結(jié)構(gòu)化數(shù)據(jù)以結(jié)構(gòu)化的方式納入數(shù)據(jù)庫中了,并能接受查詢、檢索等操作。
- 數(shù)據(jù)庫和數(shù)據(jù)倉庫會分開。很多數(shù)據(jù)庫廠商認(rèn)為,數(shù)據(jù)庫一個就行,一專多能,既能用它進行實時交易,也能用它來進行數(shù)據(jù)分析。但是,其實很多用戶現(xiàn)在在前臺需要數(shù)據(jù)庫提供實時交易功能,需要有很快的響應(yīng)速度,而在后臺,則需要設(shè)立一些規(guī)則進行數(shù)據(jù)分析和商務(wù)智能分析。Sybase就認(rèn)為,這兩個數(shù)據(jù)庫應(yīng)該是兩種格式,畢竟它們的功能不一樣。因此,從產(chǎn)品設(shè)置上,Sybase有交易型數(shù)據(jù)庫和分析型數(shù)據(jù)庫兩種。
8.數(shù)據(jù)庫技術(shù)發(fā)展歷史[2]
數(shù)據(jù)模型是數(shù)據(jù)庫技術(shù)的核心和基礎(chǔ),因此,對數(shù)據(jù)庫系統(tǒng)發(fā)展階段的劃分應(yīng)該以數(shù)據(jù)模型的發(fā)展演變作為主要依據(jù)和標(biāo)志。按照數(shù)據(jù)模型的發(fā)展演變過程,數(shù)據(jù)庫技術(shù)從開始到現(xiàn)在短短的30年中,主要經(jīng)歷了三個發(fā)展階段:第一代是網(wǎng)狀和層次數(shù)據(jù)庫系統(tǒng),第二代是關(guān)系數(shù)據(jù)庫系統(tǒng),第三代是以面向?qū)ο髷?shù)據(jù)模型為主要特征的數(shù)據(jù)庫系統(tǒng)。數(shù)據(jù)庫技術(shù)與網(wǎng)絡(luò)通信技術(shù)、人工智能技術(shù)、面向?qū)ο蟪绦蛟O(shè)計技術(shù)、并行計算技術(shù)等相互滲透、有機結(jié)合,成為當(dāng)代數(shù)據(jù)庫技術(shù)發(fā)展的重要特征。
9.數(shù)據(jù)庫技術(shù)發(fā)展的趨勢
下一代數(shù)據(jù)庫技術(shù)的發(fā)展主流
針對關(guān)系數(shù)據(jù)庫技術(shù)現(xiàn)有的局限性 ,理論界現(xiàn)在主要有三種觀點?:
- 面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)將成為下一代數(shù)據(jù)庫技術(shù)發(fā)展的主流
部分學(xué)者認(rèn)為現(xiàn)有的關(guān)系型數(shù)據(jù)庫無法描述現(xiàn)實世界的實體 ,而面向?qū)ο蟮臄?shù)據(jù)模型由于吸收了已經(jīng)成熟的面向?qū)ο蟪绦蛟O(shè)計方法學(xué)的核心概念和基本思想 ,使得它符合人類認(rèn)識世界的一般方法 ,更適合描述現(xiàn)實世界。甚至有人預(yù)言 ,數(shù)據(jù)庫的未來將是面向?qū)ο蟮臅r代。
- 面向?qū)ο蟮年P(guān)系數(shù)據(jù)庫技術(shù)
關(guān)系數(shù)據(jù)庫幾乎是當(dāng)前數(shù)據(jù)庫系統(tǒng)的標(biāo)準(zhǔn) ,關(guān)系語言與常規(guī)語言一起幾乎可完成任意的數(shù)據(jù)庫操作 ,但其簡潔的建模能力、有限的數(shù)據(jù)類型、程序設(shè)計中數(shù)據(jù)結(jié)構(gòu)的制約等卻成為關(guān)系型數(shù)據(jù)庫發(fā)揮作用的瓶頸。程序設(shè)計語言 ,它本身就是以現(xiàn)實世界的實體對象為基本元素來描述復(fù)雜的客觀世界 ,但功能不如數(shù)據(jù)庫靈活。因此部分學(xué)者認(rèn)為將面向?qū)ο蟮慕D芰完P(guān)系數(shù)據(jù)庫的功能進行有機結(jié)合而進行研究是數(shù)據(jù)庫技術(shù)的一個發(fā)展方向。
- 面向?qū)ο髷?shù)據(jù)庫技術(shù)
面向?qū)ο髷?shù)據(jù)庫的優(yōu)點是能夠表示復(fù)雜的數(shù)據(jù)模型 ,但由于沒有統(tǒng)一的數(shù)據(jù)模式和形式化理論 ,因此缺少嚴(yán)格的數(shù)據(jù)邏輯基礎(chǔ)。而演繹數(shù)據(jù)庫雖有堅強的數(shù)學(xué)邏輯基礎(chǔ)。
但只能處理平面數(shù)據(jù)類型。因此 ,部分學(xué)者將兩者結(jié)合 ,提出了一種新的數(shù)據(jù)庫技術(shù)——演繹面向?qū)ο髷?shù)據(jù)庫 ,并指出這一技術(shù)有可能成為下一代數(shù)據(jù)庫技術(shù)發(fā)展的主流。
數(shù)據(jù)庫技術(shù)發(fā)展的新方向
非結(jié)構(gòu)化數(shù)據(jù)庫是部分研究者針對關(guān)系數(shù)據(jù)庫模型過于簡單 ,不便表達復(fù)雜的嵌套需要以及支持?jǐn)?shù)據(jù)類型有限等局限 ,從數(shù)據(jù)模型入手而提出的全面基于因特網(wǎng)應(yīng)用的新型數(shù)據(jù)庫理論。他們認(rèn)為這種數(shù)據(jù)庫的最大區(qū)別就在于它突破了關(guān)系數(shù)據(jù)庫結(jié)構(gòu)定義不易改變和數(shù)據(jù)定長的限制 ,支持重復(fù)字段、子字段以及變長字段并實現(xiàn)了對變長數(shù)據(jù)和重復(fù)字段進行處理和數(shù)據(jù)項的變長存儲管理 ,在處理連續(xù)信息 (包括全文信息 )和非結(jié)構(gòu)信息 (重復(fù)數(shù)據(jù)和變長數(shù)據(jù) )中有著傳統(tǒng)關(guān)系型數(shù)據(jù)庫所無法比擬的優(yōu)勢。但研究者認(rèn)為此種數(shù)據(jù)庫技術(shù)并不會完全取代現(xiàn)在流行的關(guān)系數(shù)據(jù)庫 ,而是它們的有益的補充。
數(shù)據(jù)庫技術(shù)發(fā)展的又一趨勢
有學(xué)者指出?:數(shù)據(jù)庫與學(xué)科技術(shù)的結(jié)合將會建立一系列新數(shù)據(jù)庫 ,如分布式數(shù)據(jù)庫、并行數(shù)據(jù)庫、知識庫、多媒體數(shù)據(jù)庫等 ,這將是數(shù)據(jù)庫技術(shù)重要的發(fā)展方向。其中 ,許多研究者都對多媒體數(shù)據(jù)庫作為研究的重點 ,并認(rèn)為多媒體技術(shù)和可視化技術(shù)引入多媒體數(shù)據(jù)庫將是未來數(shù)據(jù)庫技術(shù)發(fā)展的熱點和難點。
- 未來數(shù)據(jù)庫技術(shù)及市場發(fā)展的兩大方向
部分學(xué)者在對各個數(shù)據(jù)庫廠商的發(fā)展方向和應(yīng)用需求的不斷擴展的現(xiàn)狀進行分析的基礎(chǔ)上 ,提出數(shù)據(jù)庫技術(shù)及市場在向數(shù)據(jù)倉庫和電子商務(wù)兩個方向不斷發(fā)展的觀點。他們指出?:從去年開始 ,許多行業(yè)如電信、金融、稅務(wù)等逐步認(rèn)識到數(shù)據(jù)倉庫技術(shù)對于企業(yè)宏觀發(fā)展所帶來的巨大經(jīng)濟效益 ,紛紛建立起數(shù)據(jù)倉庫系統(tǒng)。在我國提供大型數(shù)據(jù)倉庫解決方案的廠商主要有Oracle、IBM、Sybase、CA及Informix等廠商 ,已經(jīng)建設(shè)成功并已收回投資的項目主要有招商銀行系統(tǒng)和國信證券系統(tǒng)等。目前 ,國內(nèi)外學(xué)者對數(shù)據(jù)倉庫的研究正在繼續(xù)深入。與此同時 ,一些學(xué)者將數(shù)據(jù)庫技術(shù)及市場發(fā)展的視角瞄準(zhǔn)電子商務(wù)領(lǐng)域 ,他們認(rèn)為?:現(xiàn)在的信息系統(tǒng)逐漸要求按照以客戶為中心的方式建立應(yīng)用框架 ,因此勢必要求數(shù)據(jù)庫應(yīng)用更加廣泛地接觸客戶 ,而Internet給了我們一個非常便捷的連接途徑 ,通過Internet我們可以實現(xiàn)所謂的One One Marketing和One One business,進而實現(xiàn)E business。因此 ,電子商務(wù)將成為未來數(shù)據(jù)庫技術(shù)發(fā)展的另一方向。
- 面向?qū)iT應(yīng)用領(lǐng)域的數(shù)據(jù)庫技術(shù)
許多研究者從實踐的角度對數(shù)據(jù)庫技術(shù)進行研究 ,提出了適合應(yīng)用領(lǐng)域的數(shù)據(jù)庫技術(shù)如工程數(shù)據(jù)庫、統(tǒng)計數(shù)據(jù)庫、科學(xué)數(shù)據(jù)庫、空間數(shù)據(jù)庫、地理數(shù)據(jù)庫等。這類數(shù)據(jù)庫在原理上也沒有多大的變化 ,但是它們卻與一定的應(yīng)用相結(jié)合 ,從而加強了系統(tǒng)對有關(guān)應(yīng)用的支撐能力 ,尤其表現(xiàn)在數(shù)據(jù)模型、語言、查詢方面。部分研究者認(rèn)為 ,隨著研究工作的繼續(xù)深和數(shù)據(jù)庫技術(shù)在實踐工作中的應(yīng)用 ,數(shù)據(jù)庫技術(shù)將會更多朝著專門應(yīng)用領(lǐng)域發(fā)展。