網(wǎng)格計(jì)算
目錄
1.什么是網(wǎng)格計(jì)算
網(wǎng)格計(jì)算是伴隨著互聯(lián)網(wǎng)而迅速發(fā)展起來(lái)的,專門針對(duì)復(fù)雜科學(xué)計(jì)算的新型計(jì)算模式。這種計(jì)算模式是利用互聯(lián)網(wǎng)把分散在不同地理位置的電腦組織成一個(gè)“虛擬的超級(jí)計(jì)算機(jī)”,其中每一臺(tái)參與計(jì)算的計(jì)算機(jī)就是一個(gè)“節(jié)點(diǎn)”,而整個(gè)計(jì)算是由成千上萬(wàn)個(gè)“節(jié)點(diǎn)”組成的“一張網(wǎng)格”,所以這種計(jì)算方式叫網(wǎng)格計(jì)算。這樣組織起來(lái)的“虛擬的超級(jí)計(jì)算機(jī)”有兩個(gè)優(yōu)勢(shì),一個(gè)是數(shù)據(jù)處理能力超強(qiáng);另一個(gè)是能充分利用網(wǎng)上的閑置處理能力?! ?
實(shí)際上,網(wǎng)格計(jì)算是分布式計(jì)算(Distributed Computing)的一種,如果我們說(shuō)某項(xiàng)工作是分布式的,那么,參與這項(xiàng)工作的一定不只是一臺(tái)計(jì)算機(jī),而是一個(gè)計(jì)算機(jī)網(wǎng)絡(luò),顯然這種“螞蟻搬山”的方式將具有很強(qiáng)的數(shù)據(jù)處理能力?! ?
充分利用網(wǎng)上的閑置處理能力則是網(wǎng)格計(jì)算的有一個(gè)優(yōu)勢(shì),網(wǎng)格計(jì)算模式首先把要計(jì)算的數(shù)據(jù)分割成若干“小片”,而計(jì)算這些“小片”的軟件通常是一個(gè)預(yù)先編制好的屏幕保護(hù)程序,然后不同節(jié)點(diǎn)的計(jì)算機(jī)可以根據(jù)自己的處理能力下載一個(gè)或多個(gè)數(shù)據(jù)片斷和這個(gè)屏幕保護(hù)程序。于是“演出開始了”,只要,節(jié)點(diǎn)的計(jì)算機(jī)的用戶不使用計(jì)算機(jī)時(shí),屏保程序就會(huì)工作,這樣這臺(tái)計(jì)算機(jī)的閑置計(jì)算能力就被充分地調(diào)動(dòng)起來(lái)了。
2.網(wǎng)格計(jì)算的起源
網(wǎng)格計(jì)算的起源是由于單臺(tái)高性能計(jì)算機(jī)已經(jīng)不能勝任一些超大規(guī)模應(yīng)用問(wèn)題的解決。于是,人們想象分布在世界各地的超級(jí)計(jì)算機(jī)的計(jì)算能力能否通過(guò)利用廣域互連技術(shù)使其像電力資源那樣輸送到每一用戶,來(lái)求解一些大規(guī)??茖W(xué)與工程計(jì)算等問(wèn)題,從而形成了計(jì)算網(wǎng)格(又稱網(wǎng)格計(jì)算系統(tǒng))。網(wǎng)格計(jì)算是作為虛擬的整體而使用在地理上分散的異構(gòu)計(jì)算資源,這些資源包括高速互連的異構(gòu)計(jì)算機(jī)、數(shù)據(jù)庫(kù)、科學(xué)儀器、文件和超級(jí)計(jì)算系統(tǒng)等。使用計(jì)算網(wǎng)格,一方面能使人們聚集分散的計(jì)算能力,形成超級(jí)計(jì)算的能力,解決諸如虛擬核爆炸、新藥研制、氣象預(yù)報(bào)和環(huán)境等重大科學(xué)研究和技術(shù)應(yīng)用領(lǐng)域的問(wèn)題,另一方面能使人們共享廣域網(wǎng)絡(luò)中的異構(gòu)資源,使各種資源得以充分利用。
網(wǎng)格計(jì)算系統(tǒng)主要包括網(wǎng)格結(jié)點(diǎn)、網(wǎng)格系統(tǒng)軟件、網(wǎng)格應(yīng)用。網(wǎng)格結(jié)點(diǎn)是地理上獨(dú)立的計(jì)算和信息中心。網(wǎng)格系統(tǒng)軟件起著關(guān)鍵的作用,統(tǒng)一管理計(jì)算網(wǎng)格,將各個(gè)結(jié)點(diǎn)集成起來(lái),組成一個(gè)虛擬協(xié)同高性能計(jì)算環(huán)境,向社會(huì)大眾和各領(lǐng)域的科研機(jī)構(gòu)統(tǒng)一提供高性能計(jì)算和海量信息處理服務(wù)。網(wǎng)格應(yīng)用是以生物、氣象、能源、石油、水利等行業(yè)的重大應(yīng)用為背景建立的應(yīng)用。網(wǎng)格計(jì)算系統(tǒng)具有資源分布性、管理多重性、動(dòng)態(tài)多樣性、結(jié)構(gòu)可擴(kuò)展性等特點(diǎn),其結(jié)點(diǎn)及各種資源分布于不同的地方,隸屬于不同的所有者,多層管理,為了完成特定的工作,各種各樣的異構(gòu)資源可動(dòng)態(tài)組合,規(guī)??刹粩嗉哟?。
3.網(wǎng)格計(jì)算功能
第一,網(wǎng)格的互聯(lián)網(wǎng)絡(luò)比Internet具有更大的帶寬。歐美的網(wǎng)格計(jì)劃都會(huì)使用更高速度的主干網(wǎng);
第二,網(wǎng)格上將有更多高性能計(jì)算機(jī)作為節(jié)點(diǎn),因此網(wǎng)格的計(jì)算速度、數(shù)據(jù)處理速度可以大幅度提高。
第三,網(wǎng)格的體系結(jié)構(gòu)將比Internet更能有效地利用這些資源。
第四,網(wǎng)格將促進(jìn)更多、更大的網(wǎng)絡(luò)區(qū)域的出現(xiàn)。這些相互聯(lián)結(jié)的區(qū)域最終成為一個(gè)龐大的網(wǎng)格區(qū)域,把我們地球上所有計(jì)算機(jī)聯(lián)為一體。
4.網(wǎng)格計(jì)算的應(yīng)用
(1)網(wǎng)格計(jì)算在科研領(lǐng)域的應(yīng)用
在科學(xué)研究領(lǐng)域,網(wǎng)格技術(shù)可以輔助科學(xué)家完成重大領(lǐng)域的科學(xué)研究。網(wǎng)格計(jì)算技術(shù)除具備超級(jí)計(jì)算能力以外,還將不同地域的資源整合在一起,使科學(xué)工作者能夠緊密合作,充分利用共享的資源(如大型的昂貴的儀器設(shè)備等)。網(wǎng)格計(jì)算技術(shù)在美國(guó),首先是在生命科學(xué)領(lǐng)域,正在成為現(xiàn)實(shí)。在物理學(xué)研究方面,德國(guó)Max Planck引力物理研究所與德國(guó)和美國(guó)多個(gè)機(jī)構(gòu)合作,利用網(wǎng)格的超級(jí)計(jì)算能力,共同完成了模擬黑洞的項(xiàng)目。
(2)網(wǎng)格計(jì)算在企業(yè)及居民日常生活中的應(yīng)用
網(wǎng)格計(jì)算的商業(yè)應(yīng)用前景廣闊.網(wǎng)格計(jì)算環(huán)境能夠提高或拓展企業(yè)內(nèi)所有計(jì)算資源的效率和利用率,通過(guò)對(duì)這些資源進(jìn)行共享、有效優(yōu)化和整體管理,使各企業(yè)解決以前難以處理的問(wèn)題,最有效地使用他們的系統(tǒng),滿足客戶要求并降低他們計(jì)算機(jī)資源的擁有和管理總成本.網(wǎng)格計(jì)算支持所有行業(yè)的電子商務(wù)應(yīng)用。例如,飛機(jī)和汽車等復(fù)雜產(chǎn)品的生產(chǎn)要求對(duì)產(chǎn)品設(shè)計(jì)、產(chǎn)品組裝和產(chǎn)品生命周期管理進(jìn)行計(jì)算密集型模擬.中國(guó)國(guó)家計(jì)算網(wǎng)格簡(jiǎn)稱織女星網(wǎng)格(VegaGrid),該項(xiàng)目前取得的一些研究成果已經(jīng)開始應(yīng)用到如稅務(wù)這樣的重要行業(yè)。
5.網(wǎng)格計(jì)算與云計(jì)算的異同
云計(jì)算是一種寬泛的概念,它允許用戶通過(guò)互聯(lián)網(wǎng)訪問(wèn)各種基于IT資源的服務(wù),這種服務(wù)允許用戶不一定了解底層IT基礎(chǔ)設(shè)施架構(gòu)就能夠享受到作為服務(wù)的“IT相關(guān)資源”。無(wú)論是網(wǎng)格還是云計(jì)算都試圖將各種IT資源看成一個(gè)虛擬的資源池,然后向外提供相應(yīng)的服務(wù)。云計(jì)算試圖讓“用戶透明地使用資源”,而網(wǎng)格計(jì)算當(dāng)初的口號(hào)就是讓“使用IT資源像用水用電一樣簡(jiǎn)單”。
網(wǎng)格的內(nèi)涵主要有兩個(gè)方面,在效用計(jì)算或隨需計(jì)算方面與云計(jì)算很相似,即通過(guò)一個(gè)資源池或者分布式的計(jì)算資源提供在線計(jì)算及存儲(chǔ)等服務(wù);另一方面就是所謂的“虛擬超級(jí)計(jì)算機(jī)”,以松耦合的方式將大量的計(jì)算資源連接在一起提供單個(gè)計(jì)算資源所無(wú)法完成的超級(jí)計(jì)算能力,這也是狹義上的網(wǎng)格計(jì)算跟云計(jì)算概念上的差別:
1)網(wǎng)格計(jì)算主要是聚合分布資源,支持虛擬組織,滿足高端服務(wù)。例如生物網(wǎng)格、地理空間信息網(wǎng)格、國(guó)家教育網(wǎng)格等以及分布協(xié)同科研。它通過(guò)互聯(lián)網(wǎng)將所有計(jì)算資源集合在一起,形成一個(gè)計(jì)算池。而后利用任務(wù)調(diào)度技術(shù)和特定的網(wǎng)格軟件,將用戶提交的任務(wù)分解開,形成許多個(gè)相互之間相對(duì)獨(dú)立的子任務(wù),由網(wǎng)格系統(tǒng)將這些子任務(wù)分配到各個(gè)計(jì)算節(jié)點(diǎn),進(jìn)行解析處理或完成計(jì)算,再提交回網(wǎng)格系統(tǒng),經(jīng)過(guò)整合完成計(jì)算目標(biāo),滿足用戶需求。云計(jì)算的資源相對(duì)集中,主要是以數(shù)據(jù)中心的形式提供底層資源服務(wù)。它通過(guò)虛擬技術(shù)形成獨(dú)立的云,云是由許多資源構(gòu)成的龐大計(jì)算池。但云計(jì)算提出的某些資源是針對(duì)某項(xiàng)特定的任務(wù),即接收到用戶提出的任務(wù)后,利用“云”來(lái)完成計(jì)算,然后返給用戶計(jì)算目標(biāo),從而滿足用戶需求。從用戶的角度感覺(jué)網(wǎng)格與云計(jì)算的區(qū)別不大,但在后臺(tái)計(jì)算方式上存在不同。
2)網(wǎng)格計(jì)算強(qiáng)調(diào)資源共享,誰(shuí)都可以做為請(qǐng)求者使用其它節(jié)點(diǎn)的資源,但也需要貢獻(xiàn)一定資源給其他節(jié)點(diǎn)。網(wǎng)格計(jì)算強(qiáng)調(diào)將工作量轉(zhuǎn)移到遠(yuǎn)程的可用計(jì)算資源上。云計(jì)算強(qiáng)調(diào)專有,誰(shuí)都可以獲取自己的專有資源,并且這些資源是由少數(shù)團(tuán)體提供的,使用者不需要貢獻(xiàn)自己的資源。在云計(jì)算中,計(jì)算資源被轉(zhuǎn)換形式去適應(yīng)工作負(fù)載,它支持網(wǎng)格類型應(yīng)用,也支持非網(wǎng)格環(huán)境,例如運(yùn)行或應(yīng)用傳統(tǒng)的web2.0三層網(wǎng)絡(luò)架構(gòu)。網(wǎng)格計(jì)算側(cè)重并行的計(jì)算集中性需求,難以自動(dòng)擴(kuò)展。云計(jì)算側(cè)重事務(wù)性應(yīng)用,大量的單獨(dú)請(qǐng)求可以實(shí)現(xiàn)自動(dòng)或半自動(dòng)的擴(kuò)展。
3)網(wǎng)格計(jì)算的服務(wù)形式是執(zhí)行作業(yè),當(dāng)接收到網(wǎng)格高性能調(diào)度系統(tǒng)分配給的任務(wù)后,在一個(gè)階段內(nèi)完成作業(yè),產(chǎn)生數(shù)據(jù)返給用戶;而云計(jì)算支持持久服務(wù),用戶可以利用云計(jì)算作為部分lT基礎(chǔ)設(shè)施,實(shí)現(xiàn)業(yè)務(wù)的托管或外包。
4)網(wǎng)格與云計(jì)算對(duì)異構(gòu)問(wèn)題的處理,基本理念不同。網(wǎng)格系統(tǒng)中是利用中間件屏蔽異構(gòu)系統(tǒng),希望用戶面對(duì)的是同構(gòu)環(huán)境,而云計(jì)算系統(tǒng)面對(duì)異構(gòu)問(wèn)題為用戶提供服務(wù)機(jī)制,或是用專用內(nèi)部平臺(tái)(如google),或用鏡像執(zhí)行來(lái)解決異構(gòu)問(wèn)題。
5)網(wǎng)格主要是滿足高端應(yīng)用,近年來(lái)才逐漸強(qiáng)調(diào)普及應(yīng)用。而云計(jì)算從開始就支持廣泛的企業(yè)應(yīng)用、web應(yīng)用,普適性更強(qiáng)。與更多面向科研等高端應(yīng)用的網(wǎng)格相比,云計(jì)算面向商業(yè)、企業(yè)應(yīng)用,其商業(yè)模式更加清晰。
6)云計(jì)算以相對(duì)集中的資源運(yùn)行分散的應(yīng)用(大量的分散應(yīng)用在幾個(gè)大的中心執(zhí)行),它通過(guò)虛擬化將物理機(jī)的資源進(jìn)行切割,從而實(shí)現(xiàn)資源的隨需分配和自動(dòng)增長(zhǎng)。從控制端來(lái)看,云計(jì)算將所有的IT資源看成是一個(gè)資源池,但是不同芯片的物理機(jī)會(huì)被歸類到不同的資源池中。網(wǎng)格計(jì)算是聚合分散資源支持大型集中式應(yīng)用(一個(gè)大的應(yīng)用分到多處執(zhí)行)。提交任務(wù)的用戶并不知道自己的任務(wù)將會(huì)在哪些網(wǎng)格的物理節(jié)點(diǎn)上運(yùn)行,他是按照特定的格式,將作業(yè)任務(wù)提交給網(wǎng)格系統(tǒng),然后等待網(wǎng)格返回結(jié)果。而網(wǎng)格作業(yè)調(diào)度系統(tǒng)自動(dòng)找尋與該任務(wù)相匹配的資源,并尋找出空閑的物理節(jié)點(diǎn),將任務(wù)分配過(guò)去直至完成。雖然網(wǎng)格能夠?qū)崿F(xiàn)跨物理機(jī)進(jìn)行并行作業(yè)處理,但需要用戶先將并行算法寫好,并且通過(guò)調(diào)度系統(tǒng)將作業(yè)分解到各個(gè)不同的物理節(jié)點(diǎn)進(jìn)行。
盡管如此,網(wǎng)格計(jì)算與云計(jì)算的確有很多相似之處,可以認(rèn)為兩者都是分布式計(jì)算所衍生出來(lái)的概念,都是為了讓IT資源能夠?qū)τ脩敉该?,都力?zhēng)讓IT資源能夠達(dá)到更好的使用率等。最近,劉鵬提出了新的設(shè)想:云計(jì)算將與網(wǎng)格計(jì)算融為一體,實(shí)現(xiàn)云計(jì)算平臺(tái)之間的互操作和資源共享,實(shí)現(xiàn)緊耦合高性能科學(xué)計(jì)算與松耦合高吞吐量商業(yè)計(jì)算的融合,使互聯(lián)網(wǎng)上的主要計(jì)算設(shè)施融為一個(gè)有機(jī)整體— —并將其稱之為云格(Gloud,即Grid+Cloud)。