網(wǎng)格計算
1.什么是網(wǎng)格計算
網(wǎng)格計算是伴隨著互聯(lián)網(wǎng)而迅速發(fā)展起來的,專門針對復(fù)雜科學(xué)計算的新型計算模式。這種計算模式是利用互聯(lián)網(wǎng)把分散在不同地理位置的電腦組織成一個“虛擬的超級計算機”,其中每一臺參與計算的計算機就是一個“節(jié)點”,而整個計算是由成千上萬個“節(jié)點”組成的“一張網(wǎng)格”,所以這種計算方式叫網(wǎng)格計算。這樣組織起來的“虛擬的超級計算機”有兩個優(yōu)勢,一個是數(shù)據(jù)處理能力超強;另一個是能充分利用網(wǎng)上的閑置處理能力?! ?
實際上,網(wǎng)格計算是分布式計算(Distributed Computing)的一種,如果我們說某項工作是分布式的,那么,參與這項工作的一定不只是一臺計算機,而是一個計算機網(wǎng)絡(luò),顯然這種“螞蟻搬山”的方式將具有很強的數(shù)據(jù)處理能力。
充分利用網(wǎng)上的閑置處理能力則是網(wǎng)格計算的有一個優(yōu)勢,網(wǎng)格計算模式首先把要計算的數(shù)據(jù)分割成若干“小片”,而計算這些“小片”的軟件通常是一個預(yù)先編制好的屏幕保護程序,然后不同節(jié)點的計算機可以根據(jù)自己的處理能力下載一個或多個數(shù)據(jù)片斷和這個屏幕保護程序。于是“演出開始了”,只要,節(jié)點的計算機的用戶不使用計算機時,屏保程序就會工作,這樣這臺計算機的閑置計算能力就被充分地調(diào)動起來了。
2.網(wǎng)格計算的起源
網(wǎng)格計算的起源是由于單臺高性能計算機已經(jīng)不能勝任一些超大規(guī)模應(yīng)用問題的解決。于是,人們想象分布在世界各地的超級計算機的計算能力能否通過利用廣域互連技術(shù)使其像電力資源那樣輸送到每一用戶,來求解一些大規(guī)模科學(xué)與工程計算等問題,從而形成了計算網(wǎng)格(又稱網(wǎng)格計算系統(tǒng))。網(wǎng)格計算是作為虛擬的整體而使用在地理上分散的異構(gòu)計算資源,這些資源包括高速互連的異構(gòu)計算機、數(shù)據(jù)庫、科學(xué)儀器、文件和超級計算系統(tǒng)等。使用計算網(wǎng)格,一方面能使人們聚集分散的計算能力,形成超級計算的能力,解決諸如虛擬核爆炸、新藥研制、氣象預(yù)報和環(huán)境等重大科學(xué)研究和技術(shù)應(yīng)用領(lǐng)域的問題,另一方面能使人們共享廣域網(wǎng)絡(luò)中的異構(gòu)資源,使各種資源得以充分利用。
網(wǎng)格計算系統(tǒng)主要包括網(wǎng)格結(jié)點、網(wǎng)格系統(tǒng)軟件、網(wǎng)格應(yīng)用。網(wǎng)格結(jié)點是地理上獨立的計算和信息中心。網(wǎng)格系統(tǒng)軟件起著關(guān)鍵的作用,統(tǒng)一管理計算網(wǎng)格,將各個結(jié)點集成起來,組成一個虛擬協(xié)同高性能計算環(huán)境,向社會大眾和各領(lǐng)域的科研機構(gòu)統(tǒng)一提供高性能計算和海量信息處理服務(wù)。網(wǎng)格應(yīng)用是以生物、氣象、能源、石油、水利等行業(yè)的重大應(yīng)用為背景建立的應(yīng)用。網(wǎng)格計算系統(tǒng)具有資源分布性、管理多重性、動態(tài)多樣性、結(jié)構(gòu)可擴展性等特點,其結(jié)點及各種資源分布于不同的地方,隸屬于不同的所有者,多層管理,為了完成特定的工作,各種各樣的異構(gòu)資源可動態(tài)組合,規(guī)??刹粩嗉哟?。
3.網(wǎng)格計算功能
第一,網(wǎng)格的互聯(lián)網(wǎng)絡(luò)比Internet具有更大的帶寬。歐美的網(wǎng)格計劃都會使用更高速度的主干網(wǎng);
第二,網(wǎng)格上將有更多高性能計算機作為節(jié)點,因此網(wǎng)格的計算速度、數(shù)據(jù)處理速度可以大幅度提高。
第三,網(wǎng)格的體系結(jié)構(gòu)將比Internet更能有效地利用這些資源。
第四,網(wǎng)格將促進更多、更大的網(wǎng)絡(luò)區(qū)域的出現(xiàn)。這些相互聯(lián)結(jié)的區(qū)域最終成為一個龐大的網(wǎng)格區(qū)域,把我們地球上所有計算機聯(lián)為一體。
4.網(wǎng)格計算的應(yīng)用
(1)網(wǎng)格計算在科研領(lǐng)域的應(yīng)用
在科學(xué)研究領(lǐng)域,網(wǎng)格技術(shù)可以輔助科學(xué)家完成重大領(lǐng)域的科學(xué)研究。網(wǎng)格計算技術(shù)除具備超級計算能力以外,還將不同地域的資源整合在一起,使科學(xué)工作者能夠緊密合作,充分利用共享的資源(如大型的昂貴的儀器設(shè)備等)。網(wǎng)格計算技術(shù)在美國,首先是在生命科學(xué)領(lǐng)域,正在成為現(xiàn)實。在物理學(xué)研究方面,德國Max Planck引力物理研究所與德國和美國多個機構(gòu)合作,利用網(wǎng)格的超級計算能力,共同完成了模擬黑洞的項目。
(2)網(wǎng)格計算在企業(yè)及居民日常生活中的應(yīng)用
網(wǎng)格計算的商業(yè)應(yīng)用前景廣闊.網(wǎng)格計算環(huán)境能夠提高或拓展企業(yè)內(nèi)所有計算資源的效率和利用率,通過對這些資源進行共享、有效優(yōu)化和整體管理,使各企業(yè)解決以前難以處理的問題,最有效地使用他們的系統(tǒng),滿足客戶要求并降低他們計算機資源的擁有和管理總成本.網(wǎng)格計算支持所有行業(yè)的電子商務(wù)應(yīng)用。例如,飛機和汽車等復(fù)雜產(chǎn)品的生產(chǎn)要求對產(chǎn)品設(shè)計、產(chǎn)品組裝和產(chǎn)品生命周期管理進行計算密集型模擬.中國國家計算網(wǎng)格簡稱織女星網(wǎng)格(VegaGrid),該項目前取得的一些研究成果已經(jīng)開始應(yīng)用到如稅務(wù)這樣的重要行業(yè)。
5.網(wǎng)格計算與云計算的異同
云計算是一種寬泛的概念,它允許用戶通過互聯(lián)網(wǎng)訪問各種基于IT資源的服務(wù),這種服務(wù)允許用戶不一定了解底層IT基礎(chǔ)設(shè)施架構(gòu)就能夠享受到作為服務(wù)的“IT相關(guān)資源”。無論是網(wǎng)格還是云計算都試圖將各種IT資源看成一個虛擬的資源池,然后向外提供相應(yīng)的服務(wù)。云計算試圖讓“用戶透明地使用資源”,而網(wǎng)格計算當(dāng)初的口號就是讓“使用IT資源像用水用電一樣簡單”。
網(wǎng)格的內(nèi)涵主要有兩個方面,在效用計算或隨需計算方面與云計算很相似,即通過一個資源池或者分布式的計算資源提供在線計算及存儲等服務(wù);另一方面就是所謂的“虛擬超級計算機”,以松耦合的方式將大量的計算資源連接在一起提供單個計算資源所無法完成的超級計算能力,這也是狹義上的網(wǎng)格計算跟云計算概念上的差別:
1)網(wǎng)格計算主要是聚合分布資源,支持虛擬組織,滿足高端服務(wù)。例如生物網(wǎng)格、地理空間信息網(wǎng)格、國家教育網(wǎng)格等以及分布協(xié)同科研。它通過互聯(lián)網(wǎng)將所有計算資源集合在一起,形成一個計算池。而后利用任務(wù)調(diào)度技術(shù)和特定的網(wǎng)格軟件,將用戶提交的任務(wù)分解開,形成許多個相互之間相對獨立的子任務(wù),由網(wǎng)格系統(tǒng)將這些子任務(wù)分配到各個計算節(jié)點,進行解析處理或完成計算,再提交回網(wǎng)格系統(tǒng),經(jīng)過整合完成計算目標(biāo),滿足用戶需求。云計算的資源相對集中,主要是以數(shù)據(jù)中心的形式提供底層資源服務(wù)。它通過虛擬技術(shù)形成獨立的云,云是由許多資源構(gòu)成的龐大計算池。但云計算提出的某些資源是針對某項特定的任務(wù),即接收到用戶提出的任務(wù)后,利用“云”來完成計算,然后返給用戶計算目標(biāo),從而滿足用戶需求。從用戶的角度感覺網(wǎng)格與云計算的區(qū)別不大,但在后臺計算方式上存在不同。
2)網(wǎng)格計算強調(diào)資源共享,誰都可以做為請求者使用其它節(jié)點的資源,但也需要貢獻一定資源給其他節(jié)點。網(wǎng)格計算強調(diào)將工作量轉(zhuǎn)移到遠程的可用計算資源上。云計算強調(diào)專有,誰都可以獲取自己的專有資源,并且這些資源是由少數(shù)團體提供的,使用者不需要貢獻自己的資源。在云計算中,計算資源被轉(zhuǎn)換形式去適應(yīng)工作負載,它支持網(wǎng)格類型應(yīng)用,也支持非網(wǎng)格環(huán)境,例如運行或應(yīng)用傳統(tǒng)的web2.0三層網(wǎng)絡(luò)架構(gòu)。網(wǎng)格計算側(cè)重并行的計算集中性需求,難以自動擴展。云計算側(cè)重事務(wù)性應(yīng)用,大量的單獨請求可以實現(xiàn)自動或半自動的擴展。
3)網(wǎng)格計算的服務(wù)形式是執(zhí)行作業(yè),當(dāng)接收到網(wǎng)格高性能調(diào)度系統(tǒng)分配給的任務(wù)后,在一個階段內(nèi)完成作業(yè),產(chǎn)生數(shù)據(jù)返給用戶;而云計算支持持久服務(wù),用戶可以利用云計算作為部分lT基礎(chǔ)設(shè)施,實現(xiàn)業(yè)務(wù)的托管或外包。
4)網(wǎng)格與云計算對異構(gòu)問題的處理,基本理念不同。網(wǎng)格系統(tǒng)中是利用中間件屏蔽異構(gòu)系統(tǒng),希望用戶面對的是同構(gòu)環(huán)境,而云計算系統(tǒng)面對異構(gòu)問題為用戶提供服務(wù)機制,或是用專用內(nèi)部平臺(如google),或用鏡像執(zhí)行來解決異構(gòu)問題。
5)網(wǎng)格主要是滿足高端應(yīng)用,近年來才逐漸強調(diào)普及應(yīng)用。而云計算從開始就支持廣泛的企業(yè)應(yīng)用、web應(yīng)用,普適性更強。與更多面向科研等高端應(yīng)用的網(wǎng)格相比,云計算面向商業(yè)、企業(yè)應(yīng)用,其商業(yè)模式更加清晰。
6)云計算以相對集中的資源運行分散的應(yīng)用(大量的分散應(yīng)用在幾個大的中心執(zhí)行),它通過虛擬化將物理機的資源進行切割,從而實現(xiàn)資源的隨需分配和自動增長。從控制端來看,云計算將所有的IT資源看成是一個資源池,但是不同芯片的物理機會被歸類到不同的資源池中。網(wǎng)格計算是聚合分散資源支持大型集中式應(yīng)用(一個大的應(yīng)用分到多處執(zhí)行)。提交任務(wù)的用戶并不知道自己的任務(wù)將會在哪些網(wǎng)格的物理節(jié)點上運行,他是按照特定的格式,將作業(yè)任務(wù)提交給網(wǎng)格系統(tǒng),然后等待網(wǎng)格返回結(jié)果。而網(wǎng)格作業(yè)調(diào)度系統(tǒng)自動找尋與該任務(wù)相匹配的資源,并尋找出空閑的物理節(jié)點,將任務(wù)分配過去直至完成。雖然網(wǎng)格能夠?qū)崿F(xiàn)跨物理機進行并行作業(yè)處理,但需要用戶先將并行算法寫好,并且通過調(diào)度系統(tǒng)將作業(yè)分解到各個不同的物理節(jié)點進行。
盡管如此,網(wǎng)格計算與云計算的確有很多相似之處,可以認為兩者都是分布式計算所衍生出來的概念,都是為了讓IT資源能夠?qū)τ脩敉该?,都力爭讓IT資源能夠達到更好的使用率等。最近,劉鵬提出了新的設(shè)想:云計算將與網(wǎng)格計算融為一體,實現(xiàn)云計算平臺之間的互操作和資源共享,實現(xiàn)緊耦合高性能科學(xué)計算與松耦合高吞吐量商業(yè)計算的融合,使互聯(lián)網(wǎng)上的主要計算設(shè)施融為一個有機整體— —并將其稱之為云格(Gloud,即Grid+Cloud)。