并行計(jì)算集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用

單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED SITE 3,Graphics by Aldo Stentella,并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討,內(nèi)容大綱,并行計(jì)算技術(shù),集群及相關(guān)技術(shù),網(wǎng)格計(jì)算,如何滿足不斷增長(zhǎng)的計(jì)算力需求？,用速度更快的硬件，也就是減少每一條指令所需時(shí)間,優(yōu)化算法（或者優(yōu)化編譯）,用多個(gè)處理機(jī),(,器,),同時(shí)解決一個(gè)問(wèn)題,并行計(jì)算,串行計(jì)算與并行計(jì)算,并行的層次,程序級(jí)并行,子程序級(jí)并行,語(yǔ)句級(jí)并行,操作級(jí)并行,微操作級(jí)并行,并行粒度,粗,細(xì),共享內(nèi)存與分布式內(nèi)存,P=,處理器,M=,內(nèi)存,S=,網(wǎng)絡(luò)交換設(shè)備,P,M,P,P,M,P,M,S,局部共享內(nèi)存,S,P,M,P,P,M,P,Node,Node,實(shí)現(xiàn)并行計(jì)算的常見(jiàn)方法,1,、多線程程序,2,、基于,OpenMP,的并行程序,3,、基于消息傳遞的并行程序,PVM,MPI,XPVM,XPVM,并行計(jì),算,算環(huán)境,簡(jiǎn),簡(jiǎn)介,PVP,（,ParallelVectorProcessor,）,使用專,用,用向量,處,處理器,銀河,I,，,CrayT90,，,NEC,的地球,模,模擬器,。

SMP,（,SymmetricMultiprocessor,）,同一主,板,板上多,個(gè),個(gè)處理,器,器可以,等,等同訪,問(wèn),問(wèn)共享,存,存儲(chǔ)器,、,、,I/O,設(shè)備和,操,操作系,統(tǒng),統(tǒng)服務(wù),IBMRS6000,Cluster,由很多,連,連接在,一,一起的,獨(dú),獨(dú)立計(jì),算,算機(jī)組,成,成，像,一,一個(gè)單,獨(dú),獨(dú)的集,成,成的計(jì),算,算機(jī)一,樣,樣協(xié)同,工,工作,集群的,節(jié),節(jié)點(diǎn)可,以,以是,SMP,（或者,PVP,）,Cluster1350,，藍(lán)色,基,基因在虛擬,天,天文臺(tái),中,中的應(yīng),用,用情形,處理實(shí),時(shí),時(shí)性要,求,求很高,的,的大量,觀,觀測(cè)數(shù),據(jù),據(jù),觀測(cè)數(shù),據(jù),據(jù)的并,行,行可視,化,化處理,并行數(shù),據(jù),據(jù)挖掘,并行數(shù),據(jù),據(jù)服務(wù),提,提供,集群技,術(shù),術(shù),集群概,念,念最早,由,由,IBM,于,20,世紀(jì),60,年代提,出,出,集群一,般,般由高,速,速網(wǎng)絡(luò),連,連接起,來(lái),來(lái)的高,性,性能工,作,作站或,PC,機(jī)組成,集群,在,在工作,中,中像一,個(gè),個(gè)統(tǒng)一,的,的整合,資,資源，,所,所有節(jié),點(diǎn),點(diǎn)使用,單,單一界,面,面集群,NotaClusterCluster,集群計(jì),算,算系統(tǒng),體,體系結(jié),構(gòu),構(gòu),集群相,關(guān),關(guān)技術(shù),網(wǎng)絡(luò)層,網(wǎng)絡(luò)互,聯(lián),聯(lián)結(jié)構(gòu),、,、通信,協(xié),協(xié)議、,信,信號(hào)技,術(shù),術(shù)等。

節(jié)點(diǎn)機(jī),及,及操作,系,系統(tǒng)層,高性能,PC,或工作,站,站、分,層,層或基,于,于微內(nèi),核,核的操,作,作系統(tǒng),等,等集群系,統(tǒng),統(tǒng)管理,層,層,資源管,理,理、資,源,源調(diào)度,、,、負(fù)載,平,平衡、,并,并行,I/O,、安全,等,等應(yīng)用層,并行程,序,序開(kāi)發(fā),環(huán),環(huán)境、,串,串行應(yīng),用,用、并,行,行應(yīng)用,等,等Cluster1350,Cluster1350,是,IBM,公司目,標(biāo),標(biāo)定位,于,于高性,能,能計(jì)算,市,市場(chǎng)的,Linux,集群，,包,包括一,套,套完整,的,的解決,方,方案，,集,集成了,眾,眾多,IBM,與非,IBM,的先進(jìn),的,的軟硬,件,件技術(shù),，,，有其,特,特有的,技,技術(shù)優(yōu),勢(shì),勢(shì)與強(qiáng),大,大的服,務(wù),務(wù)支持,Cluster1350,邏輯結(jié),構(gòu),構(gòu),Cluster1350,節(jié)點(diǎn)硬,件,件、網(wǎng),絡(luò),絡(luò)和操,作,作系統(tǒng),(,天津大,學(xué),學(xué),IBM,中心）,管理節(jié),點(diǎn),點(diǎn),IBMeServerxSeries 345(1),計(jì)算節(jié),點(diǎn),點(diǎn),IBMeServerxSeries 335(16),網(wǎng)絡(luò),千兆以,太,太網(wǎng),操作系,統(tǒng),統(tǒng),RedHat Linux 7.3,CSM,（,（ClusterSystemManagement）,CSM,是,IBM,公司開(kāi),發(fā),發(fā)，專,門,門用于,集,集群系,統(tǒng),統(tǒng)管理,的,的中間,件,件，在,Cluster1350,解決方,案,案集成,。

CSM,的設(shè)計(jì),思,思想與,體,體系結(jié),構(gòu),構(gòu)來(lái)自,PSSP(IBMParallelSystem SupportProgramsfor AIX),與其它,一,一些開(kāi),源,源的集,群,群管理,軟,軟件還,還有一,些,些中間,件,件及技,術(shù),術(shù)，雖,然,然不直,接,接為用,戶,戶服務(wù),，,，但構(gòu),成,成了,CSM,的不可,或,或缺的,基,基礎(chǔ)，,包,包括,RMC,、,SRC,、,RSCT,等CSM,Cluster1350系,統(tǒng),統(tǒng)管理,整個(gè)集,群,群由單,一,一結(jié)點(diǎn),控,控制,所有結(jié),點(diǎn),點(diǎn)的,開(kāi)機(jī)、,關(guān),關(guān)機(jī)、,狀,狀態(tài)查,詢,詢,顯示遠(yuǎn),程,程控制,臺(tái),臺(tái),安裝操,作,作系統(tǒng),升級(jí),(,安裝,),各結(jié)點(diǎn),系,系統(tǒng)及,應(yīng),應(yīng)用軟,件,件,一個(gè)完,整,整的集,群,群只需,一,一套外,置,置輸入,/,輸出設(shè),備,備,(,鍵盤、,鼠,鼠標(biāo)、,顯,顯示器,),Linux,集,集群上,可,可用的,任,任務(wù)調(diào),度,度系統(tǒng),Mosix,（,Multicomputer OperatingSystemfor UnIX,）,可以自,動(dòng),動(dòng)完成,節(jié),節(jié)點(diǎn)間,進(jìn),進(jìn)程遷,移,移,需要重,新,新編譯,Linux,內(nèi)核,對(duì)用戶,來(lái),來(lái)說(shuō)是,透,透明的,PBS,（,PortableBatchSystem,）,由,NASA,的,Ames,研究中,心,心開(kāi)發(fā),為了達(dá),到,到集群,系,系統(tǒng)整,體,體上的,負(fù),負(fù)載平,衡,衡，對(duì),各,各個(gè)節(jié),點(diǎn),點(diǎn)上的,任,任務(wù)進(jìn),行,行調(diào)度,，,，但不,進(jìn),進(jìn)行節(jié),點(diǎn),點(diǎn)間任,務(wù),務(wù)遷移,不需要,重,重新編,譯,譯內(nèi)核,集群上,的,的應(yīng)用,程,程序（,計(jì),計(jì)算）,開(kāi),開(kāi)發(fā),適于開(kāi),發(fā),發(fā)基于,消,消息傳,遞,遞的并,行,行應(yīng)用,程,程序,可以使,用,用,PVM/MPI,步驟：,配置并,行,行計(jì)算,的,的編譯,與,與運(yùn)行,環(huán),環(huán)境,主要是,rsh/ssh,設(shè)計(jì)、,編,編寫、,編,編譯程,序,序,使用,PVM/MPI,提供的,程,程序庫(kù),及,及編譯,環(huán),環(huán)境,部署應(yīng),用,用程序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,運(yùn)行程,序,序,配置高,可,可用集,群,群,最大程,度,度地減,少,少服務(wù),中,中斷，,而,而不是,容,容錯(cuò)。

Hearbeat,LVS,（,LinuxVirtual Sever,）,IBM,的,Tivoli,和,WebSphere,系列軟,件,件,Heartbeat,集,集群,LVS,集,集群,集群在,虛,虛擬天,文,文臺(tái)中,的,的角色,高性能,計(jì),計(jì)算,構(gòu)成虛,擬,擬天文,臺(tái),臺(tái)網(wǎng)格,環(huán),環(huán)境中,強(qiáng),強(qiáng)有力,的,的計(jì)算,資,資源,高可用,服,服務(wù),在網(wǎng)格,環(huán),環(huán)境中,提,提供穩(wěn),定,定、可,靠,靠的數(shù),據(jù),據(jù)、計(jì),算,算、調(diào),度,度等服,務(wù),務(wù),網(wǎng)格計(jì),算,算,“,Resourcesharing&coordinatedproblemsolving in dynamic,multi-institutionalvirtualorganizations”,OnDemand,理想的,網(wǎng),網(wǎng)格,理想的,網(wǎng),網(wǎng)格,ThepictureabovedescribesaDataGridtestbed withthreesitesand aCertificationAuthority.Forspacereasons we do notshow allthemachinesofeachsite.,Theuserrequestsa certificate to theCertificateAuthorityweb front-end.,Thecertificateisproducedand signedbytheCertificateServer.,Theusergets thecertificate.,Nowthattheuserhashis/hercertificateinstalledonhis/herUser Interface,he/she cansubmithis/herjobrequests.,Aftercreatinga proxy processwithtemporarycredentials(“grid-proxy-init,”,”command),theusersubmits his/herjob requesttothe Resource Broker.,Submitted,TheResourceBroker queriesthe ReplicaCatalogandInformationIndextofindsuitableresources(storagespace,dataand computingpower).,Waiting,The Resource Brokerselects the resources.,Ready,The Resource Brokersubmits the jobto the selected Computing Element(s).,Scheduled,The Computing Element deliversthejob to itsWorker Node(s),which will dotherealwork.,Done,Output Ready,The outputis movedto the ResourceBroker,The user gets his/her output,Cleared,網(wǎng)格計(jì)算環(huán),境,境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,SiteA,SiteB,SiteC,UI/API,Grid,UI/API,Grid,LAN,結(jié)束語(yǔ),虛擬天文臺(tái),將,將構(gòu)筑于網(wǎng),格,格環(huán)境之上,集群將構(gòu)成,網(wǎng),網(wǎng)格環(huán)境中,強(qiáng),強(qiáng)有力的計(jì),算,算與服務(wù)支,撐,撐平臺(tái),并行計(jì)算將,為,為具體事務(wù),處,處理提供技,術(shù),術(shù)與手段上,支,支持,Thanks!,演講完畢，,謝,謝謝觀看！,。