并行計算集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用

單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED SITE 3,Graphics by Aldo Stentella,并行計算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討,內(nèi)容大綱,并行計算技術(shù),集群及相關(guān)技術(shù),網(wǎng)格計算,如何滿足不斷增長的計算力需求？,用速度更快的硬件，也就是減少每一條指令所需時間,優(yōu)化算法（或者優(yōu)化編譯）,用多個處理機,(,器,),同時解決一個問題,并行計算,串行計算與并行計算,并行的層次,程序級并行,子程序級并行,語句級并行,操作級并行,微操作級并行,并行粒度,粗,細(xì),共享內(nèi)存與分布式內(nèi)存,P=,處理器,M=,內(nèi)存,S=,網(wǎng)絡(luò)交換設(shè)備,P,M,P,P,M,P,M,S,局部共享內(nèi)存,S,P,M,P,P,M,P,Node,Node,實現(xiàn)并行計算的常見方法,1,、多線程程序,2,、基于,OpenMP,的并行程序,3,、基于消息傳遞的并行程序,PVM,MPI,XPVM,XPVM,并行計,算,算環(huán)境,簡,簡介,PVP,（,ParallelVectorProcessor,）,使用專,用,用向量,處,處理器,銀河,I,，,CrayT90,，,NEC,的地球,模,模擬器,。

SMP,（,SymmetricMultiprocessor,）,同一主,板,板上多,個,個處理,器,器可以,等,等同訪,問,問共享,存,存儲器,、,、,I/O,設(shè)備和,操,操作系,統(tǒng),統(tǒng)服務(wù),IBMRS6000,Cluster,由很多,連,連接在,一,一起的,獨,獨立計,算,算機組,成,成，像,一,一個單,獨,獨的集,成,成的計,算,算機一,樣,樣協(xié)同,工,工作,集群的,節(jié),節(jié)點可,以,以是,SMP,（或者,PVP,）,Cluster1350,，藍(lán)色,基,基因在虛擬,天,天文臺,中,中的應(yīng),用,用情形,處理實,時,時性要,求,求很高,的,的大量,觀,觀測數(shù),據(jù),據(jù),觀測數(shù),據(jù),據(jù)的并,行,行可視,化,化處理,并行數(shù),據(jù),據(jù)挖掘,并行數(shù),據(jù),據(jù)服務(wù),提,提供,集群技,術(shù),術(shù),集群概,念,念最早,由,由,IBM,于,20,世紀(jì),60,年代提,出,出,集群一,般,般由高,速,速網(wǎng)絡(luò),連,連接起,來,來的高,性,性能工,作,作站或,PC,機組成,集群,在,在工作,中,中像一,個,個統(tǒng)一,的,的整合,資,資源，,所,所有節(jié),點,點使用,單,單一界,面,面集群,NotaClusterCluster,集群計,算,算系統(tǒng),體,體系結(jié),構(gòu),構(gòu),集群相,關(guān),關(guān)技術(shù),網(wǎng)絡(luò)層,網(wǎng)絡(luò)互,聯(lián),聯(lián)結(jié)構(gòu),、,、通信,協(xié),協(xié)議、,信,信號技,術(shù),術(shù)等。

節(jié)點機,及,及操作,系,系統(tǒng)層,高性能,PC,或工作,站,站、分,層,層或基,于,于微內(nèi),核,核的操,作,作系統(tǒng),等,等集群系,統(tǒng),統(tǒng)管理,層,層,資源管,理,理、資,源,源調(diào)度,、,、負(fù)載,平,平衡、,并,并行,I/O,、安全,等,等應(yīng)用層,并行程,序,序開發(fā),環(huán),環(huán)境、,串,串行應(yīng),用,用、并,行,行應(yīng)用,等,等Cluster1350,Cluster1350,是,IBM,公司目,標(biāo),標(biāo)定位,于,于高性,能,能計算,市,市場的,Linux,集群，,包,包括一,套,套完整,的,的解決,方,方案，,集,集成了,眾,眾多,IBM,與非,IBM,的先進(jìn),的,的軟硬,件,件技術(shù),，,，有其,特,特有的,技,技術(shù)優(yōu),勢,勢與強,大,大的服,務(wù),務(wù)支持,Cluster1350,邏輯結(jié),構(gòu),構(gòu),Cluster1350,節(jié)點硬,件,件、網(wǎng),絡(luò),絡(luò)和操,作,作系統(tǒng),(,天津大,學(xué),學(xué),IBM,中心）,管理節(jié),點,點,IBMeServerxSeries 345(1),計算節(jié),點,點,IBMeServerxSeries 335(16),網(wǎng)絡(luò),千兆以,太,太網(wǎng),操作系,統(tǒng),統(tǒng),RedHat Linux 7.3,CSM,（,（ClusterSystemManagement）,CSM,是,IBM,公司開,發(fā),發(fā)，專,門,門用于,集,集群系,統(tǒng),統(tǒng)管理,的,的中間,件,件，在,Cluster1350,解決方,案,案集成,。

CSM,的設(shè)計,思,思想與,體,體系結(jié),構(gòu),構(gòu)來自,PSSP(IBMParallelSystem SupportProgramsfor AIX),與其它,一,一些開,源,源的集,群,群管理,軟,軟件還,還有一,些,些中間,件,件及技,術(shù),術(shù)，雖,然,然不直,接,接為用,戶,戶服務(wù),，,，但構(gòu),成,成了,CSM,的不可,或,或缺的,基,基礎(chǔ)，,包,包括,RMC,、,SRC,、,RSCT,等CSM,Cluster1350系,統(tǒng),統(tǒng)管理,整個集,群,群由單,一,一結(jié)點,控,控制,所有結(jié),點,點的,開機、,關(guān),關(guān)機、,狀,狀態(tài)查,詢,詢,顯示遠(yuǎn),程,程控制,臺,臺,安裝操,作,作系統(tǒng),升級,(,安裝,),各結(jié)點,系,系統(tǒng)及,應(yīng),應(yīng)用軟,件,件,一個完,整,整的集,群,群只需,一,一套外,置,置輸入,/,輸出設(shè),備,備,(,鍵盤、,鼠,鼠標(biāo)、,顯,顯示器,),Linux,集,集群上,可,可用的,任,任務(wù)調(diào),度,度系統(tǒng),Mosix,（,Multicomputer OperatingSystemfor UnIX,）,可以自,動,動完成,節(jié),節(jié)點間,進(jìn),進(jìn)程遷,移,移,需要重,新,新編譯,Linux,內(nèi)核,對用戶,來,來說是,透,透明的,PBS,（,PortableBatchSystem,）,由,NASA,的,Ames,研究中,心,心開發(fā),為了達(dá),到,到集群,系,系統(tǒng)整,體,體上的,負(fù),負(fù)載平,衡,衡，對,各,各個節(jié),點,點上的,任,任務(wù)進(jìn),行,行調(diào)度,，,，但不,進(jìn),進(jìn)行節(jié),點,點間任,務(wù),務(wù)遷移,不需要,重,重新編,譯,譯內(nèi)核,集群上,的,的應(yīng)用,程,程序（,計,計算）,開,開發(fā),適于開,發(fā),發(fā)基于,消,消息傳,遞,遞的并,行,行應(yīng)用,程,程序,可以使,用,用,PVM/MPI,步驟：,配置并,行,行計算,的,的編譯,與,與運行,環(huán),環(huán)境,主要是,rsh/ssh,設(shè)計、,編,編寫、,編,編譯程,序,序,使用,PVM/MPI,提供的,程,程序庫,及,及編譯,環(huán),環(huán)境,部署應(yīng),用,用程序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,運行程,序,序,配置高,可,可用集,群,群,最大程,度,度地減,少,少服務(wù),中,中斷，,而,而不是,容,容錯。

Hearbeat,LVS,（,LinuxVirtual Sever,）,IBM,的,Tivoli,和,WebSphere,系列軟,件,件,Heartbeat,集,集群,LVS,集,集群,集群在,虛,虛擬天,文,文臺中,的,的角色,高性能,計,計算,構(gòu)成虛,擬,擬天文,臺,臺網(wǎng)格,環(huán),環(huán)境中,強,強有力,的,的計算,資,資源,高可用,服,服務(wù),在網(wǎng)格,環(huán),環(huán)境中,提,提供穩(wěn),定,定、可,靠,靠的數(shù),據(jù),據(jù)、計,算,算、調(diào),度,度等服,務(wù),務(wù),網(wǎng)格計,算,算,“,Resourcesharing&coordinatedproblemsolving in dynamic,multi-institutionalvirtualorganizations”,OnDemand,理想的,網(wǎng),網(wǎng)格,理想的,網(wǎng),網(wǎng)格,ThepictureabovedescribesaDataGridtestbed withthreesitesand aCertificationAuthority.Forspacereasons we do notshow allthemachinesofeachsite.,Theuserrequestsa certificate to theCertificateAuthorityweb front-end.,Thecertificateisproducedand signedbytheCertificateServer.,Theusergets thecertificate.,Nowthattheuserhashis/hercertificateinstalledonhis/herUser Interface,he/she cansubmithis/herjobrequests.,Aftercreatinga proxy processwithtemporarycredentials(“grid-proxy-init,”,”command),theusersubmits his/herjob requesttothe Resource Broker.,Submitted,TheResourceBroker queriesthe ReplicaCatalogandInformationIndextofindsuitableresources(storagespace,dataand computingpower).,Waiting,The Resource Brokerselects the resources.,Ready,The Resource Brokersubmits the jobto the selected Computing Element(s).,Scheduled,The Computing Element deliversthejob to itsWorker Node(s),which will dotherealwork.,Done,Output Ready,The outputis movedto the ResourceBroker,The user gets his/her output,Cleared,網(wǎng)格計算環(huán),境,境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,SiteA,SiteB,SiteC,UI/API,Grid,UI/API,Grid,LAN,結(jié)束語,虛擬天文臺,將,將構(gòu)筑于網(wǎng),格,格環(huán)境之上,集群將構(gòu)成,網(wǎng),網(wǎng)格環(huán)境中,強,強有力的計,算,算與服務(wù)支,撐,撐平臺,并行計算將,為,為具體事務(wù),處,處理提供技,術(shù),術(shù)與手段上,支,支持,Thanks!,演講完畢，,謝,謝謝觀看！,。