Windows HPC Server 2008技術(shù)概覽
去年11月最新公布的第三十次全球超級計算機排行榜上,微軟系統(tǒng)只占據(jù)了區(qū)區(qū)6套,遠不及Linux的381套。但作為軟件行業(yè)的巨頭,微軟自然不會輕易放棄這塊高端陣地,于是11月14日,WHS2008在這個時間走進了我們的視野。 [查閱更多關(guān)于Server 2008的專題文章]
Windows HPC Server 2008(WHS2008)是現(xiàn)有Windows Computer Cluster Server 2003(WCCS2003)的繼任者,基于Windows Server 2008 64-bit系統(tǒng)核心。它能提供新的高速網(wǎng)絡(luò)、高效靈活的集群管理工具、面向服務(wù)的體系結(jié)構(gòu)(SOA)工程進度安排、支持合作伙伴的集群文件系統(tǒng),可用于計算流體力學、水利樞紐模擬等大規(guī)模并行項目,或BLAST、蒙特卡羅模擬等復(fù)雜的并行項目。
WHS2008為主流高性能計算帶來了一股新的力量,其統(tǒng)一的管理部署界面可以幫助大型、小型計算機群集有效降低部署的復(fù)雜度,并且提供了一個全新的簡單高效的管理體驗來提升群集管理員的生產(chǎn)率。
從WCCS 2003到WHS 2008
回想在1991年,用戶要想使用 10 G的計算能力大概要花費4千萬美元,而如今相同級別的計算水平早已普遍應(yīng)用于普通的X86計算機之中,相應(yīng)的花銷更是下降到4千美元左右。成本的大幅下降,使得超級計算在硬件方面的開銷已經(jīng)下降到了個人桌面計算機的水平。
但應(yīng)用HPC群集的最大障礙主要來自于其復(fù)雜的部署過程,以及一旦部署完成還要面對的維護挑戰(zhàn)。在HPC全面普及之前,它必須成為組織中主流的IT架構(gòu)的一部分。群集需要像管理和部署現(xiàn)有的架構(gòu)的一部分一樣的簡單方便,同時需要對終端用戶更加的透明并且無縫集成。而對于開發(fā)人員來說,他們能夠使用相同的部署工具和技術(shù)在多核處理器上或者是多個計算機上編寫相應(yīng)的程序。
在最初的WCCS2003中,微軟已經(jīng)展現(xiàn)了其在商業(yè)主流高性能計算方面的能力。基于Windows Server 2003 x64 的WCCS 2003提供了一套完整的、集成的群集環(huán)境,包括操作系統(tǒng)、工作調(diào)度程序、 Message Passing Interface v2 (MPI2) 支持, 以及群集管理和監(jiān)控組件等。WCCS整合了群集、部署以及管理方面的活動目錄服務(wù),以及Windows Server 2003的常用工具,并且可以使用微軟管理控制臺(MMC)工具實現(xiàn)簡單部署計算機節(jié)點和中心管理,從而大大降低用戶使用HPC的復(fù)雜度。
作為WCCS的第二個版本,Windows HPC Server 2008則是一個基于Windows Server 2008操作系統(tǒng)的 x64版本。這款產(chǎn)品將會支持更大的部署環(huán)境,通過一個全新的調(diào)度程序全面超越上一款產(chǎn)品,同時也支持Windows Server 2008 中全新的Windows 部署技術(shù),以及一個包含支持全新網(wǎng)絡(luò)路徑的更快的Microsoft Message Passing Interface (MS-MPI) 接口和一個建立在System Center用戶界面(UI)上的全新的管理界面。這個工具還支持Windows PowerShell作為其首選的腳本語言。在WHS2008中頭結(jié)點借助 Windows Server 2008故障轉(zhuǎn)移服務(wù)為群集的故障轉(zhuǎn)移和冗余實現(xiàn)了 Microsoft SQL Server的故障恢復(fù)能力。
WHS2008與其它微軟產(chǎn)品的整合也更好的提升了HPC的生產(chǎn)效率,同時增強了終端用戶的使用體驗。這其中就包括與Microsoft Office SharePoint Server 以及Windows Workflow Foundation的聯(lián)合使用,以及能夠更好增強管理有效性的Microsoft System Center 解決方案。通過與 Windows Communication Foundation (WCF)的整合,WHS2008使得服務(wù)導向架構(gòu)(SOA)應(yīng)用程序的開發(fā)者更好的利用HPC解決方案提供的全新力量。
WHS2008的四大創(chuàng)新特性
部署WHS2008時,微軟將重點集中在四個關(guān)鍵的區(qū)域上,分別是系統(tǒng)管理、工作計劃、網(wǎng)絡(luò)和MPI以及存儲,新版本中包括:
——系統(tǒng)管理
1. 基于System Center UI 架構(gòu)的全新管理平臺整合了群集管理中的每個方面
2. 節(jié)點組允許管理員可以分類并且在計算機節(jié)點上批操作
3. 實時監(jiān)控圖允許用戶輕松的查看群集的最新狀態(tài)
4. 使用Windows PowerShell 以及其它命令行工具實現(xiàn)群集的腳本化控制 #p#page_title#e#
5. 多頭節(jié)點的高可用性
6. 使用Windows部署服務(wù)增強計算節(jié)點的儲備
7. 內(nèi)建對于群集寬度更新的支持
8. 內(nèi)建系統(tǒng)錯誤診斷功能
9. 內(nèi)建群集報告功能
10. 擴展報告,允許使用例如SQL Server 分析服務(wù)的外部數(shù)據(jù)庫工具來完成工作計劃分析
11. System Center Operations Manager 2007 管理包
——工作計劃安排
1. 與 Windows Communication Foundation (WCF)的整合, WHS2008使得服務(wù)導向架構(gòu)(SOA)應(yīng)用程序的開發(fā)者更好的利用HPC解決方案提供的全新力量。
2. 工作計劃間隔取決于處理器內(nèi)核,處理器插槽以及計算節(jié)點的水平
3. 對于大型群集的性能增強
4. 工作計劃數(shù)據(jù)庫支持外部數(shù)據(jù)庫
5. 全新的工作計劃策略
6. 支持基于HPC的策略接口
——網(wǎng)絡(luò)和 MPI
1. 網(wǎng)絡(luò)引導,為MPI應(yīng)用程序提供了顯著的RDMA網(wǎng)絡(luò)性能提升
2. 改進的網(wǎng)絡(luò)配置向?qū)?
3. 為多核服務(wù)器提供的全新的共享存儲MS-MPI執(zhí)行
4. MS-MPI 與Windows 的事件跟蹤整合在一起
——存儲
1. Windows Server 2008支持改進的iSCSI SAN
2. Windows Server 2008支持 Server Message Block (SMB) v2
3. 全新的文件系統(tǒng)支持以及高性能存儲需要的群集供應(yīng)商合作伙伴
4. 全新的存儲緩存供應(yīng)商合作伙伴
WHS2008的硬件需求
對于WHS2008來說,其最低的硬件需求與Windows Server 2008 x64標準版本的操作系統(tǒng)所需的硬件條件基本相同。WHS2008支持最多64 GB 的內(nèi)存,所支持的處理器包括:AMD Opteron、AMD Athlon 64、Intel Xeon with Intel EM64T和Intel Pentium with Intel EM64T。
硬件 |
需求 |
CPU |
使用Intel Pentium64位架構(gòu)的處理器或者使用 Intel Extended Memory 64 技術(shù)的 (EM64T) 的 Xeon處理去; AMD Opteron 家族的處理器; AMD Athlon 64家族的處理器; 或其它兼容的處理器 |
RAM |
512 MB |
多處理器支持 |
WHS2008和 Windows Server 2008 標準版服務(wù)器都支持最多四個處理器, Windows Server 2008 企業(yè)版則最多支持到八個處理器。 |
安裝最小硬盤空間 |
50 GB |
磁盤卷 |
頭節(jié)點和計算機節(jié)點需要一個單獨的系統(tǒng)卷。支持RAID卷,但不是必須使用。系統(tǒng)卷必須是 MBR分區(qū)格式,而其它卷可以是 MBR 或者 GPT格式 |
網(wǎng)絡(luò)接口卡 |
至少有一個網(wǎng)絡(luò)接口卡 (NIC)。如果存在私網(wǎng),那么頭節(jié)點要求至少兩個NIC,同時計算節(jié)點也需要至少一個。每個節(jié)點可能都需要一個高速的NIC用于信息傳遞接口(MPI)網(wǎng)絡(luò)。 |
WHS2008的軟件需求與部署
WHS2008的頭節(jié)點和計算節(jié)點可以是Windows Server 2008 x64的標準版操作系統(tǒng)或Windows Server 2008 x64 企業(yè)版。工作調(diào)度程序使用 Microsoft SQL Express 作為它的知識庫。除了SQL Express 以外,現(xiàn)有的 SQL Server 2005 或者 SQL Server 2008 安裝程序也可以使用。而頭節(jié)點故障轉(zhuǎn)移群集則要求SQL Server 標準版或者企業(yè)版。
一個管理員控制臺以及一個工作計劃調(diào)度用戶控制臺組件將會自動安裝在計算機群集的頭節(jié)點上。當然這些組件也可以安裝在允許遠程管理群集的其它計算機上,或者降級為客戶計算機上的工作任務(wù)。而支持這些遠程安裝組件的操作系統(tǒng)有: #p#page_title#e#
· Windows Server 2003 Service Pack 1 (SP1) 或者 R2
· Windows Server 2008
· Windows XP Professional Service Pack 2 (SP2)
· Windows XP Professional, x64 Edition
· Windows Vista Business, Enterprise, 以及 Ultimate 版本解決方案架構(gòu)
WHS2008由一系列群集服務(wù)器組成,其中包括:一個單獨的頭節(jié)點 以及一個或者多個計算節(jié)點(見圖1)。頭節(jié)點通過Windows Server 2008高可用性服務(wù)器和SQL Server群集,控制臺和仲裁服務(wù)器來訪問群集資源,并且實現(xiàn)了對于計算節(jié)點的單點管理,部署以及工作計劃調(diào)度。WHS2008也可以通過現(xiàn)在的活動目錄架構(gòu)在安全、賬戶管理以及多系統(tǒng)管理方面使用例如Microsoft System Center Operations Manager 2007這樣的微軟工具。
圖 1: 一個典型的 WHS2008網(wǎng)絡(luò)模型
WHS2008的安裝過程包括在頭節(jié)點上安裝操作系統(tǒng),加入活動目錄域,然后安裝Compute Cluster Pack 。
在用戶第一次開啟管理控制臺時,一個任務(wù)清單上會為用戶展現(xiàn)計算機群集必須要完成的配置。這些步驟中包括: 定義網(wǎng)絡(luò)拓撲,配置自動部署,為群集添加計算節(jié)點等。WHS2008使用 Windows Server 2008 的部署服務(wù)角色來部署計算節(jié)點。
HS2008提供了節(jié)點模版,這種簡便的方法可以定義用戶計算節(jié)點上需要的配置,而Windows 部署服務(wù)的一個簡便的界面幫助用戶管理全部的節(jié)點,或者是群集的一個節(jié)點組并且跟蹤部署的處理過程。WHS2008管理工具包括一個診斷測試,利用這個測試,管理員可以檢測群集的連接故障,節(jié)點負載以及工作計劃狀態(tài)。
小結(jié)
隨著硬件成本的降低以及管理部署技術(shù)的簡化, 高性能計算的發(fā)展越來越引人注目。根據(jù)IDC公司市場調(diào)研報告顯示:在2004年,只有16%左右或者1650000臺處理器安裝HPC系統(tǒng);而在去年,就有大約3350,000臺或者超過26%的處理器安裝了這類系統(tǒng)。目前Altair Engineering Inc.、Cluster Resources Inc.、Platform Computing等多家相關(guān)行業(yè)企業(yè)都已宣布支持WHS2008,而Panasas、Quantum Corp StorNext、HP PolyServe、Sanbolic的集群文件系統(tǒng)均得到該系統(tǒng)的支持,IBM的IBM GPFS也將在不久后加入這一行列。
最新的WHS2008集群服務(wù)器,為并行應(yīng)用程序創(chuàng)建了開發(fā)環(huán)境,也使客戶在現(xiàn)有的環(huán)境中更容易的集成應(yīng)用程序。正像微軟的HPC總經(jīng)理Kyril Faenov說的,HPC系統(tǒng)會幫助商業(yè)伙伴達到一個更廣闊的層面。