制造行業(yè)CAE對高性能計算平臺的選擇
高性能計算（HPC）正逐步進入制造行業(yè)，承擔諸多關鍵的計算應用。該領域中用戶主要分成兩類，一類是實際制造企業(yè)，如汽車設計制造廠商、航空工業(yè)企業(yè)、電力企業(yè)及消費產(chǎn)品生產(chǎn)商等。這一類用戶通過高性能計算技術來提高產(chǎn)品的性能，減低成本，同時縮短產(chǎn)品的設計、生產(chǎn)周期，以使企業(yè)在市場上更具競爭力，另一類是研發(fā)單位，如政府、國防和大學中涉及制造行業(yè)的部門或?qū)I(yè)。這一類用戶的目標是利用高性能計算技術改善設計方法，提高設計水平從而為實際生產(chǎn)服務。
圖1給出了制造行業(yè)中采用計算機進行產(chǎn)品開發(fā)的流程，包括建模、前處理（模型修改和網(wǎng)格生成）、計算分析、交叉學科綜合及后處理幾個部分。其中高性能計算主要應用于計算分析部分，統(tǒng)稱為計算機輔助工程（CAE）。圖1是CAE的分析過程。
圖1 計算機主要在CAE分析過程的后期解算部分發(fā)揮作用
制造行業(yè)CAE應用程序的特點
制造行業(yè)CAE的應用可以分為隱式有限元分析（IFEA）、顯式有限元分析（EFEA）和計算流體動力學（CFD）三個子學科。幾乎所有的制造企業(yè)的高性能計算都依賴于獨立軟件開發(fā)商（ISV）提供的商業(yè)軟件，只有流體動力學算題中結構網(wǎng)格計算類型的部分軟件是用戶自己開發(fā)的。因此制造行業(yè)用戶在購買硬件平臺的同時通常會購買相應的科學計算軟件產(chǎn)品。而在某種程度上，往往是應用軟件的特性決定了硬件平臺的選擇。
下表給出了常用的CAE軟件，并列出這些軟件的特點，包括并行方式和可擴展性。
常用分析軟件
從上表中我們可以了解到CAE應用軟件具有以下特點：
（1）IFEA類應用軟件（如ABAQUS、ANSYS和MSC Nastran）硬件平臺支持的可擴展性不是很好。當使用超過8個CPU來處理一個任務時，通常不會再有性能上的提升；
（2）IFEA類應用軟件通常使用共享內(nèi)存方式（pthreads或OpenMP），進行并行處理，其中ABAQUS不支持消息傳遞方式（MPI）的并行；
（3）EFEA類應用軟件（如LS-DYNA、PAM-CRASH和RADIOSS）和計算流體動力學軟件（如FLUENT、STAR-CD和PowerFlow）的硬件平臺支持的擴展性相對較好；
（4）EFEA類應用軟件和CFD軟件以采用消息傳遞并行方式（MPI）為主。
高性能計算（HPC）服務器體系結構分類及特點
目前市場上常用的高性能計算服務器大致可以分為以下3種體系結構，即：
1．并行向量處理機（PVP）
PVP系統(tǒng)含有為數(shù)不多、功能強大的定制向量處理器（VP），以及定制的高帶寬縱橫交叉開關和高速數(shù)據(jù)訪問。由于這類系統(tǒng)對程序編制的要求較高，價格很昂貴且難于管理，因此，這種類型計算機主要集中在一些大型國家關鍵部門，在本文中不再贅述。
2．對稱多處理機（SMP）
SMP系統(tǒng)采用商品化的處理器，這些處理器通過總線或交叉開關連接到共享存儲器。今天市場上常見的機型有IBM p系列服務器、HPQ的SuperDome、Alpha的ES、GS系列及SGI公司的Altix系列。SMP系統(tǒng)通常具有以下特點：
（1）系統(tǒng)內(nèi)的CPU共享并可以直接訪問所有的內(nèi)存；
（2）由一個操作系統(tǒng)管理整個系統(tǒng)；
（3）支持共享內(nèi)存方式的并行模式，如OpenMP、pthreads等；
（4）支持消息傳遞方式的并行模式，如MPI、PVM等
（5）系統(tǒng)的價格相對較高；
（6）為提高系統(tǒng)的使用效率，需要有功能強大的資源管理軟件和作業(yè)調(diào)度軟件配合進行系統(tǒng)管理。如LSF、PBS及IBM的WLM和LoadLeveler等。
3．工作站集群（COW，Cluster Of Workstation,簡稱Cluster） #p#page_title#e#
Cluster結構是近年來發(fā)展勢頭很好的一種體系結構。這類機型的技術起點比較低，用戶甚至可以自己將一些服務器或微機通過以太網(wǎng)連接起來，配以相應的管理、通訊軟件來搭建Cluster。但是如果要構造高性能、結構合理并具有好的RAS特性的Cluster卻不是一件容易的事情。幾乎所有的國內(nèi)、外計算機廠商都有自己的Cluster集群產(chǎn)品，如IBM的Cluster1350、聯(lián)想的深騰系列及曙光的天潮系列等。Cluster系統(tǒng)通常具有以下特點：
（1）系統(tǒng)由多個獨立的服務器（在Cluster概念下稱為節(jié)點）通過交換機連接在一起。每個節(jié)點擁有各自的內(nèi)存，某個節(jié)點的CPU不能直接訪問另外一個節(jié)點的內(nèi)存；
（2）每個節(jié)點擁有獨立的操作系統(tǒng)；
（3）需要一系列的集群軟件來完成整個系統(tǒng)的管理與運行，包括：
Cluster系統(tǒng)管理軟件，如IBM的CSM、xCat等；
消息傳遞庫，如MPI、PVM等；
作業(yè)管理與調(diào)度系統(tǒng)，如LSF、PBS，LoadLeveler等；
并行文件系統(tǒng)，如PVFS、GPFS等；
（4）支持消息傳遞方式的并行模式，如MPI、PVM等；
（5）只能在單個節(jié)點內(nèi)部支持共享內(nèi)存方式的并行模式，如OpenMP、pthreads等；
（6）性能價格比好。
CAE硬件平臺的選擇
CAE在制造企業(yè)中承擔著關鍵的業(yè)務，所以其高性能平臺的選擇非常重要，這個平臺直接影響CAE的運行性能表現(xiàn)、整體成本和系統(tǒng)維護等方面問題。想讓CAE能實現(xiàn)“隨需應變”，在高性能計算平臺的選擇上就需要進行全面的考慮。
1．CAE軟件使用SMP系統(tǒng)存在的問題
理論上講，SMP系統(tǒng)可以勝任CAE應用程序的運行，但是不可避免地存在一些問題。首先是SMP系統(tǒng)價格相對較高。而且CAE的某些應用軟件的擴展性不好，如隱式有限元分析（IFEA）類軟件通常只能用到最多8個CPU。這個特點決定了配置超過8CPU的大SMP服務器沒有太大的必要，反而會造成投資的浪費。
此外，SMP系統(tǒng)由一個操作系統(tǒng)管理，如果沒有強大的資源管理軟件和作業(yè)調(diào)度軟件配合，很容易造成CPU分時處理多個任務的現(xiàn)象，即在一個CPU上同時運行多個進程，從而影響整個系統(tǒng)的使用效率，同時難于保證關鍵任務的按時完成。常用的作業(yè)調(diào)度軟件有LSF、PBSpro和OpenPBS，其中開放源代碼的OpenPBS很難勝任復雜的CAE應用軟件的管理，尤其是對共享內(nèi)存方式并行模式（OpenMP，pthreads）的管理。而LSF和PBSpro的價格比較高，同樣會增加用戶的投資。
2．CAE軟件使用Cluster系統(tǒng)存在的問題
目前市場上的Cluster系統(tǒng)通常是用PC服務器作為節(jié)點構建的，每個PC服務器內(nèi)部一般配置2個CPU。這種類型的Cluster系統(tǒng)在承擔CAE應用軟件運行任務時也存在一些問題，比如共享內(nèi)存方式的并行模式只能運行在一個節(jié)點內(nèi)部，也就是說，最多只能用2個CPU去處理OpenMP/threads類型的CAE任務，很難滿足應用的時效性要求。又因為單CPU的處理能力限制，需要更多的CPU來完成一個計算任務，這樣就需要購買較多CPU的軟件許可證，增加了用戶的投資。
3．IBM eServer p5 575服務器：CAE應用軟件的最佳選擇
針對SMP系統(tǒng)和Cluster系統(tǒng)在處理CAE應用時存在的問題，我們可以考慮一種綜合這兩類體系結構優(yōu)勢的高性能計算機系統(tǒng)——SMP Cluster。如圖2所示。
圖2 SMP Cluster和OpenSMP、Cluster的比較
IBM Cluster1600可以采用多種安裝IBM POWER5芯片的服務器作為節(jié)點，如p5 575、p5 590和p5 595等，其中p5 575是專為HPC推出的一款高性能計算服務器。使用p5 575作為節(jié)點來構成Cluster1600系統(tǒng)具有以下特點： #p#page_title#e#
（1）采用SMP服務器作為節(jié)點，構成Cluster系統(tǒng)。這樣兼有兩種體系結構的特點，可以稱之為SMP Cluster系統(tǒng)；
（2）p5 575是一個在2U高度中可以安裝8個POWER5處理器的SMP服務器（業(yè)界密度最高的非刀片服務器）。在一個p5 575內(nèi)部運行共享內(nèi)存方式的并行模式（OpenMP或threads）應用程序，可以保證系統(tǒng)能勝任較大規(guī)模的運算模型處理，滿足計算的時效性。應用程序也具有較高的并行效率和加速比；
（3）節(jié)點間連接采用IBM為HPC專門設計的高性能交換機HPS，其單通道帶寬達到4GB/s，并且每個節(jié)點都配置了雙通道作為冗余配置。這樣在保證跨節(jié)點通信的優(yōu)越性能的同時，提供了較高的穩(wěn)定性；
（4）整個系統(tǒng)可以運行消息傳遞方式的并行任務（MPI或PVM）。同時支持混合并行模式，即在節(jié)點內(nèi)部使用共享內(nèi)存方式的并行模式，節(jié)點間使用消息傳遞方式的并行模式，如MPI+OpenMP模式；
（5）完善的集群管理環(huán)境，統(tǒng)一進行資源管理和作業(yè)調(diào)度。管理軟件包括：
CSM集群系統(tǒng)管理軟件；
LoadLeveler作業(yè)調(diào)度軟件，具有強大的作業(yè)調(diào)度、記帳及斷點/續(xù)算功能；
WLM資源管理軟件，與LoadLeveler配合使用，滿足用戶對系統(tǒng)資源管理和作業(yè)調(diào)度的復雜要求；
優(yōu)化的并行使用與開發(fā)環(huán)境PE，提供高性能的、完善的并行作業(yè)運行與管理；
高性能的并行文件系統(tǒng)GPFS，為整個集群提供穩(wěn)定的共享文件系統(tǒng)，方便管理與使用；
（6）較高的性能價格比。
結論
結合制造行業(yè)CAE應用軟件的特點，我們可以看到使用IBM eServer p5 575作為節(jié)點的IBM Cluster1600系統(tǒng)可以很好地滿足這類應用的復雜需求，是CAE應用軟件的上佳選擇之一。
首先，使用8 CPU的SMP系統(tǒng)作為節(jié)點，可以很好地滿足隱式有限元（IFEA）類型的應用，如ABAQUS、ANSYS和MSC Nastran。這類應用以使用共享內(nèi)存方式的并行模式為主。8 CPU的p5 575具有足夠的處理能力滿足應用軟件處理大系統(tǒng)模型的需求，同時保證系統(tǒng)具有最高的使用效率。在這類應用中，更大的SMP服務器是沒有任何必要的。
其次，對于擴展性較好的EFEA類和CFD類應用軟件，通過IBM高性能交換機（單通道帶寬為4GB/s）連接的Cluster1600系統(tǒng)可以很好地滿足節(jié)點間的通訊要求。在某些MPI的應用中，SMP Cluster具有比相同數(shù)目CPU的SMP系統(tǒng)更好的性能。
再次，IBM Cluster1600系統(tǒng)具有完善的系統(tǒng)管理軟件，可以保證同時使用IFEA、EFEA和CFD應用軟件的用戶方便地規(guī)劃與管理系統(tǒng)。作業(yè)調(diào)度軟件LoadLeveler和資源管理軟件WLM的結合使用可以滿足用戶對系統(tǒng)資源的有效管理，達到系統(tǒng)的最優(yōu)化使用。
最后，IBM eServer p5 575采用性能強大的POWER5處理器，用戶可以使用較少的CPU達到較高的性能，從而節(jié)省應用軟件的許可證費用。另外，IBM eServer p5 575是專門為高性能技術運算和大規(guī)模并行處理開發(fā)的產(chǎn)品，大緩存、高緩存帶寬和高內(nèi)存帶寬保證了處理復雜數(shù)學模型和復雜運算時的性能。圖3 、圖4是在ANSYS和NASTRAN下的測試結果，供讀者參考。
圖3 ANSYS測試結果（ANSYS 8.1 Sum of 19 standard ansys runs,elapaed time in sec）
圖4 NASTRAN測試結果（MSC.NASTRAN 2004，Serial timings,XLEMF:Car body,ndof=654560, elapaed time in sec）
