高性能仿真計(jì)算集群（結(jié)構(gòu)、流體、多物理場(chǎng)耦合）配置推薦2024v1
更新日期：2024年1月5日
更新原因：升級(jí)換代，調(diào)整如下：
（1）計(jì)算節(jié)點(diǎn)采用xeon第4代可擴(kuò)展處理器，
（2）并行存儲(chǔ)采用全閃存陣列，
整個(gè)集群從計(jì)算節(jié)點(diǎn)架構(gòu)，網(wǎng)絡(luò)低延遲，存儲(chǔ)高性能并發(fā)IO，作業(yè)調(diào)度高頻調(diào)用，無(wú)死角、無(wú)瓶頸
集群面臨問(wèn)題
經(jīng)常聽(tīng)到客戶反饋，某某分布式多機(jī)集群、某某云計(jì)算平臺(tái)，在集群上做計(jì)算還不如普通電腦快，高性能計(jì)算集群做工程仿真計(jì)算效率很低，花了一大筆經(jīng)費(fèi)，經(jīng)過(guò)一年多的方案論證、審批通過(guò)、采購(gòu)、交貨、使用，但集群性能表現(xiàn)很差
看似高性能集群的計(jì)算服務(wù)器、存儲(chǔ)服務(wù)器、管理服務(wù)器、infiniband交換機(jī)等硬件設(shè)備放到機(jī)柜上，通過(guò)網(wǎng)絡(luò)交換機(jī)全部連接好，系統(tǒng)、軟件、開(kāi)發(fā)工具也都安裝調(diào)試正常了，HPC集群就OK了，真這么簡(jiǎn)單嗎？ 實(shí)際情況：
可能1 計(jì)算服務(wù)器硬件配置選型不合理，
可能2 并行存儲(chǔ)服務(wù)器硬件配置有問(wèn)題
可能3 作業(yè)調(diào)度方法存在問(wèn)題
可能4 計(jì)算方式選擇有問(wèn)題，通過(guò)GPU計(jì)算更快，但確用CPU計(jì)算方式
可能5 網(wǎng)絡(luò)io有問(wèn)題，永遠(yuǎn)是滿負(fù)荷
。。。
出現(xiàn)這些問(wèn)題的原因，集群的配置方案往往是使用者想要一個(gè)“最先進(jìn)、成熟的”集群計(jì)算架構(gòu)，自己認(rèn)為的一個(gè)方案，或者過(guò)度相信“豐富有經(jīng)驗(yàn)的系統(tǒng)集成商”（大品牌，不用質(zhì)疑），根據(jù)客戶的預(yù)算，給出的高性能計(jì)算集群方案
使用者大部分是對(duì)軟件熟悉，對(duì)工作計(jì)算任務(wù)熟悉，但因工作知識(shí)的局限性，可能對(duì)硬件配置，最新計(jì)算架構(gòu)不是很精通，
集成商，大部分都是賣(mài)設(shè)備的，關(guān)心的是設(shè)備能否賣(mài)出去，對(duì)客戶應(yīng)用了解很少或不是很深入，因此這樣兩類(lèi)人，在一起交流討論仿真計(jì)算集群硬件配置方案，未來(lái)必然存在隱患。
那么一個(gè)合理、完美、高效的高性能計(jì)算集群方案的關(guān)鍵點(diǎn)都有什么？
首先 要根據(jù)客戶的應(yīng)用要求，跑什么軟件，對(duì)這些軟件特點(diǎn)進(jìn)行分析
其次，根據(jù)掌握了應(yīng)用情況，結(jié)合最新的硬件規(guī)格，分別給出計(jì)算服務(wù)器、GPU服務(wù)器、并行存儲(chǔ)服務(wù)器、管理服務(wù)器、網(wǎng)絡(luò)低延遲的交換機(jī)的對(duì)應(yīng)方案，另外還要配備好一個(gè)高效的作業(yè)調(diào)度系統(tǒng)，這樣這個(gè)集群方案更貼近仿真軟件的計(jì)算要求，
關(guān)鍵點(diǎn)1 計(jì)算服務(wù)器用什么規(guī)格CPU、GPU、內(nèi)存、硬盤(pán)，性能最大化？
關(guān)鍵點(diǎn)2 存儲(chǔ)服務(wù)器，作為數(shù)據(jù)交換最密集的地方，最大的瓶頸，是什么?
不能忽略的情況：
如果不知道仿真數(shù)值模擬軟件的不同求解器的特點(diǎn)，很可能計(jì)算服務(wù)器配置正常，軟件運(yùn)行正常，速度很慢，怎么回事？
如果不熟悉計(jì)算硬件架構(gòu)，計(jì)算服務(wù)器的CPU頻率高低無(wú)所謂，內(nèi)存帶寬無(wú)所謂，硬盤(pán)io無(wú)所謂，便宜就行，可能結(jié)果性能表現(xiàn)很差
如果不清楚很多軟件已經(jīng)支持GPU加速，求解過(guò)程得到10幾倍的提升（用CPU就可以，或用最貴的GPU，也不快，什么情況？）
如果不清楚作業(yè)調(diào)度正確方式，按核調(diào)用，計(jì)算規(guī)模越大，分配更多核，速度就快？
因此，集群配置缺陷，將來(lái)必然面臨并行計(jì)算效率低，性能表現(xiàn)差的問(wèn)題，再加上作業(yè)調(diào)度軟件問(wèn)題或使用問(wèn)題，集群運(yùn)算效率自然好不到哪里。
（二）CX660高性能仿真計(jì)算集群
西安坤隆計(jì)算機(jī)公司，經(jīng)過(guò)多年實(shí)際集群系統(tǒng)的應(yīng)用軟件運(yùn)行和監(jiān)測(cè)分析，我們可以給出從集群硬件配置和集群架構(gòu)、作業(yè)調(diào)度全方位的滿足不同仿真計(jì)算特點(diǎn)，通過(guò)采用最新CPU和GPU，以及合理硬件配置和高效作業(yè)調(diào)用，保證了集群的計(jì)算效率發(fā)揮到最大。
UltraLAB高性能仿真計(jì)算集群充分考慮應(yīng)用軟件的算法特點(diǎn)，保證整個(gè)集群每個(gè)環(huán)節(jié)，計(jì)算服務(wù)器或GPU超算服務(wù)器，并行存儲(chǔ)服務(wù)器等集群配置架構(gòu)，無(wú)死角、無(wú)卡頓、均衡，都能最大限度發(fā)揮各自的性能，
應(yīng)用軟件并行計(jì)算特點(diǎn)
應(yīng)用種類(lèi)
主要軟件類(lèi)
計(jì)算特點(diǎn)
計(jì)算設(shè)備
1
結(jié)構(gòu)靜力/動(dòng)態(tài)仿真
Ansys
Abaqus
Ly-Dyna
有限元法，純CPU計(jì)算
兩個(gè)環(huán)節(jié)：
1 網(wǎng)格自動(dòng)剖分—單核計(jì)算，高頻才能加速
2 求解器求解—有限多核計(jì)算，調(diào)用合理的計(jì)算資源，加速
上述過(guò)程，反復(fù)迭代，直到收斂為止，
高頻服務(wù)器
計(jì)算服務(wù)器
2
流體仿真
Fluent
有限體積法，CPU和GPU結(jié)合
計(jì)算服務(wù)器
GPU計(jì)算服務(wù)器
3
多物理場(chǎng)耦合
Comsol Multiphysics..
有限元法，純CPU計(jì)算
高頻+有限多核+大內(nèi)存帶寬
高頻服務(wù)器
計(jì)算服務(wù)器
4
電磁仿真
HFSS、CST 、Feko..
頻域類(lèi)，有限元法，純CPU計(jì)算
時(shí)域類(lèi)，時(shí)域有限差分，GPU加速
高頻服務(wù)器
計(jì)算服務(wù)器
GPU計(jì)算服務(wù)器
5
科學(xué)計(jì)算類(lèi)
MatLAB
解釋型高級(jí)語(yǔ)言工具，主模塊單核計(jì)算為主，需要多核并行，要借助【并行計(jì)算工具箱】
計(jì)算服務(wù)器
6
CX660仿真集群系統(tǒng)介紹
CX660是采用intel xeon第四代可擴(kuò)展處理器組成的集群，代表著目前最新的計(jì)算架構(gòu)，求解更快、更高效。CX650集群系統(tǒng)是由【高頻服務(wù)器】、【計(jì)算服務(wù)器】、【GPU超算服務(wù)器】、【管理與存儲(chǔ)服務(wù)器】、【高性能低延遲交換機(jī)】、作業(yè)調(diào)度系統(tǒng)組成。
No
關(guān)鍵設(shè)備
配置規(guī)格
主要任務(wù)或功能
1
高頻服務(wù)器
Xeon高頻處理器/大容量?jī)?nèi)存/大容量高速固態(tài)盤(pán)/100G 高性能網(wǎng)卡
針對(duì)有限元仿真計(jì)算網(wǎng)格剖分單核cpu計(jì)算特點(diǎn)，面對(duì)多個(gè)計(jì)算服務(wù)器計(jì)算過(guò)程的并發(fā)網(wǎng)格剖分，通過(guò)配置超高頻CPU，大大縮短同時(shí)多個(gè)網(wǎng)格剖分計(jì)算時(shí)間，從而加速整個(gè)求解計(jì)算
2
計(jì)算服務(wù)器
2顆xeon+16根內(nèi)存+25G/56G 高性能網(wǎng)卡
針對(duì)基于CPU計(jì)算的仿真模擬計(jì)算的重要計(jì)算過(guò)程---求解器求解，配備最新2顆intel Xeon4代處理器，48核@高頻+16通道內(nèi)存帶寬+低延遲網(wǎng)卡，打造理想高速計(jì)算架構(gòu)，每個(gè)計(jì)算節(jié)點(diǎn)高頻+多核并行計(jì)算+內(nèi)存IO帶寬最大化，在核數(shù)與頻率、低延遲響應(yīng)達(dá)到完美均衡。
3
GPU超算服務(wù)器
配備最新2顆intel Xeon4代處理器（32核@高頻+16通道內(nèi)存帶寬）25G/56G 高性能網(wǎng)卡，
針對(duì)基于CPU和GPU異構(gòu)超算，支持CPU仿真模擬計(jì)算，也支持GPU加速計(jì)算，
最新GPU（RTX A6000 48GB）單精度浮點(diǎn)算力40Tflops，可用于支持GPU求解計(jì)算，性能提升顯著，例如Fluent求解，一塊A6000卡算力（FP32 40Tflops）相當(dāng)于44顆Xeon 銀牌4316（累計(jì)880核）性能，
4
管理與存儲(chǔ)服務(wù)器
雙xeon（核數(shù)充足）/高速緩存盤(pán)（全閃存陣列）/并行存儲(chǔ)/100G高性能網(wǎng)卡
承擔(dān)高速并行計(jì)算的海量數(shù)據(jù)密集讀寫(xiě)，提供最強(qiáng)大的并行讀寫(xiě)存儲(chǔ)架構(gòu)
承擔(dān)集群管理
5
PSS作業(yè)調(diào)度軟件
基于linux環(huán)節(jié)
支持全面任務(wù)調(diào)度，支持多種計(jì)算架構(gòu)，支持混合計(jì)算架構(gòu)
一款成熟、高可靠、易管理的作業(yè)調(diào)度軟件，保證多任務(wù)計(jì)算作業(yè)調(diào)度、監(jiān)控
（三）CX660高性能仿真計(jì)算集群配置推薦
方案1 5個(gè)計(jì)算節(jié)點(diǎn)集群配置方案推薦
總核數(shù)：240核@2.8GHz ,
CPU算力 10TFlops
總內(nèi)存容量 2.56TB
NO
貨物名稱(chēng)
型號(hào)
數(shù)量
單價(jià)
小計(jì)
1
計(jì)算服務(wù)器
2顆Xeon金牌5418Y(48核2.8Ghz) /512GB DDR5 /1.92TB SSD/2U機(jī)架式/56G IB網(wǎng)口
5
62000
310000
2
管理與存儲(chǔ)服務(wù)器
2*Xeon 銀4316(40核@2.3GHz）/256GB DDR4/集成顯卡/960GB SSD /23TB緩存盤(pán)(全閃存盤(pán)陣，讀帶寬20GB/s、寫(xiě)帶寬11GB/s)/126TB并行存儲(chǔ)/4U機(jī)架式/100G IB網(wǎng)口/27"4K圖顯
1
129900
129900
3
計(jì)算交換機(jī)
Infiniband 12口 56G/100G
1
38000
38000
4
管理交換機(jī)
16口千兆以太
1
1600
1600
5
服務(wù)器機(jī)柜
42U，含PDU機(jī)柜插座、托盤(pán)
1
6500
6500
6
KVM切換器
16口 VGA
1
1500
1500
7
管理軟件
UltraLAB作業(yè)調(diào)度軟件(5節(jié)點(diǎn))
1
50000
50000
累計(jì)（人民幣）：
￥538,500元
總核數(shù)：480核@2.8GHz ,
CPU算力 21.5TFlops
總內(nèi)存容量 5.12TB
NO
貨物名稱(chēng)
型號(hào)
數(shù)量
單價(jià)
小計(jì)
1
高頻服務(wù)器
Xeon W7-2475X超頻處理器（20核4.8GHz）/512GB
DDR5 /7.68TB PCIeSSD/2U機(jī)架式/100G IB網(wǎng)口
1
77000
77000
2
計(jì)算服務(wù)器
2顆Xeon金牌5418Y(48核2.8Ghz) /512GB DDR5 /1.92TB SSD/2U機(jī)架式/56G IB網(wǎng)口
10
62000
620000
3
管理與存儲(chǔ)服務(wù)器
2*Xeon 銀4316(40核@2.3GHz）/256GB DDR4/集成顯卡/960GB SSD /23TB緩存盤(pán)(全閃存盤(pán)陣，讀帶寬20GB/s、寫(xiě)帶寬11GB/s)/126TB并行存儲(chǔ)/4U機(jī)架式/100G IB網(wǎng)口/27"4K圖顯
1
129900
129900
4
計(jì)算交換機(jī)
Infiniband 36口 56G/100G
1
85000
85000
5
管理交換機(jī)
24口千兆以太
1
2100
2100
6
服務(wù)器機(jī)柜
42U，含PDU機(jī)柜插座、托盤(pán)
1
6500
6500
7
KVM切換器
16口 VGA
1
1500
1500
管理軟件
UltraLAB作業(yè)調(diào)度軟件(11節(jié)點(diǎn))
1
110000
110000
累計(jì)（人民幣）：
￥1,032,500元
方案3 15個(gè)計(jì)算節(jié)點(diǎn)集群配置方案推薦
總核數(shù)：720核@2.8GHz ,
CPU算力 32.2TFlops
總內(nèi)存容量 8.19TB
|
NO |
貨物名稱(chēng) |
型號(hào) |
數(shù)量 |
單價(jià) |
小計(jì) |
|
1 |
高頻服務(wù)器 |
Xeon W7-2475X超頻處理器（20核4.8GHz）/512GB DDR5 /7.68TB PCIeSSD/2U機(jī)架式/100G IB網(wǎng)口 |
1 |
77000 |
77000 |
|
2 |
計(jì)算服務(wù)器 |
2顆Xeon金牌5418Y(48核2.8Ghz) /512GB DDR5 /1.92TB SSD/2U機(jī)架式/56G IB網(wǎng)口 |
15 |
62000 |
930000 |
|
3 |
管理與存儲(chǔ)服務(wù)器 |
2*Xeon 銀4316(40核@2.3GHz）/256GB DDR4/集成顯卡/960GB SSD /23TB緩存盤(pán)(全閃存盤(pán)陣，讀帶寬20GB/s、寫(xiě)帶寬11GB/s)/126TB并行存儲(chǔ)/4U機(jī)架式/100G IB網(wǎng)口/27"4K圖顯 |
1 |
129900 |
129900 |
|
4 |
計(jì)算交換機(jī) |
Infiniband 36口 56G/100G |
1 |
85000 |
85000 |
|
5 |
管理交換機(jī) |
24口千兆以太 |
1 |
2100 |
2100 |
|
6 |
服務(wù)器機(jī)柜 |
42U，含PDU機(jī)柜插座、托盤(pán) |
2 |
6500 |
13000 |
|
7 |
KVM切換器 |
16口 VGA |
2 |
1500 |
3000 |
|
|
管理軟件 |
UltraLAB作業(yè)調(diào)度軟件(16節(jié)點(diǎn)) |
1 |
160000 |
160000 |
|
|
|
|
|
|
|
|
累計(jì)（人民幣）： |
|
|
￥1,400,500元 |
||
上述所有配置，代表最新硬件架構(gòu)，同時(shí)保證是最完美，最快，如有不符，可直接退貨
欲咨詢機(jī)器處理速度如何、技術(shù)咨詢、索取詳細(xì)技術(shù)方案，提供遠(yuǎn)程測(cè)試，請(qǐng)聯(lián)系
UltraLAB圖形工作站供貨商：
西安坤隆計(jì)算機(jī)科技有限公司
國(guó)內(nèi)知名高端定制圖形工作站廠家
業(yè)務(wù)電話：400-705-6800
咨詢微信號(hào)：
