2023年ChatGPT/AI多模態(tài)計(jì)算集群硬件備選方案
ChatGPT出色的表現(xiàn)，帶動(dòng)了人工智能的應(yīng)用加速，人工智能大模型、多模態(tài)機(jī)器學(xué)習(xí)，多模態(tài)大模型+物聯(lián)網(wǎng)等各個(gè)行業(yè)的專業(yè)應(yīng)用，算力不夠是最大的不足，市場(chǎng)上A100/A800/H100/H800的GPU卡的缺貨、漲價(jià)等，成本上升，不得不考慮GPU替代型號(hào)的、性能接近A100/H100的方案
（一）GPU計(jì)算卡選型
下面是目前市場(chǎng)上可選GPU卡之間，基于深度學(xué)習(xí)訓(xùn)練與推理的關(guān)鍵技術(shù)指標(biāo)對(duì)比
|
No |
關(guān)鍵指標(biāo) |
單位 |
H100 PCIe |
A100 |
RTX 6000 Ada |
A100 |
Tesla V100 |
RTX4090 |
|
1 |
顯存 |
GB |
80 |
80 |
48 |
40 |
32 |
24 |
|
2 |
顯存帶寬 |
GB/s |
2048 |
2048 |
960 |
1536 |
897 |
1008 |
|
3 |
CUDA FP16 |
Tflops |
204.87 |
77.97 |
91.06 |
77.97 |
28.26 |
82.58 |
|
4 |
CUDA FP32 |
Tflops |
51.22 |
19.49 |
91.06 |
19.49 |
14.13 |
82.58 |
|
5 |
Tensor INT8 |
TOPS |
3201 |
609 |
609 |
125 |
1452 |
|
|
6 |
Tensor FP16 |
Tflops |
1601 |
305 |
711 |
305 |
125 |
726 |
從上述表里看，RTX6000 Ada 48GB與A100 80GB對(duì)比
|
No |
關(guān)鍵指標(biāo) |
A100 80GB |
RTX6000 Ada |
備注 |
|
1 |
顯存 |
80GB |
48GB |
A100更大 |
|
2 |
顯存帶寬 |
2048GB/s |
960GB/s |
A100更大 |
|
3 |
CUDA FP16 |
77.97Tflops |
91.06Tflops |
RTX6000Ada更快 |
|
4 |
CUDA FP32 |
19.49Tflops |
91.06Tflops |
RTX6000Ada更快 |
|
5 |
Tensor INT8 |
609Tflops |
1423Tflops |
RTX6000Ada更快 |
|
6 |
成本 |
成本高 |
成本低 |
RTX6000Ada 更便宜 |
RTX6000Ada（48GB）與RTX4090（24GB）對(duì)比，前者顯存是48GB，作為自然語(yǔ)言處理，顯存越大越合適，
因此 綜上說述，基于自然語(yǔ)言處理應(yīng)用，無論是做訓(xùn)練還是推理，RTX6000Ada是一款非常合適的A100備用型號(hào)
（二）GPU AI集群系統(tǒng)相關(guān)產(chǎn)品介紹
下面是西安坤隆計(jì)算機(jī)科技有限公司提供的基于ChatGPT科研型AI集群配置方案
（1）GPU計(jì)算服務(wù)器（計(jì)算節(jié)點(diǎn)）
相關(guān)機(jī)型：UltraLAB GX658
技術(shù)特點(diǎn)：
GPU 配備最高8塊nvidia RTX/Tesla系列GPU計(jì)算卡，
CPU 采用intel第3代Xeon可擴(kuò)展處理器,支持PCIe 4.0 x16接口
網(wǎng)口配備100G IB網(wǎng)口，
硬盤采用SSD，
保證硬件配置計(jì)算更強(qiáng)、io帶寬更高、整機(jī)性能全方位優(yōu)化，保證多用戶多任務(wù)神經(jīng)元完美計(jì)算能力。
（2）存儲(chǔ)服務(wù)器（存儲(chǔ)節(jié)點(diǎn)）
相關(guān)機(jī)型：UltraLAB N650C（24盤位）
技術(shù)特點(diǎn)：
CPU 采用intel Xeon第3代可擴(kuò)展處理器，最大80核，可滿足60臺(tái)計(jì)算節(jié)點(diǎn)同步訪問
高速緩存盤：配備M2.SSD確保數(shù)據(jù)處理的高速讀寫(讀寫3G/s以上)及超低io延遲、
配備并行存儲(chǔ)：數(shù)據(jù)備份安全可靠、最大容量到378TB（24盤位，3通道）
網(wǎng)口:配備雙100G光口，
整機(jī)性能全方位優(yōu)化 支持遠(yuǎn)程操作、遠(yuǎn)程管理，系統(tǒng)管理員和使用者直接在辦公室甚至異地進(jìn)行操作
（3）SLURM作業(yè)調(diào)度軟件
SLURM 是優(yōu)秀的開源作業(yè)調(diào)度系 統(tǒng)，和 Torque PBS 相比，SLURM 集成度更高，對(duì) GPU 和 MIC 等加速設(shè)備支持更好
Slurm是適應(yīng)不同計(jì)算規(guī)模Linux集群的資源管理和調(diào)度軟件。它提供高效的資源與作業(yè)管理。包括狀態(tài)監(jiān)控、資源管理、作業(yè)調(diào)度和用量記賬
支持更多的仿真模擬軟件，
支持定制不同的應(yīng)用軟件的集群系統(tǒng)擴(kuò)展
方案1 CX650 GPU超算集群配置推薦
計(jì)算節(jié)點(diǎn)5個(gè)
GPU卡：40塊RTX6000Ada，總顯存1.92TB，
集群FP32單精度浮點(diǎn)算力：3640Tflops （3.6PTflops）
配置方案
|
NO |
貨物名稱 |
型號(hào) |
數(shù)量 |
單價(jià) |
小計(jì) |
|
1 |
GPU計(jì)算服務(wù)器GX658 |
2*Xeon銀4316（40核2.8Ghz ）/512GB DDR4 /8塊RTX6000 Ada 48GB /1.92TB SSD /4U機(jī)架式/100G IB光口/無顯示器 |
5 |
|
|
|
2 |
存儲(chǔ)服務(wù)器N650C |
2顆Xeon 4314（32核2.3Ghz ）/192GB DDR4 /QT1000 /960GB SSD系統(tǒng)盤+7.68TB高速緩存盤(2塊) +126TB并行存儲(chǔ)/4U機(jī)架式/100G IB光口/27"4K圖顯 |
1 |
|
|
|
3 |
計(jì)算交換機(jī) |
36個(gè)100G IB ，光口 |
1 |
||
|
|
管理交換機(jī) |
48口千兆以太，電口 |
1 |
|
|
|
4 |
服務(wù)器機(jī)柜 |
42U，含PDU、托盤 |
1 |
||
|
5 |
KVM |
16口 HDMI KVM切換器 |
1 |
||
|
6 |
集群系統(tǒng) |
CentOS/Ubuntu、作業(yè)調(diào)度管理 |
1 |
||
|
7 |
深度學(xué)習(xí)框架 |
Tensorflow、Pytorch… |
1 |
|
|
|
|
|
|
|
|
|
|
合計(jì) |
￥3,210,500元 （321萬） |
|
|
||
方案2 CX650 GPU超算集群配置推薦
計(jì)算節(jié)點(diǎn)10個(gè)
GPU卡：80塊RTX6000Ada，總顯存3.84TB，
集群FP32單精度浮點(diǎn)算力：7280Tflops （7.2PTflops）
配置方案
|
NO |
貨物名稱 |
型號(hào) |
數(shù)量 |
單價(jià) |
小計(jì) |
|
1 |
GPU計(jì)算服務(wù)器GX658 |
2*Xeon銀4316（40核2.8Ghz ）/512GB DDR4 /8塊RTX6000 Ada 48GB /1.92TB SSD /4U機(jī)架式/100G IB光口/無顯示器 |
10 |
|
|
|
2 |
存儲(chǔ)服務(wù)器N650C |
2顆Xeon 4314（32核2.3Ghz ）/192GB DDR4 /QT1000 /960GB SSD系統(tǒng)盤+7.68TB高速緩存盤(2塊) +126TB并行存儲(chǔ)/4U機(jī)架式/100G IB光口/27"4K圖顯 |
1 |
|
|
|
3 |
計(jì)算交換機(jī) |
36個(gè)100G IB ，光口 |
1 |
||
|
|
管理交換機(jī) |
48口千兆以太，電口 |
1 |
|
|
|
4 |
服務(wù)器機(jī)柜 |
42U，含PDU、托盤 |
2 |
||
|
5 |
KVM |
16口 HDMI KVM切換器 |
1 |
||
|
6 |
集群系統(tǒng) |
CentOS/Ubuntu、作業(yè)調(diào)度管理 |
1 |
||
|
7 |
深度學(xué)習(xí)框架 |
Tensorflow、Pytorch… |
1 |
|
|
|
|
|
|
|
|
|
|
合計(jì) |
￥6,200,500元 （620萬） |
|
|
||
方案3 CX650 GPU超算集群配置推薦
計(jì)算節(jié)點(diǎn)30個(gè)
GPU卡：240塊RTX6000Ada，總顯存11.5TB，
集群FP32單精度浮點(diǎn)算力：21840Tflops （21.8PTflops）
配置方案
|
NO |
貨物名稱 |
型號(hào) |
數(shù)量 |
單價(jià) |
小計(jì) |
|
1 |
GPU計(jì)算服務(wù)器GX658 |
2*Xeon銀4316（40核2.8Ghz ）/512GB DDR4 /8塊RTX6000 Ada 48GB /1.92TB SSD /4U機(jī)架式/100G IB光口/無顯示器 |
30 |
|
|
|
2 |
存儲(chǔ)服務(wù)器N650C |
2顆Xeon 4314（32核2.3Ghz ）/192GB DDR4 /QT1000 /960GB SSD系統(tǒng)盤+7.68TB高速緩存盤(2塊) +126TB并行存儲(chǔ)/4U機(jī)架式/100G IB光口/27"4K圖顯 |
2 |
|
|
|
3 |
計(jì)算交換機(jī) |
36個(gè)100G IB ，光口 |
1 |
||
|
|
管理交換機(jī) |
48口千兆以太，電口 |
1 |
|
|
|
4 |
服務(wù)器機(jī)柜 |
42U，含PDU、托盤 |
5 |
||
|
5 |
KVM |
16口 HDMI KVM切換器 |
2 |
||
|
6 |
集群系統(tǒng) |
CentOS/Ubuntu、作業(yè)調(diào)度管理 |
1 |
||
|
7 |
深度學(xué)習(xí)框架 |
Tensorflow、Pytorch… |
1 |
|
|
|
|
|
|
|
|
|
|
合計(jì) |
￥18,525,800元 （1852萬） |
|
|
||
GPU超算集群應(yīng)用領(lǐng)域
? 人工智能訓(xùn)練、推理集群計(jì)算
? 分子動(dòng)力學(xué)、蛋白質(zhì)折疊、
? 電磁仿真時(shí)域求解
? 數(shù)字孿生超高分可視化
技術(shù)服務(wù)
本文所提供配置也可根據(jù)實(shí)際情況，進(jìn)行調(diào)整 ，我們技術(shù)保證
-整個(gè)集群開機(jī)即用
-三年質(zhì)保
-365*7*24小時(shí)在線技術(shù)支持
上述所有配置，代表最新硬件架構(gòu)，同時(shí)保證是最完美，最快，如有不符，可直接退貨
欲咨詢機(jī)器處理速度如何、技術(shù)咨詢、索取詳細(xì)技術(shù)方案，提供遠(yuǎn)程測(cè)試，請(qǐng)聯(lián)系
UltraLAB圖形工作站供貨商：
西安坤隆計(jì)算機(jī)科技有限公司
國(guó)內(nèi)知名高端定制圖形工作站廠家
業(yè)務(wù)電話：400-705-6800
咨詢微信號(hào)：
