高性能計(jì)算系統(tǒng)存儲解決方案

一、序言
油氣田勘探開發(fā)是一個(gè)集石油天然氣地質(zhì)勘探、油氣田開發(fā)、地質(zhì)開發(fā)試驗(yàn)和計(jì)算機(jī)應(yīng)用等為一體的綜合性應(yīng)用科學(xué)，具有數(shù)據(jù)報(bào)表類型多，數(shù)據(jù)量非常龐大等特點(diǎn)，每一個(gè)勘探單點(diǎn)都會有幾個(gè)GB甚至幾十個(gè)GB的數(shù)量數(shù)。隨著技術(shù)的發(fā)展和進(jìn)步，原油公司對地球勘探開發(fā)的要求越來越高，需要處理的數(shù)據(jù)量呈“指數(shù)級”難以想象的速度增長，需要借助高性能機(jī)群的數(shù)據(jù)處理能力，在最短的時(shí)間里對采集數(shù)據(jù)進(jìn)行精細(xì)處理，通過綜合解釋研究，為下一步的鉆井、開采提供真實(shí)反映地下構(gòu)造的基礎(chǔ)數(shù)據(jù)。
我們先來分析目前地球勘探開發(fā)單位常常會采用如下圖所示的高性能計(jì)算系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)：

圖1

上圖所示結(jié)構(gòu)以FC網(wǎng)絡(luò)和千兆以太網(wǎng)絡(luò)為基礎(chǔ)，服務(wù)器節(jié)點(diǎn)分為計(jì)算節(jié)點(diǎn)和IO節(jié)點(diǎn)兩種類型，其中計(jì)算節(jié)點(diǎn)專門負(fù)責(zé)數(shù)據(jù)處理和分析，IO節(jié)點(diǎn)負(fù)責(zé)傳輸數(shù)據(jù)。計(jì)算節(jié)點(diǎn)通過IO節(jié)點(diǎn)對核心存儲設(shè)備進(jìn)行讀寫操作

采用這種結(jié)構(gòu)主要是基于成本控制方面的考慮。如果系統(tǒng)采用FC-SAN存儲網(wǎng)絡(luò)架構(gòu)，那么每一臺計(jì)算節(jié)點(diǎn)上就必須安裝1塊或2塊HBA卡。大量HBA卡需要的建設(shè)成本就會非常高。與大量HBA卡相對應(yīng)的，網(wǎng)絡(luò)層需要增加大量的價(jià)格昂貴的光纖通道交換機(jī)。高性能計(jì)算系統(tǒng)的節(jié)點(diǎn)越多，建設(shè)成本就越高。

將計(jì)算節(jié)點(diǎn)和IO節(jié)點(diǎn)分開可以大大降低建設(shè)成本，但隨之也會帶來幾個(gè)問題，
1、多臺計(jì)算節(jié)點(diǎn)需要通過IO節(jié)點(diǎn)才可能訪問到存儲設(shè)備中的數(shù)據(jù)，數(shù)據(jù)讀寫的效率與IO節(jié)點(diǎn)的運(yùn)行狀相關(guān)，因此IO節(jié)點(diǎn)不可必免地會成為計(jì)算節(jié)點(diǎn)的性能瓶頸。
2、IO節(jié)點(diǎn)通過以太網(wǎng)絡(luò)與計(jì)算節(jié)點(diǎn)連接，提供數(shù)據(jù)傳輸服務(wù)。由于以太網(wǎng)絡(luò)的數(shù)據(jù)傳輸效率相對較低，單臺IO節(jié)點(diǎn)根本無法同時(shí)為所有的計(jì)算節(jié)點(diǎn)提供數(shù)據(jù)傳輸服務(wù)，因此大型的高性能計(jì)算系統(tǒng)一般都會有幾臺甚至幾十臺IO節(jié)點(diǎn)。具有大量的IO節(jié)點(diǎn)的高性能計(jì)算系統(tǒng)，其成本仍然會很高。
3、每一個(gè)IO節(jié)點(diǎn)都需要安裝集群軟件和負(fù)載均衡軟件，以防止計(jì)算節(jié)點(diǎn)的數(shù)據(jù)傳輸壓力集中到一個(gè)IO節(jié)點(diǎn)上。而高性能計(jì)算系統(tǒng)中所采用的集群軟件和負(fù)載均衡軟件一般都也非常貴，且不能保證多個(gè)IO節(jié)點(diǎn)上的壓力完全相同，往往會出現(xiàn)個(gè)別IO節(jié)點(diǎn)壓力過載時(shí)，大多數(shù)IO節(jié)點(diǎn)仍然欠載。過載節(jié)點(diǎn)的出現(xiàn)會大大降低整個(gè)系統(tǒng)中的工作效率。二、解決方案
為了解決圖1所示網(wǎng)絡(luò)結(jié)構(gòu)中存在的問題，UIT建議高性能計(jì)算系統(tǒng)的存儲網(wǎng)絡(luò)采用IP-SAN架構(gòu)，解決方案如下圖所示：

圖2

系統(tǒng)采用純千兆以及網(wǎng)架構(gòu)，核心存儲設(shè)備采用高性能 的ISCSI設(shè)備，計(jì)算節(jié)點(diǎn)和ISCS存儲設(shè)備之間通過千兆以太網(wǎng)交換機(jī)連接。

核心存儲采用1臺或多臺高性能ISCSI存儲設(shè)備UIT BS3000，其獨(dú)有的存儲虛擬化管理功能，可自動實(shí)現(xiàn)多個(gè)端口之間、多個(gè)BS3000設(shè)備之間的負(fù)載均衡。增加BS3000的數(shù)量不僅可以大幅度增加容量，還可以大幅度增加存儲的性能，從而提高整個(gè)存儲系統(tǒng)的可用帶寬和IOPS。

方案優(yōu)勢：
1、節(jié)省了圖1系統(tǒng)必須的光纖交換機(jī)和FC-HBA卡，因而可大幅度地降低系統(tǒng)的建設(shè)成本。
2、在存儲共享管理軟件的管理下，核心存儲設(shè)備的容量可同時(shí)共享給所有的計(jì)算節(jié)點(diǎn)，任何一個(gè)計(jì)算節(jié)點(diǎn)都可以通過以太網(wǎng)絡(luò)直接對核心存儲設(shè)備進(jìn)行讀寫訪問，從而真正地發(fā)揮出存儲設(shè)備和節(jié)點(diǎn)的性能，提高系統(tǒng)的工作效率。
3、系統(tǒng)中任何一個(gè)節(jié)點(diǎn)既是IO節(jié)點(diǎn)，又是計(jì)算節(jié)點(diǎn)，節(jié)省了圖1系統(tǒng)所必需的大量只能用于數(shù)據(jù)傳輸?shù)腎O節(jié)點(diǎn)，節(jié)省下來的費(fèi)用可用來購買更多的計(jì)算節(jié)點(diǎn)或更大的存儲容量。
4、少了IO節(jié)點(diǎn)，網(wǎng)絡(luò)中也就不會出現(xiàn)性能和帶寬瓶頸。
5、不再需要價(jià)格昂貴的集群和負(fù)載均衡軟件，消除了因集群軟件和負(fù)載均衡軟件帶來的性能降低，在節(jié)省成本的同時(shí)，還可以進(jìn)行提高網(wǎng)絡(luò)系統(tǒng)的性能。