工作室/部門/專題組實(shí)用高速非編存儲(chǔ)系統(tǒng)
存儲(chǔ)這個(gè)簡(jiǎn)單又復(fù)雜的名詞,記錄著人類幾千年的歷史,從歷史一步步走來(lái),人類記錄方式和記錄介質(zhì)在不斷的演變,到了現(xiàn)代,面對(duì)海量的資料,磁盤存儲(chǔ)無(wú)疑扮演著一個(gè)主要的角色,目前磁盤存儲(chǔ)市場(chǎng)上,存儲(chǔ)分類(如下表一)根據(jù)服務(wù)器類型分為:封閉系統(tǒng)的存儲(chǔ)和開放系統(tǒng)的存儲(chǔ),封閉系統(tǒng)主要指大型機(jī),開放系統(tǒng)指基于包括Windows、Linux、Mac OS等操作系統(tǒng)的工作站;開放系統(tǒng)的存儲(chǔ)分為:內(nèi)置存儲(chǔ)和外掛存儲(chǔ);我們今天討論的是外掛存儲(chǔ)。
開放系統(tǒng)的外掛存儲(chǔ)根據(jù)連接的方式分為:直連式存儲(chǔ)(Direct-Attached Storage,簡(jiǎn)稱DAS)和網(wǎng)絡(luò)化存儲(chǔ)(Fabric-Attached Storage,簡(jiǎn)稱FAS);開放系統(tǒng)的網(wǎng)絡(luò)化存儲(chǔ)根據(jù)傳輸協(xié)議又分為:網(wǎng)絡(luò)接入存儲(chǔ) (Network-Attached Storage,簡(jiǎn)稱NAS)和存儲(chǔ)區(qū)域網(wǎng)絡(luò)(Storage Area Network,簡(jiǎn)稱SAN)。由于目前絕大部分用戶采用的是開放系統(tǒng),其外掛存儲(chǔ)占有目前磁盤存儲(chǔ)市場(chǎng)的70%以上,因此本文主要針對(duì)開放系統(tǒng)的外掛存儲(chǔ)進(jìn)行論述說(shuō)明。
表一
今天的外掛存儲(chǔ)解決方案主要分為:直連式存儲(chǔ)(DAS)、存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)、網(wǎng)絡(luò)接入存儲(chǔ)(NAS)。
如下表二: 表二
開放系統(tǒng)的直連式存儲(chǔ)(Direct-Attached Storage,簡(jiǎn)稱DAS)已經(jīng)有近四十年的使用歷史
直連附加存儲(chǔ)( Direct Attached Storage,簡(jiǎn)稱DAS),顧名思義,在這種方式中,存儲(chǔ)設(shè)備是通過(guò)電纜直接到應(yīng)用工作站的。I/O(輸入/輸 出)請(qǐng)求直接發(fā)送到存儲(chǔ)設(shè)備。它依賴于工作站主機(jī),其本身是硬件的堆疊,不帶有任何存儲(chǔ)操作系統(tǒng)。
直連式存儲(chǔ)最大的優(yōu)點(diǎn)則在于,與主機(jī)直連中間沒(méi)有通過(guò)諸如交換機(jī)、網(wǎng)絡(luò)設(shè)備等所帶來(lái)的傳輸延遲或帶寬瓶頸。數(shù)據(jù)讀取IO性能是最優(yōu)的。非常適合高性能數(shù)據(jù)傳輸要求的應(yīng)用,例如電影、電視的內(nèi)容制作機(jī)構(gòu);2、3維海量圖片處理;高性能數(shù)據(jù)運(yùn)算(石油、化工、醫(yī)療)等。
隨著新一代系統(tǒng)IO總線(PCI-E)的進(jìn)步,控制器內(nèi)部處理器性能攀升,再加上外部傳輸協(xié)議的不斷更新、進(jìn)步(SAS、4Gb光纖等)。新的直連方式如雨后春筍,綻放開來(lái)??焖偬蕴瓊鹘y(tǒng)的SCSI方式,其中尤其以ESATA,SAS,FC為主,而目前性能和價(jià)格上來(lái)分析,SAS無(wú)疑最為超值,比如強(qiáng)氧的HD08S直連盤陣,通過(guò) SAS接口與主機(jī)相連可提供750MB/s(雙臺(tái)綁定)的實(shí)際讀寫速度和10TB以上容量。而性能和擴(kuò)展新更高的FC存儲(chǔ),則居于中高端領(lǐng)域,象Ciprico MV4210這樣的4Gb光纖產(chǎn)品,雙臺(tái)綁定可提供高達(dá)1.2GB/s的帶寬。容量的擴(kuò)充也突破了傳統(tǒng)模式,通過(guò)外部級(jí)聯(lián)多臺(tái) MV4210,就可以輕松獲取多達(dá)40TB的海量容量。
直連容量擴(kuò)展解決方案
直連式存儲(chǔ)依賴服務(wù)器或工作站主機(jī)的操作系統(tǒng)進(jìn)行數(shù)據(jù)IO讀寫和存儲(chǔ)維護(hù)管理,數(shù)據(jù)備份和恢復(fù)要求占用主機(jī)資源(包括CPU、系統(tǒng)IO等),數(shù)據(jù)流需要回流主機(jī)再到主機(jī)連接著的磁帶機(jī)(庫(kù)),數(shù)據(jù)備份通常占用服務(wù)器主機(jī)資源20-30%,因此許多企業(yè)用戶的日常數(shù)據(jù)備份常常在深夜或業(yè)務(wù)系統(tǒng)不繁忙時(shí)進(jìn)行,以免影響正常業(yè)務(wù)系統(tǒng)的運(yùn)行。直連式存儲(chǔ)的數(shù)據(jù)量越大,備份和恢復(fù)的時(shí)間就越長(zhǎng),對(duì)主機(jī)硬件的依賴性和影響就越大。
同時(shí),最大的優(yōu)點(diǎn)也是最大的缺點(diǎn),其只針對(duì)所連接的應(yīng)用端服務(wù)器(工作站)具有低延遲,高帶寬的特點(diǎn),然而其他用戶不得不通過(guò)其他方式(比如網(wǎng)絡(luò)共享)來(lái)訪問(wèn)DAS的內(nèi)容,這需要大量的處理器運(yùn)算,導(dǎo)致數(shù)據(jù)共享成為最大的難題!
隨著用戶數(shù)據(jù)的不斷增長(zhǎng),企業(yè)規(guī)模不斷壯大,DAS無(wú)法有效的與工作組其他成員共享文件,提升協(xié)同工作效率。其在備份、管理、災(zāi)備等方面會(huì)變得日益困擾系統(tǒng)管理員。尤其對(duì)于銀行、電信、實(shí)時(shí)在線播出等行業(yè)7×24小時(shí)服務(wù)的關(guān)鍵業(yè)務(wù)系統(tǒng),這是不可接受的。從而演變出SAN,NAS等多種存儲(chǔ)方式。
針對(duì)I/O是整個(gè)系統(tǒng)效率低下的瓶頸問(wèn)題,專家們提出了許多種解決辦法。其中抓住癥結(jié)并經(jīng)過(guò)實(shí)踐檢驗(yàn)為最有效的辦法是:將數(shù)據(jù)從通用的應(yīng)用工作站中分離出來(lái)以簡(jiǎn)化存儲(chǔ)管理。 #p#page_title#e#
圖一
圖二
從圖可看出:將存儲(chǔ)器從應(yīng)用工作站中分離出來(lái),進(jìn)行集中管理。這就是所說(shuō)的存儲(chǔ)網(wǎng)絡(luò)(Storage Networks)。
使用存儲(chǔ)網(wǎng)絡(luò)的好處:
統(tǒng)一性:形散神不散,在邏輯上是完全一體的。
實(shí)現(xiàn)數(shù)據(jù)集中管理,因?yàn)樗鼈儾攀瞧髽I(yè)真正的命脈。
容易擴(kuò)充,即收縮性很強(qiáng)。
具有容錯(cuò)功能,整個(gè)網(wǎng)絡(luò)無(wú)單點(diǎn)故障。
專家們針對(duì)這一辦法又采取了兩種不同的實(shí)現(xiàn)手段,即NAS(Network Attached Storage)網(wǎng)絡(luò)接入存儲(chǔ)和 SAN(Storage Area Networks)存儲(chǔ)區(qū)域網(wǎng)絡(luò)。
網(wǎng)絡(luò)接入存儲(chǔ)(Network-Attached Storage,簡(jiǎn)稱NAS)采用網(wǎng)絡(luò)(TCP/IP、ATM、FDDI)技術(shù),通過(guò)網(wǎng)絡(luò)交換機(jī)連接存儲(chǔ)系統(tǒng)和服務(wù)器(工作站)主機(jī),建立專用于數(shù)據(jù)存儲(chǔ)的存儲(chǔ)私網(wǎng)。隨著IP網(wǎng)絡(luò)技術(shù)的發(fā)展,網(wǎng)絡(luò)接入存儲(chǔ)(NAS)技術(shù)發(fā)生質(zhì)的飛躍。
早期80年代末到90年代初的10Mbps帶寬,NAS性能受帶寬影響;后來(lái)快速以太網(wǎng)(1000Mbps)、VLAN虛網(wǎng)、 Trunk(Ethernet Channel) 以太網(wǎng)通道的出現(xiàn),網(wǎng)絡(luò)接入存儲(chǔ)的讀寫性能得到改善; 為網(wǎng)絡(luò)接入存儲(chǔ) (NAS)帶來(lái)質(zhì)的變化和市場(chǎng)廣泛認(rèn)可。
由于網(wǎng)絡(luò)接入存儲(chǔ)采用TCP/IP網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)交換,TCP/IP是IT業(yè)界的標(biāo)準(zhǔn)協(xié)議,不同廠商的產(chǎn)品(服務(wù)器、交換機(jī)、NAS存儲(chǔ))只要滿足協(xié)議標(biāo)準(zhǔn)就能夠?qū)崿F(xiàn)互連互通,無(wú)兼容性的要求;并且隨著萬(wàn)兆以太網(wǎng) (10000Mbps)的出現(xiàn)和投入商用,存儲(chǔ)網(wǎng)絡(luò)帶寬將大大提高NAS存儲(chǔ)的性能。NAS需求旺盛已經(jīng)成為事實(shí)。首先NAS幾乎繼承了磁盤列陣的所有優(yōu)點(diǎn),可以將設(shè)備通過(guò)標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)連接,擺脫了服務(wù)器和異構(gòu)化構(gòu)架的桎梏; 用戶通過(guò)TCP/IP協(xié)議訪問(wèn)數(shù)據(jù),采用業(yè)界標(biāo)準(zhǔn)文件共享協(xié)議如:NFS、HTTP、CIFS輕松實(shí)現(xiàn)共享。
其次,在企業(yè)數(shù)據(jù)量飛速膨脹中,SAN、大型磁帶庫(kù)、磁盤柜等產(chǎn)品雖然都是很好的存儲(chǔ)解決方案,但他們那高貴的身份和復(fù)雜的操作是資金和技術(shù)實(shí)力有限的中小企業(yè)無(wú)論如何也不能接受的。NAS正是滿足這種需求的產(chǎn)品,在解決足夠的存儲(chǔ)和擴(kuò)展空間的同時(shí),還提供極高的性價(jià)比。因此,無(wú)論是從適用性還是TCO的角度來(lái)說(shuō),NAS自然成為多數(shù)企業(yè)的最佳選擇。
強(qiáng)氧的NAS系列產(chǎn)品,在兼容上述協(xié)議的同時(shí)還支持apple的appletalk協(xié)議。極大的擴(kuò)展了NAS的可用性!
強(qiáng)氧NAS系列產(chǎn)品屬于網(wǎng)絡(luò)存儲(chǔ)設(shè)備,其內(nèi)部操作系統(tǒng)基于修改和優(yōu)化的Linux操作系統(tǒng),完全采用自主開發(fā)的管理軟件,管理界面為易于操作管理的WEB方式。整個(gè)產(chǎn)品體系結(jié)構(gòu)采用軟硬件一體化的設(shè)計(jì)思想,通過(guò)應(yīng)用系統(tǒng)與硬件系統(tǒng)的深層次結(jié)合,實(shí)現(xiàn)了簡(jiǎn)便的安裝,同時(shí)大大提高了系統(tǒng)的安全可靠性。強(qiáng)氧 NAS系列產(chǎn)品面向各類大中型數(shù)據(jù)存儲(chǔ)應(yīng)用,是功能完備、性能強(qiáng)大、安全性高、易于管理、應(yīng)用豐富的專業(yè)網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)。它提供的多種應(yīng)用模式,可以很好的作為企業(yè)數(shù)據(jù)中心、教育資源中心、廣電媒資后臺(tái)、監(jiān)控集中數(shù)據(jù)、圖書館檔案館大容量后臺(tái)、電子政務(wù)數(shù)據(jù)存儲(chǔ)等各行各業(yè)的專業(yè)存儲(chǔ)設(shè)備。并且其高兼容性和易用性方便了不同應(yīng)用領(lǐng)域的業(yè)務(wù)無(wú)縫集成。
強(qiáng)氧NAS系統(tǒng),根據(jù)性能和容量的不同,分為三種,分別是最高8TB容量雙千兆出口帶寬工作組級(jí)NAS- S4084,最高16TB容量雙千兆出口帶寬部門級(jí)NAS-S41604,最高24TB容量四千兆出口帶寬的企業(yè)級(jí)NAS- S5248。強(qiáng)氧NAS系統(tǒng)采用EXT3的文件系統(tǒng)類型,提供超過(guò)NTFS,EXT2的穩(wěn)定性,和對(duì)大容量陣列支持的同時(shí),EXT3文件系統(tǒng)能夠極大地提高文件系統(tǒng)的完整性,避免了意外宕機(jī)對(duì)文件系統(tǒng)的破壞。
強(qiáng)氧NAS系統(tǒng)支持特有的NasNow功能,用來(lái)設(shè)置并監(jiān)控局域網(wǎng)中所有強(qiáng)氧 NAS主機(jī)的網(wǎng)絡(luò)信息。利用 Nasnow來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)上NAS的尋找,由于主要采用二層網(wǎng)絡(luò)協(xié)議完成搜索工作,所以該搜索可以跨網(wǎng)絡(luò)搜索,可及時(shí)發(fā)現(xiàn)強(qiáng)氧 NAS設(shè)備,并根據(jù)需要修改相關(guān)的配置信息。在NASNOW基礎(chǔ)之上,利用MDM實(shí)現(xiàn)了多臺(tái) NAS的集中管理。MDM(Multiple Device Manager)技術(shù)又被稱為多設(shè)備管理器。MDM使管理員能夠管理多個(gè)設(shè)備,并加強(qiáng)這些設(shè)備的訪問(wèn)控制。它通過(guò)一個(gè)中央地點(diǎn)管理多個(gè)服務(wù)器設(shè)備,包括子系統(tǒng)發(fā)現(xiàn)功能。 MDM的功能包括網(wǎng)絡(luò)中添加新設(shè)備的自動(dòng)發(fā)現(xiàn)、對(duì)設(shè)備的運(yùn)行記錄進(jìn)行跟蹤和審計(jì)、用于管理用途的群組功能等。 #p#page_title#e#
強(qiáng)氧NAS還支持最新的RAID6功能,在RAID5基礎(chǔ)上增加更高的安全級(jí)別,特別是在作為大容量離線存儲(chǔ)上,這點(diǎn)尤為重要!
但是NAS在存儲(chǔ)領(lǐng)域應(yīng)用中,在效能上還是很難滿足各行業(yè)要求快速響應(yīng)的要求,所以SAN作為老牌的存儲(chǔ)方式不斷的進(jìn)化和演變,成為在線存儲(chǔ)的主要應(yīng)用方式!SAN:通過(guò)專用光纖通道交換機(jī)訪問(wèn)數(shù)據(jù),采用FC-AL接口,相對(duì)于NAS來(lái)說(shuō)大大縮短延遲系數(shù),提高有效利用帶寬!
NAS和SAN的根本不同點(diǎn)?
存儲(chǔ)區(qū)域網(wǎng)絡(luò)(Storage Area Network,簡(jiǎn)稱SAN)采用光纖通道(Fibre Channel)技術(shù),通過(guò)光纖通道交換機(jī)連接存儲(chǔ)陣列和服務(wù)器(工作站)主機(jī),建立專用于數(shù)據(jù)存儲(chǔ)的區(qū)域網(wǎng)絡(luò)。SAN經(jīng)過(guò)十多年歷史的發(fā)展,已經(jīng)相當(dāng)成熟,成為業(yè)界的事實(shí)標(biāo)準(zhǔn)(但各個(gè)廠商的光纖交換技術(shù)不完全相同,其服務(wù)器和SAN存儲(chǔ)有兼容性的要求)。SAN存儲(chǔ)采用的帶寬從1Gbps 發(fā)展到目前的4Gbps。
NAS和SAN最本質(zhì)的不同就是文件管理系統(tǒng)在哪里。如圖:
圖3
由圖3可以看出,SAN結(jié)構(gòu)中,文件管理系統(tǒng)(FS)還是分別在每一個(gè)應(yīng)用工作站上;而NAS則是每個(gè)應(yīng)用工作站通過(guò)網(wǎng)絡(luò)共享協(xié)議(如:NFS、CIFS)使用同一個(gè)文件管理系統(tǒng)。換句話說(shuō):NAS和SAN存儲(chǔ)系統(tǒng)的區(qū)別是NAS 有自己的文件系統(tǒng)管理。
SAN是獨(dú)立于服務(wù)器網(wǎng)絡(luò)系統(tǒng)之外,幾乎擁有無(wú)限存儲(chǔ)能力的高速存儲(chǔ)網(wǎng)絡(luò)。這種網(wǎng)絡(luò)采用高速的光纖通道作為傳輸媒體,以FC(Fiber Channel,光通道應(yīng)用協(xié)議作為存儲(chǔ)訪問(wèn)協(xié)議,將存儲(chǔ)子系統(tǒng)網(wǎng)絡(luò)化,實(shí)現(xiàn)了真正高速共享存儲(chǔ)的目標(biāo)。
強(qiáng)氧的SAN網(wǎng)絡(luò)系統(tǒng),優(yōu)勢(shì)在于其特別針對(duì)廣電行業(yè)進(jìn)行優(yōu)化,支持MAC,PC多平臺(tái),根據(jù)策略不同可以做到文件級(jí)管理或者卷級(jí)管理。并且存儲(chǔ)越多其存儲(chǔ)對(duì)應(yīng)的出口帶寬越大!特別適合多總平臺(tái)的在線編輯操作!
強(qiáng)氧的SAN網(wǎng)絡(luò)系統(tǒng)是SAN網(wǎng)絡(luò)上共享、管理和使用數(shù)據(jù)的完美途徑。 是專為滿足數(shù)據(jù)可用性的最高需求的大小型計(jì)算環(huán)境設(shè)計(jì)的 64 位簇文件系統(tǒng)。 這項(xiàng)專業(yè)技術(shù)使多個(gè) Mac 桌面和PC系統(tǒng)通過(guò)高速光纖通道網(wǎng)絡(luò)共享 RAID 存儲(chǔ)卷標(biāo)。 每個(gè)客戶端可以直接在中央文件系統(tǒng)上讀取和寫入數(shù)據(jù),從而增強(qiáng)工作組協(xié)作并提高用戶效率。
跨平臺(tái)的SAN文件系統(tǒng)可以為多種主機(jī)提供對(duì)同一數(shù)據(jù)文件的“數(shù)據(jù)塊”級(jí)的訪問(wèn)。完全使用Fibre Channel Direct I/O功能,不在SAN網(wǎng)絡(luò)中使用TCP/IP和NFS方式共享文件,從而充分發(fā)揮SAN網(wǎng)絡(luò)硬件性能,并保證隨著SAN網(wǎng)絡(luò)性能的提高而提高。這不僅極大提高了系統(tǒng)性能,而且降低了磁盤存儲(chǔ)成本。
但不可忽視的是,如此一個(gè)全光纖網(wǎng)絡(luò)所耗費(fèi)的成本也是昂貴的,我們每一個(gè)客戶端都要添加4Gb的光纖卡和存儲(chǔ)系統(tǒng)共享軟件節(jié)點(diǎn),當(dāng)節(jié)點(diǎn)越多的時(shí)候,這個(gè)問(wèn)題尤為明顯!如何做到魚與熊掌間的,是當(dāng)今各公司產(chǎn)品開發(fā)的一個(gè)重點(diǎn),也是各個(gè)行業(yè)急需解決的問(wèn)題!
從原理來(lái)看,NAS是將目光集中在用戶權(quán)限管理和文件分類管理以及它們共享的數(shù)據(jù)上。SAN是將目光集中在磁盤、磁帶以及聯(lián)接它們的可靠的基礎(chǔ)結(jié)構(gòu)。所以強(qiáng)氧推出的從桌面系統(tǒng)到數(shù)據(jù)集中管理到存儲(chǔ)設(shè)備的全面解決方案是NAS加SAN的一個(gè)完美結(jié)合。
如上圖所示,上面是一家很富有的大型制作機(jī)構(gòu)的實(shí)際應(yīng)用流程,圍繞不同工作端的特點(diǎn)分別應(yīng)用到了不同的存儲(chǔ)解決方案。在關(guān)鍵業(yè)務(wù),比如剪輯,調(diào)色上我們需要大量且快速的共享素材,來(lái)進(jìn)行編輯和調(diào)色,所以我們做到SAN里面,而合成,配音,渲染業(yè)務(wù),我們做到LAN里,其中合成和渲染所要做到在線是很不現(xiàn)實(shí)的,而且按每天的工作量來(lái)看,其所要生成的數(shù)據(jù)量并不大,所以我們進(jìn)行本地配置DAS的同時(shí)用 NAS來(lái)通過(guò)LAN做素材共享,而且SAN里面的內(nèi)容我們通過(guò)MSCserver共享給LAN里面的客戶端,通過(guò)增加網(wǎng)絡(luò)帶寬聚合解決了SAN與NAS的數(shù)據(jù)傳輸,其中NAS在里面起到了文件管理、不同工作組間的權(quán)限和配額分配,很完善的解決了數(shù)據(jù)共享的問(wèn)題。整個(gè)方案是一套跨平臺(tái)的數(shù)據(jù)共享解決方案! #p#page_title#e#
綜述: 無(wú)論dasnassan都有各自的偏重,他們都有各自的優(yōu)劣勢(shì)。
Das: 優(yōu)勢(shì):最高性能、廉價(jià)。劣勢(shì):無(wú)法共享、不適合大型工作組。是高性能數(shù)據(jù)io要求(影視包裝、廣告、電影后期制作等高質(zhì)量視頻文件的合成、精剪 、較色)和中小型后期制作公司的不二之選。
Nas: 偏重管理性、數(shù)據(jù)安全性,高性價(jià)比。無(wú)論什么規(guī)模的企業(yè)都應(yīng)該擁有的數(shù)據(jù)安全保障機(jī)制。
San; 性能和管理的集中體現(xiàn),缺點(diǎn)只是實(shí)施和管理成本過(guò)高。
推薦:結(jié)合目前中國(guó)的主流商業(yè)情況,應(yīng)用端工作站外掛直連存儲(chǔ)(DAS),以保證帶寬、解決高性能應(yīng)用。再通過(guò)千兆(或萬(wàn)兆)以太網(wǎng)絡(luò)連接NAS做集中存儲(chǔ),解決多用戶環(huán)境的素材的集中管理和權(quán)限分配。這樣的方案性價(jià)比出眾,實(shí)施成本低,人員維護(hù)簡(jiǎn)單易行。(如圖)
我們希望 通過(guò)上述所有文字,為每位用戶在規(guī)劃自己的存儲(chǔ)應(yīng)用需求時(shí)可以清晰的結(jié)合自身不同情況以選擇最適合自己的存儲(chǔ)解決方案