電信業(yè)存儲特點解析:穩(wěn)定壓倒一切
步入2010年,3G網(wǎng)絡(luò)逐漸成熟,視頻信息日漸豐富,三網(wǎng)融合走上前臺,云計算正如火如荼地展開,物聯(lián)網(wǎng)也逐步從概念走向試點,電信行業(yè)正處于存儲高速增值的需求階段。
數(shù)據(jù)增長快
中國電信行業(yè)是存儲需求最大的行業(yè)。據(jù)可靠數(shù)據(jù)顯示,某省的BOSS和智能分析系統(tǒng)的存儲容量已經(jīng)超過2500T。
轉(zhuǎn)型時代的電信綜合業(yè)務(wù)支撐系統(tǒng)(BOSS)將計費、營業(yè)、客服三種基本業(yè)務(wù)系統(tǒng)融合在一起,使得電信企業(yè)的信息技術(shù)環(huán)境變得越來越復(fù)雜。面臨日益加劇的市場競爭,24×7小時服務(wù)被運營商當(dāng)做了一個最基本的服務(wù)措施,所有與存儲相關(guān)的工作都要在系統(tǒng)不間斷運行的狀態(tài)下完成。同時,電信系統(tǒng)運轉(zhuǎn)過程中產(chǎn)生的海量數(shù)據(jù)也給存儲系統(tǒng)帶來了越來越大的壓力,決策分析、CRM等應(yīng)用所需要的龐大數(shù)據(jù)倉庫不僅要求存儲系統(tǒng)能夠在第一時間完成對這些數(shù)據(jù)的傳輸、保存,而且任何小小的存儲偏差和故障都不允許。
此外,開放的存儲系統(tǒng)呈現(xiàn)快速增長趨勢。Windows和Linux平臺上的存儲容量增長迅速,核心原因就是非結(jié)構(gòu)化數(shù)據(jù)增加快。以往我們了解較多的是結(jié)構(gòu)化數(shù)據(jù),這往往是企業(yè)內(nèi)部交易系統(tǒng)中的數(shù)據(jù)。另一類則是“業(yè)務(wù)關(guān)鍵數(shù)據(jù)”,是指非結(jié)構(gòu)化數(shù)據(jù),這類數(shù)據(jù)往往用來向內(nèi)部或外部客戶提供服務(wù),在開放的環(huán)境中可由公眾訪問,比如像E-mail、Web網(wǎng)站內(nèi)容、文檔、圖片、音頻/視頻數(shù)據(jù)等。這類數(shù)據(jù)的不斷增長對存儲系統(tǒng)提出了新的需求。用戶不再僅僅要求單一的存儲產(chǎn)品,而是需要廠商從平臺到應(yīng)用提供一站式存儲解決方案,需要支持基于策略的數(shù)據(jù)管理,能夠通過不同存儲產(chǎn)品的組合獲得最佳存儲能力。
目前,電信運營商的IT支撐系統(tǒng)走向一個從分散到集中,從簡單到復(fù)雜的過程。其中,服務(wù)器和存儲系統(tǒng)由于承擔(dān)著認證、存儲、運行各種增值業(yè)務(wù)的關(guān)鍵任務(wù),它們密不可分,并且在很大程度上決定了電信轉(zhuǎn)型時期的業(yè)務(wù)發(fā)展。今天,電信運營商在開拓新業(yè)務(wù)的同時,還需要不斷提高服務(wù)質(zhì)量,這對IT系統(tǒng)特別是存儲系統(tǒng)提出了更高的要求。結(jié)合原有核心電信業(yè)務(wù)、運營支撐系統(tǒng)的優(yōu)化改造,傳統(tǒng)電信運營商如何合理地規(guī)劃和建設(shè)新一代數(shù)據(jù)存儲系統(tǒng),已經(jīng)受到廣泛關(guān)注。
計費、對賬、網(wǎng)管等系統(tǒng)的順暢運行是電信運營商順利開展各項業(yè)務(wù)的基本條件,這些數(shù)據(jù)的安全與否甚至?xí)P(guān)系到運營商競爭策略的制定以及市場地位,因而打造一個堅固穩(wěn)定的存儲系統(tǒng)顯得格外重要。
時下,對關(guān)鍵數(shù)據(jù)的存儲和備份也已成為電信業(yè)基礎(chǔ)運營發(fā)展的關(guān)鍵。電信行業(yè)的數(shù)據(jù)環(huán)境比較典型: 一是應(yīng)用類型的多樣性,如Web、E-mail、綜合營賬、短信計費及移動計費等主營業(yè)務(wù); 二是數(shù)據(jù)類型的多樣化,在電信行業(yè)的應(yīng)用中包括了數(shù)據(jù)庫數(shù)據(jù)文件、普通文本文件、各種格式的圖形文件、表格、多媒體文件以及其他各種文件格式; 三是系統(tǒng)平臺的多樣性,在電信行業(yè)中Unix、NT等多種平臺的使用方法都不盡相同; 四是存儲結(jié)構(gòu)的多樣性,因為電信行業(yè)自身的發(fā)展歷程和時間的延續(xù),在不同時期的不相同應(yīng)用導(dǎo)致了多種存儲方式并存的現(xiàn)象,規(guī)模較大的電信行業(yè)網(wǎng)絡(luò)可能同時具有從DAS、NAS到SAN的各種存儲結(jié)構(gòu)。
三類存儲利弊分析
目前的存儲方式通常被劃分為三大陣營,即SAN、iSCSI和NAS,它們分別針對不同的業(yè)務(wù)應(yīng)用。SAN存儲方式具有高度的數(shù)據(jù)安全性和高性能運轉(zhuǎn)等特 征,因此在電信關(guān)鍵業(yè)務(wù)領(lǐng)域被廣泛采用。NAS技術(shù)則更適用于具有大量歷史數(shù)據(jù)的IP局域網(wǎng)絡(luò)的集中存儲。iSCSI作為新技術(shù),實際上是FC技術(shù)和IP技術(shù)的綜合利用,高性價比和可靠的性能廣泛應(yīng)用于以流媒體為主的視頻監(jiān)控和CDN寬帶項目上。
三種技術(shù)的不同優(yōu)勢使電信運營商在構(gòu)建不同存儲系統(tǒng)時可各取所長。例如,某運營商為了在保證業(yè)務(wù)量高速增長時實現(xiàn)后端存儲系統(tǒng)性能和容量,故選擇了SAN解決方案。為了解決原有直連式存儲(DAS)對數(shù)據(jù)高度集中形成的瓶頸,該運營商利用基于SAN存儲區(qū)域網(wǎng)的存儲和信息共享平臺對原系統(tǒng)進行了改造,不僅大大減少了系統(tǒng)的停機時間、備份和恢復(fù)時間,而且還進一步優(yōu)化了存儲和服務(wù)器資源。 #p#page_title#e#
隨著存儲技術(shù)的發(fā)展,用戶對于SAN的逐漸認可成為當(dāng)前存儲虛擬化熱潮的主要推動力。通過網(wǎng)絡(luò)存儲技術(shù),SAN正急劇改變著傳統(tǒng)的存儲模式。曾經(jīng)被大量的異構(gòu)服務(wù)器和存儲系統(tǒng)、多重冗余的光纖交換機連結(jié)、相互交織的應(yīng)用系統(tǒng)等問題困擾不已的電信行業(yè)用戶對全面存儲管理的渴望日益強烈。
另外,iSCSI產(chǎn)品在連接通路上就比FC存儲更加平民化,把SCSI協(xié)議封裝在IP包里,這讓存儲系統(tǒng)走出了貴族式的消費,開始讓廣大的用戶可以使用高速穩(wěn)定的數(shù)據(jù)存儲服務(wù)。 隨著iSCSI存儲系統(tǒng)中基于Cache Mirror雙控技術(shù)的成熟,iSCSI有取代中低端FC存儲的趨勢。例如在某省運營商的“全球眼”系統(tǒng)招標(biāo)中,最初的考慮方案是FC存儲系統(tǒng)。 但是“全球眼”項目存放的大都是視頻文件,動輒上百T。如果使用FC存儲,存儲的投資將達到全網(wǎng)投資的一半以上,而且分布在各地的FC存儲系統(tǒng)都需要專人維護,維護費用太高。而最后選用的IP存儲設(shè)備解決了這些問題: 基于Cache Mirror的雙控全冗余技術(shù)能夠提供電信級的服務(wù),而基于IP網(wǎng)絡(luò)的Web管理模式,能讓用戶在30分鐘內(nèi)學(xué)會應(yīng)用。
簡約之道
鑒于電信存儲的復(fù)雜需求,電信級存儲幾乎被視為是最復(fù)雜存儲環(huán)境的集合。為了避免風(fēng)險,電信運營商通常會選用多個存儲設(shè)備廠商的產(chǎn)品來組成這個龐大的存儲陣列。但是這種模式最終卻成為了阻礙電信系統(tǒng)數(shù)據(jù)資源共享以及系統(tǒng)協(xié)同運作的障礙。為何會如此呢?因為不同存儲設(shè)備廠商基于不同技術(shù)內(nèi)核設(shè) 計出來的產(chǎn)品形成了一個個異構(gòu)系統(tǒng),它們?nèi)狈y(tǒng)一標(biāo)準(zhǔn),從而制約了存儲設(shè)備的無縫連接。由于這一矛盾日益凸顯,大量的資源浪費以及對電信系統(tǒng)整合的迫切需求都在催促著存儲市場能夠出現(xiàn)一種完美的解決方式來打破這種僵局。
簡約存儲的理念就這樣應(yīng)運而生了,將復(fù)雜的存儲環(huán)境簡單化,消除異構(gòu)平臺所造成的信息傳遞壁壘是簡約存儲的基本思路。簡約存儲的根本目標(biāo)就是充 分提高存儲資源的利用率,降低存儲管理的復(fù)雜性,將企業(yè)內(nèi)部分散的存儲系統(tǒng)有效整合,實現(xiàn)跨平臺的存儲資源共享和統(tǒng)一管理,將存儲再度化繁為簡。
虛擬化存儲成為實現(xiàn)簡約存儲的實際途徑。虛擬化是一種實現(xiàn)對邏輯環(huán)境進行簡單管理的有效手段。通過虛擬化,用戶將擺脫底層物理環(huán)境的復(fù)雜性,充分利用基于異構(gòu)平臺的存儲空間,在開放的基礎(chǔ)上實現(xiàn)對資源的有效規(guī)劃。虛擬化可以自動配置存儲設(shè)備及其空間,使用戶能在一個域中使用在物理上分散存在的所有存儲資源,以便跨地區(qū)管理不可預(yù)測的事件。而無論這些存儲資源所處的存儲域的位置、大小、類型和制造商如何,都可從單一邏輯視圖中進行管理。
虛擬化存儲是實現(xiàn)簡約存儲的實際途徑。它可以在三個不同的層面上實現(xiàn): 基于專用卷管理軟件在主機服務(wù)器上實現(xiàn),利用陣列控制器的固件在磁盤陣列上實現(xiàn)以及利用專用的虛擬化引擎在存儲網(wǎng)絡(luò)上實現(xiàn)。在復(fù)雜的電信環(huán)境下,由于同時存在多個主機服務(wù)器訪問多個異構(gòu)存儲設(shè)備的狀況,基于存儲網(wǎng)絡(luò)的存儲虛擬化成為了其主要的發(fā)展方向。
引入信息生命管理
為了以最低的成本實現(xiàn)信息價值最大化,企業(yè)已經(jīng)開始將自動化網(wǎng)絡(luò)存儲基礎(chǔ)設(shè)施與其綜合服務(wù)和解決方案結(jié)合在一起,然后以此為基礎(chǔ)制訂新的信息管理策略。這種新的信息管理策略稱為信息生命周期管理(Information Lifecycle Management, ILM),其目標(biāo)是完全支持組織、機構(gòu)業(yè)務(wù)目標(biāo)和服務(wù)水平的需求。
采用這種新的信息管理方式,企業(yè)將根據(jù)戰(zhàn)略需求對數(shù)據(jù)進行分類,然后制訂相應(yīng)的策略,確定最優(yōu)服務(wù)水平和最低成本,并利用自動化網(wǎng)絡(luò)存儲基礎(chǔ)設(shè)施,將信息轉(zhuǎn)移到相應(yīng)的服務(wù)等級,以滿足企業(yè)要求。
信息生命周期管理通過對信息進行分類和分層管理,可以提高資源的利用率,保證服務(wù)水平管理(SLA)的實現(xiàn),從而保證投資效益的最大化。
ILM需要一個靈活、統(tǒng)一、可擴展、穩(wěn)定且自動的存儲基礎(chǔ)設(shè)施。 #p#page_title#e#
信息生命周期可分為六個階段,它們分別為數(shù)據(jù)創(chuàng)建階段、數(shù)據(jù)保護階段、數(shù)據(jù)訪問階段、數(shù)據(jù)遷移階段、數(shù)據(jù)歸檔階段、數(shù)據(jù)回收(銷毀)階段。每個階段對其信息管理的需求都是不一樣的。數(shù)據(jù)創(chuàng)建階段需要穩(wěn)定、可靠、高可擴展能力的存儲設(shè)備; 數(shù)據(jù)保護階段將按照數(shù)據(jù)和應(yīng)用系統(tǒng)的等級,采用不同的數(shù)據(jù)保護措施和技術(shù),如磁盤備份、磁帶備份、本地復(fù)制和遠程復(fù)制等,以保證各類數(shù)據(jù)和信息得到及時和有效的保護; 數(shù)據(jù)訪問階段要按照數(shù)據(jù)和應(yīng)用系統(tǒng)的等級實現(xiàn)在線、近線和離線三種訪問方式; 數(shù)據(jù)遷移階段要將數(shù)據(jù)從一個存儲設(shè)備轉(zhuǎn)移到另外一個存儲設(shè)備,而且不影響系統(tǒng)的正常運行; 數(shù)據(jù)歸檔階段可通過價格低、容量大的存儲介質(zhì)和系統(tǒng),對要長期保存的數(shù)據(jù)進行存儲。
整個信息生命周期管理涉及信息存儲的各項技術(shù),包括網(wǎng)絡(luò)存儲平臺、存儲基礎(chǔ)設(shè)施軟件、信息復(fù)制、備份和恢復(fù)軟件、基于策略的存儲管理軟件以及存儲、數(shù)據(jù)優(yōu)化服務(wù)等。
當(dāng)前傳統(tǒng)電信運營商在集團、省和本地網(wǎng)三級管理模式下,數(shù)據(jù)大量集中于本地網(wǎng),而集團和省兩級系統(tǒng)的數(shù)據(jù)則嚴(yán)重缺乏,因此無論從業(yè)務(wù)管理還是技術(shù)實現(xiàn)的角度考慮,實現(xiàn)數(shù)據(jù)向省和集團系統(tǒng)的集中勢在必行,這種趨勢已經(jīng)在一些新電信運營商實際運營過程中得到了充分驗證。
未來傳統(tǒng)電信運營商的數(shù)據(jù)存儲模式會在集團、省和本地網(wǎng)三級結(jié)構(gòu)基礎(chǔ)之上構(gòu)筑,通過簡化本地網(wǎng)存儲應(yīng)用,在省級實現(xiàn)數(shù)據(jù)存儲高度集中的基礎(chǔ)之上,實現(xiàn)全國范圍內(nèi)數(shù)據(jù)在集團的匯總。存儲還是會以高帶寬、高速的FC存儲為主作為系統(tǒng)的支撐存儲系統(tǒng),而其他的增值業(yè)務(wù),如視頻監(jiān)控、IPTV和彩鈴等,因為投資成本及業(yè)務(wù)的快速變化會大量使用ISCSI的新型存儲系統(tǒng),NAS作為最靈活,最方便的存儲系統(tǒng)也將大量使用在辦公和一些增值業(yè)務(wù)上面。
案例解析
省級BOSS系統(tǒng)的存儲分析
BOSS系統(tǒng)由計費結(jié)算子系統(tǒng)、營業(yè)賬務(wù)子系統(tǒng)、綜合查詢子系統(tǒng)和報表子系統(tǒng)組成,各子系統(tǒng)之間的數(shù)據(jù)交互關(guān)系如圖所示。
子系統(tǒng)組成
公司業(yè)務(wù)支撐系統(tǒng)包括操作型和分析型系統(tǒng)兩部分。分析型業(yè)務(wù)支撐系統(tǒng)主要由省級經(jīng)營分析系統(tǒng)和地市數(shù)據(jù)集市系統(tǒng)構(gòu)成; 操作型業(yè)務(wù)支撐系統(tǒng)由全省集中的BOSS計費結(jié)算子系統(tǒng)、BOSS營業(yè)賬務(wù)子系統(tǒng)、門戶網(wǎng)站系統(tǒng)、區(qū)域分散的客服系統(tǒng)構(gòu)成。
全省集中的計費結(jié)算子系統(tǒng)通過地市采集中心從各MSC、SCP、ISMG、SGSN、GGSN等網(wǎng)元采集用戶服務(wù)記錄之后進行計費結(jié)算處理,并把經(jīng)過批價的用戶清單發(fā)送到BOSS營賬子系統(tǒng),由BOSS營賬子系統(tǒng)進行賬務(wù)處理。
全省集中的營賬子系統(tǒng)實現(xiàn)營銷、賬務(wù)和客服功能。營業(yè)廳、代辦點或客服中心的營業(yè)員通過BOSS系統(tǒng)進行用戶業(yè)務(wù)受理,同時產(chǎn)生訂單,并通過與HLR等網(wǎng)元的接口程序?qū)崿F(xiàn)服務(wù)開通。同時,營賬子系統(tǒng)對清單進行合賬,產(chǎn)生賬單,并進行銷賬,同時支持多種繳費方式,實現(xiàn)欠費管理等??头峋€子系統(tǒng)作為BOSS的組成部分,實現(xiàn)業(yè)務(wù)咨詢、投訴和故障申告等功能。
備份需求
BOSS計費結(jié)算子系統(tǒng)、營業(yè)賬務(wù)子系統(tǒng)以及關(guān)鍵業(yè)務(wù)容災(zāi)子系統(tǒng)都采用SAN架構(gòu),使用高端磁盤存儲;
目前備份/恢復(fù)系統(tǒng)分割成兩個層次。一級備份設(shè)備為二級存儲(虛擬磁帶庫VTL): 一方面,利用其高速的數(shù)據(jù)吞吐能力來匹配主機的數(shù)據(jù)處理能力,完成快速備份; 另一方面,匹配低速的物理磁帶庫。二級備份設(shè)備利用現(xiàn)有的物理磁帶庫,將數(shù)據(jù)備份到物理磁帶,達到離線保存的目的。而全部的備份存儲設(shè)備(包括VTL和物理磁帶庫)采用備份軟件(Veritas NBU),在其管理和控制下工作。離線數(shù)據(jù)轉(zhuǎn)存只在二級存儲和物理磁帶庫之間進行,不占用主機資源,不受時間窗口控制,可靈活設(shè)置和選擇。
存儲要求表
BOSS系統(tǒng)數(shù)據(jù)(除詳單外)全備份時間周期≤7天。
BOSS系統(tǒng)詳單數(shù)據(jù)全備份時間時間周期≤1個月。
BOSS系統(tǒng)數(shù)據(jù)增量備份時間周期≤24小時。 #p#page_title#e#
BOSS系統(tǒng)操作系統(tǒng)備份時間周期≤1個月。
BOSS系統(tǒng)原始服務(wù)使用記錄要求在線保存3個月、離線保存6個月。
對異常服務(wù)使用記錄要求在線保存3個月、離線保存1年。
結(jié)算數(shù)據(jù)(包括漫游結(jié)算和網(wǎng)間結(jié)算)要求在線保存4個月、離線保存1年。
省中心聯(lián)機采集系統(tǒng)保存原始服務(wù)使用記錄的時間3個月,其中在線保存7天。
省中心保存詳單3年,其中在線可查詢6個月內(nèi)的服務(wù)使用記錄(含智能網(wǎng)服務(wù)使用記錄)。
省中心保存上發(fā)文件3個月,其中在線保存7天。
省中心保存營業(yè)、賬務(wù)及客戶服務(wù)交易記錄數(shù)據(jù)3年,其中在線可查詢12個月內(nèi)的記錄。
省中心保存賬單3年。
省中心在線永久保存客戶資料(客戶信息、用戶信息、賬戶信息)、產(chǎn)品資料和統(tǒng)計報表的結(jié)果數(shù)據(jù)。
在線保留扣費文件時間: 3個月; 離線備份: 2年。
在線保留扣費結(jié)果記錄時間: 3個月,離線備份: 2年。
在線保留業(yè)務(wù)管理交易記錄時間: 1年; 離線備份: 2年。
在線保留話務(wù)控制交易記錄時間: 1個月; 離線備份: 2年。
鏈 接
電信行業(yè)存儲的三大特性
高可用性 在基礎(chǔ)設(shè)施系統(tǒng)中,存儲與服務(wù)器并存,一旦服務(wù)器發(fā)生故障,用戶可正常訪問數(shù)據(jù),即要求服務(wù)器在發(fā)生故障的情況下保證存儲系統(tǒng)中的數(shù)據(jù)可用。另外,要求系統(tǒng)運行具有很強的容錯能力,以保持高可靠性。
不間斷運行 即保證存儲系統(tǒng)在不中斷的情況下實現(xiàn)數(shù)據(jù)的備份、系統(tǒng)的維護和應(yīng)用的不間斷運轉(zhuǎn)。
高效的災(zāi)難恢復(fù) 在用戶的應(yīng)用過程中,自然災(zāi)害和人為意外難以避免,在人為意外和自然災(zāi)害之后能夠順利地恢復(fù)存儲系統(tǒng)。