云計(jì)算與云存儲深度分析與介紹
云計(jì)算與云存儲深度分析與介紹
云的定義是,懸浮在空中,不接觸地面,肉眼可見的水滴、冰晶或二者的混合體。是指停留大氣層上的水滴或冰晶膠體的集合體。云是地球上龐大的水循環(huán)的有形的結(jié)果。太陽照在地球的表面,水蒸發(fā)形成水蒸氣,一旦水汽過飽和,水分子就會聚集在空氣中的微塵(凝結(jié)核)周圍,由此產(chǎn)生的水滴或冰晶將陽光散射到各個方向,這就產(chǎn)生了云的外觀。那網(wǎng)絡(luò)云,又有多少朋友知道或了解呢?下面學(xué)習(xí)啦小編就為大家介紹一下什么是網(wǎng)絡(luò)云,歡迎大家參考和學(xué)習(xí)。
網(wǎng)絡(luò)云 云儲存與云計(jì)算的內(nèi)外聯(lián)系
云計(jì)算是分布式處理(DistributedComputing)、并行處理(ParallelComputing)和網(wǎng)格計(jì)算(GridComputing)的發(fā)展,是透過網(wǎng)絡(luò)將龐大的計(jì)算處理程序自動分拆成無數(shù)個較小的子程序,再交由多臺服務(wù)器所組成的龐大系統(tǒng)經(jīng)計(jì)算分析之后將處理結(jié)果回傳給用戶。通過云計(jì)算技術(shù),網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi),處理數(shù)以千萬計(jì)甚至億計(jì)的信息,達(dá)到和“超級計(jì)算機(jī)”同樣強(qiáng)大的網(wǎng)絡(luò)服務(wù)。
云計(jì)算系統(tǒng)的建設(shè)目標(biāo)是將運(yùn)行在PC上、或單個服務(wù)器上的獨(dú)立的、個人化的運(yùn)算遷移到一個數(shù)量龐大服務(wù)器“云”中,由這個云系統(tǒng)來負(fù)責(zé)處理用戶的請求,并輸出結(jié)果,它是一個以數(shù)據(jù)運(yùn)算和處理為核心的系統(tǒng)。
云存儲是在云計(jì)算(cloudcomputing)概念上延伸和發(fā)展出來的一個新的概念,是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲和管理時,云計(jì)算系統(tǒng)中就需要配置大量的存儲設(shè)備,那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng),所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計(jì)算系統(tǒng)。
與云計(jì)算系統(tǒng)相比,云存儲可以認(rèn)為是配置了大容量存儲空間的一個云計(jì)算系統(tǒng)。
網(wǎng)絡(luò)云
從架構(gòu)模型來看,云存儲系統(tǒng)系統(tǒng)比云計(jì)算系統(tǒng)多了一個存儲層,同時,在基礎(chǔ)管理也多了很多與數(shù)據(jù)管理和數(shù)據(jù)安全有關(guān)的功能,在兩者在訪問層和應(yīng)用接口層則是完全相同的。
云計(jì)算到底有多大?
計(jì)算機(jī)的云計(jì)算已經(jīng)舍我其誰地成為了現(xiàn)今互聯(lián)網(wǎng)發(fā)展的主題,其延伸和發(fā)展出的云存儲也當(dāng)仁不讓地成為了主流的數(shù)據(jù)存儲和管理方式。云存儲系統(tǒng)正逐步成為網(wǎng)站和網(wǎng)絡(luò)服務(wù)方用于存放管理自己數(shù)據(jù)信息的主要選擇。云那頭究竟風(fēng)景如何,讓我們來探個究竟。
根據(jù)科技網(wǎng)站ExtremeTech的統(tǒng)計(jì),整個互聯(lián)網(wǎng)的下載流量中,有40%是訪問YouTube這樣的視頻網(wǎng)站產(chǎn)生的;色情網(wǎng)站則占了另一大山頭,占據(jù)整體流量的30%;剩下的30%由網(wǎng)絡(luò)硬盤數(shù)據(jù)下載、訪問網(wǎng)址、電子郵件等日常網(wǎng)絡(luò)服務(wù)產(chǎn)生。當(dāng)電腦前的人們從互聯(lián)網(wǎng)上獲取信息時,大概沒有人會去關(guān)注信息究竟來自何處。如果大家順藤摸瓜,便可以發(fā)現(xiàn)這些信息中的絕大部分都來源于互聯(lián)網(wǎng)的云端。
如今提供云存儲服務(wù)的服務(wù)商不僅有亞馬遜(旗下Amazon Web Services),微軟(旗下Microsoft Azure)和谷歌(旗下Google Drive)這樣的網(wǎng)絡(luò)巨頭,還有成百上千的小公司機(jī)構(gòu)。他們中或擁有一整個數(shù)據(jù)中心,或只有幾個機(jī)箱的存儲設(shè)備,規(guī)模參差不齊。從這些大大小小的公司身上我們大可窺探整個云儲存產(chǎn)業(yè)的火爆程度。
云計(jì)算因其出眾的能力備受青睞,它可以最快的效率為網(wǎng)絡(luò)中的任何一方提供相關(guān)服務(wù)。谷歌麾下單單一個為YouTube服務(wù)的“云團(tuán)”就可以存儲管理幾個PB(1PB=1024TB)的數(shù)據(jù)。云計(jì)算可以有幾TB的RAM與幾千核的CPU,遠(yuǎn)非傳統(tǒng)計(jì)算機(jī)可比。而云計(jì)算延伸發(fā)展出的云存儲又究竟有著怎樣的魅力,引得谷歌、微軟和Dropbox這樣的巨頭競相折腰?讓我們從數(shù)據(jù)入手。
云存儲數(shù)據(jù)規(guī)模
通常,谷歌、Facebook、亞馬遜和微軟這樣的大公司都很少對外發(fā)布自己的詳細(xì)數(shù)據(jù)。不過如果用心去多方核查,還是可以得到一些大概的數(shù)值,F(xiàn)acebook:在Facebook的IPO檔案中,他們提到自己存儲著約為100PB的圖片及視頻信息。如果考慮了Facebook還要對用戶狀態(tài)這些信息進(jìn)行網(wǎng)絡(luò)備份,我們猜測100PB絕對不是他們的存儲上限。這里,把這個數(shù)值估為300PB應(yīng)該不為過。
微軟:微軟近日承認(rèn)自己的Hotmail服務(wù)器內(nèi)存有超過100PB的信息,而有著1700萬用戶的SkyDrive也存有10PB的信息。合理預(yù)測整個微軟的存儲規(guī)模應(yīng)該不在Facebook之下,我們也把它的存儲上限估為300PB。
Megaupload:和上面兩個網(wǎng)絡(luò)巨頭相比Megaupload自然是小巫見大巫,不過它在業(yè)內(nèi)確也有著一席之地,算是25PB吧。亞馬遜:亞馬遜旗下有Simple Storage Service這一網(wǎng)絡(luò)儲存服務(wù)(簡稱S3)。亞馬遜從來沒有向公眾透露過S3究竟存有多大規(guī)模的數(shù)據(jù)量,不過今年四月他們卻對外宣布S3中存有9050億份文件。假設(shè)平均每份文件的大小為100KB,則S3的存儲量在90PB上下;假設(shè)平均每份文件為1MB,那么S3的存儲規(guī)模將達(dá)到900PB,它將成為唯一一個儲存規(guī)模接近1EB的服務(wù)商。
Dropbox,:去年還只有2500萬用戶的Dropbox當(dāng)時對外宣布,自己存儲著逾10PB的數(shù)據(jù)。如今Dropbox的用戶數(shù)已經(jīng)上升到了一億,那么他們的存儲規(guī)模應(yīng)該在40PB上下。儲存這些數(shù)據(jù)究竟多耗地方呢?我們得把這些虛擬數(shù)據(jù)的大小具體化。一臺普通電腦的硬盤平均存儲空間為500GB或者1TB,1PB=1024TB,也就是說微軟和Facebook最少也得有100000個硬盤用于存儲信息。普遍情況下,一個4U機(jī)箱內(nèi)可以塞進(jìn)48個硬盤??紤]到還要塞一些其他的連接設(shè)備,那么一個40U的機(jī)柜大概可以存儲400個硬盤。
一個40U的機(jī)柜占地約為一平方米,也就是說要存儲100000個硬盤還是很占地方的。不過對于谷歌、亞馬遜、Facebook或是微軟這樣有著30000多平米大樓的地主公司來說,找個地方放機(jī)柜還是不成問題的。事實(shí)上, CPU、服務(wù)器和網(wǎng)關(guān)比硬盤要占地得多。
云帶寬要求
關(guān)于帶寬我們能獲得的數(shù)據(jù)就更加的有限了。有數(shù)據(jù)顯示去年全球內(nèi)每五分鐘都有100萬份數(shù)據(jù)被下載。今年的網(wǎng)絡(luò)用戶比去年多了3倍,那么今年每分鐘的下載數(shù)量達(dá)到了80萬的水平。亞馬遜的S3作為全球網(wǎng)絡(luò)存儲之首,對外宣布他們的服務(wù)器每秒鐘要處理的下載請求達(dá)到了65萬份。
Dropbox:假設(shè)Dropbox上每份文件(有圖片文件、視頻文件和文檔)的平均大小是500KB,那么根據(jù)Dropbox公布的數(shù)據(jù)可以推測他們服務(wù)器每分鐘的流入數(shù)據(jù)流(用戶上傳數(shù)據(jù))為0.4TB,也就是每秒6.7GB(交換帶寬54Gbps)。對于Dropbox的流出數(shù)據(jù)流(用戶從Dropbox服務(wù)器上下載文件)我們沒有詳細(xì)信息,不過可以估計(jì)帶寬大概在10-20Gbps之間。
亞馬遜S3:亞馬遜的S3主要是用于網(wǎng)站存儲數(shù)據(jù),所以文件以文字圖片、網(wǎng)站樣式文件和網(wǎng)頁視頻為主。這些文件的平均大小會小于Dropbox,假設(shè)為100KB。根據(jù)亞馬遜公布的信息,他們每秒接到650000個數(shù)據(jù)請求,那么就是每秒61GB(交換帶寬488Gbps),真是個龐然大物, Facebook及微軟:兩者的數(shù)據(jù)存儲規(guī)模都在100PB到300PB,我們估計(jì)兩者帶寬位于Dropbox和亞馬遜S3之間,暫且定為200Gbps。
云的成本分析(以Backblaze為例)
我們知道,以上云存儲服務(wù)商都不允許用戶在他們的云端下載自己的軟件,也不允許用戶在自己的云端存儲涉及自己公司硬件數(shù)據(jù)的信息。不過這個行業(yè)內(nèi)有這么一個例外,它就是Backblaze。特立獨(dú)行的Backblaze作為云備份服務(wù)提供商來說無法在規(guī)模上和上述巨頭相比,不過也別小看它,它的數(shù)據(jù)肯定會讓你大吃一驚。
Backblaze對外公布,自己管理著32PB的用戶數(shù)據(jù)。這些數(shù)據(jù)基本上都被儲存在容量為3TB容量的硬盤內(nèi)。在處理數(shù)據(jù)冗余方面,Backblaze把每15個硬盤捆綁為一個磁盤數(shù)組,每兩組用RAID 6效驗(yàn)處理。RAID 6可以校驗(yàn)重組硬盤傳輸?shù)臄?shù)據(jù)錯誤,同時快捷有效地恢復(fù)磁盤錯誤與讀取錯誤,這對于一個數(shù)據(jù)中心而言是至關(guān)重要的。
Backblaze的服務(wù)器以每月3PB的速度擴(kuò)張,他們每一段時間新增一個135TB的定制4U數(shù)據(jù)盒(此盒內(nèi)裝置了45個3TB的硬盤)。每月3PB也就是說每月新增大概22個數(shù)據(jù)盒,相當(dāng)于每月增加一個48U的機(jī)柜。每個定制數(shù)據(jù)盒的花費(fèi)在7384美元,乍看起來每月添置這么多的數(shù)據(jù)盒真是一筆不小的運(yùn)營支出,但這筆開銷可以算是Backblaze財(cái)務(wù)報(bào)表內(nèi)最小的一塊。電費(fèi)、房租和帶寬開銷才是主要的資金負(fù)擔(dān),這些費(fèi)用保持著與時俱進(jìn)的態(tài)度漲個不停。
Backblaze公司的電費(fèi)是0.2美元每千瓦時,每個數(shù)據(jù)盒的每月電費(fèi)就要100美元。由此可見一個數(shù)據(jù)中心要負(fù)擔(dān)的電費(fèi)是相當(dāng)高昂的,所以多數(shù)網(wǎng)絡(luò)公司都選址建于電費(fèi)相對低廉的地區(qū),比如美國的俄勒岡州(Oregon)。Backblaze并沒有屬于自己的數(shù)據(jù)中心,他們租用第三方的數(shù)據(jù)中心存放自己的服務(wù)器,也就是說他們每個月還要負(fù)擔(dān)房租開銷(每個機(jī)柜平攤下來月房租為1000美金)。目前Backclaze手下約有300個數(shù)據(jù)盒,40個機(jī)柜,也就是說每月的電費(fèi)為30000美元,房租為40000美元。
然后就是帶寬的費(fèi)用了。Backblaze一直采用12Gbps的境內(nèi)帶寬(每秒傳輸速度約為1.5GB)和500Mpbs的境外帶寬(每秒傳輸速度約為62.5MB)。之所以兩條線路速度不同是因?yàn)锽ackblaze作為一家提供云備份服務(wù)的公司,客戶主要分布在美國國內(nèi)。但500Mbps的帶寬是非常不流暢的,我們可以想象境外用戶在使用Backblaze時的網(wǎng)絡(luò)很不理想。
目前Backblaze每天要接受約一億份來自用戶的文件,折合每年365億份。數(shù)字顯示了一個很驚人的發(fā)展速度,因?yàn)檫@個數(shù)字在2011年還僅僅只有6億。我們不知道一臺計(jì)算機(jī)具體能夠儲存多少文件,但按照每臺5000個文件估算(不包括Windows系統(tǒng)文件及program files文件夾文件),保守估計(jì)至少有120000臺計(jì)算機(jī)在Backclaze上做了文件備份。
在Backblaze的初創(chuàng)期,他們每月每Mbps的帶寬費(fèi)用是30美元,不過現(xiàn)在這個開銷已經(jīng)下降到每月每Mbps 2美元了。估算公司每月負(fù)擔(dān)的帶寬費(fèi)用在25000美元上下。如果Backblaze選擇更為廉價(jià)的帶寬服務(wù)商,并且建立屬于自己的數(shù)據(jù)中心而不是租用別人的地皮,公司的費(fèi)用還有很大的下行空間。綜上所述,合理地考慮房租、帶寬開銷和用電費(fèi)用后,運(yùn)營一個40PB規(guī)模的“云團(tuán)”(不計(jì)員工工資)每月要耗費(fèi)10萬美元。
云的收益分析
以微軟、谷歌和Dropbox為代表的大批公司都爭先恐后地入駐云儲存領(lǐng)域。為占領(lǐng)市場份額,各公司之間所做的激烈競爭也是路人皆知。各方英雄鹿逐中原究竟為何原因,看了以下數(shù)字你就知道了。以Backblaze為例,Backblaze提供的無限空間網(wǎng)絡(luò)備份服務(wù)每月收費(fèi)5美元。上文推導(dǎo)得出該公司每月負(fù)擔(dān)的費(fèi)用在10萬美元上下(不計(jì)員工工資),也就是說為了達(dá)到收益——支出平衡它需要20000個用戶。Backblaze究竟有多少用戶我們不得而知,不過公司的CEO對外宣稱公司是很賺錢的。(Backblaze只有13個員工,順便說一下,他們沒有被拖欠工資)
Dropbox公司可以做一個更好的例子。Dropbox提供的50GB網(wǎng)絡(luò)存儲服務(wù)收費(fèi)為每年100美元。與Backblaze不同,Dropbox沒有屬于自己的信息存儲設(shè)備,他們連設(shè)備都是租的。Dropbox把自己的數(shù)據(jù)存儲在亞馬遜的S3服務(wù)器中,儲存規(guī)模達(dá)到了40PB。對于存儲規(guī)模在5PB以上的客戶,亞馬遜的收費(fèi)標(biāo)準(zhǔn)為每月每GB0.055美元。
假設(shè)購買了Dropbox50GB容量存儲服務(wù)的普通客戶平均在云端存有25GB文件,那么Dropbox每月要為每一個客戶支付給亞馬遜1.38美元,而他們每月可以從客戶手上拿到近10美元。這樣的利潤是可觀的,但事實(shí)上像微軟Skydrive、谷歌Drive和亞馬遜S3這樣自己擁有數(shù)據(jù)中心的云存儲服務(wù)商能到手的收入比這更多。
話說回來以上利潤估值只是一個理想值,它建立在用戶為付費(fèi)用戶的前提之上。然而在現(xiàn)實(shí)中有很多人只選擇了免費(fèi)的云儲存服務(wù)。Dropbox有一億客戶,其中的絕大部分都是非付費(fèi)用戶,付費(fèi)用戶的數(shù)字相當(dāng)有限。所以他們到手的利潤也沒有理想中那么豐厚。
云時代
對于各大企業(yè)來說,入駐云儲存領(lǐng)域更大的動機(jī)還是出于發(fā)展戰(zhàn)略的考慮。谷歌和微軟兩個老對手已經(jīng)把云計(jì)算作為了他們的下一個戰(zhàn)場。微軟可能會將云計(jì)算服務(wù)于Windows 8系統(tǒng),屆時用戶只需登錄自己的網(wǎng)絡(luò)賬戶就可以把計(jì)算機(jī)上所有的文件和設(shè)置同步到云端,此時的“個人電腦”將成為一個全新的概念,它將不再依托于我們面前的電腦設(shè)備,用戶可以隨意更換電腦,甚至只要用任何一臺可以上網(wǎng)的機(jī)器(比如PS 3)連接進(jìn)入自己的賬戶,就可以使用屬于自己的“電腦”。
谷歌也會把自己的Chrome系統(tǒng)打造為“云上系統(tǒng)”,完全地基于網(wǎng)絡(luò)。不僅是Chrome,新的安卓系統(tǒng)也會朝著云計(jì)算的方向靠近。在不遠(yuǎn)的將來谷歌會把自己旗下的一系列產(chǎn)品通過計(jì)算機(jī)云整合起來,建立一個全新的“云時代”。
最終,這些網(wǎng)絡(luò)巨頭將把移動設(shè)備和個人電腦通過計(jì)算機(jī)云融為一體。用戶如果習(xí)慣使用谷歌的辦公和數(shù)據(jù)存儲系統(tǒng),他可以使用Chrome系統(tǒng)加上安卓手機(jī),因?yàn)檫@兩者已經(jīng)通過谷歌的計(jì)算機(jī)云合為一體。用戶如果鐘情于微軟的辦公及數(shù)據(jù)儲存系統(tǒng),那么Windows 8加Windows Phone 7就是他最好的選擇。
如今的蘋果也已經(jīng)推出了iCloud服務(wù),用戶使用任何一臺iPad、iPhone 4S或是Mac Pro和Mac Air登陸自己的iCloud賬戶都可以把相當(dāng)一部分的信息上傳到云端,云儲存幫助蘋果打通了設(shè)備之間的隔閡。等到微軟、谷歌和蘋果都把計(jì)算機(jī)云整合到自己的操作系統(tǒng)內(nèi)部,建立起屬于自己的網(wǎng)絡(luò)軍團(tuán)時,不知Dropbox這樣的孤兵散將又該何去何從。