據(jù)IDC的預(yù)測(cè)，到2024年，全球?qū)��?chuàng)建、復(fù)制和消費(fèi)143ZB的數(shù)據(jù)，其中中國(guó)創(chuàng)建的數(shù)據(jù)為36ZB，占25%。如此龐大的數(shù)據(jù)有多少被存儲(chǔ)下來(lái)了呢?西部數(shù)據(jù)認(rèn)為只有不到1.5%的數(shù)據(jù)被存儲(chǔ)下來(lái)了。業(yè)界更是有人認(rèn)為這個(gè)估計(jì)過(guò)于樂(lè)觀，被存儲(chǔ)下來(lái)的數(shù)據(jù)其實(shí)是低于這個(gè)比例的。

　　企業(yè)級(jí)存儲(chǔ)架構(gòu)面臨挑戰(zhàn)

　　為什么會(huì)出現(xiàn)這種情況呢?幾年前業(yè)界就在宣傳數(shù)據(jù)是當(dāng)代石油，是發(fā)展的動(dòng)力。那這么多寶貴的石油就這樣流失掉了，沒(méi)有進(jìn)行挖掘和分析處理，不是很浪費(fèi)嗎?

　　西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼認(rèn)為，這么多數(shù)據(jù)沒(méi)有被存儲(chǔ)下來(lái)的主要原因是因?yàn)榇鎯?chǔ)的架構(gòu)和存儲(chǔ)的技術(shù)沒(méi)有及時(shí)跟上，因此大部分的數(shù)據(jù)都沒(méi)有辦法被存儲(chǔ)下來(lái)并及時(shí)使用。

　　圖1：西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼

　　這也就是說(shuō)，目前企業(yè)級(jí)的存儲(chǔ)架構(gòu)正面臨著一些不可避免的挑戰(zhàn)，包括數(shù)據(jù)增長(zhǎng)迅速、存儲(chǔ)性能需求倍增、TCO成本負(fù)擔(dān)增加，及更綠色能耗體系標(biāo)準(zhǔn)的挑戰(zhàn)。

　　人們需要大容量、能快速訪問(wèn)、并且成本更低，能耗更低的存儲(chǔ)。那么，有沒(méi)有一個(gè)存儲(chǔ)設(shè)備，或者一種存儲(chǔ)介質(zhì)能夠同時(shí)滿足這四個(gè)方面的要求呢?

　　劉鋼在不久前的2021深圳國(guó)際大數(shù)據(jù)與存儲(chǔ)峰會(huì)上表示，能滿足這四個(gè)要求的單一存儲(chǔ)介質(zhì)或者存儲(chǔ)設(shè)備的確是非常難找到。但幸運(yùn)的是，人們可以通過(guò)創(chuàng)新的架構(gòu)，用系統(tǒng)來(lái)滿足用戶各方面、各種存儲(chǔ)場(chǎng)景的需求。“因?yàn)橛脩舻臄?shù)據(jù)是要進(jìn)行分層的，用戶的數(shù)據(jù)有不同的類型，不同類型的數(shù)據(jù)對(duì)存儲(chǔ)的要求也是不一樣的。”

　　創(chuàng)新存儲(chǔ)架構(gòu)應(yīng)對(duì)海量數(shù)據(jù)需求

　　在劉鋼看來(lái)，數(shù)據(jù)是有分層的，因此他把數(shù)據(jù)分成了極熱數(shù)據(jù)、熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)五層。并且還劃分了每層對(duì)應(yīng)的應(yīng)用場(chǎng)景。

　　而對(duì)于不同層的數(shù)據(jù)，需要采用的存儲(chǔ)介質(zhì)和存儲(chǔ)設(shè)備是不一樣的。比如對(duì)于冷數(shù)據(jù)和極冷數(shù)據(jù)而言，業(yè)界目前常用的方案是高密度的大容量企業(yè)級(jí)硬盤。

　　圖2：創(chuàng)新的分層存儲(chǔ)架構(gòu)。(來(lái)源：西部數(shù)據(jù))

　　劉鋼對(duì)媒體表示，目前高密度企業(yè)級(jí)硬盤已經(jīng)進(jìn)化到了18T。針對(duì)極冷存儲(chǔ)，西部數(shù)據(jù)利用軟件和技術(shù)優(yōu)化，采用了SMR疊瓦式的硬盤能做到20T的高密度企業(yè)應(yīng)用。

　　談到具體產(chǎn)品，劉鋼介紹說(shuō)，20TB Ultrastar DC HC650主機(jī)管理SMR HDD和16TB與18TB Ultrastar DC HC550 CMR HDD已經(jīng)于2019年9月發(fā)布，是優(yōu)先進(jìn)入商業(yè)化實(shí)施階段的EAMR技術(shù)。憑借西部數(shù)據(jù)HelioSeal技術(shù)提供的出色功耗以及機(jī)械創(chuàng)新(例如提高磁頭定位精度并提供更大容量功能的TSA)，這些HDD可提供領(lǐng)先的面密度，九磁碟硬盤還使客戶能夠更有效地配置和擴(kuò)展數(shù)據(jù)中心環(huán)境，同時(shí)提供更低的總體擁有成本。

　　圖3：大數(shù)據(jù)多使用極冷存儲(chǔ)和冷存儲(chǔ)，因?yàn)楹芏鄷r(shí)候人們并不需要時(shí)刻讀取。(來(lái)源：西部數(shù)據(jù))

　　單位TB價(jià)格( $/TB) 是存儲(chǔ)服務(wù)器購(gòu)置成本的關(guān)鍵組成部分，也是構(gòu)建現(xiàn)代云數(shù)據(jù)中心的一個(gè)考量核心。相比較于$/TB這一維度，TCO則更能體現(xiàn)準(zhǔn)確的數(shù)據(jù)中心運(yùn)營(yíng)成本：TCO 的降低并不限于降低 $/TB。每個(gè)硬盤的容量越大，意味著更少的服務(wù)器擁有更大的儲(chǔ)存容量，從而節(jié)省資本支出和運(yùn)營(yíng)成本。例如從14TB遷移到18TB呈現(xiàn)出顯著的TCO收益：服務(wù)器減少了22%;TCO降低了11%。鑒于數(shù)據(jù)中心占用空間有限，通過(guò)更高的HDD容量進(jìn)行更密集的存儲(chǔ)部署，還可以產(chǎn)生更多的收入。

　　存儲(chǔ)服務(wù)器的成本通常要求控制在數(shù)據(jù)中心總體運(yùn)營(yíng)成本的60%以內(nèi)。而實(shí)際上，更高容量的HDD可以更有效地平衡這一需求。西部數(shù)據(jù)持續(xù)進(jìn)行多項(xiàng)技術(shù)的創(chuàng)新，例如能量輔助、機(jī)械設(shè)計(jì)、材料和記錄技術(shù)，幫助所有數(shù)據(jù)中心客戶，無(wú)論是超大規(guī)模云客戶，大型企業(yè)還是中小企業(yè)來(lái)有效應(yīng)對(duì)他們的數(shù)據(jù)基礎(chǔ)架構(gòu)挑戰(zhàn)。

　　圖4：從左到右依次為：西部數(shù)據(jù)Ultrastar DC HC550 HDD 16TB、Ultrastar DC HC550 HDD 18TB和Ultrastar DC HC650 HDD 20TB

　　劉鋼還透露了一個(gè)消息，那就頭部的云服務(wù)商硬盤在過(guò)去4年當(dāng)中，從8T進(jìn)化到了18T。而的IPFS的服務(wù)商則在以更快的速度進(jìn)化，他們幾乎在過(guò)去四個(gè)季度就走完了云服務(wù)商過(guò)去4年的演進(jìn)過(guò)程，也從8T進(jìn)化到了18T。

　　圖5：云服務(wù)商與IPFS服務(wù)商使用硬盤的演進(jìn)過(guò)程。

　　為什么數(shù)據(jù)中心能迅速?gòu)?T進(jìn)化到18T呢?其實(shí)是當(dāng)數(shù)據(jù)中心只是從14T升級(jí)到18T，為了達(dá)到同樣存儲(chǔ)的容量，服務(wù)器數(shù)量會(huì)減少約22%，而且不僅是服務(wù)器數(shù)量減少了，存儲(chǔ)密度也提高了，而且單位功耗還降低了約21%，因此部署成本降低了，運(yùn)維成本也降低了。

　　除了大數(shù)據(jù)之外，還有一部分的數(shù)據(jù)用戶需要能夠快速訪問(wèn)，比如像熱存儲(chǔ)、溫存儲(chǔ)等，這些數(shù)據(jù)指的就是快速據(jù)。西部數(shù)據(jù)把SSD劃分成了兩類，一類是主流的SSD，還有一類是針對(duì)寫密集、計(jì)算密集的高性能SSD。

　　據(jù)劉鋼介紹，西部數(shù)據(jù)推出了新的Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD。應(yīng)用到IPFS里面，尤其是針對(duì)封裝計(jì)算機(jī)、封裝服務(wù)器的時(shí)候用SSD，對(duì)于IPFS的封裝機(jī)器來(lái)講，4個(gè)7.68T的SSD能提供非常好的加速。

　　談到SSD，目前其主要容量點(diǎn)是3.84T和7.68T。“SSD的主要成本在閃存(Flash)，F(xiàn)lash決定了SSD硬盤的成本和性能。所以一家SSD的供應(yīng)商需要有大規(guī)模的產(chǎn)能，能夠保證供應(yīng)，同時(shí)能夠降低成本，還要有領(lǐng)先的Flash技術(shù)能夠提供高性能Flash、有自主可控的控制器和部件來(lái)縱向地優(yōu)化SSD的產(chǎn)品，提供一致穩(wěn)定的高性能，而不只是某個(gè)時(shí)間的高性能或者峰值的高性能。”他指出。

　　圖6：西部數(shù)據(jù)發(fā)布第六代3D閃存技術(shù)。(來(lái)源：西部數(shù)據(jù))

　　劉鋼還提到了他們剛剛發(fā)布的第6代3D閃存技術(shù)，162層的3D閃存技術(shù)，該技術(shù)會(huì)進(jìn)一步地縮小芯片的尺寸，降低成本、提高性能。它的程序性能可以提高兩倍以上，輸入/輸出的IOPS提高約66%。

　　圖7：西部數(shù)據(jù)的企業(yè)級(jí)固態(tài)硬盤的技術(shù)優(yōu)勢(shì)。

　　在劉鋼看來(lái)，西部數(shù)據(jù)最大的優(yōu)勢(shì)是縱向集成的優(yōu)勢(shì)。他們不僅有控制器及其固件，再將它們與Flash縱向集成后，可以達(dá)到非常穩(wěn)定的一致性。

　　圖8：西部數(shù)據(jù)存儲(chǔ)硬件方案和優(yōu)勢(shì)。

　　與合作伙伴的成功案例

　　截止目前，西部數(shù)據(jù)已經(jīng)與諸多行業(yè)領(lǐng)先的公司開展了合作，致力于依靠行業(yè)領(lǐng)先的技術(shù)和整體解決方案來(lái)支持客戶與合作伙伴。

　　1.Dropbox超大容量企業(yè)級(jí)HDD全球應(yīng)用

　　Dropbox與西部數(shù)據(jù)攜手，為確保流暢無(wú)縫地實(shí)現(xiàn)向SMR的遷移，Dropbox針對(duì)其特定機(jī)箱配置進(jìn)行內(nèi)部測(cè)試，采用SMR技術(shù)替換原有CMR技術(shù)后存儲(chǔ)密度增加了10%-20%，節(jié)約了20%的TCO。

　　作為率先認(rèn)證Ultrastar 20TB SMR HDD的企業(yè)之一，Dropbox利用數(shù)據(jù)中心的大容量、高效率和擴(kuò)展能力，應(yīng)對(duì)滿足全球企業(yè)、團(tuán)隊(duì)和個(gè)人對(duì)云存儲(chǔ)和服務(wù)不斷增長(zhǎng)的前沿需求。Dropbox日前成為首批認(rèn)證西部數(shù)據(jù)主機(jī)管理疊瓦式磁記錄 SMR HDD — Ultrastar DC HC650 20TB — 的企業(yè)之一。通過(guò)將西部數(shù)據(jù)SMR HDD用作定制的EB級(jí)存儲(chǔ)平臺(tái)的存儲(chǔ)基石，Dropbox遵循其戰(zhàn)略路線，以更好總體擁有成本(TCO)實(shí)現(xiàn)更高的存儲(chǔ)密度。

　　2.浪潮、星辰天合的IPFS解決方案

　　西部數(shù)據(jù)、浪潮、星辰天合多方攜手，聯(lián)合推出IPFS 解決方案，在軟件層面，該解決方案搭載了專為 IPFS 場(chǎng)景而生的 XSFS(XSKY Scalable File System)系統(tǒng)，通過(guò)全新的存儲(chǔ)技術(shù)手段，基于通用的 X86 服務(wù)器構(gòu)建了一個(gè)無(wú)限擴(kuò)容、持續(xù)在線的高性價(jià)比存儲(chǔ)架構(gòu)體系，在保證數(shù)據(jù)高安全性的同時(shí)，打破存儲(chǔ)規(guī)模壁壘，降低 IPFS 建設(shè)的投入，滿足 IPFS 業(yè)務(wù)存儲(chǔ)需求。

　　在硬件層面，該解決方案包括浪潮英信服務(wù)器 NF5466M5、西部數(shù)據(jù) Ultrastar DC SN840 SSD、Ultrastar DC HC550 硬盤以及 Ultrastar Data60 JBOD 存儲(chǔ)平臺(tái)。通過(guò)搭載 44 塊/36 塊大容量的 Ultrastar DC HC550，NF5466M5 為 IPFS 存儲(chǔ)提供了海量的存儲(chǔ)空間，并借助硬盤的高穩(wěn)定性，顯著降低復(fù)制證明和時(shí)空證明提交過(guò)程中出現(xiàn)錯(cuò)誤的幾率。

　　3.聯(lián)手杉巖數(shù)據(jù)打造IPFS解決方案

　　杉巖數(shù)據(jù)聯(lián)合西部數(shù)據(jù)，共同推出搭載了杉巖 MOS 海量對(duì)象存儲(chǔ)系統(tǒng)以及西部數(shù)據(jù)SSD, HDD與JBOD存儲(chǔ)平臺(tái)，并針對(duì) IPFS 進(jìn)行了優(yōu)化的解決方案。該系統(tǒng)能夠滿足算力集群數(shù)據(jù)寫入需要的高吞吐量存儲(chǔ)集群性能，并對(duì)時(shí)空證明請(qǐng)求進(jìn)行了優(yōu)化，使其可以獲取多個(gè)文件的多段內(nèi)容。同時(shí)，杉巖數(shù)據(jù)還在該方案中部署了 EC(22+2)冗余技術(shù)，實(shí)現(xiàn)了高達(dá) 91.6% 的存儲(chǔ)空間利用率。

　　該解決方案搭載了西部數(shù)據(jù) Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD，Ultrastar DC HC550 18TB大容量HDD，以及 Ultrastar Data102 JBOD 存儲(chǔ)平臺(tái)，可以全面滿足 IPFS 存儲(chǔ)集群需求。得益于西部數(shù)據(jù)在存儲(chǔ)硬件方面的優(yōu)勢(shì)以及杉巖數(shù)據(jù)卓越的存儲(chǔ)系統(tǒng)設(shè)計(jì)，該解決方案能夠幫助 IPFS 服務(wù)提供商顯著提升性能、穩(wěn)定性并提升投資回報(bào)率。其中 Ultrastar DC HC550 HDD 18TB的超大容量以及 Ultrastar Data102 的組合有利于實(shí)現(xiàn)集約性的空間設(shè)計(jì)，使得組建 IPFS集群所需要的機(jī)柜空間、電源功耗、硬件成本大大降低。

　　4.聯(lián)手長(zhǎng)城超云打造IPFS新范式

　　長(zhǎng)城超云與西部數(shù)據(jù)聯(lián)手打造出多款完美貼合IPFS場(chǎng)景的產(chǎn)品級(jí)解決方案，在IPFS行業(yè)種得到廣泛的應(yīng)用。

　　方案主要以西部數(shù)據(jù)高性能大容量企業(yè)級(jí)硬盤Ultrastar DC HC550系列的18TB HDD為基礎(chǔ)，設(shè)計(jì)了異構(gòu)產(chǎn)品組合的集群測(cè)試方案，包括Miner、Worker和Storage，大幅提升了客戶的業(yè)務(wù)效率，從而增強(qiáng)了客戶在IPFS領(lǐng)域的核心競(jìng)爭(zhēng)力。通過(guò)優(yōu)越的產(chǎn)品配置與算法調(diào)優(yōu)使得整體效率提升50%以上，同時(shí)單T有效算力硬件成本大幅降低。