我們正處于數(shù)據(jù)爆炸的時代,根據(jù)IDC的報告,到2025年全球數(shù)據(jù)總量將達到163ZB,其中企業(yè)占比將達到60%。伴隨著數(shù)據(jù)總量的爆炸,大數(shù)據(jù)、AI等數(shù)據(jù)挖掘以及分析技術(shù)的迅猛發(fā)展使數(shù)據(jù)顯現(xiàn)出了越來越大的價值。
不僅如此,隨著海量數(shù)據(jù)的產(chǎn)生,被存儲的數(shù)據(jù)比例也越來越高,甚至有大量原先很少被訪問的數(shù)據(jù)也被挖掘出了新的價值,使得它們能為用戶或者企業(yè)創(chuàng)造更多利益和價值。當然,這種巨大的變化對數(shù)據(jù)存儲系統(tǒng)的容量以及訪問性能都提出了新的挑戰(zhàn),數(shù)據(jù)存儲亟需找到一種新的方式來承載這些“意外”的價值點。
伴隨著軟件定義、云化等IT基礎(chǔ)設(shè)施的深刻變革,分布式存儲系統(tǒng)應運而生。但即便如此,存儲性能、效率等方面依然存在不足,為滿足各行業(yè)不同應用場景對于存儲性能和效率的高要求,存儲方案仍需不斷變化和革新。
溯源,分布式存儲的發(fā)展歷程
存儲系統(tǒng)本質(zhì)上是一種特殊的計算機系統(tǒng),因此存儲系統(tǒng)的發(fā)展要基于IT基礎(chǔ)技術(shù),特別是存儲介質(zhì)和網(wǎng)絡技術(shù)的發(fā)展。
20世紀80年代RAID技術(shù)誕生,隨著企業(yè)信息化應用的發(fā)展,外置存儲成為大規(guī)模數(shù)據(jù)存儲的主要形態(tài)。然而受制于介質(zhì)密度和網(wǎng)絡性能,在其后二十多年間,外置存儲的主流形態(tài)是軟硬一體的專用設(shè)備(集中盤陣),而無法使用通用服務器(COTS)硬件。
2010年前后,隨著網(wǎng)絡和存儲介質(zhì)基礎(chǔ)技術(shù)的不斷進步,基于通用服務器來構(gòu)建分布式存儲系統(tǒng)逐步開始變成現(xiàn)實。與集中盤陣系統(tǒng)相比,分布式存儲系統(tǒng)不再依賴專用硬件,而是使用通用服務器作為存儲節(jié)點,以較低成本實現(xiàn)了大容量存儲,配置也更為靈活;在擴展性方面,分布式存儲可利用高速網(wǎng)絡搭建存儲集群,性能和容量水平擴展不再受控制器性能的制約;同時,分布式集群多節(jié)點數(shù)據(jù)分布提高了系統(tǒng)整體可用性和數(shù)據(jù)可靠性?;谄涞统杀?、大容量、高靈活性等特質(zhì),人們開始愈發(fā)青睞分布式存儲的解決方案,因此它也在視頻存儲、云計算等領(lǐng)域得到了廣泛應用。
困境,主流分布式存儲面臨的問題
雖然分布式存儲相比盤陣系統(tǒng)有諸多優(yōu)勢,但當前主流分布式存儲架構(gòu)存在的一些短板,使得分布式存儲產(chǎn)品在性能、空間利用率等方面存在不足,從而影響了分布式存儲系統(tǒng)的市場競爭力和接受程度。
主流分布式存儲系統(tǒng)基于本地文件管理系統(tǒng),IO路徑過長,從而造成了IO時延較大、處理開銷過高等問題,尤其在全閃配置下無法有效發(fā)揮全閃配置的優(yōu)勢。這使得分布式存儲系統(tǒng)在極低時延、極高性能的關(guān)鍵業(yè)務場景下缺乏競爭力。
同時主流分布式存儲系統(tǒng)還存在軟件棧過深,難以適應如RSD、分離架構(gòu)等硬件的弱點,使得分布式存儲還無法完全替代盤陣系統(tǒng)。
此外,為了減少元數(shù)據(jù)量,提升分布式存儲系統(tǒng)的集群規(guī)模,主流分布式存儲系統(tǒng)往往選擇DHT機制來控制數(shù)據(jù)分布。而不同類型的數(shù)據(jù),以及處于生命周期不同階段的數(shù)據(jù),對性能和存儲成本要求不同,因此在實際應用中,數(shù)據(jù)存儲的持續(xù)高性價比要求數(shù)據(jù)可以靈活流動。DHT機制下數(shù)據(jù)分布較為僵化,無法靈活控制數(shù)據(jù)分布,數(shù)據(jù)難以流動,從而導致存儲空間和性能瓶頸,以及存儲成本的上升。
中興通訊基于全新架構(gòu)的新一代分布式存儲系統(tǒng)很好的解決了上述架構(gòu)問題,向市場交出了令人滿意的答卷。
突破,中興通訊新一代分布式存儲
“在存儲產(chǎn)品上,我們是國內(nèi)真正具有研發(fā)能力的幾個廠家之一,我們始終堅持自主創(chuàng)新,聚焦用戶需求,通過持續(xù)優(yōu)化存儲軟件和硬件之間的配合,有望成為業(yè)界分布式存儲的新一輪開拓者和領(lǐng)軍者。” 中興通訊高級副總裁張萬春在2021年政企云網(wǎng)生態(tài)峰會上表示。經(jīng)過近30年的技術(shù)沉淀和行業(yè)深耕,中興通訊擁有包含混合陣列,全閃陣列,分布式存儲等完整的自研存儲產(chǎn)品系列。中興通訊新一代分布式存儲解決方案以其領(lǐng)先的性能和效率,在電信、金融、教育、交通、礦業(yè)、智慧城市等行業(yè)得到了廣泛應用。
面對主流分布式存儲方案的問題,中興通訊新一代分布式存儲方案在IO性能、效率、數(shù)據(jù)分布靈活性和可用性這四大方面均有突破,大大拓寬了分布式存儲系統(tǒng)的適用場景。
首先,中興通訊新一代分布式存儲方案實現(xiàn)了IO性能突破,可以滿足實時交易、視頻分析等數(shù)據(jù)量大且對時延要求極高的場景:通過塊到塊的直接映射,IO路徑無需通過本地文件系統(tǒng)或?qū)ο螅谔峁└咝阅?、更小時延的同時,降低了功耗;通過追加寫模式,中興新一代分布式存儲能夠很好地適配閃存盤,有效降低SSD磨損;通過內(nèi)置的第三代英特爾?至強?可擴展處理器中的AVX-512矢量計算指令集,加速糾刪碼機制(EC)過程,實現(xiàn)了效率提升;通過采用英特爾?傲騰?內(nèi)存作為緩存,不僅提高了讀寫性能,還可以用于存儲日志文件,讓使用體驗更加流暢;同時,通過RDMA的集群網(wǎng)絡加持,達到與全閃存陣列相媲美的時延。
通過追寫模式的EC機制,中興通訊新一代分布式存儲大幅提升了EC性能,能滿足大數(shù)據(jù)分析等對于存儲效率、成本要求都比較高的應用場景。中興通訊新一代分布式存儲系統(tǒng)追加寫模式的EC機制,在提升存儲空間利用率的同時,EC性能可以與副本模式相當;同時,通過快照、克隆、鏡像等豐富的軟件服務,中興通訊新一代分布式存儲解決方案充分滿足了用戶對備份和容災的需求,實現(xiàn)了數(shù)據(jù)低成本的有效管理。
通過數(shù)據(jù)靈活分布以及多種硬件的靈活適配,中興通訊新一代分布式存儲滿足了邊緣應用場景融合部署、超融合部署等多樣的部署模式。一方面,中興通訊新一代分布式存儲支持細粒度控制每一個數(shù)據(jù)塊的位置,實現(xiàn)數(shù)據(jù)的靈活均衡和流動,提升數(shù)據(jù)的IO本地化,減少網(wǎng)絡流量。另一方面,該方案能靈活適配多種硬件結(jié)構(gòu),充分發(fā)揮不同硬件配置的優(yōu)勢,如面向分離架構(gòu)的通用硬件,突破性的實現(xiàn)IO路徑本地化;面向機架服務器等share-nothing架構(gòu)的硬件, 通過驅(qū)動層RDMA轉(zhuǎn)發(fā),簡化了軟件棧。
尤其值得關(guān)注的是中興通訊新一代分布式存儲基于中興通訊G4X系列服務器硬件提供的超融合解決方案,除了具備靈活的配置,支持全閃、混閃等不同存儲介質(zhì)和密度之外,還擁有極致性能、靈活擴展、穩(wěn)定可靠和極簡運維等特性,能夠從容面對更加復雜的應用場景。
在面對更加多元的使用場景時,G4X服務器內(nèi)置的第三代英特爾?至強?可擴展處理器可以對AI、5G、物聯(lián)網(wǎng)等多個應用場景的工作負載進行優(yōu)化,這使得分布式存儲方案的使用邊界不斷被拓寬,在云端、邊端均可應用。應用于云端時,中興通訊分布式存儲方案可以靈活構(gòu)建高性能存儲池,支持靈活擴容,幫助云廠商實現(xiàn)靈活管理;應用于邊端時,中興通訊分布式存儲方案則能通過減少存儲處理開銷,降低整體成本和能耗,以低時延助力邊緣實時應用。
但我們更需意識到的是,僅憑單一的產(chǎn)品性能并無法對一家企業(yè)的綜合實力進行評估,以上優(yōu)勢如果按通用產(chǎn)品的標準來評判那便已經(jīng)足夠優(yōu)秀,但除了產(chǎn)品本身的硬實力,配套的定制化服務能力、E2E綜合方案提供能力、售后服務能力、開放合作能力等軟實力對于評判一家企業(yè)的實力同樣重要,這決定了它能否為客戶提供更加全面、靈活且精準的服務。憑借30年對于ICT行業(yè)的深耕,以及完整的自研存儲產(chǎn)品系列、產(chǎn)品機制、性能上的不斷突破和更新、解決方案豐富的適用場景,目前,中興通訊存儲產(chǎn)品已廣泛應用于全球40多個國家和地區(qū),獲得了金融、電信、互聯(lián)網(wǎng)等各行業(yè)客戶的高度認可。
面向企業(yè)數(shù)字化轉(zhuǎn)型與大數(shù)據(jù)的洪流,中興通訊專注技術(shù),立志成為分布式存儲產(chǎn)品的國內(nèi)領(lǐng)導者,在產(chǎn)品研發(fā)、供應鏈等方面全面發(fā)力,為存儲產(chǎn)品國產(chǎn)化和企業(yè)數(shù)字化轉(zhuǎn)型打造堅實底座。