摘要 背景介紹 解決方案介紹 客戶收益 企業(yè)級(jí)云數(shù)據(jù)中心底層基礎(chǔ)架構(gòu)資源池建設(shè)解決方案
摘要
企業(yè)級(jí)云數(shù)據(jù)中心需要針對(duì)不同的云服務(wù),根據(jù)用戶需求、虛擬化、大數(shù)據(jù)和AI的等應(yīng)用場景和軟件架構(gòu)需求,以及不同的硬件特點(diǎn),設(shè)計(jì)不同的資源池,支撐不同的云服務(wù),帶來更優(yōu)化、高性價(jià)比的企業(yè)級(jí)云服務(wù)。
背景介紹
AI時(shí)代,企業(yè)級(jí)云數(shù)據(jù)中心不只需要能夠提供計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、大數(shù)據(jù)服務(wù),還需要能夠提供如圖像識(shí)別、人臉識(shí)別、視頻內(nèi)容分析,以及能夠模擬人腦進(jìn)行分析學(xué)習(xí)的深度學(xué)習(xí)等服務(wù)。
建設(shè)這樣一個(gè)既能夠提供AI服務(wù)、大數(shù)據(jù)服務(wù)、又能滿足企業(yè)級(jí)核心業(yè)務(wù)需要的云數(shù)據(jù)中心,它的底層基礎(chǔ)架構(gòu)資源池究竟該如何搭建呢?
解決方案介紹
那么現(xiàn)在就以建設(shè)一個(gè)千臺(tái)規(guī)模的數(shù)據(jù)中心為例來進(jìn)行介紹!
首先把云數(shù)據(jù)中心的基礎(chǔ)設(shè)施按照業(yè)務(wù)類型進(jìn)行劃分,如下圖的這八類資源池,當(dāng)然可以更多或更少:
高密度虛擬化計(jì)算資源池
這個(gè)比較好理解,主要是部署虛擬化。采用標(biāo)準(zhǔn)X86服務(wù)器,在單臺(tái)物理機(jī)虛擬化的基礎(chǔ)上增加集群的模式,將加入集群的眾多物理機(jī)進(jìn)行資源池化,統(tǒng)一調(diào)度管理。
虛擬化主要適用于要求資源相對(duì)較少且規(guī)格種類多、可以重新分配調(diào)度資源的環(huán)境,便于資源的合理、充分利用,也便于后期業(yè)務(wù)擴(kuò)展所需的資源動(dòng)態(tài)調(diào)整。
虛擬化計(jì)算資源包括:
通用型服務(wù)器:為運(yùn)維管理、虛擬主機(jī)、內(nèi)存對(duì)象緩存服務(wù)等提供基礎(chǔ)計(jì)算能力;
混合型服務(wù)器:為同時(shí)需要高IO和大容量存儲(chǔ)的云服務(wù)提供基礎(chǔ)計(jì)算能力,可使用SSD硬盤和SATA硬盤混搭的方式,利用SSD的高IO能力和大容量SATA磁盤各自優(yōu)勢;
網(wǎng)絡(luò)型服務(wù)器:為網(wǎng)絡(luò)控制器、安全、負(fù)載均衡等高網(wǎng)絡(luò)帶寬要求的云服務(wù)提供基礎(chǔ)計(jì)算能力。
可根據(jù)選用虛擬化技術(shù)的不同劃分為不同的虛擬化資源池,例如VMWare和KVM兩個(gè)資源池區(qū)域。
高密度虛擬化資源池按照業(yè)務(wù)用途可以分別連接共享存儲(chǔ)及分布式存儲(chǔ),在多個(gè)機(jī)房分別建設(shè),其中共享存儲(chǔ)部分設(shè)計(jì)可以考慮具備雙活能力,分布式存儲(chǔ)考慮雙中心互聯(lián)。
高性能分布式計(jì)算資源池
高性能分布式計(jì)算資源池主要支撐數(shù)據(jù)倉庫、大數(shù)據(jù)處理、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用,此類大數(shù)據(jù)處理操作對(duì)海量數(shù)據(jù)的查詢、檢索、分析、挖掘的性能要求高,適合用分布式并行計(jì)算框架進(jìn)行計(jì)算。
高性能分布式計(jì)算資源池,底層采用標(biāo)準(zhǔn)的X86服務(wù)器,通過部署集群管理系統(tǒng),將各高性能計(jì)算資源按照集群進(jìn)行整合,承載海量數(shù)據(jù)存儲(chǔ)和實(shí)時(shí)查詢分析任務(wù),對(duì)外提供統(tǒng)一服務(wù)。
分布式計(jì)算資源包含:
計(jì)算I/O型服務(wù)器:為分布式數(shù)據(jù)庫服務(wù)、大數(shù)據(jù)計(jì)算服務(wù)等需要高I/O的云服務(wù)提供基礎(chǔ)計(jì)算能力;
計(jì)算存儲(chǔ)型服務(wù)器:為運(yùn)維管理、非結(jié)構(gòu)化對(duì)象存儲(chǔ)、離線計(jì)算服務(wù)等需要大容量存儲(chǔ)的云服務(wù)提供基礎(chǔ)計(jì)算能力。
高性能數(shù)據(jù)庫計(jì)算資源池
高性能數(shù)據(jù)庫計(jì)算資源池,針對(duì)傳統(tǒng)業(yè)務(wù)中對(duì)Oracle等高性能數(shù)據(jù)庫業(yè)務(wù)的應(yīng)用需求,對(duì)服務(wù)器等硬件的CPU、內(nèi)存、網(wǎng)絡(luò)和存儲(chǔ)性能有著嚴(yán)格要求,從而劃分部分以物理資源為主的高性能數(shù)據(jù)庫資源區(qū),包括物理服務(wù)器和高性能存儲(chǔ)陣列,為高性能需求的各類數(shù)據(jù)庫服務(wù),以及非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)提供計(jì)算資源服務(wù)。
高性能數(shù)據(jù)庫資源池采用關(guān)鍵計(jì)算服務(wù)硬件架構(gòu),采用業(yè)界先進(jìn)的高速互聯(lián)設(shè)計(jì),提供了強(qiáng)大的計(jì)算處理能力。系統(tǒng)中關(guān)鍵部件均實(shí)現(xiàn)容錯(cuò)設(shè)計(jì),從芯片級(jí)、鏈路級(jí)、模塊級(jí)、系統(tǒng)級(jí)四方面RAS特性,可靠性達(dá)99.999%以上。關(guān)鍵計(jì)算服務(wù)硬件性能強(qiáng)勁,穩(wěn)定可靠,是信息化核心數(shù)據(jù)庫系統(tǒng)的理想平臺(tái)。
異構(gòu)計(jì)算資源池
針對(duì)大量應(yīng)用系統(tǒng)所需圖像處理、深度學(xué)習(xí)等人工智能技術(shù)需求,而建設(shè)的異構(gòu)計(jì)算資源池集群,主要是指帶有GPU、FPGA、MIC等異構(gòu)計(jì)算能力的服務(wù)器集群。
深度學(xué)習(xí)技術(shù)是需要模擬人腦進(jìn)行分析學(xué)習(xí)而構(gòu)建深度神經(jīng)網(wǎng)絡(luò),讓機(jī)器能夠像人一樣思考,需要進(jìn)行海量數(shù)據(jù)的模型訓(xùn)練和推理,對(duì)計(jì)算資源要求十分巨大。
隨著要處理數(shù)據(jù)規(guī)模的增大,GPU在高性能服務(wù)器上應(yīng)用已逐漸成為現(xiàn)代數(shù)據(jù)中心規(guī)劃的主流,GPU已廣泛應(yīng)用在圖像增強(qiáng)處理、圖像目標(biāo)搜索、深度學(xué)習(xí)等領(lǐng)域。
分布式存儲(chǔ)資源池
分布式存儲(chǔ)基于SDS理念,在配置多塊大容量硬盤的服務(wù)器上部署存儲(chǔ)軟件,對(duì)外提供塊存儲(chǔ)、對(duì)象存儲(chǔ)、文件存儲(chǔ)功能,為業(yè)務(wù)部門提供塊存儲(chǔ)和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)能力。
非結(jié)構(gòu)化數(shù)據(jù)宜采用分布式存儲(chǔ)系統(tǒng),典型如對(duì)圖片數(shù)據(jù)、語音數(shù)據(jù)等。
分布式存儲(chǔ)系統(tǒng)主要具有易擴(kuò)展、超大容量及高帶寬特點(diǎn),通過軟件定義存儲(chǔ)引擎來承載各種軟件功能,物理硬件資源與軟件資源緊密配合,達(dá)到快速響應(yīng)前端應(yīng)用、存儲(chǔ)大量數(shù)據(jù)的目的,解決了非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)量較大,在存儲(chǔ)時(shí)對(duì)容量及系統(tǒng)帶寬要求較高的問題。
統(tǒng)一存儲(chǔ)資源池
關(guān)鍵數(shù)據(jù)存儲(chǔ)和虛擬化重要業(yè)務(wù)應(yīng)用存儲(chǔ)采用共用集中存儲(chǔ)的形式。
共享存儲(chǔ)基于SAN存儲(chǔ)實(shí)現(xiàn)為傳統(tǒng)應(yīng)用提供數(shù)據(jù)庫及虛機(jī)支撐,多中心間FC鏈路互聯(lián)具備承載應(yīng)用雙活的能力。
統(tǒng)一存儲(chǔ)資源池可以利用共享存儲(chǔ)豐富的軟件功能,在存儲(chǔ)端對(duì)數(shù)據(jù)進(jìn)行優(yōu)化:
1) 共享存儲(chǔ)具備自動(dòng)精簡配置功能。
2) 共享存儲(chǔ)具備熱點(diǎn)數(shù)據(jù)自動(dòng)分層功能。
3) 共享存儲(chǔ)具備存儲(chǔ)虛擬化整合功能,能夠?qū)Σ煌拇鎯?chǔ)孤島進(jìn)行統(tǒng)一整合管理,降低管理成本、提高靈活性和磁盤利用率、改進(jìn)性能、以及簡化遷移等目的。
共享存儲(chǔ)雙活能力使數(shù)據(jù)能在數(shù)據(jù)中心之間共享、存取或移動(dòng),利用跨數(shù)據(jù)中心的存儲(chǔ)虛擬化功能和數(shù)據(jù)鏡像功能,結(jié)合上層應(yīng)用集群,使兩個(gè)存儲(chǔ)系統(tǒng)都處于運(yùn)行狀態(tài),可同時(shí)承擔(dān)相同業(yè)務(wù),提高數(shù)據(jù)中心的整體服務(wù)能力和系統(tǒng)資源利用率。
網(wǎng)絡(luò)資源池
網(wǎng)絡(luò)資源池采用SDN+NFV+VxLAN技術(shù),通過在通用服務(wù)器上部署網(wǎng)絡(luò)功能軟件,實(shí)現(xiàn)虛擬網(wǎng)絡(luò)功能,為支持OpenFlow協(xié)議的交換設(shè)備分發(fā)網(wǎng)絡(luò)配置,實(shí)現(xiàn)網(wǎng)絡(luò)的靈活定義。通過網(wǎng)絡(luò)資源池化和大二層技術(shù),虛擬機(jī)可以在各數(shù)據(jù)中心之間進(jìn)行無用戶感知漂移,實(shí)現(xiàn)網(wǎng)絡(luò)即服務(wù)。
多數(shù)據(jù)中心間采用兩家不同運(yùn)營商裸光纖互聯(lián),部署波分復(fù)用設(shè)備互聯(lián),應(yīng)用跨中心集群部署,通過數(shù)據(jù)復(fù)制技術(shù)、跨中心共享存儲(chǔ)技術(shù)和虛擬機(jī)遷移技術(shù)來保證各中心的數(shù)據(jù)一致性和應(yīng)用雙活。
安全資源池
安全資源池通過部署統(tǒng)一安全資源池通集成虛擬防火墻、虛擬化IPS等安全防護(hù)功能,通過軟件定義安全,實(shí)現(xiàn)云平臺(tái)南北向、東西向的安全防護(hù)。
客戶收益
這樣建設(shè)的好處也非常多,如:
1) 充分滿足AI、大數(shù)據(jù)、虛擬化、關(guān)鍵計(jì)算等企業(yè)級(jí)典型云服務(wù)業(yè)務(wù)需求;
2) 合理利用不同的硬件特點(diǎn),為不同的云服務(wù)提供底層硬件支撐;
3) 減少硬件浪費(fèi),并降低純低端硬件的不穩(wěn)定性和性能風(fēng)險(xiǎn);
4) 兼容現(xiàn)有架構(gòu)的業(yè)務(wù)應(yīng)用系統(tǒng),例如基于Oracle等開發(fā)的業(yè)務(wù)系統(tǒng);
5) 降低業(yè)務(wù)大規(guī)模改造風(fēng)險(xiǎn)和時(shí)間成本,不必一刀切全部云化,當(dāng)然如果需要直接進(jìn)行業(yè)務(wù)分布式云化改造,也可以完全支撐;
6) 適合企業(yè)級(jí)業(yè)務(wù)需求的數(shù)據(jù)中心建設(shè)架構(gòu);
……