大數據對網(wǎng)絡(luò )運維意味著(zhù)什么?
2016年對于SDN來(lái)說(shuō)無(wú)疑是利好的一年,在金融、電信、互聯(lián)網(wǎng)等行業(yè)SDN產(chǎn)品和解決方案開(kāi)始規?;渴?,許多傳統行業(yè)對于SDN的需求也初現端倪?!?016~2017年中國SDN市場(chǎng)發(fā)展狀況白皮書(shū)》顯示,2016年中國SDN軟件市場(chǎng)(主要指SDN控制器及相關(guān)的軟件解決方案與服務(wù))規模達到了7.2億元,比2015年增長(cháng)30.9%,預計到2021年,市場(chǎng)規模將達到46.7億元。同時(shí),白皮書(shū)也指出了企業(yè)傳統網(wǎng)絡(luò )架構面臨的四大難題。
● 難以滿(mǎn)足業(yè)務(wù)靈活部署的需求
● 難以滿(mǎn)足業(yè)務(wù)資源整合的需求
● 難以滿(mǎn)足場(chǎng)景化的需求
● 難以滿(mǎn)足新的運維需求
在討論運維難題的時(shí)候,分析師認為傳統運維方式無(wú)法對整個(gè)網(wǎng)絡(luò )的流量、設備以及業(yè)務(wù)實(shí)現集中管控、統一編排。造成這個(gè)問(wèn)題的原因除了網(wǎng)絡(luò )架構的變遷,不容忽視的一點(diǎn)是,現在網(wǎng)絡(luò )中的數據量實(shí)在是太大了。軟件技術(shù)的發(fā)展支撐了更多智能設備的接入。今天我們不斷地從各種源頭搜集和存儲網(wǎng)絡(luò )交易、社交媒體動(dòng)態(tài)、移動(dòng)設備以及各類(lèi)不知道名字的自動(dòng)化傳感器產(chǎn)生的數據。
在這種情況下,爆炸式增長(cháng)的數據的存儲和計算需求促使存儲硬件、網(wǎng)絡(luò )基礎設施以及處理海量數據的計算方法不斷改進(jìn)。傳統運維從只對網(wǎng)絡(luò )基礎設施和流量進(jìn)行簡(jiǎn)單管理到突然增加對業(yè)務(wù)和復雜流量進(jìn)行管理必然力不從心。
Data is useless until you use it to make decisions
2017年初,思科斥資37億美元收購了AppDynamics,這是繼14億美元收購物Jasper的又一大動(dòng)作。媒體視之為思科戰略轉型的標志,在筆者看來(lái),思科是在布局其大數據生態(tài)。
大數據面臨的挑戰不僅僅是數據的大小,更是如何用新的方法從各類(lèi)數據平臺處理數據。跟傳統的商業(yè)智能(BI)相比,大數據分析能為企業(yè)網(wǎng)絡(luò )管理帶來(lái)質(zhì)的改變,其價(jià)值也更大。
追根溯源的能力
現代企業(yè)網(wǎng)絡(luò )中每秒有百萬(wàn)級的數據包在傳輸,當需要進(jìn)行troubleshooting的時(shí)候,有太多的地方要去檢查,按照傳統的方法,即便是5分鐘的數據也需要幾個(gè)小時(shí)甚至幾天來(lái)分析處理。倘若多數情況下的問(wèn)題不是網(wǎng)絡(luò )的問(wèn)題,應用程序的代碼本身也應該和網(wǎng)包、網(wǎng)流一起被拿來(lái)分析。網(wǎng)絡(luò )管理需要弄清楚不同數據類(lèi)型之間的區別。一些現有的解決方案在客戶(hù)可承受的價(jià)格范圍只能存儲三天的流量數據,對于時(shí)間更久遠的網(wǎng)絡(luò )故障,溯源只能水中撈月。
防微杜漸的能力
變化是現在IT系統的主題,已經(jīng)改變的信息并沒(méi)有什么意義,相反,預測有意義的變化十分具有挑戰。有時(shí)受限于網(wǎng)絡(luò )流量的大小和帶寬,一些大數據分析行為可能會(huì )引起正常業(yè)務(wù)的中斷。以電商網(wǎng)站的大促活動(dòng)為例,預演的效果并不能涵蓋全部可能真實(shí)的場(chǎng)景。一個(gè)優(yōu)秀的架構師通常能預見(jiàn)到現在的架構有什么潛在問(wèn)題。而如今,能發(fā)現這些潛在問(wèn)題的手段,多依賴(lài)大數據分析。
洞悉未來(lái)的能力
大多數傳統的網(wǎng)絡(luò )系統缺乏靈活的設計,在面對現在復雜的網(wǎng)絡(luò )環(huán)境時(shí)無(wú)法應對。傳統網(wǎng)絡(luò )中簡(jiǎn)陋的網(wǎng)絡(luò )監控設備無(wú)力應對復雜的虛擬化網(wǎng)絡(luò ),更遑論從中提取出可執行的規則;而基于探測和代理技術(shù)的監控系統也無(wú)法完全覆蓋underlay和overlay的網(wǎng)絡(luò )。將所有的數據匯聚在一起利用大數據技術(shù)進(jìn)行分析是企業(yè)網(wǎng)絡(luò )團隊必須首先解決的難題,因為其他的大數據分析應用已經(jīng)為業(yè)務(wù)部門(mén)創(chuàng )造了新的商機。
企業(yè)IT團隊已經(jīng)實(shí)現了更快速的故障排查,通過(guò)對大數據分析技術(shù)的利用,改進(jìn)網(wǎng)絡(luò )基礎設施的安全性、穩定性和可用性。未來(lái)的網(wǎng)絡(luò )該怎么設計?也許大數據分析能帶給人們一些啟示。
網(wǎng)絡(luò )運維的問(wèn)題其實(shí)是大數據的問(wèn)題
SDN的本質(zhì)是控制與轉發(fā)分離,從這個(gè)角度來(lái)看,控制的核心思想是網(wǎng)絡(luò )中有了“大腦”,通過(guò)這個(gè)智能系統對網(wǎng)絡(luò )設備下發(fā)指令,那么這些指令又來(lái)自哪里呢?通常我們認為,這些指令來(lái)自控制器基于已有的協(xié)議、規則對網(wǎng)絡(luò )流量和網(wǎng)絡(luò )行為的“審判”。而這個(gè)“審判”的過(guò)程,我們稱(chēng)之為大數據分析。數據分析并非新生事物,在這里,我們加了個(gè)“大”字。
任何大數據分析的應用最重要的基礎環(huán)節便是采集和存儲。關(guān)于采集,業(yè)界已經(jīng)有過(guò)較多的討論,本文不再贅述。筆者想從以下幾個(gè)方面簡(jiǎn)單概述一下大數據分析面臨的問(wèn)題。
靈活擴展的存儲能力
在上一篇《直面數據中心網(wǎng)絡(luò )六大需求,六步打造面向未來(lái)的網(wǎng)絡(luò )》文章中筆者提過(guò),思科網(wǎng)絡(luò )報告白皮書(shū)顯示2015~2020年全球網(wǎng)絡(luò )流量年復合增長(cháng)率達到22%(注:2015年全球網(wǎng)絡(luò )流量為72EB,2016年這一數字為88EB,1EB=1,000PB)截至2020年全球網(wǎng)絡(luò )流量將會(huì )凈增長(cháng)200EB。對如此規模的流量進(jìn)行采集和分析的需求必然要求較強的存儲能力。
考慮到22%的增量,存儲系統必須在不喪失性能的前提下具有高度的靈活和可擴展性,以便不停機彈性擴容。文件系統還必須支持諸如同時(shí)處理不同類(lèi)型和來(lái)源數據的能力、把海量大數據轉換成元數據的功能等等。在筆者看來(lái),網(wǎng)絡(luò )的問(wèn)題首先是大數據存儲的問(wèn)題。在規劃和設計存儲系統的時(shí)候,應該考慮所有當下的情況以及未來(lái)的使用場(chǎng)景。
延時(shí)的問(wèn)題
2015年前后的一段時(shí)間,IT圈很流行實(shí)時(shí)流數據處理技術(shù);后來(lái)筆者了解到大量的公有云服務(wù)商在自己的基礎設施中使用加速卡/智能卡。比如,微軟通過(guò)使用FPGA技術(shù)的智能網(wǎng)卡提高了Azure的性能,微軟的FPGA智能網(wǎng)卡還有加密和加速存儲協(xié)議的功能。大數據分析在一些場(chǎng)景如社交媒體、交易數據等需要實(shí)時(shí)處理以便作出決策,這要求不能出現響應延時(shí)或者數據丟失。對需要根據實(shí)時(shí)數據作出響應決策的應用來(lái)說(shuō),這個(gè)要求會(huì )更高。
跨平臺接入
隨著(zhù)大數據應用在各種平臺和系統(尤其是物聯(lián)網(wǎng))上,對數據的交叉使用成為一種常規需求。公有云服務(wù)商在幫助大型客戶(hù)進(jìn)行數據遷移的時(shí)候遇到過(guò)較多此類(lèi)案例,存儲系統必須能夠同時(shí)處理來(lái)自不同系統、不同格式的異構數據。數據時(shí)代的大數據生態(tài)必然要求軟、硬件盡可能的兼容、統一。IDC近年來(lái)一直致力于通過(guò)采用標準服務(wù)器來(lái)優(yōu)化網(wǎng)絡(luò )和擺脫廠(chǎng)商綁定;世界上最先進(jìn)的數據中心如谷歌、微軟、領(lǐng)英、Facebook等都在向著(zhù)這個(gè)方向發(fā)展。
安全的問(wèn)題
安全是云計算的基石,之所以這么說(shuō)源自數據對于我們的重要性。比如,最近大家熱議的某公有云廠(chǎng)商租戶(hù)隔離的問(wèn)題;多數人認為VPC是目前成熟的、可行的租戶(hù)安全解決方案,這也是多數云廠(chǎng)商產(chǎn)品化的方向。事實(shí)上層出不窮的安全事件都是針對數據的竊取或破壞。由于數據交叉使用,現有的IT系統安全機制需要作出較大調整,而存儲也需要在不犧牲性能和可擴展性的前提下,滿(mǎn)足對這些數據處理的安全要求。
成本的問(wèn)題
大數據意味著(zhù)高成本,對數據分析來(lái)說(shuō),計算資源顯然沒(méi)有存儲資源的開(kāi)銷(xiāo)大。有人認為采用開(kāi)放標準硬件能節省大量的成本(約30%~80%不等)。曾經(jīng)轟轟烈烈的去IOE和政府倡導的國產(chǎn)化,在節約成本方面無(wú)疑有很多值得稱(chēng)道的地方。隨著(zhù)OpenStack的遍地開(kāi)花,開(kāi)源存儲技術(shù)也獲得了長(cháng)足的發(fā)展。企業(yè)選擇不使用市面上現有的商用存儲方案,對數據去重、壓縮備份,用自己定制化的存儲硬件等措施,可以顯著(zhù)降低成本。
總結一下,大數據的價(jià)值已經(jīng)得到普遍的認可,看一下自動(dòng)化之于網(wǎng)絡(luò )運維的效果我們相信,未來(lái)是令人振奮的,但更深層次的價(jià)值有待業(yè)界進(jìn)一步發(fā)掘;通過(guò)研究不難發(fā)現,網(wǎng)絡(luò )運維的問(wèn)題其實(shí)是大數據的問(wèn)題,而大數據分析本身尚處在初級階段,有較多亟需解決的難題。那么,在這條路上我們該怎么走?