不懂的看過來：云計算簡史

圍繞云計算相關(guān)的技術(shù)領(lǐng)域、技術(shù)名詞和技術(shù)產(chǎn)品令人眼花繚亂。在云計算發(fā)端之初，應(yīng)用開發(fā)環(huán)境還比較簡單，當(dāng)時還有所謂的全棧工程師存在，意味著如果不考慮開發(fā)周期，一個人就能搞定整個應(yīng)用軟件。今天，這個稱謂已經(jīng)名不符實。很少再有一個人，甚至一個企業(yè)能夠全面掌握和云計算有關(guān)的所有技術(shù)棧。他們可能會應(yīng)用旁人完成的一些成果，結(jié)合自有的一些專有經(jīng)驗，來形成在某個細(xì)分市場有競爭力的產(chǎn)品，或者為客戶交付期望的產(chǎn)出。

即使作為純粹的應(yīng)用者，要想全面了解和云計算有關(guān)的技術(shù)，做到合理架構(gòu)，恰當(dāng)選型，順利完成集成開發(fā)和部署的全過程，也都比過去難得多，需要的技術(shù)人才也比過去昂貴。坦率來說，在當(dāng)下的人才競爭度下，一般行業(yè)的企業(yè)，即使擁有信息部門，也都不太可能獨立駕馭這樣復(fù)雜的開發(fā)設(shè)施，他們將不得不廣泛依賴云計算平臺提供的服務(wù)。這給軟件行業(yè)的解決方案商帶來了新的市場機(jī)會。誰能夠為數(shù)字化轉(zhuǎn)型企業(yè)提供友好的應(yīng)用開發(fā)和部署環(huán)境，誰就能夠獲得和保有客戶。

這篇長文主要面向大中型企業(yè)的技術(shù)和非技術(shù)管理者。我通過描繪云計算技術(shù)和市場領(lǐng)域的發(fā)展過程，介紹關(guān)鍵技術(shù)和市場里程碑，包括不同技術(shù)域下的核心開源項目，讓企業(yè)能夠?qū)υ朴嬎惆l(fā)展歷史和相關(guān)技術(shù)域有一個通盤的了解。有了通盤的認(rèn)知，你會更容易看透本企業(yè)應(yīng)該怎樣利用云計算，未來可能的市場機(jī)會和挑戰(zhàn)在哪里?

本文受到Tom Siebel 2019年出版的Digital Transformation一書的啟發(fā)，但我盡量結(jié)合了中國市場的實際情況通俗地來講述。

云計算市場的形成和結(jié)構(gòu)

我們今天能夠享受經(jīng)濟(jì)和便捷的云計算服務(wù)，主要來自兩大動力，一是計算資源的虛擬化技術(shù)，二則是規(guī)模經(jīng)濟(jì)效應(yīng)。前者發(fā)端于2000年后VMWare推出的Hypervisor虛擬化軟件，它不再依賴一個母體操作系統(tǒng)，就允許用戶將硬件和網(wǎng)絡(luò)資源劃分成多個單元，從而實現(xiàn)計算資源的池化、共享和按需調(diào)度。

2006年，Amazon推出了S3對象存儲服務(wù)和SQS簡單隊列服務(wù)，開創(chuàng)了公共云計算服務(wù)的先河。在此后，微軟，IBM，谷歌，中國的阿里，騰訊和華為等都陸續(xù)加入了公共云服務(wù)的市場，提供的服務(wù)也從基礎(chǔ)計算資源擴(kuò)展到數(shù)據(jù)庫、人工智能、物聯(lián)網(wǎng)等多個技術(shù)領(lǐng)域。目前，這個行業(yè)已經(jīng)成長為年收入2500億美元的巨大市場。

在這十多年的發(fā)展過程中，當(dāng)然出現(xiàn)了很多的公司，產(chǎn)品和服務(wù)，但是概括起來這些事物的涌現(xiàn)基本沿著兩條明顯的路線在進(jìn)行：

趨勢一：從基礎(chǔ)設(shè)施，到應(yīng)用，再到應(yīng)用相關(guān)的平臺服務(wù)

基礎(chǔ)云 (Infrastructure as a Service)

最早的云計算服務(wù)就是最基礎(chǔ)的云主機(jī)(Virtual Machine)，服務(wù)商把裸金屬裝上Hypervisor，把計算和網(wǎng)絡(luò)資源分塊后就可以賣了。隨后，基礎(chǔ)服務(wù)被拆分為主機(jī)、存儲、網(wǎng)絡(luò)、數(shù)據(jù)庫和安全等幾個重要的基礎(chǔ)云產(chǎn)品，允許用戶靈活組合，并實現(xiàn)了彈性計費(目前國外基礎(chǔ)云廠商大多都提供按分鐘或按秒的計費精度，存儲則可以按月計費，比如AWS的S3服務(wù)每GB數(shù)據(jù)的標(biāo)準(zhǔn)存儲月費在0.0125美元，而深度歸檔存儲的每GB月費可以低至每GB0.001美元)。

我們一般把主機(jī)，存儲，網(wǎng)絡(luò)，數(shù)據(jù)庫和安全相關(guān)的計算服務(wù)統(tǒng)稱為基礎(chǔ)云服務(wù)。在這些服務(wù)之上，開發(fā)者需要完成所有的技術(shù)棧搭建，構(gòu)建自己的數(shù)據(jù)架構(gòu)，開發(fā)編碼，部署運維，最終才能實現(xiàn)云端應(yīng)用。而初代的云計算客戶大多數(shù)都是互聯(lián)網(wǎng)公司。他們并非云服務(wù)的最終消費者，而是生產(chǎn)者。

應(yīng)用即服務(wù)(Software as a Service)

和Amazon Web Services幾乎同時起步的另外一家公司Dropbox是一家面向個人和團(tuán)隊提供文件存儲和共享服務(wù)的創(chuàng)業(yè)公司。趕上了AWS起步的時候，Dropbox就直接使用了AWS現(xiàn)成的S3對象存儲服務(wù)，這讓一家團(tuán)隊人數(shù)很小的初創(chuàng)公司有機(jī)會能夠聚焦在應(yīng)用開發(fā)和營銷上，讓Dropbox通過短短的幾年時間發(fā)展成市場份額第一的文件共享應(yīng)用。和Dropbox類似的大票SaaS企業(yè)大多也都是在隨后的十年內(nèi)陸續(xù)出現(xiàn)，他們千篇一律都使用了云計算平臺的服務(wù)，而不再自建基礎(chǔ)設(shè)施。這當(dāng)中也包括一個超級大用戶“奈飛“(Netflix)，他們的下行流量占到整個互聯(lián)網(wǎng)下行流量的15%之多，也是AWS的客戶。

我們創(chuàng)辦的明道協(xié)作應(yīng)用誕生在2011年，也正好趕上了中國云計算平臺開始的年份，所以我們也避免了很多基礎(chǔ)設(shè)施的建設(shè)工作。廣義來說，最早的云服務(wù)在基礎(chǔ)云公司之前就出現(xiàn)了。1999年創(chuàng)辦的Salesforce，就是一個典型的SaaS公司，只不過當(dāng)年沒有這樣的行業(yè)術(shù)語。2016年，據(jù)說Salesforce也已經(jīng)成為了AWS的客戶。因為SaaS服務(wù)形式的存在，使得云計算能夠間接提供服務(wù)給大量的中小企業(yè)和非互聯(lián)網(wǎng)行業(yè)企業(yè)。今天，幾乎所有的企業(yè)都或多或少應(yīng)用一些SaaS服務(wù)。

云計算市場發(fā)展的第一波主要由互聯(lián)網(wǎng)企業(yè)用戶帶動。他們具備比較完整的開發(fā)和自助運維能力，而且也有日益增長的用量，屬于基礎(chǔ)云服務(wù)最理想的客戶群體。直到今天，阿里云和騰訊云的主要客戶群體依然是泛互聯(lián)網(wǎng)行業(yè)。

SaaS企業(yè)是云計算基礎(chǔ)服務(wù)的重要推動者，雖然這個門類和2C的網(wǎng)絡(luò)服務(wù)相比，貢獻(xiàn)的經(jīng)濟(jì)價值要小得多，但是他們深諳企業(yè)市場的需求，推動了云計算平臺的應(yīng)用開發(fā)環(huán)境日益成熟。這就是趨勢的下一步：平臺即服務(wù)。

(開發(fā))平臺即服務(wù)(Platform as a Service)

所謂平臺即服務(wù)，特指開發(fā)平臺。應(yīng)用開發(fā)工作從本地遷移到云端，自然需要在云計算環(huán)境中提供對應(yīng)的更優(yōu)解決方案。所以過去傳統(tǒng)的中間件市場陸續(xù)發(fā)生變遷，逐一轉(zhuǎn)換為在云計算平臺上的某項服務(wù)。比較常見的開發(fā)平臺服務(wù)包括：

通訊：提供音視頻通信、消息推送、短信、郵件等服務(wù)

地理信息：提供地圖、定位、導(dǎo)航相關(guān)的服務(wù)

應(yīng)用開發(fā)框架：提供應(yīng)用開發(fā)環(huán)境和運行時環(huán)境

媒體服務(wù)：提供圖片和音視頻等媒體文件的編碼、加工和存儲服務(wù)

機(jī)器學(xué)習(xí)框架：提供面向AI應(yīng)用開發(fā)者的機(jī)器學(xué)習(xí)數(shù)據(jù)標(biāo)注和模型訓(xùn)練平臺

小到發(fā)送一條驗證碼短信也是一項PaaS服務(wù)。

作為PaaS服務(wù)，主要是為開發(fā)者服務(wù)的，所以除了功能性服務(wù)以外，PaaS廠商也要提供開發(fā)友好性相關(guān)的周邊能力，比如彈性擴(kuò)展的能力，調(diào)試和控制權(quán)限的能力等。參與的開發(fā)者越多，一項PaaS服務(wù)就能夠有更多的改進(jìn)機(jī)會和攤低的平均成本。

PaaS服務(wù)是不是一定由獨立的PaaS廠商來提供呢?不一定。實際上，主流的PaaS服務(wù)大多被IaaS公司所覆蓋了。如果你打開阿里云的產(chǎn)品列表，在數(shù)百個產(chǎn)品中，你會發(fā)現(xiàn)基礎(chǔ)云服務(wù)只是其中一個門類，其他十幾個門類都是和開發(fā)環(huán)境有關(guān)的服務(wù)。這意味著，一家創(chuàng)業(yè)公司想要獨立成為一家成功的PaaS廠商，需要相當(dāng)聚焦地執(zhí)行，而且產(chǎn)品有明顯的技術(shù)度。一旦做到這一點，也不用擔(dān)心和基礎(chǔ)云公司的競爭，因為我后面會講到云計算市場的技術(shù)發(fā)展，其中已經(jīng)有眾多的技術(shù)趨勢保障了獨立性PaaS公司建立跨云服務(wù)的獨特優(yōu)勢。

以上說的是云計算服務(wù)過去十五年發(fā)展中的一條脈絡(luò)，從基礎(chǔ)云到應(yīng)用的共生，再到日益豐富的開發(fā)平臺即服務(wù)。云計算覆蓋的用戶越來越多，依賴的是這三個層次的服務(wù)互為補充。

趨勢二：從公共云、私有云到混合云，再到多云

第二條脈絡(luò)有關(guān)云計算服務(wù)的部署模式(Deployment Model)。當(dāng)云計算概念被提出時，它顯然指的就是公共云服務(wù)，客戶不需要保有任何基礎(chǔ)設(shè)施，直接像水電煤一樣使用云計算資源就可以。但是商業(yè)的現(xiàn)實和技術(shù)企業(yè)的理想之間總是存在溝壑。云計算到底是技術(shù)還是服務(wù)，在很長一段時間內(nèi)是缺乏共識的。

在云計算服務(wù)開啟之前，很多大型企業(yè)和組織都有自己的服務(wù)器。2010年，全球服務(wù)器市場就有500億美元的規(guī)模，這些服務(wù)器大多數(shù)都賣給了企業(yè)和政府。企業(yè)擁有了這些基礎(chǔ)設(shè)施，難道再花錢買公共云服務(wù)嗎?既然云計算技術(shù)這么好，為什么我自己來實現(xiàn)呢?政府、金融、醫(yī)藥等行業(yè)客戶更加不可能在公共云計算服務(wù)誕生的初期就義無反顧地采納，他們有各種各樣所謂的合規(guī)要求。

私有云 (Private Cloud)

果不其然，有需求就有供給。2010年Rackspace和NASA公開了一個叫做OpenStack的開源項目組。它包含了一系列用于構(gòu)筑云計算服務(wù)的開源軟件。這意味著，所有擁有硬件基礎(chǔ)設(shè)施的用戶都可以用很低的成本來實現(xiàn)和AWS類似的技術(shù)架構(gòu)。Rackspace是一家IDC公司，它這么做的動力顯然是很強的。它認(rèn)為只要幫助客戶解決虛擬化問題，自己的主機(jī)托管生意一樣可以興旺發(fā)達(dá)。

雖然軟件是開源免費的，但是要實施Open Stack依然需要云計算相關(guān)的專業(yè)知識。因此，從2010年開始，出現(xiàn)了很多基于OpenStack幫助企業(yè)建立私有云的服務(wù)商。在國內(nèi)，公共云服務(wù)商甚至都提供過這類服務(wù)。十年過去了，這股由OpenStack帶起的私有云風(fēng)潮基本告一段落。除了極少數(shù)大型用戶在經(jīng)濟(jì)上能夠承受自己維護(hù)獨立的云計算平臺，絕大多數(shù)用戶根本無法得到經(jīng)濟(jì)上合理的回報。虛擬化只是云計算服務(wù)的一個技術(shù)前提，但并非所有的價值。私有云方案永遠(yuǎn)無法利用到資源彈性利用(可大可小)和真正的規(guī)模經(jīng)濟(jì)效應(yīng)，除非用戶根本不關(guān)切經(jīng)濟(jì)理性。

在中國市場，重點行業(yè)可能至今依然無法使用商業(yè)云服務(wù)，但是電信運營商和一些國家級的科技企業(yè)也在公共云服務(wù)商的幫助下建立了各種行業(yè)云。比如移動云，聯(lián)通云和電信天翼云都是這樣形成的，他們?yōu)榻鹑?、政府、交通、教育等重點行業(yè)提供公共云服務(wù)。

故事到這里，似乎公共云已經(jīng)大獲全勝。但是，商業(yè)現(xiàn)實又回來了。在越來越同質(zhì)化的云計算服務(wù)市場，客戶難道完全沒有議價能力嗎?客戶的需求如果不能得到滿足，總有供應(yīng)商會愿意創(chuàng)新。于是混合云(Hybrid Cloud)出場了。

混合云 (Hybrid Cloud)

其實混合云并不是什么獨特的云計算技術(shù)，它實質(zhì)上是一組通訊服務(wù)。只要堆上足夠好的網(wǎng)絡(luò)設(shè)備和奢侈的專線連接，世界上任何地點的計算設(shè)備都可以組成高速專網(wǎng)。即便客戶預(yù)算有限，只要對安全性和連通性的要求沒有那么高，也可以自助搭建經(jīng)濟(jì)的網(wǎng)絡(luò)。圍繞通過商業(yè)網(wǎng)絡(luò)連接組建混合云的技術(shù)被稱之為“SD-WAN”(軟件定義廣域網(wǎng))。有了網(wǎng)絡(luò)連接，就可以把客戶自有的計算設(shè)施和公共云計算設(shè)施連接在一起，稱之為“混合云”。

混合云對客戶的好處是明顯的。首先，每個企業(yè)都可能有云計算基礎(chǔ)用量，但也可能有短期的激增需求。有了混合云，客戶就可以圍繞自己的基礎(chǔ)用量采購自有IT資產(chǎn)，自己運營私有云，而短期波動的增量則可以通過公共云服務(wù)滿足，等需求高峰過去，就可以去掉這部分的開支。企業(yè)也可以將運維難度比較低的基礎(chǔ)云服務(wù)保留在自己的設(shè)施內(nèi)，而同時使用公共云提供的復(fù)雜計算服務(wù)，比如機(jī)器學(xué)習(xí)平臺等。Dropbox是一個大規(guī)模的SaaS應(yīng)用，它在2016年做了很大的架構(gòu)調(diào)整，大部分的服務(wù)不再使用AWS的公共云，一舉節(jié)省了7000萬美元的年度云計算開銷。

混合云策略現(xiàn)在已經(jīng)得到了廠商和客戶的雙重支持，它終結(jié)了公共云和私有云非黑即白的爭議，讓整個IT產(chǎn)業(yè)更加務(wù)實。這其中也誕生了很多的商業(yè)機(jī)會。微軟，亞馬遜，IBM，Google等的云計算廠商都推出了自己的混合云解決方案。因為混合云方案主流化，云計算廠商的競爭開始從基礎(chǔ)云資源的成本向應(yīng)用開發(fā)生態(tài)環(huán)境遷移。因為在混合云架構(gòu)下，客戶面臨如何規(guī)劃流暢的數(shù)據(jù)連接，如何快速交付云原生應(yīng)用的新挑戰(zhàn)。所以，云計算的終極競爭不是硬件的競爭，也不是軟件的競爭，而是應(yīng)用開發(fā)和部署(AD&D)環(huán)境的競爭。

多云 (Multi-Cloud)

多云概念是云計算市場最近幾年出現(xiàn)的概念。它把所有的云計算平臺，客戶的私有云設(shè)施全部視作一般基礎(chǔ)設(shè)施。所有的應(yīng)用在所有的云上都能一致并可靠地運行。多云解決方案不僅是基礎(chǔ)設(shè)施提供者需要協(xié)調(diào)的，更重要的是應(yīng)用開發(fā)和部署要面向多云運行目標(biāo)。

2013年，Y Combinator孵化企業(yè)Docker Inc開源了Docker項目。它成為應(yīng)用跨云部署的重要前提。Docker允許用戶將復(fù)雜的應(yīng)用、數(shù)據(jù)和依賴的環(huán)境，包括操作系統(tǒng)本身打包到一個“容器”中，通過標(biāo)準(zhǔn)的Docker引擎，在任何計算環(huán)境中都可以一致地運行。有了這項技術(shù)，把一個應(yīng)用系統(tǒng)從阿里云轉(zhuǎn)移到騰訊云就和傳輸一個文件一樣簡單，云和云之間已經(jīng)沒有邊界。為什么Windows和mac OS的應(yīng)用永遠(yuǎn)不兼容，而云計算廠商卻眼睜睜地看著這些事情發(fā)生呢?很簡單，因為整個云計算技術(shù)生態(tài)都建立在開源軟件上，亞馬遜再大，它也只是一個服務(wù)提供者，收的是租金。而客戶方，則越來越看重自主可控性，他們不希望被單一的云計算公司鎖定，畢竟自己的客戶和交易數(shù)據(jù)都運行在云計算上，它是所有企業(yè)的命脈了。

2015年，Google開源了Kubernates項目，讓多云解決方案更勝一籌。K8S能夠?qū)θ萜鞯膭?chuàng)建、擴(kuò)展等進(jìn)行自動編排。這意味著無論應(yīng)用有多么復(fù)雜，它都能夠在多云環(huán)境中進(jìn)行統(tǒng)一運維。比如自家的某種類型存儲用完了，就可以臨時購買一些亞馬遜的存儲。數(shù)據(jù)過時了，就定期自動地轉(zhuǎn)移到低價格的冷存服務(wù)中。

有了多云技術(shù)框架和服務(wù)，同時意味著云計算平臺必須提供廣泛支持。阿里云當(dāng)然希望多賣一些云主機(jī)服務(wù)，但是如果因為技術(shù)框架落后，客戶就會流失。所以，全世界的云計算平臺目前都義無反顧地支持了多云策略，希望在這個過程中繼續(xù)以專業(yè)服務(wù)商的地位存在。

多云策略對應(yīng)用開發(fā)者的影響也很大。首先開發(fā)者必須從第一天就按照云計算環(huán)境來規(guī)劃，支持多云部署，自動伸縮，采用微服務(wù)架構(gòu)以實現(xiàn)容器部署。其次，應(yīng)用開發(fā)者也能夠從這樣的架構(gòu)中受益。因為它使得客戶獲得私有軟件也像應(yīng)用SaaS一樣簡單，唯獨不同的是應(yīng)用和數(shù)據(jù)運行在客戶控制的計算環(huán)境中，但是軟件本身都是基于單一代碼庫的(Single Code Base)。我們明道云原來是一個SaaS形態(tài)應(yīng)用，客戶只需要在mingdao.com上注冊即可使用，現(xiàn)在，通過容器技術(shù)，我們的客戶也可以在自己的云計算環(huán)境中安裝和升級。這些都有賴于多云技術(shù)架構(gòu)。

前面我們提到了云計算公司的競爭將向應(yīng)用開發(fā)和部署環(huán)境遷移。那么它具體指的是什么呢?它有關(guān)于圍繞云計算相關(guān)的四個技術(shù)領(lǐng)域。Tom Siebel把他們概括為云計算本身、大數(shù)據(jù)、人工智能和物聯(lián)網(wǎng)。

接下來，我們會逐一介紹這十五年來，伴隨云計算發(fā)展起來的數(shù)字化技術(shù)領(lǐng)域。正是因為云計算服務(wù)的普及，才催化了這些新興的技術(shù)領(lǐng)域，反過來，這些技術(shù)領(lǐng)域的發(fā)展也讓現(xiàn)代云服務(wù)更加完善，當(dāng)然也更加復(fù)雜。正是這些復(fù)雜性，讓企業(yè)數(shù)字化轉(zhuǎn)型工作變得阻力重重。相較于更早前的基礎(chǔ)信息化工作，企業(yè)屆要認(rèn)知和掌握的技術(shù)范疇要比寬廣得多。因此，我們介紹云計算的發(fā)展簡史，就必須要把關(guān)聯(lián)技術(shù)域的發(fā)展也一并介紹。

云計算相關(guān)的技術(shù)領(lǐng)域 大數(shù)據(jù)(Big Data)

在大數(shù)據(jù)概念出現(xiàn)之前，數(shù)據(jù)存儲、處理和分析的技術(shù)早已存在。隨著存儲成本的下降和云計算提供的彈性計算能力增強，越來越多的數(shù)據(jù)場景已經(jīng)不能被傳統(tǒng)的數(shù)據(jù)庫技術(shù)所處理。這些新場景可以被概括為高數(shù)據(jù)量(Volume)，高頻度(Velocity)和多數(shù)據(jù)類型(Variety)三個特點。比如在電子商務(wù)、金融和物聯(lián)網(wǎng)領(lǐng)域，系統(tǒng)往往在很短的時間內(nèi)會產(chǎn)生大量的數(shù)據(jù)。這些數(shù)據(jù)甚至在存儲的過程中就會產(chǎn)生瓶頸，更不用說實時性很強的計算和分析。所以，從搜索引擎時代開始，大數(shù)據(jù)相關(guān)的技術(shù)就開始孕育。

MapReduce和Hadoop

搜索引擎的霸主Google成立于1998年，幾年以后，Google的搜索服務(wù)所承載的數(shù)據(jù)量已經(jīng)是一個天文數(shù)字，而且還在以光速增加。傳統(tǒng)的數(shù)據(jù)處理技術(shù)完全依賴硬件算力的鋪陳，這會讓Google在未來的發(fā)展中不堪重負(fù)。2004年，Google在內(nèi)部推出了GFS分布式文件系統(tǒng)和分布式計算框架MapReduce。前者解決了單一硬件資源的限制，后者通過一系列數(shù)學(xué)原理，將多類型的數(shù)據(jù)進(jìn)行切片并分散存儲在特定的分區(qū)中，這個設(shè)計能夠讓未來的計算和分析大幅提效。MapReduce的技術(shù)原理是大數(shù)據(jù)技術(shù)發(fā)展的最重要基礎(chǔ)。

很快，開源軟件領(lǐng)域開始響應(yīng)這項技術(shù)方案，Lucene項目創(chuàng)始人Doug Cutting在2006年正式獨立出Hadoop開源項目，在其中包括了分布式文件系統(tǒng)，在集群資源上的調(diào)度工具，以及最核心的大數(shù)據(jù)并行處理開發(fā)框架。有了Hadoop以后，那些面對海量數(shù)據(jù)分析難題行業(yè)從此有了更好的解決方案。只是在2006年前后，主要的應(yīng)用行業(yè)還是互聯(lián)網(wǎng)行業(yè)本身。Yahoo，

中國的百度等都很快應(yīng)用了Hadoop來解決海量數(shù)據(jù)的存儲和檢索問題。

Hive，Spark和流式計算

在隨后的幾年中，Hadoop相關(guān)的大數(shù)據(jù)處理技術(shù)繼續(xù)得到增強。Facebook開源的Hive分析工具用更高層和抽象的語言來描述算法和數(shù)據(jù)處理流程，能夠用SQL語句進(jìn)行大數(shù)據(jù)分析，這大大降低了使用者門檻，也提升了大數(shù)據(jù)技術(shù)的應(yīng)用效率。不要小看這項改進(jìn)，它讓全世界大多數(shù)現(xiàn)有的數(shù)據(jù)分析人員可以輕易掌握大數(shù)據(jù)技術(shù)。

2009年，加州大學(xué)伯克利分校的AMP實驗室開發(fā)了Spark開源集群計算框架，通過完善API和庫，提供更完善的能力和通用性。而且Spark的特色是能夠?qū)?shù)據(jù)存儲在內(nèi)存中，所以數(shù)據(jù)處理和查詢效率要比利用硬盤存儲的MapReduce框架快百倍。目前，Spark已經(jīng)加入Apache Software Foundation，成為Apache開源項目中的明星項目，被大數(shù)據(jù)技術(shù)領(lǐng)域作為最重要的工具框架。

至此為止的技術(shù)?；窘鉀Q了針對海量數(shù)據(jù)批量進(jìn)行處理和分析的需求。比如零售業(yè)企業(yè)如果需要研究顧客和交易數(shù)據(jù)，從而對顧客群進(jìn)行特征細(xì)分，這些技術(shù)就足夠了。但是，數(shù)字化技術(shù)的發(fā)展總是會刺激出更高級的需求。比如，在線上零售中，商品和顧客的行為數(shù)據(jù)是永續(xù)不斷在發(fā)生的，我們希望在數(shù)據(jù)發(fā)生的時刻就立即進(jìn)行計算，及時地給顧客推送一張個性化的優(yōu)惠券，而不是定時進(jìn)行某種批量計算，這時候就需要大數(shù)據(jù)技術(shù)的一個分支—流式計算。

流式計算的常用框架包括Storm和Spark Stream和Flink，他們在零售和電子商務(wù)行業(yè)中的交易分析、金融風(fēng)控、物聯(lián)網(wǎng)中的態(tài)勢監(jiān)控、車聯(lián)網(wǎng)中的自動駕駛等領(lǐng)域都被廣泛應(yīng)用。2019年，阿里巴巴用1億美元收購了Flink，是因為我們用的淘寶天貓中的搜索、商品推薦，包括雙11的實時監(jiān)控大屏數(shù)據(jù)都是由Flink來驅(qū)動的。Flink用幾乎無延遲的速度截獲雙十一最后一秒鐘結(jié)束后的GMV數(shù)值，可見它在實時處理數(shù)據(jù)方面的性能。

NoSQL數(shù)據(jù)庫

與大數(shù)據(jù)技術(shù)同步發(fā)展的還包括NoSQL(非關(guān)系型)數(shù)據(jù)庫市場。在上個世紀(jì)，大多數(shù)商業(yè)數(shù)據(jù)庫都是關(guān)系數(shù)據(jù)庫，通過SQL語言進(jìn)行數(shù)據(jù)處理和查詢。當(dāng)大數(shù)據(jù)技術(shù)發(fā)展起來后，技術(shù)專家們發(fā)現(xiàn)數(shù)據(jù)庫完全可以用不同的形態(tài)來存儲數(shù)據(jù)，這樣可以大幅減少數(shù)據(jù)分析過程中的預(yù)處理工作量。所以，從2009前后開始，各種NoSQL數(shù)據(jù)庫開始進(jìn)入市場。

下圖是維基百科上針對NoSQL數(shù)據(jù)庫類型的分類方法：

讀者可以忽略其中的細(xì)節(jié)技術(shù)語言，只需要了解不同類型的NoSQL數(shù)據(jù)庫會有利于特定場景的應(yīng)用開發(fā)。比如文檔數(shù)據(jù)庫采用JSON格式存儲，可以隨心所欲定義不同的數(shù)據(jù)結(jié)構(gòu)，而且橫向擴(kuò)展性很強(數(shù)據(jù)規(guī)模增大后可以保證查詢效率)。我們明道云的工作表就是利用了文檔數(shù)據(jù)庫MongoDB作為存儲方案。

NoSQL數(shù)據(jù)庫普遍支持分布式文件系統(tǒng)，所以都具備很強橫向擴(kuò)展性。和關(guān)系數(shù)據(jù)庫相比，NoSQL數(shù)據(jù)庫大多不具備事務(wù)一致性，但是這個犧牲交換得到數(shù)據(jù)處理的效率，因而作為大數(shù)據(jù)技術(shù)相關(guān)的常見存儲方案。

云計算平臺上的大數(shù)據(jù)服務(wù)

以上我們介紹了大數(shù)據(jù)技術(shù)發(fā)展依賴的各個重要技術(shù)棧。很顯然，和傳統(tǒng)的應(yīng)用開發(fā)相比，大數(shù)據(jù)技術(shù)相對更加復(fù)雜。它不僅涉及復(fù)雜的編程框架，還需要一個專業(yè)的運維體系。這使得大部分普通企業(yè)用戶很難自己來搭建大數(shù)據(jù)開發(fā)環(huán)境。所以云計算平臺在基礎(chǔ)云服務(wù)之外，也開始結(jié)合云計算資源提供大數(shù)據(jù)服務(wù)。阿里云上的MaxCompute是一個全托管的大數(shù)據(jù)SaaS服務(wù)，用戶甚至無需管理主機(jī)基礎(chǔ)設(shè)施，直接按照大數(shù)據(jù)計算任務(wù)量付費。順便說一下，這種直接將計算服務(wù)提供給開發(fā)者的模式被稱為“無服務(wù)器”(Serverless)計算，它的目的是為了簡化開發(fā)工作中的運維任務(wù)，讓開發(fā)者聚焦在應(yīng)用開發(fā)上。不僅僅是大數(shù)據(jù)領(lǐng)域，在AI，物聯(lián)網(wǎng)等其他技術(shù)領(lǐng)域，無服務(wù)器服務(wù)模式正在日益成為主流。E-MapReduce則是一整套大數(shù)據(jù)相關(guān)的PaaS服務(wù)，用戶可以選擇利用現(xiàn)成的服務(wù)在自己控制的云主機(jī)上完成部署，客戶主要支付的是基礎(chǔ)云的資源費用。和阿里云類似，亞馬遜AWS等其他云計算平臺也提供豐富的大數(shù)據(jù)相關(guān)平臺服務(wù)。

應(yīng)用領(lǐng)域

我們前面提到大數(shù)據(jù)技術(shù)起源于搜索引擎應(yīng)用。在隨后的十多年中，它的主要應(yīng)用場景依然還是在互聯(lián)網(wǎng)領(lǐng)域。最常見的應(yīng)用包括計算廣告(依據(jù)用戶和內(nèi)容數(shù)據(jù)動態(tài)決定廣告投放策略和定價)，內(nèi)容檢索和推薦(百度、頭條)，商品推薦和營銷活動優(yōu)化(淘寶、拼多多)。不要小看這幾個場景，它們幾乎和互聯(lián)網(wǎng)用戶上網(wǎng)過程中的每一分秒都有關(guān)系，所以創(chuàng)造了巨大的經(jīng)濟(jì)價值。

數(shù)據(jù)的價值當(dāng)然不僅僅局限于互聯(lián)網(wǎng)行業(yè)，幾乎每個產(chǎn)業(yè)都有機(jī)會在大數(shù)據(jù)技術(shù)的幫助下發(fā)掘出數(shù)據(jù)的價值，或者改善運營效率，或者發(fā)現(xiàn)出新的業(yè)務(wù)機(jī)會。金融行業(yè)是較早的受益者。銀行貸款業(yè)務(wù)中的風(fēng)險控制、零售和結(jié)算業(yè)務(wù)中的欺詐發(fā)現(xiàn)、保險業(yè)務(wù)中的精算和保單個性化定價、證券行業(yè)中的期貨定價和股價預(yù)測等都實實在在在創(chuàng)造出財富。

大數(shù)據(jù)在研究和開發(fā)領(lǐng)域也在大顯身手。在生物醫(yī)藥領(lǐng)域，大數(shù)據(jù)技術(shù)在幫助縮短藥物研發(fā)的周期和提高成功率;合成化學(xué)行業(yè)也在利用大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)來加快發(fā)現(xiàn)新材料。有人甚至認(rèn)為數(shù)據(jù)科學(xué)將成為實驗、推演和仿真以外的一種新的科學(xué)研究方法，成為“第四范式”。

大數(shù)據(jù)在城市交通、社會治理、能源傳輸、網(wǎng)絡(luò)安全、航空航天等領(lǐng)域也都已經(jīng)有了現(xiàn)實的應(yīng)用。但在這些資本投入密集的領(lǐng)域之外，大數(shù)據(jù)在一般行業(yè)和企業(yè)中的應(yīng)用依然道路曲折。這不是因為大數(shù)據(jù)技術(shù)不夠完善，而是諸多行業(yè)尚未能夠明確抽象出大數(shù)據(jù)應(yīng)用的價值以及可付諸實施的方法論。正如前面提到的，云計算和大數(shù)據(jù)對于普通中小企業(yè)來說依然是一個模糊的技術(shù)工具，一般企業(yè)也很難雇傭大數(shù)據(jù)專家，而專業(yè)服務(wù)企業(yè)目前還沒有找到利用自己的技術(shù)專長提供普遍服務(wù)的有效機(jī)會。通用領(lǐng)域中的大數(shù)據(jù)應(yīng)用還停留在理念階段。所以，在過去幾年出現(xiàn)的大數(shù)據(jù)技術(shù)公司大多都還在服務(wù)金融、公安、交通、能源等大客戶集中的行業(yè)。

突破的關(guān)鍵點可能在兩個方面，一是大數(shù)據(jù)技術(shù)棧本身十分復(fù)雜，當(dāng)下的工具還依賴專門訓(xùn)練的計算機(jī)專家，產(chǎn)業(yè)還沒有抽象出一個通用領(lǐng)域的應(yīng)用模型，也無法提供一個類似SaaS這樣友好的應(yīng)用界面。這值得數(shù)據(jù)技術(shù)領(lǐng)域和企業(yè)應(yīng)用領(lǐng)域中的跨界專家來探索。二是企業(yè)數(shù)字化建設(shè)還剛剛開始，很多企業(yè)缺失穩(wěn)定和可靠的數(shù)據(jù)采集和記錄的過程。如果沒有數(shù)據(jù)流，自然就不會有大數(shù)據(jù)應(yīng)用。因此大數(shù)據(jù)技術(shù)被廣泛應(yīng)用可能還需要五到十年的時間。

人工智能(Artificial Intelligence)

人工智能的概念和基本原理起源早至1950年代。早期的人工智能研究集中在加州大學(xué)伯克利分校，麻省理工，斯坦福和南加州大學(xué)等計算機(jī)實驗室中。今天已經(jīng)商業(yè)化的神經(jīng)網(wǎng)絡(luò)算法就來自于半個世紀(jì)多前麻省理工大學(xué)的明斯基教授發(fā)表的《感知元》論文，但是計算機(jī)算力在當(dāng)時實在是太弱了，以至于任何計算理論上的假設(shè)都很難付諸于現(xiàn)實。因此，在長達(dá)五十年的時間內(nèi)，人工智能技術(shù)都停留在理論研究和一部分不成功的實踐上。

雖然人工智能領(lǐng)域經(jīng)歷了漫長的冬天，但它所提出的機(jī)器向人類學(xué)習(xí)，并最終在特定領(lǐng)域能夠做得比人類更好的假設(shè)卻是千真萬確的。

千禧年后的AI復(fù)蘇

2000年以后，有幾大動因推動了人工智能概念的復(fù)興。首先，因為摩爾定律的存在，計算機(jī)的運算速度和單位存儲成本均用指數(shù)速率發(fā)展到一個新的階段。云計算和大數(shù)據(jù)技術(shù)也允許計算機(jī)用很快的速度處理TB甚至PB級的數(shù)據(jù)。其次，網(wǎng)絡(luò)服務(wù)的興起在諸多領(lǐng)域生產(chǎn)出豐富的數(shù)據(jù)，Google，Netflix和Amazon的業(yè)務(wù)就像數(shù)據(jù)機(jī)器一樣，每分每秒都能產(chǎn)生海量的用戶行為數(shù)據(jù)。

第三，在人工智能的數(shù)學(xué)方法研究中，AT&T貝爾實驗室的三位科學(xué)家(Tin Kam Ho, Corinna Cortes, 和 Vladimir Vapnik)在機(jī)器學(xué)習(xí)領(lǐng)域取得了突出的進(jìn)展。機(jī)器學(xué)習(xí)技術(shù)可以將復(fù)雜和不確定的非線性問題通過線性的數(shù)學(xué)公式來解決。在解決不同的問題的過程中，機(jī)器學(xué)習(xí)理論方法和實踐被明確驗證。最早的一批互聯(lián)網(wǎng)企業(yè)，包括Google，F(xiàn)acebook，Linkedin等在這個過程中既提供了海量數(shù)據(jù)，也從研究過程中獲得了巨大的成果。尤其是Google，它是機(jī)器學(xué)習(xí)及其分支深度學(xué)習(xí)領(lǐng)域最重要的信奉者和推動者。2010年，Google成立了Google大腦，一個專注人工智能研究的內(nèi)部組織，后來又收購了英國企業(yè)DeepMind。后者在2016年3月?lián)魯×巳祟悋骞谲娎钍朗?/p>

下圖是Tom Siebel在Digitlal Transofrmation一書中對AI技術(shù)進(jìn)化史的一張插圖，顯示了從1950年代開始到現(xiàn)在的主要技術(shù)迭代歷史。

機(jī)器學(xué)習(xí)(Machine Learning)

機(jī)器學(xué)習(xí)是推動AI復(fù)蘇的最重要動力。它的興起標(biāo)志著人工智能很長時間彎路的終結(jié)。要想讓機(jī)器比人做得更好，并不是依靠人來教機(jī)器規(guī)則，而是讓機(jī)器從歷史數(shù)據(jù)中學(xué)習(xí)。比如最常見的機(jī)器學(xué)習(xí)場景——物體識別，要想讓機(jī)器從各種照片中找出“貓”，只要讓機(jī)器學(xué)習(xí)各種各樣貓的照片對象。機(jī)器學(xué)習(xí)算法會將訓(xùn)練用的貓圖像背后的向量特征總結(jié)為一個預(yù)測模型，讓這個模型預(yù)測任何一張新圖片中包含貓的概率。同樣的道理，語音識別、語言翻譯、人臉識別等都是使用的類似的原理。喂養(yǎng)算法的數(shù)據(jù)量越大，通常預(yù)測的準(zhǔn)確率就越高。

機(jī)器學(xué)習(xí)應(yīng)用可以分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。前者需要人工參與訓(xùn)練數(shù)據(jù)的標(biāo)識，后者則通過數(shù)學(xué)方法自動聚類出存在相似性的對象。在缺少訓(xùn)練數(shù)據(jù)的情況，無監(jiān)督機(jī)器學(xué)習(xí)就會起到更大的作用。

機(jī)器學(xué)習(xí)的一個分支被稱為深度神經(jīng)網(wǎng)絡(luò)(DNN)，它的設(shè)計已經(jīng)高度參照了人類大腦神經(jīng)元的連接結(jié)構(gòu)。在深度神經(jīng)網(wǎng)絡(luò)中，數(shù)據(jù)被輸送到輸入層，結(jié)果則從輸出層產(chǎn)生，在輸入層到輸出層之間存在多個隱藏層，每一層會對輸入數(shù)據(jù)的各個特征進(jìn)行推斷，最終能夠得到更為準(zhǔn)確的預(yù)測結(jié)果。打敗李世石的AlphaGo就是一個基于深度神經(jīng)網(wǎng)絡(luò)的算法。但是，DNN對于用戶來說依然是一個黑盒子。設(shè)計者并不需要也不會知道神經(jīng)網(wǎng)絡(luò)中的每一層到底在判斷什么具體特征，以及它是如何分解特征的。它背后都是高度抽象的數(shù)學(xué)方法。不管它有多么玄妙，深度神經(jīng)網(wǎng)絡(luò)的確厲害，它不僅具備高超的自學(xué)習(xí)能力，而且還簡化了傳統(tǒng)機(jī)器學(xué)習(xí)中大量復(fù)雜和耗時的特性工程(Feature Engineering，通過行業(yè)專有知識來調(diào)優(yōu)機(jī)器學(xué)習(xí)算法的過程)。

TensorFlow

2015年，Google開源了內(nèi)部的TensorFlow框架，開始將人工智能計算框架作為一項云計算服務(wù)向外界提供。在核心開源庫之后，TensorFlow還陸續(xù)推出了Javascript版本，滿足在瀏覽器和Node.js上開發(fā)和訓(xùn)練機(jī)器學(xué)習(xí)模型，以及在移動設(shè)備和IoT設(shè)備上部署的Lite版本。另外，TensorFlow Extended是一個端到端的機(jī)器學(xué)習(xí)生產(chǎn)平臺，它連帶提供了編程環(huán)境和數(shù)據(jù)處理工具。

當(dāng)然，TensorFlow并不是唯一的機(jī)器學(xué)習(xí)框架，Caffe，Torch，Keras等都是。它們無一例外都是開源的。在云計算的前沿領(lǐng)域，軟件開源是一個普遍的策略。為什么如此復(fù)雜和高級的軟件都會義無反顧地選擇開源呢?一方面因為框架性產(chǎn)品本身并不直接包含商業(yè)價值，價值需要開發(fā)者進(jìn)行二次創(chuàng)造，另一方面，在云計算服務(wù)的商業(yè)模式大前提下，通過API來提供封裝好的人工智能服務(wù)是一個非常容易實現(xiàn)的商業(yè)手段。這些開源產(chǎn)品的運營者沒有必要對框架進(jìn)行收費。

人工智能服務(wù)

事實上，即便你不使用這些機(jī)器學(xué)習(xí)框架，也能直接使用人工智能服務(wù)。國內(nèi)外云計算平臺都已經(jīng)在通過API提供各色各樣的人工智能服務(wù)。這些服務(wù)已經(jīng)完全封裝成應(yīng)用開發(fā)接口，開發(fā)者完全不需要了解和處理復(fù)雜的機(jī)器學(xué)習(xí)過程，只要把自己當(dāng)作用戶就可以了。

但是這些服務(wù)都非常具體和專向，并不存在任何通用的AI接口，每個接口只能為用戶解決一類具體問題。以下是阿里云AI類目下的服務(wù)分布。你可以看出這些服務(wù)都和用戶的某一個具體需求有關(guān)。比如語音識別可以讓移動開發(fā)者開發(fā)出讓用戶直接通過語音來控制功能的應(yīng)用。人臉識別可以識別出影像中的人臉對象和實現(xiàn)身份對比驗證。

提供一次此類服務(wù)要收多少錢呢?在云計算平臺上，這類AI應(yīng)用開發(fā)接口大多按照次數(shù)或者每秒次數(shù)級別(QPS)進(jìn)行收費。比如識別一張身份證上的信息大約要收取1-5分錢，聽起來不少吧?

實際上，從事人工智能技術(shù)的企業(yè)并不僅僅是云計算平臺提供商。比如中國市場中，F(xiàn)ace++，科大訊飛、商湯科技、寒武紀(jì)、優(yōu)必選等都分別在計算機(jī)視覺、語音、機(jī)器人等領(lǐng)域有專長。但是它們的專向定位讓這些企業(yè)很難提供普遍的開發(fā)者服務(wù)。因為開發(fā)者往往希望在一個云計算平臺上獲得一攬子服務(wù)，而且用戶的基礎(chǔ)云資源也是從云計算平臺購買的。作為開發(fā)者來說，擁有一個統(tǒng)一和完善的應(yīng)用開發(fā)環(huán)境是非常重要的。

所以，在人工智能的商業(yè)化中，還有不少企業(yè)利用自己的專向技術(shù)優(yōu)勢來解決更加細(xì)分的問題。比如科大訊飛主要通過自己在語音和自然語言處理方面的技術(shù)積累為教育和司法等行業(yè)提供解決方案，中國法院的庭審文字記錄現(xiàn)在很多都是通過自動化的語音轉(zhuǎn)錄而實現(xiàn)的。商湯科技和曠視科技則主要在智慧城市和安防領(lǐng)域提供軟硬件一體化方案。還有一組創(chuàng)業(yè)企業(yè)專注于解決高價值的自動駕駛問題，并從中派生出更細(xì)分的AI芯片設(shè)計和制造企業(yè)。

技術(shù)棧和人才

AI相關(guān)的技術(shù)棧是前面介紹的大數(shù)據(jù)技術(shù)的一個擴(kuò)展。也就是說，沒有離得開數(shù)據(jù)獲取和處理的人工智能項目。要把如此眾多的開發(fā)框架和微服務(wù)組合在一起，對于非云計算專業(yè)企業(yè)來說是非常困難的。除了技術(shù)棧的復(fù)雜性以外，開發(fā)者還需要搞定大規(guī)模訓(xùn)練數(shù)據(jù)的獲取和處理過程，這個成本在短時間內(nèi)一定會成為牽制企業(yè)投入的因素。

成本還是相對容易克服的問題，因為只要問題足夠值錢，有長期主義價值觀的企業(yè)總是愿意投入。但是更致命的問題在于AI相關(guān)人才的激烈競爭。能夠從事AI應(yīng)用開發(fā)的團(tuán)隊需要包含大數(shù)據(jù)相關(guān)的數(shù)據(jù)庫專家，深諳數(shù)學(xué)建模的算法專家，以及熟練掌握C++或Python等編程語言的高級程序員，同時還離不開有技術(shù)素養(yǎng)的業(yè)務(wù)專家參與。而在當(dāng)下階段，云計算巨頭企業(yè)和專業(yè)企業(yè)像吸鐵石一樣吸引走了絕大多數(shù)專長人才，讓普通企業(yè)根本無從獲取。

考慮到AI技術(shù)的復(fù)雜性和專業(yè)度，它極可能像云計算服務(wù)一樣，大多數(shù)企業(yè)都只會成為用戶級別的角色，這就給專業(yè)開發(fā)者留下了創(chuàng)新的空間，看誰能夠進(jìn)行足夠合理的抽象，組合出更加易用，面向通用業(yè)務(wù)場景的AI服務(wù)。

物聯(lián)網(wǎng)(Internet of Things)

消費產(chǎn)品引爆的物聯(lián)網(wǎng)普及

云計算服務(wù)的普及不僅為用戶提供了彈性伸縮的經(jīng)濟(jì)性，還提供了一個泛在的可連接性。任何計算設(shè)備只要連上互聯(lián)網(wǎng)，就彼此通過TCP/IP協(xié)議能夠相互訪問。這個互聯(lián)價值在物聯(lián)網(wǎng)技術(shù)發(fā)展之前還僅僅限于傳統(tǒng)計算設(shè)備，也就是服務(wù)器和個人計算終端。在個人、家庭和企業(yè)世界，還有大量非傳統(tǒng)計算設(shè)備并沒有聯(lián)入這個數(shù)字化世界。

汽車、家電、個人穿戴設(shè)備、工廠的制造設(shè)備現(xiàn)在都已經(jīng)有接入互聯(lián)網(wǎng)的條件，市場上流通的這些互聯(lián)智能產(chǎn)品也越來越多。當(dāng)連接的設(shè)備豐富到一定程度的時候，各種智能化場景才能真正實現(xiàn)。IHS Markit預(yù)測到2025年，全球聯(lián)網(wǎng)設(shè)備總數(shù)量將達(dá)到750億個。萬物互聯(lián)，正是物聯(lián)網(wǎng)技術(shù)所追求的愿景。

具有數(shù)字化連接能力的非常規(guī)計算設(shè)備在上個世紀(jì)90年代就已經(jīng)出現(xiàn)，比如可以無線連接的攝像頭。真正具備中長距離連接能力的設(shè)備首先出現(xiàn)在零售和工業(yè)制造領(lǐng)域，包括西門子，通用電氣等企業(yè)開發(fā)的工業(yè)設(shè)備互聯(lián)協(xié)議(M2M)。在當(dāng)時，這些設(shè)備已經(jīng)可以通過低速的無線局域網(wǎng)使用IP協(xié)議連接到工廠的控制中心。這樣的網(wǎng)絡(luò)被成為工業(yè)以太網(wǎng)。但當(dāng)時商業(yè)互聯(lián)網(wǎng)并沒有開始發(fā)展起來，所以M2M的出現(xiàn)只能算作是物聯(lián)網(wǎng)技術(shù)的局部發(fā)展。

物聯(lián)網(wǎng)開始成型還是通過消費產(chǎn)品市場來推動的。2000年代初期，LG率先推出了可以接入互聯(lián)網(wǎng)的家電產(chǎn)品，一臺聯(lián)網(wǎng)冰箱售價高達(dá)20000美元，這顯然無法真正帶動市場。在隨后幾年中，像Garmin GPS和Fitbit智能手環(huán)這樣的消費電子產(chǎn)品開始獲得更大的產(chǎn)銷量，從而帶動相關(guān)的低功耗芯片行業(yè)發(fā)展。到了2011-12年，消費電子領(lǐng)域出現(xiàn)了更多的明星級產(chǎn)品，這其中包括后來被Google收購的家用傳感器Nest，Philip推出的Hue智能燈泡等。在中國市場，以小米為代表的智能手機(jī)廠商開始擴(kuò)展到物聯(lián)網(wǎng)產(chǎn)品領(lǐng)域，推出了一系列圍繞個人和家庭的智能設(shè)備和家庭網(wǎng)關(guān)產(chǎn)品。蘋果也于2015年正式進(jìn)入可穿戴產(chǎn)品市場，推出了Apple Watch，后來還推出了智能音箱HomePod。Google和國內(nèi)的互聯(lián)網(wǎng)巨頭企業(yè)也都加入了這場通過新型個人數(shù)字設(shè)備爭奪用戶和數(shù)據(jù)的競爭。目前，全球可穿戴產(chǎn)品市場已經(jīng)多年保持了40%以上的年度增長率。

個人和家庭智能設(shè)備的量產(chǎn)促進(jìn)了和物聯(lián)網(wǎng)相關(guān)的協(xié)議發(fā)展和元器件成本的降低。在這期間，藍(lán)牙5.0，WiFi-6，IPv6，NFC和RFID等關(guān)鍵傳輸和通信協(xié)議得到進(jìn)一步發(fā)展，讓設(shè)備能耗和連接速率都進(jìn)一步提升。在同一時間，云計算基礎(chǔ)服務(wù)和大數(shù)據(jù)處理技術(shù)也起到了關(guān)鍵作用。物聯(lián)網(wǎng)設(shè)備往往在短時間內(nèi)會產(chǎn)生大量數(shù)據(jù)，如果沒有前文提到的大數(shù)據(jù)技術(shù)棧，傳統(tǒng)的數(shù)據(jù)庫工具是無法承載的，同時云計算也是設(shè)備數(shù)據(jù)匯聚的海洋，今天幾乎所有的物聯(lián)網(wǎng)技術(shù)平臺都架構(gòu)在云計算平臺上，他們是典型的互生行業(yè)。

物聯(lián)網(wǎng)的技術(shù)棧

物聯(lián)網(wǎng)相關(guān)的技術(shù)棧非常綜合。它橫跨軟硬件，既包含感知探測相關(guān)的硬件技術(shù)，也包含網(wǎng)絡(luò)傳輸和應(yīng)用構(gòu)筑的軟件技術(shù)。直至今天，物聯(lián)網(wǎng)相關(guān)的技術(shù)棧都沒有完全穩(wěn)定下來，甚至很可能長期保持多元的特征。但是概括起來，整個技術(shù)棧還是有一些層次特征。

行業(yè)一般把物聯(lián)網(wǎng)相關(guān)的技術(shù)架構(gòu)分解為四層，分別定義為和物理環(huán)境相關(guān)的設(shè)備感測層、和數(shù)據(jù)傳輸和通信有關(guān)的網(wǎng)絡(luò)層，IoT相關(guān)的平臺管理層，以及最終實現(xiàn)用戶價值的業(yè)務(wù)應(yīng)用層。無論是針對消費市場還是企業(yè)市場的物聯(lián)網(wǎng)系統(tǒng)都會有這四個層次。

設(shè)備感測層是由各種類型的傳感器和可交互訪問的硬件模塊及其嵌入式軟件而組成的。例如溫度濕度傳感器、攝像頭、電源開關(guān)和插座和網(wǎng)關(guān)等。感測層設(shè)備不僅是單向獲取數(shù)據(jù)，還可能從外界接受指令改變硬件狀態(tài)(比如智能鎖)。行業(yè)內(nèi)一般把這個層次稱為“邊緣”(Edge)。

設(shè)備感測層的技術(shù)棧主要由軟硬件協(xié)同開發(fā)的嵌入式系統(tǒng)構(gòu)成。我們用的智能手機(jī)本質(zhì)上也是一個嵌入式系統(tǒng)，只是它的嵌入度非常完整，甚至不亞于一臺標(biāo)準(zhǔn)計算設(shè)備。嵌入式系統(tǒng)開發(fā)經(jīng)歷了早期的單片機(jī)和嵌入式操作系統(tǒng)/CPU階段，目前最前沿的是SoC(片上系統(tǒng))，把一個專用系統(tǒng)的所有嵌入式軟件完全整合在一個集成電路上。今天的智能手機(jī)、智能電視等都是由若干個SoC整合而成的。在嵌入式系統(tǒng)中，固化在硬件上的軟件程序甚至依然可以得到更新，而且這種更新目前大多都可以通過連接互聯(lián)網(wǎng)實現(xiàn)，這種升級被稱之為OTA (Over-the-air)更新。

另外，設(shè)備感測層還需要解決設(shè)備的訪問協(xié)議問題。物聯(lián)網(wǎng)系統(tǒng)目前已經(jīng)廣泛支持IPv6協(xié)議。IPv6能夠提供全球的IP地址總量高達(dá)2的128次方，這是一個天文數(shù)字，可以確保任何物聯(lián)網(wǎng)設(shè)備都能夠擁有獨立的IP地址，從而實現(xiàn)在全球的唯一尋址。當(dāng)全球物聯(lián)網(wǎng)設(shè)備達(dá)到千億，甚至萬億數(shù)量級的時候，IPv6功不可沒。

網(wǎng)絡(luò)傳輸層要解決的是感測設(shè)備和計算設(shè)備之間，以及最終與平臺管理層之間的數(shù)據(jù)傳輸問題。根據(jù)連接性質(zhì)不同，又可以分為短距、中距和長距類型，以及有線和無線類型。在這些連接協(xié)議中，藍(lán)牙、NFC、Wi-Fi、無線射頻(RFID)、4G和5G等是比較常用的。這些傳輸協(xié)議在設(shè)備側(cè)一般都是直接設(shè)計在板上系統(tǒng)上的，通過IP協(xié)議提供可訪問地址。開發(fā)者需要根據(jù)連接的距離、速率、功耗和成本等要求做出合理的選擇。

IoT平臺層是物聯(lián)網(wǎng)系統(tǒng)中至關(guān)重要的部分，它的出現(xiàn)也標(biāo)志著基于云計算平臺的物聯(lián)網(wǎng)系統(tǒng)誕生。一個IoT平臺的核心作用是管理成千上萬的物聯(lián)網(wǎng)設(shè)備，包括他們的狀態(tài)，數(shù)據(jù)上報接收，建立對它們的控制，對設(shè)備進(jìn)行運維分組，并能夠?qū)崿F(xiàn)從云端往邊緣側(cè)的更新推送(OTA)。同時，物聯(lián)網(wǎng)平臺也要借用上文提到的大數(shù)據(jù)技術(shù)棧，對設(shè)備上報數(shù)據(jù)進(jìn)行處理，并用各種數(shù)據(jù)庫完成存儲，這其中比較重要的數(shù)據(jù)庫類型就是時序數(shù)據(jù)庫。

更完整的IoT平臺還包括圍繞設(shè)備數(shù)據(jù)建立自動化工作流的能力，數(shù)據(jù)分析工具以及為更上層的應(yīng)用開發(fā)提供數(shù)據(jù)開發(fā)接口的設(shè)計。

目前，主流云計算平臺都專門為客戶提供了物聯(lián)網(wǎng)技術(shù)平臺，結(jié)合基礎(chǔ)云和大數(shù)據(jù)相關(guān)服務(wù)獲取增值業(yè)務(wù)收入。阿里云，AWS，Azure和Google Cloud都有專門的解決方案，國內(nèi)外也有專門的物聯(lián)網(wǎng)平臺技術(shù)公司將自己的解決方案架構(gòu)在基礎(chǔ)云上或者提供跨云服務(wù)。

Oracle，Salesforce和微軟Azure等企業(yè)軟件廠商的物聯(lián)網(wǎng)平臺不僅提供了上述基礎(chǔ)服務(wù)，還結(jié)合了自己的企業(yè)應(yīng)用套裝優(yōu)勢，提供一站式的物聯(lián)網(wǎng)應(yīng)用開發(fā)平臺。它們更適合企業(yè)物聯(lián)網(wǎng)系統(tǒng)建設(shè)。

最上一層的應(yīng)用層是整個物聯(lián)網(wǎng)技術(shù)架構(gòu)中最不標(biāo)準(zhǔn)化的部分。應(yīng)用層最終要將連接的設(shè)備和數(shù)據(jù)用于具體的商業(yè)場景。比如共享充電寶就是一個物聯(lián)網(wǎng)系統(tǒng)，它的應(yīng)用層包含面向C端的租用和支付系統(tǒng)，面向商戶的設(shè)備狀態(tài)報告，收益結(jié)算系統(tǒng)，以及面向運營部門的設(shè)備運維管理系統(tǒng)。換到另外一個物聯(lián)網(wǎng)場景，應(yīng)用層的構(gòu)成可能完全不一樣。

邊緣計算和AIoT

物聯(lián)網(wǎng)技術(shù)架構(gòu)的基本思路是分層分工，感測層主要取得數(shù)據(jù)和建立對物理硬件的控制，數(shù)據(jù)通過網(wǎng)絡(luò)層和計算平臺連接，計算則在云端完成。但是隨著物聯(lián)網(wǎng)應(yīng)用場景的豐富，設(shè)備規(guī)模的擴(kuò)大，以及芯片技術(shù)的發(fā)展，邊緣計算概念開始得到認(rèn)可。所謂邊緣計算，就是利用設(shè)備端和鄰近網(wǎng)關(guān)的計算能力處理和存儲數(shù)據(jù)，減少和云端的數(shù)據(jù)傳輸，從而實現(xiàn)更快速的應(yīng)用響應(yīng)。除了速度的提升，邊緣計算還能夠大幅減少云計算和數(shù)據(jù)傳輸成本。比如針對一個大型的視頻監(jiān)控網(wǎng)絡(luò)，如果攝像頭將所有的視頻流數(shù)據(jù)都傳輸?shù)皆贫耍贫怂懔σ蠛统杀緦浅８?。而如果在攝像頭設(shè)備內(nèi)部實現(xiàn)必要的視覺計算(比如識別異常)，整個物聯(lián)網(wǎng)系統(tǒng)的效率將大大提高。再例如廣泛應(yīng)用的人臉認(rèn)證和識別系統(tǒng)，如果不能依賴本地的設(shè)備計算能力，十億用戶的高頻度使用將會讓云平臺不堪重負(fù)。

上面兩個例子顯示了邊緣計算往往和人工智能應(yīng)用相關(guān)，設(shè)備側(cè)往往完成的是模式識別類的人工智能算法，因此往往需要專門芯片的助力。Nvidia公司推出的Jetson系列模塊就是專門為邊緣計算場景而服務(wù)的。這些芯片模塊被安裝在機(jī)器人、自動駕駛汽車等邊緣設(shè)備上，所以這組技術(shù)產(chǎn)品也被稱為“自主機(jī)器”。因為物聯(lián)網(wǎng)和這些人工智能應(yīng)用的結(jié)合，因此，這套技術(shù)方案也常被稱為AIoT。

應(yīng)用領(lǐng)域

如果把2012年前后作為基于云計算的物聯(lián)網(wǎng)平臺技術(shù)發(fā)展開端的年份，僅僅八年左右的時間，物聯(lián)網(wǎng)應(yīng)用領(lǐng)域已經(jīng)發(fā)展得非常廣泛。只是我們身在其中，享受它帶來的便利，并不一定能夠感知它的存在。這個高速發(fā)展過程很大程度上受益于基礎(chǔ)云計算服務(wù)和大數(shù)據(jù)技術(shù)棧的同步發(fā)展。

在消費應(yīng)用領(lǐng)域，個人穿戴設(shè)備已經(jīng)從手表、手環(huán)發(fā)展到耳環(huán)戒指這樣的雜項。在智能家居領(lǐng)域，我們可見的家電、門鎖、照片、開關(guān)、音箱等都已經(jīng)是互聯(lián)網(wǎng)設(shè)備。在個人和家庭領(lǐng)域，物聯(lián)網(wǎng)技術(shù)競爭已經(jīng)不再重要，競爭的焦點已經(jīng)遷移到內(nèi)容生態(tài)和用戶網(wǎng)絡(luò)效應(yīng)。在這些領(lǐng)域，蘋果、谷歌和國內(nèi)的華為、小米等已經(jīng)牢牢占據(jù)了地位。小米生態(tài)鏈重點指的就是依托米家體系的一群消費電子產(chǎn)品企業(yè)。

在工業(yè)、農(nóng)業(yè)、交通運輸、能源和社會管理領(lǐng)域，物聯(lián)網(wǎng)的應(yīng)用場景更為廣泛。我們的街道上已經(jīng)密布了各種攝像頭，這些攝像頭通過專門網(wǎng)絡(luò)構(gòu)筑了天眼系統(tǒng);我們頭頂上的電力傳輸網(wǎng)絡(luò)和用電單位終端也已經(jīng)完成了智能電網(wǎng)改造;礦場和工地上也都布滿了各種安全監(jiān)控設(shè)備。這些都是最近十年來重大的IT投資。預(yù)計未來十年這樣的建設(shè)和更新依然不會結(jié)束。

云計算的未來

本文主要是對云計算過去十五年的一個回顧。技術(shù)領(lǐng)域的發(fā)展速度是如此之快，以至于我們很難預(yù)測未來的十五年會發(fā)生什么。在本文的最后，我僅僅對當(dāng)下已經(jīng)呈現(xiàn)的云計算市場趨勢做一些簡單的概括，它們甚至已經(jīng)在發(fā)生，但我們不知道這些技術(shù)趨勢的發(fā)展具體會顛覆哪些巨頭，會催生出哪些明星。

存儲和計算的成本將進(jìn)一步下降，但消耗會同步增長?？紤]到全球范圍內(nèi)的計算服務(wù)還有大量沒有轉(zhuǎn)移到云計算環(huán)境中，未來十年基礎(chǔ)云服務(wù)的算力還會大量增加，服務(wù)單價會持續(xù)下降。

前沿技術(shù)將持續(xù)融合到云計算平臺，包括量子計算、AR/VR、區(qū)塊鏈等。尤其是那些依賴海量數(shù)據(jù)計算能力和彈性計算資源的應(yīng)用，云計算是成就它們更快成長速度的軌道。

云計算的核心競爭將聚焦在應(yīng)用開發(fā)環(huán)境的優(yōu)越性上。誰能夠提供廉價、完善和前沿的開發(fā)技術(shù)棧環(huán)境，誰就能夠獲得更多的開發(fā)者用戶。當(dāng)開發(fā)者用戶選擇了云服務(wù)商后，他們其實就為終端用戶做出了選擇。

多云、或稱混合云環(huán)境成為長期的企業(yè)應(yīng)用策略，云計算用戶將綜合使用邊緣、各個云計算服務(wù)商和自有IT設(shè)施。

云計算開發(fā)技術(shù)棧會越來越復(fù)雜，這會讓應(yīng)用開發(fā)領(lǐng)域的分工更加明確。面向終端用戶的應(yīng)用開發(fā)將變得更加簡潔，應(yīng)用生成的方式會越來越多元，無需編碼，依靠普通業(yè)務(wù)用戶建立應(yīng)用程序的服務(wù)商會越來越多。

原文地址：http://cloud.idcquan.com/yzx/181584.shtml

分享題目：不懂的看過來：云計算簡史
網(wǎng)站路徑：http://bm7419.com/news/200871.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、云服務(wù)器、App設(shè)計、網(wǎng)站策劃、App開發(fā)、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)