不懂的看過來:云計算簡史

2022-10-03    分類: 網(wǎng)站建設

圍繞云計算相關的技術領域、技術名詞和技術產(chǎn)品令人眼花繚亂。在云計算發(fā)端之初,應用開發(fā)環(huán)境還比較簡單,當時還有所謂的全棧工程師存在,意味著如果不考慮開發(fā)周期,一個人就能搞定整個應用軟件。今天,這個稱謂已經(jīng)名不符實。很少再有一個人,甚至一個企業(yè)能夠全面掌握和云計算有關的所有技術棧。他們可能會應用旁人完成的一些成果,結合自有的一些專有經(jīng)驗,來形成在某個細分市場有競爭力的產(chǎn)品,或者為客戶交付期望的產(chǎn)出。

即使作為純粹的應用者,要想全面了解和云計算有關的技術,做到合理架構,恰當選型,順利完成集成開發(fā)和部署的全過程,也都比過去難得多,需要的技術人才也比過去昂貴。坦率來說,在當下的人才競爭度下,一般行業(yè)的企業(yè),即使擁有信息部門,也都不太可能獨立駕馭這樣復雜的開發(fā)設施,他們將不得不廣泛依賴云計算平臺提供的服務。這給軟件行業(yè)的解決方案商帶來了新的市場機會。誰能夠為數(shù)字化轉型企業(yè)提供友好的應用開發(fā)和部署環(huán)境,誰就能夠獲得和保有客戶。

這篇長文主要面向大中型企業(yè)的技術和非技術管理者。我通過描繪云計算技術和市場領域的發(fā)展過程,介紹關鍵技術和市場里程碑,包括不同技術域下的核心開源項目,讓企業(yè)能夠對云計算發(fā)展歷史和相關技術域有一個通盤的了解。有了通盤的認知,你會更容易看透本企業(yè)應該怎樣利用云計算,未來可能的市場機會和挑戰(zhàn)在哪里?

本文受到Tom Siebel 2019年出版的Digital Transformation一書的啟發(fā),但我盡量結合了中國市場的實際情況通俗地來講述。

云計算市場的形成和結構

我們今天能夠享受經(jīng)濟和便捷的云計算服務,主要來自兩大動力,一是計算資源的虛擬化技術,二則是規(guī)模經(jīng)濟效應。前者發(fā)端于2000年后VMWare推出的Hypervisor虛擬化軟件,它不再依賴一個母體操作系統(tǒng),就允許用戶將硬件和網(wǎng)絡資源劃分成多個單元,從而實現(xiàn)計算資源的池化、共享和按需調(diào)度。

2006年,Amazon推出了S3對象存儲服務和SQS簡單隊列服務,開創(chuàng)了公共云計算服務的先河。在此后,微軟,IBM,谷歌,中國的阿里,騰訊和華為等都陸續(xù)加入了公共云服務的市場,提供的服務也從基礎計算資源擴展到數(shù)據(jù)庫、人工智能、物聯(lián)網(wǎng)等多個技術領域。目前,這個行業(yè)已經(jīng)成長為年收入2500億美元的巨大市場。

在這十多年的發(fā)展過程中,當然出現(xiàn)了很多的公司,產(chǎn)品和服務,但是概括起來這些事物的涌現(xiàn)基本沿著兩條明顯的路線在進行:

趨勢一:從基礎設施,到應用,再到應用相關的平臺服務

基礎云 (Infrastructure as a Service)

最早的云計算服務就是最基礎的云主機(Virtual Machine),服務商把裸金屬裝上Hypervisor,把計算和網(wǎng)絡資源分塊后就可以賣了。隨后,基礎服務被拆分為主機、存儲、網(wǎng)絡、數(shù)據(jù)庫和安全等幾個重要的基礎云產(chǎn)品,允許用戶靈活組合,并實現(xiàn)了彈性計費(目前國外基礎云廠商大多都提供按分鐘或按秒的計費精度,存儲則可以按月計費,比如AWS的S3服務每GB數(shù)據(jù)的標準存儲月費在0.0125美元,而深度歸檔存儲的每GB月費可以低至每GB0.001美元)。

我們一般把主機,存儲,網(wǎng)絡,數(shù)據(jù)庫和安全相關的計算服務統(tǒng)稱為基礎云服務。在這些服務之上,開發(fā)者需要完成所有的技術棧搭建,構建自己的數(shù)據(jù)架構,開發(fā)編碼,部署運維,最終才能實現(xiàn)云端應用。而初代的云計算客戶大多數(shù)都是互聯(lián)網(wǎng)公司。他們并非云服務的最終消費者,而是生產(chǎn)者。

不懂的看過來:云計算簡史

應用即服務(Software as a Service)

和Amazon Web Services幾乎同時起步的另外一家公司Dropbox是一家面向個人和團隊提供文件存儲和共享服務的創(chuàng)業(yè)公司。趕上了AWS起步的時候,Dropbox就直接使用了AWS現(xiàn)成的S3對象存儲服務,這讓一家團隊人數(shù)很小的初創(chuàng)公司有機會能夠聚焦在應用開發(fā)和營銷上,讓Dropbox通過短短的幾年時間發(fā)展成市場份額第一的文件共享應用。和Dropbox類似的大票SaaS企業(yè)大多也都是在隨后的十年內(nèi)陸續(xù)出現(xiàn),他們千篇一律都使用了云計算平臺的服務,而不再自建基礎設施。這當中也包括一個超級大用戶“奈飛“(Netflix),他們的下行流量占到整個互聯(lián)網(wǎng)下行流量的15%之多,也是AWS的客戶。

我們創(chuàng)辦的明道協(xié)作應用誕生在2011年,也正好趕上了中國云計算平臺開始的年份,所以我們也避免了很多基礎設施的建設工作。廣義來說,最早的云服務在基礎云公司之前就出現(xiàn)了。1999年創(chuàng)辦的Salesforce,就是一個典型的SaaS公司,只不過當年沒有這樣的行業(yè)術語。2016年,據(jù)說Salesforce也已經(jīng)成為了AWS的客戶。因為SaaS服務形式的存在,使得云計算能夠間接提供服務給大量的中小企業(yè)和非互聯(lián)網(wǎng)行業(yè)企業(yè)。今天,幾乎所有的企業(yè)都或多或少應用一些SaaS服務。

云計算市場發(fā)展的第一波主要由互聯(lián)網(wǎng)企業(yè)用戶帶動。他們具備比較完整的開發(fā)和自助運維能力,而且也有日益增長的用量,屬于基礎云服務最理想的客戶群體。直到今天,阿里云和騰訊云的主要客戶群體依然是泛互聯(lián)網(wǎng)行業(yè)。

SaaS企業(yè)是云計算基礎服務的重要推動者,雖然這個門類和2C的網(wǎng)絡服務相比,貢獻的經(jīng)濟價值要小得多,但是他們深諳企業(yè)市場的需求,推動了云計算平臺的應用開發(fā)環(huán)境日益成熟。這就是趨勢的下一步:平臺即服務。

(開發(fā))平臺即服務(Platform as a Service)

所謂平臺即服務,特指開發(fā)平臺。應用開發(fā)工作從本地遷移到云端,自然需要在云計算環(huán)境中提供對應的更優(yōu)解決方案。所以過去傳統(tǒng)的中間件市場陸續(xù)發(fā)生變遷,逐一轉換為在云計算平臺上的某項服務。比較常見的開發(fā)平臺服務包括:

通訊:提供音視頻通信、消息推送、短信、郵件等服務

地理信息:提供地圖、定位、導航相關的服務

應用開發(fā)框架:提供應用開發(fā)環(huán)境和運行時環(huán)境

媒體服務:提供圖片和音視頻等媒體文件的編碼、加工和存儲服務

機器學習框架:提供面向AI應用開發(fā)者的機器學習數(shù)據(jù)標注和模型訓練平臺

小到發(fā)送一條驗證碼短信也是一項PaaS服務。

作為PaaS服務,主要是為開發(fā)者服務的,所以除了功能性服務以外,PaaS廠商也要提供開發(fā)友好性相關的周邊能力,比如彈性擴展的能力,調(diào)試和控制權限的能力等。參與的開發(fā)者越多,一項PaaS服務就能夠有更多的改進機會和攤低的平均成本。

PaaS服務是不是一定由獨立的PaaS廠商來提供呢?不一定。實際上,主流的PaaS服務大多被IaaS公司所覆蓋了。如果你打開阿里云的產(chǎn)品列表,在數(shù)百個產(chǎn)品中,你會發(fā)現(xiàn)基礎云服務只是其中一個門類,其他十幾個門類都是和開發(fā)環(huán)境有關的服務。這意味著,一家創(chuàng)業(yè)公司想要獨立成為一家成功的PaaS廠商,需要相當聚焦地執(zhí)行,而且產(chǎn)品有明顯的技術度。一旦做到這一點,也不用擔心和基礎云公司的競爭,因為我后面會講到云計算市場的技術發(fā)展,其中已經(jīng)有眾多的技術趨勢保障了獨立性PaaS公司建立跨云服務的獨特優(yōu)勢。

以上說的是云計算服務過去十五年發(fā)展中的一條脈絡,從基礎云到應用的共生,再到日益豐富的開發(fā)平臺即服務。云計算覆蓋的用戶越來越多,依賴的是這三個層次的服務互為補充。

趨勢二:從公共云、私有云到混合云,再到多云

第二條脈絡有關云計算服務的部署模式(Deployment Model)。當云計算概念被提出時,它顯然指的就是公共云服務,客戶不需要保有任何基礎設施,直接像水電煤一樣使用云計算資源就可以。但是商業(yè)的現(xiàn)實和技術企業(yè)的理想之間總是存在溝壑。云計算到底是技術還是服務,在很長一段時間內(nèi)是缺乏共識的。

在云計算服務開啟之前,很多大型企業(yè)和組織都有自己的服務器。2010年,全球服務器市場就有500億美元的規(guī)模,這些服務器大多數(shù)都賣給了企業(yè)和政府。企業(yè)擁有了這些基礎設施,難道再花錢買公共云服務嗎?既然云計算技術這么好,為什么我自己來實現(xiàn)呢?政府、金融、醫(yī)藥等行業(yè)客戶更加不可能在公共云計算服務誕生的初期就義無反顧地采納,他們有各種各樣所謂的合規(guī)要求。

私有云 (Private Cloud)

果不其然,有需求就有供給。2010年Rackspace和NASA公開了一個叫做OpenStack的開源項目組。它包含了一系列用于構筑云計算服務的開源軟件。這意味著,所有擁有硬件基礎設施的用戶都可以用很低的成本來實現(xiàn)和AWS類似的技術架構。Rackspace是一家IDC公司,它這么做的動力顯然是很強的。它認為只要幫助客戶解決虛擬化問題,自己的主機托管生意一樣可以興旺發(fā)達。

雖然軟件是開源免費的,但是要實施Open Stack依然需要云計算相關的專業(yè)知識。因此,從2010年開始,出現(xiàn)了很多基于OpenStack幫助企業(yè)建立私有云的服務商。在國內(nèi),公共云服務商甚至都提供過這類服務。十年過去了,這股由OpenStack帶起的私有云風潮基本告一段落。除了極少數(shù)大型用戶在經(jīng)濟上能夠承受自己維護獨立的云計算平臺,絕大多數(shù)用戶根本無法得到經(jīng)濟上合理的回報。虛擬化只是云計算服務的一個技術前提,但并非所有的價值。私有云方案永遠無法利用到資源彈性利用(可大可小)和真正的規(guī)模經(jīng)濟效應,除非用戶根本不關切經(jīng)濟理性。

不懂的看過來:云計算簡史

在中國市場,重點行業(yè)可能至今依然無法使用商業(yè)云服務,但是電信運營商和一些國家級的科技企業(yè)也在公共云服務商的幫助下建立了各種行業(yè)云。比如移動云,聯(lián)通云和電信天翼云都是這樣形成的,他們?yōu)榻鹑?、政府、交通、教育等重點行業(yè)提供公共云服務。

故事到這里,似乎公共云已經(jīng)大獲全勝。但是,商業(yè)現(xiàn)實又回來了。在越來越同質化的云計算服務市場,客戶難道完全沒有議價能力嗎?客戶的需求如果不能得到滿足,總有供應商會愿意創(chuàng)新。于是混合云(Hybrid Cloud)出場了。

混合云 (Hybrid Cloud)

其實混合云并不是什么獨特的云計算技術,它實質上是一組通訊服務。只要堆上足夠好的網(wǎng)絡設備和奢侈的專線連接,世界上任何地點的計算設備都可以組成高速專網(wǎng)。即便客戶預算有限,只要對安全性和連通性的要求沒有那么高,也可以自助搭建經(jīng)濟的網(wǎng)絡。圍繞通過商業(yè)網(wǎng)絡連接組建混合云的技術被稱之為“SD-WAN”(軟件定義廣域網(wǎng))。有了網(wǎng)絡連接,就可以把客戶自有的計算設施和公共云計算設施連接在一起,稱之為“混合云”。

混合云對客戶的好處是明顯的。首先,每個企業(yè)都可能有云計算基礎用量,但也可能有短期的激增需求。有了混合云,客戶就可以圍繞自己的基礎用量采購自有IT資產(chǎn),自己運營私有云,而短期波動的增量則可以通過公共云服務滿足,等需求高峰過去,就可以去掉這部分的開支。企業(yè)也可以將運維難度比較低的基礎云服務保留在自己的設施內(nèi),而同時使用公共云提供的復雜計算服務,比如機器學習平臺等。Dropbox是一個大規(guī)模的SaaS應用,它在2016年做了很大的架構調(diào)整,大部分的服務不再使用AWS的公共云,一舉節(jié)省了7000萬美元的年度云計算開銷。

混合云策略現(xiàn)在已經(jīng)得到了廠商和客戶的雙重支持,它終結了公共云和私有云非黑即白的爭議,讓整個IT產(chǎn)業(yè)更加務實。這其中也誕生了很多的商業(yè)機會。微軟,亞馬遜,IBM,Google等的云計算廠商都推出了自己的混合云解決方案。因為混合云方案主流化,云計算廠商的競爭開始從基礎云資源的成本向應用開發(fā)生態(tài)環(huán)境遷移。因為在混合云架構下,客戶面臨如何規(guī)劃流暢的數(shù)據(jù)連接,如何快速交付云原生應用的新挑戰(zhàn)。所以,云計算的終極競爭不是硬件的競爭,也不是軟件的競爭,而是應用開發(fā)和部署(AD&D)環(huán)境的競爭。

多云 (Multi-Cloud)

多云概念是云計算市場最近幾年出現(xiàn)的概念。它把所有的云計算平臺,客戶的私有云設施全部視作一般基礎設施。所有的應用在所有的云上都能一致并可靠地運行。多云解決方案不僅是基礎設施提供者需要協(xié)調(diào)的,更重要的是應用開發(fā)和部署要面向多云運行目標。

2013年,Y Combinator孵化企業(yè)Docker Inc開源了Docker項目。它成為應用跨云部署的重要前提。Docker允許用戶將復雜的應用、數(shù)據(jù)和依賴的環(huán)境,包括操作系統(tǒng)本身打包到一個“容器”中,通過標準的Docker引擎,在任何計算環(huán)境中都可以一致地運行。有了這項技術,把一個應用系統(tǒng)從阿里云轉移到騰訊云就和傳輸一個文件一樣簡單,云和云之間已經(jīng)沒有邊界。為什么Windows和mac OS的應用永遠不兼容,而云計算廠商卻眼睜睜地看著這些事情發(fā)生呢?很簡單,因為整個云計算技術生態(tài)都建立在開源軟件上,亞馬遜再大,它也只是一個服務提供者,收的是租金。而客戶方,則越來越看重自主可控性,他們不希望被單一的云計算公司鎖定,畢竟自己的客戶和交易數(shù)據(jù)都運行在云計算上,它是所有企業(yè)的命脈了。

不懂的看過來:云計算簡史

2015年,Google開源了Kubernates項目,讓多云解決方案更勝一籌。K8S能夠對容器的創(chuàng)建、擴展等進行自動編排。這意味著無論應用有多么復雜,它都能夠在多云環(huán)境中進行統(tǒng)一運維。比如自家的某種類型存儲用完了,就可以臨時購買一些亞馬遜的存儲。數(shù)據(jù)過時了,就定期自動地轉移到低價格的冷存服務中。

有了多云技術框架和服務,同時意味著云計算平臺必須提供廣泛支持。阿里云當然希望多賣一些云主機服務,但是如果因為技術框架落后,客戶就會流失。所以,全世界的云計算平臺目前都義無反顧地支持了多云策略,希望在這個過程中繼續(xù)以專業(yè)服務商的地位存在。

多云策略對應用開發(fā)者的影響也很大。首先開發(fā)者必須從第一天就按照云計算環(huán)境來規(guī)劃,支持多云部署,自動伸縮,采用微服務架構以實現(xiàn)容器部署。其次,應用開發(fā)者也能夠從這樣的架構中受益。因為它使得客戶獲得私有軟件也像應用SaaS一樣簡單,唯獨不同的是應用和數(shù)據(jù)運行在客戶控制的計算環(huán)境中,但是軟件本身都是基于單一代碼庫的(Single Code Base)。我們明道云原來是一個SaaS形態(tài)應用,客戶只需要在mingdao.com上注冊即可使用,現(xiàn)在,通過容器技術,我們的客戶也可以在自己的云計算環(huán)境中安裝和升級。這些都有賴于多云技術架構。

前面我們提到了云計算公司的競爭將向應用開發(fā)和部署環(huán)境遷移。那么它具體指的是什么呢?它有關于圍繞云計算相關的四個技術領域。Tom Siebel把他們概括為云計算本身、大數(shù)據(jù)、人工智能和物聯(lián)網(wǎng)。

接下來,我們會逐一介紹這十五年來,伴隨云計算發(fā)展起來的數(shù)字化技術領域。正是因為云計算服務的普及,才催化了這些新興的技術領域,反過來,這些技術領域的發(fā)展也讓現(xiàn)代云服務更加完善,當然也更加復雜。正是這些復雜性,讓企業(yè)數(shù)字化轉型工作變得阻力重重。相較于更早前的基礎信息化工作,企業(yè)屆要認知和掌握的技術范疇要比寬廣得多。因此,我們介紹云計算的發(fā)展簡史,就必須要把關聯(lián)技術域的發(fā)展也一并介紹。

云計算相關的技術領域 大數(shù)據(jù)(Big Data)

在大數(shù)據(jù)概念出現(xiàn)之前,數(shù)據(jù)存儲、處理和分析的技術早已存在。隨著存儲成本的下降和云計算提供的彈性計算能力增強,越來越多的數(shù)據(jù)場景已經(jīng)不能被傳統(tǒng)的數(shù)據(jù)庫技術所處理。這些新場景可以被概括為高數(shù)據(jù)量(Volume),高頻度(Velocity)和多數(shù)據(jù)類型(Variety)三個特點。比如在電子商務、金融和物聯(lián)網(wǎng)領域,系統(tǒng)往往在很短的時間內(nèi)會產(chǎn)生大量的數(shù)據(jù)。這些數(shù)據(jù)甚至在存儲的過程中就會產(chǎn)生瓶頸,更不用說實時性很強的計算和分析。所以,從搜索引擎時代開始,大數(shù)據(jù)相關的技術就開始孕育。

MapReduce和Hadoop

搜索引擎的霸主Google成立于1998年,幾年以后,Google的搜索服務所承載的數(shù)據(jù)量已經(jīng)是一個天文數(shù)字,而且還在以光速增加。傳統(tǒng)的數(shù)據(jù)處理技術完全依賴硬件算力的鋪陳,這會讓Google在未來的發(fā)展中不堪重負。2004年,Google在內(nèi)部推出了GFS分布式文件系統(tǒng)和分布式計算框架MapReduce。前者解決了單一硬件資源的限制,后者通過一系列數(shù)學原理,將多類型的數(shù)據(jù)進行切片并分散存儲在特定的分區(qū)中,這個設計能夠讓未來的計算和分析大幅提效。MapReduce的技術原理是大數(shù)據(jù)技術發(fā)展的最重要基礎。

很快,開源軟件領域開始響應這項技術方案,Lucene項目創(chuàng)始人Doug Cutting在2006年正式獨立出Hadoop開源項目,在其中包括了分布式文件系統(tǒng),在集群資源上的調(diào)度工具,以及最核心的大數(shù)據(jù)并行處理開發(fā)框架。有了Hadoop以后,那些面對海量數(shù)據(jù)分析難題行業(yè)從此有了更好的解決方案。只是在2006年前后,主要的應用行業(yè)還是互聯(lián)網(wǎng)行業(yè)本身。Yahoo,

中國的百度等都很快應用了Hadoop來解決海量數(shù)據(jù)的存儲和檢索問題。

不懂的看過來:云計算簡史

Hive,Spark和流式計算

在隨后的幾年中,Hadoop相關的大數(shù)據(jù)處理技術繼續(xù)得到增強。Facebook開源的Hive分析工具用更高層和抽象的語言來描述算法和數(shù)據(jù)處理流程,能夠用SQL語句進行大數(shù)據(jù)分析,這大大降低了使用者門檻,也提升了大數(shù)據(jù)技術的應用效率。不要小看這項改進,它讓全世界大多數(shù)現(xiàn)有的數(shù)據(jù)分析人員可以輕易掌握大數(shù)據(jù)技術。

2009年,加州大學伯克利分校的AMP實驗室開發(fā)了Spark開源集群計算框架,通過完善API和庫,提供更完善的能力和通用性。而且Spark的特色是能夠將數(shù)據(jù)存儲在內(nèi)存中,所以數(shù)據(jù)處理和查詢效率要比利用硬盤存儲的MapReduce框架快百倍。目前,Spark已經(jīng)加入Apache Software Foundation,成為Apache開源項目中的明星項目,被大數(shù)據(jù)技術領域作為最重要的工具框架。

至此為止的技術?;窘鉀Q了針對海量數(shù)據(jù)批量進行處理和分析的需求。比如零售業(yè)企業(yè)如果需要研究顧客和交易數(shù)據(jù),從而對顧客群進行特征細分,這些技術就足夠了。但是,數(shù)字化技術的發(fā)展總是會刺激出更高級的需求。比如,在線上零售中,商品和顧客的行為數(shù)據(jù)是永續(xù)不斷在發(fā)生的,我們希望在數(shù)據(jù)發(fā)生的時刻就立即進行計算,及時地給顧客推送一張個性化的優(yōu)惠券,而不是定時進行某種批量計算,這時候就需要大數(shù)據(jù)技術的一個分支—流式計算。

流式計算的常用框架包括Storm和Spark Stream和Flink,他們在零售和電子商務行業(yè)中的交易分析、金融風控、物聯(lián)網(wǎng)中的態(tài)勢監(jiān)控、車聯(lián)網(wǎng)中的自動駕駛等領域都被廣泛應用。2019年,阿里巴巴用1億美元收購了Flink,是因為我們用的淘寶天貓中的搜索、商品推薦,包括雙11的實時監(jiān)控大屏數(shù)據(jù)都是由Flink來驅動的。Flink用幾乎無延遲的速度截獲雙十一最后一秒鐘結束后的GMV數(shù)值,可見它在實時處理數(shù)據(jù)方面的性能。

NoSQL數(shù)據(jù)庫

與大數(shù)據(jù)技術同步發(fā)展的還包括NoSQL(非關系型)數(shù)據(jù)庫市場。在上個世紀,大多數(shù)商業(yè)數(shù)據(jù)庫都是關系數(shù)據(jù)庫,通過SQL語言進行數(shù)據(jù)處理和查詢。當大數(shù)據(jù)技術發(fā)展起來后,技術專家們發(fā)現(xiàn)數(shù)據(jù)庫完全可以用不同的形態(tài)來存儲數(shù)據(jù),這樣可以大幅減少數(shù)據(jù)分析過程中的預處理工作量。所以,從2009前后開始,各種NoSQL數(shù)據(jù)庫開始進入市場。

下圖是維基百科上針對NoSQL數(shù)據(jù)庫類型的分類方法:

不懂的看過來:云計算簡史

讀者可以忽略其中的細節(jié)技術語言,只需要了解不同類型的NoSQL數(shù)據(jù)庫會有利于特定場景的應用開發(fā)。比如文檔數(shù)據(jù)庫采用JSON格式存儲,可以隨心所欲定義不同的數(shù)據(jù)結構,而且橫向擴展性很強(數(shù)據(jù)規(guī)模增大后可以保證查詢效率)。我們明道云的工作表就是利用了文檔數(shù)據(jù)庫MongoDB作為存儲方案。

NoSQL數(shù)據(jù)庫普遍支持分布式文件系統(tǒng),所以都具備很強橫向擴展性。和關系數(shù)據(jù)庫相比,NoSQL數(shù)據(jù)庫大多不具備事務一致性,但是這個犧牲交換得到數(shù)據(jù)處理的效率,因而作為大數(shù)據(jù)技術相關的常見存儲方案。

云計算平臺上的大數(shù)據(jù)服務

以上我們介紹了大數(shù)據(jù)技術發(fā)展依賴的各個重要技術棧。很顯然,和傳統(tǒng)的應用開發(fā)相比,大數(shù)據(jù)技術相對更加復雜。它不僅涉及復雜的編程框架,還需要一個專業(yè)的運維體系。這使得大部分普通企業(yè)用戶很難自己來搭建大數(shù)據(jù)開發(fā)環(huán)境。所以云計算平臺在基礎云服務之外,也開始結合云計算資源提供大數(shù)據(jù)服務。阿里云上的MaxCompute是一個全托管的大數(shù)據(jù)SaaS服務,用戶甚至無需管理主機基礎設施,直接按照大數(shù)據(jù)計算任務量付費。順便說一下,這種直接將計算服務提供給開發(fā)者的模式被稱為“無服務器”(Serverless)計算,它的目的是為了簡化開發(fā)工作中的運維任務,讓開發(fā)者聚焦在應用開發(fā)上。不僅僅是大數(shù)據(jù)領域,在AI,物聯(lián)網(wǎng)等其他技術領域,無服務器服務模式正在日益成為主流。E-MapReduce則是一整套大數(shù)據(jù)相關的PaaS服務,用戶可以選擇利用現(xiàn)成的服務在自己控制的云主機上完成部署,客戶主要支付的是基礎云的資源費用。和阿里云類似,亞馬遜AWS等其他云計算平臺也提供豐富的大數(shù)據(jù)相關平臺服務。

應用領域

我們前面提到大數(shù)據(jù)技術起源于搜索引擎應用。在隨后的十多年中,它的主要應用場景依然還是在互聯(lián)網(wǎng)領域。最常見的應用包括計算廣告(依據(jù)用戶和內(nèi)容數(shù)據(jù)動態(tài)決定廣告投放策略和定價),內(nèi)容檢索和推薦(百度、頭條),商品推薦和營銷活動優(yōu)化(淘寶、拼多多)。不要小看這幾個場景,它們幾乎和互聯(lián)網(wǎng)用戶上網(wǎng)過程中的每一分秒都有關系,所以創(chuàng)造了巨大的經(jīng)濟價值。

數(shù)據(jù)的價值當然不僅僅局限于互聯(lián)網(wǎng)行業(yè),幾乎每個產(chǎn)業(yè)都有機會在大數(shù)據(jù)技術的幫助下發(fā)掘出數(shù)據(jù)的價值,或者改善運營效率,或者發(fā)現(xiàn)出新的業(yè)務機會。金融行業(yè)是較早的受益者。銀行貸款業(yè)務中的風險控制、零售和結算業(yè)務中的欺詐發(fā)現(xiàn)、保險業(yè)務中的精算和保單個性化定價、證券行業(yè)中的期貨定價和股價預測等都實實在在在創(chuàng)造出財富。

大數(shù)據(jù)在研究和開發(fā)領域也在大顯身手。在生物醫(yī)藥領域,大數(shù)據(jù)技術在幫助縮短藥物研發(fā)的周期和提高成功率;合成化學行業(yè)也在利用大數(shù)據(jù)和機器學習技術來加快發(fā)現(xiàn)新材料。有人甚至認為數(shù)據(jù)科學將成為實驗、推演和仿真以外的一種新的科學研究方法,成為“第四范式”。

大數(shù)據(jù)在城市交通、社會治理、能源傳輸、網(wǎng)絡安全、航空航天等領域也都已經(jīng)有了現(xiàn)實的應用。但在這些資本投入密集的領域之外,大數(shù)據(jù)在一般行業(yè)和企業(yè)中的應用依然道路曲折。這不是因為大數(shù)據(jù)技術不夠完善,而是諸多行業(yè)尚未能夠明確抽象出大數(shù)據(jù)應用的價值以及可付諸實施的方法論。正如前面提到的,云計算和大數(shù)據(jù)對于普通中小企業(yè)來說依然是一個模糊的技術工具,一般企業(yè)也很難雇傭大數(shù)據(jù)專家,而專業(yè)服務企業(yè)目前還沒有找到利用自己的技術專長提供普遍服務的有效機會。通用領域中的大數(shù)據(jù)應用還停留在理念階段。所以,在過去幾年出現(xiàn)的大數(shù)據(jù)技術公司大多都還在服務金融、公安、交通、能源等大客戶集中的行業(yè)。

突破的關鍵點可能在兩個方面,一是大數(shù)據(jù)技術棧本身十分復雜,當下的工具還依賴專門訓練的計算機專家,產(chǎn)業(yè)還沒有抽象出一個通用領域的應用模型,也無法提供一個類似SaaS這樣友好的應用界面。這值得數(shù)據(jù)技術領域和企業(yè)應用領域中的跨界專家來探索。二是企業(yè)數(shù)字化建設還剛剛開始,很多企業(yè)缺失穩(wěn)定和可靠的數(shù)據(jù)采集和記錄的過程。如果沒有數(shù)據(jù)流,自然就不會有大數(shù)據(jù)應用。因此大數(shù)據(jù)技術被廣泛應用可能還需要五到十年的時間。

人工智能(Artificial Intelligence)

人工智能的概念和基本原理起源早至1950年代。早期的人工智能研究集中在加州大學伯克利分校,麻省理工,斯坦福和南加州大學等計算機實驗室中。今天已經(jīng)商業(yè)化的神經(jīng)網(wǎng)絡算法就來自于半個世紀多前麻省理工大學的明斯基教授發(fā)表的《感知元》論文,但是計算機算力在當時實在是太弱了,以至于任何計算理論上的假設都很難付諸于現(xiàn)實。因此,在長達五十年的時間內(nèi),人工智能技術都停留在理論研究和一部分不成功的實踐上。

雖然人工智能領域經(jīng)歷了漫長的冬天,但它所提出的機器向人類學習,并最終在特定領域能夠做得比人類更好的假設卻是千真萬確的。

千禧年后的AI復蘇

2000年以后,有幾大動因推動了人工智能概念的復興。首先,因為摩爾定律的存在,計算機的運算速度和單位存儲成本均用指數(shù)速率發(fā)展到一個新的階段。云計算和大數(shù)據(jù)技術也允許計算機用很快的速度處理TB甚至PB級的數(shù)據(jù)。其次,網(wǎng)絡服務的興起在諸多領域生產(chǎn)出豐富的數(shù)據(jù),Google,Netflix和Amazon的業(yè)務就像數(shù)據(jù)機器一樣,每分每秒都能產(chǎn)生海量的用戶行為數(shù)據(jù)。

第三,在人工智能的數(shù)學方法研究中,AT&T貝爾實驗室的三位科學家(Tin Kam Ho, Corinna Cortes, 和 Vladimir Vapnik)在機器學習領域取得了突出的進展。機器學習技術可以將復雜和不確定的非線性問題通過線性的數(shù)學公式來解決。在解決不同的問題的過程中,機器學習理論方法和實踐被明確驗證。最早的一批互聯(lián)網(wǎng)企業(yè),包括Google,F(xiàn)acebook,Linkedin等在這個過程中既提供了海量數(shù)據(jù),也從研究過程中獲得了巨大的成果。尤其是Google,它是機器學習及其分支深度學習領域最重要的信奉者和推動者。2010年,Google成立了Google大腦,一個專注人工智能研究的內(nèi)部組織,后來又收購了英國企業(yè)DeepMind。后者在2016年3月?lián)魯×巳祟悋骞谲娎钍朗?/p>

下圖是Tom Siebel在Digitlal Transofrmation一書中對AI技術進化史的一張插圖,顯示了從1950年代開始到現(xiàn)在的主要技術迭代歷史。

不懂的看過來:云計算簡史

機器學習(Machine Learning)

機器學習是推動AI復蘇的最重要動力。它的興起標志著人工智能很長時間彎路的終結。要想讓機器比人做得更好,并不是依靠人來教機器規(guī)則,而是讓機器從歷史數(shù)據(jù)中學習。比如最常見的機器學習場景——物體識別,要想讓機器從各種照片中找出“貓”,只要讓機器學習各種各樣貓的照片對象。機器學習算法會將訓練用的貓圖像背后的向量特征總結為一個預測模型,讓這個模型預測任何一張新圖片中包含貓的概率。同樣的道理,語音識別、語言翻譯、人臉識別等都是使用的類似的原理。喂養(yǎng)算法的數(shù)據(jù)量越大,通常預測的準確率就越高。

機器學習應用可以分為有監(jiān)督學習和無監(jiān)督學習。前者需要人工參與訓練數(shù)據(jù)的標識,后者則通過數(shù)學方法自動聚類出存在相似性的對象。在缺少訓練數(shù)據(jù)的情況,無監(jiān)督機器學習就會起到更大的作用。

機器學習的一個分支被稱為深度神經(jīng)網(wǎng)絡(DNN),它的設計已經(jīng)高度參照了人類大腦神經(jīng)元的連接結構。在深度神經(jīng)網(wǎng)絡中,數(shù)據(jù)被輸送到輸入層,結果則從輸出層產(chǎn)生,在輸入層到輸出層之間存在多個隱藏層,每一層會對輸入數(shù)據(jù)的各個特征進行推斷,最終能夠得到更為準確的預測結果。打敗李世石的AlphaGo就是一個基于深度神經(jīng)網(wǎng)絡的算法。但是,DNN對于用戶來說依然是一個黑盒子。設計者并不需要也不會知道神經(jīng)網(wǎng)絡中的每一層到底在判斷什么具體特征,以及它是如何分解特征的。它背后都是高度抽象的數(shù)學方法。不管它有多么玄妙,深度神經(jīng)網(wǎng)絡的確厲害,它不僅具備高超的自學習能力,而且還簡化了傳統(tǒng)機器學習中大量復雜和耗時的特性工程(Feature Engineering,通過行業(yè)專有知識來調(diào)優(yōu)機器學習算法的過程)。

TensorFlow

2015年,Google開源了內(nèi)部的TensorFlow框架,開始將人工智能計算框架作為一項云計算服務向外界提供。在核心開源庫之后,TensorFlow還陸續(xù)推出了Javascript版本,滿足在瀏覽器和Node.js上開發(fā)和訓練機器學習模型,以及在移動設備和IoT設備上部署的Lite版本。另外,TensorFlow Extended是一個端到端的機器學習生產(chǎn)平臺,它連帶提供了編程環(huán)境和數(shù)據(jù)處理工具。

當然,TensorFlow并不是唯一的機器學習框架,Caffe,Torch,Keras等都是。它們無一例外都是開源的。在云計算的前沿領域,軟件開源是一個普遍的策略。為什么如此復雜和高級的軟件都會義無反顧地選擇開源呢?一方面因為框架性產(chǎn)品本身并不直接包含商業(yè)價值,價值需要開發(fā)者進行二次創(chuàng)造,另一方面,在云計算服務的商業(yè)模式大前提下,通過API來提供封裝好的人工智能服務是一個非常容易實現(xiàn)的商業(yè)手段。這些開源產(chǎn)品的運營者沒有必要對框架進行收費。

人工智能服務

事實上,即便你不使用這些機器學習框架,也能直接使用人工智能服務。國內(nèi)外云計算平臺都已經(jīng)在通過API提供各色各樣的人工智能服務。這些服務已經(jīng)完全封裝成應用開發(fā)接口,開發(fā)者完全不需要了解和處理復雜的機器學習過程,只要把自己當作用戶就可以了。

但是這些服務都非常具體和專向,并不存在任何通用的AI接口,每個接口只能為用戶解決一類具體問題。以下是阿里云AI類目下的服務分布。你可以看出這些服務都和用戶的某一個具體需求有關。比如語音識別可以讓移動開發(fā)者開發(fā)出讓用戶直接通過語音來控制功能的應用。人臉識別可以識別出影像中的人臉對象和實現(xiàn)身份對比驗證。

提供一次此類服務要收多少錢呢?在云計算平臺上,這類AI應用開發(fā)接口大多按照次數(shù)或者每秒次數(shù)級別(QPS)進行收費。比如識別一張身份證上的信息大約要收取1-5分錢,聽起來不少吧?

實際上,從事人工智能技術的企業(yè)并不僅僅是云計算平臺提供商。比如中國市場中,F(xiàn)ace++,科大訊飛、商湯科技、寒武紀、優(yōu)必選等都分別在計算機視覺、語音、機器人等領域有專長。但是它們的專向定位讓這些企業(yè)很難提供普遍的開發(fā)者服務。因為開發(fā)者往往希望在一個云計算平臺上獲得一攬子服務,而且用戶的基礎云資源也是從云計算平臺購買的。作為開發(fā)者來說,擁有一個統(tǒng)一和完善的應用開發(fā)環(huán)境是非常重要的。

所以,在人工智能的商業(yè)化中,還有不少企業(yè)利用自己的專向技術優(yōu)勢來解決更加細分的問題。比如科大訊飛主要通過自己在語音和自然語言處理方面的技術積累為教育和司法等行業(yè)提供解決方案,中國法院的庭審文字記錄現(xiàn)在很多都是通過自動化的語音轉錄而實現(xiàn)的。商湯科技和曠視科技則主要在智慧城市和安防領域提供軟硬件一體化方案。還有一組創(chuàng)業(yè)企業(yè)專注于解決高價值的自動駕駛問題,并從中派生出更細分的AI芯片設計和制造企業(yè)。

技術棧和人才

AI相關的技術棧是前面介紹的大數(shù)據(jù)技術的一個擴展。也就是說,沒有離得開數(shù)據(jù)獲取和處理的人工智能項目。要把如此眾多的開發(fā)框架和微服務組合在一起,對于非云計算專業(yè)企業(yè)來說是非常困難的。除了技術棧的復雜性以外,開發(fā)者還需要搞定大規(guī)模訓練數(shù)據(jù)的獲取和處理過程,這個成本在短時間內(nèi)一定會成為牽制企業(yè)投入的因素。

成本還是相對容易克服的問題,因為只要問題足夠值錢,有長期主義價值觀的企業(yè)總是愿意投入。但是更致命的問題在于AI相關人才的激烈競爭。能夠從事AI應用開發(fā)的團隊需要包含大數(shù)據(jù)相關的數(shù)據(jù)庫專家,深諳數(shù)學建模的算法專家,以及熟練掌握C++或Python等編程語言的高級程序員,同時還離不開有技術素養(yǎng)的業(yè)務專家參與。而在當下階段,云計算巨頭企業(yè)和專業(yè)企業(yè)像吸鐵石一樣吸引走了絕大多數(shù)專長人才,讓普通企業(yè)根本無從獲取。

考慮到AI技術的復雜性和專業(yè)度,它極可能像云計算服務一樣,大多數(shù)企業(yè)都只會成為用戶級別的角色,這就給專業(yè)開發(fā)者留下了創(chuàng)新的空間,看誰能夠進行足夠合理的抽象,組合出更加易用,面向通用業(yè)務場景的AI服務。

物聯(lián)網(wǎng)(Internet of Things)

消費產(chǎn)品引爆的物聯(lián)網(wǎng)普及

云計算服務的普及不僅為用戶提供了彈性伸縮的經(jīng)濟性,還提供了一個泛在的可連接性。任何計算設備只要連上互聯(lián)網(wǎng),就彼此通過TCP/IP協(xié)議能夠相互訪問。這個互聯(lián)價值在物聯(lián)網(wǎng)技術發(fā)展之前還僅僅限于傳統(tǒng)計算設備,也就是服務器和個人計算終端。在個人、家庭和企業(yè)世界,還有大量非傳統(tǒng)計算設備并沒有聯(lián)入這個數(shù)字化世界。

汽車、家電、個人穿戴設備、工廠的制造設備現(xiàn)在都已經(jīng)有接入互聯(lián)網(wǎng)的條件,市場上流通的這些互聯(lián)智能產(chǎn)品也越來越多。當連接的設備豐富到一定程度的時候,各種智能化場景才能真正實現(xiàn)。IHS Markit預測到2025年,全球聯(lián)網(wǎng)設備總數(shù)量將達到750億個。萬物互聯(lián),正是物聯(lián)網(wǎng)技術所追求的愿景。

具有數(shù)字化連接能力的非常規(guī)計算設備在上個世紀90年代就已經(jīng)出現(xiàn),比如可以無線連接的攝像頭。真正具備中長距離連接能力的設備首先出現(xiàn)在零售和工業(yè)制造領域,包括西門子,通用電氣等企業(yè)開發(fā)的工業(yè)設備互聯(lián)協(xié)議(M2M)。在當時,這些設備已經(jīng)可以通過低速的無線局域網(wǎng)使用IP協(xié)議連接到工廠的控制中心。這樣的網(wǎng)絡被成為工業(yè)以太網(wǎng)。但當時商業(yè)互聯(lián)網(wǎng)并沒有開始發(fā)展起來,所以M2M的出現(xiàn)只能算作是物聯(lián)網(wǎng)技術的局部發(fā)展。

物聯(lián)網(wǎng)開始成型還是通過消費產(chǎn)品市場來推動的。2000年代初期,LG率先推出了可以接入互聯(lián)網(wǎng)的家電產(chǎn)品,一臺聯(lián)網(wǎng)冰箱售價高達20000美元,這顯然無法真正帶動市場。在隨后幾年中,像Garmin GPS和Fitbit智能手環(huán)這樣的消費電子產(chǎn)品開始獲得更大的產(chǎn)銷量,從而帶動相關的低功耗芯片行業(yè)發(fā)展。到了2011-12年,消費電子領域出現(xiàn)了更多的明星級產(chǎn)品,這其中包括后來被Google收購的家用傳感器Nest,Philip推出的Hue智能燈泡等。在中國市場,以小米為代表的智能手機廠商開始擴展到物聯(lián)網(wǎng)產(chǎn)品領域,推出了一系列圍繞個人和家庭的智能設備和家庭網(wǎng)關產(chǎn)品。蘋果也于2015年正式進入可穿戴產(chǎn)品市場,推出了Apple Watch,后來還推出了智能音箱HomePod。Google和國內(nèi)的互聯(lián)網(wǎng)巨頭企業(yè)也都加入了這場通過新型個人數(shù)字設備爭奪用戶和數(shù)據(jù)的競爭。目前,全球可穿戴產(chǎn)品市場已經(jīng)多年保持了40%以上的年度增長率。

個人和家庭智能設備的量產(chǎn)促進了和物聯(lián)網(wǎng)相關的協(xié)議發(fā)展和元器件成本的降低。在這期間,藍牙5.0,WiFi-6,IPv6,NFC和RFID等關鍵傳輸和通信協(xié)議得到進一步發(fā)展,讓設備能耗和連接速率都進一步提升。在同一時間,云計算基礎服務和大數(shù)據(jù)處理技術也起到了關鍵作用。物聯(lián)網(wǎng)設備往往在短時間內(nèi)會產(chǎn)生大量數(shù)據(jù),如果沒有前文提到的大數(shù)據(jù)技術棧,傳統(tǒng)的數(shù)據(jù)庫工具是無法承載的,同時云計算也是設備數(shù)據(jù)匯聚的海洋,今天幾乎所有的物聯(lián)網(wǎng)技術平臺都架構在云計算平臺上,他們是典型的互生行業(yè)。

物聯(lián)網(wǎng)的技術棧

物聯(lián)網(wǎng)相關的技術棧非常綜合。它橫跨軟硬件,既包含感知探測相關的硬件技術,也包含網(wǎng)絡傳輸和應用構筑的軟件技術。直至今天,物聯(lián)網(wǎng)相關的技術棧都沒有完全穩(wěn)定下來,甚至很可能長期保持多元的特征。但是概括起來,整個技術棧還是有一些層次特征。

行業(yè)一般把物聯(lián)網(wǎng)相關的技術架構分解為四層,分別定義為和物理環(huán)境相關的設備感測層、和數(shù)據(jù)傳輸和通信有關的網(wǎng)絡層,IoT相關的平臺管理層,以及最終實現(xiàn)用戶價值的業(yè)務應用層。無論是針對消費市場還是企業(yè)市場的物聯(lián)網(wǎng)系統(tǒng)都會有這四個層次。

設備感測層是由各種類型的傳感器和可交互訪問的硬件模塊及其嵌入式軟件而組成的。例如溫度濕度傳感器、攝像頭、電源開關和插座和網(wǎng)關等。感測層設備不僅是單向獲取數(shù)據(jù),還可能從外界接受指令改變硬件狀態(tài)(比如智能鎖)。行業(yè)內(nèi)一般把這個層次稱為“邊緣”(Edge)。

設備感測層的技術棧主要由軟硬件協(xié)同開發(fā)的嵌入式系統(tǒng)構成。我們用的智能手機本質上也是一個嵌入式系統(tǒng),只是它的嵌入度非常完整,甚至不亞于一臺標準計算設備。嵌入式系統(tǒng)開發(fā)經(jīng)歷了早期的單片機和嵌入式操作系統(tǒng)/CPU階段,目前最前沿的是SoC(片上系統(tǒng)),把一個專用系統(tǒng)的所有嵌入式軟件完全整合在一個集成電路上。今天的智能手機、智能電視等都是由若干個SoC整合而成的。在嵌入式系統(tǒng)中,固化在硬件上的軟件程序甚至依然可以得到更新,而且這種更新目前大多都可以通過連接互聯(lián)網(wǎng)實現(xiàn),這種升級被稱之為OTA (Over-the-air)更新。

另外,設備感測層還需要解決設備的訪問協(xié)議問題。物聯(lián)網(wǎng)系統(tǒng)目前已經(jīng)廣泛支持IPv6協(xié)議。IPv6能夠提供全球的IP地址總量高達2的128次方,這是一個天文數(shù)字,可以確保任何物聯(lián)網(wǎng)設備都能夠擁有獨立的IP地址,從而實現(xiàn)在全球的唯一尋址。當全球物聯(lián)網(wǎng)設備達到千億,甚至萬億數(shù)量級的時候,IPv6功不可沒。

網(wǎng)絡傳輸層要解決的是感測設備和計算設備之間,以及最終與平臺管理層之間的數(shù)據(jù)傳輸問題。根據(jù)連接性質不同,又可以分為短距、中距和長距類型,以及有線和無線類型。在這些連接協(xié)議中,藍牙、NFC、Wi-Fi、無線射頻(RFID)、4G和5G等是比較常用的。這些傳輸協(xié)議在設備側一般都是直接設計在板上系統(tǒng)上的,通過IP協(xié)議提供可訪問地址。開發(fā)者需要根據(jù)連接的距離、速率、功耗和成本等要求做出合理的選擇。

IoT平臺層是物聯(lián)網(wǎng)系統(tǒng)中至關重要的部分,它的出現(xiàn)也標志著基于云計算平臺的物聯(lián)網(wǎng)系統(tǒng)誕生。一個IoT平臺的核心作用是管理成千上萬的物聯(lián)網(wǎng)設備,包括他們的狀態(tài),數(shù)據(jù)上報接收,建立對它們的控制,對設備進行運維分組,并能夠實現(xiàn)從云端往邊緣側的更新推送(OTA)。同時,物聯(lián)網(wǎng)平臺也要借用上文提到的大數(shù)據(jù)技術棧,對設備上報數(shù)據(jù)進行處理,并用各種數(shù)據(jù)庫完成存儲,這其中比較重要的數(shù)據(jù)庫類型就是時序數(shù)據(jù)庫。

更完整的IoT平臺還包括圍繞設備數(shù)據(jù)建立自動化工作流的能力,數(shù)據(jù)分析工具以及為更上層的應用開發(fā)提供數(shù)據(jù)開發(fā)接口的設計。

目前,主流云計算平臺都專門為客戶提供了物聯(lián)網(wǎng)技術平臺,結合基礎云和大數(shù)據(jù)相關服務獲取增值業(yè)務收入。阿里云,AWS,Azure和Google Cloud都有專門的解決方案,國內(nèi)外也有專門的物聯(lián)網(wǎng)平臺技術公司將自己的解決方案架構在基礎云上或者提供跨云服務。

Oracle,Salesforce和微軟Azure等企業(yè)軟件廠商的物聯(lián)網(wǎng)平臺不僅提供了上述基礎服務,還結合了自己的企業(yè)應用套裝優(yōu)勢,提供一站式的物聯(lián)網(wǎng)應用開發(fā)平臺。它們更適合企業(yè)物聯(lián)網(wǎng)系統(tǒng)建設。

最上一層的應用層是整個物聯(lián)網(wǎng)技術架構中最不標準化的部分。應用層最終要將連接的設備和數(shù)據(jù)用于具體的商業(yè)場景。比如共享充電寶就是一個物聯(lián)網(wǎng)系統(tǒng),它的應用層包含面向C端的租用和支付系統(tǒng),面向商戶的設備狀態(tài)報告,收益結算系統(tǒng),以及面向運營部門的設備運維管理系統(tǒng)。換到另外一個物聯(lián)網(wǎng)場景,應用層的構成可能完全不一樣。

邊緣計算和AIoT

物聯(lián)網(wǎng)技術架構的基本思路是分層分工,感測層主要取得數(shù)據(jù)和建立對物理硬件的控制,數(shù)據(jù)通過網(wǎng)絡層和計算平臺連接,計算則在云端完成。但是隨著物聯(lián)網(wǎng)應用場景的豐富,設備規(guī)模的擴大,以及芯片技術的發(fā)展,邊緣計算概念開始得到認可。所謂邊緣計算,就是利用設備端和鄰近網(wǎng)關的計算能力處理和存儲數(shù)據(jù),減少和云端的數(shù)據(jù)傳輸,從而實現(xiàn)更快速的應用響應。除了速度的提升,邊緣計算還能夠大幅減少云計算和數(shù)據(jù)傳輸成本。比如針對一個大型的視頻監(jiān)控網(wǎng)絡,如果攝像頭將所有的視頻流數(shù)據(jù)都傳輸?shù)皆贫耍贫怂懔σ蠛统杀緦浅8?。而如果在攝像頭設備內(nèi)部實現(xiàn)必要的視覺計算(比如識別異常),整個物聯(lián)網(wǎng)系統(tǒng)的效率將大大提高。再例如廣泛應用的人臉認證和識別系統(tǒng),如果不能依賴本地的設備計算能力,十億用戶的高頻度使用將會讓云平臺不堪重負。

上面兩個例子顯示了邊緣計算往往和人工智能應用相關,設備側往往完成的是模式識別類的人工智能算法,因此往往需要專門芯片的助力。Nvidia公司推出的Jetson系列模塊就是專門為邊緣計算場景而服務的。這些芯片模塊被安裝在機器人、自動駕駛汽車等邊緣設備上,所以這組技術產(chǎn)品也被稱為“自主機器”。因為物聯(lián)網(wǎng)和這些人工智能應用的結合,因此,這套技術方案也常被稱為AIoT。

應用領域

如果把2012年前后作為基于云計算的物聯(lián)網(wǎng)平臺技術發(fā)展開端的年份,僅僅八年左右的時間,物聯(lián)網(wǎng)應用領域已經(jīng)發(fā)展得非常廣泛。只是我們身在其中,享受它帶來的便利,并不一定能夠感知它的存在。這個高速發(fā)展過程很大程度上受益于基礎云計算服務和大數(shù)據(jù)技術棧的同步發(fā)展。

在消費應用領域,個人穿戴設備已經(jīng)從手表、手環(huán)發(fā)展到耳環(huán)戒指這樣的雜項。在智能家居領域,我們可見的家電、門鎖、照片、開關、音箱等都已經(jīng)是互聯(lián)網(wǎng)設備。在個人和家庭領域,物聯(lián)網(wǎng)技術競爭已經(jīng)不再重要,競爭的焦點已經(jīng)遷移到內(nèi)容生態(tài)和用戶網(wǎng)絡效應。在這些領域,蘋果、谷歌和國內(nèi)的華為、小米等已經(jīng)牢牢占據(jù)了地位。小米生態(tài)鏈重點指的就是依托米家體系的一群消費電子產(chǎn)品企業(yè)。

在工業(yè)、農(nóng)業(yè)、交通運輸、能源和社會管理領域,物聯(lián)網(wǎng)的應用場景更為廣泛。我們的街道上已經(jīng)密布了各種攝像頭,這些攝像頭通過專門網(wǎng)絡構筑了天眼系統(tǒng);我們頭頂上的電力傳輸網(wǎng)絡和用電單位終端也已經(jīng)完成了智能電網(wǎng)改造;礦場和工地上也都布滿了各種安全監(jiān)控設備。這些都是最近十年來重大的IT投資。預計未來十年這樣的建設和更新依然不會結束。

云計算的未來

本文主要是對云計算過去十五年的一個回顧。技術領域的發(fā)展速度是如此之快,以至于我們很難預測未來的十五年會發(fā)生什么。在本文的最后,我僅僅對當下已經(jīng)呈現(xiàn)的云計算市場趨勢做一些簡單的概括,它們甚至已經(jīng)在發(fā)生,但我們不知道這些技術趨勢的發(fā)展具體會顛覆哪些巨頭,會催生出哪些明星。

存儲和計算的成本將進一步下降,但消耗會同步增長。考慮到全球范圍內(nèi)的計算服務還有大量沒有轉移到云計算環(huán)境中,未來十年基礎云服務的算力還會大量增加,服務單價會持續(xù)下降。

前沿技術將持續(xù)融合到云計算平臺,包括量子計算、AR/VR、區(qū)塊鏈等。尤其是那些依賴海量數(shù)據(jù)計算能力和彈性計算資源的應用,云計算是成就它們更快成長速度的軌道。

云計算的核心競爭將聚焦在應用開發(fā)環(huán)境的優(yōu)越性上。誰能夠提供廉價、完善和前沿的開發(fā)技術棧環(huán)境,誰就能夠獲得更多的開發(fā)者用戶。當開發(fā)者用戶選擇了云服務商后,他們其實就為終端用戶做出了選擇。

多云、或稱混合云環(huán)境成為長期的企業(yè)應用策略,云計算用戶將綜合使用邊緣、各個云計算服務商和自有IT設施。

云計算開發(fā)技術棧會越來越復雜,這會讓應用開發(fā)領域的分工更加明確。面向終端用戶的應用開發(fā)將變得更加簡潔,應用生成的方式會越來越多元,無需編碼,依靠普通業(yè)務用戶建立應用程序的服務商會越來越多。

原文地址:http://cloud.idcquan.com/yzx/181584.shtml

網(wǎng)站標題:不懂的看過來:云計算簡史
本文網(wǎng)址:http://www.bm7419.com/news21/200871.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供面包屑導航、商城網(wǎng)站品牌網(wǎng)站建設、標簽優(yōu)化、App設計、網(wǎng)站維護

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)

成都網(wǎng)站建設公司