亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

本文作者：王剛

2018-08-10 19:26

導(dǎo)語(yǔ)：根據(jù)沃納·威格爾在2018 AWS技術(shù)峰會(huì)上的發(fā)言整理

作為全球排名第一的云計(jì)算廠商，AWS在中國(guó)“能考多少分”，可能是每一個(gè)云行業(yè)從業(yè)者都比較感興趣的話題，而就在8月9日的AWS技術(shù)峰會(huì)上，這一問(wèn)題有了最新答案。

亞馬遜AWS全球副總裁、大中華區(qū)執(zhí)行董事容永康現(xiàn)場(chǎng)做了報(bào)告，他指出：

·全球來(lái)看，2018年Q2的營(yíng)業(yè)額61億美金，同比增長(zhǎng)49%，預(yù)計(jì)未來(lái)12個(gè)月總收入超過(guò)240億美元。全球18個(gè)區(qū)域，55個(gè)可用區(qū)，100多個(gè)邊緣節(jié)點(diǎn)，65%的區(qū)域布局在一帶一路上。
·中國(guó)來(lái)看，光環(huán)新網(wǎng)（北京數(shù)據(jù)中心）和西云數(shù)據(jù)（寧夏數(shù)據(jù)中心）齊頭并進(jìn)，布局了16個(gè)大的功能，三一重工、美的、海航、OPPO已成為AWS客戶(hù)。
·新服務(wù)上，2017年AWS推出1400多項(xiàng)，2018年第一季度已推400余個(gè)。
·魔力象限中，AWS一路領(lǐng)跑。

這場(chǎng)大會(huì)上，光環(huán)新網(wǎng)COO寧琪、寧夏西云數(shù)據(jù)公司CEO王輝也分別對(duì)各自的團(tuán)隊(duì)、云服務(wù)能力、運(yùn)營(yíng)經(jīng)驗(yàn)等進(jìn)行了報(bào)告。

整體來(lái)看，AWS植根中國(guó)情況，可評(píng)“良好”。

亞馬遜CTO沃納·威格爾的感嘆

當(dāng)然最值得期待的是亞馬遜CTO沃納·威格爾(Werner Vogels)的演講。

作為亞馬遜技術(shù)執(zhí)掌者，沃納·威格爾是AWS的靈魂人物，也是云計(jì)算領(lǐng)域頂級(jí)專(zhuān)家。因其在云計(jì)算的教育和推廣方面的貢獻(xiàn)，被信息周刊（InformationWeek）評(píng)為“2008年度CTO/CIO”；2010年被ReadWriteWeb讀者投票評(píng)為“最具影響力的云計(jì)算高管”。

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

雷鋒網(wǎng)觀察到，在2017年同一時(shí)期，沃納·威格爾就參加了中國(guó)首屆企業(yè)級(jí)技術(shù)峰會(huì)，當(dāng)時(shí)的他用了13張PPT 講清楚了企業(yè)上云戰(zhàn)略，而今年，PPT的數(shù)量則遠(yuǎn)遠(yuǎn)不止。盡管他開(kāi)場(chǎng)就強(qiáng)調(diào)只分享技術(shù)，但他依然富有強(qiáng)烈的亞馬遜的云計(jì)算色彩，這意味著，他本身就是AWS最好的一支廣告。

沃納·威格爾開(kāi)場(chǎng)拋出情懷的感嘆詞：客戶(hù)是創(chuàng)造者！

“AWS認(rèn)為自己的客戶(hù)是創(chuàng)造者，客戶(hù)是真正的希望能夠創(chuàng)建全新的產(chǎn)品服務(wù)應(yīng)用或者是改造現(xiàn)有應(yīng)用的人。”

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

他說(shuō)，2006年，亞馬遜深知云將給軟件開(kāi)發(fā)帶來(lái)翻天覆地的變化，需要全新的工具。于是他們與軟件開(kāi)發(fā)者密切合作，12年來(lái)，一個(gè)生肖輪回，亞馬遜才打造出這樣一個(gè)現(xiàn)代化的軟件開(kāi)發(fā)框架，尤其在云服務(wù)領(lǐng)域居于前列。

現(xiàn)代化架構(gòu)的樣子

現(xiàn)在的軟件呈現(xiàn)三級(jí)的架構(gòu)：web層、應(yīng)用層、數(shù)據(jù)層。但事實(shí)上很快世界就變了，互聯(lián)網(wǎng)不再是網(wǎng)頁(yè)了，而是應(yīng)用。所有這些軟件、組件都是大規(guī)模的，變得越來(lái)越龐大和僵化，不再符合軟件開(kāi)發(fā)者想要隨心開(kāi)發(fā)軟件的那種適用的組件了。

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

沃納·威格爾覺(jué)得，從不同的后臺(tái)功能角度來(lái)說(shuō)，實(shí)質(zhì)上它們所做到的就是把所有的AWS的服務(wù)連接在一起，不管是DynamoDB，安全、可靠性、規(guī)模、性能、成本管理，都有云廠商幫你做好，這就是現(xiàn)代化架構(gòu)的樣子。（雷鋒網(wǎng)注：Amazon DynamoDB是一個(gè)完全托管的NoSQL數(shù)據(jù)庫(kù)服務(wù)，可以提供快速的、可預(yù)期的性能，并且可以實(shí)現(xiàn)無(wú)縫擴(kuò)展）

“現(xiàn)在你可以去挑選你確切的要開(kāi)發(fā)軟件的方式，而不是我們?yōu)槟闳ラ_(kāi)一個(gè)藥方——那是傳統(tǒng)的方式。”

亞馬遜的機(jī)器學(xué)習(xí)

沃納·威格爾的第二個(gè)主題就是關(guān)于機(jī)器學(xué)習(xí)。

在過(guò)去一年，機(jī)器學(xué)習(xí)的使用呈現(xiàn)井噴狀態(tài)。據(jù)雷鋒網(wǎng)查詢(xún)相關(guān)信息顯示，Alpha Go Zero的興起、Facebook提供的無(wú)監(jiān)督的方法UPV、英偉達(dá)P3處理器做機(jī)器學(xué)習(xí)的培訓(xùn)等等，都讓機(jī)器學(xué)習(xí)的商業(yè)化變得越來(lái)越成功。

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

在機(jī)器學(xué)習(xí)、物聯(lián)網(wǎng)、人工智能等領(lǐng)域，AWS不只是做IaaS。從2009、2010年就不斷開(kāi)發(fā)存儲(chǔ)、組網(wǎng)、計(jì)算這樣的云服務(wù)，但是在此之上，AWS想給用戶(hù)提供更合適的工具。

AWS Cloud 9

沃納·威格爾首先講到，每一個(gè)偉大的平臺(tái)都有一個(gè)偉大的IDE，AWS Cloud 9就是一個(gè)完全管理的IDE，里面有各種功能，而且獨(dú)一無(wú)二的是可以去開(kāi)發(fā)深度的本機(jī)Lambda的功能。

AWS X-Ray

X-Ray能夠幫用戶(hù)找到其中的錯(cuò)誤，能夠更便捷的進(jìn)行部署和檢查數(shù)據(jù)相關(guān)的應(yīng)用問(wèn)題。有了所有這些不同的組件，AWS與用戶(hù)一起合作開(kāi)發(fā)得心應(yīng)手的一些工具。

IT平臺(tái)

在過(guò)去六個(gè)月的時(shí)間里，AWS在解決方案方面有了很大的進(jìn)展，其中一方面就是關(guān)于數(shù)據(jù)和云能否搭建一個(gè)平臺(tái)。而一旦有了這個(gè)平臺(tái)，就意味著IT已經(jīng)不僅僅只是一個(gè)競(jìng)爭(zhēng)優(yōu)勢(shì)了，而是個(gè)必要性，也就意味著大家可以享有同樣的計(jì)算、存儲(chǔ)、數(shù)據(jù)庫(kù)、算法的資源。

企業(yè)之間的競(jìng)爭(zhēng)差分性在哪里呢？沃納·威格爾的答案是“數(shù)據(jù)和數(shù)據(jù)的使用，以及從數(shù)據(jù)中獲得的信息。”

SageMaker

SageMaker，即大規(guī)模構(gòu)建、訓(xùn)練和部署機(jī)器學(xué)習(xí)模型。

“如果要推動(dòng)機(jī)器學(xué)習(xí)的普及化的使用，我們就需要做一些改進(jìn)。因?yàn)闄C(jī)器學(xué)習(xí)需要全新的堆棧。”

傳統(tǒng)的堆棧是什么？實(shí)際上，AWS有標(biāo)準(zhǔn)化的框架、TensorFlow、Caffe等等，在此之上，他們還打造了一個(gè)叫SageMaker的平臺(tái)，讓每一位開(kāi)發(fā)人員都能夠通過(guò)算法獲得機(jī)器學(xué)習(xí)的能力。

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)的流程涉及選擇數(shù)據(jù)、挑選算法、做培訓(xùn)（調(diào)整算法參數(shù)）、模型部署等，而這個(gè)過(guò)程是一些繁雜的工作，如果希望80%人為工作可以交給機(jī)器學(xué)習(xí)本身來(lái)做，SageMaker就能實(shí)現(xiàn)這點(diǎn)。

沃納·威格爾感慨：“Amazon SageMaker絕對(duì)是革命式的機(jī)器學(xué)習(xí)普及化的平臺(tái)服務(wù)。”看得出來(lái)，這位CTO還是無(wú)法免俗不去打廣告。

Aurora

Aurora是AWS歷史上在中國(guó)增長(zhǎng)速度最快的一個(gè)服務(wù)。

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

Aurora是一個(gè)真正的云和本地都能夠?qū)崿F(xiàn)良好運(yùn)轉(zhuǎn)的數(shù)據(jù)庫(kù)的工具，很多數(shù)據(jù)庫(kù)都是90年代就做了，但是底層的技術(shù)并沒(méi)有發(fā)生很大的變化，但AWS現(xiàn)在做的是本地和云端都會(huì)有備份，性能的水平、安全性、可靠性都是以前不可同日而語(yǔ)的。據(jù)雷鋒網(wǎng)了解，目前Aurora已經(jīng)在寧夏西云數(shù)據(jù)可用了。

Amazon S3

很多非結(jié)構(gòu)性數(shù)據(jù)需要進(jìn)行分析和處理，AWS稱(chēng)之為數(shù)據(jù)湖，Amazon S3已經(jīng)成為了流行的數(shù)據(jù)湖選項(xiàng)。

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

在過(guò)去幾年處理5TB的數(shù)據(jù)，要41分鐘的時(shí)間，現(xiàn)在Amazon S3處理這么多數(shù)據(jù)的時(shí)間可以縮短到12分鐘。

R5比R4:內(nèi)存提高57%，運(yùn)算能力提高50%

沃納·威格爾分享了AWS在內(nèi)存應(yīng)用上的進(jìn)步。他指出，R4是一個(gè)內(nèi)存密集型應(yīng)用，用在大數(shù)據(jù)分析上和內(nèi)存類(lèi)的緩存，2.3兆赫，400GB內(nèi)存。R5又進(jìn)一步提升了，內(nèi)存提高了57%，運(yùn)算能力也提高了50%。這是巨大的進(jìn)步！

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

基于分析的3個(gè)模型

沃納·威格爾接著談到，“機(jī)器學(xué)習(xí)”、“數(shù)據(jù)庫(kù)”、“數(shù)據(jù)分析”這三個(gè)領(lǐng)域在過(guò)去幾個(gè)月中出現(xiàn)了最大的發(fā)展。此外，基于分析的模型，他認(rèn)為有3種類(lèi)型：

第一種是對(duì)歷史數(shù)據(jù)的分析，比如數(shù)據(jù)倉(cāng)庫(kù)；
第二種是實(shí)時(shí)數(shù)據(jù)的分析，比如當(dāng)下的庫(kù)存，現(xiàn)在社交媒體的動(dòng)態(tài)；
第三種就是對(duì)未來(lái)的預(yù)測(cè)——這就是機(jī)器學(xué)習(xí)要做的，最大化找到數(shù)據(jù)的一些規(guī)律，從而借此開(kāi)發(fā)和預(yù)測(cè)。

實(shí)際上，對(duì)于AWS來(lái)說(shuō)，對(duì)未來(lái)的預(yù)測(cè)才是機(jī)器學(xué)習(xí)要做的，盡量找到數(shù)據(jù)的一些規(guī)律，從而借此實(shí)現(xiàn)開(kāi)發(fā)和預(yù)測(cè)。

機(jī)器學(xué)習(xí)傳統(tǒng)

亞馬遜有非常悠久的機(jī)器學(xué)習(xí)使用的傳統(tǒng)，比如個(gè)性化推薦、庫(kù)存管理、無(wú)人機(jī)/語(yǔ)音、無(wú)人店等等。在Amazon GO商店中，顧客只要拿著商品，走出門(mén)口就行，無(wú)需收銀的環(huán)節(jié)。之所以能做到這一點(diǎn)，沃納·威格爾覺(jué)得是因?yàn)閬嗰R遜用機(jī)器學(xué)習(xí)已經(jīng)20年的時(shí)間了，積累了獨(dú)特的經(jīng)驗(yàn)。

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

以Netflix（美國(guó)視頻網(wǎng)站）為例，75%的視頻觀看都是通過(guò)推薦產(chǎn)生的。這些推薦必須非常的準(zhǔn)確，否則的話，客戶(hù)就不愿意用了。

“數(shù)據(jù)不用就是浪費(fèi)。”沃納·威格爾如此說(shuō)道。

何以見(jiàn)得？據(jù)雷鋒網(wǎng)了解到，在亞馬遜有數(shù)以千計(jì)的工程師在做機(jī)器學(xué)習(xí)，每天有幾十億筆交易的數(shù)據(jù)產(chǎn)生，如果不利用起來(lái)，用沃納·威格爾的話來(lái)說(shuō)就是“太傻了”。

其中一個(gè)應(yīng)用案例就是反欺詐：有了過(guò)去的欺詐數(shù)據(jù)，利用機(jī)器學(xué)習(xí)就可以判斷一個(gè)新進(jìn)來(lái)的訂單是否可能是欺詐訂單。AWS為此設(shè)立了一個(gè)門(mén)檻值，達(dá)到門(mén)檻值可能性的訂單就會(huì)被交送給一個(gè)實(shí)際的員工進(jìn)行判斷。

機(jī)器學(xué)習(xí)方面100多個(gè)新的功能和新服務(wù)

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

沃納·威格爾的這張PPT，顯示了AWS在機(jī)器學(xué)習(xí)方面的創(chuàng)新速度。

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)

這張PPT里，展示了AWS的廣泛的計(jì)算實(shí)例選型。

安全的責(zé)任：不只在安全團(tuán)隊(duì)

“有一件安全的特點(diǎn)在發(fā)生巨大的變化，我們看到開(kāi)發(fā)從原來(lái)所謂的三到六個(gè)月的周期變成持續(xù)的開(kāi)發(fā)和部署，這就意味著安全要變化。安全團(tuán)隊(duì)不能夠再去以三個(gè)月、六個(gè)月來(lái)做一個(gè)周期，覺(jué)得三個(gè)月、六個(gè)月之后給你一些安全代碼這就安全了，并不是的，這種做法已經(jīng)不奏效了。”

高頻的數(shù)據(jù)泄露事件在過(guò)去兩到三年確實(shí)令人震驚，這位執(zhí)掌全球最大云計(jì)算公司技術(shù)的CTO覺(jué)得，從架構(gòu)的角度、從專(zhuān)業(yè)人士的角度，大家應(yīng)該負(fù)起責(zé)任，不能只把安全保護(hù)的責(zé)任放在安全團(tuán)隊(duì)上。

“今天每一個(gè)人都應(yīng)該意識(shí)到他們所做的行為的安全可能帶來(lái)的一些影響。你每一次數(shù)據(jù)的訪問(wèn)、每一次數(shù)據(jù)的編輯都應(yīng)該去考慮到安全，整個(gè)流程本身應(yīng)該是安全的。比如說(shuō)開(kāi)發(fā)的環(huán)境不能夠有漏洞，所以安全是人人有責(zé)。如果我們要真正保護(hù)客戶(hù)和關(guān)鍵企業(yè)數(shù)據(jù)，那我們都要承擔(dān)起安全的責(zé)任。”的確，在國(guó)外，F(xiàn)acebook數(shù)據(jù)泄露事件導(dǎo)致大規(guī)模抗議，而國(guó)內(nèi)，云廠商接二連三的數(shù)據(jù)丟失也讓客戶(hù)怨聲載道，沃納·威格爾的這句話其實(shí)相當(dāng)有啟發(fā)性。

邏輯變了：從服務(wù)器到無(wú)服務(wù)器

無(wú)服務(wù)器的世界是怎樣的？

沃納·威格爾舉例說(shuō)，客戶(hù)無(wú)需擔(dān)心SNS、SQS等規(guī)模、性能、可靠性，AWS Lambda能實(shí)現(xiàn)自動(dòng)擴(kuò)展。在EC2的實(shí)例里，不管執(zhí)行與否都要去付費(fèi)，但是在無(wú)服務(wù)器化的世界中，只有對(duì)那些執(zhí)行的函數(shù)才去付費(fèi)，那些閑置不用的容量無(wú)需付費(fèi)。

亞馬遜CTO 沃納·威格爾：談AWS的現(xiàn)代化架構(gòu)與機(jī)器學(xué)習(xí)