2
你知道向左是燈紅酒綠，向右是滄海青山，卻無法知道向哪里走會最終給你更好的未來。
你知道應該單膝下跪向心愛的人求婚，卻不知道今后的每一個日夜要如何相處，才能和她最終廝守一生。
每一條岔路都通向更多的岔路，每一個選擇都帶來更多的選擇。我們站在原地，憑著自己知道的“很多道理”，妄圖“過好這一生”，恐怕會惹上帝發笑。
這就是我們每個人面對的困境，我們精密的大腦可以在簡單的邏輯里做出最有利于自己的判斷，但在無數疊加的抉擇面前，卻無力地像隨風浪跡的沙塵。
因為這世界上的選擇和它們通向的答案，比宇宙的星辰還要多。
我給你成千上萬形狀不一的小石塊，讓你填滿身上的背包。請你告訴我，你如何才能知道哪些石塊的組合才能讓背包裝得最滿？
唐洪，阿里云飛天系統的首席架構師，用這個看似輕描淡寫問題描繪了阿里云的終極意義。
【阿里云飛天系統的首席架構師 唐洪】
理論上來說，窮舉所有石塊的組合，就可以得到答案。但事實是，按照圖靈機的計算模型，計算的復雜度和可供選擇的石頭數目成指數關系。每增加一個石塊，計算量就翻一倍。
僅僅為了這一個答案，所需的計算能力就超出了人類所有計算機的總和。在哲學上，這恰如我們一次次的人生抉擇：除非你嘗試每一種可能，否則無法知道正確答案，而上帝不會給你嘗試每一種可能的機會。
這個事實讓人敬畏上蒼。
然而，在唐洪眼中，“飛天”——阿里云的核心操作系統，正是為了這些“終極答案”而來。
在那部經典的科幻電影《2001漫游太空》中，一個遠古猿人把骨頭奮力拋向藍天，立刻幻化成穿梭在太空中的宇宙飛船。
這一幕被譽為科幻電影的經典鏡頭，讓無數人熱淚盈眶。然而仔細想來，把一個宇宙飛船射向太空，原理不就等同于把一個碩大的骨頭扔向更高的天空嗎？
一個原始人都會做的動作，當它的體量無限擴大以后，就變成了需要千萬年后的高科技才能實現的壯舉。
飛天所做的工作，說到“原子”層面，就是排序、數數。拿淘寶舉例，就是分析商品賣了幾個，分別是什么時候賣的。而一旦這樣的工作一旦變成大規模，各個數據之間都有關聯，就很難在短時間內得出正確答案。
把億萬賣家和買家的信息進行計算，得到的并不是簡單的商品庫存和銷售情況。
通過數據分析，可以讓用戶用最快的速度搜索到自己想要的商品。
通過數據關聯，可以判斷用戶的性別愛好，從而根據場景做出精準的商品推薦。
通過數據整合，可以判斷出一個人是否有信用污點，從而在金融產品中決定給申請者的貸款額度，控制壞賬率。
這些我們在淘寶、天貓、螞蟻金服中享受的功能，就是“大規模計算”得到的奇跡?！?+1”的小兒科，不經意間變成了我們敬畏的“大數據”。
而把這些“大數據”繼續進行調度，就能產生“上帝之手”的功效。
大規模的任務調度是非常復雜的，例如滴滴打車的出租車規劃、機場的飛機調度，甚至是沃爾瑪的庫存管理，都不是靠人腦可以勝任的。因為每個場景都幾乎有無限種可能和選擇。
唐洪說。
至此，我們遇到了之前的“背包裝石頭”問題。
大家熟知的非對稱安全加密技術，今天熱門的區塊鏈技術，都是基于計算極限問題 (intractability)的假設。飛天當然也不可能突破計算極限。所以我們只能給出近似解，而不是理論上的最優解。
最優解只有一個，而近似解有無窮多。怎樣在浩如煙海的解中找到最合適的近似解，就是飛天的“刀鋒”所在。
“從飛天誕生開始，我們一直在做的就是這件事?！彼f。
由于不同行業的業務和數據有自己的特點，這就使得“飛天”計算集群可以把好鋼用在刀刃上。利用模型和算法刪除掉一些不可能的“子集”，這樣就可以使得最終的求解范圍在一定程度內縮小。但即使這樣，所需的運算仍然超越想象。這時就需要另一套規則和模型根據“價值判斷”做出取舍。
這就像你身處一個碩大的房間迷宮中，每個房間都有很多門，而打開一扇門之后，又會進入一個新的房間，這個新的房間同樣有很多門。為了找到最終的出口，你需要先排除掉那些肯定不會通往出口的門，然后在這些可能的出口中，挑選可能性最大的那扇門。
由于沒有完美的正確答案，所以這些模型和判斷的優化，永無止境。這在某種程度上類似于“進化”。
然而，大規模計算所面臨的問題，遠遠不止如上這一個，唐洪為雷鋒網列舉了另外一個重要的問題，那就是自動化的難度。
超越人腦的極限的計算，必須用自動化的程序來完成。但是數據體量變大之后，平?？磥磉呥吔墙堑膯栴}就成為一個嚴重的情況，那就是如何保證自動化的正常運作。計算錯誤、指令未傳達、系統卡死等等小概率的事件，都會因為數據和計算集群的龐大而變得幾乎成為必然。
這個時候，就需要對于計算的每一個微小的步驟實現感知和監控，發現錯誤。但是，對于云計算每個路徑的各個步驟實現監控，絕非易事。
對于計算的跟蹤，需要對每一步進行“染色”，就是做一個標記以便系統進行關聯。這就需要在處理過程中嵌入染色信息。但是系統運行的每一個步驟都各不相同，需要根據具體的情況來找到最好的嵌入點。更難辦的是，有些步驟根本沒有辦法嵌入信息。這個時候，就要根據計算周邊的信息來做推斷。
例如某個進程打開了文件，操作系統中會用一個描述符來表示這個文件，通過對描述符的關聯，就可以把在操作系統內核中發生的事件和用戶進程關聯起來了。
所有的跟蹤都是具體問題具體解決，可想而知付出的艱辛有多大。
他說。
以上這些“坑”，都是唐洪和飛天用了七年時間，一點一點趟出來的。然而，所有的這些微小進化的累積，都是建立在飛天的“算力”基礎之上的。
唐洪說，飛天系統就像一個巨大的計算機，只不過是由全球各地的數據中心，幾十萬臺服務器，通過專線聯系，組成的超大計算集群。
看到這里，你可能會恍然大悟，調度全球的幾十萬臺服務器，本身就是一個“背包裝石頭”的巨大挑戰。
唐洪給雷鋒網講述了飛天誕生的故事。
彼時的阿里巴巴，某種程度上說站在了危險的懸崖邊上，而還在嬰兒期的飛天，做了一個美麗的夢，名叫“5K”。
王堅，永遠帶著一副笑容，身影高瘦看似弱不禁風。不過，就是這個人，頂住了所有的質疑和壓力，成為眾人心中守護阿里云從一顆嫩芽長成參天大樹的英雄。
包括唐洪在內的所有人，都把王堅稱為“博士”。當年，正是博士的一通越洋電話，把唐洪從美國“忽悠”了回來。
2012年的飛天還在研發的早期階段，只能支持最大 1500 臺機器的集群，也時常因為一些bug遭受客戶的吐槽。當時，阿里巴巴的很多數據處理的任務，還是建立在開源軟件 Hadoop 的系統之上的，這個集群大概有 3000-4000 臺機器。
【阿里巴巴集團技術委員會主席王堅】
但是，Hadoop 無論從安全性還是運行邏輯上，都不是為公共云計算設計的。
Hadoop 的存儲和計算是一體的，也就是說，如果你需要十臺機器的存儲，但不需要十臺機器的計算能力，你仍然需要十臺機器的集群，這是一種浪費。雖然可以通過其他方法解決這樣的問題，但是運行效率會大大降低。
Hadoop 的賬號體系，不是面向互聯網租戶的賬號體系，更多的是面對本地管理員。這就決定了它不能像如今的阿里云一樣出售給互聯網級別的用戶。
另外，Hadoop 高度的靈活性，允許應用層的用戶直接訪問底層的文件，這存在巨大的安全隱患，也不可能直接以多租戶共享的形式跑在公有云上。
唐洪告訴雷鋒網，以上的一切弊端，都很難通過修修補補的方式，在 Hadoop 上規避。而更關鍵的問題在于，阿里巴巴那時業務的增長速度，已經趨近 Hadoop 集群的計算能力極限。一旦達到瓶頸，就必須被迫降低業務水平，或者主動限制業務規模。
在此之前，阿里巴巴曾經進行過嘗試，用飛天來代替 Hadoop，但都以失敗而告終。彼時的阿里巴巴 CTO 王堅對所有阿里的童鞋說，這個任務還是應該讓飛天來承擔，因為在他心里有一個計劃，那就是把飛天做成 5000 臺服務器的集群。這個當時讓很多同事取笑的瘋狂想法，就是“5K”。
從1500到5000，絕不僅僅是再買3500臺機器這么簡單。唐洪說：
摩爾定律注定了計算機硬件性能隨時間的指數增長 。從1500臺老機器到5000臺新機器，計算力增加了8倍到10倍。在短短不到半年時間內實現如此大跨度的軟件能力的升級，對任何一個熟諳軟件工程規律的人來說，都是不可能的挑戰。
但是，飛天真的做到了。世界上買得起五千臺服務器的公司不少，但是真得有自己研發的技術調度這么大規模集群的，一只手都數得過來。
為什么阿里云一定要建設 5000 臺機器的集群呢？
唐洪告訴雷鋒網，對于阿里巴巴來說，很多計算任務是沒有辦法拆解的，必須在一個計算集群里完成。如此大量彼此聯系的數據，就需要這么多機器處在一個集群中協同分析。
就在2012年底的總裁會上，還有人提出要重新依靠 Hadoop。但最終總裁們決定兩條路一起走，既要 Hadoop 也要飛天。但是在我看來，這種決策讓技術力量分流了。其實，當時我根據團隊內部的模擬實驗結果，心里很清楚達到 5K已經不是架構設計的問題，而是一個產品細節打磨的過程了 。但其他部門的同事可能并不這么認為。這樣兩條路一起走就大大分流了技術力量，所以5K能夠早一天做出來，就能早一天終結爭論。
他說。
2013年8月15日，是唐洪脫口而出的日期。這一天，事實宣判了王堅、唐洪和飛天的判斷是對的 。5K 集群上線，并且是同時上線了兩個 5K集群。
在阿里巴巴云棲小鎮里，樹立著一尊 5K 的雕像。這尊雕像比想象中要小，卻絲毫不能阻擋它向周圍散發著理想的質感，很多路過的人都會駐足觀看。
【坐落在阿里云棲小鎮的飛天 5K 雕像】
唐洪告訴雷鋒網，后來的事實證明，Hadoop 集群在超越4000臺機器集群之后，會遇到不可逾越的瓶頸。如果當時阿里巴巴選擇依賴 Hadoop 系統，如此高的業務增長，將會遇到計算性能的“斷崖”，后果難以設想。
就像當年的波音的747飛機、Intel的x86芯片、SpaceX 的火箭一樣，所有的偉大創造，都來自于孤注一擲。
唐洪如此感慨。
我記得2012年或者2013年我們進行校招的時候，清華北大的學生來面試的非常少，而且很多同學即使拿到了我們的Offer，他們的第一選擇也會是百度和騰訊。
唐洪把這個悲傷的事實當作一個段子講給雷鋒網。在今年的阿里星面試上，唐洪問同學問為什么選擇來阿里云，得到的回答是“阿里云的云計算技術領先”。
他簡單地形容了一下現在的飛天：
單集群萬臺，全球總共幾十萬臺服務器，每天數據平臺處理的數據超過 1PB。
不過他覺得，這些都不能說明飛天的強大，真正有說服力的，是阿里巴巴在“吃自己的狗糧”，也就是包括淘寶天貓在內的部分重要業務，包括瞬時并發計算量驚人的“雙十一”，都由飛天來負責云計算調度。也就是說，阿里巴巴自己也在使用給其他客戶提供的相同的云服務，沒有任何特權和區別。
“我相信國內某些競爭者們自己的服務肯定沒有跑在自家提供的云上。”他說。
讓阿里云引以為傲的一個數據是：在中國 37% 的網站都建立在阿里云之上。
我們的預計是，未來全世界可能只有幾臺“計算機”，他們都是由超大規模計算集群組成的。這個時候，計算力就會被徹底地解放。
如果唐洪的預想成真，那時有關“背包裝石子”的計算，將會得出比現在更接近真相的解。也許我們永遠找不到正確的答案，但是毋庸置疑，機器每每向正確答案逼近一小步，都是人的光榮。
每年，阿里云都會在大本營杭州舉行云棲大會，公布阿里云和飛天的最新進展。在今年的大會上，馬云發表了熱情洋溢的演講。
原來的機器制造將會變成人工智能，原來機器吃的是電，未來機器吃的是數據。
馬云如是說。
可見，機器學習和人工智能，正是飛天下一步棋。
對于人來說，岔路后面的岔路，選擇背后的選擇，讓我們感覺到渺小和恐懼。為了對抗命運的無常，我們發明了云計算，我們發明了人工智能。無論對于唐洪還是飛天來說，這些無數運轉的芯片，無數網絡中川流不息的電流，都只有一個目的：
向世界要一個答案。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
