0
| 本文作者： 包永剛 | 2019-03-18 13:14 |
近幾年再次興起的AI熱潮，不僅引發了芯片巨頭們的AI芯片戰，更讓科技巨頭們紛紛開始了AI芯片的研發。在AI芯片的爭奪中，算力首先成為了焦點。不過，算力提升之后，算力與內存的不匹配又成為了阻礙AI向前發展的關鍵。此時，一家成立于2017年的初創公司提出的存儲優先架構（SFA）表示很好地解決了內存墻的問題，事實是否如此？
【 圖片來源：supernovainvest 】
AI芯片的真正問題是內存墻
算力、算法、數據被認為是AI向前發展的三個關鍵因素，更高的算力自然必不可少，這也直接驅動了AI芯片公司們推出更高算力的AI芯片。不過，目前對于AI芯片的定義并沒有一個嚴格和公認的標準，一個非常寬泛的看法是，面向人工智能應用的芯片都可以稱為AI芯片。
需要指出，這一輪的AI熱潮很大程度是機器學習尤其是深度學習受到了追捧。由于目前常見的芯片類型CPU、GPU、FPGA、ASIC都可以運行深度學習算法，因此這些芯片都可以稱為AI芯片。
CPU、GPU、FPGA、ASIC的特點【 圖片來源：hackernoon 】
這就意味著，如今AI芯片重要的意義在于滿足機器學習的算法的需求。但即便是經驗豐富的Arm，認識到AI芯片關鍵的問題也走了一些彎路。Arm機器學習部門商業與市場副總裁Dennis Laudick此前接受雷鋒網采訪時就表示：“我們第一次看到機器學習時，首先想到的是從已有的處理器類型中的一種開始，因此我們開始用了GPU的方法，但最終發現機器學習處理器面臨的不是處理問題而是數據問題，最終取消了GPU的方法，創建了一個全新的處理器專注于數據以及機器學習中的數據類型，可以執行并行指令?！?/p>
說的更直白一些，深度學習算法具有高并發、高耦合的特點，不僅有大量的數據參與到整個算法運行的過程中，這些數據之間的耦合性也非常緊密，因此對存儲帶寬提出了非常高的要求，大規模的數據交換，尤其是芯片與外部DDR（Double Data Rate SDRAM，雙倍速率同步動態隨機存儲器，常簡稱為DDR）存儲之間的數據交換，這將大幅增加了功耗。
越來越多的AI芯片的IP提供方和AI芯片的設計公司都意識到，AI芯片的本質不是要解決計算問題，而是要解決數據問題。與數據和存儲相關的帶寬瓶頸、功耗瓶頸問題，被稱為存儲墻問題。
深度學習算法的“三高”特點
內存墻問題的4種常見解決方法
上面提到的芯片都基于傳統馮·諾伊曼體系結構，這個體系結構是數據從處理單元外的存儲器提取，處理完之后在寫回存儲器。因此，用馮諾依曼體系結構的處理器處理深度學習算法時，提供算力相對簡單易行，但當運算部件達到一定的能力，存儲器無法跟上運算部件消耗的數據，再增加運算部件也沒有用，這無疑阻礙了AI芯片的向前發展。
【 圖片來源：nextplatform 】
為了解決內存墻問題，業界目前有4種常見的解決方法。第一種是加大存儲帶寬，采用高帶寬的外部存儲，如HBM2，降低對DDR的訪問。這種方法雖然看似最簡單直接，但問題在于緩存的調度對深度學習的有效性就是一個難點。
第二種方法是直接在芯片里放入大量存儲，采用分布式片上存儲，拋棄DDR，比如集成幾十兆字節到上百兆的SRAM。這種方法看上去也比較簡單直接，但成本高昂也是顯著的劣勢。
第三種方法則是從算法入手，通過設計一些低比特權重的神經網絡，比如二值網絡，簡化數據和需求和管理。顯然，這種方法是以算法精度、應用范疇為代價，難以被大范圍應用。
第四種方法是在存儲單元內部設計計算單元的新型存儲器，進行存算一體化（In Memory Computing)，這也是目前業內一個比較受關注的方向，具備低成本和低功耗的特點。不過這種方法的可行性以及是否能最終被業界廣泛應用仍是未知，因此對于這種方法我們將繼續保持關注。
顯然，目前常見的解決AI芯片內存墻的方法都還未成功解決這一問題，其中很重要的原因在于，絕大部分的AI芯片，可以認為其為基于類CPU架構，專注于計算整合，通過提升并行度的方法進行龐大計算力的結構調整，對存儲資源的使用和調度，依然依賴于編譯器或傳統的緩存管理算法，無法解決內存墻問題。
SFA架構如何突破內存墻瓶頸？
想要真正解決內存墻問題，舍棄馮諾依曼架構無疑是更好的方式，但難度也可想而知。不過，成立于2017年的北京探境科技在成立之初就重新思考了存儲和計算的關系，以存儲驅動計算，設計了與類CPU架構完全不同的計算架構——存儲構SFA（Storage First Architecture）。
探境科技CEO魯勇
2017年業界對AI芯片的關注點更多是算力的提升，意識到要解決內存墻問題的公司還不多，為什么探境科技能更早看到內存對AI芯片的重要性并研發出存儲優先架構？探境科技CEO魯勇接受雷鋒網專訪時表示：“主要有兩方面的原因，一方面是我們的芯片設計團隊成員平均擁有15年以上芯片行業設計經驗，有足夠的芯片設計能力，同時，團隊成員還有深挖問題核心本質的思路和能力。所以從能力上和做事的方法上都有這樣的條件，我們就堅定的去解決難題。”
探境科技SFA架構
不同于常見的解決內存瓶頸的方法，SFA是以存儲調度為核心的計算架構，數據在存儲之間的搬移過程之中就完成了計算，計算對于數據來說只是一種演變。
“更具體的說，SFA架構，存儲是我們優先的出發點，去考慮數據在搬移過程中做計算，也就是由數據帶動計算而非由算子帶動數據。與通常計算的先有計算指令然后提供數據相反，SFA架構是先有數據，然后再把算子交給它。”魯勇進一步解釋。
當然，完全舍棄馮諾依曼架構，實現全新的架構方式SFA架構面臨不少挑戰。魯勇表示這其中涉及很多硬件的核心點、數據管理、算子節點如何靈活的連接起來都是非常難的問題。不過，他也透露稱，SFA架構以圖計算為基礎，設計了非常精巧且有針對性的架構解決這些難題。這一點與AI大神Lecun所宣稱的所有的神經網絡都是圖計算問題不謀而合。
難題突破之后，SFA架構具備了哪些優勢？魯勇介紹，首先就是芯片的PPA取得了巨大的突破，實驗數據表明，比較類CPU架構采用的基于總線和指令集的映射方法，在同等條件下，數據訪問可降低10~100倍。28nm工藝條件下，系統能效比達到4T OPS/W，計算資源利用率超過80%，DDR帶寬占用率降低5倍。
其次，SFA架構可以支持任意神經網絡。也就是說，SFA架構可以支持不同大小的網絡模型、不同的數據類型，包括定點型和浮點型，甚至一個神經網絡里不同層使用不同的精度也可以支持。我們的AI芯片可以稱得上通用型AI芯片，只要在神經網絡深度學習框架下，GPU能支持的我們都能支持。
還有，SFA架構非常靈活，基于它既可以推出本地或云端的推理芯片，也可以用于云端訓練的芯片，終端的推理加訓練芯片也能用，完全取決于最終產品的定位。
除了內存方面的突破，在算力提升方面SFA架構也有相應的優化。SFA架構的AI芯片不僅可以滿足多精度計算，還能做到自適應的稀疏化處理，不需要在離線階段做剪枝或者壓縮處理。
據悉，探境的計算架構也采用了比較獨特的無MAC設計方式。
落地優勢如何？
既然SFA架構具有多個優勢，那么在探境科技看好的安防監控、工業制造、自動駕駛和語音人機交互市場，落地優勢依舊明顯嗎？魯勇指出，這幾個領域看上去好像差別挺大，但對我們而言背后有一個貫穿一致的邏輯。也就是核心都是SFA架構，根據不同的市場應用，套上不同的框架，最終變成不同的產品形態。
他強調，不同市場的差別并沒有想象那么大。算法層面，現在的語音和圖像算法已經開始融合，都是基于深度學習的卷積神經網絡（CNN），并不是原來想的那么涇渭分明。芯片角度，核心都是SFA架構，根據產品的定義不同，外面的接口也相對不同，這并不困難。
去年5月探境宣布完成數千萬美元融資時，就已經制訂了三年的產品規劃，會以行業劃分的形式，有節奏的推出產品及整體解決方案。雷鋒網了解到，目前探境已經推出了包括語音喚醒、命令詞識別、語音理解、通用型降噪的AI語音芯片。值得一提的是，這幾款芯片都可以在不聯網的情況下實現功能，這是算力和功耗優勢的一個體現。
至于為何率先推出AI語音芯片，魯勇認為物聯網時代，語音成為了一種新的交互方式，也是一個入門的交互方式，這個入口非常重要。
看好AI語音市場的不止探境科技，傳統的芯片公司杭州國芯、瑞芯微等，以及擅長語音算法的思必馳、出門問問等都推出了AI語音芯片。那么，探境在市場上的競爭力如何？
魯勇表示，算法公司對芯片的理解程度非常有限，我認為AI時代的競爭力已經單純看PPA轉移到了軟硬結合的能力，只有非常深度的軟硬結合才能具備非常核心的競爭力。在實際的落地過程中，SFA架構對客戶非常友好。因為SFA架構不僅不需我們在工具鏈上不用投入過多的精力，在客戶實際使用的時，我們會提供一個非常好用的工具鏈，通過工具鏈的轉換，可以讓客戶的算法甚至不用重新訓練就可以部署。
而最讓魯勇感到驕傲的是探境AI語音芯片最終體現出的競爭力。他表示，AI芯片的競爭力的直接體現就是成本，探境的AI語音芯片的成本優勢還是基于SFA架構，在同樣的芯片面積下能提供更高的算力，也就是PPA顯著提升。在與客戶接觸之后，我們的芯片獲得了客戶的追捧。
雷鋒網小結
探境科技作為一家成立于2017年的初創公司，能夠在成立之初就看到AI芯片本質的問題是數據難題就領先了不少的AI芯片公司。并且，從探境公布的數據以及給出的信息來看SFA架構確實是突破內存墻的好方法，實現了許多AI芯片公司希望達成的AI通用芯片的愿望，兼具低功耗、低成本的特點。
只是，魯勇并未透露探境量產的AI芯片具體的合作伙伴。另外，探境AI芯片的商用也處于相對早期的階段，能否最終大獲成功攪動AI芯片市場我們需要保持關注。相信具有真正獨特技術和有實際產品的公司會大概率取得成功。
不可否認的是，魯勇此前在芯片巨頭Marvell十年的工作經歷對于其能夠把握AI的發展趨勢以及聚集人才研發出獨特的AI芯片有不小的幫助。還需強調的是，在AI時代，只有軟硬更好的結合，才能最終體現出更大的競爭力。
相關文章：
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
