0
2025年12月12-13日，第八屆GAIR全球人工智能與機器人大會在深圳·博林天瑞喜來登酒店正式啟幕。
作為AI產學研投界的標桿盛會，GAIR自2016年創辦以來，始終堅守“傳承+創新”內核，始終致力于連接技術前沿與產業實踐。
在人工智能逐步成為國家競爭核心變量的當下，算力正以前所未有的速度重塑技術路徑與產業結構。13日舉辦的“AI算力新十年”專場聚焦智能體系的底層核心——算力，從架構演進、生態構建到產業化落地展開系統討論，試圖為未來十年的中國AI產業，厘清關鍵變量與發展方向。
在大會上，清程極智聯合創始人、產品副總裁師天麾，帶來了題為《智能算力的適配、優化和服務》的主題演講。
在國產算力從“能用”走向“好用”的關鍵階段，AI Infra正從幕后走到臺前。
師天麾給出的判斷頗為直接：國產算力利用率的瓶頸，更多在于軟件生態與系統級優化能力。
無論是圍繞國產芯片的全棧推理引擎自研、通過純軟件方式提前跑通FP4等低精度路線，還是在MaaS（模型即服務）市場中用評測、路由與統一接口“消除信息差”，師天麾試圖回答的，都是同一個問題——
在芯片多元、成本高企的現實約束下，AI Infra如何真正跑通性能、成本與商業化的閉環？
演講之外，他也在與雷峰網(公眾號：雷峰網)的對談中，進一步拆解了自己為何選擇從學術界直接創業，以及第三方AI Infra公司在芯片廠商與云廠商之間，究竟能站在哪個位置上。（作者長期關注半導體、算力上下游等方向，歡迎添加微信 Ericazhao23 交流。）
雷峰網：您之前曾拿過大廠的offer但還是想直接出來創業，做出這步決策的邏輯是什么？
師天麾：我讀博期間發論文還比較順利，但一直在思考一個問題：做這東西到底有什么用？直到后來螞蟻研究院和我們合作，把我論文的技術用到金融風控場景里，實實在在提升了不少性能，我就感覺很有成就感。
所以我想把研究成果真正落地，看看自己到底能創造什么價值，就在畢業后來到工業界。
但為什么不去大廠？我和其他博士同學聊過，感覺進大廠后就變成了螺絲釘，我能預想到我面對的應該是很純粹的技術身份，沒法去lead產品的事情。雖然我也想過去大廠里鍛煉兩三年再出來，但當時已經明顯感覺到，AI已經到了必須降本增效的關鍵節點，所以我和組里的老師和師兄弟商量后，感覺機會不錯，就直接出來創業了。
雷峰網：創業的這個方向讓你有passion的是什么部分？
師天麾：我2015年上大學，當時比較火的還是上一代Deep learning，CV（計算機視覺）和NLP（自然語言處理），大一暑假去了家自動駕駛公司，實習CV類算法，但感覺不是我的興趣所在。
在學校學習下來，我感覺計算機系統類的課，比如計算機組成原理、體系結構、并行計算、高性能計算等，這些通過理解硬件、理解上層應用來把中間軟件的性能寫得很高的事情，帶給我的成就感很大。
雷峰網：什么時候感覺到大家開始重視AI Infra？
師天麾：一個很重要的節點是DeepSeek的出現，當時很多外國人驚呼DeepSeek用這么少的卡、這么少的錢就訓練出這么大一個模型，但這靠的一是模型架構上的設計，二是Infra軟件技術。后來DeepSeek還搞了“開源周”，開源了很多infra加速軟件，讓大家更意識到infra的重要性。
一個明顯變化是，去年我們還要給投資人解釋AI Infra是什么，但今年投資人會主動來找我們投資。
雷峰網：但國內市場普遍一直以來沒有特別重視軟件，這種情況現在會有改善嗎？作為第三方獨立的Infra廠商，會不會擔心未來芯片公司自己做這一層、取代了你們在做的事？
師天麾：其實市場一直以來重視硬件的慣性還是在的。芯片廠商也需要一個推理引擎適配自己的芯片來提供給客戶，所以他們自己也會做軟件。不過我們和芯片公司各有所長，我們在軟件優化方面有更多積累，所以芯片公司也會來找我們合作，我們從各自擅長的角度來做軟硬件聯合優化。
其實并不能沒有第三方公司來做這件事，比如大一點的國央企，會買多家廠商的芯片， 那么要用誰的軟件？而且大家做的都是調用DeepSeek大模型這件事，不同芯片跑各自的軟件，之后的管理和優化都會非常費勁。
雷峰網：但現在市場上這么多家AI infra，大家在商業化上難度如何？
師天麾：私有化部署的利潤還可以，但MaaS上，前兩年Infra怎么幫用戶提升性能、怎么掙錢， 這個通路沒有跑很順，所以商業化會比較難。但現在非常順暢，因為MaaS的性能每通過推理引擎提升一點、就能多掙點錢，用我們的推理引擎能掙更多錢，那自然就愿意花錢。
雷峰網：所以MaaS產品未來發展的趨勢會是什么樣的？
師天麾：今年MaaS市場增長很快，但MaaS這個形式非常講究優化技術，比如現在的PD分離或大EP并行，對機器規模有一定要求，不是一兩臺機器就能做。
我非常看好這個模式，這個市場非常標準，而且AIGC的創作者或者AI應用的開發者能非常低門檻低成本用起來。所以未來MaaS就變成一個卷性能和卷價格的機會，這是很好的機會和云廠商合作。而且要把MaaS價格打下來就需要大規模優化，清程極智又很擅長大規模的優化。
MaaS的盈利很看技術。因為省去了中間環節，利潤損耗比較少，技術就更重要了。
雷峰網：看到你們的軟件已經能幫助實現全平臺FP4精度，做這個適配花了多久？
師天麾：適配到全平臺FP4精度，其實在今年還做了蠻久的，因為FP4比較涉及芯片底層偏指令的領域，要每家單獨適配，而且要有合適的人才。
以下是師天麾演講的精彩內容，雷峰網作了不改變原意的整理與編輯：
謝謝主持人，各位專家、各位嘉賓，大家下午好！今天我演講的題目是《智能算力的適配、優化與服務》。
首先簡單介紹下清程極智，我們是一家初創企業、是清華系的AI Infra公司。清程極智成立于2023年底，目前我們的技術棧，主要是整個AI軟件棧，從底層編譯器一直到上層的并行計算，我們在這方面有比較多積累，幫助客戶優化他們場景里的訓練、推理、微調，做端到端的性能優化，給客戶降本增效。目前，我們已經完成了三輪融資，股東包括產業方，比如剛剛演講的并行科技，還有很多北京市和上海市的國資。
首先介紹下我們今年主推的產品——赤兔推理引擎。
大家經常說，國產算力的利用率偏低，為什么？暫且不說國產算力的性能或性價比高低，現在最主要的問題是客戶用不起來，而問題的根源，就是配套軟件不好用。
我經常跟客戶強調：你采購的是硬件，但真正用的是軟件，可軟件是看不見、摸不著的存在，也很難讓管理層明白價值。用戶在使用中遇到問題，大家就歸結為“硬件不行”，卻忽略了軟件棧不完善這個核心癥結。我們正在做的，就是補齊軟件生態這塊短板。
目前大家使用較多的軟件是國外的開源推理引擎，但它們對國產芯片的支持力度有限，我們如何才能讓國產推理芯片用得更簡單、更高效？
答案的第一步，就是必須要有專屬的推理引擎——它的作用，就好比手機和電腦里的操作系統，是連接AI應用與底層芯片的核心橋梁。那么這個關鍵問題該如何破解？
當前行業的現狀是，各家芯片廠商都在自行適配推理引擎：先做vLLM的適配版，再做SGLang的適配版，最后可能還要研發自研推理引擎。但實際情況是，即便不同廠商都聲稱適配了 vLLM 或 SGLang，彼此的適配版本、支持功能和接口卻并非完全一致。也就是說，看似同名的適配方案，并不是一套通用軟件就能兼容所有顯卡。
這給用戶帶來了很大挑戰：不少國央企客戶會采購多家廠商的芯片，結果就需要不同軟件分別對接不同顯卡，后續的開發維護難度就很大。而我們自研的赤兔推理引擎，既能很好地適配海外顯卡，更能兼容國產芯片——像華為、沐曦、海光、燧原等主流產品都能無縫對接，極大降低了客戶的使用門檻。
不過，適配眾多芯片的過程中，會遇到一個系統領域比較經典的“M×N”的問題：底層有N款不同的芯片，上層有M個不同的大模型，如果要在N款芯片上把M個模型性能都跑出極致，就要完成M×N次的組合優化，工作量非常大。而AI Infra領域的門檻又很高，沒有那么多人才來完成這么多大工作量的適配和優化。如何破局？就要站在巨人的肩膀上。
過去數年，PyTorch在開源生態的建設上成效顯著。目前，一方面，顯卡廠商會默認適配PyTorch的算子集；另一方面，絕大多數上層大模型本身就是基于PyTorch框架開發的。只要把這兩層的適配工作做好，就能讓大模型順暢地跑起來。但 “能跑” 只是起點，要實現極致性價比，還需要在推理引擎上做深度優化——我們的赤兔推理引擎，正是構建在PyTorch算子集之上的高性能方案。
也經常有人問，為什么不直接用vLLM或SGLang，或者稍微改一改？
基于現有方案雖也算是一條技術路徑，但可優化的空間有限。這類系統的架構分為多層：底層有算子層，上層還疊加了各類優化方案。如果僅對底層算子層做優化且保持底層接口不變，系統仍能與開源生態兼容；可一旦改動上層優化邏輯，而開源社區同步更新了對應模塊，兩者可能再難兼容。
面對這種沖突，那么要么放棄自研的上層優化策略，要么徹底脫離開源社區的技術迭代路線。而且，從vLLM、SGLang這類主流框架分叉出獨立的技術分支，后續的維護和迭代也會極為龐雜，技術包袱會越來越重。這正是我們選擇全棧自研的核心原因。
與此同時，當前算力成本很高，要實現極致的性價比，必須打通底層硬件、算子層、推理引擎、上層算法與應用的全鏈路，通過端到端的系統級聯合優化，才能達成最優效果。我們提出的跨多層聯合優化方案，但只有基于自研推理引擎才能更高效地落地，它更靈活，能支撐全鏈路協同優化。
接下來給大家介紹赤兔推理引擎的最新進展。我們昨天剛剛發布了0.5版本，這個版本帶來了多項核心特性，算力超節點上提供開箱即用的大規模推理部署能力，包括超大規模專家并行、PD分離、AF分離等關鍵能力。值得關注的是，針對前段時間備受行業關注的華為384超節點方案，我們已完成深度適配與性能優化，并同步在昨天正式發布相關支持能力。
赤兔推理引擎擁有一項核心技術特色。今年 DeepSeek 模型的爆火，讓大家注意到它的原生數據格式是 FP8，但目前大部分國產顯卡并不支持FP8格式，僅能兼容int8或FP16。這就給客戶帶來了兩難選擇：如果用FP16運行，會導致顯存占用翻倍，需要投入雙倍的機器成本，性價比極低；如果改用int8，整數格式又會犧牲浮點數的精度，影響模型效果。而從行業趨勢來看，大模型正朝著低位寬浮點數的方向演進，國內目前不僅缺乏對FP8的完善支持，FP4的適配更是遙遙無期。
我們的解決方案是通過純軟件技術突破硬件限制——即便底層硬件不支持，我們也能讓FP4和FP8格式順暢運行，把未來幾年才可能普及的特性提前落地，并且已在多款國產顯卡上完成適配。具體來說，我們通過底層指令轉化技術實現這一突破：在靠近指令集內層的底層接口做適配，計算時為保證精度轉成FP16處理，存儲時則采用FP8格式，既兼顧了效果又控制了顯存占用。FP4的適配邏輯與此一致，目前已支持英偉達、昇騰、海光、沐曦等多款硬件平臺。我們在DeepSeek-R1上的測試也印證了技術方向的正確性：不同精度格式的效果排序為FP8>FP4>INT8>INT4，這充分說明FP4這類低位寬浮點數格式確實是大模型發展的主流趨勢。
解決了國產算力“能用”和“用好”的問題，更要思考如何實現商業價值。為此我們推出了另一款產品 ——AI Ping，這是一個一站式大模型服務評測與API調用平臺。剛才有領導提到了MaaS（模型即服務），而AI Ping正是對MaaS模式的落地實踐：
它的成本和使用門檻極低，單次API調用費用甚至不到一分錢，不會編程也能輕松上手；同時實現了快速迭代、開箱即用，用戶完全不用關心服務部署在國產顯卡還是英偉達顯卡上，更無需了解底層技術實現細節。而且依托背后的大規模集群與資源池，它的擴展性和并發支持能力極強，應用開發者只需聚焦自身業務與AI功能開發，無需分心底層運維。
今年國務院發布的《關于深入實施 “人工智能 +” 行動的意見》中，特別強調了要打造MaaS生態；IDC去年曾預測今年市場增長率會達到100%，當時我就覺得這個預測偏保守，果然前不久最新數據顯示，今年上半年中國MaaS市場增長率已經超過400%，不少頭部云廠商甚至提前完成了年度目標。
中國其實具備發展MaaS產業的很好土壤。從供給側看，我們擁有全球最繁榮的開源模型生態，只要有服務器就能部署熱門模型，同時AI算力近年來爆發式增長，各類智算中心提供了充足的基礎設施支撐；從需求側講，MaaS的低成本、低門檻優勢，讓企業開發者能快速看到落地效果，個人開發者則無需承擔高昂的服務器租賃成本，科研人員和普通消費者也能輕松享受到AI服務。現在很多To C端的聊天、翻譯軟件，本身集成了AI功能卻沒有底層服務能力，用戶只需在MaaS平臺注冊賬號，把API接入這些應用，就能直接使用賬號余額消費，這種模式已經被大量To C應用采用。
但不可否認的是，MaaS產業還處于起步階段。結合我們的實踐觀察，當前中國MaaS行業的痛點主要有什么？
首先，在供給側，現在有很多指標來判斷服務的優劣，在延遲、吞吐、可靠性、輸入/輸出價格、上下文長度、最大可輸出長度等這些指標上，大家各具特色。以幾家最知名的互聯網云廠商和電信運營商舉例，在相同模型以及價格相同的情況下，模型效果和價格一樣，性能（吞吐、延遲）卻可以差5倍。無論對企業還是個人來說，都不可能挨個試所有供應商的服務，這中間是存在信息差的。
需求側，大家的需求也不一樣，企業可能想要延遲低一點，用戶體驗好；個人可能希望價格便宜一點，性能差不多就可以；對科研人員來說，有經費，但希望模型非常豐富，更快用到最新的模型；普通消費者則更關注體驗、功能、成本等方面。
供給側和需求側都各異，那用戶應該找誰家來用？如何對齊供需？對此，我們推出了AI Ping，測試市面上能見到、接入的所有MaaS廠商。
首先，我們的評測完全站在用戶視角展開，采用匿名端到端測試模式。市面上有些測試聚焦于集群規模，但對個人用戶而言，他們對MaaS廠商宣稱的龐大集群、服務器數量和并發能力并不感冒——畢竟這些資源并非為單個用戶獨享。我們更關注的是，個體客戶能從平臺切實獲取到怎樣的性能，真正以真實客戶的需求為核心開展評測。
其次，我們的評測覆蓋范圍極廣，目前已接入29家MaaS廠商，整合了400余項MaaS服務，力求實現應接盡接。第三，我們執行7×24小時不間斷評測，持續監控各模型的性能、吞吐、可靠性等核心指標；信息聚合的維度也十分全面，除了性能指標外，價格、上下文長度、最大可輸出長度等開發者重點關注的參數，我們也都在AI Ping進行了匯總。
AI Ping的評測方法也非常可靠，我們與清華大學進行了合作，依托翟季冬教授團隊多年來評測中國超算中心的豐富經驗，由其提供一套成熟可靠的評測方法論，我們負責完成工程化落地和技術支持。
關于評測數據的準確性，我們也做了交叉驗證：選取部分自帶后臺性能監控的云廠商，將我們的評測結果與其監控數據比對，顯示吞吐指標的平均誤差在 0.2% 以內，精準度極高。P90 首次延遲穩定在 0.8 秒以內，處于合理區間。需要說明的是，我們統計的是端到端延遲，而云廠商的監控數據不包含網絡傳輸時間，綜合來看，我們的性能測試結果具備高度準確性與可信度。
我們還會在官網首頁每天更新模型的排名。如果部分客戶有特殊要求，比如希望首次延遲在5秒以內、輸出吞吐在40TPS以上，那就可以直接使用我們的篩選和排序功能，快速找到符合要求的供應商。
積累了大量評測數據后，我們還思考如何為用戶提供更深入、更優質的服務。或許你看過評測后，會選定某一家供應商，但單獨選擇一家供應商其實存在不少問題。
首先，是性價比難以穩定。供應商的性能會出現波動，但價格通常不會輕易變動，除非遇到用戶活動才會調整，這就導致性價比始終處于波動狀態，單家供應商很難一直保持最高性價比。
其次，服務穩定性缺乏保障。比如今年年初大家使用DeepSeek模型時，就經常遇到服務拒絕請求的情況，根源在于用戶量過大，后臺支撐不足；除此之外，服務器繁忙、網絡抖動、系統宕機甚至服務突然下架等問題，都會嚴重影響用戶使用。
同時，更換供應商的過程也十分繁瑣。每換一家供應商，都需要重新注冊、認證、充值；即便是同一個模型，在不同供應商平臺的接口、支持的參數以及返回的錯誤碼都各不相同。例如同樣是并發上限、服務繁忙、參數錯誤這類問題，不同供應商返回的錯誤碼卻不一樣，用戶不得不重新對接API、修改錯誤處理代碼。這類工程問題非常棘手，是程序員們普遍反感的麻煩事。
因此，在評測和數據展示功能之外，我們額外開發了供應商路由功能。我們會提供統一的接口，比如你要使用DeepSeek模型，只需接入我們這一個接口，就能直接調用背后20多家供應商的資源，大幅節省適配成本。無論是開源模型還是閉源模型，我們都會全面接入用戶基本能找到所有需要的模型；如果有模型尚未上架，用戶隨時提出需求，我們會第一時間完成上架。
這個功能還具備高可用性：當某一家供應商出現繁忙、宕機或服務報錯時，系統會自動將請求切換至其他供應商。同時，我們會提供高性價比推薦服務，用戶可以根據自身需求選擇“成本優先”或“性能優先”，系統會篩選出符合條件的供應商。而且所有數據完全透明，性能表現、Token消耗以及產生的費用，都會在后臺實時反饋。根據過往數據，這個功能最多能幫助用戶降低50%的成本，同時延遲和吞吐指標也有明顯優化。
今年清華大學聯合中國軟件評測中心發布“2025大模型服務性能排行榜”，將我們在市面上找到的20多家供應商的熱門模型服務全部比了一遍，由第三方機構發榜，我們提供工程實現、數據評測與展示平臺。
歡迎大家關注我們的公眾號或加入用戶交流群，也可以看看我們的官網。每次新模型發布，我們的公眾號上會在最快時間發布新模型的解讀，以及有哪些供應商上架、性能情況，我們都會發布排行榜，幫助用戶進行選型。
謝謝大家，也謝謝大家關注清程極智。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
