0
作者｜包永剛
編輯｜林覺民
DeepSeek的火熱，不僅點燃了資本與市場的激情，也讓AI推理的需求在短時間內驟然升溫。需求膨脹的同時，產業內部出現了兩種截然不同的判斷。
“我認為未來AI推理主要在云和端側，邊緣推理的需求會越來越小。”AI芯片公司的銷售晨坤認為，“因為邊緣AI的性能和成本都不占優勢，會是一個過渡狀態。”
另一位資深芯片銷售嘉銘有不一樣的觀點，“端側提升AI性能，功耗和價格難以平衡，并不是一個好選擇。我認為邊緣AI推理的需求會持續增加。”
這種對未來格局的分歧，也折射出AI推理市場的不確定性。端、邊、云的占比至今難有定論，但可以明確，在泛安防這個巨大的端側AI推理市場，即便大模型掀起一場技術革命，格局依舊穩固。占據市場份額的公司依然處于易守難攻的位置。
然而，AI算力需求100TOPS以上的邊緣推理市場，正悄然醞釀著一場變局。無論是待上市的摩爾線程、沐曦、燧原科技、天數智芯、登臨科技，還是已經上市的云天勵飛，或者是發布了新品的江原科技、后摩智能，都試圖搶占AI推理市場的先機。
他們必須直面同一個強大的對手——英偉達4090。
“國產芯片沒有一款能全面超越英偉達4090，但通過極致的性能優化，可以在特定領域實現超越英偉達4090的極致性價比。”嘉銘直言。這些特定領域包括信創、交通、能源、通信、消費等領域。
2025年的AI推理市場，是一場雙重博弈，既是國產芯片對英偉達4090的一次集體圍攻，也是一次攸關未來格局的關鍵卡位戰。
誰能從中切下更大的一塊蛋糕？獲取更多國產AI推理芯片的信息添加作者微信BENSONEIT互通有無。雷峰網(公眾號：雷峰網)
AI推理，邊緣和端側市場誰的空間更大？
無論是ChatGPT還是DeepSeek，當下最受關注的AI應用幾乎都依賴云端AI推理。在可預見的未來，云端依然會在AI發展中扮演核心角色。但云、邊、端三者究竟如何協同，業界存在明顯分歧。
在深入探討之前，有必要先明確：什么是云、邊、端？在CNN（卷積神經網絡）時代，如果按算力劃分，小于8TOPS為端側，小于64TOPS為邊緣，大于64TOPS為云端。
然而，大模型正在重新定義端、邊、云的邊界。在本文中，將使用70B模型進行AI推理，單卡AI算力超過100TOPS@TF32，使用單臺或少量服務器的應用視為邊緣AI市場；小于10B模型的推理場景，則歸入端側市場。
“CNN時代之所以誕生邊緣計算，是因為泛安防場景下，一路攝像頭就需要4兆帶寬。帶寬不夠時，就必須在邊緣增加計算盒子。”晨坤說，“當前的AI推理主要以文本為主，即便未來向多模態發展，也不再需要處理實時視頻流。端側小模型（10B以內）完全可以滿足識別和檢測的需求。如果需要更高性能，直接調用云端AI就夠了。因此，未來邊緣推理的需求會逐漸下降。”
晨坤認為，隨著端側小模型能力不斷提升，邊緣AI在成本和性能上難以形成優勢。生成式AI時代的推理需求，將主要由云端和端側主導。
嘉銘持不同觀點，在端側大幅增加AI算力的必要性并不高，因為功耗與性價比難以兼顧。他認為，邊緣AI推理的需求仍將保持快速增長。
江原科技董事長李瑛則認為，生成式AI時代的AI推理依舊會是云-邊-端協同的格局。
從市場角度出發，云天勵飛副總裁羅憶提出：“目前云端推理市場的絕對規模不大，但其占比正在逐步提升；相比之下，泛安防的邊緣和端側推理雖然體量巨大，但整體份額正在下降。等云端應用逐漸飽和后，端側推理的需求或將迎來新一輪增長。”
眼下，哪種觀點更為準確尚無法定論，但這并不妨礙對邊緣與端側市場格局進行判斷。
傳統端側推理市場易守難攻，新興AI應用還未爆發
在生成式AI席卷市場之前，AI推理最重要的戰場，是泛安防。經歷多年激烈角逐后，這一市場格局已相對穩定：華為、云天勵飛、登臨科技、算能科技、愛芯元智等公司各自握有優勢。
“泛安防的邊緣和端側這個萬億級市場，已經非常卷，增長也很緩慢。”晨坤說。
羅憶也表示：“泛安防屬于典型的存量市場。目前最大的開銷是運維。在各地預算緊張的大背景下，預算首先保證運維開銷，剩余資金才可能投向少量新設備。”
今年，泛安防市場仍有一些大的設備更新的項目。
“設備都有使用年限。原本計劃5年更換的設備，一些地方用了8年，今年終于到了不得不更新的時候。”羅憶說，“不過各地做法不一：有的只是標清換高清，有的直接換成智能相機。從整體來看，智能攝像頭的滲透率依然很低。”
那么，設備更新疊加生成式AI的浪潮，是否會撼動這個龐大的端側AI市場？
羅憶判斷，“即便今年有大額訂單，由于市場格局已經固化，除非新玩家帶來顛覆式創新，否則很難改變現有格局。”
泛安防端側推理市場需求分散，芯片類型繁多，有的擅長視頻編解碼，有的AI能力更強。經過多年市場篩選，目前仍留在市場上的國產AI芯片公司，都已經各自分得屬于自己的蛋糕。
晨坤也強調：“即便生成式AI帶來一些變化，新玩家切入成本極高。”
實際上，在泛安防市場的客戶目前更關注的是如何把有限的資源利用到極致。羅憶對此深有感觸，“能夠用有性價比的方式幫助客戶完成智能化升級，做更多精細化的工作，才能留住泛安防客戶。”
除了泛安防這個AI推理的大市場，生成式AI正在催生大量新應用——AI玩具、AI眼鏡、AI戒指，以及基于小模型的各種智能硬件，這些潛在產品將帶來新的端側AI芯片需求。
AI芯片公司的資深市場泰瑋說，“國內已有老牌芯片公司押注了這一賽道，專為7B模型設計芯片。”
與端側相比，70B以下模型的邊緣推理芯片市場更受國產廠商關注，其成長性和潛力顯然更具吸引力。想要進一步探討端側AI添加作者微信BENSONEIT。
國產AI芯片圍攻英偉達4090，極致性價比的戰場
年初，DeepSeek的火熱再次點燃了各行各業將AI引入工作流的熱情。大模型一體機需求暴漲，邊緣AI推理市場也隨之升溫。
“48G的英偉達4090，是當前邊緣推理的王者。”嘉銘直言，“想讓客戶為國產芯片買單，就要做到超越4090的極致性價比。”
泰瑋對“極致性價比”有切身感受：“我們瞄準商業市場，但商業市場的客戶對成本有極致要求。他們甚至愿意用淘汰的英偉達3090、4090礦卡——這些二手GPU便宜得令人難以置信，但穩定性堪憂。我們只能靠性價比與穩定性，在這個市場與英偉達正面競爭。”
嘉銘也指出，4090確實具備性價比優勢，但畢竟是消費級產品，不適合7×24小時連續運行。對于有合規要求、需要全天候運作的客戶，他們可能選擇英偉達L20，但使用量有限，性價比也不如4090。
國產AI芯片的優勢，除了穩定性，還在于大顯存和大帶寬。李瑛舉例：“運行滿血版DeepSeek時，8卡的4090服務器需要兩臺，而我們產品單臺就能跑滿血版DeepSeek，TCO（總體擁有成本）優勢明顯。”
泰瑋也說，“我們一張售價5000元左右的加速卡，擁有128G的大顯存，運行30B量化模型速度可達20 token/s，性價比極高。”
Qwen3和DeepSeek量化模型的首字延遲和每秒Token數只是敲門磚。嘉銘強調：“如果這兩個指標不夠，說明TCO沒有優勢。但也幾乎沒有客戶不因為這兩個指標直接下單，還需要在實際場景中測試性能。”
在具體場景下做極致的軟件優化，是國產AI芯片實現超越4090的關鍵。
嘉銘表示：“芯片落地時一般三個關鍵流程，編譯、調精度、調性能。若是NPU等專用芯片架構，這三步每一步可能都需1–2個月，累計可能需要數月時間，GPGPU架構的芯片可大幅縮短落地時間，也降低了客戶的TCO。”
李瑛認為，“若兩種架構的芯片從零起步布局同一場景，GPGPU 因可依托已有的成熟生態體系，初期優勢會比專用架構更突出。但隨著專用架構芯片在算子庫優化、軟件生態構建等軟件領域積累足夠經驗并達成成熟應用標準，且能充分滿足主流業務的實際需求，GPGPU 的原有優勢將大幅減弱，不再具備明顯差異化特點。”
“在DeepSeek火爆之后，AI算子的種類已經銳減，這時候只要把有限的算子優化好，不僅能縮小GPGPU相比專用芯片在軟件生態方面的優勢，如果做好了特定場景的算子優化，還能實現相比GPGPU數倍的性價比優勢。”李瑛進一步表示。
羅憶也說，“專用架構芯片雖然有專精領域，但適用場景會越來越廣。”
華為Atlas 300I Duo已驗證了這一點，專用架構芯片只要適配好場景，就能體現強大性價比。
因此，對于國產AI推理芯片而言，要與4090競爭，必須依靠大顯存優勢，同時針對客戶場景和使用模型進行優化，實現極致性價比。
“國內基于英偉達5090魔改的產品，性能調試已完成，很快將推向市場。性能比4090更強，價格接近，國產芯片還能有TCO或性價比優勢嗎？”晨坤提出疑問。
嘉銘則保持樂觀：“我相信英偉達5090將成為新一代邊緣AI推理王者，但并非無懈可擊。國內各家公司也在設計下一代產品，準備與5090正面競爭。”
跑馬未圈地，國產邊緣推理芯片的卡位戰
在下一代產品尚未上市之前，國產AI推理芯片公司的當務之急，是充分發揮現有產品優勢，找到合適落地的場景。
國產替代需求最迫切的信創市場，成為了國產AI芯片最容易相遇的戰場。
“信創市場的規模沒有想象中那么大，也沒有那么容易進入。”羅憶認為，“目前信創市場的剛需主要是CPU，滿足日常辦公需求，AI算力的需求還相對有限。再加上各地財政預算收縮，購買AI算力和設備的意愿并不高，因此現階段信創市場并不是AI推理芯片的理想賽道。”
李瑛對此樂觀一些，“信創市場確實存在挑戰，但也有機會。一方面，信創市場已經啟動AI芯片測試報名，這意味著對AI算力的需求正在增長；另一方面，通過更靈活的產品形式，例如在PC上擴展加速卡，也能降低成本。”
雷峰網了解到，江原、沐曦、天數智芯都在信創市場尋找落地機會，同時積極拓展商業市場。
“醫療和能源市場也是我們重點關注的方向。”李瑛說，“醫療領域涉及大量敏感數據，這個領域的客戶對替換國產芯片也有比較高的意愿。”
在羅憶看來，AI推理市場存在兩個優質機會：一是互聯網大廠，這些企業走在AI技術前沿，對算力需求龐大；二是各行業頭部企業，這些公司也在數字化轉型前沿，對AI算力有更多剛需。
“云天勵飛現有的AI芯片能實現8TOPS-256TOPS算力，既能鞏固泛安防存量市場，也能面向增量市場。我們同時在規劃下一代產品，充分發揮后發者優勢。”羅憶補充道，“作為上市公司，我們不僅有戰略決心，還擁有資金和人才優勢。更重要的是，過去11年公司在智能硬件、智算中心、智慧城市等多個領域積累了大量實踐經驗。這些寶貴的第一手資料，為芯片設計提供了明確指導。”
在泛安防市場站穩腳跟的登臨科技，也將重點關注商業市場，在預算10萬元左右的客戶群中尋找對AI推理有實際需求的企業，比如中小企業。
走存算一體技術路線的后摩智能則瞄準不同賽道。后摩智能創始人兼CEO吳強說，“我們比較看重三個領域，一是平板和電腦這種消費終端類，這是大模型生產力工具，對AI性能有剛需。二是智能語音系統，大模型語音會議也是重點布局的一個方面。三是運營商的邊緣計算，看中了5G+AI的趨勢。”
吳強補充：“目前這三個方向已有早期客戶。我們精力有限，先把這幾塊做扎實，未來只要涉及大模型和對功耗敏感的應用場景，都會逐步拓展。”
整體來看，國內AI芯片公司都在積極布局快速增長的大模型邊緣AI推理市場。羅憶形象地總結：“大家現在是在跑馬，但還沒有真正圈地。要成功圈地，必須與大客戶深度綁定。目前還沒有廠商做到這一點。”
在這場AI推理的競爭中，生態合作伙伴尤其關鍵，其中ISV（獨立軟件開發商）扮演不可替代的角色。相比芯片公司，ISV更了解客戶需求，也能在擅長的領域服務更多客戶。
若把芯片公司和ISV的合作比作“0到1”的工作，那么芯片公司優化算子、提供高效編譯器，讓ISV開發解決方案，就是把AI從“1到100”實現規模化應用的過程。
這樣說來，通過一家AI芯片公司的軟件生態合作伙伴，不僅能了解其重點落地的領域，也能看出各家的競爭優勢。
明年，切換全國產工藝的AI芯片將陸續發布，誰能在特定場景中發揮大顯存和極致性價比優勢，誰就有機會贏得大客戶的深度綁定，也可能在端-邊-云格局中搶占更有利的位置。
可以預見，國產AI芯片的“圍攻戰”才剛剛開始。未來，隨著技術成熟、生態完善以及大模型應用的持續落地，誰能分到更大的蛋糕？關于國產AI推理芯片的更多討論，歡迎添加作者微信BENSONEIT。
注，文中晨坤、嘉銘、泰瑋均為化名 雷峰網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
