0
昨日 1 月20 號，DeepSeek 團隊推出了全新開源模型 DeepSeek-R1，一夜之間模型就在 Github 上收獲了 4k+star，引爆大模型領域。
而這次的 R1 模型一出，不僅反駁了之前蒸餾 OpenAI o1 的說法，官方更是直接下場表示：“我們可以和開源版的 o1 打成平手”。
值得一提的是， R1 突破了以往的模型訓練形式，完全沒有使用任何 SFT 數據，僅通過純粹的 RL 來訓練模型，這一點說明 R1 已經學會了自己思考問題——這實則更符合人類的思維規則。
更有網友稱其為“開源的 LLM 界 AlphaGo”。
叫板 o1，Deepseek 的自信并不是空穴來風。
先是在在后訓練階段憑借憑借有限的數據直接在模型推理能力方面把 o1 甩了幾條街。
并且在數學、代碼、自然語言推理上更是和 o1 正式版不相上下，在多個基準測試中展現了卓越的性能。
例如 DeepSeek - R1 在 AIME 2024 數學競賽中，取得了79.8%的成績，略高于 OpenAI 的 o1-1217。在 MATH-500 測試中，DeepSeek-R1 更是達到了 97.3% 的高分，與 OpenAI-o1-1217 相當，同時顯著優于其他模型。
在編程競賽方面，DeepSeek-R1 表現出了專家級水平，其在 Codeforces 上的 Elo 評級達到了 2029，超過了 96.3% 的人類參賽者。此外，在工程相關任務中，DeepSeek-R1 的表現也略勝 OpenAI-o1-1217 一籌。
除此之外，團隊還 R1 蒸餾出了 6 個小模型開源給社區，參數從小到大分別為 1.5B、7B、8B、14B、32B 以及 70B。其中蒸餾過的 R1 32B 和 70B 模型在性能方面不僅超過了 GPT-4o、Claude 3.5 Sonnet 和 QwQ-32B，甚至比肩 o1-mini 的效果。
如果你仍未真切領略到它的強大，那么請注意：它只需付出 o1 五十分之一的成本，卻能收獲 o1 百分之百的效能。
典型的花小錢，辦大事。
除了 R1 在幾乎所有的基準測試中性能都優于 o1 的硬實力，再其發布即開源的訓練數據集和優化工具，讓不少網友直呼：這才是真正的 Open AI。
R1 發布后，國內外大模型從業者紛紛圍觀、并交流點評。
深度賦智 CEO 吳承霖向 雷峰網(公眾號：雷峰網)AI 科技評論評價： DeepSeek R1 確實厲害，但方法非常簡單，核心其實就三點。
Self play、Grpo 以及 Cold start。
DeepSeek 團隊這次開源的 R1 模型共有兩個版本，分別是 DeepSeek-R1-Zero 和 DeepSeek-R1，參數都是 660B 且功能各有千秋。
先說 DeepSeek-R1-Zero，這個模型完全沒有使用任何 SFT 數據，僅通過純粹的 RL 來訓練模型，突破了以往模型在提升推理能力時常依賴于 SFT 作為預訓練步驟的形式。這是大模型訓練中首次跳過監督微調，是此次DeepSeek的核心創新。
通俗一點講，就是我們不直接告訴模型“應該如何解題”，而是讓它通過自主試錯并從中學習正確的方法，即 Self play。這就像不讓孩子死記硬背公式，而是直接提供題目和評分標準，讓他們在實踐中自行摸索解法。這樣的方式不僅能激發模型的自主學習能力，還可能在探索過程中發現更具創新性的思路。
但是DeepSeek-R1-Zero這個孩子一直做試錯練習的話，就會有可讀性差和語言混合問題。于是團隊研發推出了 DeepSeek-R1，這個模型在訓練過程中引入了少量的冷啟動數據，即cold-start data，并通過多階段 RL 優化模型，在僅有極少標注數據的情況下，極大提升了模型的推理能力。
具體來說，冷啟動數據包含數千條高質量的長思維鏈（CoT）示例，通過人工標注和格式過濾（如使用<reasoning>和<summary>標簽），強制模型生成結構清晰、語言一致的內容。其核心優勢在于：
1、穩定性：為強化學習（RL）訓練提供高質量的初始策略，有效避免早期探索階段輸出的混亂無序，確保訓練過程平穩起步。
2、可讀性：借助模板化輸出（如總結模塊），顯著提升生成內容的用戶友好性，使用戶能夠更直觀地理解和接受輸出結果。
3、加速收斂：有效減少強化學習訓練所需的步數，顯著提升訓練效率，加快模型收斂速度。
這么說吧，雖然孩子做錯題集可以有效提高分數，但是他的答案可能寫得亂七八糟。通過先教模型如何規范地寫步驟和總結，再讓它自由發揮，最終答案既正確又容易看懂。
除此之外，DeepSeek-R1 Zero還創新了一種很厲害的算法 GRPO，通過采樣一組輸出并計算獎勵的均值和標準差來生成優勢函數，從而優化策略。這種方法避免了傳統 PPO 中需要額外訓練價值模型的高成本，讓模型能夠自主探索復雜的推理行為，比如長思維鏈、自我驗證和反思。
這種純強化學習訓練方式在數學（AIME 2024 的 Pass@1 從 15.6% 提升至 71.0%）和代碼任務中取得了顯著提升。簡單來說，就像讓機器人通過“試錯”學習解題，而不是依賴例題，最終讓它學會了復雜的解題步驟，表現非常出色。
最后，團隊還分享了他們在實驗中遇到的很多失敗嘗試，并表示雖然在過程獎勵模型以及蒙特卡洛樹搜索算法上團隊都沒有取得研究進展，但這并不意味著這些方法無法開發出有效的推理模型。
值得一提的是， R1 在訓練時甚至還出現了“頓悟時刻”，就像我們在解難題時突然“靈光一閃”，模型在訓練過程中也自發地學會了“回頭檢查步驟”。這種能力并非程序員直接教授，而是在算法通過獎勵正確答案的機制下，自然涌現的。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
