共話大模型技術進展與挑戰，CCF大模型論壇北京會議圓滿落幕！

2024 年 6 月 6 日中國計算機學會大模型論壇（CCF FoLM）主題會議在北京順利舉辦。本次會議主題為“大模型技術進展與挑戰”，各位專家圍繞大模型技術的前沿動態、發展趨勢及技術挑戰等議題展開深入探討，為廣大從業者、研究者提供了一場豐富的學術盛宴。本次會議還宣布了“CCF 大模型安全挑戰賽”的正式啟動！

2024 年 6 月 6 日，中國計算機學會大模型論壇（CCF FoLM）主題會議在北京清華科技園科技大廈舉辦。

CCF 大模型論壇于今年 3 月正式成立，由騰訊、中國移動、三六零集團、海光信息、智譜AI、第四范式、稀宇科技、并行科技、無問芯穹、瑞萊智慧科技、生數科技、清程極智、麥伽智能、面壁智能、聆心智能共同發起，旨在建設專注于大模型研究與應用的領先智庫和高效交流平臺，促成國內大模型的生態合力，共同推進大模型技術的前沿發展和應用。

本次會議上午部分由 CCF 大模型論壇學術秘書、復旦大學邱錫鵬教授主持，下午部分由 CCF 大模型論壇學術秘書、清華大學東昱曉教授主持。

圖｜邱錫鵬主持開場

CCF 杰出會員、常務理事、CCF 大模型論壇副主席、中國人民大學人工智能學院院長文繼榮教授作開幕式致辭。

圖｜文繼榮作開幕致辭

智譜AI GLM 技術團隊研究員顧曉韜、清華大學長聘教授、國家杰青黃民烈、華為語音語義首席科學家劉群、復旦大學計算機學院教授邱錫鵬、阿布扎比技術創新研究所研究員 Quentin Malartic、清華大學電子工程系長聘教授、系主任汪玉、清華大學計算機系長聘教授、清華大學計算機系高性能所副所長翟季冬、清華大學計算機系博世 AI 教授、清華大學人工智能研究院副院長朱軍、哈爾濱工業大學計算學部長聘教授，人工智能研究院副院長車萬翔等大模型領域專家學者受邀出席并做主題報告。（按姓名拼音首字母排序）

來自阿布扎比技術創新研究所的 Quentin Malartic 博士發表了主題報告《The Falcon Series of Open Language Models》，他主要講解了 Falcon 模型的研究進展，包括數據處理、訓練分解、模型架構，以及如何去構建對話樹來進行研究。他還介紹了對于 Falcon 模型的評價細節，以及視覺語言模型的情況。

圖｜Quentin Malartic 作主題報告

CCF大模型論壇常委會員、清華大學黃民烈教授圍繞大語言模型尤其是中文大語言模型的對齊和超級對齊問題，闡述了其在弱到強泛化（weak-to-strong generalization）、規模化監督（scalable oversight）、精確對齊、黑盒對齊、模型權重外插、自動紅隊測試等方面的工作。

圖｜黃民烈作主題報告

清華大學汪玉教授的報告聚焦于大模型時代下軟硬件系統方面的關鍵挑戰和發展現狀，向參會嘉賓們介紹了面向 AI 2.0 的高能效電路與系統設計方法，包括從算法模型優化到硬件架構設計的一系列軟硬件協同優化策略。在報告中，他還簡要介紹了 AI 2.0 時代算力生態建設的初步探索，并對未來發展趨勢進行展望。

圖｜汪玉作主題報告

智譜AI 顧曉韜博士，針對 Agent 這一領域，介紹了 Agent 能夠感知環境、理解任務、規劃步驟、調用工具、執行動作從而完成復雜任務的能力特點，并向大家概述了 GLM 技術團隊面向 Agent 能力從評測、優化、多模態能力等方向做的技術嘗試和探索。

圖｜顧曉韜作主題報告

CCF 大模型論壇副主席、華為語音語義首席科學家劉群教授介紹了華為盤古大模型的技術和應用概況，并講述了盤古語言大模型開發過程中采用的一些核心技術和面臨的挑戰，具體包括模型架構、訓練優化、推理加速、自我提升等方面。

圖｜劉群作主題報告

CCF大模型論壇執行委員、清華大學朱軍教授介紹了多模態擴散概率模型在圖像、3D 和視頻生成的最新進展，重點介紹了 Vidu 視頻大模型的三大更新：（1）首發一鍵生成 32s 長視頻；（2）發布視頻/文本到音頻生成技術，Vidu 生成的視頻有聲音了；（3）Vidu4D——從 Vidu 生成的視頻通過高效重建，生成 4D 的視頻。

圖｜朱軍作主題報告

CCF大模型論壇常務會員、哈爾濱工業大學車萬翔教授指出現有的思維鏈研究仍面臨兩大挑戰：（1）缺乏對思維鏈能力評估的定量指標；（2）缺乏對思維鏈能力優化的指導。為此，他們引入了一種新穎的“推理粒度”框架來解釋思維鏈技術的機理，并使用該框架改進思維鏈的推理能力。進一步地，通過在眾多模型和任務上的實驗，表明了該框架的存在性和合理性。此外，該框架還能夠用于解釋多種思維鏈策略的有效性，并能夠從兩個角度共同指導思維鏈策略的優化。

圖｜車萬翔作主題報告

CCF大模型論壇執行會員、清華大學翟季冬教授就當前大模型技術不斷發展，其對算力的需求持續增大的這一問題展開討論，并指出當前中國在獲取最先進的芯片方面面臨巨大的挑戰。如何充分發揮國產算力硬件性能，讓國產算力易用好用，滿足大模型對算力的需求具有重要意義。針對此挑戰，他們團隊在國產智能算力上開展核心基礎軟件相關研究。其中，在新一代國產超級計算機上，他們從編譯器、算子庫、并行加速和負載均衡等方面對大模型進行了深入優化，優化后的訓練性能達到 EFLOPS。

圖｜翟季冬作主題報告

邱錫鵬教授則從大語言模型展現了通用人工智能助手廣闊的研究和應用前景，但仍存在一定不足的這一問題出發，向大家介紹了大語言模型 MOSS 2 的研發進展以及關鍵技術，包括高效模型架構、多模態擴展、工具使用，最終實現可交互、可學習、可解釋的世界模型。

圖｜邱錫鵬作主題報告

此外，本次會議還舉辦了兩場別開生面的 Debates。黃民烈（清華大學）、俞濤（零一萬物聯合創始人）、顧曉韜（智譜AI 算法研究員）、李伯勛（無問芯穹算法負責人）、曾國洋（面壁智能 CTO）、何家傲（清華大學博士研究生）等來自不同領域的專家學者，就「超級對齊的本質是什么？」、「Maas 是個偽命題嗎？」等問題，展開了現場交鋒，為廣大參會者呈現了一場精彩且深刻的思想探討。兩場 Debates 分別由邱錫鵬教授、CCF大模型論壇主席唐杰教授主持。

「超級對齊的本質是什么」

圖｜Debate 現場

超級對齊的本質是大模型自我進化、迭代的過程

黃民烈：超級對齊本質上應該是怎么樣實現一個大模型的自我進化、自我迭代的學習過程。目前還是非常初步的嘗試，很多東西沒有做，但需要堅信不移地一步一步從小的嘗試開始，逐步實現真正發現模型弱點，并進行自動修復。

超級對齊是機器的自我演化，通過反饋提升自己的方式

文繼榮：大家認為，現在的階段，或可預見的階段，對齊尤其超級對齊還是非常重要的。我們需要重視大模型的安全性，尤其是模型智力水平越來越高的時候，將來會不會出現失控的風險，所以對齊很重要。
當“超級對齊”這個詞出來的時候，大家就要意識到，不再只是簡單跟人類價值觀對齊了，它現在已經漸漸從關注模型安全，變成了一種通過反饋來提升自己的方式，實現機器自我演化。另外，過度的對齊也可能損害模型的能力和“人性”。
超級對齊的技術預研是非常重要的

俞濤：我們在對齊 GPT-4 水平模型的過程中，主要方法是基于人類專家反饋數據的強化學習。但人類將無法規模化地為下一代模型提供可靠的監督信號，或者給予反饋的效率遠遠低于 AI 迭代的效率，因此我們目前的對齊技術不能擴展到超級智能。我們需要做好超級對齊的研究和技術預研，包括 weak-to-strong generalization（從弱到強的泛化）、可解釋性（可解釋性）、scalable oversight（可擴展的監督），為 AGI 的到來做好準備。

超級對齊要實現讓語言模型真正為我們服務

劉群：大模型純粹是從語言文本訓練出來的，作為對齊，要把語言空間的東西跟這兩個空間對齊起來。我們說安全的時候，更多考慮的是跟意識世界的對齊，跟物理世界的對齊同樣重要。我們要對客觀世界反饋，不光是安全的問題，在技術上來說是很類似的。研究超級對齊，是讓語言模型真正為我們服務，反映真正的客觀世界、真正的意識世界，這是它有用的地方。
超級對齊的終極目標具有重要意義

顧曉韜：AI 行業對超級對齊的關注首先說明 AI 技術發展確實到了一個新的高度。超級對齊除了考慮未來超級智能可控性的問題，也包括人類監督到達瓶頸后通過模型與外部環境自主交互等方式獲取監督信號去進一步提升智能水平的途徑，核心目標還是加深我們對智能本身的理解。

「MaaS是個偽命題嗎？」

圖｜Debate 現場

從云和端的角度去看，MaaS在未來的應用會非常大

李伯勛：如果我們從云的角度來講，我更希望看到很多國產芯片在這方面做到更高的性價比。從端上看，未來 MaaS 會有很多端上的應用。對硬件改造比較大，例如如何用更低成本提高存儲帶寬。

MOE是未來大模型發展中比較重要的方向

何家傲：MOE 還是未來比較重要的方向，以目前的硬件架構來講，MOE 是一種最適合的稀疏結構，MOE 是為了讓模型做的很大，如果涉及到多機，比如要用幾千、上萬張卡去訓練，并行策略會帶 MOE 負載下面造成更多性能上的影響。

MOE模型效果在逐步提升，值得看好

曾國洋：MOE 的訓練技術也是在不斷發展的。我們最開始都嘗試過 MOE，但是那個時候大家的訓練技術也不是特別好，訓練出來的 MOE 比真正的大參數量模型有非常多的距離。隨著技術越來越提升，我們得到了 MOE 模型效果也會逐漸提升。MOE 是值得看好的，也是有必要做的。

「CCF大模型安全挑戰賽」正式啟動 

會議進行過程中，清華大學教授黃民烈代表清華大學基礎模型研究中心宣布了CCF大模型安全挑戰賽的正式啟動，該賽事由中國計算機學會（CCF）作為主辦單位， 中國計算機學會大模型論壇（CCF FoLM）作為承辦單位，攜手清華大學基礎模型研究中心。
賽事設置了兩個賽道任務：「通用的大模型目標劫持」和「內容安全檢測器的紅隊攻擊」。誠摯邀請各方專家和學者積極參與大模型安全挑戰賽，共同探索解決這些安全問題的創新方法和策略，為大模型技術的健康發展保駕護航。

圖｜黃民烈教授發布 CCF 大模型安全挑戰賽

下午會議結束后，根據《CCF 大模型論壇條例》，現場閉門召開了 CCF 大模型論壇 FoLM 常務委員會擴大會議。

雷峰網(公眾號：雷峰網)

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。