0
| 本文作者： Nemo | 2024-12-11 14:04 |
當地時間 12 月 10 日- 15 日，全球 AI 頂級會議 NeurIPS （神經信息處理系統大會）在加拿大溫哥華舉辦，這一頂會涵蓋了機器學習、深度學習、神經網絡等多個研究方向。
官方數據顯示， NeurIPS 2024 共收到 15671 篇有效論文投稿。投稿量創下新高，論文錄取率為 25.8%，相比去年略有下降，來自中國的被收錄的論文則很可觀。公開數據顯示，中國人民大學、字節跳動、螞蟻集團、騰訊等中國高校和互聯網企業均分別有數十篇論文被NeurIPS 2024收錄。
螞蟻集團被 NeurIPS 2024 收錄了20篇論文，其中有一篇為Spotlight（特別關注）。按往年數據估算，NeurIPS 的 Spotlight 論文錄取率約為 3%。
被 Spotlight 的論文《MKGL：掌握一門三元組構成的語言》，引入一個叫 KGL的新知識圖譜語言，以探究大語言模型（LLM）和知識圖譜（KG）的融合。KGL 這一新語言能夠讓一個句子精確地由一個實體名詞開始、一個關系動詞連接，再以另一個實體名詞結尾。實驗結果顯示，LLM 通過利用實時知識圖譜上下文檢索和文本嵌入增強，高效提升其對 KGL 詞匯的理解，已經做到能夠熟練掌握 KGL，在知識圖譜補全等任務上相較于傳統方法有顯著提升。
根據論文摘要顯示，螞蟻集團20 篇論文的研究領域主要集中在提升 AI的經濟性、可信性和效率上，這也是該企業重投 AI 的重點攻堅方向。
比如論文《重新審視顯存和通信成本對大語言模型高效數據并行訓練的影響》針對大語言模型（LLM）分布式訓練的速度與效率問題，提出了一組新的基礎策略，一個名為 PaRO 的部分冗余優化器，通過更精細的分片策略以適配不同的訓練場景，加速 LLM 的訓練。實驗結果表明，PaRO 在 LLM 的一些訓練場景下速度比 ZeRO-3 最快提高到 266 %。此外，PaRO-CC 也可以單獨使用在模型并行策略中，且獲得了17%的訓練速度提升。
在 NeurIPS 2024 上，螞蟻集團還受邀舉辦一場研討會，圍繞“強化學習優化、可信模型構建及視覺語言模型應用探索”等議題，深入研討知識增強的大語言模型在行業垂直領域的前沿技術與發展趨勢。來自清華大學、香港浸會大學、墨爾本大學、螞蟻技術研究院的學者和研究員將在研討會上進行主題報告分享。
據了解，加速 AI 在行業垂直領域的落地應用，亦是螞蟻集團重投 AI 的重點攻堅方向，或者說，聚焦提升AI的經濟性、可信性和效率，就是為了加速AI在行業垂直領域，尤其在金融、醫療、遙感等嚴謹產業中的落地應用。
2024?Inclusion外灘大會發布的《AI產業實踐六大趨勢》指出，大模型在醫療、金融等專業領域應用涌現，能促進垂直行業生產力提升、數據價值釋放，同時也成為大模型技術加速發展的“探照燈”。
值得注意的是，在 NeurIPS 這一級別的國際頂級學術會議上，來自國內高校、科技企業、互聯網公司的論文不但在數量上持續突破，在質量上也有飛躍式進展，被收錄為Spotlight、Oral、Highlight、Best Paper提名的論文越來越多。期待中國的產學界繼續發力與合力，勇登這波 AI 浪潮之巔。
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
