0
作者 | 陳彩嫻
深度強化學習的故事，可以追溯到2015年：
當時，位于英國倫敦的一家小公司 DeepMind 在《Nature》上發表了一篇文章“Human-level control through deep reinforcement learning”，提出了一種新算法叫 Deep Q-Network（簡稱“DQN”），應用在 Atari 2600 游戲時，在49個游戲水平中超過了人類。
DQN 的強大之處是什么呢？它沒有受到任何人為干預，不清楚游戲規則，完全靠自己摸索學習，找出在這個游戲中取勝的最優策略。
但那時人們還不知道這究竟意味著什么，直到第二年，這家公司將DQN應用在 Alpha Go 上，讓 Alpha Go 與世界圍棋冠軍李世石對戰，以 4:1 的成績打敗李世石，人們才驚呼：這、這、人工智能這“小子”不簡單呀！…
接著，深度強化學習又被應用于德州撲克、星際爭霸、王者榮耀等游戲中，不斷挑戰人類玩家，甚至以高超的水平多次蒙混過關，當起“職業冒充”排位賽選手，且沒有被人類發現…
然而，當深度強化學習在虛擬世界混得風生水起時，它在現實世界的存在感卻幾乎為零。雖然強化學習很早就被谷歌、阿里等公司應用于廣告推薦、以達到利潤最優目標，但它的決策潛能還遠遠沒有被挖掘出來。比如，在醫療、金融、交通、電網等關乎國計民生的領域，深度強化學習對人類的幫助是極少的。
在汪昭然看來，這與深度強化學習當前的兩大缺陷有關：一是樣本效率與計算效率低；二是缺乏可信度，算法的安全性與魯棒性低。要將深度強化學習從虛擬世界轉到現實世界，一要建立理論框架，二要提高樣本效率與計算效率。
汪昭然目前在美國西北大學任教，是工業工程及管理科學系（在運籌科學領域排名美國和世界前三）和計算機科學系的終身軌助理教授，同時隸屬于該校的深度學習中心和優化及統計學習中心。
他的長期研究目標是開發出新一代數據驅動的決策智能，推進深度強化學習在現實世界中的落地。
元宇宙
“你知道Metaverse嗎？”
在談到模擬器/仿真器（simulator）前，汪昭然興致沖沖地介紹最近炒得很火的一個概念，叫“Metaverse”（也就是“元宇宙”）。“Metaverse”是從《第二人生》（Second Life）游戲里面延伸出來的一個概念，指的是：現實世界中的所有事物都能在虛擬世界中找到一個對應物。最為我們熟悉的，大約是電影《頭號玩家》里的場景：
圖注：《頭號玩家》電影海報
事實上，在工業界也有一個相似的概念，叫“數字孿生”（Digital Twins），指人們用軟件來模仿和增強人類世界的行為。就像 Roblox這個游戲，玩家可以在虛擬世界中打造任何事物，比如造一座小城市，但他們所打造的靈感往往是來源于對現實生活的觀察。
那么，“元宇宙”、“數字孿生”這些概念與深度強化學習有什么關系呢？
事實上，“模仿”在深度強化學習的研究中非常重要：在研究者將深度強化學習技術落地在現實世界中時，為了避免災難性的操作后果，他們往往要先做一個模擬器來模擬現實的物理世界，讓算法在與人類直接交互前，先與虛擬的智能體進行交互試驗，在不斷的試錯實驗中找到行為主體的最優策略。
正如《頭號玩家》的名牌口號一樣：“Accept your reality, or fight for a better one.”（要么接受當前的現實，要么打造一個更好的現實。）深度強化學習的哲學本質也是如此：沒有最好，只有更好。
開發可微分模擬器也是汪昭然目前的研究工作之一，但并不是他的最終目標。
汪昭然的本科就讀于清華大學電子工程系，是南方某省市的理科市狀元，但他不愿意談論與狀元有關的事情：“這個不用寫，如果考得不好，那可能就進不了清華電子系了呀。”
接著，他又強調了一遍：“我的長期研究目標，就是開發出新一代數據驅動的決策智能，包括理論、算法與系統三個層面。”
事實上，汪昭然第一次接觸深度強化學習，是2017年在騰訊人工智能實驗室（當時由張潼領導）工作的那一年。那時候，他還沒有從普林斯頓大學運籌與金融工程系獲得博士學位，但已獲得美國西北大學的教職offer。時間充裕，他就去了騰訊訪學。
當時Alpha Go的傳說還未遠去，汪昭然自然有所耳聞。在騰訊實驗室，他參與了王者榮耀等即時戰略游戲項目的開發，使用的主要工具正是多智能體的深度強化學習。他發現深度強化學習與他讀博時的研究方向有許多能夠結合的地方，因此想用讀博時的一些研究工具來解決深度強化學習里的問題。
雖然他所就讀的博士項目叫“運籌與金融工程系”（Operations Research & Financial Engineering，簡稱“ORFE”），但該系所研究的方向不僅包括金融數學、隨機分析等金融專業，還有機器學習、運籌學、優化、概率論與統計學等等。汪昭然所在的組是統計與機器學習大組，隸屬于 StatLab，王夢迪也在領導該實驗室。
圖注：普林斯頓大學Sherrerd Hall（ORFE所在大樓）
雖然他的夢想起源于游戲世界，但汪昭然的“野心”并不是在游戲中打造出實力與人類玩家媲美的機器人玩家，而是琢磨著如何將在游戲中已有出色表現的深度強化學習技術遷移到現實世界中，尤其是關鍵的社會領域，比如醫療、交通、金融、電網等。
在深度強化學習領域，“Sim2Real”（全稱為“Simulation to reality”，從虛擬到現實）是一個新興的研究話題。這個概念首先由谷歌在CVPR 2018上提出，其中一個重要的實現途徑就是通過模擬來學習復雜行為。
為什么游戲中的模擬可以應用于現實模擬？汪昭然的回答是：
機器人用到的經典力學模擬器與Roblox的模擬碰撞是完全類似的，只是兩者的實現不同，側重點也不同，但原理是相通的。再比如，策略類的游戲就相當于運籌領域中的最優策略研究，供應鏈優化或者動態定價與在星際爭霸里造基地，在數學上是完全相通的。
這也意味著，在虛擬游戲中用于尋找最優策略的深度強化學習技術，同樣有望于應用在現實生活的工程類項目中，比如車輛調度。最為我們熟悉的交通案例，就是滴滴出行的平臺派單優化，其幕后推手正是強化學習領域的專家葉杰平。
深度強化學習結合了深度學習的表征學習能力與強化學習的決策能力，被外界寄予“通往通用人工智能”的期望。去年10月，Alpha Go的創始人David Silver等人發表了一篇文章，“Reward is Enough”，認為基于獎勵機制的強化學習已經足以通往通用人工智能。
但是，對于實現通用人工智能，汪昭然認為要分三個階段去實現：
1）首先，能不能打造一個類似《頭號玩家》的元宇宙，在虛擬世界中取得比人類更好的成績？
2）其次，如果在虛擬世界中已有超越人類的表現，那么如何將同樣的行為切換到現實世界中？也就是所謂的“Sim2Real”問題；
3）最后，從虛擬到現實的過程中會出現許多新的問題，尤其是算法的魯棒性、可靠性與安全性，機器如何做出公平、公正、公開的決策？
第二步“Sim2Real”（從虛擬到現實）是深度強化學習在游戲以外的領域順利落地的主要瓶頸，而瓶頸存在的主要原因有兩點：一是計算效率與樣本效率低；二是僅基于獎勵所取得的強化學習策略缺少對安全性與魯棒性的考慮。
為了解決第二步，汪昭然與合作者除了開發類似“Metaverse”的可微分模擬器，還希望從理論的角度出發，在計算資源與數據缺乏的情況下，減少虛擬與現實之間的鴻溝。他們的工作獲得了2020年亞馬遜機器學習研究獎。
理論基礎
2018年，汪昭然從普林斯頓大學博士畢業，加入西北大學擔任教職。雖然他研究深度強化學習的時間不過三年左右，但已是該領域的知名青年學者之一，近兩年在NeurIPS、ICML等機器學習頂會上的表現更是十分突出。
圖注：美國西北大學校園
為了解決深度強化學習現有的兩大問題（效率與可信度），他的研究思路是：先打好理論基礎，然后用理論指導算法與大規模系統的設計，再將算法與系統應用于現實世界。在汪昭然看來，要實現“Sim2Real”的目標，夯實理論基礎必不可缺。
我們如何理解深度強化學習的兩大問題？
首先是低效率：汪昭然介紹，深度強化學習要在現實世界中取得成功，需要數百萬、甚至數十億的數據點。這些數據點通過在給定先驗下與特定的模擬器（比如《星際爭霸》中的游戲引擎）交互而獲得，過程需要數天或數周時間，即使在大規模并行計算機架構上也是如此。由此可見，深度強化學習的樣本效率與計算效率是非常低的。
其次，僅僅基于獎勵（如Atari的總分）來衡量深度強化學習的成功，這種理論在現實世界中是非常危險的。比如，在醫療領域，要獲得更高的獎勵，意味著疾病的程度恢復更好，風險是服用過量的藥劑；在交通領域，更高的獎勵等同于更快到達目的地，風險可能是要超速行駛，這就沒有考慮到人類的生命安全。
當深度強化學習技術被應用于社會系統的設計與優化時，缺乏效率和可信度將為落地帶來更大的阻礙。一個混合自治的社會系統通常涉及到大量智能體，包括人類（只能通過激勵來驅動）和機器（可以直接控制）。例如，優步、Lyft 和滴滴等拼車平臺不僅涉及到人類司機，還包括了自動駕駛汽車；電力網絡不僅包括人類消費者，還包括自動發電機。
（此處插敘一個“冷知識”：國家電網是隱形的人工智能巨無霸）
用深度強化學習控制大量機器時，比如協調電網中的發電機，樣本效率與計算效率的阻礙會變得更加明顯，因為當大量智能體同時存在時，聯合狀態行為空間的容量會呈現指數級增長，也就是所謂的“多智能體詛咒”（“curse of many agents”）。如果不考慮安全性和魯棒性，那么深度強化學習在現實生活中的落地也許會帶來災難性的影響。
“不用那么多的計算量與樣本量，能不能使算法達到出色的性能？”這是汪昭然的研究核心。他解釋：
深度強化學習與深度學習不一樣的地方在于：深度學習在許多模型上的性能已經很好，大家更多時候是想解釋為什么性能這么好；而深度強化學習的一些算法在實際使用中的性能并不好，魯棒性比較差，只要換一個系統、換一個環境，表現可能就會下降。
所以，他們的思路是用理論來指導算法的設計，在算法應用到新的環境前就能知道算法的性能是好是壞。汪昭然認為，完善的理論框架對算法性能的衡量是必要的：
我們不能說一個算法在某個數據集上的表現好，就說這個算法好。在一些特定的應用下，比如醫療與金融，這是很危險的，可能會有生命危險或金錢損失的風險，所以我們必須要有一個理論框架，根據框架下的細節來分析這個算法。在設計算法時，不僅要可解釋，我們還要知道這個算法在什么情況下表現好、最好能到多好。
在這個思路下，他們確實設計出了性能比較好的算法，比如在深度強化學習中加入樂觀探索（optimistic exploration）和悲觀正則（pessimistic regularization），能在一系列基準測試上打敗現有最好算法。
總的來說，汪昭然的科研專注于兩方面：
建立深度增強學習的理論框架，讓深度增強學習在計算復雜度上和樣本復雜度層面更有效率。在理論的指導下，提出一系列安全性、可靠性、數據消耗量都有保障的算法，以幫助深度增強學習落地醫療與金融領域。
拓展深度增強學習的算法框架，設計和優化社會規模的多智能體系統（比如供應鏈與拼車系統）。在理論的指導下，提出一系列基于動態博弈論的多智能體深度增強學習算法，以幫助深度增強學習落地這些大規模社會系統。
除了實現深度強化學習在現實世界中的落地，汪昭然還希望將深度強化學習與非凸優化、非參數統計、因果推理、隨機博弈與社會科學等多個領域結合起來，開拓一個新的子領域，叫做“社會深度強化學習”（societal deep reinforcement learning）。
汪昭然談道：“我們的終極目標，就是希望在多智能體強化學習的框架下解決社會決策的問題，讓社會更美好。”
成就
那么，截至目前，汪昭然在深度強化學習的理論研究上取得了哪些成果？
他的理論研究分為三個方面：
第一，神經網絡中的“超參數化”（Overparameterization）：如何通過超參數化提高計算效率，在有限的計算時間內獲得較好的策略？
第二，在線“樂觀主義”（Optimism）：如何通過樂觀主義來提高在線樣本效率？當智能體與環境進行在線交互時，它需要不斷探索可能的失敗，收集數據，在不斷學習的過程中獲得越來越好的結果，讓“遺憾”（即“regret”）越來越小。比如，智能體學炒股，在虧了很多錢后，它終于學會如何賺錢，并賺得越來越多。
第三，離線“悲觀主義”/“謹慎主義”（Pessimism）。所謂離線，就是在智能體不與環境進行交互的情況下利用已有的數據得到一個好的策略。在某些情況下，未掌握策略能力前與環境交互是危險的，比如“在線”學車，在馬路上邊開車邊學習，可能會連環相撞。
圖注：汪昭然的研究規劃
在這三個方向中，汪昭然最滿意的貢獻是提出悲觀主義理論框架。與在線學習的樂觀主義框架不同，樂觀主義崇尚探索、能容忍犯錯，而悲觀主義的哲學是“小心為妙”，沒試過的情況不要亂試，避免踩雷。
汪昭然談論：
其實離線情況在現實中更常見。比如醫療，如果病人一般服用的是有效藥劑A，醫生就不會貿然嘗試給病人服用藥劑B，不可能冒險拿病人的生命去試驗；比如交通，如果你下班時常走一條不怎么堵車的路線回家，你就不會突發奇想去試新的路線，因為可能有堵車的風險
傳統的樂觀理論忽略了這一點，因為游戲屬于在線學習情況，有很多模擬器，可以不斷去試，但在現實生活中，有很多情況是試不起的，會付出很大的代價。
在 ICML 2021 上，汪昭然團隊便針對“離線學習時應該使用什么樣的算法框架”，發表了一篇工作，叫“Is Pessimism Provably Efficient for Offline RL?”。針對離線學習缺少數據的情況，這篇文章提出了“值迭代算法的悲觀變量”（PEVI），包含一個不確定性量詞作為懲罰函數。
他們假定覆蓋到的數據集有限，為一般的馬爾可夫決策過程 (MDP) 建立了 PEVI 次優性的數據依賴上限。結果證明，當 PEVI 用于線性MDP時，在維度與范圍的乘法因子影響下，它能匹配到信息理論的下限。換句話說，悲觀主義不僅被證明有效，而且能夠將最優解進行極小極大。
而且，在給定數據集時，學習到的策略會成為所有策略中的No.1。他們的理論分析證明了悲觀主義在消除虛假相關性上的關鍵作用。
不同的理論框架會產生不同的算法設計。汪昭然的步驟是：從理論到算法，設計出安全、魯棒的算法，再往上的第三層則是設法在多智能體交互的場景下制定出一個既能提高效率、又不失公平與安全的社會決策。
在一個多智能體系統中，每個參與者都有自己的意圖，都想優化自己的利益。比如，在外賣系統中，有騎手、商家和買家，你如何動態設計一個高效又合理的機制，既能提高騎手的送餐速度，又不危害騎手的生命安全，同時令商家與買家滿意？
汪昭然觀察到，目前深度強化學習的算法設計一塊已有許多出色的研究成果，但第三層的社會決策制定則是剛剛起步，它的發展需要來自系統與模擬器的支持。近幾年來，他們在理論與算法層面已進行了較深入的探索，之后的兩年會集中在多智能體系統決策一塊。
正如前面所述，模擬器的設計也是一個難題。“如何設計一個模擬器，讓它能夠服務于深度強化學習或優化類的算法，讓模擬器與算法結合地更緊密？”汪昭然談道，仿真器（即模擬器）本就承擔著連接現實與算法的責任，算法是在模擬器里學到的，如果模擬器能更多地反映現實，那么學到的算法也會更適合現實世界。
在某種程度上，深度強化學習可以被歸類為“合作人工智能”問題，即人與機器如何合作；也可以從博弈論的角度看，將深度強化學習看作不同智能體之間的博弈。在他們去年的一個工作“End-to-End Learning and Intervention in Games”中，他們用了一個雙層優化的算法。雙層優化的性質與經濟學領域的斯塔克伯格博弈（Stackelberg Game）方法相似：假設有一個絕對的市場/政府領導者，下屬有許多獨立的運轉體，處于領導地位的智能體要做出更好的決策。
汪昭然介紹，事實上，這類問題對于強化學習是新的，但之前在經濟與運籌領域已經進行了許多研究。在計算機科學技術發展起來后，我們有了許多計算與數據，便思考能否通過電腦計算來取代手算，在復雜的情況下也能得到一個好的策略。比如，拼車平臺上，如果乘客的上車地點比較偏遠，能否調高價格，激勵司機接單；或送餐平臺上，如果是送餐高峰期，能否調高配送配，激勵騎手送餐。
他認為，人機博弈，不僅是人類適應機器，機器也要適應人類：
比如，如果機器對騎手的要求太高，騎手在某段路線騎得飛快，或者逆行，就會造成許多不安全的問題。在人機博弈中，算法對現實因素的考慮太少，其中也是因為缺少數據和仿真器去盡可能反映出問題。
總結
事實上，我們應該如何評論一個決策的好壞？
汪昭然認為，悲觀主義的理論框架是通用的，因為每個行業都會面臨數據匱乏、或不允許收集數據的問題，這時候，我們可以從已有的落地方案中抽取本質，形成統一的解決方案。
一個形象（可能有點“悲觀”）的例子是：你永遠只吃一樣不會讓你拉肚子的食物，一年365天，年年如此，天天如此…雖然你會膩，但你能生存下去。
而雖然有了理論與算法的支撐，但社會決策的評價標準仍是空白的。“控制論最成功的例子就是把人類送上月球，但深度強化學習在交通領域的決策，如車輛調度、騎手調度等，還沒有一個完善的標準。”汪昭然解釋。
在深度強化學習中，因果推斷也是非常重要的部分。“很多時候，數據是會騙人的，”汪昭然舉例：在出門前，你看了天氣預報，上班途中遇到堵車，你會以為是天氣不好造成的，其實是因為有輛汽車恰好出現了故障，堵在路中間。在做決策時，我們很難捕捉到所有數據，從而混淆了相關性與因果性，最后得出有失偏頗的結論。
除了深度學習與強化學習的知識，汪昭然認為，要讓深度強化學習具備強大的決策能力，還需要結合統計學、計量經濟學、博弈論（如多智能體博弈時的獎勵機制設計、雙智能體的“囚徒困境”原理）以及能夠挖掘有用信息的信息論。
最后，有興趣進行學術訪問、申請讀博、研究合作的朋友，可以通過郵箱與汪老師聯系：zhaoranwang@gmail.com。
作者注：人物/采訪、交流、爆料、抬杠，歡迎添加微信（302703941）。
相關閱讀
雷鋒網雷鋒網雷鋒網
雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。
