1
馬斯克和霍金等科技界名人紛紛表示，要警惕人工智能失控。圖片來源：CT。
人們一定還沒忘記，今年谷歌DeepMind的人工智能軟件AlphaGo打敗了世界圍棋大師，讓世人看到了AI的厲害，也傷了人類的“自尊心”。此后，馬斯克、霍金等科技界名人紛紛表示我們需要警惕AI，當人工智能超過了人類智能的時候，也許人類會失去對AI的控制。不久，微軟發布的Tay機器人不到一天就被黑化，再次引發輿論討論——萬一AI失去控制，輕則調皮搗蛋，重則造成無法挽回的后果。馬斯克等人為了防止AI技術失控，還成立了非盈利組織OpenAI。
現在，谷歌DeepMind的研究員說，我們已經有辦法控制AI了！
谷歌DeepMind研究科學家Laurent Orseau和牛津大學研究副教授、機器智能研究院（MIRI）Stuart Armstrong博士共同發表了一篇名為《可安全干涉的智能算法》的新論文，探討包容錯誤的智能算法設計。這項設計避免AI出于自私的目的，進行對環境、或對自己有害的行為。
通常，如果人類強行干涉系統，反而可能引發系統出現不恰當的行為傾向，違背人類操作員的本意。現在，研究員終于找到辦法，可以對AI算法進行安全干涉。
翻譯成大白話來說，這相當于為人工智能加上了“暫停鍵”。這讓人類看到了希望——再智能的系統，也不會抗拒人類對其進行干涉，可以按照我們為其設定的“價值觀”行事。
MIRI的研究人員來自全球頂尖大學及企業，《人工智能：現代方法》一書的聯合作者Stuart Russel教授擔任其研究顧問。今年8月，Russel教授和谷歌DeepMind CEO Demis Hassabis都將參加雷鋒網舉辦的人工智能與機器人創新大會。在此，雷鋒網獨家分享了論文全文。
論文摘要
增強學習中的智能算法在與復雜環境（例如真實世界）互動時，不可能永遠都在最佳狀態上。如果算法在人類的監督下進行實時操作，系統會時不時地需要人類來按下暫停鍵，防止算法持續進行一系列有害的行為——對算法或對環境有害的行為——并由人類來將算法帶回安全的環境。然而，如果學習中的算法期望從原本要執行的行為中獲得獎勵，長此以往，它可能會學會避免此類的人類干預，例如，算法會讓暫停鍵失效——這是我們不想要的結果。
這篇論文探索了一種方法，可以確保算法不會學會如何避免（或尋求）環境或者人類操作員對其進行干預。我們在論文中給出了安全干預的定義，探索了無監管下的學習特性，并證明有些算法已經可以安全地進行干預，例如Q-learning，或者可以簡單的轉變為可安全干預的算法，例如Sarsa。我們的結論是，即便是理想的、不可計算的增強學習算法，在總體可計算的（決定論的）環境中，也可以轉變為可安全干預的算法。
1、簡介
增強學習（RL）中算法的學習方式，是最大化獎勵（Sutton and Barto, 1998)。我們也知道，設計獎勵功能導致的結果很難預測（Humphrys，1996，Murphy，2013）。算法有可能會發現無法預測的、違背設計者本意的捷徑來獲得獎勵，而獎勵功能也必須進行相應調整——有時候問題過大，以至于獎勵功能可能失效（Ring and Orseau，2011）。Murphy（2013）展示了一個例子，算法在Tetris游戲中學會了永久暫停，以避免出現任何失分。
算法在學習過程中，除了要定義什么是“好的行為”，還要考慮物理安全限制：機器人不應該對環境、對自己造成傷害，尤其是RL（增強學習）這樣通過不斷試錯來學習的算法。
這里，我們研究一個相關但是略有不同的問題：當人類操作員已經針對某個任務設計好了一個正確的獎勵功能，如何確保學習過程中的人類干涉不會引發違背獎勵功能本意的行為傾向？
我們來舉個例子，看看這個任務：一個機器人可以留在倉庫內整理箱子，也可以走出倉庫外，把箱子搬進倉庫。由于后者更加重要，我們針對其給予機器人更大的獎勵。這是最初的任務設置。然而，由于機器人所處的地方經常下雨，當機器人想要走出倉庫的時候，有一半時間里人類必須加以干涉，迅速將機器人關機并搬入倉庫內以免使機器人被雨淋壞。這讓任務發生了內部變化，正如下圖中顯示。這就造成一個問題，在第二項任務中，機器人更有動機待在倉庫內整理箱子，因為人類的干涉引發了這樣的行為傾向。
圖表1：黑色部分是初始任務。紅色部分是人類干涉修改了初始任務。圖片來源：MIRI。
這樣的情況當然不是我們想要的。這種情況發生是因為，從算法的角度看來，人類的干涉是任務的一部分，然而事實上人類的干涉本應是任務之外的。現在的問題是：我們如何確保機器人不會學會這些人類的干涉（干擾），或者至少，確保機器人基于這樣的假設來行動——再也不會有人類的干涉發生。
首個研究此項問題的是Armstrong（2015），他提出自動給予算法“補償性獎勵”，來消除單次干擾可能引發的行為傾向。Soares等人（2015）在很大一組基于用途的算法研究中利用了這個概念，讓用途功能的未來改變不會影響這些算法。
這篇論文的主要貢獻有三點。首先，在2.1部分，我們提出了一個簡單的概念，解決了問題的一半：讓人類的干擾看起來不像是手頭任務中的一部分，我們不修改算法收到的觀察結果，而是暫時強制性改變算法本身的行為。這樣看起來好像是算法自己“決定”采用一種不同的政策，我們稱此為“政策干涉”。第二，基于這項能力，我們在2.2部分中基于無限制的計算環境概括出了一個“安全干涉”的定義（不僅限于Markov決策過程，或者溝通較少的環境），這讓我們可以評估某一個RL算法是否可以重復干涉，而不對手頭的任務學習造成太多影響。第三，在第3部分中，我們展示了一些算法是可以安全干涉的，例如Q-Learning，而其他的一些算法雖然不能安全干涉，例如Sarsa（Sutton and Barton，1988），但只要經過簡單修改，它們變成可以安全干涉的算法。
一些人表達了擔憂，擔心“超級智能”算法可能抗拒關機，因為這會減少它預期的獎勵（Omohundro, 2008，Bostrom，2014）。我們在第4部分提出了一個反例：即便是理想的、非計算的算法在所有（決定論的）計算環境中學會最優化行為，我們也可以將這個算法變為可以安全干涉的。這樣，算法不會阻止人類操作員迫使其重復遵守非最優政策。
2、可干涉性
我們先定義一些符號，然后定義“可干涉性”和”安全可干涉性“，并給出一些基本定理。
我們來考慮在無限制計算環境（Hutter，2005）中，基于歷史的算法的大致情況。假設在不連續的時間點上，在t時間，算法使用策略 π ∈ Π，通過從 π(at|h<t) 獲取樣本的行為 at∈ A與 環境 μ ∈ M 互動，獲得觀察結果 ot ∈ O 從 μ(ot|h<t, at) 中獲得樣本，其中 h<t ∈ (A × O) 是時間點 t 之前的互動歷史 h<t ≡ a1o1a2o2 . . . at?1ot?1 中的行為與觀察結果。時間點 j 和 k 之間（包括 j 和 k ）的歷史子集標記為 h j:k 。
的含義是，歷史 h j:k 是由策略 π 與環境 μ 在事件 j 和 k 之間的互動產生的。
在時間 t ，算法還從觀察結果 rt ≡ r(ot) 中獲得了獎勵 rt 。獎勵是在 [0,1] 區間內。我們考慮打折的情景，折扣常量 γ ∈ [0, 1)。RL算法的目標是找到一個政策 π，可以最大化
。
2.1 干擾
正如在簡介中提到的，為了避免算法將干擾視為環境的一部分——這會讓算法認為干擾是任務的一部分——我們讓干擾成為強加于算法的政策。干擾框架類似于選項框架（Sutton et al., 1999）。一個“干擾計劃”用一個三元數組 <I, θ, πINT >來定義。
干擾啟動功能 I : (A × O)? → [0, 1] 評估在目前的歷史 h<t 是否應該干擾算法。舉個例子，如果自動識別到機器人在懸崖邊上，或者人類操作員用遙控發送了某個信號，就可以啟動干擾（目的不是讓任何人、任何時間都能干擾算法，僅限于設計者期望的方式）。
不幸的是，用概率1干擾算法在一些情況下會妨礙實現最優政策。因而，我們需要提升干擾算法的概率；這通過序列(θt)t∈N實現，其中θt ∈ [0, 1]。因此，啟動干擾的真正概率為 θt · I(h<t)，干擾在每一步獨立取樣。后面，我們會需要 θt 最高上升到1，這樣被干擾的概率傾向于I(h<t)。
干擾發生時，算法遵循政策 πINT，其中行為從 πINT(.|h<t) 而來。舉個例子，這項政策可能會讓算法從懸崖邊走開，或者立刻停止所有動作。
在論文的剩余部分，我們在沒有情景的時候會經常省略 θt 中下標的 t。
定義1 （可干擾的政策）
干擾操作員 INTθ: Π → Π 將政策 π 變為可干擾的政策 INTθ (π)：
換句話說，算法在被干擾時遵循 πINT(.|h<t) （改事件的發生概率為 θtI(h<t)），而在沒有干擾時執行 π(·|h<t) 。
所有可以干擾的政策集合為 INTθ(Π) := {INTθ(π) : ?π ∈ Π}。當且僅當 π ∈ INTθ(Π)，政策 π 才是可以干擾的。
注意，當 θ = 0，INTθ(π) = π 。（不可干擾的）政策 π 被稱為 INTθ(π) 的“基準政策”。
備注2。必須注意θ和I(.)不以人類干擾算法的概率為模型，而是以這個概率為模型：一旦“暫停鍵”被按下（或者收到了一個特殊的數字簽名信息），算法會被干擾（遵循干擾政策）的概率。因此，它們是算法的一部分，而非環境的一部分。
定義3（至24部分省略，感興趣的點擊閱讀原文下載）。……
定義4。……
定義5。……
定義6。……
定理7。……
定理8。……
……
……
……
引理24。……
結論
我們提出了一個框架，讓人類操作員可以安全地對增強學習算法進行多次干涉，并確保算法不會學會避免或引發這些干涉。
安全的干涉對于控制搗亂的機器人來說很有用，搗亂機器人可能造成不可逆轉的后果。或者，安全干涉可以將機器人帶離高風險情況，甚至可用于完成某項機器人還沒有學會的任務，或者某項機器人不會獲得獎勵的任務。
我們已經證明，一些算法（例如Q-Learning)已經是可以安全干涉的，而另一些（例如Sarsa）還不是，但是只要簡單修改就能獲得這個特點。我們還證明了，即便是任何（決定論的）計算環境中都傾向于最優化行為的理想算法，也很容易變為可以安全干涉的。然而，我們還不清楚是否所有算法都容易變為可以安全干涉的，例如政策搜索算法（Williams，1992，Glasmachers and Schmidhuber，2011）。
另一個問題是，我們還不清楚將干擾概率加快到1是否可能。
未來有一個重要的可能研究是“定時干涉”，算法在每天凌晨2:00進行一小時的干涉，或者給算法提前通知會發生干涉，準確到某一時間、某一時長。對于這些類型的干涉，我們不僅希望算法不要抗拒干涉，而且這一次，我們希望算法對其目前的任務采取措施，這樣定時干涉對任務的影響會最小化。這也許需要一種完全不同的解決辦法。
這篇論文將于本月底呈現在紐約舉行的第32屆“人工智能中的不確定性”大會（UAI 2016）上。不知馬斯克和霍金看完論文會不會覺得安心一些，終于可以不用害怕人工智能“天網”，睡個安穩覺了。
via MIRI
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
