豐色 發自 凹非寺

　　量子位 | 公眾號 QbitAI

　　四足機器人走著走著突然斷了一條腿，還能繼續前進嗎?

　　來自谷歌和密歇根大學的最新成果，給出了非�？隙ǖ拇鸢浮�

　　他們發明的一種叫做AutoRobotics-Zero(ARZ)的搜索算法，既不靠大模型，也不用神經網絡，可以讓機器人一旦遇到劇烈的環境變化，就立刻自動更改行動策略。

　　譬如斷腿照樣走：

　　相比之下，別的神經網絡方法還是這樣嬸兒的(手動狗頭)：

　　英偉達AI科學家Jim Fan評價：

　　這個方法非常令人耳目一新。

　　機器人再也不怕被忽悠瘸了

　　具體如何實現?

　　讓機器人斷腿繼續走的秘密

　　快速適應環境變化是機器人部署到現實世界中非常重要的一項技能。

　　但目前常用的循環神經網絡(RNN)技術存在策略單一、重參數化導致推理時間長、可解釋性差等問題。

　　為此，作者直接“另起爐灶”，基于AutoML Zero技術開發了這項全新的四足機器人環境自適應策略：AutoRobotics-Zero(ARZ)。

　　關于AutoML Zero，不熟悉的朋友再了解一下：

　　它是2020年誕生的一種“從零開始的自動機器學習”算法，出自谷歌大腦Quoc V.Le大神等人之手，僅使用基本數學運算為基礎，它就能從一段空程序開始，自動發現解決機器學習任務的計算機程序。

　　在此，作者也將各種機器人行動策略表示為程序，而非神經網絡，并僅使用基本的數學運算作為構建塊，從頭開始演化出可適應性策略及其初始參數。

　　隨著不斷的進化，該方法能夠發現控制程序(即Python代碼，如下圖所示)，從而在與環境互動的同時，利用感覺運動經驗來微調策略參數或改變控制邏輯(也就是當隨機分支在隨機時間突然中斷時運行新的分支)。最終就可以在不斷變化的環境下實現自適應。

　　具體而言，ARZ的算法由兩個核心函數組成：StartEpisode()和GetAction()，前者在機器人與環境交互的每個階段開始時就開始運行，后者負責調整內存狀態(因為策略被表示為作用于虛擬內存的線性寄存器)和代碼修改。

　　在進化搜索上，ARZ則采用兩種控制算法：負責多目標搜索的非支配排序遺傳算法II(NSGA-II)和負責單目標搜索的正則化進化算法(RegEvo)。

　　如下圖所示進化控制算法的評估過程，單目標進化搜索使用平均情節獎勵作為算法的適應度，而多目標搜索優化了兩個適應度指標：平均獎勵(第一個返回值)和每次episode的平均步數(第二個返回值)。

　　以及作者介紹，為了預測動態環境中給定情況下的最佳行動，策略必須能夠將當前情況與過去的情況和行動進行比較。

　　因此，ARZ所有策略都被設計為“有狀態的”，即內存內容在一個事件的時間步長內是持續存在的，由此才得以完成自適應。

　　此外，有所不同的是，該方法還去掉了原始AutoML Zero技術中的監督學習模式，最終無需明確接收任何監督輸入(如獎勵信號)就可以讓進化程序在整個生命周期內進行調整。

　　比神經網絡更有效

　　作者用宇樹科技的“萊卡狗”(Laikago)四足機器人模擬器在模擬環境中進行了效果測試。

　　最終，只有ARZ可以進化出在隨機斷腿情況下保持向前運動和避免摔倒的自適應策略。

　　相比之下，進行了全面超參數調整并使用最先進強化學習方法完成訓練的MLP和LSTM基線都失敗了：

　　要么不具有魯棒性，不能每次都成功;

　　要么一次都沒有成功過。

　　需要注意的，這還是在ARZ使用的參數和FLOPS比MLP和LSTM都少得多的情況下。

　　下圖則是統計數據：只要任何一列中的reward<400就表示該腿的大多數測試都以摔倒告終。

　　我們可以再次看到，除了ARZ，只有MLP方法能夠在右后腿成功一次。

　　除了以上這些，ARZ還顯現出了目前的RNN技術都做不到的可解釋性。

　　如圖所示，它在斷腿案例中發現的各種策略可以都符號化為如下表示：

　　最后，除了機器人斷腿走路，ARZ還可以在“具有隨機傾斜軌道的cartpole系統”中自動保持平衡。