功能描述：
機(jī)器學(xué)習(xí)全靠調(diào)參？這個(gè)思路已經(jīng)過時(shí)了。
谷歌大腦團(tuán)隊(duì)發(fā)布了一項(xiàng)新研究：
只靠神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索出的網(wǎng)絡(luò)，不訓(xùn)練，不調(diào)參，就能直接執(zhí)行任務(wù)。
這樣的網(wǎng)絡(luò)叫做WANN，權(quán)重不可知神經(jīng)網(wǎng)絡(luò)。
它在MNIST數(shù)字分類任務(wù)上，未經(jīng)訓(xùn)練和權(quán)重調(diào)整，就達(dá)到了92%的準(zhǔn)確率，和訓(xùn)練后的線性分類器表現(xiàn)相當(dāng)。
除了監(jiān)督學(xué)習(xí)，WANN還能勝任許多強(qiáng)化學(xué)習(xí)任務(wù)。
團(tuán)隊(duì)成員之一的大佬David Ha，把成果發(fā)上了推特，已經(jīng)獲得了1300多贊：
第一項(xiàng)任務(wù)，Cart-Pole Swing-Up。
這是經(jīng)典的控制任務(wù)，一條滑軌，一臺(tái)小車，車上一根桿子。
小車在滑軌的范圍里跑，要把桿子從自然下垂的狀態(tài)搖上來，保持在直立的位置不掉下來。
(這個(gè)任務(wù)比單純的Cart-Pole要難一些：
Cart-Pole桿子的初始位置就是向上直立，不需要小車把它搖上來，只要保持就可以。)
難度體現(xiàn)在，沒有辦法用線性控制器 (Linear Controller) 來解決。每一個(gè)時(shí)間步的獎(jiǎng)勵(lì)，都是基于小車到滑軌一頭的距離，以及桿子擺動(dòng)的角度。
WANN的最佳網(wǎng)絡(luò) (Champion Network) 長這樣：
第二項(xiàng)任務(wù)，Bipedal Waker-v2
一只兩足“生物”，要在隨機(jī)生成的道路上往前走，越過凸起，跨過陷坑。獎(jiǎng)勵(lì)多少，就看它從出發(fā)到掛掉走了多長的路，以及電機(jī)扭矩的成本 (為了鼓勵(lì)高效運(yùn)動(dòng)) 。
每條腿的運(yùn)動(dòng)，都是由一個(gè)髖關(guān)節(jié)、和一個(gè)膝關(guān)節(jié)來控制的。有24個(gè)輸入，會(huì)指導(dǎo)它的運(yùn)動(dòng)：包括“激光雷達(dá)”探測的前方地形數(shù)據(jù)，本體感受到的關(guān)節(jié)運(yùn)動(dòng)速度等等。
比起第一項(xiàng)任務(wù)中的低維輸入，這里可能的網(wǎng)絡(luò)連接就更多樣了：
所以，需要WANN對從輸入到輸出的布線方式，有所選擇。
這個(gè)高維任務(wù)，WANN也優(yōu)質(zhì)完成了。
你看，這是搜索出的最佳架構(gòu)，比剛才的低維任務(wù)復(fù)雜了許多：
第三項(xiàng)任務(wù)，CarRacing-v0。
這是一個(gè)自上而下的 (Top-Down) 、像素環(huán)境里的賽車游戲。
一輛車，由三個(gè)連續(xù)命令來控制：油門、轉(zhuǎn)向、制動(dòng)。目標(biāo)是在規(guī)定的時(shí)間里，經(jīng)過盡可能多的磚塊。賽道是隨機(jī)生成的。
研究人員把解釋每個(gè)像素 (Pixel Interpretation) 的工作交給了一個(gè)預(yù)訓(xùn)練的變分自編碼器 (VAE) ，它可以把像素表征壓縮到16個(gè)潛在維度。
這16維就是網(wǎng)絡(luò)輸入的維度。學(xué)到的特征是用來檢測WANN學(xué)習(xí)抽象關(guān)聯(lián) (Abstract Associations) 的能力，而不是編碼不同輸入之間顯式的幾何關(guān)系。
這是WANN最佳網(wǎng)絡(luò)，在-1.4共享權(quán)重下、未經(jīng)訓(xùn)練的賽車成果：
1、創(chuàng)建初始的最小神經(jīng)網(wǎng)絡(luò)拓?fù)淙骸?
2、通過多個(gè)rollout評估每個(gè)網(wǎng)絡(luò)，并對每個(gè)rollout分配不同的共享權(quán)重值。
3、根據(jù)性能和復(fù)雜程度對網(wǎng)絡(luò)進(jìn)行排序。
4、根據(jù)排名最高的網(wǎng)絡(luò)拓?fù)鋪韯?chuàng)建新的群，通過競爭結(jié)果進(jìn)行概率性的選擇。
然后，算法從第2步開始重復(fù)，在連續(xù)迭代中，產(chǎn)生復(fù)雜度逐漸增加的權(quán)重不可知拓?fù)洌╳eight agnostic topologies ）。
|
