新智元報道
來源：算法與數學之美
（ID：MathAndAlgorithm）
【新智元導讀】近日，Hinton的那篇Capsule論文終於揭下了神秘的面紗，也因為該篇論文，他被刊進了各大媒體的頭版頭條。
在論文中，Capsule被Hinton大神定義為這樣一組神經元：其活動向量所表示的是特定實體類型的實例化參數。
他的實驗表明，鑒別式訓練的多層Capsule系統，在MNIST手寫數據集上表現出目前最先進的性能，並且在識別高度重疊數字的效果要遠好於CNN。
該論文無疑將是今年12月初NIPS大會的重頭戲。
不過，對於這篇論文的預熱，Hinton大神可是早有準備。
一個月前，在多倫多接受媒體採訪時，Hinton大神斷然宣稱要放棄反向傳播，讓整個人工智能從頭再造。不明就裡的媒體們頓時蒙圈不少。
8月份的時候，Hinton大神還用一場「卷積神經網絡都有哪些問題？」的演講來介紹他手中的Capsule研究，他認為「CNN的特徵提取層與次抽樣層交叉存取，將相同類型的相鄰特徵檢測器的輸出彙集到一起」是大有問題的。
當時的演講中，Hinton大神可沒少提CNN之父Yann LeCun的不同觀點。畢竟，當前的CNN一味追求識別率，對於圖像內容的「理解」幫助有限。
而要進一步推進人工智能，讓它能像人腦一樣理解圖像內容、構建抽象邏輯，僅僅是認出像素的排序肯定是不夠的，必須要找到方法來對其中的內容進行良好的表示……這就意味着新的方法和技術。
而當前的深度學習理論，自從Hinton大神在2007年（先以受限玻爾茲曼機進行訓練、再用有監督的反向傳播算法進行調優）確立起來後，除了神經網絡結構上的小修小改，很多進展都集中在梯度流上。
正如知乎大V「SIY.Z」在《淺析Hinton最近提出的Capsule計劃》時所舉的例子。（https://zhuanlan.zhihu.com/p/29435406）
sigmoid會飽和，造成梯度消失。於是有了ReLU。
ReLU負半軸是死區，造成梯度變0。於是有了LeakyReLU，PReLU。
強調梯度和權值分佈的穩定性，由此有了ELU，以及較新的SELU。
太深了，梯度傳不下去，於是有了highway。
乾脆連highway的參數都不要，直接變殘差，於是有了ResNet。
強行穩定參數的均值和方差，於是有了BatchNorm。
在梯度流中增加噪聲，於是有了 Dropout。
RNN梯度不穩定，於是加幾個通路和門控，於是有了LSTM。
LSTM簡化一下，有了GRU。
GAN的JS散度有問題，會導致梯度消失或無效，於是有了WGAN。
WGAN對梯度的clip有問題，於是有了WGAN-GP。
而本質上的變革，特別是針對當前CNN所無力解決的動態視覺內容、三維視覺等難題……進行更為基礎的研究，或許真有可能另闢蹊徑。
這當然是苦力活，Hinton大神親自操刀的話，成功了會毀掉自己賴以成名的反向傳播算法和深度學習理論，失敗了則將重蹈愛因斯坦晚年「宇宙常數」的覆轍。
所以，李飛飛對他在這裡的勇氣大為讚賞：
如今Capsule的論文剛剛出來，深度學習的各路大神並沒有貿然對其下評論，深夜中的外媒亦尚未就此發稿，甚至就連技術圈內一向口水不斷的Hacker News，今天也是靜悄悄地一片。
不過，可以肯定的一點是，一個月後的NIPS大會，Capsule更進一步的效果必定會有所顯現。
至於Hinton此舉對於深度學習和整個人工智能界的後續影響，包括Yann LeCun在內的各路大神恐怕都不敢冒下結論，咱們還是靜等時間來驗證Hinton大神的苦心孤詣到底值不值得吧。
這正如Hinton大神在接受吳恩達採訪時所說的：
如果你的直覺很准，那你就應該堅持，最終必能有所成就；反過來你直覺不好，那堅不堅持也就無所謂了。反正你從直覺里也找不到堅持它們的理由。
當然，營長肯定是相信Hinton大神的直覺的，更是期待人工智能能在當前的水平上更進一步。
儘管意義不同，Hinton大神此舉卻讓營長想到了同在古稀之年的開爾文勛爵，他1900年那場關於物理學「兩朵烏雲」的演講可是「預言」得賊准：
「紫外災難」讓年近不惑的普朗克為量子力學開創了先河，「以太漂移」讓剛剛畢業的愛因斯坦開始思考狹義相對論，經典物理學的大廈就此崩塌。
那麼，人工智能上空所飄蕩的到底是一朵「烏雲」呢？還是一個新的時代？讓我們拭目以待。
參考鏈接：
https://zhuanlan.zhihu.com/p/29435406
