在深度進(jìn)修才開端風(fēng)行然則沒有像現(xiàn)在這么成熟的時刻（2011 年），Hinton 等人就曾經(jīng)開端思慮一個成績：深度進(jìn)修依附的反向流傳算法 （back-prop） 在生物學(xué)上是很難成立的，很難信任神經(jīng)體系可以或許主動構(gòu)成與正向流傳對應(yīng)的反向流傳構(gòu)造（這須要精準(zhǔn)地求導(dǎo)數(shù)，對矩陣轉(zhuǎn)置，應(yīng)用鏈?zhǔn)杰墑t，而且剖解學(xué)上歷來也沒有發(fā)明如許的體系存在的證據(jù)）。
別的一點(diǎn)是，神經(jīng)體系是有分層的（好比視覺體系有 V1, V2 等等分層），然則層數(shù)弗成能像如今的年夜型神經(jīng)收集一樣動不動就成百上千層（并且生物學(xué)上也不支撐如斯，神經(jīng)傳導(dǎo)速度很慢，不像用 GPU 盤算神經(jīng)收集一層能夠在微秒量級，生物體系傳導(dǎo)一次普通在 ms 量級，這么多層數(shù)弗成能支撐我們?nèi)缃袢缭S的反響速度，而且同步也存在成績）。
然則風(fēng)趣的是，今朝年夜多半研討指出，年夜腦皮層中廣泛存在一種稱為 Cortical minicolumn 的柱狀構(gòu)造，其外部含有上百個神經(jīng)元，并存在分層。這意味著人腦中的一層其實(shí)不是相似如今神經(jīng)收集的一層，而是有龐雜的外部構(gòu)造。
不外 Hinton 也沒有料到后來 CNN 成長的如斯火，他其時的這篇論文沒有怎樣遭到存眷。這幾年他也沒有持續(xù)存眷這個成績，由于 CNN，LSTM, NTM 等等成績太多太風(fēng)趣。
不外到如今，CNN 的成長仿佛到了一個瓶頸：特殊年夜，特殊深的收集；輕易被反抗樣本誘騙；依然須要年夜量練習(xí)數(shù)據(jù)；無監(jiān)視進(jìn)修方面停頓很少。
Hinton 在題主給的視頻中從新剖析了一下今朝 CNN 的成績，重要集中在 Pooling 方面（我以為可以推行到下采樣，由于如今許多 CNN 用卷積下采樣取代 Pooling 層）。Hinton 以為，曩昔人們對 Pooling 的意見是可以或許帶來 invariance 的后果，也就是當(dāng)內(nèi)容產(chǎn)生很小的變更的時刻（和一些平移扭轉(zhuǎn)），CNN 依然可以或許穩(wěn)固辨認(rèn)對應(yīng)內(nèi)容。
Hinton 認(rèn)為這是一個毛病的偏向。他給出了一個心思學(xué)試驗(yàn)的例子，這個例子請求斷定兩個 R 能否是一樣的，僅僅由于扭轉(zhuǎn)招致分歧：
（簡直一切）人的做法是下認(rèn)識的扭轉(zhuǎn)左邊的 R，“看” 它們能否重合。
然則依照 CNN 的 invariance 的設(shè)法主意完整不是這么做。假如你對練習(xí)神經(jīng)收集有經(jīng)歷，你能夠會想到我們在做圖象預(yù)處置和數(shù)據(jù)拓增的時刻，會把某些圖片扭轉(zhuǎn)一些角度，作為新的樣本，給神經(jīng)收集辨認(rèn)。如許 CNN 可以或許做到對扭轉(zhuǎn)的 invarience，而且是 “直覺上” 的 invariance，基本不須要像人那樣去扭轉(zhuǎn)圖片，它直接就 “疏忽” 了扭轉(zhuǎn)，由于我們愿望它對扭轉(zhuǎn) invariance。
CNN 異樣強(qiáng)調(diào)對空間的 invariance，也就是對物體的平移之類的不敏感（物體分歧的地位不影響它的辨認(rèn)）。這固然極年夜地進(jìn)步了辨認(rèn)準(zhǔn)確率，然則關(guān)于挪動的數(shù)據(jù)（好比視頻），或許我們須要檢測物體詳細(xì)的地位的時刻，CNN 自己很難做，須要一些滑動窗口，或許 R-CNN 之類的辦法，這些辦法很失常（簡直確定在生物學(xué)中不存在對應(yīng)構(gòu)造），并且極難說明為何年夜腦在辨認(rèn)靜態(tài)圖象和不雅察活動場景等差別很年夜的視覺功效時，簡直應(yīng)用統(tǒng)一套視覺體系。
是以 Hinton 以為，人腦做到的是 equivariance ，也就是可以或許檢測到平移、選轉(zhuǎn)等等各類差別，然則可以或許 “熟悉” 到他們在某些視覺成績場景下是雷同的，某些場景下應(yīng)當(dāng)有所差別，而不是像 CNN 一樣為了尋求單一的辨認(rèn)率，用 invariance 掩飾這些差別。
因而 Hinton 從新開端存眷 Capsules 的成績，愿望從中有所沖破，處理之前深度進(jìn)修中的許多成績。假如確切可以或許處理這些成績，Hinton 有勇氣完整擯棄之前的系統(tǒng)構(gòu)造，從 0 開端。
這是 Hinton 比來被 NIPS 接收的關(guān)于 Capsules 論文 Dynamic Routing between Capsules （未揭橥）。其在 MNIST 上異常勝利，辨認(rèn)率到達(dá)了新高，同時處理了 CNN 難以辨認(rèn)堆疊圖象等成績。
注：上文中 equivalence 改成了 equivariance，這是更精確的說法
一些剖析
固然如今只要論文摘要，和 Hinton 比來的視頻，我們照樣可以剖析一下 Hinton 的設(shè)法主意和尋求：
可說明性。
依照 Hinton 的說法， Capsule 是一組神經(jīng)元，這組神經(jīng)元的激起向量可以代表對應(yīng)于一類實(shí)體（好比一個物體，或許一個物體的部件）的實(shí)例參數(shù)（ instantiation parameters ）。這個說法異常像 Hinton 已經(jīng)提的 “專家積”（Products of Experts）[1] 的概念，他用這個概念說明有名的比較散度（contrastive divergence）算法 [2]。更加人熟知的是 Andrew Y. Ng 的關(guān)于主動從視頻中辨認(rèn)貓臉的試驗(yàn) [3]，這些試驗(yàn)都暗示了某個神經(jīng)元可以代表代表某些物體實(shí)例（祖母細(xì)胞假說）。然則我們曉得，某個神經(jīng)元本身是個簡略的數(shù)學(xué)變換，其本身不克不及起到?jīng)Q議性的感化。CNN 等可以或許主動抽取圖象特點(diǎn)等等性質(zhì)曾經(jīng)為人熟知，然則究竟是哪些神經(jīng)元或許哪些構(gòu)造起了感化？這個很難答復(fù)。古代年夜多半神經(jīng)收集的構(gòu)造是絕對全體且比擬粗拙的，很難說明其外部的詳細(xì)感化機(jī)制，是以我們經(jīng)常把神經(jīng)收集稱為 “黑盒模子”。如今有了 Capsule 后，我們也許可以以 Capsule 為單元剖析得出每一個 Capsule 詳細(xì)的感化，如許可說明性要強(qiáng)許多。
注：從視頻中看 Hinton 所說的 instantiation parameters 應(yīng)當(dāng)是指表征以下內(nèi)容的參數(shù)：
1. 某類物體涌現(xiàn)的幾率
2. 物體的普通姿勢 （generalized pose），包含地位，偏向，尺寸，速度，色彩等等
因果性。
這是 Hinton 在視頻中重點(diǎn)提到的，也是許多機(jī)械進(jìn)修專家關(guān)懷的器械。如今的神經(jīng)收集缺少某種 “揣摸” 的機(jī)制，更多是目的函數(shù)最年夜化下的函數(shù)擬合。我們曉得收集可以或許準(zhǔn)確分類某個圖片，然則為何？圖片中甚么部門或許前提才招致收集得出這個結(jié)論？假如分類失足了，又是甚么詳細(xì)的部門或許前提誤導(dǎo)了它？這些我們都不長短常清晰，年夜部門時刻僅僅靠調(diào)參進(jìn)步成果。而論文中 Dynamic Routing，就是愿望可以或許構(gòu)成一種機(jī)制，讓收集可以或許將合適 Capsule_A 處置的內(nèi)容，路由到 Capsule_A 讓其處置。如許就構(gòu)成了某種揣摸鏈。 “找到最好的（處置）途徑等價(jià)于（準(zhǔn)確）處置了圖象” ，Hinton 如許說明。
Hinton 指出，本來的 Pooling，相似于靜態(tài)的 routing，僅僅把下面的成果原地交給上面一層的神經(jīng)元。（上面圖片中 Dynamic Routing 僅供表示，詳細(xì)完成要看揭橥出來的論文）
無監(jiān)視進(jìn)修。
這點(diǎn)也是 Hinton 強(qiáng)調(diào)的（原話仿佛是 A human does not know so much labels）。Hinton 估量有在 Capsule 基本上做無監(jiān)視研討的意向，在之前的 [4] 中 Hinton 曾經(jīng)用 Capsule 完成了自編碼器。
若何對待 Hinton 從新提出的 Capsule ?
起首這個任務(wù)勝利或許不勝利都是很正常的，就算 Capsule 真的會成為今后的趨向，Hinton 也未必這么快找到準(zhǔn)確的練習(xí)算法；就算 Hinton 找到了準(zhǔn)確的練習(xí)算法，也沒有人可以或許包管，Capsules 的數(shù)目不到人腦中 mini-columns 數(shù)目的時刻，可以或許起到達(dá)人類的辨認(rèn)率（況且如今 CNN 固然成績許多，然則辨認(rèn)率許多曾經(jīng)跨越人類了）。
別的看之前的關(guān)于 Capsules 的論文 [4]，個中的成果在 2011 年照樣不錯的，然則比擬最近幾年來的 CNN 就差多了，這生怕也是 Capsules 隨后沒有火起來的緣由。許多人都吐槽如今深度進(jìn)修各類各樣的成績，須要年夜量調(diào)參，然則每次調(diào)參都能有一年夜批人在論文揭橥 deadline 前調(diào)到想要的后果，這個也不能不服啊；不服你用 SIFT 給你一年調(diào)到一樣的后果嘗嘗？
也許最糟的成果是，好像散布式存儲中有名的 CAP 實(shí)際（又叫 Brewer's theorem）所述，分歧性，可用性和分片性三者不克不及同時知足；也許關(guān)于機(jī)械進(jìn)修，準(zhǔn)確率，可說明性，因果性也不克不及同時知足（最好的模子必定最難懂得）。Hinton 暮年試圖沖破深度進(jìn)修就像愛因斯坦暮年試圖同一電磁力和引力一樣，是注定沒法勝利的。不外信任 Hinton 依然情愿等下去，究竟從反向流傳提出，到深度進(jìn)修的火爆，Hinton 曾經(jīng)苦守了 30 年了。
評論中有人提到，人工神經(jīng)收集不用非要依照生物的門路走。我想 Hinton 重提 Capsule 的緣由不只是由于 Capsule 在生物學(xué)上有支撐，而是其有可以實(shí)行 dynamic routing 算法等的優(yōu)秀性質(zhì)，Hinton 在其上看到了一些能夠的沖破點(diǎn)。
最早的神經(jīng)收集作為感知機(jī)涌現(xiàn)的時刻是依照 Hebb's rule 進(jìn)修的，可以說長短常生物了。恰是 Hinton 和 LeCun 弄出離開生物模子的反向流傳算法，和 Hinton 后來基于熱力學(xué)統(tǒng)計(jì)做的玻爾茲曼機(jī)和受限玻爾茲曼機(jī)和配套的比較散度算法，才有了深度進(jìn)修的明天。
