編者按：深度學習自誕生之日起，即面臨著黑盒智能、可解釋性差等質疑， 發展至今，不可否認地帶來了一波人工智能的發展熱潮，然而正面臨研究熱情漸褪、算法紅利逐漸消失等問題，整個學術界都在討論，后深度學習時代，誰將是主宰。

恰在此時，LeCun語出驚人地表示，“Deep Learning has outlived its usefulness as a buzz-phrase. Deep Learning est mort. Vive Differentiable Programming!” 一方面將對深度學習的質疑推向了高潮，另一方面奠定了可微編程的地位。

可微編程，作為銜接傳統算法與深度學習之間的橋梁為深度算法提供可解釋性，將成為打開深度學習黑盒子的一大利器。

本文中，來自四川大學的彭璽研究員，將為大家介紹后深度學習時代的新主宰：可微編程。

今天的匯報將從上面四個部分展開。

第一部分，介紹一下可微編程的一些相關的概念。

第二部分，介紹我們的第一個工作。現在大多可微編程是把優化過程展開，轉換成回復式神經網絡。而我們這項工作也是把優化過程展開，發現能夠得到新的長短期記憶，再從可微編程角度，找到與長短期記憶網絡的連接。

第三部分，介紹我們的第二個工作。現有的絕大多數可微編程的工作都是基于優化的過程展開，然后尋找它和神經網絡之間的關系。而我們這項工作是從目標函數進行變形得到一個前向式神經網絡。

第四部分，是我們對于這些研究問題的一些思考。

首先介紹一下可微編程是什么呢？簡單來說，就是把神經網絡當成一種語言，而不是一個簡單的機器學習的方法，從而描述我們客觀世界的概念以及概念之間的關系。這種觀點無限地提高了神經網絡的地位。

LeCun曾在facebook的文章里說:”Deep Learning Is Dead. Long Live Differentiable Programming!” (深度學習已死，可微編程永生)。

具體的可微編程和現有的深度學習、機器學習又有什么關系呢？這里有一個簡單的對比，在上圖中顯示的三個實體之間發生的三項關系。目前最流行的方法是用深度學習提取特征，然后結合機器學習的一些方法來解決實際當中的一些問題，也可以反過來用深度神經網絡拿來直接生成數據，也就是目前最火的生成式對抗網絡。

但我們可以發現缺失了一塊，也是目前可微編程做的主流工作。缺失的就是把現有的機器學習的方法轉化成等價的神經網絡，使得同時具有傳統的統計機器學習方法的可解釋性強以及深度神經網絡性能較優等優點。

針對現實世界中的一些問題，傳統的機器學習的方法思路是首先基于一些假設或者先驗知識（比如稀疏編碼等），將其形式化成目標函數，再對其進行優化求解。但當得到一個新的目標函數時，我們還需要研究目標函數數學上的性質對其進行優化，如目前最流行的優化方法--凸優劃。

但是這樣做飽受詬病的一個原因就是可解釋不強。那可微編程可以做什么？其實就把神經網絡直接當成一種語言，直接用于替代問題的描述或者說抽象化問題。這樣做的好處顯而易見，首先，它易于優化。只需要一個SGD或者SGD的變種，而不需要發展出非常復雜的優化的算法。此外，它還易于計算。并且，它也能做端到端的學習。

在神經網絡以深度學習為標志復出之后，最早的可微編程的工作應該是Yann LeCun的ISTA。求解稀疏編碼這個目標函數的優化方法有非常多，ISTA是其中非常有名的一個。上圖中間紅框標注的公式就是ISTA的核心，具體細節可以閱讀文章《Learning fast approximations of sparse coding》。

觀察上圖中紅色方框的公式，可以看到Z是依賴于前一步的Z值。這在數學上就等價于一個動力學系統或者一個迭代過程，而動力學系統本質上就是回復式神經網絡的數學本質。因此，進一步地把右下角公式簡單地變形等價成RNN，這是神經網絡復出以來最為知名的一個可微編程的工作。

隨后有很多的進展，比如2016年NIPS上的文章《Attend, Infer, Repeat: Fast Scene Understanding with Generative Models》關于生成模型的工作，這項工作也是目前比較熱門的研究。

*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。