如右圖所示的簡單變形得到公式（6）和（7），并且我們發現這兩個公式是可以等價為一個簡潔的前向式神經網絡。

如果大家只看左邊的神經網絡，大家可能會覺得非常不稀奇，好像就是一個很簡單的Sigmoid函數，再加上一個隱含層的神經網絡。但是如果結合右邊的公式來看，就會發現，這么簡單的神經網絡是等價于K-means的。

我們在相關的一些數據集上進行驗證，比如說我們使用數據mnist和CIFAR10驗證神經網絡，取得了非常好的效果。

接著我們使用CIFAR100數據的20個子集進行驗證，也是取得很不錯的結果。

同時我們還考慮使用CNN來發現特征，可以得到超過93%的距離精確度。所以得出一個結論，我們的算法對于距離中心的初始化方法是非常棒的。

這個工作和現有的可微編程不同主要是兩點：

第一，我們的研究思路是從目標出發，而不是從優化過程出發進行研究

第二，我們得到的是前向式神經網絡，而不是回復式的神經網絡。 

接下來給大家分享一下我和我的合作伙伴的一些思考。

目前，深度學習的研究主要是對通過對一些算法的性能指標不斷地試錯，最后確定整個網絡的結構以及相關的超參，這也是深度學習最為詬病的一點。

現在深度神經網絡已經占據了絕對的優勢，可微編程提供了從高解釋性的角度去做這件事，它是將神經網絡作為一種語言，將傳統的算法轉化成神經網絡以后，一定程度上緩解了一些深度學習的不足。

下一步可微編程做什么？現在的可微編程是對傳統的繼續學習方法的等價或者一種替代物。從問題的描述，再到問題的建模、求解，這是一個很復雜的過程。如果我們對傳統的學習的方法，在一定的假設和前提下已經有建好的建模，我們建立等價的神經網絡，其實就能走出最容易的一步。

在未來，如果我們真的要貫徹可微編程，就是把它當成一種語言。神經網絡應該更進一步，應該直接對問題進行建模，也就是對我們的物理現象進行建模，并且傳統的統計機器學習方法有一些先驗知識，進而解決我們的一些實際問題。

可能這是更接近于做人工智能這個領域的一個更貼切的思路。

文中提到參考文獻的下載鏈接為：

鏈接: https://pan.baidu.com/s/18qzJ9PjTb3zR01NDyc_XSQ 

密碼: vxsi

*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。