接下來，展示我們的實驗結果。在無監督和有監督的特征提取的情況下，對網絡的分類性能進行驗證。

接下來還進行圖像重構，圖中顯示的是一個重構的誤差，越黑就代表誤差越小。

我們還做了視頻當中的異常事件的檢測，給定一個圈，在圈中的都是正常事件，不在圈中的就是異常事件。接下來使用稀疏重構系數作為指標，找到一定閾值，在這個范圍內的都是正常事件，而不在其中的就是異常事件。

通過實驗可以看到，我們的結果是目前是最好的異常事件檢測算法。

最后簡單地概括一下，相對現有的可微編程，我們是將優化的過程或者說具體的基于LSTM優化的過程和長短期記憶網絡，最后掌握了他們之間關系。這對可微編程有一些促進的作用，也可以從另外一個角度理解長短期記憶網絡。

剛才我們得到的網絡和標準的只有一個區別，就是我們沒有Output gate。

相關的代碼公開，大家可以掃描上圖中的二維碼。

第二個工作較之前更進一步，是在聚類這個背景下來擴展，把k-means這個聚類算法轉化成為一個前向式記憶網絡。不同于現有的可微編程的方法，它是從優化的角度出發，我們直接把k-means聚類算法的目標函數直接進行變形，然后建立對應的神經網絡模型。

K-means是什么？

它是在機器學習，計算機視覺，數據挖掘中最為知名的一個算法。主要是利用數據之間的相似性或者不相似性，將數據分為多個簇。最近一二十年，整個聚類的研究領域主要關注的是高維數據的聚類，本質上就是機器學習的共性問題-——線性不可分的問題。

為了解決這個問題，基于核聚類算法，譜聚類，子空間聚類方法，以及近期基于深度神經網絡的聚類方法，這些方法都是在解決這個線性不可分的問題。

現有的高維聚類方法可以簡單地概括成這個圖。它們都是用表示學習的方法將不可分的數據投影到另外一個線性可分的空間中，然后再進行聚類。而且現有的研究工作主要都是關注在如何學到一個好的表示。大家都知道，目前深度學習已經成為最為有效的表示學習方法之一，一定意義上可以把“之一”去掉，特別是在數據量較多的情況下。

因此，我們就認為如果表示學習能夠用深度神經網絡來解決，我們是不是要考慮更多的研究能夠實現聚類的神經網絡。但是讓我們驚訝的是，目前非常少的工作研究能以一個神經網絡來實現聚類的，寥寥可數，比較知名一點的比如說自組織映射。

受這個觀察的啟發，我們思考計劃從可微編程的角度對經典的算法進行變形，從而形成一個新的神經網絡，從而解決上述的痛點。

這里的公式是k-means的目標函數，其中x是輸入，Ω是第j個聚類的中心。我們最終的目標是最小化不同類別之間的相似性，最大化相同類別之間的相似性。

通過對k-means目標函數簡單的變形，其實本質上只是把標簽只能分配到某一個聚類空間的約束去掉，轉變成了輸入Xi在第j個聚類中心的概率。

*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。