我們首先來簡要看一下data-driven的相關內容。

上圖是湯曉鷗教授最早在ICCV2003上發表的一個名為Eigen-Sketch的工作。利用Eigenface的思想，對照片利用訓練樣本進行線性組合生成，得到照片線性組合的系數以后，將組合系數疊加到畫像上，可以合成出畫像。這是最早的異質圖像合成的工作，也是奠基性的工作。

上圖是劉青山教授在CVPR2005上提出的改進工作。受啟發于當時如火如荼的流形學習，他認為把整幅圖像進行合成的做法存在不足，他利用LLE的思想把照片分割成一個個照片塊或者畫像塊，再對每一塊進行線性組合，組合以后把對應畫像利用對應的系數合成照片，這樣就把整幅圖像的線性轉變成局部線性嵌入。

在上述工作中仍然存在兩個問題。一是選擇K近鄰來線性組合，K值是固定的，有的時候K個近鄰塊的距離是比較近的，有的時候卻是比較遠的，如此線性組合以后會出現模糊。這個時候正是稀疏表示發展起來的時候，我們基于稀疏表示做了相應的改進工作。

另一方面，由于線性疊加相當于低通濾波，為了使它更清晰我們又加了高通增強，對高頻成分也進行線性組合以后疊加上。利用稀疏表示來自適應選擇K值，K是動態變化的。另外把高頻分量也進行類似學習，合成以后得到比較清晰的畫像。具體算法這里不再贅述，我們在相應數據庫上做了很多實驗。

上圖是香港中文大學做的數據庫，這個數據庫共有606張照片。

我們利用照片可以生成相應的畫像，上圖是我們生成的畫像，中間一行只是利用稀疏表示生成的畫像，顯然不夠清晰。

同樣給一個畫像可以反過來生成照片的例子，上圖我們生成的照片。

相似的技術還可以用在其他方面，比如說我們在公安部數據庫看照片的時候，都是打著網紋的，這是一種數據保護。通過我們的技術可以實現去網紋的工作，上圖展示了我們的效果。

另外，同樣的技術還可以利用非正面的、側面的照片合成正面照片。

實際上，基于data-driven的方法也還存在其它問題。比如，上圖所示的訓練數據庫里面沒有出現的情況我們很難合成出來。比如說背景不一樣，或者訓練數據庫里面都是年輕人，香港中文大學的數據庫中的照片都是年輕人的，如果合成老年人，它的皺紋很難合成出來；如果數據庫里面沒有戴眼鏡的，要想合成戴眼鏡很難，因為我們眼睛的合成區域總是找相應的眼睛區域來合成的。這樣就使得合成出的畫像與待測試樣本之間有差別，為此我們利用稀疏表示和貪婪學習的方法設計新的方法，就是進行全局搜索。

原先我們的合成是基于local mean的，這個新的學習算法實際上是一個nonlocal mean。nonlocal mean存在一個問題，如果我們要搜索一個眼睛的話，需要在整幅圖上搜索它的近鄰區域，這樣的整幅圖像搜索速度非常慢，為此我的團隊提出了上圖所示的基于稀疏表示的貪婪學習方法。利用訓練樣本我們可以構造一個字典，把每一個圖像塊利用字典來表示，得到基于字典的表示系數，形成一個稀疏系數矩陣，這樣來一個測試圖像以后，同樣的也可以用字典來表示成一個系數序列。進行匹配的時候就像一個哈希搜索一樣就變得非常快，這樣一來就解決了快速全局搜索的問題。

上圖是我們和其他方法合成效果的對比圖。對于第一行戴發卡的女孩，其他方法生成出來很難有發卡，我們的方法可以很好地把發卡合成出來。同樣戴眼鏡的照片也是，以前的方法本身合成不出來眼鏡，因為訓練樣本里面沒有人戴眼鏡，但是通過全局學習，眼鏡可能就是利用他的下巴合的輪廓成出來，這樣一來可以合成訓練樣本中沒有的細節信息。

前面的學習都是基于大量訓練樣本的，如果我們有一個應用只有一對訓練樣本怎么辦？也就是說我們的訓練只有上圖所示的一個照片和畫像對，它也是可以工作的。因為可以利用人臉的多尺度構造更多的圖像，一個大人通過縮放可以變成小孩；另外一個圖像里面有自相似結構，比如左臉和右臉非常相似。

利用上述性質，一方面可以利用高斯金字塔生成多尺度圖像，構造更多的圖像和畫像對。

另一方面利用圖像自相似結構也可以進行合成。

這樣如果只有一個訓練對的話，利用高斯金字塔可以生成一系列不同尺度的照片和圖像對。可以通過合成字典，同樣利用剛才講的貪婪學習方法合成出初始的畫像。然后把訓練樣本和測試樣本生成的初始畫像這兩對放在里面進行迭代，依然可以生成高質量的合成畫像。

上圖是我們逐次迭代生成的的畫像結果。

上圖展示了采用不同的方法由照片合成的畫像的效果，雖然只有一個照片-畫像訓練對，但是所合成的畫像質量還是不錯的。

我們進一步來把約束條件進行松弛。如果只有一個畫像，連照片也沒有，這就變成風格的合成，這樣一來我們仍然可以合成出需要的畫像。