可是，干一種活就得換個體系重新培訓一次，太麻煩。

終于，有人細細研究了一下，發(fā)現(xiàn):

其實只通過預訓練和潛空間上的一點小操作，就可以讓 StyleGAN 直接上手各種活兒，包括全景圖生成，從單張圖像生成，特征插值，圖像到圖像翻譯等等。

更厲害的是，它在這些活兒上的表現(xiàn)還完全不輸每一位單項 SOTA 選手。

網(wǎng)友紛紛感嘆:這總結(jié)真的是太酷了！

All You Need:預訓練 + 一點空間操作

方法都非常簡單，我們一個一個來。高通此前已經(jīng)與通用汽車達成合作，為車機系統(tǒng)供應芯片。

前提:fi∈RB×C×H×W 表示 StyleGAN 第 i 層的中間特征。

1，空間操作實現(xiàn)直觀和逼真的圖像

由于 StyleGAN 是全卷積的，我們可以調(diào)整 fi 的空間維度，從而在輸出圖像中引起相應的空間變化。

用簡單的空間操作，可以生成更直觀和真實的圖像。

比如下圖通過復制灌木和樹叢來擴展背景，與導致紋理模糊等瑕疵的原始 resize 相比，在特征空間中可以保持更真實的紋理。

2，特征插值

對 StyleGAN 中間層進行拼貼可以實現(xiàn)圖像信息混合，但要拼接的兩張圖差異太大時效果往往不好。

但采用特征插值就沒問題。

具體操作方法:在每個 StyleGAN 層，分別使用不同的潛噪聲生成 fAi 和 fBi然后用下面這個公式將它倆進行平滑地混合，然后再傳遞到下一個卷積層進行同樣的操作

其中 α∈ B×C×H×W 是一個 mask，如果用于水平混合，則 mask 將從左到右變大。

和對應模型的定性和定量比較:

該特征插值法能夠無縫地混合兩幅圖像，而 Suzuki 等人的結(jié)果存在明顯的偽影。

用戶研究中，與 Suzuki 等人相比，87.6% 的人也更喜歡該方法。

用戶研究包含 40 人，每人需比較不同方法下的 25 對圖像。

3，從單個圖像生成

除了在不同圖像之間進行特征插值，我們還可以在單個圖像中應用它。

具體操作方法:在一些特征層中，選擇相關的 patches，并將其與其他區(qū)域混合，在空間上進行復制。使用移位運算符 Shift:

這和 SinGAN 的功能相同，不過 SinGAN 涉及采樣，而該方法只需要手動選擇用于特征插值的 patches.

和 SinGAN 的定性和定量比較:

該方法生成的圖像更加多樣化和真實，SinGAN 則未能以有意義的方式改變教堂結(jié)構(gòu)，并產(chǎn)生不夠真實的云彩和風景。

用戶研究中，83.3% 的人更喜歡該方法生成的新圖像。IT之家9月6日消息據(jù)路透社消息，高通今日宣布將為雷諾的全新電動汽車提供芯片，用于數(shù)字儀表盤組件。

4，改進 GAN 反演

GAN 反演的目的是在 W + 空間中定位一個樣式碼，通過該樣式碼合成與給定目標圖像相似的圖像。

Wulff 等人的模型認為，在簡單的非線性變換下，W + 空間可以用高斯分布建?？墒?，在屬性轉(zhuǎn)移設置中，需要反轉(zhuǎn)源圖像和參考圖像，效果并不令人滿意

最近的研究表明，與 W + 相比，利用 σ 進行面部操作的性能更好。

然后在這個空間而不是在 GAN 反轉(zhuǎn)期間，施加相同的高斯先驗。

效果比較:

5，圖像到圖像翻譯

可以在所有空間維度上使用常數(shù) α 來執(zhí)行連續(xù)翻譯，

通過選擇要執(zhí)行特征插值的區(qū)域來執(zhí)行局部圖像翻譯，

這樣獲得的效果也更佳。

6，全景生成

重復這個過程可以生成任意長度的全景圖像。

而且該方法不僅限于一次混合兩個圖像，也不限于只在水平方向生成。

一些示例:

7，屬性轉(zhuǎn)移

然后就可以應用特征插值將所選特征進行源圖到目標圖的轉(zhuǎn)移了。

與現(xiàn)有方法比較:

Collins 等人的方法沒有準確地轉(zhuǎn)移細節(jié)屬性，Suzuki 等人在姿勢不匹配時產(chǎn)生的圖像不夠真實。

用戶根據(jù)真實感和準確性進行選擇的結(jié)果也進一步驗證了該方法的優(yōu)越性。

ps. 此外還可以在任意區(qū)域執(zhí)行轉(zhuǎn)移，比如無縫融合兩邊眼睛明顯不同的兩半臉:

以上就是無需特定架構(gòu)或訓練范式，在 StyleGAN 模型潛空間中執(zhí)行一些操作和微調(diào)，就能與其他圖像處理任務達到同等或更佳性能的具體方法。。

你覺得如何還有什么需要補充的嗎歡迎在評論區(qū)留言

論文地址:

項目地址:

。