日本動畫不乏從現實環境取材的風景畫面，如京都動畫（Kyoto Animation）、吉卜力工作室，或是新海誠製作的動畫，均採用大量實景作為作品中的舞台，掀起了聖地巡禮的熱潮。而近日，中國就有大學團隊研發出一種技術，可以將現實世界拍攝的照片轉換為類似動漫的圖像，令用家可以透過該技術轉換相片，如上述的動畫製作者般，將二、三次元「合併」。
由武漢大學和湖北工業學院組成的中國研究團隊開發的 「AnimeGAN: A Novel Lightweight GAN for Photo Animation」，是一項將現實世界拍攝的照片快速轉換為動漫圖像的技術。AnimeGan 利用神經風格轉換（Neural Style Transfer）和 GAN（生殖對抗網絡），配合深度學習的輕量級框架，在考慮線條，紋理，顏色，陰影等情況後，將實景圖像快速轉換為動漫圖像。
該團隊指，AnimeGAN 是基於 CartoonGAN，再進行改進，並製作出一個更加輕量級的生成器架構。為了有效減少生成器的參數數量，AnimeGAN 使用了 8 個連續且相同的IRB（inverted residual blocks），以輕量級的生成器實現高速傳輸。
將 AnimeGAN 與 CartoonGAN 和 ComixGAN 進行比較，可以發現 AnimeGAN 可以顯著減少參數數量和計算成本，並提高了處理速度。尤其是顏色偽影區域（圖中紅框），CartoonGAN 生成的動漫圖像中通常會存在顏色偽影區域，而 ComixGAN 生成的動漫圖像中則會存在過度風格化的區域，令原始照片內容有損，難以辨識目標紋理，但 AnimeGAN 就能解決該些問題。
目前，AnimeGAN 已經開源，數據集和預訓練模型均可下載，如果讀者們有興趣體驗一下宮崎駿、新海誠、或是京阿尼的風格呈現，不妨一試。
資料來源：ITmedia
分享到 :
最新影片
