模擬仿真|深度學習|GAN|數字孿生

AI虛擬人|冬奧會|圖像轉換|自監督學習

隨著模擬仿真、人工智能、深度學習的快速發展，GAN技術的脫穎而出給圖神經網絡的發展帶來了巨大保障。

冬奧會天氣預報人是假的？

2022

滿滿的黑科技，絕對是本屆冬奧會的一大亮點。

無論是驚艷的開幕式，還是場館內外的建設，無不因為科技，一次次引起輿論的驚嘆。

然而，萬萬沒想到的是，就連給選手和觀眾的天氣實時播報，竟然也達到了一個新的高度:

看到這張圖片，你可能會想，這不是《中國天氣》的主持人馮殊嗎？

但事實并非如此。

圖中在聲情并茂播放天氣的，并不是他本人，而是一個純粹的AI虛擬人——馮小殊。

那么馮小殊是怎樣煉成的呢？

從效果上看很明顯，人類主持人馮殊是他的訓練目標。

馮小殊背后的“殺手锏”是數字孿生虛擬人技術。

他之所以能分清面部、表情、肢體動作的整體自然度和本尊真假難辨，主要結合GAN和深度神經網絡渲染技術。

而且訓練周期只有一周。

值得一提的是，在語音專家模型、嘴巴專家模型和人臉渲染專家模型的訓練下，“馮小殊”準確地學習馮殊的嘴部動作、眼部和面部肌肉之間的協調性。

北京冬奧會期間，馮小殊將繼續播報“冬奧公眾觀賽氣象指數“，涵蓋戶外觀賽的人體感受和健康提示，包括體感寒涼指數、穿衣指數、感冒指數、凍傷指數、防曬指數、護目鏡指數等氣象指標，為觀賽人群及時傳遞戶外場館精細化氣象指數服務信息，為公眾健康、安全觀賽提供氣象條件參考依據。

GAN生成圖像綜述

2022

根據不同GAN所擁有的生成器和判別器的數量，可以將GAN圖像生成的方法概括為三類：直接方法，迭代方法和分層方法。

GAN在圖像生成中的三類方法

直接法

早期GANs都遵循在模型中使用一個生成器和一個判別器的原理，并且生成器和判別器的結構是直接的，沒有分支。如GAN 、DCGAN 、ImprovedGAN，InfoGAN ，f-GAN 和GANINT-CLS 。這類方法在設計和實現上比較容易，通常也能得到良好的效果。

分層法

分層法的主要思想是將圖像分成兩部分，如“樣式和結構”和“前景和背景”，在其模型中使用兩個生成器和兩個鑒別器，其中不同的生成器生成圖像的不同部分，然后再結合起來。兩個生成器之間的關系可以是并聯或串聯。

以SS-GAN為例，其使用兩個GAN，一個Structure-GAN用于生成表面結構，然后再由Style-GAN補充圖片細節，最后生成圖片，整體結構如下所示：

SS-GAN的分層結構

迭代法

迭代法使用具有相似甚至相同結構的多個生成器，經過迭代生成從粗到細的圖像。

以LAPGAN為例：LAPGAN中的多個生成器執行相同的任務：最低級別的生成器僅將噪聲向量作為輸入并輸出圖像，而其他生成器都從前一個生成器獲取圖像并將噪聲矢量作為輸入，這些生成器結構的唯一區別在于輸入/輸出尺寸的大小，每一次迭代后的圖像都擁有更多清晰的細節。

LAPGAN的迭代結構

GAN-圖像轉換

2022

圖像到圖像的轉換被定義為將一個場景的可能表示轉換成另一個場景的問題，例如圖像結構圖映射到RGB圖像，或者反過來。該問題與風格遷移有關，其采用內容圖像和樣式圖像并輸出具有內容圖像的內容和樣式圖像的樣式的圖像。圖像到圖像轉換可以被視為風格遷移的概括，因為它不僅限于轉移圖像的風格，還可以操縱對象的屬性。

圖像到圖像的轉換可分為有監督和無監督兩大類，根據生成結果的多樣性又可分為一對一生成和一對多生成兩類：

有監督下圖像到圖像轉換

在原始GAN中，因為輸出僅依賴于隨機噪聲，所以無法控制生成的內容。但cGAN的提出使得我們可以將條件輸入y添加到隨機噪聲z，以便生成的圖像由G(z,y)定義。條件y可以是任何信息，如圖像標注，對象的屬性、文本描述，甚至是圖片。

CGAN的結構

如果引入圖片作為監督信息，cGAN就可以完成一些paired data才能完成的任務，如把輪廓圖轉化成真實圖片，把mask轉化成真實圖，把黑白圖轉化成真實圖等。其中最具代表性的工作為pix2pix：

pix2pix結構圖

無監督圖像到圖像轉換

雖然有監督下圖像轉換可以得到很好的效果，但需要的條件信息以及paired image成為其很大的限制。但如果用無監督學習，學習到的網絡可能會把相同的輸入映射成不同的輸出，這就意味著，我們輸入任意xi并不能得到想要的輸出yi。

CycleGAN 、DualGAN  和DiscoGAN突破了這個限制，這幾項工作都提出了一致/重構損失（consistent loss），采取了一個直觀的思想：即生成的圖像再用逆映射生成回去應該與輸入的圖像盡可能接近。在轉換中使用兩個生成器和兩個判別器，兩個生成器進行相反的轉換，試圖在轉換周期后保留輸入圖像。

以CycleGAN為例，在CycleGAN中，有兩個生成器，Gxy用于將圖像從域X傳輸到Y，Gxy用于執行相反的轉換。此外，還有兩個判別器Dx和Dy判斷圖像是否屬于該域。

CycleGAN的生成效果

一對一生成到一對多生成

從pix2pix到CycleGAN系列，再到UNIT，這些方法實現的image-to-image translation不管是有監督的還是無監督的，都是一對一的，也就是說輸入一張圖片只能產生一種風格，缺乏多樣性。但其實大多數情況下，image translation是多對多的，也就是一張圖片對應不同風格的轉換圖片。比如我們設計衣服時，一張輪廓圖其實可以設計成不同風格的衣服。再比如同一個場景，不同的光照條件就是一個模式，不一定只有白天和黑夜，還可能有傍晚清晨等。

BicycleGAN首先對此進行了嘗試，其在模型中添加隨機噪聲，通過隨機采樣使噪聲得到不同的表達，并在輸出與潛在空間上添加雙向映射。雙向映射指的是：不僅可以由潛在編碼映射得到輸出也可以由輸出反過來生成對應的潛在編碼，這可以防止兩個不同的潛在編碼生成同樣的輸出，避免輸出的單一性。

但直接用不同的隨機噪聲來產生多樣化的結果，由于mode collapse的存在，很容易訓練失敗。MUNIT和DRITUNIT的基礎上，將latent code進一步細化為內容編碼 C和風格編碼 S。不同domain的圖像共享內容編碼空間 C 而獨享風格編碼空間 S ，將內容編碼C與不同的風格編碼S結合起來就能得到更棒的多樣性的結果。

MUNIT將latent code分為內容c和風格c

如下所示，BicycleGAN、MUNIT和DRIT都取得了不錯的生成結果：

GAN模型分析

2022

穩定性差

穩定性差指的是GAN在訓練的過程中很難把握好梯度消失和梯度錯誤之間的平衡。我們先看看為什么會出現梯度消失的問題。先關注判別網絡，若  和  已知，令式（2）的導數為零，可解得最優的判別為：

將其代入到式（7）可得：

其中  。

也就是說，當判別網絡最優的時候，生成網絡的目標是最小化分布  和  之間的  散度。當兩個分布相同時  散度為零，即生成網絡的最優值  對應的損失為  。

然而實際情況是，當用諸如梯度下降等方式去最小化目標函數   的時候，生成網絡的目標函數關于參數的梯度為零，無法更新。為什么會出現這種情況呢？原因是  散度本身的特性：當兩個分布沒有重疊的時候，它們之間的  散度恒為  。容易發現此時目標函數為0，意味著最優判別器的判別全部正確，對所有生成數據的輸出均為0，因此對目標參數求導仍為0，帶來了梯度消失的難題。

因此在實際中，我們往往不將判別網絡訓練到最優，只進行  次梯度下降，以保證生成網絡的梯度仍然存在。但是如果因為訓練次數太少導致判別網絡判別能力太差，則生成網絡的梯度為錯誤的梯度。如何確定  這個超參數，平衡好梯度消失和梯度錯誤之間的平衡是個難題，這也是為什么說GAN在訓練時穩定性差的原因。

模型坍塌

除了穩定性差，GAN在訓練的時候還容易出現模型坍塌的問題。模型坍塌指生成網絡傾向于生成更“安全”的樣本，即生成數據的分布聚集在原始數據分布的局部。下面我們看看為什么會出現這個問題。

將最優判別網絡  代入式（4），得到生成網絡的目標函數為：

此時，  。其中  屬于有界函數，因此生成網絡的最優值更多受逆向KL散度  的影響。

什么是前向和逆向KL散度？以它們為目標進行優化會帶來什么結果？我們先看看第一個問題：

KL散度是一種非對稱的散度，在計算真實分布  和生成分布  之間的KL散度的時候，按照順序不同，分為前向KL散度和逆向KL散度：

在前向KL散度中：

當  而  時，  。意味著  的時候，  無論怎么取值都可以，都不會對前向KL散度的計算產生影響，因此擬合的時候不用回避  的點；

當  而  時，  。意味著要減小前向KL散度，  必須盡可能覆蓋  的點。

因此，當以前向KL散度為目標函數進行優化的時候，模型分布  會盡可能覆蓋所有真實分布  的點，而不用回避  的點。

在逆向KL散度中：

當  而  時，  。意味著要減小逆向KL散度，  必須回避所有  的點；

當  時，無論  取什么值，  。意味著  不需要考慮考慮是否需要盡可能覆蓋所有真實分布  的點。

因此，當以逆向KL散度為目標函數進行優化的時候，模型分布  會盡可能避開所有真實分布  的點，而不需要考慮是否覆蓋所有真實分布  的點。

下圖給出了當真實分布為高斯混合分布，模型分布為單高斯分布的時候，用前向KL散度和逆向KL散度進行模型優化的結果，可以發現使用逆向KL散度進行優化會帶來模型坍縮的問題。

因此，基于上述兩個問題，GAN難訓練的問題是出了名的。為了解決這些問題，后續又有人提出了各式各樣的GAN，例如W-GAN，通過用Wasserstein距離代替JS散度，改善了GAN穩定性差的問題，同時一定程度上緩解了模型坍縮的問題。

GAN復原：偉大詩人泰戈爾

2022

當近百年前的黑白影像披上了色彩，它的歷史意義會不會多一層呢？

近日，一段泰戈爾1930年演講珍貴影像被AI修復還原。

那么是運用了什么技術將泰戈爾影像還原的呢？

RIFE，Deep-Exemplar-based-Video-Colorization，GPEN等一系列人工智能項目為泰戈爾影像的還原做出了巨大貢獻。

其中RIFE是一個實時視頻插幀方案，能實現老舊影像對高幀率的需求。

另外，在此另一個補幀項目是DAIN。

Deep-Exemplar-based-Video-Colorization是來自一種結合了圖像檢索與圖像著色的模型。該模型首先會從大量參照圖像中檢索和灰度圖相似的圖像，然后再將該參照圖像的配色方案遷移到灰度圖中，實現了非常好的著色效果。

GPEN（GAN prior embedded network，GAN先驗嵌入網絡）是新晉開源項目，由國人打造，對亞洲人像還原效果更為出色。

結果表明，其效果明顯優于最先進的嚴重損壞的人臉圖像復原（Blind face restoration）方法。

還有DeOldify：DeOldify 使用了NoGAN 進行訓練，NoGAN對于獲得穩定和豐富多彩的圖像是至關重要的。

NoGAN 訓練結合了 GAN (美妙的著色)的好處，同時消除了副作用(如視頻中閃爍對象)。

除了利用這些開源的AI模型，還結合了高超的后期技巧，百年前的老北京生活、上海時裝秀才能栩栩如生地出現在人們面前。

藍海大腦液冷GPU工作站（可搭建于 NVIDIA 4 × A100 / 3090 / P6000 / RTX6000；使用 NVLink + NVSwitch的最高GPU通信；4個用于 GPU Direct RDMA的NIC（1：1 GPU比率）；最高4 x NVMe用于GPU系統盤，帶有 AIOM雙電源冗余供電系統、防雷擊、防浪涌保護）是提供 GPU 算力的高性能計算，服務于深度學習、科學計算、圖形可視化、視頻處理多種應用場景。藍海大腦液冷GPU工作站為GAN技術的發展提供硬件保障。