cGAN二次元頭像自動生成工具MakeGirls是一款能夠通過選擇人物屬性來自動生成動漫人物頭像的工具,利用ai可以隨機生成各種風格的二次元妹子頭像,大多數較為精美毫無違和感,喜歡的用戶千萬不要錯過。
下圖左側為通過屬性blonde hair, twin tails, blush, smile, ribbon, red eyes生成的人物,右側是通過屬性silver hair, long hair, blush, smile, open mouth, blue eyes生成的人物,都表現得非常自然,完全看不出是機器自動生成的:
模型生成的隨機樣本:
固定cGAN噪聲部分生成的樣本,此時人物具有不同的屬性,但是麵部細節和麵朝的角度基本一致:
更加令人興奮的是,作者搭建了一個網站,任何人都能隨時利用訓練好的模型生成圖像,進行實驗!
打開網站後需要等待進度條加載完畢,這個時候是在下載模型:
這裏的按鈕的含義都比較簡單,總的來說我們要先選定一些屬性(完全隨機也是可以的),然後點擊左側的generate按鈕生成:
完全隨機生成的結果,看起來非常好:
選擇發色(Hair Color)為金色(Blonde),發型(Hair Style)為雙馬尾(Twin Tail),點擊生成,效果同樣很讚!如下圖:
改進一:更高質量的圖像庫
之前使用的訓練數據集大多數是使用爬蟲從Danbooru或Safebooru這類網站爬下來的,這類網站的圖片大多由用戶自行上傳,因此質量、畫風參差不齊,同時還有不同的背景。這篇文章的數據來源於getchu,這本身是一個遊戲網站,但是在網站上有大量的人物立繪,圖像質量高,基本出於專業畫師之手,同時背景統一:
除了圖像外,為了訓練cGAN,還需要圖像的屬性,如頭發顏色、眼睛的顏色等。作者使用Illustration2Vec,一個預訓練的CNN模型來產生這些標簽。
改進二:GAN結構
此外,作者采取了和原始的GAN不同的結構和訓練方法。總的訓練框架來自於DRAGAN,經過實驗發現這種訓練方法收斂更快並且能產生更穩定的結果。
生成器G的結構類似於SRResNet
判別器也要做一點改動,因為人物的屬性相當於是一種多分類問題,所以要把最後的Softmax改成多個Sigmoid:
詳細的訓練和參數設定可以參照原論文。
雖然大多數的圖像樣本都比較好,但作者也提出了該模型的一些缺點。由於訓練數據中各個屬性的分布不均勻,通過某些罕見的屬性組合生成出的圖片會發生模式崩壞。比如屬性帽子(hat)、眼鏡(glasses),不僅比較複雜,而且在訓練樣本中比較少見,如果把這些屬性組合到一起,生成的圖片的質量就比較差。
如下圖,左側為aqua hair, long hair, drill hair, open mouth, glasses, aqua eyes對應的樣本,右側為orange hair, ponytail, hat, glasses, red eyes, orange eyes對應的樣本,相比使用常見屬性生成的圖片,這些圖片的質量略差:
131.7M / 11-29
媒體製作
下載13M / 09-29
視頻處理
下載5.6M / 02-29
轉換翻譯
下載76.4M / 03-25
55M / 06-05
237.9M / 04-13
140.5M / 03-06
900.9M / 03-02
96.2M / 07-06
311.2M / 07-06
335M / 07-06
200M / 07-06
413.8M / 07-06
353.9M / 06-05
131.8M / 04-13
230.8M / 03-03
195.6M / 03-03
165.4M / 03-03
45.6M / 09-08
665.2M / 07-06
2.84G / 07-06
93M / 07-06
338.3M / 07-06
1.38G / 07-26
488.3M / 07-16
109.8M / 06-03
142M / 01-08
1.2M / 11-23
548.8M / 04-13
1.6M / 04-13
1.48G / 03-18
646.6M / 03-03
133.7M / 03-03
325.8M / 06-07
60M / 04-29
254M / 04-25
659M / 04-23
1M / 12-26
253.4M / 12-08
253M / 12-08
1.19G / 11-16
110.5M / 04-23
26.7M / 03-16
488.3M / 07-16
248.9M / 12-08
248.9M / 12-08
201.2M / 04-13
100.6M / 03-06
148.9M / 03-06
1.12G / 07-06
1.25G / 07-06
9.48G / 07-06
50KB / 07-06
116.2M / 04-10
1.92G / 04-17
201.5M / 04-13
7.31G / 07-01
94.3M / 07-06
2.48G / 07-06
7.63G / 07-06
1M / 07-06
778.1M / 07-06
509.7M / 07-06
561.8M / 07-11
1.32G / 01-19
72M / 07-06
548.7M / 07-06
1.00G / 07-06
9.13G / 07-06
126.2M / 07-06
72M / 07-06
105.1M / 07-06
132M / 07-06