新AI技術(shù)現(xiàn)身頂會：只需一張大頭照，就能生成逼真3D人臉

如果只有一張圖片，怎么創(chuàng)建出一個人逼真的數(shù)字化身？

創(chuàng)新互聯(lián)建站專業(yè)為企業(yè)提供章丘網(wǎng)站建設(shè)、章丘做網(wǎng)站、章丘網(wǎng)站設(shè)計、章丘網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、章丘企業(yè)網(wǎng)站模板建站服務(wù)，10年章丘做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。

在 2020 年計算機視覺與模式識別會議（CVPR）期間，倫敦帝國學(xué)院和 AI 面部分析初創(chuàng)公司 FaceSoft.io 的研究人員介紹了一種 “AvatarMe” 技術(shù)，該技術(shù)能夠僅僅通過一張普通的圖像或照片，就重建逼真的 3D 半身像。更厲害的是，不僅能從低分辨率目標(biāo)生成真實的 4K x 6K 分辨率的 3D 人臉，而且還可進(jìn)行細(xì)致的光線反射。

從視頻會議、虛擬現(xiàn)實到影視游戲，渲染 3D 人臉都有著數(shù)不盡的應(yīng)用場景，盡管可以在沒有 AI 的情況下擬合出幾何形狀，但是需要更多的信息才能在任意場景中渲染人臉。

為了提取這些信息，研究人員使用一個有 168 盞 LED 燈和 9 個單反相機的采樣裝置，拍攝了 200 張人臉的毛孔級反射圖，然后他們用這些數(shù)據(jù)訓(xùn)練了一個人工智能模型 GANFIT，它可以從紋理合成逼真的人臉圖，同時優(yōu)化渲染和輸出之間的“身份匹配”。

與其他生成性對抗網(wǎng)絡(luò)（GANs）類似，GANFIT 是一個由兩部分組成的模型：一個生成樣本的生成器和一個試圖區(qū)分生成樣本和真實樣本的鑒別器。生成器和鑒別器各自的能力互補，直到鑒別器無法將真實的例子與合成的例子區(qū)分開來。

此外，AvatarMe 的另一個組件則負(fù)責(zé)增強紋理的分辨率，還有一個單獨的模塊從被照明的紋理中預(yù)測皮膚結(jié)構(gòu)（如毛孔、皺紋或頭發(fā)）中每個像素的反射率，甚至估計表面細(xì)節(jié)（如細(xì)皺紋、疤痕和皮膚毛孔）。

研究人員說，在實驗中，AvatarMe 在最終的渲染中沒有產(chǎn)生任何偽影，并成功地處理了像太陽鏡這樣的 “極端” 案例和遮擋，反射率是一致的，即使在不同的環(huán)境中，系統(tǒng)都 “真實地” 照亮了被攝體。

三維人臉和幾何紋理的重建是當(dāng)前計算機視覺、圖形和機器學(xué)習(xí)交叉領(lǐng)域中最受歡迎的方向，這項研究的關(guān)鍵工作之一，是對三維可變形模型（3DMM）擬合法的改進(jìn)。

在優(yōu)化渲染和輸入之間的身份匹配的同時，將 3DMM 擬合到 “野生” 輸入圖像，并合成完整的 UV 紋理。

紋理被上采樣 8 次，以合成合理的高頻細(xì)節(jié)。然后，研究人員使用圖像轉(zhuǎn)換網(wǎng)絡(luò)對紋理進(jìn)行照明，并獲得具有高頻細(xì)節(jié)的漫反射反照率，使用單獨的網(wǎng)絡(luò)從漫反射反照率和 3DMM 形狀法線推斷出鏡面反射率、漫反射法線和鏡面法線。此外，網(wǎng)絡(luò)是在 512x512 補丁上訓(xùn)練的，推斷過程則是在 1536x1536 補丁上進(jìn)行。最后，將面部形狀和一貫推斷出的反射率傳遞給頭部模型，呈現(xiàn)出在任何環(huán)境中實時渲染的效果。

如何增強細(xì)節(jié)？核心是基于補丁的圖像到圖像轉(zhuǎn)換。照明任務(wù)、去光以及從給定的輸入圖像（UV）中推斷漫反射和鏡面反射分量的任務(wù)可以表述為域適應(yīng)問題，研究人員選擇的模型是 pix2pixHD，它在高分辨率數(shù)據(jù)的圖像到圖像轉(zhuǎn)換中顯示了令人印象深刻的結(jié)果。

為了實現(xiàn)皮膚的真實感繪制，研究人員分別對所需幾何體的漫反射、鏡面反射反照率以及法線進(jìn)行建模。因此，在給定一幅無約束的人臉圖像作為輸入的情況下，他們就能推斷出人臉的幾何參數(shù)以及漫反射反照率（AD）、漫反射法線（ND）、鏡面反射反照率（as）和鏡面反射法線（NS）。

這個細(xì)節(jié)優(yōu)化過程還是存在一定小坎坷的。例如，為了訓(xùn)練算法模型，研究人員捕獲的數(shù)據(jù)具有非常高的分辨率（超過 4K），因此不能用于使用 pix2pixHD 進(jìn)行 “原樣” 訓(xùn)練，因為硬件限制（即使是在 32GB 的 GPU 上，也無法以原始格式擬合此類高分辨率數(shù)據(jù)）。此外，pix2pixHD 只考慮紋理信息，不能利用形狀法線和深度形式的幾何細(xì)節(jié)來提高生成的漫反射和鏡面反射組件的質(zhì)量。

所以，為了克服上述問題，研發(fā)人員將原始高分辨率數(shù)據(jù)分割成 512×512 像素的小塊進(jìn)行訓(xùn)練，在推斷過程中，由于網(wǎng)絡(luò)是完全卷積的，則補丁可以更大（例如 1536×1536 像素）。

AvatarMe 并非沒有局限性，這個局限性就是現(xiàn)在美國科技公司都在極力呼吁的 “種族歧視” 問題。

論文中提到，由于訓(xùn)練數(shù)據(jù)集沒有包含來自某些種族的主題示例，因此在嘗試重建膚色較深的面孔時會導(dǎo)致效果不佳，且由于所需數(shù)據(jù)與 3DMM 模型的微小對準(zhǔn)誤差，重建的鏡面反照率和法線有時會顯示出一些高頻孔隙細(xì)節(jié)的輕微模糊。最后，面部重建的精度跟輸入的照片質(zhì)量息息相關(guān)，一張光線充足、分辨率較高的照片會產(chǎn)生更精確的結(jié)果。

研究人員表示，在業(yè)內(nèi)，這是用任何肖像圖像（包括黑白照片和手繪圖）實現(xiàn) “可渲染” 人臉的第一種方法，作為一種最新的 3D 人臉生成和實時渲染 AI 系統(tǒng)，AvatarMe 有望使以前需要人工設(shè)計的過程逐步自動化。

https://www.toutiao.com/i6840015163211383310/

本文標(biāo)題：新AI技術(shù)現(xiàn)身頂會：只需一張大頭照，就能生成逼真3D人臉
網(wǎng)頁地址：http://bm7419.com/article16/jciedg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、虛擬主機、自適應(yīng)網(wǎng)站、全網(wǎng)營銷推廣、網(wǎng)站建設(shè)、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)