紙片人活了！海報上的梅西、漫畫裡的悟空，都被 AI 喚醒（轉貼）

紙片人活了！海報上的梅西、漫畫裡的悟空，都被 AI 喚醒

 2018-12-26 由 stic 發表于動漫

本文摘自 : 

"從畫中逃走，Facebook實現在AR中基於圖片人物生成3D動畫 - 每日頭條"

https://kknews.cc/zh-tw/comic/g3959pm.html (詳情請點閱)

今天要介紹的新技術，可能會讓不少人有個大膽的想法。

因為 2D 形象變成 3D「活物」，不再是魔法。

你可能還記得《哈利·波特》裡的神奇世界，報紙上的照片會動，牆壁上的名人畫像能說話，甚至開門入戶都要與「門神」胖夫人暗號問答一番。

但，是，現，在，AI 就是我輩麻瓜的神奇魔法。

無論你想「復活」的是梅西.jpg、庫里.png，還是詹姆斯.jpeg，抑或希望新垣結衣.tiff、波多野結衣.Raw「動起來」！

這項名為照片喚醒（Photo Wake-Up）的新技術，都能讓你得償所望。

不信？先牛刀小試亮亮相~

它可以讓你最愛的體育明星，詹姆斯、梅西、庫里從照片裡跑出來：

相信我，走出來的庫里真的是 3D 的：

它還能賦予二次元角色以力量：

把鋼鐵俠帶到你身邊：

甚至抽象畫都能搞的定，畢卡索《瑪雅和玩具船》中的主角可以走出來，像人類那樣活動四肢：

你還可以藉此把角色們 AR/VR 化，只要動動手指，它們就能出現在你身邊的世界：

不管是照片、卡通還是抽象角色，但凡有個人樣，照片喚醒技術都能喚醒它們體內沉睡的靈魂，讓它們從二維化世界中甦醒過來。

有了這項技術，或許遊戲、動畫製作行業的設計師們可能要開心壞了，只要畫個 2D 的角色，自動就能變成 3D。

看到這些效果展示，有網友表示可能這就是和女神距離最近的一次了。

恭喜恭喜~

原理揭秘

這些心水的動漫人物和體育明星，是怎麼一下子從畫裡走出來，而且還會動、變立體了？

在論文 Photo Wake-Up: 3D Character Animation from a Single Photo 中，研究人員來了一次完完整整的大、揭、秘。

研究人員表示，讓主角從平面靜態圖像里走出來，最難的地方就是要在系統中重建一個「虛擬人」。虛擬人必須能透過厚重的衣物，精確對應到畫中人物的身體輪廓。

頭對頭，肩並肩，手腕對手腕……當虛擬人的骨骼架構完全匹配到畫中人，也就意味著你的男神/女神離動起來就不遠了。

整個操作過程，其實只用了三步：

我們一步一步看，研究人員的第一步就是：分割紙片人。

研究人員利用現成的圖像分割算法，將畫中人的軀幹、四肢分割，再用人體姿態估計，提取畫中人的 2D 骨骼關鍵點，忽略厚重的衣服，擬合出一種半裸的可塑 3D 模型，稱為 SMPL 模型（Skinned Multi-Person Linear Model）。

此時，無論是男神還是女神，現在都已經簡化成看不出年齡和樣貌的「石膏人」了。重要的第二波操作馬上開始。

第二步：細化紙片人 3D 模型

紙片人跑不跑，全看 3D 模型好不好。這一步，研究人員開始細化紙片人的 3D 模型了。

若紙片人運動，身體各部分間難免產生輪廓的重合。完美的模型能夠匹配到紙片人的身體輪廓，還能識別這種自我遮蔽（self-occlusion）現象的出現。

▲ 比如這樣

怎樣在自我遮蔽出現時保證模型的準確性？研究人員想了個主意：先將 SMPL 模型映射到 2D 世界對準輪廓，調好再次轉換成 3D 模型確保精確度。

在映射到 2D 世界時，研究人員將 SMPL 模型轉換成了兩種不同的映射形式，一種是肌肉隱約可見的普通圖（Normal Map），一種是五顏六色區分了身體不同部位的皮膚圖（Skinning Map）。

二者合一，轉換成 3D 模型後，姿態可動的 3D 人來了！

最後，研究人員用 CMU 的 Mo-cap 人體動作數據集餵給模型，數據集中的人物動作，現在可以遷移到你的紙片人身上了。

▲ 6 幅圖中主角「出走」效果；每幅圖左為原圖，右為結果

此時，如果有一個 AR 眼鏡，戴上，手指比個心，心愛的「紙片人」就被點活，從畫中出走了。

隨後，研究人員對 103 名志願者進行了調查，86% 的被調查志願者認為 Photo Wake-Up 的效果超越了前人所做。

艾倫學院三人組

這項研究的三位作者，都來自華盛頓大學保羅·艾倫計算機科學與工程學院。

一作翁仲毅，一位台灣小哥哥，現在是華盛頓大學保羅·艾倫計算機科學與工程學院圖形圖像實驗室（GRAIL）的博士，他本碩畢業於台大計算機與信息工程系，讀博士前曾在台灣訊連科技做技術主管，最近還在 Facebook 實習。

二作 Brian Curless，華盛頓大學保羅·艾倫計算機科學與工程學院教授，斯坦福電氣工程博士。

三作 Ira Kemelmacher-Shlizerman 小姐姐，以色列魏茨曼科學研究所計算機科學與應用數學博士，華盛頓大學保羅·艾倫計算機科學與工程學院助理教授。