蘋果新聞網 : 讓照片中人物活起來 台灣博士生參與「喚醒」研究（轉貼）

  蘋果新聞網 :

讓照片中人物活起來　台灣博士生參與「喚醒」研究

更新時間： 2019/01/04 19:32

本文摘自 :  蘋果新聞網

https://tw.appledaily.com/international/20190104/JQOMWPQJ6DJXDWZO64U5OT5QTE/ (詳情請點閱)

《哈利波特》魔法世界裡，油畫裡人物能夠甦醒過來活動兼說話，就連報紙中的新聞人物全部都來到你身邊，這情景太虛幻？其實要讓2D平面圖像像魔法一樣變成3D跳出框框，已經做得到。台灣在美國留學博士生參與的研究團隊，就能讓畫中人物「活過來」生成3D動畫。

要將2D圖像立體化，不少學者、廠商都正在研究，成果之一是已經在坊間普及化的AR（虛擬實境、擴增實境）圖像。玩過任天堂手遊《精靈寶可夢GO》（Pokemon Go）應該都體驗過AR效果，更期待同一廠商下一隻以《哈利波特》為主題的遊戲，利用AR來場魔法大戰。

美國華盛頓大學保羅艾倫計算機科學與工程學院最近公布的一項研究報告，由台灣來的博士生翁仲毅參與的研究團隊，研發僅利用單張圖片，即可在AR環境中生成3D動畫的方法，這項比AR魔法大戰更有《哈利波特》感覺的「Photo Wake-Up」（喚醒圖片）成果，能夠賦予任何2D平面人物「生命」，讓其變成3D立體影像之餘，更加識行識走。

「Photo Wake-Up」就如字面解釋一樣，只要輸入任何相片，軟體的人工智慧會將預設的虛擬人型骨架與相片中的人物結合，製作出相中人的3D模組，人工智慧會自行修補模組的漏洞如缺口、不協調性等等。使用者可以設定其做出不同動作，例如拿一張NBA球星柯瑞（Stephen Curry）的普通2D照片，電腦便可以製作出一個極之像真的3D柯瑞，只要透過立體眼鏡等硬體觀看，更能看到他從照片跑出來向大家揮手。

這系統勝過其他同類系統的地方，是人工智慧會先裁剪出照片中不同形狀、不同動作的人物剪影，之後才與虛擬骨架作邏輯性結合，所以基本上任何人形物體都可以立體化，包括擁有獨特髮型的《龍珠》主角孫悟空，甚至畢卡索名畫《瑪雅與船》（Maya with boat）中的「小女孩」，明明已抽象得不似人形，仍然可以讓她跑出畫框，效果真像一部恐怖片。

以下為原始展示影片：

據悉相關論文計畫未來在一項AI學術會議上發表，在尚未曝光前，參與研究的學者暫時婉拒媒體採訪，而《麻省理工學院科技評論》（MIT Technology Review）日前搶先報導這項有趣的研究，引起多個科技新聞網站跟進報導。據了解，這篇論文的第一作者翁仲毅是來自台灣、目前在華盛頓大學就讀的博士生。

 
「Photo Wake-Up」目前只針對將人形立體化，但理論上只要配合不同模組骨架，任何2D物件都可以變成可動的3D影像。遊戲廠商不用再花人手時間製作3D角色，玩家甚至可以隨手將自己變成遊戲主角。平時只能在照片或影片上看到的名人明星，可以隨便將其變成VR、AR立體人物，在立體空間中與他互動，讓他在你的房間中現身。到時候，想召喚哪一位明星為你開專屬演唱會，都輕而易舉。（國際中心／綜合外電報導） 

論文出處：請點這裡
完整展示影片：請點這裡

特殊技術可讓照片中的悟空或柯瑞動起來。翻攝網路

特殊模擬技術可讓名畫人物「走出」畫外。翻攝cartoonbrew網站