Chung-Yi Weng 研究

    美國麻省理工學院 MIT科技評論 ： Machine vision can create Harry Potter–style photos for muggles | MIT Technology Review   (請點閱) 機器視覺可以為哈利波特創造哈利波特風格的照片 那些來自哈利波特的神奇照片？華盛頓大學博士學生可 能有辦法讓他們成為現實。 Chung-Yi Weng和其他人開發了一種名為Photo Wake-Up 的軟件，可以在照片中為主體設置動畫，同時圖像的其 餘部分保持靜止。 ARTIFICIAL INTELLIGENCE Machine vision can create Harry Potter –style photos for muggles A clever algorithm animates characters in still images,  allowing them to walk out of photographs.                                                                                            CHUNG-YI WENG | YOUTUBE In J.K. Rowling’s Harry Potter novels, magical photographs are similar to ordinary ones except that the characters in them are animated; they wave, smile, or sometimes disappear altogether to attend to other business. Magical photos are the creation of Rowling’s extraordinary imagination. But something like them may soon be available to ordinary muggles thanks to the work of Chung-Yi Weng at the University of Washington in Seattle and a cou

News University of  washington Behind the magic: Making moving photos a reality Behind the magic: Making moving photos a reality | UW News (washington.edu) ( 詳情 請點閱) June 11, 2019 Behind the magic: Making moving photos a reality Sarah McQuate UW News People moving in and out of photographs used to be reserved for the world of Harry Potter. But now computer scientists at the University of Washington have brought that magic to real life. Pablo Picasso’s “Untitled” (1939) steps out of the frame. University of Washington Their algorithm,  Photo Wake-Up , can take a person from a 2D photo or a work of art and make them run, walk or jump out of the frame. The system also allows users to view the animation in three dimensions using augmented reality tools. The researchers will be presenting their results June 19 at the  Conference on Computer Vision and Pattern Recognition  in Long Beach, California. This research first attracted media attention when it was  posted  in preprint form in Decemb

  Learning By Hacking  報導 2019年3月27日    ·  [從人物平面照片自動生成3d人物動畫] CVPR19今年有一篇來自UW的論文，這篇論文作者提出了可以直接將一張2D的人物照片轉換成3D人物走出照片(可以在AR/VR中呈現，也可以有不同動作如跳躍或坐下)，同時還可以在轉成3D人物前調整人物姿勢後再進行轉換。 更多有趣的例子可以參考下面的影片介紹 https://reurl.cc/ ( 詳情 請點閱) 關於實作方法和細節請參考 Photo Wake-Up: 3D Character Animation from a Single Photo (washington.edu) https://reurl.cc/ ( 詳情 請點閱) 只需要一張正面全身照，Photo Wake-Up 演算法便能讓照片人物動起來 | 科技新報 | LINE TODAY 科技新報 更新於 2019年06月23日08:45 • 發布於 2019年06月23日17:11 要為特定對象打造 3D 模型，通常需要多個角度拍攝的對象照片，但現在 Facebook 和華盛頓大學研究人員已經開發出可以繞過這種限制的 AI 演算法，即使是卡通人物也好，只需要一張清晰的正面全身照便都能產生相當精確的 3D 模型。 在辨識出影像中的人或卡通人物後，Photo Wake-Up 演算法會將背景與目標人物劃分開來，為其打造符合身體輪廓的 3D 模型，接著再將模型投影回 2D 平面使其與人物位置相符，最後運用原始影像數據產生模型的背面，縫合兩者讓主體看起來就像完整的 3D 人物。 就像過去流行過各種 3D 錯視圖片的進化版，Wake-Up 演算法編輯後的照片中目標人物將從背景中「浮出」，以 3D 形式脫離原始背景行走、跑步、坐下或跳躍，而人物原始存在的地方也不會是挖空的剪影，系統會自動以圖片元素填充其空白處。   Wake-Up 的應用不僅於此，由於演算法會自動辨識人物身體範圍並建造 3D 模型，使用者也可以透過調整 3D 模型的關節來改變人物動作姿勢，進而得到一張彷彿在同景色中拍攝的全新照片。 當然，這項應用仍存在著一些限制，包括要叫醒的對象最好是在圖片中從正面呈現，

  《哈利波特》活了！華盛頓大學神奇魔法，讓照片中的人走出來 | CVPR 2019 新智元 2019-06-17 22:53:38 本文摘自 :  新智元 https://www.gushiciku.cn/dc_tw/200895151 ( 詳情 請點閱)    新智元報道   來源：techxplore 編輯：大明 【 新智元導讀】 如果照片中的人忽然走出來和你擁抱，你會作何反應？ 華盛頓大學的研究人員重現了只存在《哈利波特》電影中的神奇場景，他們成功“喚醒”了照片，讓畫中人走出了相框，踏入了現實！ 在系列電影《哈利波特》中，經常可以看到這樣的場景，形形**的人可以自由地從現實世界走進畫中，也能從畫中走出來。現在，華盛頓大學的電腦科學家們將這種魔法般的場景帶到了現實中。   這個演算法名為“照片喚醒”，可以從二維照片或藝術作品中提取出人物，讓他們動起來，跑到畫框之外。人們還可以使用增強現實工具觀看生成的3D動畫。 研究人員將在6月19日舉行的CVPR 2019上展示這個成果。 本研究論文的預印本去年12月在ArXiv上釋出，引起了媒體的廣泛關注。 “這是計算機視覺中一個非常困難的根本問題，”論文共同作者、華盛頓大學的Paul G.Allen和電腦科學與工程學院副教授Ira Kemelmacher-Shlizerman說。 “其中的一大挑戰是輸入資料只來自一個攝像頭，因此畫中人物的一部分是看不見的。我們的研究將這個開放性問題上取得的技術進步與藝術創意的視覺化結合起來。”   以前，研究人員認為只用一張照片製作一個人的動畫是不可能實現的。   “以前的一些研究試圖從多個視角建立一個3D角色，”艾倫學院教授，論文共同作者Brian Curless說。 “但仍然無法讓人物活生生地動起來，無法讓他們跑出一個場景之外，無法將AR帶入其中。這次只用一張照片就能得到一些令人眼前一亮的結果，這真的是個驚喜。” 下面來看一段介紹視訊：   研究人員表示，照片喚醒技術的可以應用在多個領域。比如可以為遊戲玩家以新的方式打造和自己非常相似的3D形象。藝術館中的遊客可以與館中的繪畫作品展開前所未有的互動——比如坐下來，與蒙娜麗莎喝杯茶，或者讓孩子們的畫作中的人走出來。論文中給出了幾個例子，比如金州勇士隊的庫裡