HumanNeRF: Free-Viewpoint Rendering of Moving People From Monocular Video CVPR 2022 (Oral) Chung-Yi Weng （轉貼）

 HumanNeRF: Free-Viewpoint Rendering of Moving People From Monocular Video    

 CVPR 2022 (Oral) 


Chung-Yi Weng 

  Brian Curless 

  Pratul P. Srinivasan 

 Jonathan T. Barron  

 Ira Kemelmacher-Shlizerman  


 University of Washington 

 Google Research


 

 

 

 引用 : https://grail.cs.washington.edu/projects/humannerf/

 

 

 

 

 引用 : https://www.youtube.com/channel/UCXW4-oHus8ZndDjaXykMlsQ

 

 

 

 

 引用 : https://youtube.com/channel/UCFownjFqvu4GIr84ZYO9rEw

 

 

 

留言

張貼留言

這個網誌中的熱門文章

翁仲毅博士（Chung-Yi Weng）及其在 Google Research 中，將靜態或單鏡頭影像轉化為可互動 3D 體驗的技術與應用

翁仲毅博士（Chung-Yi Weng）及其在 Google Research 中，將靜態或單鏡頭影像轉化為可互動 3D 體驗的技術與應用 翁仲毅博士（Chung-Yi Weng）現於 Google Research 擔任研究科學家（Research Scientist），隸屬於 Augmented Perception（擴增感知）團隊。他的核心技術專長為「將靜態或單鏡頭影像轉化為可互動的 3D 體驗」。這項專長在 Google 生態系中，與 Google 地圖（Google Maps）的「沉浸式實景（Immersive View）」、AR 導航功能及相關 AR 產品的結合，主要體現在以下幾個尖端技術層面。 1. 助力「沉浸式實景（Immersive View）」：數十億影像的 3D 智慧縫合 Google 地圖近年推出的「沉浸式實景」和「沉浸式導航」，背後是將數十億張平面的街景照片、衛星空拍影像與 AI 建模融合，生成出擬真的 3D 世界。 · 神經渲染（Neural Rendering）的應用：翁博士深耕的神經渲染技術，能讓系統在缺乏完整 3D 掃描資料的情況下，單憑不同角度的平面街景照片，去「推算」並生成出平滑、逼真的連續 3D 視角。 · 智能補洞與光影預測：當使用者在沉浸式實景中切換時間、查看不同天氣下的街景人潮時，翁博士在 Photo Wake-Up 中展現的「背景智能填補」與 3D 深度推算邏輯，正好可以協助 AI 演算法預測並修補被車輛、行人擋住的建築物死角，讓 3D 街景在旋轉時不會穿幫。 2. 驅動 AR 實景導航（Live View）：地理空間的「語義辨識」 當使用者開啟 Google 地圖的實景導航（Live View）時，手機鏡頭會利用影像定位系統（Visual Positioning System, VPS）來辨識周遭環境，進而在現實世界中疊加 AR 箭頭與路標。 · 靜態物件的 3D 感知：翁博士團隊的關鍵任務，在於突破「擴增實境與感知的邊界」。他們的演算法能幫助手機即時辨識街道上的 2D 地標、店家招牌，並在瞬間理解它們的 3D 幾何結構與深度，確保 AR 導航標籤能精準、穩固地「貼」在正確的建築物畫面上，而不會隨鏡頭晃動而飄移。 3. 未來 AR 產品與「平民化 3D 數位分身」的結合 除了地圖與導航，翁仲毅博士在 3D 人物建模（...
閱讀完整內容

翁仲毅（Chung-Yi Weng ) 介紹

翁仲毅（Chung-Yi Weng ) 介紹 根據公開的學術履歷與 Google 學術搜尋資訊，翁仲毅（Chung-Yi Weng）博士在 Google 的工作、表現與主要成就不下於以下幾個核心面向：  一 、 目前工作與職位 翁仲毅博士目前於 Google Research（谷歌研究院）擔任研究科學家（Research Scientist），其核心研究領域與專長高度集中在： 計算機視覺（Computer Vision） 計算攝影學（Computational Photography） 計算機圖形學（Computer Graphics），特別是人體建模、3D 視覺與神經渲染（Neural Rendering）。    二 、 主要表現與學術成就 翁博士在加入 Google 之前就已在該領域嶄露頭角，在華盛頓大學（UW）攻讀博士期間（師從 Brian Curless 與 Ira Kemelmacher-Shlizerman 等大師），便與 Google 及其他頂尖團隊展開深度合作，其研究在國際頂級計算機視覺會議（如 CVPR）上取得了豐碩成果： 1. HumanNeRF（CVPR 2022 Oral 發表） 這是他最受矚目的代表作之一（被引用次數已達數百次）。該研究突破性地實現了從單一視角的動態影片（例如 YouTube 上的日常影片）中，重構出可自由變換視角、調整人體動作的 3D 動態模型，免去了傳統繁複的 3D 網格建模過程。 2. Photo Wake-Up（CVPR 2019） 這項研究能將單張照片中的人物「喚醒」並動畫化成 3D 模型，在當時引發極大關注（相關 YouTube 展示影片獲得超過 40 萬次觀看），並榮獲華盛頓大學艾倫電腦科學與工程學院的「人民選擇獎（People's Choice Award）」。 3. PersonNeRF（CVPR 2023） 提出一種從任意視角、姿勢及外觀的個人相片集中，建立客製化空間的方法，能以直觀的方式任意組合這些屬性並進行渲染。   三 、 獲獎紀錄 在加入 Google 前後，他的優異表現為他贏得了多項重量級獎項與資助： UW Reality Lab Google Fellowship（2022～2023）：獲得 Google 官方提供的博士生獎學金資助。 ACM Multi...
閱讀完整內容

翁仲毅（Chung-Yi Weng) 在 Google Research 擔任研究科學家 ( Research Scientist )

翁仲毅 （Chung-Yi Weng ) 在 Google Research 擔任研究科學家 ( Research Scientist ) 翁仲毅（Chung-Yi Weng）博士在 Google Research 主要隸屬於 Augmented Perception 團隊（由 Shahram Izadi 領導），該團隊致力於突破增強實境（AR）與感知技術的邊界。他在 Google 參與的專案核心在於「將靜態或單鏡頭影像轉化為可互動的 3D 體驗」。 在 Google Research 擔任研究科學家期間，最核心的研究貢獻在於 「動態人體神經輻射場」（Dynamic Human NeRF）。 他的研究打破了傳統 NeRF 僅能掃描靜態物體的限制，讓 AI 能夠從一般拍攝的影片中，重建出具有深度、可變換視角且能自由活動的 3D 數位人類。  以下是他在該領域的三項關鍵研究與技術突破： 1. HumanNeRF：將單一影片轉化為 3D 自由視角 這是他在 Google 期間最具影響力的作品之一（發表於 CVPR 2022）。 技術突破： 傳統技術需要幾十台相機圍繞拍攝才能建模，但 HumanNeRF 僅需一段「單鏡頭影片」（例如 YouTube 上的舞動影片），就能生成該人物的完整 3D 模型。 應用場景： 使用者可以「暫停」影片，並像轉動模型一樣 360 度觀看該人物，甚至能看見原本鏡頭沒拍到的背部細節、衣服褶皺與皮膚紋理。  2. PersonNeRF：從散亂照片中進行個性化重建 他在 2023 年推出的 PersonNeRF 進一步提升了技術的實用性。  技術特點： 此項研究針對「日常照片集」進行優化。即便是一個人在不同時間、不同背景下拍的多張照片，系統也能自動過濾背景干擾，精準提取出該個體的 3D 特徵，建立個性化的數位分身。 3. H-NeRF 與動態拓撲處理 在 H-NeRF 研究中，他解決了人體運動時「非剛性變形」的難題。  核心技術： 透過將人體骨架先驗（SMPL 模型）與神經場結合，系統能預測肌肉與服裝在大幅度動作下的自然流動，確保在重建動態人物時不會出現扭曲或斷裂現象。  這些技術目前已被廣泛視為 虛擬實境（VR）、擴增實境（AR） 以及 影視特殊效果 領域的基礎，讓創作者能以極低的硬體成本（僅需手...
閱讀完整內容