人工智慧 | ShowMeAI資訊日報 #2022.06.22 @@@@ 論文：HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video（轉貼）

 

人工智慧 | ShowMeAI資訊日報 #2022.06.22

語言: CN / TW / HK
時間 2022-06-23 03:16:08 


論文：HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video


論文標題：HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video

論文時間：CVPR 2022

所屬領域：計算機視覺

論文地址：https://arxiv.org/abs/2201.04127

程式碼實現：https://github.com/chungyiweng/humannerf

論文作者：Chung-Yi Weng, Brian Curless, Pratul P. Srinivasan, Jonathan T. Barron, Ira Kemelmacher-Shlizerman

論文簡介：Our method optimizes for a volumetric representation of the person in a canonical T-pose, in concert with a motion field that maps the estimated canonical representation to every frame of the video via backward warps./我們的方法優化了人在標準 T 姿勢中的體積表示，與運動場相一致，該運動場通過向後扭曲將估計的標準表示對映到影片的每一幀。

論文摘要：We introduce a free-viewpoint rendering method -- HumanNeRF -- that works on a given monocular video of a human performing complex body motions, e.g. a video from YouTube. Our method enables pausing the video at any frame and rendering the subject from arbitrary new camera viewpoints or even a full 360-degree camera path for that particular frame and body pose. This task is particularly challenging, as it requires synthesizing photorealistic details of the body, as seen from various camera angles that may not exist in the input video, as well as synthesizing fine details such as cloth folds and facial appearance. Our method optimizes for a volumetric representation of the person in a canonical T-pose, in concert with a motion field that maps the estimated canonical representation to every frame of the video via backward warps. The motion field is decomposed into skeletal rigid and non-rigid motions, produced by deep networks. We show significant performance improvements over prior work, and compelling examples of free-viewpoint renderings from monocular video of moving humans in challenging uncontrolled capture scenarios.

我們介紹了一種自由視點渲染方法 - HumanNeRF - 它適用於人類執行復雜身體運動的給定單目影片，例如：來自 YouTube 的影片。我們的方法可以在任何幀暫停影片，並從任意新的攝像機視點甚至是該特定幀和身體姿勢的完整 360 度攝像機路徑渲染主體。這項任務特別具有挑戰性，因為它需要合成身體的逼真細節，從輸入影片中可能不存在的各種攝像機角度看，以及合成精細的細節，如布料褶皺和麵部外觀。我們的方法優化了典型 T 姿勢中人的體積表示，與運動場相一致，該運動場通過向後扭曲將估計的典型表示對映到影片的每一幀。運動場被分解為由深度網路產生的骨骼剛性和非剛性運動。我們展示了相對於先前工作的顯著效能改進，以及在具有挑戰性的不受控制的捕獲場景中移動人類的單目影片的自由視點渲染示例。


留言

張貼留言

這個網誌中的熱門文章

從 HumanNeRF 到 PersonNeRF若你想挑戰 Google 等級的 PersonNeRF（處理不同時間拍攝的照片）

HumanNeRF 到 PersonNeRF若你想挑戰 Google 等級的 PersonNeRF（處理不同時間拍攝的照片） 要復現翁仲毅（Chung-Yi Weng）的研究，最理想的起點是從他的 HumanNeRF 開始，因為這是他後續在 Google 研發許多應用的核心底層技術。 以下是從技術論文角度進行復現的步驟建議與關鍵組件： 1. 取得原始碼與環境準備他大多數的研究都有在 GitHub 上開源。核心專案： HumanNeRF GitHub Repo開發環境：硬體： 建議至少需要一張 24GB 顯存 (VRAM) 的 GPU（如 RTX 3090 或 4090），因為神經渲染對記憶體要求很高。 軟體： PyTorch 是主要的開發框架。 2. 核心算法的三大復現重點若要自行實作或修改模型，需關注以下三個關鍵模塊：Canonical Space (標準空間) 建模：不要直接在動作影像中訓練，而是要建立一個「T-Pose」的靜態 NeRF 模型。 這讓神經網路能學習到穩定的外觀特徵（如皮膚紋理），而不受動作干擾。Motion Field (動作場) 與 SMPL 模型：利用 SMPL (人體參數化模型) 作為先驗知識。復現時需要結合運動估計算法，計算每一幀到標準空間的 Backward Warping (反向扭曲)，這部分通常使用 MLP 來預測偏移量 (Offsets)。Non-rigid Refinement (非剛性微調)：這是論文中最精妙的地方。單純的骨架運動無法處理衣服的飄動，因此需要一個額外的微調層來處理這些細節。 3. 資料集準備 (Dataset)復現這類模型最難的部分往往是資料處理。ZJU-MoCap： 這是復現 HumanNeRF 最常用的多視角人體動作資料集。自製資料： 若想復現「單視角影片」轉 3D，你需要準備一段繞著人走一圈（或人自轉）的影片，並使用 COLMAP 提取相機位姿，或使用 VIBE/ROMP 提取人體骨架。 4. 關鍵技術指標與調優在實驗過程中，你需要監控以下指標以確保復現方向正確：PSNR / SSIM： 衡量生成的影像質量。 LPIPS： 衡量感知上的真實感（對於人體渲染尤為重要）。 Training Time： 典型的 HumanNeRF 訓練在單張 3090 上可能需要 48-72 小時才能達到論文中的精細度。 ...
閱讀完整內容

翁仲毅（Chung-Yi Weng ) 介紹

翁仲毅（Chung-Yi Weng ) 介紹 根據公開的學術履歷與 Google 學術搜尋資訊，翁仲毅（Chung-Yi Weng）博士在 Google 的工作、表現與主要成就不下於以下幾個核心面向：  一 、 目前工作與職位 翁仲毅博士目前於 Google Research（谷歌研究院）擔任研究科學家（Research Scientist），其核心研究領域與專長高度集中在： 計算機視覺（Computer Vision） 計算攝影學（Computational Photography） 計算機圖形學（Computer Graphics），特別是人體建模、3D 視覺與神經渲染（Neural Rendering）。    二 、 主要表現與學術成就 翁博士在加入 Google 之前就已在該領域嶄露頭角，在華盛頓大學（UW）攻讀博士期間（師從 Brian Curless 與 Ira Kemelmacher-Shlizerman 等大師），便與 Google 及其他頂尖團隊展開深度合作，其研究在國際頂級計算機視覺會議（如 CVPR）上取得了豐碩成果： 1. HumanNeRF（CVPR 2022 Oral 發表） 這是他最受矚目的代表作之一（被引用次數已達數百次）。該研究突破性地實現了從單一視角的動態影片（例如 YouTube 上的日常影片）中，重構出可自由變換視角、調整人體動作的 3D 動態模型，免去了傳統繁複的 3D 網格建模過程。 2. Photo Wake-Up（CVPR 2019） 這項研究能將單張照片中的人物「喚醒」並動畫化成 3D 模型，在當時引發極大關注（相關 YouTube 展示影片獲得超過 40 萬次觀看），並榮獲華盛頓大學艾倫電腦科學與工程學院的「人民選擇獎（People's Choice Award）」。 3. PersonNeRF（CVPR 2023） 提出一種從任意視角、姿勢及外觀的個人相片集中，建立客製化空間的方法，能以直觀的方式任意組合這些屬性並進行渲染。   三 、 獲獎紀錄 在加入 Google 前後，他的優異表現為他贏得了多項重量級獎項與資助： UW Reality Lab Google Fellowship（2022～2023）：獲得 Google 官方提供的博士生獎學金資助。 ACM Multi...
閱讀完整內容

翁仲毅（Chung-Yi Weng ) 在 Google Research 擔任研究科學家 ( Research Scientist )

翁仲毅 （Chung-Yi Weng ) 在 Google Research 擔任研究科學家 ( Research Scientist ) 翁仲毅（Chung-Yi Weng）博士在 Google Research 主要隸屬於 Augmented Perception 團隊（由 Shahram Izadi 領導），該團隊致力於突破增強實境（AR）與感知技術的邊界。他在 Google 參與的專案核心在於「將靜態或單鏡頭影像轉化為可互動的 3D 體驗」。 在 Google Research 擔任研究科學家期間，最核心的研究貢獻在於 「動態人體神經輻射場」（Dynamic Human NeRF）。 他的研究打破了傳統 NeRF 僅能掃描靜態物體的限制，讓 AI 能夠從一般拍攝的影片中，重建出具有深度、可變換視角且能自由活動的 3D 數位人類。  以下是他在該領域的三項關鍵研究與技術突破： 1. HumanNeRF：將單一影片轉化為 3D 自由視角 這是他在 Google 期間最具影響力的作品之一（發表於 CVPR 2022）。 技術突破： 傳統技術需要幾十台相機圍繞拍攝才能建模，但 HumanNeRF 僅需一段「單鏡頭影片」（例如 YouTube 上的舞動影片），就能生成該人物的完整 3D 模型。 應用場景： 使用者可以「暫停」影片，並像轉動模型一樣 360 度觀看該人物，甚至能看見原本鏡頭沒拍到的背部細節、衣服褶皺與皮膚紋理。  2. PersonNeRF：從散亂照片中進行個性化重建 他在 2023 年推出的 PersonNeRF 進一步提升了技術的實用性。  技術特點： 此項研究針對「日常照片集」進行優化。即便是一個人在不同時間、不同背景下拍的多張照片，系統也能自動過濾背景干擾，精準提取出該個體的 3D 特徵，建立個性化的數位分身。 3. H-NeRF 與動態拓撲處理 在 H-NeRF 研究中，他解決了人體運動時「非剛性變形」的難題。  核心技術： 透過將人體骨架先驗（SMPL 模型）與神經場結合，系統能預測肌肉與服裝在大幅度動作下的自然流動，確保在重建動態人物時不會出現扭曲或斷裂現象。  這些技術目前已被廣泛視為 虛擬實境（VR）、擴增實境（AR） 以及 影視特殊效果 領域的基礎，讓創作者能以極低的硬體成本（僅需手...
閱讀完整內容