人工智慧 | ShowMeAI資訊日報 #2022.06.22 @@@@ 論文：HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video（轉貼）

 

人工智慧 | ShowMeAI資訊日報 #2022.06.22

語言: CN / TW / HK
時間 2022-06-23 03:16:08 


論文：HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video


論文標題：HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video

論文時間：CVPR 2022

所屬領域：計算機視覺

論文地址：https://arxiv.org/abs/2201.04127

程式碼實現：https://github.com/chungyiweng/humannerf

論文作者：Chung-Yi Weng, Brian Curless, Pratul P. Srinivasan, Jonathan T. Barron, Ira Kemelmacher-Shlizerman

論文簡介：Our method optimizes for a volumetric representation of the person in a canonical T-pose, in concert with a motion field that maps the estimated canonical representation to every frame of the video via backward warps./我們的方法優化了人在標準 T 姿勢中的體積表示，與運動場相一致，該運動場通過向後扭曲將估計的標準表示對映到影片的每一幀。

論文摘要：We introduce a free-viewpoint rendering method -- HumanNeRF -- that works on a given monocular video of a human performing complex body motions, e.g. a video from YouTube. Our method enables pausing the video at any frame and rendering the subject from arbitrary new camera viewpoints or even a full 360-degree camera path for that particular frame and body pose. This task is particularly challenging, as it requires synthesizing photorealistic details of the body, as seen from various camera angles that may not exist in the input video, as well as synthesizing fine details such as cloth folds and facial appearance. Our method optimizes for a volumetric representation of the person in a canonical T-pose, in concert with a motion field that maps the estimated canonical representation to every frame of the video via backward warps. The motion field is decomposed into skeletal rigid and non-rigid motions, produced by deep networks. We show significant performance improvements over prior work, and compelling examples of free-viewpoint renderings from monocular video of moving humans in challenging uncontrolled capture scenarios.

我們介紹了一種自由視點渲染方法 - HumanNeRF - 它適用於人類執行復雜身體運動的給定單目影片，例如：來自 YouTube 的影片。我們的方法可以在任何幀暫停影片，並從任意新的攝像機視點甚至是該特定幀和身體姿勢的完整 360 度攝像機路徑渲染主體。這項任務特別具有挑戰性，因為它需要合成身體的逼真細節，從輸入影片中可能不存在的各種攝像機角度看，以及合成精細的細節，如布料褶皺和麵部外觀。我們的方法優化了典型 T 姿勢中人的體積表示，與運動場相一致，該運動場通過向後扭曲將估計的典型表示對映到影片的每一幀。運動場被分解為由深度網路產生的骨骼剛性和非剛性運動。我們展示了相對於先前工作的顯著效能改進，以及在具有挑戰性的不受控制的捕獲場景中移動人類的單目影片的自由視點渲染示例。


留言

張貼留言

這個網誌中的熱門文章

翁仲毅（Chung-Yi Weng) 在 Google Research 擔任研究科學家 ( Research Scientist )

翁仲毅 （Chung-Yi Weng ) 在 Google Research 擔任研究科學家 ( Research Scientist ) 翁仲毅（Chung-Yi Weng）博士在 Google Research 主要隸屬於 Augmented Perception 團隊（由 Shahram Izadi 領導），該團隊致力於突破增強實境（AR）與感知技術的邊界。他在 Google 參與的專案核心在於「將靜態或單鏡頭影像轉化為可互動的 3D 體驗」。 在 Google Research 擔任研究科學家期間，最核心的研究貢獻在於 「動態人體神經輻射場」（Dynamic Human NeRF）。 他的研究打破了傳統 NeRF 僅能掃描靜態物體的限制，讓 AI 能夠從一般拍攝的影片中，重建出具有深度、可變換視角且能自由活動的 3D 數位人類。  以下是他在該領域的三項關鍵研究與技術突破： 1. HumanNeRF：將單一影片轉化為 3D 自由視角 這是他在 Google 期間最具影響力的作品之一（發表於 CVPR 2022）。 技術突破： 傳統技術需要幾十台相機圍繞拍攝才能建模，但 HumanNeRF 僅需一段「單鏡頭影片」（例如 YouTube 上的舞動影片），就能生成該人物的完整 3D 模型。 應用場景： 使用者可以「暫停」影片，並像轉動模型一樣 360 度觀看該人物，甚至能看見原本鏡頭沒拍到的背部細節、衣服褶皺與皮膚紋理。  2. PersonNeRF：從散亂照片中進行個性化重建 他在 2023 年推出的 PersonNeRF 進一步提升了技術的實用性。  技術特點： 此項研究針對「日常照片集」進行優化。即便是一個人在不同時間、不同背景下拍的多張照片，系統也能自動過濾背景干擾，精準提取出該個體的 3D 特徵，建立個性化的數位分身。 3. H-NeRF 與動態拓撲處理 在 H-NeRF 研究中，他解決了人體運動時「非剛性變形」的難題。  核心技術： 透過將人體骨架先驗（SMPL 模型）與神經場結合，系統能預測肌肉與服裝在大幅度動作下的自然流動，確保在重建動態人物時不會出現扭曲或斷裂現象。  這些技術目前已被廣泛視為 虛擬實境（VR）、擴增實境（AR） 以及 影視特殊效果 領域的基礎，讓創作者能以極低的硬體成本（僅需手...
閱讀完整內容

Google Research 研究科學家錄用機制分析：以 Chung-Yi Weng 博士為例

Google Research 研究科學家錄用機制分析：以  Chung-Yi Weng  博士為例 ​要被 Google 錄用為研究科學家（Research Scientist），必須通過一條極為嚴苛且與一般工程師（SWE）完全不同的「學術 + 技術」雙軌審查流程。以下為其成功通過 Google 審核並被錄用的關鍵路徑與核心機制：  關鍵起手式：實習表現與學術委員會審查 ​ ​一、 實習轉正機會 (Return Offer) ​ Chung-Yi Weng  於 2019 年夏天進入 Google Research 的 Augmented Perception（增強感知）小組實習，這成為他敲開 Google 大門最重要的契機： 1.  實作與研究能力驗證： 實習期間，他直接面對 Google 的實際技術瓶頸。他必須在短短 3 個月內，證明自己不僅能寫論文，還能寫出符合工業界高標準、高質量的程式碼。 ​2 .   導師與團隊的強烈推薦 (Strong Recommendation)： 實習結束後，他的 Google 主管與合作科學家對其表現高度認可，主動在內部系統中送出「強烈錄用 (Strong Hire)」的評估報告。 ​ ​二、   嚴格的研究審查委員會 (Research Review Committee) ​不同於一般工程師由普通的招募委員會審查，研究科學家的履歷必須送交由 Google 內部頂尖科學家（通常是 Senior / Principal Scientist）組成的特殊委員會： ​ 1. 審查論文質量： 委員會逐一審視翁仲毅在華盛頓大學（UW）期間發表的指標性論文（如 Photo Wake-Up、HumanNeRF）。他們評估的不是論文數量，而是這些研究是否解決了該領域十幾年來未解的難題。 ​2 . 評估外部影響力： 他的研究曾在網路與學術界引發轟動（獲得 UW 內部獎項與科技媒體廣泛報導），這種「定義領域 (Field-defining)」的能力是委員會最看重的指標。 ​ 三 、 研究科學家的特殊面試關卡 (Interview Loops) ​在獲得錄用前，候選人必須通過為其量身打造的面試流程，主要包含以下三個核心部分： ​ ​ 1. 學術簡報 (Job ...
閱讀完整內容

從 HumanNeRF 到 PersonNeRF若你想挑戰 Google 等級的 PersonNeRF（處理不同時間拍攝的照片）

HumanNeRF 到 PersonNeRF若你想挑戰 Google 等級的 PersonNeRF（處理不同時間拍攝的照片） 要復現翁仲毅（Chung-Yi Weng）的研究，最理想的起點是從他的 HumanNeRF 開始，因為這是他後續在 Google 研發許多應用的核心底層技術。 以下是從技術論文角度進行復現的步驟建議與關鍵組件： 1. 取得原始碼與環境準備他大多數的研究都有在 GitHub 上開源。核心專案： HumanNeRF GitHub Repo開發環境：硬體： 建議至少需要一張 24GB 顯存 (VRAM) 的 GPU（如 RTX 3090 或 4090），因為神經渲染對記憶體要求很高。 軟體： PyTorch 是主要的開發框架。 2. 核心算法的三大復現重點若要自行實作或修改模型，需關注以下三個關鍵模塊：Canonical Space (標準空間) 建模：不要直接在動作影像中訓練，而是要建立一個「T-Pose」的靜態 NeRF 模型。 這讓神經網路能學習到穩定的外觀特徵（如皮膚紋理），而不受動作干擾。Motion Field (動作場) 與 SMPL 模型：利用 SMPL (人體參數化模型) 作為先驗知識。復現時需要結合運動估計算法，計算每一幀到標準空間的 Backward Warping (反向扭曲)，這部分通常使用 MLP 來預測偏移量 (Offsets)。Non-rigid Refinement (非剛性微調)：這是論文中最精妙的地方。單純的骨架運動無法處理衣服的飄動，因此需要一個額外的微調層來處理這些細節。 3. 資料集準備 (Dataset)復現這類模型最難的部分往往是資料處理。ZJU-MoCap： 這是復現 HumanNeRF 最常用的多視角人體動作資料集。自製資料： 若想復現「單視角影片」轉 3D，你需要準備一段繞著人走一圈（或人自轉）的影片，並使用 COLMAP 提取相機位姿，或使用 VIBE/ROMP 提取人體骨架。 4. 關鍵技術指標與調優在實驗過程中，你需要監控以下指標以確保復現方向正確：PSNR / SSIM： 衡量生成的影像質量。 LPIPS： 衡量感知上的真實感（對於人體渲染尤為重要）。 Training Time： 典型的 HumanNeRF 訓練在單張 3090 上可能需要 48-72 小時才能達到論文中的精細度。 ...
閱讀完整內容