從 HumanNeRF 到 PersonNeRF若你想挑戰 Google 等級的 PersonNeRF（處理不同時間拍攝的照片）
從 HumanNeRF 到 PersonNeRF若你想挑戰 Google 等級的 PersonNeRF（處理不同時間拍攝的照片） 要復現翁仲毅（Chung-Yi Weng）的研究，最理想的起點是從他的 HumanNeRF 開始，因為這是他後續在 Google 研發許多應用的核心底層技術。 以下是從技術論文角度進行復現的步驟建議與關鍵組件： 1. 取得原始碼與環境準備他大多數的研究都有在 GitHub 上開源。核心專案： HumanNeRF GitHub Repo開發環境：硬體： 建議至少需要一張 24GB 顯存 (VRAM) 的 GPU（如 RTX 3090 或 4090），因為神經渲染對記憶體要求很高。 軟體： PyTorch 是主要的開發框架。 2. 核心算法的三大復現重點若要自行實作或修改模型，需關注以下三個關鍵模塊：Canonical Space (標準空間) 建模：不要直接在動作影像中訓練，而是要建立一個「T-Pose」的靜態 NeRF 模型。 這讓神經網路能學習到穩定的外觀特徵（如皮膚紋理），而不受動作干擾。Motion Field (動作場) 與 SMPL 模型：利用 SMPL (人體參數化模型) 作為先驗知識。復現時需要結合運動估計算法，計算每一幀到標準空間的 Backward Warping (反向扭曲)，這部分通常使用 MLP 來預測偏移量 (Offsets)。Non-rigid Refinement (非剛性微調)：這是論文中最精妙的地方。單純的骨架運動無法處理衣服的飄動，因此需要一個額外的微調層來處理這些細節。 3. 資料集準備 (Dataset)復現這類模型最難的部分往往是資料處理。ZJU-MoCap： 這是復現 HumanNeRF 最常用的多視角人體動作資料集。自製資料： 若想復現「單視角影片」轉 3D，你需要準備一段繞著人走一圈（或人自轉）的影片，並使用 COLMAP 提取相機位姿，或使用 VIBE/ROMP 提取人體骨架。 4. 關鍵技術指標與調優在實驗過程中，你需要監控以下指標以確保復現方向正確：PSNR / SSIM： 衡量生成的影像質量。 LPIPS： 衡量感知上的真實感（對於人體渲染尤為重要）。 Training Time： 典型的 HumanNeRF 訓練在單張 3090 上可能需要 48-72 小時才能達到論文...